JP3979811B2 - 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP3979811B2 JP3979811B2 JP2001276606A JP2001276606A JP3979811B2 JP 3979811 B2 JP3979811 B2 JP 3979811B2 JP 2001276606 A JP2001276606 A JP 2001276606A JP 2001276606 A JP2001276606 A JP 2001276606A JP 3979811 B2 JP3979811 B2 JP 3979811B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- dimensionally
- monitor screen
- arrangement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、たとえば、複数の顕微鏡画像から、各画像を自動的に接合し、高解像度かつ広視野の合成画像を獲得するための、画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
〔１〕従来のオプティカルフローの算出方法についての説明
【０００３】
２枚の画像からオプティカルフローを計算し、得られたオプティカルフローに基づいて、２枚の画像間での位置合わせを行う技術が知られている。従来のオプテカルフローの算出方法について説明する。
【０００４】
（１）Lucas-Kanade法
従来から、動画像における運動物体の見かけの速度場（オプティカルフロー）を計算する手法が数多く提案されている。中でも局所勾配法であるLucas-Kanade法は、最も良い手法の一つである。その理由は、処理が高速、実装が容易、結果が信頼度を持つことである。
【０００５】
Lucas-Kanade法の詳細については、文献： B.Lucas and T.Kanade,"An Iterative Image Registration Technique with an Application to Stereo Vision,"In Seventh International Joint Conference on Artificial Intelligence(IJCAI-81), pp. 674-979, 1981を参照のこと。
【０００６】
以下に、Lucas-Kanade法の概要を述べる。
ある時刻ｔの画像座標ｐ＝（ｘ，ｙ）の濃淡パターンＩ（ｘ，ｙ，ｔ）が、ある微小時間後（δｔ）に座標（ｘ＋δｘ，ｙ＋δｙ）に、その濃淡分布を一定に保ったまま移動した時、次のオプティカルフロー拘束式１が成り立つ。
【０００７】
【数１】
【０００８】
２次元画像でオプティカルフロー｛ｖ＝（δｘ／δｔ，δｙ／δｔ）＝（ｕ，ｖ）｝を計算するには、未知パラメータ数が２個であるので、もう一個拘束式が必要である。Lucas とKanade( 金出) は、同一物体の局所領域では、同一のオプティカルフローを持つと仮定した。
【０００９】
例えば、画像上の局所領域ω内で、オプティカルフローが一定であるとすると、最小化したい濃淡パターンの二乗誤差Ｅは、
Ｉ0 （ｐ）＝Ｉ（ｘ，ｙ，ｔ），
Ｉ1 （ｐ＋ｖ）＝Ｉ（ｘ＋ｕ，ｙ＋ｖ，ｔ＋δｔ）
と書き改めると、次式２で定義できる。
【００１０】
【数２】
【００１１】
ここで、ｖが微少な場合には、テーラー展開の２次以上の項を無視できるので、次式３の関係が成り立つ。
【００１２】
【数３】
【００１３】
ここで、ｇ（ｐ）は、Ｉ1 （ｐ）の一次微分である。
【００１４】
誤差Ｅが最小になるのは、Ｅのｖに対する微分値が０の時であるので、次式４の関係が成り立つ。
【００１５】
【数４】
【００１６】
故にオプティカルフローｖは次式５で求められる。
【００１７】
【数５】
【００１８】
更に、次式６に示すように、ニュートン・ラフソン的な反復演算によって精度良く求めることができる。
【００１９】
【数６】
【００２０】
（２）階層的推定法
Lucas-Kanade法を含む勾配法の最も大きな問題点は、良好な初期値が必要なために、大きな動きに対しては適用できないことである。そこで、従来からピラミッド階層構造型に数段回の解像度の異なる画像を作成して解決する方法が提案されている。
【００２１】
これは、まず、２枚の連続した画像から、予めそれぞれの画像の数段階の解像度の異なる画像を作成する。次に、最も解像度の低い画像間において、おおまかなオプティカルフローを計算する。そして、この結果を参考にして、一段解像度の高い画像間においてより精密なオプティカルフローを計算する。この処理を最も解像度の高い画像間まで順次繰り返す。
【００２２】
図４は原画像を、図３は図４の原画像より解像度の低い画像を、図２は図３の低解像度画像より解像度の低い画像を、図１は図２の低解像度画像より解像度の低い画像を、それぞれ示している。図１〜図４において、Ｓは、１つのパッチを示している。
【００２３】
図１の画像（階層１の画像）、図２の画像（階層２の画像）、図３の画像（階層３の画像）および図４の画像（階層４の画像）の順番で段階的にオプティカルフローが求められる。図１〜図４において矢印は、パッチ毎に求められたオプティカルフローベクトルを示している。
【００２４】
しかしながら、ここでの問題点は、実画像では、十分な模様（テクスチャ）を含む領域が少なく、信頼性のあるオプティカルフローが得られないことにある。
【００２５】
〔２〕本出願人が開発したオプティカルフロー算出方法についての説明。
【００２６】
本出願人が開発したオプティカルフロー算出方法は、ピラミッド階層型に数段回の解像度の異なる画像を作成して、オプティカルフローを段階的に計算する階層的推定を前提としている。オプティカルフローの計算方法は、Lucas-Kanade法等の勾配法に従う。つまり、階層構造化した勾配法によるオプティカルフロー推定法を前提としている。ここでは、勾配法としてLucas-Kanade法が用いられている。
【００２７】
本出願人が開発したオプティカルフロー推定方法の特徴は、階層構造化したLucas-Kanade法によるオプティカルフロー推定法の各段階において得られたオプティカルフローを、膨張処理によって補完することにある。以下、これについて詳しく説明する。
【００２８】
Lucas-Kanade法の長所の一つは、追跡結果が信頼性を持つことである。Tomasiと Kanade とは、ある領域の追跡可能性が、以下のように微分画像から算出できることを示した(C.Tomasi and T.Kanade,"Shape and Motion from Image Streams: a Factorization method-Part 3 Detection and Tracking of Point Features ,"CMU-CS-91-132, Carnegie Mellon University, 1991.) 。
【００２９】
ある領域画像ωの垂直・水平方向の微分の２乗を要素に持つ次式７の２×２の係数行列Ｇから、その固有値を計算することで、その領域の追跡可能性を決定することができる。
【００３０】
【数７】
【００３１】
この行列Ｇの固有値が両方とも大きい場合には、その領域は直交方向に変化を持ち、一意の位置決めが可能である。従って、小さい方の固有値λmin と、追跡後の領域間の濃淡残差Ｅから、追跡結果の信頼度γを次式８によって得ることができる。
【００３２】
【数８】
【００３３】
本発明者らは、オプティカルフローの同一階層内で信頼度の高い結果を用いて、信頼度の低い領域を補間する方法を開発した。これは、一段階粗い階層での結果を、追跡の初期値だけに用いて、着目している現段階の階層の結果には何も利用しない。代わりに、テクスチャの少ない領域のオプティカルフローはその周囲のオプティカルフローに近い値を持つと仮定し、モルフォロジー処理によりフロー場を補完するものである。
【００３４】
図５にフローベクトルの膨張処理の様子を示す。
【００３５】
左図は、フローベクトルの信頼度のマップを濃淡で表したものである。ここで、黒ければ黒い程信頼度が高いとする。
【００３６】
まず、得られたフローをしきい値処理する。白い部分は、結果の信頼度が低いために、しきい値処理されたものである。
【００３７】
次に、２値画像でのモルフォロジー演算による穴埋め処理を模して、フロー場において結果の膨張処理を次のように行う。ある領域ｉ，ｊのフローベクトルｕ（ｉ，ｊ）は、その４近傍のフローベクトルから信頼度γに応じて重み付けを行って次式９のように計算できる。
【００３８】
【数９】
【００３９】
この処理を、しきい値処理されたすべての信頼度の低い領域が埋まるまで、繰り返す。この補完処理を、各階層において行う。なお、ある領域ｉ，ｊのフローベクトルｕ（ｉ，ｊ）を、その８近傍のフローベクトルから信頼度γに応じて重み付けを行って算出するようにしてもよい。
【００４０】
図６（ａ）は、ある階層の画像に対してしきい値処理されたオプティカルフローを示し、図６（ｂ）は補完後のオプティカルフローを示している。図６（ａ）において、矢印はしきい値処理によって信頼度が高いと判定されたオプティカルフローベクトルであり、×印は信頼度が低いとされた部分を示している。
【００４１】
〔３〕画像の合成技術についての説明
【００４２】
本出願人は、複数枚の撮像画像を、画像間の幾何変換係数を算出し、算出した幾何変換係数に基づいて合成する技術（画像合成ソフト）を開発している。
【００４３】
ところで、本出願人が開発した画像合成ソフトでは、２次元配列状に撮像した複数の画像を連結して１枚の合成画像を生成する場合、まず、複数枚の撮影画像をそれらの配置位置が実際の相対位置関係と合致するように、モニタ画面上に２次元配置させる。この配置位置情報（画像間の相対位置関係）を利用して、画像の重なり部を抽出すべき隣接画像ペアを決定し、各隣接画像毎に画像の重なり部を抽出する。各隣接画像毎に抽出した画像の重なり部を利用して、各隣接画像毎に、特徴点の対応付けを行なう。各隣接画像毎に対応付けられた特徴点を利用して、各隣接画像毎に幾何変換係数を算出し、各隣接画像毎に算出された幾何変換係数を利用して全画像を合成する。
【００４４】
画像の重なり部の抽出を行なうモードとしては、自動的に行なうモードと手動で行なうモードとが用意されている。画像の重なり部を手動で抽出する場合には、隣接画像ペアを構成する２つの画像をモニタ画面上に半透明で表示し、モニタ画面上に表示された２つの画像の重なり部が重なるように、一方の画像をユーザによって移動させるようにしている。つまり、両画像を重なり部が重なるように、ユーザに手動で位置合わせさせている。
【００４５】
しかしながら、モニタ画面上に表示された隣接画像ペアの相対位置関係は、上下方向、左右方向、斜め方向というように様々であるが、ユーザは隣接画像ペアの相対位置関係を把握しにくいため、位置合わせの作業効率が悪いという問題がある。
【００４６】
また、特徴点の対応付けを行なうモードとしても、自動的に行なうモードと手動で行なうモードとが用意されている。特徴点の対応付けを手動で行なう場合には、隣接画像ペアを構成する２つの画像をモニタ画面上に表示し、モニタ画面上に表示された２つの画像上において両画像間で対応する特徴点をユーザによって設定させるようにしている。
【００４７】
この場合にも、ユーザは隣接画像ペアの相対位置関係を把握しにくいため、特徴点を対応付けるための作業効率が悪いという問題がある。
【００４８】
ところで、モニタ画面上に２次元配置された複数枚の画像から、画像の重なり部を抽出すべき隣接画像ペアを決定する際には、２次元配置された複数枚の画像を、隣接画像間で重なりがあるように１次元配列する必要がある。
【００４９】
２次元配置された複数枚の画像を１次元配列するための方法としては、２次元配列パターン毎に、２次元配置された複数枚の画像を１次元配列するための順番を予め決めておくことが考えられるが、モニタ画面上に画像を２次元配置した結果、中央部に画像が存在しないような場合には、この方法では隣接画像間で重なりがあるように１次元配列することができないという問題がある。
【００５２】
【発明が解決しようとする課題】
この発明は、モニタ画面上に画像を２次元配置した結果、中央部に画像が存在しないような場合にも、２次元配列した複数枚の画像を、隣接画像間で重なりがあるように、１次元配列することができる画像合成装置、画像合成方法および画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００６２】
【課題を解決するための手段】
この発明による画像合成生装置は、合成すべき複数枚の画像を、それらの配置位置関係が実際の相対位置関係と合致するように、モニタ画面上にマトリクス配列状に２次元配置させ、モニタ画面上での各画像の配置位置を示す配置位置情報を利用して、全画像を合成する画像合成装置において、モニタ画面上に２次元配置された複数枚の画像を、１次元配列後の隣接画像間で重なりがあるように１次元配列する第１手段、および１次元配列された画像の各隣接画像ペア毎に重なり部を抽出し、各隣接画像ペア毎に抽出した重なり部に基づいて、全画像を合成する第２手段を備えており、第１手段は、モニタ画面上に２次元配置された複数枚の画像から１次元配列の先頭画像として選択された画像を注目画像とし、各画像がモニタ画面上での２次元配置位置関係を保持したまま隙間なく２次元配置されていると仮定した場合において、未だ選択されていない画像のうち注目画像との中心点間距離が最も短い画像を注目画像の次に配列すべき画像として選択し、選択した画像を注目画像として同様な処理を繰り返すことにより、全画像を１次元配列させるものであることを特徴とする。
【００６３】
この発明による画像合成生方法は、合成すべき複数枚の画像を、それらの配置位置関係が実際の相対位置関係と合致するように、モニタ画面上にマトリクス配列状に２次元配置させ、モニタ画面上での各画像の配置位置を示す配置位置情報を利用して、全画像を合成する画像合成方法において、モニタ画面上に２次元配置された複数枚の画像を、１次元配列後の隣接画像間で重なりがあるように１次元配列する第１ステップ、および１次元配列された画像の各隣接画像ペア毎に重なり部を抽出し、各隣接画像ペア毎に抽出した重なり部に基づいて、全画像を合成する第２ステップを備えており、第１ステップは、モニタ画面上に２次元配置された複数枚の画像から１次元配列の先頭画像として選択された画像を注目画像とし、各画像がモニタ画面上での２次元配置位置関係を保持したまま隙間なく２次元配置されていると仮定した場合において、未だ選択されていない画像のうち注目画像との中心点間距離が最も短い画像を注目画像の次に配列すべき画像として選択し、選択した画像を注目画像として同様な処理を繰り返すことにより、全画像を１次元配列させるものであることを特徴とする。
【００６４】
この発明によるコンピュータ読み取り可能な記録媒体は、合成すべき複数枚の画像を、それらの配置位置関係が実際の相対位置関係と合致するように、モニタ画面上にマトリクス配列状に２次元配置させ、モニタ画面上での各画像の配置位置を示す配置位置情報を利用して、全画像を合成する画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、モニタ画面上に２次元配置された複数枚の画像を、１次元配列後の隣接画像間で重なりがあるように１次元配列する第１ステップ、および１次元配列された画像の各隣接画像ペア毎に重なり部を抽出し、各隣接画像ペア毎に抽出した重なり部に基づいて、全画像を合成する第２ステップを、コンピュータに実行させるためのプログラムを記録しており、第１ステップは、モニタ画面上に２次元配置された複数枚の画像から１次元配列の先頭画像として選択された画像を注目画像とし、各画像がモニタ画面上での２次元配置位置関係を保持したまま隙間なく２次元配置されていると仮定した場合において、未だ選択されていない画像のうち注目画像との中心点間距離が最も短い画像を注目画像の次に配列すべき画像として選択し、選択した画像を注目画像として同様な処理を繰り返すことにより、全画像を１次元配列させるものであることを特徴とする。
【００６５】
【発明の実施の形態】
以下、この発明を顕微鏡画像合成装置に適用した場合の実施の形態について説明する。
【００６６】
〔１〕 顕微鏡画像合成装置の全体構成の説明
【００６７】
図７は、顕微鏡画像合成装置の全体構成を示している。
【００６８】
顕微鏡画像合成装置は、パーソナルコンピュータによって実現される。パーソナルコンピュータ１０には、ディスプレイ（モニタ）２１、マウス２２およびキーボード２３が接続されている。パーソナルコンピュータ１０は、ＣＰＵ１１、メモリ１２、ハードディスク１３、ＣＤ−ＲＯＭのようなリムーバブルディスクのドライブ（ディスクドライブ）１４を備えている。
【００６９】
ハードディスク１３には、ＯＳ（オペレーティングシステム）等の他、顕微鏡画像合成処理プログラムが格納されている。顕微鏡画像合成処理プログラムは、それが格納されたＣＤ−ＲＯＭ２０を用いて、ハードディスク１３にインストールされる。また、ハードディスク１３には、合成されるべき複数の顕微鏡画像が予め格納されているものとする。
【００７０】
〔２〕 顕微鏡画像合成処理プログラムが起動された場合にＣＰＵ１１によって行われる顕微鏡画像合成処理手順の説明。
【００７１】
ユーザは、顕微鏡用レンズを装着したカメラで、台を移動させたり、試料を移動させながら、各画像間で重なりを持った複数の顕微鏡画像を撮像する。そして、得られた複数の顕微鏡画像をハードディスク１３に格納しておく。
【００７２】
図８は、ＣＰＵ１１によって行われる全体的な処理手順を示している。
【００７３】
まず、合成すべき複数の顕微鏡画像（以下、画像という）を入力する（ステップ１）。つまり、合成すべき複数の画像を選択し、選択した複数枚の画像をそれらの配置位置が実際の相対位置関係と合致するように、モニタ画面上に配置する。
【００７４】
次に、各入力画像に対して前処理を行なう（ステップ２）。つまり、入力画像のうちから合成処理の基準面となる画像を選択したり、入力画像に対してレンズ歪み補正処理を行なったり、シェーディング補正処理を行なったりする。
【００７５】
次に、レンズ歪み補正およびシェーディング補正が行なわれた複数の画像を接合するための処理を行なう。この画像合成モードとしては、３つのモードがある。
【００７６】
まず、第１は、すべて自動で行なう第１モード、画像間の位置合わせ（画像間の重なり部の抽出）を手動で設定する第２モード、画像間の特徴点の対応付けを手動で行なう第３モードがある。
【００７７】
まず、第１モードでは、前処理の後、自動位置合わせを行う（ステップ３）。つまり、全入力画像のおおまかな位置合わせ（平行移動のみ）を自動で行ない、位置合わせの結果を表示する。
【００７８】
次に、合成パラーメータをユーザに選択させる（ステップ４）。たとえば、平行移動のみによる合成（並進）か、平行移動に加えて光軸まわりの回転を考慮して合成（並進＋回転）するかの選択をユーザに行なわせる。
【００７９】
この後、特徴点抽出処理（ステップ５）および特徴点追跡処理（ステップ６）を行なった後、幾何変換行列を算出する（ステップ７）。そして、画素値調合の重みを算出し（ステップ８）、最後に画像合成を行う（ステップ９）。
【００８０】
第２モードは、第１モードでの自動位置合わせが失敗するような場合に備えて、用意されている。第２モードでは、前処理の後、手動位置合わせを行なう（ステップ１０）。つまり、全入力画像から選択された各隣接画像ペア毎に、両画像の間の位置合わせ（平行移動のみ）を手動で行う。この後、上記ステップ４〜９の処理を行なう。
【００８１】
第３モードは、第１モードまたは第２モードによる合成が失敗するような場合に備えて用意されている。第３モードでは、前処理の後、ユーザに特徴点を設定させる（ステップ１１）。つまり、全入力画像から選択された各隣接画像ペア毎に、両画像間で一致させたい部分（特徴点）を手動で設定する。次に、合成パラメータをユーザに選択させる（ステップ１２）。この後、上記ステップ７〜９の処理を行なう。
【００８２】
以下、各ステップについて説明する。
【００８３】
〔２〕画像入力（ステップ１）についての説明
【００８４】
図９は、画像入力画面を示している。
【００８５】
画像入力画面は、合成すべき画像が格納されている画像フォルダを選択するためのフォルダツリー表示部１０１、選択された画像フォルダに格納されている画像ファイルを表示するための画像ファイル表示部１０２、作業スペース１０３、行列数の設定部１０４、基準画像選択ボタン１０５、レンズ歪み補正ボタン１０６、シェーディング補正ボタン１０７、選択画像入力ボタン１０８、全画像入力ボタン１０９、選択画像入力解除ボタン１１０、全画像入力解除ボタン１１１、自動位置合わせボタン１１２、手動位置合わせボタン１１３、特徴点設定ボタン１１４等を備えている。
【００８６】
図１０は、画像入力の手順を示している。
【００８７】
まず、合成すべき画像を選択する（ステップ２１）。フォルダツリー表示部１０１内に表示されているフォルダツリーから、合成すべき画像が格納されている画像フォルダを指定すると、指定された画像フォルダに格納されている画像が画像ファイル表示ウインドウ１０２に縦方向に表示される。ここでは、指定された画像フォルダには９枚の画像が格納されており、画像ファイル表示ウインドウ１０２にそれらの９枚の画像がフォルダ名順に表示されたものとする。なお、これらの画像を、撮像した日時順に表示するようにしてもよい。
【００８８】
次に、選択した画像の枚数等に応じて、作業スペース１０３内に表示される画像入力枠の行列数を設定する（ステップ２２）。なお、行列数の初期値は３×３であり、作業スペース１０３内には３×３の画像入力枠が表示されている。
【００８９】
行列数の設定は、たとえば、行列数の設定部１０４に行数および列数を入力した後にEnter キーを押すか、全画像入力枠を囲む全画像入力領域Ｓの右下の調整つまみ１１５をドラッグすることによって行なわれる。ここでは、行数および列数とも、初期値”３”が維持されたとする。したがって、作業スペース１０３内には、３×３の画像入力枠が表示されたままとなる。
【００９０】
次に、全画像入力ボタン１０９をクリックすると（ステップ２３）、図１１に示すような画像配置パターン選択画面が画像入力画面上に表示される（ステップ２４）。
【００９１】
画像配置パターン選択画面には、画像ファイル表示部１０２に縦方向に表示された画像を２次元配置された画像入力枠にどのような配置で入力するかを示す複数種類の画像配置パターンＡ〜Ｄと、画像配置パターンを選択するためのラジオボタンと、ＯＫボタンと、キャンセルボタンとが表示される。
【００９２】
複数のラジオボタンのうち、１つのラジオボタンが選択された状態となっている。画像合成プログラムがインストールされた直後においては、予め定められたデフォルトの画像配置パターンに対するラジオボタンが選択された状態として表示されるが、ユーザによって画像配置パターンが１度でも選択された後においては、最新にユーザによって選択された画像配置パターンに対するラジオボタンが選択された状態として表示される。
【００９３】
ユーザは、画像ファイル表示部１０２に縦方向に表示された複数枚の画像が実際の相対位置関係を保持した状態で２次元配置されるように、画像配置パターンを選択した後、ＯＫボタンをクリックする（ステップ２５）。この結果、画像ファイル表示部１０２に縦方向に表示された各画像が、２次元配置された画像入力枠内に自動的に入力（表示）される（ステップ２６）。つまり、各画像が、それらの実際の相対位置関係を保持した状態で２次元配置される。
【００９４】
９枚の画像をファイル名の順番にＡ１〜Ａ９で表すと、各画像配置パターンＡ〜Ｄと、画像Ａ１〜Ａ９の２次元配列位置との関係は、図１２に示すようになる。
【００９５】
このようにして、合成すべき複数枚の画像が２次元配置されると、各画像のファイル名と、各画像の２次元配置位置（画像が入力された画像入力枠の位置）（ｘ，ｙ）とが記憶される（ステップ２７）。各画像の２次元配置位置（ｘ，ｙ）は、全画像入力領域Ｓの左上を原点として、右方向にｘ方向を、下方向にｙ方向をとったＸＹ座標系で表される。
【００９６】
なお、ユーザは、ドラッグ＆ドロップまたは選択画像入力ボタン１０８によって、各画像入力枠内に、１つずつ画像を入力させていくことも可能である。
【００９７】
また、ユーザは、画像入力枠内に入力された画像を解除することもできる。全画像入力解除ボタン１１１を押すと、全ての入力画像が解除され、入力画像を選択した後に選択画像入力解除ボタン１１０を押すと選択した入力画像が解除される。また、入力画像を全画像入力領域Ｓ外へドラッグ＆ドロップすることによっても入力画像を解除することができる。
【００９８】
画像配置パターンとしては、図１３の（ａ）〜（ｃ）に示す”改行復帰・改列復帰パターン、図１３の（ｄ）〜（ｆ）に示す”折り返しパターン、図１３の（ｇ）〜（ｉ）に示す渦巻きパターン等を用いることができる。
【００９９】
〔３〕前処理（ステップ２）についての説明
【０１００】
〔３−１〕基準画像の設定
基準画像を選択するには、基準にしたい入力画像を選択した後に、基準画像選択ボタン１０５を押せばよい。
【０１０１】
〔３−２〕レンズ歪み補正
画像入力画面（図９）上で、ユーザがレンズ歪み補正ボタン１０６を押すと、入力画像に対してレンズ歪み補正処理が行なわれる。
【０１０２】
顕微鏡用レンズには、周辺部に歪みがある。この歪みを取り除くための補正ベクトル（ｄｕ，ｄｖ）を、次式１０を用いて計算する。
【０１０３】
【数１０】
【０１０４】
ただし、ｕ，ｖは、画像の中心を原点とし、直交座標軸をＵ，Ｖとした時の座標である。また、ｋはレンズ歪み補正係数である。
【０１０５】
この補正ベクトル（ｄｕ，ｄｖ）を用いて、入力画像の座標（ｕ，ｖ）を、次式１１によって、座標（ｕ’，ｖ’）に変換することでレンズ歪みを補正する。
【０１０６】
【数１１】
【０１０７】
画像入力画面（図９）上でユーザがレンズ歪み補正ボタン１０６を押すと、図１４に示すようなレンズ歪み係数設定画面が表示される。ユーザは、レンズ歪み補正係数ｋを、レンズ歪み係数設定画面上のスライダーバー３１を操作することによって設定する。
【０１０８】
レンズ歪み係数設定画面には、レンズ歪み補正前の画像が表示される領域３２と、レンズ歪み補正後の画像が表示される領域３３とが設けられている。このため、ユーザは、レンズ歪み補正前の画像とレンズ歪み補正後の画像とを同時に見ることができる。また、ユーザは、スライダーバー３１で係数ｋを設定するとリアルタイムで変換画像（レンズ歪み補正後の画像）が表示されるため、簡単な操作でかつ、直感的に係数を設定することができる。
【０１０９】
〔３−３〕シェーディング補正
画像入力画面（図９）上で、ユーザがシェーディング補正ボタン１０７を押すと、入力画像に対してシェーディング補正処理が行なわれる。
【０１１０】
顕微鏡撮像系では、光学系の設定よって、画像の周辺部が暗くなるシェーディングが発生する。これを補正するために、各画素毎に、画像中心からの距離に応じた補正画素値ｅ（ｕ，ｖ）を次式１２で計算する。
【０１１１】
【数１２】
【０１１２】
ただし、ｕ，ｖは、画像の中心を原点とし、直交座標軸をＵ，Ｖとした時の座標である。また、ｓはシェーディング補正係数、Ｒは画像中心からもっとも離れた画素の中心からの距離である。
【０１１３】
この補正画素値ｅ（ｕ，ｖ）を用いて、入力画像の画素値Ｉ（ｕ，ｖ）を、次式１３によって、画素値Ｉ’（ｕ，ｖ）へ変換することでシェーディングを補正する。
【０１１４】
【数１３】
【０１１５】
画像入力画面（図９）上でユーザがシェーディング補正ボタン１０７を押すと、図１５に示すようなシェーディング補正係数設定画面がディスプレイ２１に表示される。ユーザは、シェーディング補正係数ｓを、シェーディング補正係数設定画面上のスライダーバー４１を操作することによって設定する。
【０１１６】
シェーディング補正係数設定画面には、シェーディング補正前の画像が表示される領域４２と、シェーディング補正後の画像が表示される領域４３とが設けられている。このため、ユーザは、シェーディング補正前の画像とシェーディング補正後の画像とを同時に見ることができる。また、ユーザは、スライダーバー４１で係数ｓを設定するとリアルタイムで変換画像（シェーディング補正後の画像）が表示されるため、簡単な操作でかつ、直感的に係数を設定することができる。
【０１１７】
〔４〕自動位置合わせ（ステップ３）についての説明
【０１１８】
画像入力画面（図９）上でユーザが自動位置合わせボタン１１２を押すと、自動位置合わせ処理が行なわれ、図１６に示すように、位置合わせ結果を含む自動位置合わせ結果表示画面が表示される。自動位置合わせ結果表示画面には、位置合わせ結果の他、自動合成ボタン１２１、キャンセルボタン１２２等も表示される。
【０１１９】
自動位置合わせ処理では、まず、重なり部を抽出すべき隣接画像ペアが決定された後、各隣接画像ペア毎に重なり部が抽出される。この後、各隣接画像ペア毎に抽出された重なり部に基づいて、平行移動のみを用いて、全画像を位置合わせする。そして、位置合わせ結果が表示される。
【０１２０】
重なり部を抽出する隣接画像ペアの決定方法については、手動位置合わせ（ステップ１０）において説明する。重なり部の抽出処理は、次のようにして行なわれる。説明の便宜上、ここでは、１組の隣接画像ペア（第１画像Ａ１及び第２画像Ａ２）の重なり部を抽出する場合について説明する。
【０１２１】
重なり部の抽出処理は、たとえば、ＳＳＤ法（Sum of Squared Difference)または正規化相互相関法に基づいて行われる。
【０１２２】
（ａ）ＳＳＤ法の説明
ＳＳＤ法では、まず、重なり部を抽出すべき２枚の画像Ａ１、Ａ２それぞれについて、原画像より解像度の低い画像Ｉ1 ，Ｉ2 が生成される。２枚の低解像度画像Ｉ1 ，Ｉ2 の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式１４に示すように画素あたりの２乗誤差Ｅを用いて求められる。画像間の移動量（ｄ）が可能な範囲で変化せしめられ、Ｅが最も小さい移動量（ｄ）から、重なり部が抽出される。
【０１２３】
【数１４】
【０１２４】
（ｂ）正規化相互相関法の説明
正規化相互相関法では、まず、重なり部を抽出すべき２枚の画像Ａ１、Ａ２それぞれについて、原画像より解像度の低い画像Ｉ1 ，Ｉ2 が生成される。２枚の低解像度画像Ｉ1 ，Ｉ2 の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式１５に示すように正規化相互相関係数Ｃを用いて求められる。画像間の移動量（ｄ）が可能な範囲で変化せしめられ、Ｃが最も大きな移動量（ｄ）から、重なり部が抽出される。
【０１２５】
【数１５】
【０１２６】
式１５において、Ｉ1 ￣、Ｉ2 ￣は、第１画像を固定させ、第２画像をｄだけ移動させたときの、両画像の重なり部における各画像それぞれの濃淡値の平均である。また、σ1 、σ2 は、第１画像Ｉ1 を固定させ、第２画像Ｉ2 をｄだけ移動させたときの、両画像の重なり部における各画像それぞれの濃淡値の分散である。
【０１２７】
自動位置合わせ結果表示画面（図１６）上で、ユーザが自動合成ボタン１２１を押すと、図１７に示すような合成パラメータ選択画面が表示されるので、ユーザは合成パラメータを選択する（図８のステップ４の処理）。合成パラメータ選択画面には、”並進”ボタン１３１、”並進＋回転”ボタン１３２、キャンセルボタン１３３等が表示される。ユーザが”並進”ボタン１３１または”並進＋回転”ボタン１３２の何れかを押すと、ステップ５〜９（図８参照）の処理が行なわれて、全画像が合成される。
【０１２８】
〔５〕手動位置合わせ（ステップ１０）についての説明
【０１２９】
図１８は、画像入力画面（図９）上でユーザが手動位置合わせボタン１１３を押した場合に行なわれる手動位置合わせ処理手順を示している。
【０１３０】
画像入力画面（図９）上でユーザが手動位置合わせボタン１１３を押すと、重なり部を抽出すべき隣接画像ペアが決定される（ステップ３１）。
【０１３１】
図１９は、隣接画像ペアの決定処理手順を示している。
【０１３２】
隣接画像ペアは、２次元配列された画像を、隣接画像間で重なりがあるように１次元配列することによって決定される。
【０１３３】
１次元配列の画像番号をｉで表すことにする。まず、ｉ＝１とし（ステップ４１）、２次元配列された画像から、１次元配列の先頭（最初）の画像Ｂi を選択する（ステップ４２）。たとえば、位置（０，０）の画像が１次元配列の先頭の画像Ｂi として選択される。
【０１３４】
次に、２次元配置されている画像が隙間なく配置されていると仮定して、未だ選択されていない画像のうち、画像Ｂi との中心点間距離が最も短い画像を、次に配列すべき画像Ｂi+1 として選択する（ステップ４３）。
【０１３５】
そして、未だ選択されてない画像が残っているか否かを判定する（ステップ４４）。未だ選択されてない画像が残っている場合には、ｉ＝ｉ＋１とし（ステップ４５）、ステップ４３に戻る。
【０１３６】
このようにして、全ての画像が選択されるまで、ステップ４３、４４、４５の処理を繰り返して行うことにより、２次元配列された画像が隣接画像間で重なりがあるように１次元配列される。１次元配列された各画像の隣合うものどうしが重なり部を抽出する隣接画像ペアとなる。
【０１３７】
この例では、２次元配置された各画像は、縦より横の長さが長いので、横方向に並んだ２つの画像の中心点間距離より、縦方向に並んだ２つの画像の中心点間距離の方が短いので、たとえば、画像Ｂi に対して縦方向に隣接する未選択画像が存在する場合には、画像Ｂi に対して縦方向に隣接する未選択画像が画像Ｂi+1 として選択される。また、たとえば、画像Ｂi に対して縦方向に隣接する未選択画像が存在せずに横方向に隣接する未選択画像が存在する場合には、画像Ｂi に対して横方向に隣接する未選択画像が画像Ｂi+1 として選択される。
【０１３８】
したがって、図２０に示すように、たとえば、２０枚の画像が５行４列に配置されている場合には、図２０に矢印で示す順番でこれらの画像が１次元配列される。
【０１３９】
ただし、図２１に示すように、５行４列に配置された画像入力枠のうち、中央の２つの画像入力枠（位置（２，３）および位置（３，３）の画像入力枠）に画像が存在しないような場合には、図２１に矢印で示す順番でこれらの画像が１次元配列される。
【０１４０】
２次元配列された画像が隣接画像間で重なりがあるように１次元配列されると、図２２に示すような手動位置合わせ画面が表示される（ステップ３２，図１８）。
【０１４１】
手動位置合わせ画面は、１次元配列画像表示部１４１と、作業スペース１４２の他、自動位置合わせボタン１４３、自動合成ボタン１４４、キャンセルボタン１４５等を備えている。
【０１４２】
１次元配列画像表示部１４１は下段に設けられ、作業スペース１４２は１次元配列画像表示部１４１の上側に設けられている。１次元配列画像表示部１４１と作業スペース１４２との間には、位置合わせを行なう隣接画像ペアを選択するための２つのペア選択用キー１４６、１４７が表示されるとともに、選択された隣接画像ペアの相対位置関係（合成方向）を示す合成方向指示マーク１４８が表示される。
【０１４３】
１次元配列画像表示部１４１には、１次元配列された各画像が表示される。作業スペース１４２には、１次元配列画像表示部１４１に１次元配列表示されている画像のうちから隣接画像ペアとして選択されている２つの画像が半透明で表示される。
【０１４４】
１次元配列画像表示部１４１には、現在選択されている隣接画像ペアを明示するために、現在選択されている隣接画像ペアを囲む矩形枠１４９が表示される。ペア選択用キー１４６がクリックされると、隣接画像ペアが左側に１画像分シフトせしめられる。ペア選択用キー１４７がクリックされると、隣接画像ペアが右側に１画像分シフトせしめられる。
【０１４５】
合成方向マーク１４８としては、図２３に示すように、上下方向（ａ）、左右方向（ｂ）、左下と右上を結ぶ斜め方向（ｃ）および左上と右下を結ぶ斜め方向（ｄ）の４種類がある。
【０１４６】
選択された隣接画像ペアの合成方向は、その２つの画像の２次元配置位置に基づいて決定される。隣接画像ペアの一方の画像の２次元配置位置を（ｘ１，ｙ１）とし、他方の画像の２次元配置位置を（ｘ２，ｙ２）とする。
【０１４７】
ｘ１＝ｘ２であれば、合成方向は上下方向となる。ｙ１＝ｙ２であれば、合成方向は左右方向となる。ｘ１≠ｘ２でかつｙ１≠ｙ２である場合において、（ｘ１−ｘ２）×（ｙ１−ｙ２）＜０であれば、合成方向は左下と右上を結ぶ斜め方向となる。ｘ１≠ｘ２でかつｙ１≠ｙ２である場合において、（ｘ１−ｘ２）×（ｙ１−ｙ２）＞０であれば、合成方向は左上と右下を結ぶ斜め方向となる。
【０１４８】
手動位置合わせ画面（図２２）が表示されると、ユーザは隣接画像ペアを選択した後、作業スペース１４２内に半透明表示された２つの画像の重なり部分を目視によって手動で合わせる（ステップ３３，図１８）。この操作は、たとえば、作業スペース１４２内に半透明表示された２つの画像のうちの、一方の画像をマウスでドラッグすることによって行なわれる。なお、この操作をキーボードのキーを操作することによって行なうことも可能である。ステップ３３の作業を全ての隣接画像ペアに対して行なうことにより、手動位置合わせは終了する。
【０１４９】
なお、作業スペース１４２内に２つの画像が半透明表示されている状態で、自動位置合わせボタン１４３を押すと、作業スペース１４２内に半透明表示されている２つの画像が、上述した重なり部の自動抽出処理と同様な処理によって自動的に位置合わせされる。
【０１５０】
全隣接画像ペアに対して位置合わせを行なった後に、ユーザが自動合成ボタン１４４を押すと、図１７に示すような合成パラメータ選択画面が表示されるので、ユーザは合成パラメータを選択する（図８のステップ４の処理）。合成パラメータ選択画面上で、ユーザが”並進”ボタン１３１または”並進＋回転”ボタン１３２の何れかを押すと、ステップ５〜９（図８参照）の処理が行なわれて、全画像が合成される。
【０１５１】
〔６〕特徴点の設定（ステップ１１）についての説明
【０１５２】
画像入力画面（図９）上でユーザが特徴点設定ボタン１１４を押すと、重なり部を抽出すべき隣接画像ペアが決定された後、図２４に示すような特徴点設定画面が表示される。
【０１５３】
各隣接画像ペアは、手動位置合わせ処理（図１８）のステップ３１の処理と同様な処理によって決定される。
【０１５４】
特徴点設定画面は、隣接画像ペアを構成する２つの画像をそれぞれ拡大表示するための２つの画像表示部１６１、１６２、隣接画像ペアを選択するための２つのペア選択用キー１６３、１６４、特徴点削除ボタン１６５、自動合成ボタン１６６、キャンセルボタン１６７等を備えている。また、特徴点設定画面の右下部分には、選択された隣接画像ペアの相対位置関係（合成方向）を示す合成方向指示マーク１６８が表示される。
【０１５５】
ペア選択用キー１６３、１６４および合成方向指示マーク１６８は、手動位置合わせ画面（図２２）のペア選択用キー１４６、１４７および合成方向指示マーク１４８と同じ機能を有している。
【０１５６】
ユーザは、２つの画像表示部１６１、１６２に表示された２つの画像に基づいて、手動で特徴点を対応づける。具体的には、右側の画像上の任意の特徴点位置をダブルクリックすると、特徴点設定枠（矩形枠）１６９が両方の画像上に表示される。左側の画像上に表示された特徴点設定枠１６９をマウスでドラッグすることにより、右画像上の特徴点に対応する位置まで移動させる。なお、特徴点削除ボタン１６５を押すと、選択中の特徴点設定枠が削除される。
【０１５７】
合成手法として”並進”を選択する場合には、２画像間の特徴点は１箇所以上設定し、合成手法として”並進＋回転”を選択する場合には、２画像間の特徴点は２箇所以上設定する。特徴点の設定数が多いほど、合成精度は向上する。
【０１５８】
全隣接画像ペアに対して特徴点を設定した後、ユーザが自動合成ボタン１６６を押すと、図１７に示すような合成パラメータ選択画面が表示されるので、ユーザは合成パラメータを選択する（図８のステップ１２の処理）。合成パラメータ選択画面上で、ユーザが”並進”ボタン１３１または”並進＋回転”ボタン１３２の何れかを押すと、ステップ７〜９（図８参照）の処理が行なわれて、全画像が合成される。
【０１５９】
〔７〕特徴点抽出処理（ステップ５）についての説明
【０１６０】
上記ステップ４の処理が終了すると、つまり、ステップ４において表示される合成パラメータ選択画面（図１７参照）上でユーザが”並進”ボタン１３１または”並進＋回転”ボタン１３２の何れかを押すと、特徴点抽出処理が行われる。
【０１６１】
説明の便宜上、１組の隣接画像ペアＡ１、Ａ２に対する処理についてのみ説明する。第１画像Ａ１における第２画像Ａ２との重なり部分から、追跡に有効な複数の部分画像（矩形領域）が特徴点として抽出される。ただし、各特徴点は互いに重ならないように抽出される。具体的には、上述した固有値λmin （式８参照）の高い部分が特徴点として抽出される。
【０１６２】
〔８〕特徴点追跡処理（ステップ６）についての説明
【０１６３】
各隣接画像ペアに対する特徴点抽出処理が終了すると、特徴点追跡処理が行われる。つまり、抽出された第１画像Ａ１上の特徴点に対する第２画像Ａ２上の位置が追跡される。
【０１６４】
具体的には、まず、本出願人が開発したオプティカルフロー推定方法（従来技術の説明の欄の〔２〕参照）によって、適当なサイズ（例えば、１３×１３）のパッチ毎のオプティカルフローベクトルが求められる。第１画像Ａ１上の特徴点に対応する第２画像Ａ２上の位置は、第１画像Ａ１上の特徴点の４近傍のパッチのフローベクトルから線形補間により画素単位以下で求められる。これにより、第１画像Ａ１と第２画像Ａ２との重なり部において、両画像の対応点の座標が得られる。
【０１６５】
〔９〕幾何変換行列の算出処理（ステップ７）についての説明
【０１６６】
第１画像Ａ１に第２画像Ａ２を接合する場合について説明する。第１モード時または第２モード時には、上記ステップ６によって自動的に求められた第１画像Ａ１と第２画像Ａ２との対応点の座標に基づいて、第３モード時には、上記ステップ１１によって手動で求められた第１画像Ａ１と第２画像Ａ２との対応点の座標に基づいて、第２画像Ａ２内の各画素の座標を第１画像Ａ１上の座標に変換するための幾何変換行列（幾何変換係数）を算出する。
【０１６７】
なお、第２画像Ａ２に第１画像Ａ１を接合する場合には、第１画像Ａ１内の各画素の座標を第２画像Ａ２上の座標に変換するための幾何変換行列（幾何変換係数）を算出すればよい。
【０１６８】
合成パラメータの選択処理（ステップ４またはステップ１２）によって”並進”が選択されている場合には、幾何変換行列としては２次元平行移動のための行列が用いられ、”並進＋回転”が選択されている場合には、幾何変換行列としては２次元剛体変換行列が用いられる。
【０１６９】
この段階では、第２画像Ａ２内の各画素の座標を第１画像Ａ１上の座標に変換しないが、第２画像Ａ２内の各画素の座標（ｘ，ｙ，１）を第１画像Ａ１の座標（ｘ’，ｙ’，１）に変換する式は、次式１６または次式１７で表される。なお、ここでいう、座標（ｘ，ｙ），（ｘ’，ｙ’）は画像内の画素の座標であって、図８のステップ１の説明において用いた画像の２次元配置位置を示す座標（ｘ，ｙ）とは異なる。
【０１７０】
【数１６】
【０１７１】
【数１７】
【０１７２】
上記式１６は、幾何変換行列として２次元平行移動のための行列を用いた場合の変換式を示し、上記式１７は、幾何変換行列として２次元剛体変換行列を用いた場合の変換式を示している。
【０１７３】
上記式１６において、（ｔx ，ｔy ）は平行移動量を示し、ｋは零でない任意の定数を示している。また、上記式１７において、（ｔx ，ｔy ）は平行移動量を示し、θは回転角を示し、ｋは零でない任意の定数を示している。
【０１７４】
〔１０〕画素値調合の重み（画素値調合係数）の算出処理（ステップ８）についての説明
【０１７５】
顕微鏡用レンズを装着したカメラで、試料台を移動させたり、試料台上の試料を移動させながら、複数の画像を撮像した場合には、自動露出調整機能が動作することにより、画像間の明るさが異なってしまうことがある。
【０１７６】
そこで、接合されるべき第１画像と第２画像とが重なる領域では、各画像の画素値を調合する処理を後処理として行なう。画素値調合処理は、両画像の重なり領域の画素値を画像間で滑らかに変化させることにより、明るさの差異を目立たなくさせる処理である。また、この処理は、同時に、幾何変換による合成誤差も目立たなくさせることができる。
【０１７７】
この実施の形態では、各画像の重心からの距離に基づいて両画像の重なり領域の画素値を調合する。
【０１７８】
まず、第１画像の重心位置Ｇ1 を求める。また、第２画像を第１画像に接合した合成画像上で、第２画像の重心位置Ｇ2 を、接合のために使用される変換式（上記式１６式または上記式１７式）に基づいて求める。
【０１７９】
次に、第１画像の４頂点（４隅）の位置をそれぞれ求める。また、第２画像を第１画像に接合した合成画像上で、第２画像の４頂点の位置を、接合に使用される変換式（上記式１６式または上記式１７式）に基づいて求める。これにより、合成画像上における第１画像の４頂点の位置および第２画像の４頂点の位置が分かるので、合成画像上において第１画像と第２画像との重なり領域を抽出する。
【０１８０】
合成画像上での第１画像と第２画像との重なり領域内の各画素（画素値調合対象画素）から第１画像と第２画像のそれぞれの画像の重心位置Ｇ1 、Ｇ2 までの距離に応じて、当該画素値調合対象画素の画素値の重みを決定する。この重みは、画素値調合対象画素から重心までの距離が近い方の画像の画素値を大きくするように決定する。
【０１８１】
つまり、合成画像上での第１画像と第２画像との重なり領域内の画素値調合対象画素の座標から、合成画像上での第１画像の重心位置Ｇ1 までのユークリッド距離をｄ1 、合成画像上での第２画像の重心位置Ｇ2 までのユークリッド距離をｄ2 とすると、画素値調合対象画素における第１画像の画素値に対する重みｗ1 および第２画像の画素値に対する重みｗ2 は、次式１８で表される。
【０１８２】
【数１８】
【０１８３】
各画素値調合対象画素に対して式２１に基づいて重みｗ1 およびｗ2 を算出し、画素値調合対象画素に対する重みｗ1 およびｗ2 のテーブル（重みテーブル）を作成する。
【０１８４】
〔１２〕画素合成処理（ステップ９）の説明
【０１８５】
画素合成処理では、上記式１６または上記式１７を用いて第２画像を第１画像の座標系に描画する。
【０１８６】
この際、ステップ８で得られた重みテーブルに基づいて、第１画像と第２画像の重なり領域の画素値Ｐ1 、Ｐ2 を画素調合する。すなわち、次式１９により、各画素値調合対象画素の画素値Ｐi を算出する。
【０１８７】
【数１９】
【０１８８】
このようにして、全隣接画像ペアに対する合成処理が終了すると、合成結果である合成画像を含む合成画像表示画面が表示される。
【０１９１】
【発明の効果】
この発明によれば、モニタ画面上に画像を２次元配置した結果、中央部に画像が存在しないような場合にも、２次元配列した複数枚の画像を、隣接画像間で重なりがあるように、１次元配列することができるようになる。
【図面の簡単な説明】
【図１】図１は、階層的推定法を説明するための図であって、階層１の画像を示す模式図である。
【図２】図２は、階層的推定法を説明するための図であって、階層２の画像を示す模式図である。
【図３】図３は、階層的推定法を説明するための図であって、階層３の画像を示す模式図である。
【図４】図４は、階層的推定法を説明するための図であって、階層４の画像を示す模式図である。
【図５】図５は、実施例で採用されたオプティカルフロー推定方法において行われる膨張処理を説明するための模式図である。
【図６】図６（ａ）は、ある階層の画像に対してしきい値処理されたオプティカルフローの例を示す模式図であり、図６（ｂ）は、補完後のオプティカルフローを示す模式図である。
【図７】図７は、顕微鏡画像合成装置の構成を示すブロック図である。
【図８】図８は、顕微鏡画像合成処理プログラムが起動された場合にＣＰＵ１１によって行われる顕微鏡画像合成処理手順を示すフローチャートである。
【図９】図９は、画像入力画面を示す模式図である。
【図１０】図１０は、画像入力の手順を示すフローチャートである。
【図１１】図１１は、画像配置パターン選択画面の一例を示す模式図である。
【図１２】図１２は、各画像配置パターンＡ〜Ｄと、画像Ａ１〜Ａ９の２次元配列位置との関係を示す模式図である。
【図１３】図１３は、画像配置パターンの例を示す模式図である。
【図１４】図１４は、レンズ歪み補正係数設定画面の一例を示す模式図である。
【図１５】図１５は、シェーディング補正係数設定画面の一例を示す模式図である。
【図１６】図１６は、自動位置合わせ結果表示画面の一例を示す模式図である。
【図１７】図１７は、合成パラメータ選択画面の一例を示す模式図である。
【図１８】図１８は、手動位置合わせ処理手順を示すフローチャートである。
【図１９】図１９は、隣接画像ペアの決定処理手順を示すフローチャートである。
【図２０】図２０は、隣接画像ペアの決定処理によって決定された１次元配列の順番を示す模式図である。
【図２１】図２１は、隣接画像ペアの決定処理によって決定された１次元配列の順番を示す模式図である。
【図２２】図２２は、手動位置合わせ画面の一例を示す模式図である。
【図２３】図２３は、合成方向マークの種類を示す模式図である。
【図２４】図２４は、特徴点設定画面の一例を示す模式図である。
【符号の説明】
１０ パーソナルコンピュータ
１１ ＣＰＵ
１２ メモリ
１３ ハードディスク
１４ ディスクドライブ
【発明の属する技術分野】
この発明は、たとえば、複数の顕微鏡画像から、各画像を自動的に接合し、高解像度かつ広視野の合成画像を獲得するための、画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
〔１〕従来のオプティカルフローの算出方法についての説明
【０００３】
２枚の画像からオプティカルフローを計算し、得られたオプティカルフローに基づいて、２枚の画像間での位置合わせを行う技術が知られている。従来のオプテカルフローの算出方法について説明する。
【０００４】
（１）Lucas-Kanade法
従来から、動画像における運動物体の見かけの速度場（オプティカルフロー）を計算する手法が数多く提案されている。中でも局所勾配法であるLucas-Kanade法は、最も良い手法の一つである。その理由は、処理が高速、実装が容易、結果が信頼度を持つことである。
【０００５】
Lucas-Kanade法の詳細については、文献： B.Lucas and T.Kanade,"An Iterative Image Registration Technique with an Application to Stereo Vision,"In Seventh International Joint Conference on Artificial Intelligence(IJCAI-81), pp. 674-979, 1981を参照のこと。
【０００６】
以下に、Lucas-Kanade法の概要を述べる。
ある時刻ｔの画像座標ｐ＝（ｘ，ｙ）の濃淡パターンＩ（ｘ，ｙ，ｔ）が、ある微小時間後（δｔ）に座標（ｘ＋δｘ，ｙ＋δｙ）に、その濃淡分布を一定に保ったまま移動した時、次のオプティカルフロー拘束式１が成り立つ。
【０００７】
【数１】
２次元画像でオプティカルフロー｛ｖ＝（δｘ／δｔ，δｙ／δｔ）＝（ｕ，ｖ）｝を計算するには、未知パラメータ数が２個であるので、もう一個拘束式が必要である。Lucas とKanade( 金出) は、同一物体の局所領域では、同一のオプティカルフローを持つと仮定した。
【０００９】
例えば、画像上の局所領域ω内で、オプティカルフローが一定であるとすると、最小化したい濃淡パターンの二乗誤差Ｅは、
Ｉ0 （ｐ）＝Ｉ（ｘ，ｙ，ｔ），
Ｉ1 （ｐ＋ｖ）＝Ｉ（ｘ＋ｕ，ｙ＋ｖ，ｔ＋δｔ）
と書き改めると、次式２で定義できる。
【００１０】
【数２】
ここで、ｖが微少な場合には、テーラー展開の２次以上の項を無視できるので、次式３の関係が成り立つ。
【００１２】
【数３】
ここで、ｇ（ｐ）は、Ｉ1 （ｐ）の一次微分である。
【００１４】
誤差Ｅが最小になるのは、Ｅのｖに対する微分値が０の時であるので、次式４の関係が成り立つ。
【００１５】
【数４】
故にオプティカルフローｖは次式５で求められる。
【００１７】
【数５】
更に、次式６に示すように、ニュートン・ラフソン的な反復演算によって精度良く求めることができる。
【００１９】
【数６】
（２）階層的推定法
Lucas-Kanade法を含む勾配法の最も大きな問題点は、良好な初期値が必要なために、大きな動きに対しては適用できないことである。そこで、従来からピラミッド階層構造型に数段回の解像度の異なる画像を作成して解決する方法が提案されている。
【００２１】
これは、まず、２枚の連続した画像から、予めそれぞれの画像の数段階の解像度の異なる画像を作成する。次に、最も解像度の低い画像間において、おおまかなオプティカルフローを計算する。そして、この結果を参考にして、一段解像度の高い画像間においてより精密なオプティカルフローを計算する。この処理を最も解像度の高い画像間まで順次繰り返す。
【００２２】
図４は原画像を、図３は図４の原画像より解像度の低い画像を、図２は図３の低解像度画像より解像度の低い画像を、図１は図２の低解像度画像より解像度の低い画像を、それぞれ示している。図１〜図４において、Ｓは、１つのパッチを示している。
【００２３】
図１の画像（階層１の画像）、図２の画像（階層２の画像）、図３の画像（階層３の画像）および図４の画像（階層４の画像）の順番で段階的にオプティカルフローが求められる。図１〜図４において矢印は、パッチ毎に求められたオプティカルフローベクトルを示している。
【００２４】
しかしながら、ここでの問題点は、実画像では、十分な模様（テクスチャ）を含む領域が少なく、信頼性のあるオプティカルフローが得られないことにある。
【００２５】
〔２〕本出願人が開発したオプティカルフロー算出方法についての説明。
【００２６】
本出願人が開発したオプティカルフロー算出方法は、ピラミッド階層型に数段回の解像度の異なる画像を作成して、オプティカルフローを段階的に計算する階層的推定を前提としている。オプティカルフローの計算方法は、Lucas-Kanade法等の勾配法に従う。つまり、階層構造化した勾配法によるオプティカルフロー推定法を前提としている。ここでは、勾配法としてLucas-Kanade法が用いられている。
【００２７】
本出願人が開発したオプティカルフロー推定方法の特徴は、階層構造化したLucas-Kanade法によるオプティカルフロー推定法の各段階において得られたオプティカルフローを、膨張処理によって補完することにある。以下、これについて詳しく説明する。
【００２８】
Lucas-Kanade法の長所の一つは、追跡結果が信頼性を持つことである。Tomasiと Kanade とは、ある領域の追跡可能性が、以下のように微分画像から算出できることを示した(C.Tomasi and T.Kanade,"Shape and Motion from Image Streams: a Factorization method-Part 3 Detection and Tracking of Point Features ,"CMU-CS-91-132, Carnegie Mellon University, 1991.) 。
【００２９】
ある領域画像ωの垂直・水平方向の微分の２乗を要素に持つ次式７の２×２の係数行列Ｇから、その固有値を計算することで、その領域の追跡可能性を決定することができる。
【００３０】
【数７】
この行列Ｇの固有値が両方とも大きい場合には、その領域は直交方向に変化を持ち、一意の位置決めが可能である。従って、小さい方の固有値λmin と、追跡後の領域間の濃淡残差Ｅから、追跡結果の信頼度γを次式８によって得ることができる。
【００３２】
【数８】
本発明者らは、オプティカルフローの同一階層内で信頼度の高い結果を用いて、信頼度の低い領域を補間する方法を開発した。これは、一段階粗い階層での結果を、追跡の初期値だけに用いて、着目している現段階の階層の結果には何も利用しない。代わりに、テクスチャの少ない領域のオプティカルフローはその周囲のオプティカルフローに近い値を持つと仮定し、モルフォロジー処理によりフロー場を補完するものである。
【００３４】
図５にフローベクトルの膨張処理の様子を示す。
【００３５】
左図は、フローベクトルの信頼度のマップを濃淡で表したものである。ここで、黒ければ黒い程信頼度が高いとする。
【００３６】
まず、得られたフローをしきい値処理する。白い部分は、結果の信頼度が低いために、しきい値処理されたものである。
【００３７】
次に、２値画像でのモルフォロジー演算による穴埋め処理を模して、フロー場において結果の膨張処理を次のように行う。ある領域ｉ，ｊのフローベクトルｕ（ｉ，ｊ）は、その４近傍のフローベクトルから信頼度γに応じて重み付けを行って次式９のように計算できる。
【００３８】
【数９】
この処理を、しきい値処理されたすべての信頼度の低い領域が埋まるまで、繰り返す。この補完処理を、各階層において行う。なお、ある領域ｉ，ｊのフローベクトルｕ（ｉ，ｊ）を、その８近傍のフローベクトルから信頼度γに応じて重み付けを行って算出するようにしてもよい。
【００４０】
図６（ａ）は、ある階層の画像に対してしきい値処理されたオプティカルフローを示し、図６（ｂ）は補完後のオプティカルフローを示している。図６（ａ）において、矢印はしきい値処理によって信頼度が高いと判定されたオプティカルフローベクトルであり、×印は信頼度が低いとされた部分を示している。
【００４１】
〔３〕画像の合成技術についての説明
【００４２】
本出願人は、複数枚の撮像画像を、画像間の幾何変換係数を算出し、算出した幾何変換係数に基づいて合成する技術（画像合成ソフト）を開発している。
【００４３】
ところで、本出願人が開発した画像合成ソフトでは、２次元配列状に撮像した複数の画像を連結して１枚の合成画像を生成する場合、まず、複数枚の撮影画像をそれらの配置位置が実際の相対位置関係と合致するように、モニタ画面上に２次元配置させる。この配置位置情報（画像間の相対位置関係）を利用して、画像の重なり部を抽出すべき隣接画像ペアを決定し、各隣接画像毎に画像の重なり部を抽出する。各隣接画像毎に抽出した画像の重なり部を利用して、各隣接画像毎に、特徴点の対応付けを行なう。各隣接画像毎に対応付けられた特徴点を利用して、各隣接画像毎に幾何変換係数を算出し、各隣接画像毎に算出された幾何変換係数を利用して全画像を合成する。
【００４４】
画像の重なり部の抽出を行なうモードとしては、自動的に行なうモードと手動で行なうモードとが用意されている。画像の重なり部を手動で抽出する場合には、隣接画像ペアを構成する２つの画像をモニタ画面上に半透明で表示し、モニタ画面上に表示された２つの画像の重なり部が重なるように、一方の画像をユーザによって移動させるようにしている。つまり、両画像を重なり部が重なるように、ユーザに手動で位置合わせさせている。
【００４５】
しかしながら、モニタ画面上に表示された隣接画像ペアの相対位置関係は、上下方向、左右方向、斜め方向というように様々であるが、ユーザは隣接画像ペアの相対位置関係を把握しにくいため、位置合わせの作業効率が悪いという問題がある。
【００４６】
また、特徴点の対応付けを行なうモードとしても、自動的に行なうモードと手動で行なうモードとが用意されている。特徴点の対応付けを手動で行なう場合には、隣接画像ペアを構成する２つの画像をモニタ画面上に表示し、モニタ画面上に表示された２つの画像上において両画像間で対応する特徴点をユーザによって設定させるようにしている。
【００４７】
この場合にも、ユーザは隣接画像ペアの相対位置関係を把握しにくいため、特徴点を対応付けるための作業効率が悪いという問題がある。
【００４８】
ところで、モニタ画面上に２次元配置された複数枚の画像から、画像の重なり部を抽出すべき隣接画像ペアを決定する際には、２次元配置された複数枚の画像を、隣接画像間で重なりがあるように１次元配列する必要がある。
【００４９】
２次元配置された複数枚の画像を１次元配列するための方法としては、２次元配列パターン毎に、２次元配置された複数枚の画像を１次元配列するための順番を予め決めておくことが考えられるが、モニタ画面上に画像を２次元配置した結果、中央部に画像が存在しないような場合には、この方法では隣接画像間で重なりがあるように１次元配列することができないという問題がある。
【００５２】
【発明が解決しようとする課題】
この発明は、モニタ画面上に画像を２次元配置した結果、中央部に画像が存在しないような場合にも、２次元配列した複数枚の画像を、隣接画像間で重なりがあるように、１次元配列することができる画像合成装置、画像合成方法および画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００６２】
【課題を解決するための手段】
この発明による画像合成生装置は、合成すべき複数枚の画像を、それらの配置位置関係が実際の相対位置関係と合致するように、モニタ画面上にマトリクス配列状に２次元配置させ、モニタ画面上での各画像の配置位置を示す配置位置情報を利用して、全画像を合成する画像合成装置において、モニタ画面上に２次元配置された複数枚の画像を、１次元配列後の隣接画像間で重なりがあるように１次元配列する第１手段、および１次元配列された画像の各隣接画像ペア毎に重なり部を抽出し、各隣接画像ペア毎に抽出した重なり部に基づいて、全画像を合成する第２手段を備えており、第１手段は、モニタ画面上に２次元配置された複数枚の画像から１次元配列の先頭画像として選択された画像を注目画像とし、各画像がモニタ画面上での２次元配置位置関係を保持したまま隙間なく２次元配置されていると仮定した場合において、未だ選択されていない画像のうち注目画像との中心点間距離が最も短い画像を注目画像の次に配列すべき画像として選択し、選択した画像を注目画像として同様な処理を繰り返すことにより、全画像を１次元配列させるものであることを特徴とする。
【００６３】
この発明による画像合成生方法は、合成すべき複数枚の画像を、それらの配置位置関係が実際の相対位置関係と合致するように、モニタ画面上にマトリクス配列状に２次元配置させ、モニタ画面上での各画像の配置位置を示す配置位置情報を利用して、全画像を合成する画像合成方法において、モニタ画面上に２次元配置された複数枚の画像を、１次元配列後の隣接画像間で重なりがあるように１次元配列する第１ステップ、および１次元配列された画像の各隣接画像ペア毎に重なり部を抽出し、各隣接画像ペア毎に抽出した重なり部に基づいて、全画像を合成する第２ステップを備えており、第１ステップは、モニタ画面上に２次元配置された複数枚の画像から１次元配列の先頭画像として選択された画像を注目画像とし、各画像がモニタ画面上での２次元配置位置関係を保持したまま隙間なく２次元配置されていると仮定した場合において、未だ選択されていない画像のうち注目画像との中心点間距離が最も短い画像を注目画像の次に配列すべき画像として選択し、選択した画像を注目画像として同様な処理を繰り返すことにより、全画像を１次元配列させるものであることを特徴とする。
【００６４】
この発明によるコンピュータ読み取り可能な記録媒体は、合成すべき複数枚の画像を、それらの配置位置関係が実際の相対位置関係と合致するように、モニタ画面上にマトリクス配列状に２次元配置させ、モニタ画面上での各画像の配置位置を示す配置位置情報を利用して、全画像を合成する画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、モニタ画面上に２次元配置された複数枚の画像を、１次元配列後の隣接画像間で重なりがあるように１次元配列する第１ステップ、および１次元配列された画像の各隣接画像ペア毎に重なり部を抽出し、各隣接画像ペア毎に抽出した重なり部に基づいて、全画像を合成する第２ステップを、コンピュータに実行させるためのプログラムを記録しており、第１ステップは、モニタ画面上に２次元配置された複数枚の画像から１次元配列の先頭画像として選択された画像を注目画像とし、各画像がモニタ画面上での２次元配置位置関係を保持したまま隙間なく２次元配置されていると仮定した場合において、未だ選択されていない画像のうち注目画像との中心点間距離が最も短い画像を注目画像の次に配列すべき画像として選択し、選択した画像を注目画像として同様な処理を繰り返すことにより、全画像を１次元配列させるものであることを特徴とする。
【００６５】
【発明の実施の形態】
以下、この発明を顕微鏡画像合成装置に適用した場合の実施の形態について説明する。
【００６６】
〔１〕 顕微鏡画像合成装置の全体構成の説明
【００６７】
図７は、顕微鏡画像合成装置の全体構成を示している。
【００６８】
顕微鏡画像合成装置は、パーソナルコンピュータによって実現される。パーソナルコンピュータ１０には、ディスプレイ（モニタ）２１、マウス２２およびキーボード２３が接続されている。パーソナルコンピュータ１０は、ＣＰＵ１１、メモリ１２、ハードディスク１３、ＣＤ−ＲＯＭのようなリムーバブルディスクのドライブ（ディスクドライブ）１４を備えている。
【００６９】
ハードディスク１３には、ＯＳ（オペレーティングシステム）等の他、顕微鏡画像合成処理プログラムが格納されている。顕微鏡画像合成処理プログラムは、それが格納されたＣＤ−ＲＯＭ２０を用いて、ハードディスク１３にインストールされる。また、ハードディスク１３には、合成されるべき複数の顕微鏡画像が予め格納されているものとする。
【００７０】
〔２〕 顕微鏡画像合成処理プログラムが起動された場合にＣＰＵ１１によって行われる顕微鏡画像合成処理手順の説明。
【００７１】
ユーザは、顕微鏡用レンズを装着したカメラで、台を移動させたり、試料を移動させながら、各画像間で重なりを持った複数の顕微鏡画像を撮像する。そして、得られた複数の顕微鏡画像をハードディスク１３に格納しておく。
【００７２】
図８は、ＣＰＵ１１によって行われる全体的な処理手順を示している。
【００７３】
まず、合成すべき複数の顕微鏡画像（以下、画像という）を入力する（ステップ１）。つまり、合成すべき複数の画像を選択し、選択した複数枚の画像をそれらの配置位置が実際の相対位置関係と合致するように、モニタ画面上に配置する。
【００７４】
次に、各入力画像に対して前処理を行なう（ステップ２）。つまり、入力画像のうちから合成処理の基準面となる画像を選択したり、入力画像に対してレンズ歪み補正処理を行なったり、シェーディング補正処理を行なったりする。
【００７５】
次に、レンズ歪み補正およびシェーディング補正が行なわれた複数の画像を接合するための処理を行なう。この画像合成モードとしては、３つのモードがある。
【００７６】
まず、第１は、すべて自動で行なう第１モード、画像間の位置合わせ（画像間の重なり部の抽出）を手動で設定する第２モード、画像間の特徴点の対応付けを手動で行なう第３モードがある。
【００７７】
まず、第１モードでは、前処理の後、自動位置合わせを行う（ステップ３）。つまり、全入力画像のおおまかな位置合わせ（平行移動のみ）を自動で行ない、位置合わせの結果を表示する。
【００７８】
次に、合成パラーメータをユーザに選択させる（ステップ４）。たとえば、平行移動のみによる合成（並進）か、平行移動に加えて光軸まわりの回転を考慮して合成（並進＋回転）するかの選択をユーザに行なわせる。
【００７９】
この後、特徴点抽出処理（ステップ５）および特徴点追跡処理（ステップ６）を行なった後、幾何変換行列を算出する（ステップ７）。そして、画素値調合の重みを算出し（ステップ８）、最後に画像合成を行う（ステップ９）。
【００８０】
第２モードは、第１モードでの自動位置合わせが失敗するような場合に備えて、用意されている。第２モードでは、前処理の後、手動位置合わせを行なう（ステップ１０）。つまり、全入力画像から選択された各隣接画像ペア毎に、両画像の間の位置合わせ（平行移動のみ）を手動で行う。この後、上記ステップ４〜９の処理を行なう。
【００８１】
第３モードは、第１モードまたは第２モードによる合成が失敗するような場合に備えて用意されている。第３モードでは、前処理の後、ユーザに特徴点を設定させる（ステップ１１）。つまり、全入力画像から選択された各隣接画像ペア毎に、両画像間で一致させたい部分（特徴点）を手動で設定する。次に、合成パラメータをユーザに選択させる（ステップ１２）。この後、上記ステップ７〜９の処理を行なう。
【００８２】
以下、各ステップについて説明する。
【００８３】
〔２〕画像入力（ステップ１）についての説明
【００８４】
図９は、画像入力画面を示している。
【００８５】
画像入力画面は、合成すべき画像が格納されている画像フォルダを選択するためのフォルダツリー表示部１０１、選択された画像フォルダに格納されている画像ファイルを表示するための画像ファイル表示部１０２、作業スペース１０３、行列数の設定部１０４、基準画像選択ボタン１０５、レンズ歪み補正ボタン１０６、シェーディング補正ボタン１０７、選択画像入力ボタン１０８、全画像入力ボタン１０９、選択画像入力解除ボタン１１０、全画像入力解除ボタン１１１、自動位置合わせボタン１１２、手動位置合わせボタン１１３、特徴点設定ボタン１１４等を備えている。
【００８６】
図１０は、画像入力の手順を示している。
【００８７】
まず、合成すべき画像を選択する（ステップ２１）。フォルダツリー表示部１０１内に表示されているフォルダツリーから、合成すべき画像が格納されている画像フォルダを指定すると、指定された画像フォルダに格納されている画像が画像ファイル表示ウインドウ１０２に縦方向に表示される。ここでは、指定された画像フォルダには９枚の画像が格納されており、画像ファイル表示ウインドウ１０２にそれらの９枚の画像がフォルダ名順に表示されたものとする。なお、これらの画像を、撮像した日時順に表示するようにしてもよい。
【００８８】
次に、選択した画像の枚数等に応じて、作業スペース１０３内に表示される画像入力枠の行列数を設定する（ステップ２２）。なお、行列数の初期値は３×３であり、作業スペース１０３内には３×３の画像入力枠が表示されている。
【００８９】
行列数の設定は、たとえば、行列数の設定部１０４に行数および列数を入力した後にEnter キーを押すか、全画像入力枠を囲む全画像入力領域Ｓの右下の調整つまみ１１５をドラッグすることによって行なわれる。ここでは、行数および列数とも、初期値”３”が維持されたとする。したがって、作業スペース１０３内には、３×３の画像入力枠が表示されたままとなる。
【００９０】
次に、全画像入力ボタン１０９をクリックすると（ステップ２３）、図１１に示すような画像配置パターン選択画面が画像入力画面上に表示される（ステップ２４）。
【００９１】
画像配置パターン選択画面には、画像ファイル表示部１０２に縦方向に表示された画像を２次元配置された画像入力枠にどのような配置で入力するかを示す複数種類の画像配置パターンＡ〜Ｄと、画像配置パターンを選択するためのラジオボタンと、ＯＫボタンと、キャンセルボタンとが表示される。
【００９２】
複数のラジオボタンのうち、１つのラジオボタンが選択された状態となっている。画像合成プログラムがインストールされた直後においては、予め定められたデフォルトの画像配置パターンに対するラジオボタンが選択された状態として表示されるが、ユーザによって画像配置パターンが１度でも選択された後においては、最新にユーザによって選択された画像配置パターンに対するラジオボタンが選択された状態として表示される。
【００９３】
ユーザは、画像ファイル表示部１０２に縦方向に表示された複数枚の画像が実際の相対位置関係を保持した状態で２次元配置されるように、画像配置パターンを選択した後、ＯＫボタンをクリックする（ステップ２５）。この結果、画像ファイル表示部１０２に縦方向に表示された各画像が、２次元配置された画像入力枠内に自動的に入力（表示）される（ステップ２６）。つまり、各画像が、それらの実際の相対位置関係を保持した状態で２次元配置される。
【００９４】
９枚の画像をファイル名の順番にＡ１〜Ａ９で表すと、各画像配置パターンＡ〜Ｄと、画像Ａ１〜Ａ９の２次元配列位置との関係は、図１２に示すようになる。
【００９５】
このようにして、合成すべき複数枚の画像が２次元配置されると、各画像のファイル名と、各画像の２次元配置位置（画像が入力された画像入力枠の位置）（ｘ，ｙ）とが記憶される（ステップ２７）。各画像の２次元配置位置（ｘ，ｙ）は、全画像入力領域Ｓの左上を原点として、右方向にｘ方向を、下方向にｙ方向をとったＸＹ座標系で表される。
【００９６】
なお、ユーザは、ドラッグ＆ドロップまたは選択画像入力ボタン１０８によって、各画像入力枠内に、１つずつ画像を入力させていくことも可能である。
【００９７】
また、ユーザは、画像入力枠内に入力された画像を解除することもできる。全画像入力解除ボタン１１１を押すと、全ての入力画像が解除され、入力画像を選択した後に選択画像入力解除ボタン１１０を押すと選択した入力画像が解除される。また、入力画像を全画像入力領域Ｓ外へドラッグ＆ドロップすることによっても入力画像を解除することができる。
【００９８】
画像配置パターンとしては、図１３の（ａ）〜（ｃ）に示す”改行復帰・改列復帰パターン、図１３の（ｄ）〜（ｆ）に示す”折り返しパターン、図１３の（ｇ）〜（ｉ）に示す渦巻きパターン等を用いることができる。
【００９９】
〔３〕前処理（ステップ２）についての説明
【０１００】
〔３−１〕基準画像の設定
基準画像を選択するには、基準にしたい入力画像を選択した後に、基準画像選択ボタン１０５を押せばよい。
【０１０１】
〔３−２〕レンズ歪み補正
画像入力画面（図９）上で、ユーザがレンズ歪み補正ボタン１０６を押すと、入力画像に対してレンズ歪み補正処理が行なわれる。
【０１０２】
顕微鏡用レンズには、周辺部に歪みがある。この歪みを取り除くための補正ベクトル（ｄｕ，ｄｖ）を、次式１０を用いて計算する。
【０１０３】
【数１０】
ただし、ｕ，ｖは、画像の中心を原点とし、直交座標軸をＵ，Ｖとした時の座標である。また、ｋはレンズ歪み補正係数である。
【０１０５】
この補正ベクトル（ｄｕ，ｄｖ）を用いて、入力画像の座標（ｕ，ｖ）を、次式１１によって、座標（ｕ’，ｖ’）に変換することでレンズ歪みを補正する。
【０１０６】
【数１１】
画像入力画面（図９）上でユーザがレンズ歪み補正ボタン１０６を押すと、図１４に示すようなレンズ歪み係数設定画面が表示される。ユーザは、レンズ歪み補正係数ｋを、レンズ歪み係数設定画面上のスライダーバー３１を操作することによって設定する。
【０１０８】
レンズ歪み係数設定画面には、レンズ歪み補正前の画像が表示される領域３２と、レンズ歪み補正後の画像が表示される領域３３とが設けられている。このため、ユーザは、レンズ歪み補正前の画像とレンズ歪み補正後の画像とを同時に見ることができる。また、ユーザは、スライダーバー３１で係数ｋを設定するとリアルタイムで変換画像（レンズ歪み補正後の画像）が表示されるため、簡単な操作でかつ、直感的に係数を設定することができる。
【０１０９】
〔３−３〕シェーディング補正
画像入力画面（図９）上で、ユーザがシェーディング補正ボタン１０７を押すと、入力画像に対してシェーディング補正処理が行なわれる。
【０１１０】
顕微鏡撮像系では、光学系の設定よって、画像の周辺部が暗くなるシェーディングが発生する。これを補正するために、各画素毎に、画像中心からの距離に応じた補正画素値ｅ（ｕ，ｖ）を次式１２で計算する。
【０１１１】
【数１２】
ただし、ｕ，ｖは、画像の中心を原点とし、直交座標軸をＵ，Ｖとした時の座標である。また、ｓはシェーディング補正係数、Ｒは画像中心からもっとも離れた画素の中心からの距離である。
【０１１３】
この補正画素値ｅ（ｕ，ｖ）を用いて、入力画像の画素値Ｉ（ｕ，ｖ）を、次式１３によって、画素値Ｉ’（ｕ，ｖ）へ変換することでシェーディングを補正する。
【０１１４】
【数１３】
画像入力画面（図９）上でユーザがシェーディング補正ボタン１０７を押すと、図１５に示すようなシェーディング補正係数設定画面がディスプレイ２１に表示される。ユーザは、シェーディング補正係数ｓを、シェーディング補正係数設定画面上のスライダーバー４１を操作することによって設定する。
【０１１６】
シェーディング補正係数設定画面には、シェーディング補正前の画像が表示される領域４２と、シェーディング補正後の画像が表示される領域４３とが設けられている。このため、ユーザは、シェーディング補正前の画像とシェーディング補正後の画像とを同時に見ることができる。また、ユーザは、スライダーバー４１で係数ｓを設定するとリアルタイムで変換画像（シェーディング補正後の画像）が表示されるため、簡単な操作でかつ、直感的に係数を設定することができる。
【０１１７】
〔４〕自動位置合わせ（ステップ３）についての説明
【０１１８】
画像入力画面（図９）上でユーザが自動位置合わせボタン１１２を押すと、自動位置合わせ処理が行なわれ、図１６に示すように、位置合わせ結果を含む自動位置合わせ結果表示画面が表示される。自動位置合わせ結果表示画面には、位置合わせ結果の他、自動合成ボタン１２１、キャンセルボタン１２２等も表示される。
【０１１９】
自動位置合わせ処理では、まず、重なり部を抽出すべき隣接画像ペアが決定された後、各隣接画像ペア毎に重なり部が抽出される。この後、各隣接画像ペア毎に抽出された重なり部に基づいて、平行移動のみを用いて、全画像を位置合わせする。そして、位置合わせ結果が表示される。
【０１２０】
重なり部を抽出する隣接画像ペアの決定方法については、手動位置合わせ（ステップ１０）において説明する。重なり部の抽出処理は、次のようにして行なわれる。説明の便宜上、ここでは、１組の隣接画像ペア（第１画像Ａ１及び第２画像Ａ２）の重なり部を抽出する場合について説明する。
【０１２１】
重なり部の抽出処理は、たとえば、ＳＳＤ法（Sum of Squared Difference)または正規化相互相関法に基づいて行われる。
【０１２２】
（ａ）ＳＳＤ法の説明
ＳＳＤ法では、まず、重なり部を抽出すべき２枚の画像Ａ１、Ａ２それぞれについて、原画像より解像度の低い画像Ｉ1 ，Ｉ2 が生成される。２枚の低解像度画像Ｉ1 ，Ｉ2 の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式１４に示すように画素あたりの２乗誤差Ｅを用いて求められる。画像間の移動量（ｄ）が可能な範囲で変化せしめられ、Ｅが最も小さい移動量（ｄ）から、重なり部が抽出される。
【０１２３】
【数１４】
（ｂ）正規化相互相関法の説明
正規化相互相関法では、まず、重なり部を抽出すべき２枚の画像Ａ１、Ａ２それぞれについて、原画像より解像度の低い画像Ｉ1 ，Ｉ2 が生成される。２枚の低解像度画像Ｉ1 ，Ｉ2 の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式１５に示すように正規化相互相関係数Ｃを用いて求められる。画像間の移動量（ｄ）が可能な範囲で変化せしめられ、Ｃが最も大きな移動量（ｄ）から、重なり部が抽出される。
【０１２５】
【数１５】
式１５において、Ｉ1 ￣、Ｉ2 ￣は、第１画像を固定させ、第２画像をｄだけ移動させたときの、両画像の重なり部における各画像それぞれの濃淡値の平均である。また、σ1 、σ2 は、第１画像Ｉ1 を固定させ、第２画像Ｉ2 をｄだけ移動させたときの、両画像の重なり部における各画像それぞれの濃淡値の分散である。
【０１２７】
自動位置合わせ結果表示画面（図１６）上で、ユーザが自動合成ボタン１２１を押すと、図１７に示すような合成パラメータ選択画面が表示されるので、ユーザは合成パラメータを選択する（図８のステップ４の処理）。合成パラメータ選択画面には、”並進”ボタン１３１、”並進＋回転”ボタン１３２、キャンセルボタン１３３等が表示される。ユーザが”並進”ボタン１３１または”並進＋回転”ボタン１３２の何れかを押すと、ステップ５〜９（図８参照）の処理が行なわれて、全画像が合成される。
【０１２８】
〔５〕手動位置合わせ（ステップ１０）についての説明
【０１２９】
図１８は、画像入力画面（図９）上でユーザが手動位置合わせボタン１１３を押した場合に行なわれる手動位置合わせ処理手順を示している。
【０１３０】
画像入力画面（図９）上でユーザが手動位置合わせボタン１１３を押すと、重なり部を抽出すべき隣接画像ペアが決定される（ステップ３１）。
【０１３１】
図１９は、隣接画像ペアの決定処理手順を示している。
【０１３２】
隣接画像ペアは、２次元配列された画像を、隣接画像間で重なりがあるように１次元配列することによって決定される。
【０１３３】
１次元配列の画像番号をｉで表すことにする。まず、ｉ＝１とし（ステップ４１）、２次元配列された画像から、１次元配列の先頭（最初）の画像Ｂi を選択する（ステップ４２）。たとえば、位置（０，０）の画像が１次元配列の先頭の画像Ｂi として選択される。
【０１３４】
次に、２次元配置されている画像が隙間なく配置されていると仮定して、未だ選択されていない画像のうち、画像Ｂi との中心点間距離が最も短い画像を、次に配列すべき画像Ｂi+1 として選択する（ステップ４３）。
【０１３５】
そして、未だ選択されてない画像が残っているか否かを判定する（ステップ４４）。未だ選択されてない画像が残っている場合には、ｉ＝ｉ＋１とし（ステップ４５）、ステップ４３に戻る。
【０１３６】
このようにして、全ての画像が選択されるまで、ステップ４３、４４、４５の処理を繰り返して行うことにより、２次元配列された画像が隣接画像間で重なりがあるように１次元配列される。１次元配列された各画像の隣合うものどうしが重なり部を抽出する隣接画像ペアとなる。
【０１３７】
この例では、２次元配置された各画像は、縦より横の長さが長いので、横方向に並んだ２つの画像の中心点間距離より、縦方向に並んだ２つの画像の中心点間距離の方が短いので、たとえば、画像Ｂi に対して縦方向に隣接する未選択画像が存在する場合には、画像Ｂi に対して縦方向に隣接する未選択画像が画像Ｂi+1 として選択される。また、たとえば、画像Ｂi に対して縦方向に隣接する未選択画像が存在せずに横方向に隣接する未選択画像が存在する場合には、画像Ｂi に対して横方向に隣接する未選択画像が画像Ｂi+1 として選択される。
【０１３８】
したがって、図２０に示すように、たとえば、２０枚の画像が５行４列に配置されている場合には、図２０に矢印で示す順番でこれらの画像が１次元配列される。
【０１３９】
ただし、図２１に示すように、５行４列に配置された画像入力枠のうち、中央の２つの画像入力枠（位置（２，３）および位置（３，３）の画像入力枠）に画像が存在しないような場合には、図２１に矢印で示す順番でこれらの画像が１次元配列される。
【０１４０】
２次元配列された画像が隣接画像間で重なりがあるように１次元配列されると、図２２に示すような手動位置合わせ画面が表示される（ステップ３２，図１８）。
【０１４１】
手動位置合わせ画面は、１次元配列画像表示部１４１と、作業スペース１４２の他、自動位置合わせボタン１４３、自動合成ボタン１４４、キャンセルボタン１４５等を備えている。
【０１４２】
１次元配列画像表示部１４１は下段に設けられ、作業スペース１４２は１次元配列画像表示部１４１の上側に設けられている。１次元配列画像表示部１４１と作業スペース１４２との間には、位置合わせを行なう隣接画像ペアを選択するための２つのペア選択用キー１４６、１４７が表示されるとともに、選択された隣接画像ペアの相対位置関係（合成方向）を示す合成方向指示マーク１４８が表示される。
【０１４３】
１次元配列画像表示部１４１には、１次元配列された各画像が表示される。作業スペース１４２には、１次元配列画像表示部１４１に１次元配列表示されている画像のうちから隣接画像ペアとして選択されている２つの画像が半透明で表示される。
【０１４４】
１次元配列画像表示部１４１には、現在選択されている隣接画像ペアを明示するために、現在選択されている隣接画像ペアを囲む矩形枠１４９が表示される。ペア選択用キー１４６がクリックされると、隣接画像ペアが左側に１画像分シフトせしめられる。ペア選択用キー１４７がクリックされると、隣接画像ペアが右側に１画像分シフトせしめられる。
【０１４５】
合成方向マーク１４８としては、図２３に示すように、上下方向（ａ）、左右方向（ｂ）、左下と右上を結ぶ斜め方向（ｃ）および左上と右下を結ぶ斜め方向（ｄ）の４種類がある。
【０１４６】
選択された隣接画像ペアの合成方向は、その２つの画像の２次元配置位置に基づいて決定される。隣接画像ペアの一方の画像の２次元配置位置を（ｘ１，ｙ１）とし、他方の画像の２次元配置位置を（ｘ２，ｙ２）とする。
【０１４７】
ｘ１＝ｘ２であれば、合成方向は上下方向となる。ｙ１＝ｙ２であれば、合成方向は左右方向となる。ｘ１≠ｘ２でかつｙ１≠ｙ２である場合において、（ｘ１−ｘ２）×（ｙ１−ｙ２）＜０であれば、合成方向は左下と右上を結ぶ斜め方向となる。ｘ１≠ｘ２でかつｙ１≠ｙ２である場合において、（ｘ１−ｘ２）×（ｙ１−ｙ２）＞０であれば、合成方向は左上と右下を結ぶ斜め方向となる。
【０１４８】
手動位置合わせ画面（図２２）が表示されると、ユーザは隣接画像ペアを選択した後、作業スペース１４２内に半透明表示された２つの画像の重なり部分を目視によって手動で合わせる（ステップ３３，図１８）。この操作は、たとえば、作業スペース１４２内に半透明表示された２つの画像のうちの、一方の画像をマウスでドラッグすることによって行なわれる。なお、この操作をキーボードのキーを操作することによって行なうことも可能である。ステップ３３の作業を全ての隣接画像ペアに対して行なうことにより、手動位置合わせは終了する。
【０１４９】
なお、作業スペース１４２内に２つの画像が半透明表示されている状態で、自動位置合わせボタン１４３を押すと、作業スペース１４２内に半透明表示されている２つの画像が、上述した重なり部の自動抽出処理と同様な処理によって自動的に位置合わせされる。
【０１５０】
全隣接画像ペアに対して位置合わせを行なった後に、ユーザが自動合成ボタン１４４を押すと、図１７に示すような合成パラメータ選択画面が表示されるので、ユーザは合成パラメータを選択する（図８のステップ４の処理）。合成パラメータ選択画面上で、ユーザが”並進”ボタン１３１または”並進＋回転”ボタン１３２の何れかを押すと、ステップ５〜９（図８参照）の処理が行なわれて、全画像が合成される。
【０１５１】
〔６〕特徴点の設定（ステップ１１）についての説明
【０１５２】
画像入力画面（図９）上でユーザが特徴点設定ボタン１１４を押すと、重なり部を抽出すべき隣接画像ペアが決定された後、図２４に示すような特徴点設定画面が表示される。
【０１５３】
各隣接画像ペアは、手動位置合わせ処理（図１８）のステップ３１の処理と同様な処理によって決定される。
【０１５４】
特徴点設定画面は、隣接画像ペアを構成する２つの画像をそれぞれ拡大表示するための２つの画像表示部１６１、１６２、隣接画像ペアを選択するための２つのペア選択用キー１６３、１６４、特徴点削除ボタン１６５、自動合成ボタン１６６、キャンセルボタン１６７等を備えている。また、特徴点設定画面の右下部分には、選択された隣接画像ペアの相対位置関係（合成方向）を示す合成方向指示マーク１６８が表示される。
【０１５５】
ペア選択用キー１６３、１６４および合成方向指示マーク１６８は、手動位置合わせ画面（図２２）のペア選択用キー１４６、１４７および合成方向指示マーク１４８と同じ機能を有している。
【０１５６】
ユーザは、２つの画像表示部１６１、１６２に表示された２つの画像に基づいて、手動で特徴点を対応づける。具体的には、右側の画像上の任意の特徴点位置をダブルクリックすると、特徴点設定枠（矩形枠）１６９が両方の画像上に表示される。左側の画像上に表示された特徴点設定枠１６９をマウスでドラッグすることにより、右画像上の特徴点に対応する位置まで移動させる。なお、特徴点削除ボタン１６５を押すと、選択中の特徴点設定枠が削除される。
【０１５７】
合成手法として”並進”を選択する場合には、２画像間の特徴点は１箇所以上設定し、合成手法として”並進＋回転”を選択する場合には、２画像間の特徴点は２箇所以上設定する。特徴点の設定数が多いほど、合成精度は向上する。
【０１５８】
全隣接画像ペアに対して特徴点を設定した後、ユーザが自動合成ボタン１６６を押すと、図１７に示すような合成パラメータ選択画面が表示されるので、ユーザは合成パラメータを選択する（図８のステップ１２の処理）。合成パラメータ選択画面上で、ユーザが”並進”ボタン１３１または”並進＋回転”ボタン１３２の何れかを押すと、ステップ７〜９（図８参照）の処理が行なわれて、全画像が合成される。
【０１５９】
〔７〕特徴点抽出処理（ステップ５）についての説明
【０１６０】
上記ステップ４の処理が終了すると、つまり、ステップ４において表示される合成パラメータ選択画面（図１７参照）上でユーザが”並進”ボタン１３１または”並進＋回転”ボタン１３２の何れかを押すと、特徴点抽出処理が行われる。
【０１６１】
説明の便宜上、１組の隣接画像ペアＡ１、Ａ２に対する処理についてのみ説明する。第１画像Ａ１における第２画像Ａ２との重なり部分から、追跡に有効な複数の部分画像（矩形領域）が特徴点として抽出される。ただし、各特徴点は互いに重ならないように抽出される。具体的には、上述した固有値λmin （式８参照）の高い部分が特徴点として抽出される。
【０１６２】
〔８〕特徴点追跡処理（ステップ６）についての説明
【０１６３】
各隣接画像ペアに対する特徴点抽出処理が終了すると、特徴点追跡処理が行われる。つまり、抽出された第１画像Ａ１上の特徴点に対する第２画像Ａ２上の位置が追跡される。
【０１６４】
具体的には、まず、本出願人が開発したオプティカルフロー推定方法（従来技術の説明の欄の〔２〕参照）によって、適当なサイズ（例えば、１３×１３）のパッチ毎のオプティカルフローベクトルが求められる。第１画像Ａ１上の特徴点に対応する第２画像Ａ２上の位置は、第１画像Ａ１上の特徴点の４近傍のパッチのフローベクトルから線形補間により画素単位以下で求められる。これにより、第１画像Ａ１と第２画像Ａ２との重なり部において、両画像の対応点の座標が得られる。
【０１６５】
〔９〕幾何変換行列の算出処理（ステップ７）についての説明
【０１６６】
第１画像Ａ１に第２画像Ａ２を接合する場合について説明する。第１モード時または第２モード時には、上記ステップ６によって自動的に求められた第１画像Ａ１と第２画像Ａ２との対応点の座標に基づいて、第３モード時には、上記ステップ１１によって手動で求められた第１画像Ａ１と第２画像Ａ２との対応点の座標に基づいて、第２画像Ａ２内の各画素の座標を第１画像Ａ１上の座標に変換するための幾何変換行列（幾何変換係数）を算出する。
【０１６７】
なお、第２画像Ａ２に第１画像Ａ１を接合する場合には、第１画像Ａ１内の各画素の座標を第２画像Ａ２上の座標に変換するための幾何変換行列（幾何変換係数）を算出すればよい。
【０１６８】
合成パラメータの選択処理（ステップ４またはステップ１２）によって”並進”が選択されている場合には、幾何変換行列としては２次元平行移動のための行列が用いられ、”並進＋回転”が選択されている場合には、幾何変換行列としては２次元剛体変換行列が用いられる。
【０１６９】
この段階では、第２画像Ａ２内の各画素の座標を第１画像Ａ１上の座標に変換しないが、第２画像Ａ２内の各画素の座標（ｘ，ｙ，１）を第１画像Ａ１の座標（ｘ’，ｙ’，１）に変換する式は、次式１６または次式１７で表される。なお、ここでいう、座標（ｘ，ｙ），（ｘ’，ｙ’）は画像内の画素の座標であって、図８のステップ１の説明において用いた画像の２次元配置位置を示す座標（ｘ，ｙ）とは異なる。
【０１７０】
【数１６】
【数１７】
上記式１６は、幾何変換行列として２次元平行移動のための行列を用いた場合の変換式を示し、上記式１７は、幾何変換行列として２次元剛体変換行列を用いた場合の変換式を示している。
【０１７３】
上記式１６において、（ｔx ，ｔy ）は平行移動量を示し、ｋは零でない任意の定数を示している。また、上記式１７において、（ｔx ，ｔy ）は平行移動量を示し、θは回転角を示し、ｋは零でない任意の定数を示している。
【０１７４】
〔１０〕画素値調合の重み（画素値調合係数）の算出処理（ステップ８）についての説明
【０１７５】
顕微鏡用レンズを装着したカメラで、試料台を移動させたり、試料台上の試料を移動させながら、複数の画像を撮像した場合には、自動露出調整機能が動作することにより、画像間の明るさが異なってしまうことがある。
【０１７６】
そこで、接合されるべき第１画像と第２画像とが重なる領域では、各画像の画素値を調合する処理を後処理として行なう。画素値調合処理は、両画像の重なり領域の画素値を画像間で滑らかに変化させることにより、明るさの差異を目立たなくさせる処理である。また、この処理は、同時に、幾何変換による合成誤差も目立たなくさせることができる。
【０１７７】
この実施の形態では、各画像の重心からの距離に基づいて両画像の重なり領域の画素値を調合する。
【０１７８】
まず、第１画像の重心位置Ｇ1 を求める。また、第２画像を第１画像に接合した合成画像上で、第２画像の重心位置Ｇ2 を、接合のために使用される変換式（上記式１６式または上記式１７式）に基づいて求める。
【０１７９】
次に、第１画像の４頂点（４隅）の位置をそれぞれ求める。また、第２画像を第１画像に接合した合成画像上で、第２画像の４頂点の位置を、接合に使用される変換式（上記式１６式または上記式１７式）に基づいて求める。これにより、合成画像上における第１画像の４頂点の位置および第２画像の４頂点の位置が分かるので、合成画像上において第１画像と第２画像との重なり領域を抽出する。
【０１８０】
合成画像上での第１画像と第２画像との重なり領域内の各画素（画素値調合対象画素）から第１画像と第２画像のそれぞれの画像の重心位置Ｇ1 、Ｇ2 までの距離に応じて、当該画素値調合対象画素の画素値の重みを決定する。この重みは、画素値調合対象画素から重心までの距離が近い方の画像の画素値を大きくするように決定する。
【０１８１】
つまり、合成画像上での第１画像と第２画像との重なり領域内の画素値調合対象画素の座標から、合成画像上での第１画像の重心位置Ｇ1 までのユークリッド距離をｄ1 、合成画像上での第２画像の重心位置Ｇ2 までのユークリッド距離をｄ2 とすると、画素値調合対象画素における第１画像の画素値に対する重みｗ1 および第２画像の画素値に対する重みｗ2 は、次式１８で表される。
【０１８２】
【数１８】
各画素値調合対象画素に対して式２１に基づいて重みｗ1 およびｗ2 を算出し、画素値調合対象画素に対する重みｗ1 およびｗ2 のテーブル（重みテーブル）を作成する。
【０１８４】
〔１２〕画素合成処理（ステップ９）の説明
【０１８５】
画素合成処理では、上記式１６または上記式１７を用いて第２画像を第１画像の座標系に描画する。
【０１８６】
この際、ステップ８で得られた重みテーブルに基づいて、第１画像と第２画像の重なり領域の画素値Ｐ1 、Ｐ2 を画素調合する。すなわち、次式１９により、各画素値調合対象画素の画素値Ｐi を算出する。
【０１８７】
【数１９】
このようにして、全隣接画像ペアに対する合成処理が終了すると、合成結果である合成画像を含む合成画像表示画面が表示される。
【０１９１】
【発明の効果】
この発明によれば、モニタ画面上に画像を２次元配置した結果、中央部に画像が存在しないような場合にも、２次元配列した複数枚の画像を、隣接画像間で重なりがあるように、１次元配列することができるようになる。
【図面の簡単な説明】
【図１】図１は、階層的推定法を説明するための図であって、階層１の画像を示す模式図である。
【図２】図２は、階層的推定法を説明するための図であって、階層２の画像を示す模式図である。
【図３】図３は、階層的推定法を説明するための図であって、階層３の画像を示す模式図である。
【図４】図４は、階層的推定法を説明するための図であって、階層４の画像を示す模式図である。
【図５】図５は、実施例で採用されたオプティカルフロー推定方法において行われる膨張処理を説明するための模式図である。
【図６】図６（ａ）は、ある階層の画像に対してしきい値処理されたオプティカルフローの例を示す模式図であり、図６（ｂ）は、補完後のオプティカルフローを示す模式図である。
【図７】図７は、顕微鏡画像合成装置の構成を示すブロック図である。
【図８】図８は、顕微鏡画像合成処理プログラムが起動された場合にＣＰＵ１１によって行われる顕微鏡画像合成処理手順を示すフローチャートである。
【図９】図９は、画像入力画面を示す模式図である。
【図１０】図１０は、画像入力の手順を示すフローチャートである。
【図１１】図１１は、画像配置パターン選択画面の一例を示す模式図である。
【図１２】図１２は、各画像配置パターンＡ〜Ｄと、画像Ａ１〜Ａ９の２次元配列位置との関係を示す模式図である。
【図１３】図１３は、画像配置パターンの例を示す模式図である。
【図１４】図１４は、レンズ歪み補正係数設定画面の一例を示す模式図である。
【図１５】図１５は、シェーディング補正係数設定画面の一例を示す模式図である。
【図１６】図１６は、自動位置合わせ結果表示画面の一例を示す模式図である。
【図１７】図１７は、合成パラメータ選択画面の一例を示す模式図である。
【図１８】図１８は、手動位置合わせ処理手順を示すフローチャートである。
【図１９】図１９は、隣接画像ペアの決定処理手順を示すフローチャートである。
【図２０】図２０は、隣接画像ペアの決定処理によって決定された１次元配列の順番を示す模式図である。
【図２１】図２１は、隣接画像ペアの決定処理によって決定された１次元配列の順番を示す模式図である。
【図２２】図２２は、手動位置合わせ画面の一例を示す模式図である。
【図２３】図２３は、合成方向マークの種類を示す模式図である。
【図２４】図２４は、特徴点設定画面の一例を示す模式図である。
【符号の説明】
１０ パーソナルコンピュータ
１１ ＣＰＵ
１２ メモリ
１３ ハードディスク
１４ ディスクドライブ
Claims (3)
- 合成すべき複数枚の画像を、それらの配置位置関係が実際の相対位置関係と合致するように、モニタ画面上にマトリクス配列状に２次元配置させ、モニタ画面上での各画像の配置位置を示す配置位置情報を利用して、全画像を合成する画像合成装置において、
モニタ画面上に２次元配置された複数枚の画像を、１次元配列後の隣接画像間で重なりがあるように１次元配列する第１手段、および１次元配列された画像の各隣接画像ペア毎に重なり部を抽出し、各隣接画像ペア毎に抽出した重なり部に基づいて、全画像を合成する第２手段を備えており、
第１手段は、モニタ画面上に２次元配置された複数枚の画像から１次元配列の先頭画像として選択された画像を注目画像とし、各画像がモニタ画面上での２次元配置位置関係を保持したまま隙間なく２次元配置されていると仮定した場合において、未だ選択されていない画像のうち注目画像との中心点間距離が最も短い画像を注目画像の次に配列すべき画像として選択し、選択した画像を注目画像として同様な処理を繰り返すことにより、全画像を１次元配列させるものであることを特徴とする画像合成装置。 - 合成すべき複数枚の画像を、それらの配置位置関係が実際の相対位置関係と合致するように、モニタ画面上にマトリクス配列状に２次元配置させ、モニタ画面上での各画像の配置位置を示す配置位置情報を利用して、全画像を合成する画像合成方法において、
モニタ画面上に２次元配置された複数枚の画像を、１次元配列後の隣接画像間で重なりがあるように１次元配列する第１ステップ、および１次元配列された画像の各隣接画像ペア毎に重なり部を抽出し、各隣接画像ペア毎に抽出した重なり部に基づいて、全画像を合成する第２ステップを備えており、
第１ステップは、モニタ画面上に２次元配置された複数枚の画像から１次元配列の先頭画像として選択された画像を注目画像とし、各画像がモニタ画面上での２次元配置位置関係を保持したまま隙間なく２次元配置されていると仮定した場合において、未だ選択されていない画像のうち注目画像との中心点間距離が最も短い画像を注目画像の次に配列すべき画像として選択し、選択した画像を注目画像として同様な処理を繰り返すことにより、全画像を１次元配列させるものであることを特徴とする画像合成方法。 - 合成すべき複数枚の画像を、それらの配置位置関係が実際の相対位置関係と合致するように、モニタ画面上にマトリクス配列状に２次元配置させ、モニタ画面上での各画像の配置位置を示す配置位置情報を利用して、全画像を合成する画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
モニタ画面上に２次元配置された複数枚の画像を、１次元配列後の隣接画像間で重なりがあるように１次元配列する第１ステップ、および１次元配列された画像の各隣接画像ペア毎に重なり部を抽出し、各隣接画像ペア毎に抽出した重なり部に基づいて、全画像を合成する第２ステップを、コンピュータに実行させるためのプログラムを記録しており、
第１ステップは、モニタ画面上に２次元配置された複数枚の画像から１次元配列の先頭画像として選択された画像を注目画像とし、各画像がモニタ画面上での２次元配置位置関係を保持したまま隙間なく２次元配置されていると仮定した場合において、未だ選択されていない画像のうち注目画像との中心点間距離が最も短い画像を注目画像の次に配列すべき画像として選択し、選択した画像を注目画像として同様な処理を繰り返すことにより、全画像を１次元配列させるものであることを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001276606A JP3979811B2 (ja) | 2001-09-12 | 2001-09-12 | 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001276606A JP3979811B2 (ja) | 2001-09-12 | 2001-09-12 | 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003087550A JP2003087550A (ja) | 2003-03-20 |
| JP3979811B2 true JP3979811B2 (ja) | 2007-09-19 |
Family
ID=19101274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001276606A Expired - Fee Related JP3979811B2 (ja) | 2001-09-12 | 2001-09-12 | 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3979811B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4828965B2 (ja) * | 2006-03-06 | 2011-11-30 | 株式会社東芝 | 磁気共鳴イメージング装置 |
| JP5116638B2 (ja) * | 2008-11-13 | 2013-01-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP5183453B2 (ja) * | 2008-12-17 | 2013-04-17 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP5398792B2 (ja) * | 2011-07-25 | 2014-01-29 | 株式会社東芝 | 磁気共鳴イメージング装置および画像処理装置 |
| US20150116202A1 (en) * | 2012-03-07 | 2015-04-30 | Sony Corporation | Image processing device and method, and program |
| JP6312315B2 (ja) * | 2014-07-04 | 2018-04-18 | ホリゾン・インターナショナル株式会社 | 折丁計数機 |
| JP2022138269A (ja) * | 2021-03-10 | 2022-09-26 | 株式会社Ｓｃｒｅｅｎホールディングス | 撮像方法、位置ずれ量算出方法、プログラムおよび記録媒体ならびに撮像装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3468371B2 (ja) * | 1992-08-05 | 2003-11-17 | 日本電信電話株式会社 | ウィンドウ表示領域制御装置 |
| JPH0918685A (ja) * | 1995-06-29 | 1997-01-17 | Ricoh Co Ltd | 画像合成方法 |
| JP3696952B2 (ja) * | 1995-09-29 | 2005-09-21 | キヤノン株式会社 | 画像合成装置および方法 |
| JPH10108003A (ja) * | 1996-09-30 | 1998-04-24 | Sharp Corp | 画像合成装置および画像合成方法 |
| JPH11259637A (ja) * | 1998-03-06 | 1999-09-24 | Canon Inc | 画像合成装置、画像合成方法および記憶媒体 |
-
2001
- 2001-09-12 JP JP2001276606A patent/JP3979811B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003087550A (ja) | 2003-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11350073B2 (en) | Disparity image stitching and visualization method based on multiple pairs of binocular cameras | |
| US7256799B2 (en) | Image synthesizer, image synthesis method and computer readable recording medium having image synthesis processing program recorded thereon | |
| JP3435084B2 (ja) | オプティカルフロー推定方法および画像合成方法 | |
| JP3634677B2 (ja) | 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体 | |
| JP4196216B2 (ja) | 画像合成システム、画像合成方法及びプログラム | |
| JP2010109783A (ja) | 電子カメラ | |
| Lai et al. | Video stitching for linear camera arrays | |
| JP4153761B2 (ja) | ３次元モデル空間生成装置、３次元モデル空間生成方法、及び３次元モデル空間生成プログラム | |
| JP2001274973A (ja) | 顕微鏡画像合成装置、顕微鏡画像合成方法、顕微鏡画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2003087549A (ja) | 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2002236909A (ja) | 画像データ処理方法およびモデリング装置 | |
| JP3979811B2 (ja) | 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP5059788B2 (ja) | 対象物の複数ビューをリアルタイムビデオ出力で得る方法及びシステム | |
| Chen et al. | Casual 6-DoF: free-viewpoint panorama using a handheld 360 camera | |
| JP3557168B2 (ja) | レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| Sakharkar et al. | Image stitching techniques-an overview | |
| JP2000155831A (ja) | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 | |
| CN117173012A (zh) | 无监督的多视角图像生成方法、装置、设备及存储介质 | |
| JP3548071B2 (ja) | 中間画像合成方法、中間画像合成装置、中間画像合成プログラムを記録した記録媒体 | |
| JP3241243B2 (ja) | パノラマ画像合成システム及びパノラマ画像合成方法 | |
| JP3540696B2 (ja) | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 | |
| JP2004046573A (ja) | チルト角算出方法、円筒パノラマ画像合成方法、ならびに円筒パノラマ画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH10108003A (ja) | 画像合成装置および画像合成方法 | |
| JP2001256492A (ja) | 画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2002170111A (ja) | 画像合成装置、画像合成方法および画像合成プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050520 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070530 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070626 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |