WO2004102478A1

WO2004102478A1 - 画像処理装置

Info

Publication number: WO2004102478A1
Application number: PCT/JP2004/006505
Authority: WO
Inventors: Ken Ioka
Original assignee: Olympus Corporation
Priority date: 2003-05-13
Filing date: 2004-05-07
Publication date: 2004-11-25
Also published as: EP1640908A1; JP2004343222A; US20050163398A1

Abstract

画像処理装置の構成が開示される。低倍率撮像部は、標本全体を第１の倍率である低い倍率で撮像する。領域分割情報記憶部は、一部重複領域を有するように標本全体を複数の小領域に分割したときの各小領域の位置情報を領域分割情報として記憶する。高倍率撮像部は、領域分割情報に従って、第１の倍率よりも高い倍率である第２の倍率で各分割領域と略同一の領域を順次撮像する。位置ずれ検出部は、低倍率撮像部で撮像された低倍率標本画像に基づき、撮像した高倍率画像の位置ずれを検出する。位置ずれ補正部は、検出された位置ずれに基づいて各高倍率画像の位置を補正する。画像貼り合せ部は、各高倍率画像を順次貼り合わせて標本全体の高倍率画像を作成する。

Description

明細書

画像処理装置

技術分野

本発明は画像処理装置に関し、特に、分割撮像された標本の複数の画像から、広視野且つ高解像な顕微鏡画像を確実に貼り合せする顕微鏡画像貼り合せ装置に関する。

背景技術

顕微鏡を用いて標本を観察する場合、一度に観察できる範囲は主に対物レンズの倍率によって決定されるが、対物レンズが高倍率になると観察範囲は標本のごく一部分に限られてくる。一方で、病理診断においては、診断箇所の見落としを防止するために標本全体像を把握したいという要請がある。また、情報処理技術の発達により上記病理診断においても画像の電子情報化が促進されており、カメラを介して取り込む顕微鏡観察像についても旧来の銀塩フィルム並の高解像度を実現したいという要請がある。

これまで、高解像度または広画角の顕微鏡画像を得るための方法として以下の方法が知られていた。第 1 の例は、特開平 3 — 2 0 9 4 1 5 号公報に開示されているように、標本を載せるステージと照明を相対的に走査させ、標本を複数の領域に分割して部分画像を取り込み、これらの配置関係通りに相連なる画像をタイルのように合成して、標本全体像を作成する方法である。第 2 の例は、画像貼り合わせによる標本全体像を再構成する方法に関し、例えば、特開平 9 一 2 8 1 4 0 5 は、標本領域全体を複数のお互いに重複部分を有するような小領域に分割し、顕微鏡を使用して各小領域を撮像し、撮像した各画像の重複部分を比較し、位置ずれを検出して、各小領域の画像の位置を補正してから画像を貼り合せ、標本の広視野 · 高精細画像を生成する顕微鏡システムを開示している。第 3 の例は、特開 2 0 0 0 — 5 9 6 0 6 号公報に開示されているように、被写体の全体と、被写体を分割して複数の高精細部分画像を撮像し、全体画像を拡大して、全体画像から高精細に撮像した部分画像の位置を検出し、拡大全体像の対応部分を高精細な部分画像で置き換えていくことにより高精細な全体像を合成する方法である。

しかしながら、上記従来例においては、下記のような問題点があった。

第 1 の例では、分割撮像された部分画像を単純に合成するだけであり、ステージの移動誤差を考慮していないため、各分割画像の撮像領域が正確に連ならない可能性があるので、正確な標本全体像が得られない。一般的にステージの位置再現誤差は数 μ から数十である。例えば高倍率な対物レンズを使用して撮像する場合、隣接画像間の位置ずれが数画素から数十画素にもなる可能性がある。

第 2 の例では、標本を、夫々一部重複領域を有するように複数の小領域に分割撮像し、撮像した画像の重複部分をテンプレートマッチングで比較することにより、隣接画像間の正確な位置関係を検出できるようにした。しかし、領域分割の数や、貼り合せ全体画像を作成する時間を少なくするために重複領域は一般的に画像サイズの 1 0 %から 2 0 % しかとれない。この限られた重複部分に特徴的な標本像がない場合、重複部分のテンプレートマツチングがうまくいかず、正確な位置ずれを検出できない可能性がある。また、画像貼り合せを順次行っていく場合、 1 箇所の画像の位置ずれ検出の誤差が、その後の画像の位置誤差に累積されていく。更に、各小領域の画像を撮像するとき、露出条件の違いや、撮像光学系の歪みの影響で、この方法では、複数の画像を良好に合成することが困難である。

第 3 の例では、被写体の全体像を高精細画像と同じ倍率に拡大し、全体像の拡大画像を記憶する場合に、多数の画像の貼り合せを行おうとすると拡大全体画像を保存するための膨大なメモリが必要となる。このことは、本発明の画像処理装置のような、数百から数千枚の高倍率画像を貼り合せする際には現実的な方法ではない。また、各部分画像を撮像するとき、撮像光学系の歪みの影響による合成画像のつなぎ目の不均一性をなくす技術が開示されていない。

発明の開示

本発明の目的は、複数の画像を貼り合せ合成する際に、重複部分に標本像がなくても全体で確実な画像貼り合せができ、分割撮像時の撮像条件が異なっていても均一な背景の貼り合せ画像を構築できる画像処理装置を提供することにある。

本発明の第 1 の側面は、画像処理装置であって、

標本領域全体を第 1 の倍率である低い倍率で撮像する低倍率撮像部と、

一部重複領域を有するように標本領域全体を複数の小領域に分割したときの各小領域の位置情報を領域分割情報として記憶する領域分割情報記憶部と、

前記領域分割情報に従って、前記第 1 の倍率よりも高い倍率である第 2 の倍率で各分割領域と略同一の領域を順次撮像する高倍率撮像部と、

前記低倍率撮像部で撮像した低倍率標本画像に基づき、前記高倍率撮像部で撮像した高倍率画像の位置ずれを検出する位置ずれ検出部と、

前記位置ずれ検出部で検出された位置ずれに基づいて各高倍率画像の位置を補正する位置ずれ補正部と、

前記位置ずれ補正部で位置補正された各高倍率画像を順次貼り合わせて標本領域全体の高倍率画像を作成する画像貼り合せ部と、

を具備する。

また、本発明の第 2 の側面は、第 1 の側面に係る画像処理装置に関し、前記位置ずれ補正部で位置捕正された各小領域の高倍率画像の画質と、前記低倍率標本画像の前記高倍率画像に対応する部分画像の画質の差異を検出する画質差異検出部と、

前記画質差異検出部で検出された画質の差異に基づき、各小領域の高倍率画像の画質を補正する画質差異補正部と、を更に有する。

また、本発明の第 3 の側面は、第 2 の側面に係る画像処理装置に関し、前記画質差異は、明るさの違いによるものである。また、本発明の第 4の側面は、第 2 の側面に係る画像処理装置に関し、前記画質差異は、明るさの均一性の違いによるものである。

また、本発明の第 5 の側面は、第 2 の側面に係る画像処理装置に関し、前記画質差異は、幾何特性の違いによるものである。

また、本発明の第 6 の側面は、第 1 の側面に係る画像処理装置に関し、前記低倍率撮像部は、標本に対して相対走査することにより標本全体像を撮像するラインセンサを有し、前記高倍率撮像部は、標本の一部を撮像するエリアセンサを有する。

また、本発明の第 7 の側面は、第 1 または第 6 の側面に係る画像処理装置に関し、前記低倍率撮像部で撮像した低倍率画像と、前記高倍率撮像部で撮像した高倍率画像とを比較することにより、前記低倍率撮像部と前記高倍率撮像部との位置関係を検出し、検出した位置関係をもとに、前記領域分割情報を補正する。

また、本発明の第 8 の側面は、第 7 の側面に係る画像処理装置に関し、前記位置関係は水平又は垂直移動を考慮して決定される。

また、本発明の第 9 の側面は、第 7の側面に係る画像処理装置に関し、前記位置関係は回転移動を考慮して決定される図面の簡単な説明

図 1 は、本発明の第 1 の実施形態に係る画像処理装置の機能プロック図である。 '図 2 は、低倍率標本全体画像 L と、 4分割された標本領域との関係を示す図である。

図 3 A， 3 Bは、位置ずれ検出部 1 4 の作用を説明するための図（その 1 ) である。

図 4 A， 4 Bは、位置ずれ検出部 1 4 の作用を説明するための図（その 2 ) である。

図 5 は、高倍率画像の位置ずれ補正の一例を示す図である図 6 は、本実施形態の処理アルゴリズムを示すフローチヤ一トである。

図 7 は、本発明の第 2 の実施形態に係る画像処理装置の機能プロック図である。

図 8 A〜 8 Dは、高倍率画像 H I、 H 2 とそれらに対応する低倍率部分画像 L 1、 L 2 の明るさの違いを示す図である図 9 A， 9 Bは、低倍率画像、高倍率画像 H 1 、高倍率画像 H 2それぞれを撮像するときの入出力特性を示す図である図 Ι Ο Α , . Ι Ο Βは、高倍率画像 H I とそれらに対応する低倍率部分画像 L 1 の幾何変形の違いを検出する手順を説明するための図である。

図 1 1 A , 1 1 B は、高倍率画像 H I と対応する低倍率部分画像 L 1 の明るさの均一性の違いを検出する手順を説明するための図である。

図 1 2 は、本発明の第 3 の実施形態に係る画像処理装置の構成を示す図である。

図 1 3 は、本発明の第 4 の実施形態に関して、高倍率レンズと低倍率レンズの光軸のずれによる芯ずれを示す図である図 1 4 は、本発明の第 4 の実施形態に関して、芯回転による角度ずれを示す図である。

発明を実施するための最良の形態

以下、図面を参照して本発明の実施の形態を詳細に説明する。

(第 1 の実施形態）

先ず、本発明による第 1 の実施形態を説明する。本実施形態の画像処理装置はシステム構成として、不図示の、複数種類の倍率の対物レンズを有する顕微鏡と、標本を顕微鏡の視野下で 2次元的に移動させる電動ステージと、顕微鏡画像を撮像する C C Dカメラと、上記した各部を制御する制御装置としてのパーソナルコンピュータとを具備している。

図 1 は、第 1 の実施形態に係る画像処理装置の機能ブロック図である。標本の高解像 · 広視野画像を生成するため、まず、低倍率の対物レンズを用いて低倍率撮像部 1 1 により標本の全体像の低倍率.画像を撮像する。撮像素子の画素数と、低倍率撮像部 1 1 の視野の範囲及び電動ステージの座標から、撮像された画像の画素位置とステージの座標との対応関係を算出する。

次に撮像した低倍率画像領域を、一部重複領域を有するように複数の小領域に分割する。このときに取得した領域分割情報は電動ステージの座標に変換されて領域分割情報記憶部 1 3 に記憶される。

続いて、対物レンズを高倍率に切り換え、電動ステージを駆動して、前記領域分割情報記憶部 1 3 に記憶されている座標に標本を移動させる、すると、高倍率の対物レンズの撮像範囲下に所定の小領域が移動されるので、ここで、高倍率撮像部 1 2で当該小領域の高倍率画像を撮像する。

ここで順次入力される高倍率画像を正確に貼り合せるために、撮像した高倍率画像の領域分割情報が示す所定の位置からのずれを検出して補正を行わなければならない。そこで位置ずれ検出部 1 4 では、上記領域分割情報に基づき、低倍率の標本全体の画像から、撮像される高倍率画像に対応する低倍率の部分領域を切り出し、この低倍率部分画像を基準として、高倍率画像とテンプレートマッチングすることで、高倍率画像の位置ずれを検出する。そして、位置ずれ補正部 1 5 では、検出した位置ずれ情報に従って、高倍率画像の位置を補正する。補正された高倍率画像は画像貼り合せ部 1 6 に入力される。画像貼り合わせ部 1 6 は、上記領域分割情報に基づき、当該捕正された高倍率画像と 1 つ前の補正された高倍率画像とを順次繋ぎ合わせることにより高倍率合成画像を逐次完成させていく。

図 2 は、低倍率標本全体画像 L と、 4分割された標本領域との関係を示している。図 2 において L l 、 L 2、 L 3 、 L 4 は一部重複領域を有するように分割された 4 つの小領域を示す。各小領域 L 1 、 L 2 、 L 3 、 L 4 の中心の座標が電動ステージの座標系に変換され、それぞれ（ x l 、 y 1 ) 、 ( x 2 、 y 2 ) 、 ( x 3 、 y 3 ) 、 ( x 4、 y 4 ) となり、この座標情報が領域分割情報記憶部 1 3 に記憶される。

小領域 L 1 を高倍率で撮像するときには、電動ステージを駆動してステージ座標（ x l 、 y 1 ) に標本を移動させて高倍率レンズで撮像する。電動ステージの座標再現性が十分正確であれば、目標通りの領域を高倍率で撮像できるため、高倍率画像の位置ずれが生じない。しかし、一般的な電動ステージの座標再現精度は数 μ から数十 μ である。 L 1 の領域を撮像するつもりでも、撮像された高倍率画像は、この座標再現精度分だけ所定の位置からずれる可能性がある。したがつて、正確な画像貼り合せを行うためには、低倍率画像、領域分割情報、そして高倍率画像を位置ずれ検出部 1 4 に入力させて、高倍率画像の所定の領域からの位置ずれを検出しなければならない。

以下に位置ずれ検出部 1 4 の作用を図 3 Α , 3 ：6、図 4入， 4 Β を参照して詳細に説明する。図 3 Αに示す L 1 は、領域分割情報に従って低倍率標本画像 Lから切り出した分割小領域の画像である。 L 1 の中心のステージ座標は（ X 1 、 y 1 ) である。この画像 L 1 に対応する高倍率で撮像した画像は H 1 (図 3 B ) であり、ここではその中心のステージ座標を（ x h l 、 y h l ) とする。

ステージ座標についての再現誤差がない場合、（ X 1 、 y

1 ) = ( X h 1 _s y h 1 ) になるが、実際にはずれが生じる。そこでこのずれ（ Δ χ、 Δ y ) を L 1 と H I のテンプレートマッチングにより求める。 L 1 に対する H I の位置ずれを求めるには、まず、この倍率の異なる 2枚の画像を同じ倍率の画像に変換しなければならない。低倍率画像 L 1 の撮像倍率を b とし、高倍率画像 H 1 の撮像倍率を a とし、テンプレートマッチングを行うための倍率を c とする。なお、一般的に、 _a ≤ _c ≤ bの関係がある。

図 4 Aに示す L 1 'は線形補間により L 1 を中間倍率 c に拡大した画像であり、図 4 ( B ) に示す H 1，は H 1 を中間倍率 c に縮小した画像である。テンプレートマッチングを行うために、 H I，の中心付近の領域 T 1 をテンプレート画像とし、ステージ座標の再現精度を考慮して、 L 1，の領域 S 1 を探索領域とする。探索領域 S 1 はテンプレート画像 T 1 よりも大きい。テンプレートマッチングを行うとき、テンプレート画像 T 1 を検索領域 S 1 内で走査させながら、評価関数を用いてテンプレートと探索領域における対応プロックのマツチングの度合いを評価し、最もマッチング度合いの高い位置を検出すれば、その位置と座標（ X 1 、 y 1 ) との差が高倍率画像の位置ずれとなる。ここでは評価関数として、テンプレートと対応プロック間の正規化相関係数を用いてもよいし、各画素において、テンプレートと対応プロックの輝度差の絶対値の和を用いてもよい。

テンプレートマツチングの成功の確率やマツチングの精度を上げるために、テンプレートとその検索領域をなるベく大きくしなければならないが、これによりマッチング処理に時間がかかる。そこで複数段階のテンプレートマッチングによる高速化を行う。先ず、中間倍率 d ( a < d < c ) で粗く検索を行い、粗く検出した領域の周辺においてそれから中間倍率 c で精密な検索を行ってもよい。

本実施形態では電動ステージを使っているため、この位置ずれが垂直又は水平方向の移動しか考慮しないが、回転がある場合には回転角度も含めて検出する。位置検出部 1 4で高倍率画像の位置ずれを検出した後、検出データを用いて、高倍率画像の位置ずれ補正を行う。この補正はァフィン変換を用いて行う。

図 5 は高倍率画像の位置ずれ補正の一例を示している。 ( Δ χ、 Δ y ) は位置ずれ検出部 1 4 で求めた高倍率画像 H 1 の位置ずれである。高倍率画像 H I の画像内容を（ Δ χ、 A y ) 分移動させると、位置ずれのない高倍率画像 H 1 〃が得られる。なお、移動によって生じた画像周辺の（ Δ χ 、 Δ y ) の空白部分は画像貼り合せ時に重複部分から除外される。画像貼り合せ部 1 6 は、上記領域分割情報に従って、入力された位置ずれ補正後の高倍率画像を逐次つなぎ合せて、標本全体の高倍率画像を生成する。領域分割情報から、隣接する高倍率画像間の重複領域の幅が算出できるので、この重複領域の幅の算出を行う際に、高倍率画像の位置ずれ補正によつて画像周辺に生じた空白部分を除く。重複領域においては、隣接画像間でプレンディング処理を行って、重複領域の中心がつなぎ目になるように処理を行う。

以下に、上記した本実施形態のアルゴリズムを詳細に説明する。図 6 は、本実施形態の処理アルゴリズムを示すフローチャートである。貼り合せ処理を開始 (ステップ S 5 0 ) させると、制御装置により顕微鏡の対物レンズが低倍率設定され、低倍率で標本の全体像を撮像する（ステップ S 5 1 ) 。続いて低倍率画像を所定の小領域に分割し、このときの分割情報及び後で高倍率での撮像を行うときの順番が保存される (ステップ S 5 2 ) 。この時、低倍率画像の大まかな範囲を自動的に検出して、自動的に小領域に分割してもよいし、低倍率画像をユーザに提示して、ユーザが領域を選んで小領域に分割してもよい。

続いて、制御装置の指示により、顕微鏡の対物レンズを高倍率に切り替える（ステップ S 5 3 ) 。次に、処理順番を示す変数 Nに初期値として 1 を与える（ステップ S 5 4 ) 。続いて、処理順番に対応する小領域を高倍率で撮像するために、電動ステージで小領域 Lに対応する標本部分を高倍率撮像部の撮影視野下に移動させる（ステップ S 5 5 ) 。そして、高倍率画像を撮像する (ステップ S 5 6 ) 。

続いて電動ステージの位置再現誤差による高倍率画像の位置ずれを検出するために、低倍率画像において、対応する低倍率部分画像を切り出し、所定の中間倍率 c に画像を拡大し (ステップ S 5 7 ) 、同時に高倍率画像を同じ中間倍率 c に縮小する（ステップ S 5 8 ) 。

続いて、高倍率画像の中心部をテンプレートと定義し、低倍率画像の所定の検索範囲で対応するブロックを検出する。このテンプレートマッチングにより、高倍率画像の所定位置 (領域分割時の位置）に対する位置ずれが検出される（ステップ S 5 9 ) 。検出した位置ずれに基づき、高倍率画像の位置ずれを捕正する（ステップ S 6 0 ) 。

補正後の高倍率画像を 1 つ前の高倍率画像と貼り合せし (ステップ S 6 1 ) 、順次に標本の高倍率全体画像を作っていく。次の高倍率画像処理に行く前に、分割された領域の処理が全て終わったかどうかを判断する（ステップ S 6 2 ) 。ここで終わっていないと判断された場合には、処理順番を示す変数 Nを 1 つ増やし（ステップ S 6 4 ) 、ステップ S 5 5 に戻って処理を繰り返す。一方、ステップ S 6 2 で分割された領域の全ての処理が終わったと判断された場合には、最終的に出来上がった高倍率標本全体像を出力して（ステップ S 6 3 ) 、貼り合せ処理全体を終了させる（ステップ S 6 5 ) 。以上の説明では、座標系を全て電動ステージの座標系と想定して説明したが、高倍率時の画素単位に変換しても問題がない。また、ステージが電動式として説明したが、マ二ユアル操作のステージでもよい。さらに、撮像部を固定して標本を 2次元的に移動させるのではなく、標本を固定して撮像部を標本に対して 2次元的に移動させて分割撮像しても良い。本実施の形態によれば、分割撮像された高倍率画像を貼り合せするとき、低倍率画像に基づいて位置ずれ補正を行うため、重複領域に標本像がなくても、正確な位置ずれ補正が可能となり、これによつて全体で確実な顕微鏡画像貼り合せができる。また、画像処理に必要なメモリ量が少なくて済み、分割画像を撮像するときの露出条件の違いや光学歪みがあつてもつなぎ目の目立たない良好な標本全体の高解像画像を生成できる。また、高倍率画像が逐次入力されても、画像貼り合せが逐次に行われるため、撮像動作と同期しての貼り合せにより、全体処理の高速化が実現できる。

(第 2の実施形態）次に、本発明の第 2 の実施形態について説明する。図 7 は、第 2 の実施形態に係る画像処理装置の機能プロック図である。図 7 の構成において、図 1 に示す要素と同じ参照符号を有する要素は図 1 のそれと同等の機能を有するのでここでの説明を省略し、以下では異なる部分である、画質差異検出部 1 7 と画質差異補正部 1 8 についてのみ詳細に説明する。

図 7 において高倍率撮像部 1 2 で標本を分割撮像するとき、第 1 の実施形態で説明したようなステージ精度による位置ずれ以外に、高倍率画像間に面質上の差異が生じることも貼り合せ画像の画質に影響を与えるものと考えられる。まず、各高倍率画像の露出条件の違いによる高倍率画像間の明るさの違いである。分割撮像する場合、所定の領域を最適な露出条件で撮像するため、各小領域において C C Dカメラの A G C ( Aut o Ga i n Co ntr o l ) を O Nにして撮像すると、たとえ位置ずれを正確に検出して各高倍率画像が精度良くつながったとしても、貼り合せ画像上では、高倍率画像間の輝度差によつてつなぎ目が目立ってしまう。

次に、. 撮像画像の明るさの特性が光軸付近と周辺とで著しく差のある撮像光学系で撮像した複数の高倍率画像を貼り合せする際、高倍率画像間の平均的な明るさが同じでも、位置ずれがなくても、貼り合せ画像上では、高倍率画像の明るさの不均一性（シェーディング）により、つなぎ目が目立ってしまう。

さらに、撮像系の歪曲収差により、画像の幾何特性が光軸付近と周辺とで異なる場合には、第 1 の実施形態の方法により高倍率画像の中心部分をテンプレートとして高倍率画像間の位置ずれを正確に求めたとしても、貼り合せ画像上では、つなぎ目付近における隣接高倍率画像の位置がずれることにより、つなぎ目が目立ってしまう。

そこで本実施形態では、図 7 の位置ずれ補正部 1 5 で位置ずれ捕正された高倍率画像は、低倍率撮像部 1 1 からの対応する低倍率画像とともに、画質差異検出部 1 7 に入力される。画質差異検出部 1 7 は、入力された高倍率画像と低倍率画像とを比較して、高倍率画像の画質を低倍率画像に合わせるための画質差異補正データを生成する。画質差異補正部 1 8 では、この画質差異補正データに基づき、当該高倍率画像の画質を補正してから、画像貼り合せ部 1 6 に出力する。

以下に、画質差異検出部 1 7 において、低倍率画像に対する高倍率画像の明るさの違い、または明るさの不均一性、または歪曲収差の違いを検出し、補正データを求める手順を詳しく説明する。低倍率画像に対する高倍率画像の画質差異を求めるには、位置ずれを求める方法と同様に、まず、この倍率の異なる 2枚の画像を同じ倍率の画像に変換しなければならない。基準となる倍率を低倍率と高倍率の中間倍率としても良いし低倍率としてもよい。ここでは、後の高倍率画像に対する補正を考慮して、補正データの計算は高倍率を基準とする。

図 8 A〜 8 Dは、高倍率画像 H I 、 H 2 とそれらに対応する低倍率部分画像 L 1 、 L 2 の明るさの違いを示している。低倍率部分画像 L 1 、 L 2 は領域分割情報に基づき、標本全体像の低倍率画像から切り出した部分画像を高倍率に拡大したものである。標本全体像の低倍率画像は一枚の画像として撮像されたものであるため、そこから分割された部分画像が同じ露出条件で撮像された画像と同じである。一方、高倍率画像 H 1 、 H 2 を撮像する時の露出条件が異なるため、高倍率画像の明るさを、 H I 力ら L 1 に及び H 2 力ら L 2 に夫々捕正しなければならない。

図 9 A , 9 Bは、低倍率画像、高倍率画像 H 1 、高倍率画像 H 2それぞれを撮像するときの入出力特性を示す図である。図 9 Aにおいて、 1 (エル） v 、 h v l 、 h v 2 を低倍率画像、高倍率画像 H 1 、高倍率画像 H 2それぞれに対応する入出力特性曲線と仮定すると、高倍率画像 H 1 の平均明るさを低倍率部分画像 L 1 と同じに補正するために、高倍率画像 H 1 の各画素値に補正値 V 1 を加算すればよい。

V I = V L 1 一 V H 1

ここで V L 1 、 V H 1 は、それぞれ画像 L l 、 H I の画素値の平均値である。同様に、画像 H 2 の平均明るさを L 2 と同じに補正するために、 H 2 の各画素値に補正値 V 2 を加算すればよい。

V 2 = V L 2 一 V H 2

ここで V L 2、 V H 2 は、それぞれ画像 L 2 、 H 2 の画素値の平均値である。しかし、一般的に撮像素子の入出力特性は図 9 Aに示すような単純な直線とはならない。図 9 Bのように、入出力特性が曲線である場合、高倍率画像の各画素において、入力画素値に応じて入出力補正を行う必要がある。この場合、予め測定しておいた低倍率画像と高倍率画像の入出力特性から、画素値に対応した補正テーブルを求めて補正データとして使用する。

図 1 0 A， 1 0 B は、高倍率画像 H I (図 1 0 B ) とそれらに対応する低倍率部分画像 L 1 (図 1 0 A ) の幾何変形の違いを検出する手順を説明するための図である。高倍率撮像部の場合と同様に、低倍率撮像部で撮像した低倍率画像にも光学系による歪曲収差が存在する。しかし、本発明は、低倍率画像を基準にして高倍率画像の貼り合せを行うことを目的としているため、貼り合せ全体像に収差があっても、つなぎ目部分に位置ずれがなければ良い。また、低倍率部分画像 L 1 が低倍率全体像の 1 つの小領域であるため、歪曲収差が無視できるものと考えられる。以降、低倍率部分画像 L 1 がレンズ光学系による歪曲収差がすでに補正されたか、または歪曲収差がないものと仮定して、高倍率撮像部の光学系による歪曲収差の補正データを算出する方法を説明する。

まず、図 1 O Aに示す低倍率部分画像 L 1 の中から複数の特徴点 5 0 を抽出する。特徴点 5 0 は周辺画素を含むプロックのコントラストが高い画素とする。続いて低倍率画像の特徴点 5 0それぞれの対応点 5 1 を高倍率画像の中から検出する。対応点 5 1 の検出方法としてテンプレートマッチングを用いる。これにより、複数の特徴点 5 0 と対応点 5 1 の座標データが得られる。特徴点 5 0 の座標を（ xi， yi) 、対応点 5 1 の座標を（xi'，yi' ) とすると、高倍率画像の歪曲収差を補正するためには、補正後の高倍率画像の各画素の画素値を下記の式により求めればよい。

u , y" ) = ， y )

av [ x , y ] = hv L x , y 」

ここで、 av [ ]は補正後の高倍率画像の各画素の画素値で、 hv []は補正前の高倍率画像の各画素の画素値である。特徴点 5 0 とその対応点 5 1 を求めたことで、特徴点 5 0 となる位置の画素の対応点 5 1 の座標が分かるが、それ以外の位置の対応点の座標はわからない。低倍率画像の全画素の高倍率画像における対応画素の位置を求めるには、注目画素の近傍の複数の特徴点 5 0 とその対応点 5 1 の座標から線形捕間によつて求められる。勿論、標準的な歪曲収差を表す数式の係数を複数組の特徴点と対応点から推定して、低倍率部分画像の全画素の高倍率画像における対応画素の位置を求めても良い _t 図 1 1 A， 1 I B は、高倍率画像 H I (図 1 1 B ) と対応する低倍率部分画像 L 1 (図 1 1 A ) の明るさの均一性の違いを検出する手順を説明するための図である。撮像レンズのシェーディングや、標本に対する照明の違いによって低倍率画像に対する高倍率画像の明るさの不均一が存在する。以下では、低倍率部分画像 L 1 に合わせて高倍率画像 H 1 のシェ一ディングを補正するデータを求める方法を説明する。なお. 図 1 1 Bにおいて、高倍率画像 H 1 は位置ずれ補正、明るさ補正、歪曲収差補正の必要な補正が行われた後の画像であることを想定する。

高倍率画像のシェーディングを補正するには、低倍率部分画像 L 1 の中から複数の特徴点を抽出する。図 1 O Aに示すように、所定の位置の画素を特徴点 5 2 としてもよいが、周辺画素を含むプロックのコントラストが低い位置の画素を使用することがより好ましい。これは万一、特徴点 5 2 と対応点 5 3 に微小なずれがあつたときでも、より正確なシエーディングデータを得るためである。

位置ずれ補正、明るさ補正、歪曲収差捕正を含む必要な補正が行われた高倍率画像では、高倍率画像と低倍率部分画像の各画素の位置が完全に一致するため、高倍率画像の中の同じ位置の画素が特徴点 5 2の対応点 5 3 となる。（xi， yi)を特徴点 5 2 (対応点 5 3 の）座標とし、特徴点 5 2 の画素値と対応点 5 3 の画素値の比 k[xi， yi]が求められる。この画素値の比を高倍率画像のシエーディングデータとなる。補正後の高倍率画像の各画素の画素値を下記式により求めればよい。

av [xi, yi] = hv[xi, yi]*k[xi, yi]

但し、 av []は捕正後の高倍率画像の各画素の画素値で、 hv门は補正前の高倍率画像の各画素の画素値である。特徴点 5 2 と対応点 5 3 における補正データが求められたが、それ以外の位置の補正データがわからない。対応点 5 3 以外の高倍率画像の全画素における補正データを求めるには、注目画素の近傍の複数の補正データから線形補間によって求められる。勿論、標準的なシェーディングを表す数式の係数を、複数組の特徴点 5 2 と対応点 5 3 の画素値の比から推定して、高倍率画像の全画素の補正データを求めてもよい。

これまで高倍率画像毎に画質差異を検出して補正することを仮定して説明してきたが、勿論所定の小領域の高倍率画像において求めた画質差異を、その他の小領域の高倍率画像の処理に使ってもよい。

以上説明したように、本実施の形態によれば、高倍率画像を撮像するときに、撮像条件による高倍率画像の低倍率画像に対する画質の差異を検出し、それぞれ補正することで、高倍率画像の露出条件が異なった場合でも、高倍率画像撮像部に歪曲収差があっても、高倍率画像撮像部による明るさが不均一であっても、つなぎ目が目立たないような高倍率標本全体像を生成できる。

(第 3 の実施形態）

次に、本発明の第 3 の実施形態について説明する。これまでの実施形態において、低倍率画像は低倍率レンズを使用して撮像し、高倍率画像は高倍率レンズを使用して撮像し、低倍率撮像部と高倍率撮像部とは同じ種類の撮像素子を用いることを想定して説明してきた。しかし、顕微鏡の低倍率レンズの撮影視野には限界がある。通常、標本全体は低倍率レンズの視野より広い。標本全体像を撮像するために、低倍率撮像部と高倍率撮像部とを別々に設けて、低倍率画像は標本範囲をカバーできるラインセンサで撮像し、高倍率撮像は従来のエリァセンサで撮像する。

図 1 2 はこの実施形態に係る画像処理装置の構成を示す図である。先ず、低倍率画像を撮像するとき、電動ステージ 1 2 4 を X方向に移動させながら、低倍率撮像素子であるライン型 C C D 1 2 2 で標本 1 2 3 の全体を撮像する。次に、撮像した低倍率標本の全体像に基づき、標本領域を複数の小領域に分割する。高倍率画像を撮像するとき、分割された小領域をステージ 1 2 4 で高倍率撮像部であるエリア型 C C D の視野下に移動させて順次高倍率画像を撮像する。以降の処理は従来実施形態と同じであるため省略する。

(第 4の実施形態）

次に、本発明の第 4の実施形態について説明する。電動ステージを移動せずに、低倍率レンズと高倍率レンズを切り換えて撮像したとき、撮影視野に、図 1 3 に示すようなレンズ光軸のずれによる芯ずれと、図 1 4 に示すような芯回転による角度ずれとが存在する。

本発明では、まず、低倍率画像を参照して標本全体を複数の小領域に分割し、各小領域の位置情報に従ってステージを移動させ、次に高倍率画像の撮像を行い、各小領域の高倍率画像と、対応する低倍率画像の部分画像との位置ずれを検出し、次に高倍率画像の位置ずれ補正を行ってから、高倍率画像同士を貼り合せすることを特徴としている。したがって、低倍率と高倍率の芯ずれ又は芯回転が大きい場合、低倍率画像に基づいて標本全体を領域分割し、このときの領域分割情報に従ってステージの移動量を指示しても、所望の位置の高倍率画像が撮像できない。そこで、予め低倍率レンズと高倍率レンズの切り替えによる芯ずれと芯回転がどの程度あるのかを検出しなければならない。

芯ずれの検出方法として、ステージの位置を移動せず、全く同じ位置で低倍率画像と高倍率画像を撮像し、高倍率画像をテンプレートとして、低倍率画像のなかからマッチング位置を検出すれば、マッチング位置と画像の中心とのずれが芯ずれとして検出できる。

一方、芯回転の検出方法として、まず、芯ずれの検出方法と同様に、ステージの位置を移動せず、全く同じ位置で低倍率画像と高倍率画像を撮像し、高倍率画像と低倍率画像のマツチング位置を求め、次に、マッチング位置において、テンプレートを少しずつ回転させながら、最も相関係数が最大となる角度を求めることで、芯回転の角度が求められる。

その他の方法として、低倍率画像と撮像位置の異なる 2つ以上の高倍率画像を用いて、高倍率画像の夫々が低倍率画像における位置を検出し、それらの位置から、高倍率と低倍率撮像部の回転角度ずれが求められる。

上記のように検出した低倍率と高倍率の芯ずれを用いて、低倍率画像に基づいて標本全体を分割する領域分割情報を捕正する。領域分割情報を各分割領域の中心のステージ座標である（x i、 y i ) ( i は各分割領域の番号を表す）で表し、検出した芯ずれを（ Δ X、 Δ y ) としたとき、領域分割情報は ( x i + Δ X y i + Δ y ) と補正される。補正された値は記憶部（例えば図 1 の領域分割情報記憶部 1 3 ) に記憶される。

勿論、芯ずれがなくなるようにレンズ位置のマニュアル調整を行ってもよい。一方、低倍率レンズに対する高倍率レンズの芯回転角度を α とした場合、芯回転を捕正する方法として、低倍率画像を _α度だけ回転させて新たな低倍率画像とし- 高倍率画像をそのままとすることが好ましい。勿論、低倍率画像をそのままにして各高倍率画像を一 α度だけ回転させてもよいし、回転がないように低倍率レンズ又は高倍率レンズの回転角度を調整してもよい。

産業上の利用可能性

複数の画像を貼り合せ合成する際に、重複部分に標本像がなくても全体で確実な画像貼り合せができ、分割撮像時の撮像条件が異なっていても均一な背景の貼り合せ画像を構築できる画像処理装置を提供できる。

Claims

請求の範囲

1 . 標本領域全体を第 1 の倍率である低い倍率で撮像する低倍率撮像部と、

を具備する画像処理装置。

2 . 前記位置ずれ補正部で位置補正された各小領域の高倍率画像の画質と、前記低倍率標本画像の前記高倍率画像に対応する部分画像の画質の差異を検出する画質差異検出部と、前記画質差異検出部で検出された画質の差異に基づき、各小領域の高倍率画像の画質を補正する画質差異補正部と、を更に有する請求項 1記載の画像処理装置。

3 . 前記画質差異は、明るさの違いによるものである請求項 2記載の画像処理装置。

4 . 前記画質差異は、明るさの均一性の違いによるものである請求項 2記載の画像処理装置。

5 . 前記画質差異は、幾何特性の違いによるものである請求項 2記載の画像処理装置。

6 . 前記低倍率撮像部は、標本に対して相対走査することにより標本全体像を撮像するラインセンサを有し、前記高倍率撮像部は、標本の一部を撮像するエリアセンサを有する請求項 1記載の画像処理装置。

7 . 前記低倍率撮像部で撮像した低倍率画像と、前記高倍率撮像部で撮像した高倍率画像とを比較することにより、前記低倍率撮像部と前記高倍率撮像部との位置関係を検出し、検出した位置関係をもとに、前記領域分割情報を補正する請求項 1 または請求項 6記載の画像処理装置。

8 . 前記位置関係は水平又は垂直移動を考慮して決定される請求項 7 の画像処理装置。

9 . 前記位置関係は回転移動を考慮して決定される請求項 7 の画像処理装置。