JP5762315B2 - 画像処理方法 - Google Patents

Description

この発明は、流動体を窪部に注入してなる試料の画像に生じる歪みを補正するための画像処理方法に関するものである。

医療や生物科学の実験においては、例えばウェルとも称される窪部を多数配列して設けたプレート状の器具（例えばマイクロプレート、マイクロタイタープレート等と呼ばれる）の各ウェルに液体やゲル状の流動体（例えば培養液、培地等）を注入し、ここで細胞等を培養したものを試料として観察、計測することが行われる。近年では、試料をＣＣＤカメラ等で撮像してデータ化し、該画像データに種々の画像処理を施して観察や分析に供することが行われるようになってきている。このような画像処理の例として、例えば特許文献１には、ストライプ照明型の観察装置において液面のメニスカス効果による画像の放射状の歪みを補正する技術が記載されている。

特開２０１０−３５０７４０号公報（例えば、図１１）

この種の試料においては、例えば流動体の注入の仕方のばらつきやウェル壁面に対する濡れ性等に起因して、流動体の表面（液面）が窪部に対して傾いた状態となっている場合がある。このような状態で窪部全体を視野に収めるような撮像を行うと、液面の傾きに起因して放射状でない不均一な画像の歪みが発生する。しかしながら、上記特許文献１に記載のものを含め、従来の技術ではこのような種類の歪みに対応したものはなく、歪みの影響を低減する方法は確立されるに至っていない。

この発明は上記課題に鑑みなされたものであり、流動体を窪部に注入してなる試料の画像の歪みを簡易に低減することのできる画像処理方法を提供することを目的とする。

この発明の一の態様は、断面形状が略円形である窪部に流動体を注入して作成した試料を該窪部の輪郭とともに撮像してなる原画像の歪みを補正する画像処理方法であって、上記目的を達成するため、前記原画像から前記窪部の輪郭に対応する輪郭部を検出する輪郭検出工程と、検出された前記輪郭を円近似した理想輪郭円を特定する理想輪郭特定工程と、前記原画像の各原画素のうち前記輪郭部内に位置する原画素の画素値に基づき作成した補正画素を前記理想輪郭円内に配した補正画像を作成する補正画像作成工程とを備え、前記補正画像作成工程では、前記補正画素のそれぞれについて、前記理想輪郭円の半径に対する前記理想輪郭円の中心から当該補正画素を通って前記輪郭部に至る線分の長さの比を当該補正画素の補正係数と定義したとき、当該補正画素の画素値を、前記線分上の点であって前記理想輪郭円の中心からの距離が前記理想輪郭円の中心と当該補正画素との距離に前記補正係数を乗じた距離である補正基準点の近傍に位置する前記原画素の画素値に基づいて求めることを特徴としている。

また、この発明の他の態様は、断面形状が略円形である窪部に流動体を注入して作成した試料を該窪部の輪郭とともに撮像してなる原画像の歪みを補正する画像処理方法であって、前記原画像から前記窪部の輪郭に対応する輪郭部を検出する輪郭検出工程と、検出された前記輪郭を円近似した理想輪郭円を特定する理想輪郭特定工程と、前記原画像の各原画素のうち前記輪郭部内に位置する原画素の画素値に基づき作成した補正画素を前記理想輪郭円内に配した補正画像を作成する補正画像作成工程とを備え、前記補正画像作成工程では、前記補正画素のそれぞれについて、前記理想輪郭円の半径をＲ0、前記理想輪郭円の中心から当該補正画素を通って前記輪郭部に至る線分の長さをＲ1、前記理想輪郭円の中心から当該補正画素までの距離をＲ2と定義したとき、当該補正画素の画素値を、前記線分上の点であって前記理想輪郭円の中心からの距離がＲ1×Ｒ2／Ｒ0で表される補正基準点の近傍に位置する前記原画素の画素値に基づいて求めることを特徴としている。

断面円形の窪部を用いた試料では、窪部に注入された流動体の表面の傾きに起因して窪部の輪郭が円から乖離した形状に歪むことがある。上記のように構成された発明では、この種の歪みを比較的簡易な処理によって補正し、画像に基づく観察や計測に歪みの影響が生じるのを抑制することが可能である。すなわち、この発明では、窪部の輪郭が本来円形であることを前提として、円形から乖離した画像を元の円形に補正するための処理を行う。具体的には、原画像から検出された窪部の輪郭部から元の円である理想輪郭円を特定し、該理想輪郭円の各画素（補正画素）の画素値を原画像の輪郭部内の画素（原画素）の画素値から求めることで、理想輪郭円内に補正画素を配置してなる補正画像を得る。

本願発明者の知見によれば、この種の歪みは中心回りの回転対称性を有する放射状の歪みとは異なり、概ね画像が径方向に圧縮された態様で現れる。そのため、窪部の輪郭は本来の円が径方向に圧縮された形状となっている。この知見に基づき、本発明における補正処理は、原画像を理想輪郭円の径方向に伸長することで元の円形を復元するような処理である。これにより、後述するように比較的簡易な計算で精度よく補正を行うことが可能である。

この発明の理想輪郭特定工程では、例えば、輪郭検出工程で検出された輪郭部の最小半径外接円を理想輪郭円とすることができる。上記したように、窪部の輪郭は本来の円が圧縮されて楕円に近い形状となっている。したがって、輪郭部に外接する最小半径の円を理想輪郭円とみなすことで、元の輪郭を高い蓋然性で推定することが可能である。

また、補正画像作成工程では、例えば補正基準点上の原画素の画素値と、該原画素に隣接する少なくとも１つの原画素の画素値とに基づき補正画素の画素値を求めるようにしてもよい。補正画素と原画素とは１対１に対応するとは限らないため、このように補正基準点上の原画素だけでなくそれに隣接する原画素までを計算に含めて補正画素の画素値を求めることで、補正画像の画質劣化を抑制することができる。

この場合、例えば各原画素の画素値を当該原画素の補正基準点からの距離に応じて荷重平均した値を補正画素の画素値とすることができる。このように、補正基準点に最も近い原画素とそれ以外の原画素とで異なる重み付けをした画素値の平均を取ることで、補正画像の画像品質をより向上させることができる。

また例えば、補正画像に対して放射状の歪みの補正を行う放射歪み補正工程をさらに備えるようにしてもよい。また例えば、補正画像の直径が予め設定された基準直径と一致するように前記補正画像を拡大または縮小するサイズ補正工程をさらに備えるようにしてもよい。これらにより、液面のメニスカス効果等に起因する放射状の歪みや、窪部への流動体の注入量のばらつきに起因する各種の歪みについても補正することが可能であるが、これらの補正は窪部の輪郭が円形であるとの前提に立つものであるため、輪郭を円形に補正する上記補正処理を事前に行った上でこれらの補正を行うことで、補正後の画像品質をさらに向上させることが可能である。

この発明によれば、窪部に注入された流動体の表面の傾きに起因する不均一な歪みを、比較的簡易に補正して、歪みの影響の少ない補正画像を得ることができる。

この発明にかかる画像表示装置の一実施形態の概略構成を示す図である。 撮像部のより詳細な構成を示す図である。 この画像表示装置における表示処理を示すフローチャートである。 ウェル画像における画像歪みの例を示す図である。 不均一歪みの発生原因の一例を示す図である。 不均一歪み補正処理を示すフローチャートである。 ウェル領域の検出および理想輪郭円の特定プロセスを示す図である。 実測された輪郭部から推定された理想輪郭円を模式的に示す図である。 補正画素の画素値の求め方を説明する図である。 補正後の画像の例を示す図である。

図１はこの発明にかかる画像表示装置の一実施形態の概略構成を示す図である。この画像表示装置１は、図１（ａ）に示すように、それぞれに例えば培養液、培地、試薬などの液体等（図示せず）が注入された複数の、例えば９６個（１２×８のマトリクス配列）のウェルＷを形成されたサンプル（マイクロプレート）Ｍの下面周縁部に当接して該マイクロプレートＭを略水平状態に保持するホルダ１１と、該ホルダ１１の上部に設けられた光源１２と、ホルダ１１の下部に設けられた撮像ユニット１３と、これらを司って所定の動作を実行させる制御部１０とを備えている。図１（ａ）においては上下方向が鉛直方向である。

マイクロプレートＭにおける各ウェルＷの直径および深さは代表的には数ｍｍ程度である。一例として、後述する実験において用いられたマイクロプレートＭの各部の寸法を示す。図１（ｂ）に示すように、各ウェルＷの上部における開口Ｗｔの直径Ｄｔが６．６９ｍｍである一方、ウェル底面Ｗｂの内径Ｄｂが６．５８ｍｍである。これからわかるように、ウェルＷの内壁面Ｗｓは単純な円筒面ではなく、側面が斜めに傾斜したテーパー形状となっている。また、ウェルＷの深さＤｄは１０．９ｍｍであり、複数ウェルＷの配列ピッチＤｐは９ｍｍである。なお、各部の寸法は単なる例であって、この撮像装置１が対象とするマイクロプレートのサイズはこれらに限定されるものではなく任意である。

光源１２は、制御部１０に設けられた光源制御部１１２によって制御され、光源制御部１１２からの制御指令に応じてホルダ１１に保持されたマイクロプレートＭの上方から複数のウェルＷに対して一括して光Ｌを照射する。照射される光は可視光であり、特に白色光が好ましい。

撮像ユニット１３は、光源１２から出射されてホルダ１１に保持されたマイクロプレートＭの下方に透過してくる透過光Ｌｔを受光することでマイクロプレートＭの画像を撮像するカメラとして機能するものである。撮像の解像度としては、例えば２４００ｄｐｉ（dots per inch）程度とする。撮像ユニット１３は制御部１０に設けられたカメラ駆動機構１１３に連結されており、カメラ駆動機構１１３は、ホルダ１１に保持されたマイクロプレートＭの下面に沿って撮像ユニット１３を水平面内で走査移動させる。

すなわち、この実施形態では、撮像ユニット１３がマイクロプレートＭの下面に沿って走査移動可能となっている。なお、ここでは撮像ユニット１３がマイクロプレートＭに対して移動するが、撮像ユニット１３とマイクロプレートＭとの間の相対移動が実現されれば足り、この意味でマイクロプレートＭを撮像ユニット１３に対して移動させるようにしてもよい。

撮像ユニット１３により撮像された画像データは画像処理部１１４に与えられる。画像処理部１１４は、撮像ユニット１３からの画像データに対して適宜画像処理を施したり、画像データに基づく所定の演算処理を実行する。処理前後のデータは必要に応じて記憶部１１５に記憶保存される。また、検出処理部１１６は、画像処理部１１４から与えられる画像データに基づき所定の検出処理を行って、画像に含まれる特徴的な部位を検出する。この検出処理は、例えば画像の輝度データを解析することによって当該画像の中で光学的特性がその周囲領域とは異なる領域を検出する処理であり、また当該領域について特徴量を算出することにより、当該領域がどのような起源・種類のものであるかの分類が可能である。このように画像からある特徴を有する部位を識別し検出する処理や、そのような処理に好適な特徴量については種々の技術が公知であるので、ここでは詳しい説明を省略する。

検出処理部１１６による検出結果も記憶部１１５に保存される。また、後述するように、画像処理部１１４は必要に応じて検出処理部１１６による検出結果に基づいた画像処理を行う場合がある。そして、適宜の画像処理が施された画像データは例えば液晶ディスプレイ等の表示手段を有する表示部１１８に与えられ、表示部１１８は与えられた画像データに対応する画像を表示してユーザに提示する。さらに、この画像表示装置１は、画像処理の内容や表示の態様等についてユーザからの操作指示入力を受け付けるための入力受付部１１７を有している。入力受付部１１７は、例えばキーボード、マウス、タッチパッド等の入力受付手段またはそれらを適宜組み合わせたものであり、ユーザからの指示入力を受け付けて制御部１０がこれを装置の動作に反映させることで、ユーザが所望する機能を実現する。

この画像表示装置１は、各ウェルＷに保持された流動体（本明細書では、液体、ゲル状のまたは半流動性を有する固体、および、例えば軟寒天のように流動性を有する状態でウェルに注入されその後固化するものの総称である）およびその中に含まれる細胞等の撮像対象物の光学像を撮像したり、その光学像から所定の光学的特徴を有する、より具体的にはウェルＷに保持された液体等とは異なる光学的特性を有する特異な部分をその光学的特性の差異を利用して検出するという用途に適用することができる。例えば、培養液や培地中の細胞や細胞集塊（スフェロイド）を撮像対象物として撮像したり、さらに画像処理によりそのような細胞等を自動的に検出する目的に好適に使用することができる。

図２は撮像部のより詳細な構成を示す図である。図２（ａ）に示すように、撮像ユニット１３は、入射光に応じた電気信号を出力する例えばＣＣＤによるラインセンサ１３１と、ホルダ１１に保持されたマイクロプレートＭの底面から出射される光をラインセンサ１３１の受光面に結像させる結像光学系１３２とを備えている。結像光学系１３２はレンズ等の光学部品を複数備えるものであってよいが、ここでは理解を容易にするために代表的に単一のレンズによって示している。

ラインセンサ１３１は多数の微細な撮像素子１３１ａを水平面内の一軸方向に一次元配列したものであり、その長手方向には結像光学系１３２を介して少なくとも１つのウェルＷ全体、より望ましくは複数の（同図では３つの）ウェルＷを一度に撮像範囲ＳＲに含めることができるよう構成されている。図では、ラインセンサ１３１の配列方向における長さを符号ｗ、これによるマイクロプレートＭの底面における視野の長さを符号ｗ’により表している。

また、図２（ｂ）に示すように、カメラ駆動機構１１３によるラインセンサ１３１の走査移動方向は、その配列方向に直交する方向である。このように、所定方向に沿って撮像素子が配列されたラインセンサ１３１をマイクロプレートＭの底面に沿って走査移動方向に走査移動させることで、底面側から見たマイクロプレートＭの二次元画像を撮像することが可能である。また、ラインセンサ１３１のＹ方向位置を異ならせて上記走査移動を繰り返すことで、マイクロプレートＭに形成された多数のウェルＷを順次撮像することができる。

ラインセンサ１３１は各撮像素子の画素サイズが小さいため高精細の画像を得ることが可能である。また、多数の撮像素子をライン状に配列するとともに各撮像素子にウェルＷ各部の光学像を結像させるように結像光学系１３２を構成してそれらを適切な位置に配置し、１つまたはそれ以上のウェルＷからの光をラインセンサ１３１に入射させるようにすることで、１つのウェルＷを撮像するのに必要な時間が短くなる。これにより、多数のウェルＷについての撮像を高速で行うことができる。このようにしてマイクロプレートＭ全体の画像を予め取得しておけば、以後は撮像された画像に所定の加工が施され以下に説明する種々の表示モードで表示されることにより、ユーザに対して、その目的に応じた態様で種々の画像が提示されることとなる。

上記のように構成された画像表示装置１では、入力受付部１１７を介したユーザからの操作指示に応じて、撮像ユニット１３がマイクロプレートＭの各ウェルＷを撮像し、その画像データに基づいて、画像処理部１１４および検出処理部１１６がユーザにより指定された画像処理および検出処理を施して、その結果が表示部１１８に表示される。ユーザから撮像指示が与えられたとき、制御部１０が以下に説明する一連の処理を行うことで、上記機能が実現される。

図３はこの画像表示装置における表示処理を示すフローチャートである。ユーザから撮像指示が与えられると、撮像ユニット１３が動作してマイクロプレートＭの全体を撮像し、全てのウェルＷについての原画像を取得する（ステップＳ１０１）。マイクロプレートＭの全体を走査して撮像した画像は全てのウェルＷの画像を部分画像として含んでいるが、ウェルＷ以外のマイクロプレートＭ表面を撮像した部分は不要であり、また表示部１１８の表示スペースを有効に活用するという点からは無駄なものである。そこで、得られた画像から以下のようにしてウェルＷに相当する部分の画像のみを切り出す（ステップＳ１０２）。マイクロプレートＭにおける各ウェルＷの寸法や配列ピッチは予めわかっているから、例えば撮像された画像内における座標位置に基づいて、各ウェルＷに対応する領域を特定することが可能である。また、各ウェルＷに対応する領域がサイズ既知の略円形であることから、画像解析によってそのような条件に該当する領域を抽出することによっても、ウェルＷに対応する領域を特定することができる。

図４はウェル画像における画像歪みの例を示す図である。図４および後述の図１０は、歪みの態様を観察するために縦方向および横方向に等間隔に多数の微小なドットが配置されたシート（グリッド図票）をウェルＷ底面に貼り付け、該ウェルＷを下方から撮像した画像の例を示している。図４（ａ）はウェルＷに液体を入れない状態で撮像した画像の例であり、円形のウェル領域内にグリッド図票のドット配置がほぼそのまま画像に表れている。一方、図４（ｂ）はウェルＷに液体を注入した状態で撮像した画像の例であり、
（１）ドットの列が一直線にならず、外側に向けて膨らんだ曲線となっている、
（２）外周左下部分が変形していびつな形状となっている、
（３）ウェル内の液面の位置に対応してウェル領域の見た目の大きさが変化している、
という歪みが表れている。

このことに鑑み、本実施形態では、上記のようにして得られたウェル画像に対して、３種類の歪み補正、すなわち不均一歪み補正（ステップＳ１０３）、放射状歪み補正（ステップＳ１０４）およびサイズ補正（ステップＳ１０５）をこの順番に行う。そして、補正済みの画像を表示部１１８に表示することで（ステップＳ１０６）、処理が完結する。各歪み補正については以下に分説する。

図５は不均一歪みの発生原因の一例を示す図である。ウェルＷに注入される流動体ＬＱとしては、粘度の低い液体のほか、比較的粘度の高いゲル状のものや、注入時には低粘度であるがその後粘度が増大するものなども用いられる。このような流動体は例えば分注ピペットを用いてウェル壁面に沿って流し入れられるが、その際の作業のばらつきやウェル壁面に対する流動体の濡れ性等に起因して、図５に示すように、注入された流動体の表面（以下、「液面」という）ＳＬが水平でない、つまり鉛直方向に対して液面ＳＬのなす角αが９０度でない場合が生じ得る。このような状態でウェル上方から照射光を入射させると液面ＳＬでの屈折が生じるため、下方で撮像される画像におけるウェルの輪郭形状が本来のウェル底面形状である円（点線）から歪んだ形状（実線）となる。このような歪みは円の中心に対する回転対称性を有しない上記（２）の歪みに対応するものであり、本明細書ではこれを「不均一歪み」と称する。

本願発明者が種々の実験から得た知見によれば、上記のような現象に起因して生じる歪みは概ね円の径方向への画像の変形として現れ、特に元の円が圧縮された形状の画像となる。また、液面が単に傾くだけでなく表面が波打った状態となる場合もあり、この場合は画像の歪みはより複雑で不均一なものとなるが、その場合でも、画像は径方向への変形として現れる。したがって、得られた画像を径方向に伸張して元の円形を復元することにより、このような歪みを補正することが可能である。これが本実施形態における不均一歪み補正の原理である。

図６は不均一歪み補正処理を示すフローチャートである。最初に、ウェルの画像に対して適切に補正を行うために、画像からそれに表れているウェル領域を検出し（ステップＳ２０１）、その輪郭を抽出して、当該ウェルの画像が本来（つまり歪みが生じなければ）有している円形の輪郭を「理想輪郭円」として特定する（ステップＳ２０２）。これらの処理は例えば以下のようにして行うことができる。

図７はウェル領域の検出および理想輪郭円の特定プロセスを示す図である。図７（ａ）は細胞や細胞集塊等のオブジェクトＯＢ、および上記各種の画像歪みを含むウェルの原画像ＩＭを示す。この原画像ＩＭの各画素の画素値に対して、所定の閾値による２値化を行う。この原画像ＩＭでは、ウェル内部が淡い色、つまり画素値が小さく、ウェル部分以外のマイクロプレートＭ表面はより画素値が高い。これらの中間の値に閾値を設定して２値化を行う。２値化された画像では、図７（ｂ）に示すように、ウェル内部に相当する領域（ウェル領域Ｒｗ）は白く、それ以外のマイクロプレートＭ表面は黒く表される。オブジェクトＯＢは当該オブジェクトの濃度に応じて白、または黒のいずれかで表される。

こうして得られた白色の領域に含まれる黒色の領域、すなわちウェル領域Ｒｗ内に包含される細胞等のオブジェクトの領域を画像処理によって除去することで、図７（ｃ）に示すように、原画像ＩＭに含まれたウェル領域Ｒｗを検出することができる。このような画像処理としては、例えば公知のクロージング処理を適用することが可能である。こうして得られた２値化画像と、当該画像を僅かに（例えば１画素分）縮小させた画像との差分を求めると、図７（ｄ）に実線Ｃｍで示すようにウェル領域の輪郭部のみが抽出される。

この輪郭部Ｃｍは上記した不均一歪みに起因して必ずしも円ではない。そこで、この実測上の輪郭部Ｃｍから元の輪郭を表す円を推定する。具体的には、輪郭部Ｃｍ上のいくつかの画素を抽出し、当該画素の画像平面内における座標値を円の方程式に代入して最小二乗法を適用することにより、輪郭部Ｃｍを円近似した円の方程式を得ることができる。これを抽出する画素を変えて何例か行い、近似により得られた円のうち半径の最も大きいものを、画像に歪みがない場合の輪郭を表す「理想輪郭円」とすることができる。または、近似により得られた円の中心を中心とし、輪郭部Ｃｍ上で当該中心から最も遠い点を通る円を理想輪郭円としてもよい。

この理想輪郭円は、図７（ｄ）に点線Ｃｉで示すように、実測された輪郭部Ｃｍに外接する円のうちで最も半径の小さい最小半径外接円であることが望ましい。前記したように、不均一歪みはウェル領域の画像を径方向に圧縮する形で表れるから、理想輪郭円Ｃｉは実測された輪郭部Ｃｍを内包すると考えられ、輪郭部Ｃｍのうち歪みの最も小さい部分を基準として元の輪郭を復元するにはその最小半径外接円を理想輪郭円Ｃｉとすればよい。

図８は実測された輪郭部から推定された理想輪郭円を模式的に示す図である。撮像された画像から求められた輪郭部Ｃｍが図８に実線で示すような歪んだ形状であった場合、上記した処理によって、これに外接する最小半径の円として図８に点線で示す理想輪郭円Ｃｉが求められる。以下の説明のために、画像平面における座標を同図のように定義する。すなわち、画像左上隅を原点として画像の右方向にＸ座標、下方向にＹ座標を定める。理想輪郭円Ｃｉの中心を符号Ｃにより表し、該中心Ｃの座標を（ｘ0，ｙ0）により表す。また、理想輪郭円Ｃｉの半径を符号Ｒ0により表す。

図６に戻って不均一歪み補正処理の説明を続ける。こうして理想輪郭円Ｃｉが特定されると、続くステップＳ２０３ないしＳ２０６では、理想輪郭円Ｃｉ内に含まれる各画素を原画像の画素から復元することで、歪みの補正された補正画像を作成する。具体的には、理想輪郭円Ｃｉ内に含まれる画素のうち一を補正対象となる画素（補正画素）として選択し（ステップＳ２０３）、当該補正画素について後述する補正基準点を設定するとともに（ステップＳ２０４）、原画像において当該補正基準点の近傍に位置する４つの画素の画素値から、当該補正画素の画素値を算出する（ステップＳ２０５）。これを理想輪郭円Ｃｉ内の全画素について行うことで（ステップＳ２０６）、理想輪郭円Ｃｉ内の全画素の画素値が決定され、歪みの影響が抑制された補正画像を得る。

図９は補正画素の画素値の求め方を説明する図である。図９（ａ）は補正に関わる各点を画像平面上の座標により表現したものであり、図（ｂ）はそれらを理想輪郭円Ｃｉの中心Ｃからの距離により表現したものである。

図９（ａ）に示すように、ステップＳ２０３で選択された補正対象である補正画素を符号Ｔ、その座標位置を（ｘ，ｙ）により表す。理想輪郭円Ｃｉの中心Ｃ（ｘ0，ｙ0）を始点とし当該補正画素Ｔ（ｘ，ｙ）を通る半直線ＬＩを仮定したとき、該半直線ＬＩと理想輪郭円Ｃｉとの交点を符号Ｓ、その座標を（ｘ1，ｙ1）、実測された輪郭部Ｃｍとの交点を符号Ｓ’、その座標を（ｘ2，ｙ2）により表す。このとき、図９（ｂ）に示すように、線分ＣＳ’の長さを符号Ｒ1、線分ＣＴの長さを符号Ｒ1、線分ＣＴ’の長さを符号Ｒ2により表す。なお線分ＣＳの長さは理想輪郭円Ｃｉの半径Ｒ0と一致する。またＸ軸に対して半直線ＬＩのなす角を符号θにより表す。

本実施形態の技術思想によれば、不均一画像歪みは理想輪郭円Ｃｉの径方向への画像の圧縮変形として表れている。理想輪郭円Ｃｉ内の１つの補正画素Ｔ（ｘ，ｙ）に注目し、当該補正画素の画素値が、画像歪みによって原画像のどこに投影されているかを考える。ここで、径方向における画像の圧縮率が一様であると仮定すると（本願発明者の知見によればこの仮定は妥当なものである）、半直線ＬＩ上における画像の圧縮率は、理想輪郭円Ｃｉの半径Ｒ0（線分ＣＳの長さ）に対する、理想輪郭円Ｃｉの中心Ｃから半直線ＬＩと実測された輪郭部Ｃｍとの交点Ｓ’までの長さ（線分ＣＳ’の長さ）Ｒ1の比（Ｒ1／Ｒ0）により表すことが可能である。

したがって画素Ｔ（ｘ，ｙ）は、半直線ＬＩ上の点であって、中心Ｃからの距離が線分ＣＴの長さＲ2の（Ｒ1／Ｒ0）倍である点Ｔ’（ｘ’，ｙ’）に投影されているということができる。このことから、この点Ｔ’（ｘ’，ｙ’）を補正基準点としてその画素値から補正画素Ｔ（ｘ，ｙ）の画素値を復元することで、不均一歪みは解消される。すなわち、原画像において点Ｔ’（ｘ’，ｙ’）にある画素を、中心Ｃからの距離を（Ｒ0／Ｒ1）倍した点Ｔ（ｘ，ｙ）に移行することで、歪みが解消される。

ただし、画像平面においては各画素が一定ピッチでマトリクス配置されるのに対して、座標（ｘ’，ｙ’）によって特定される補正基準点Ｔ’は、必ずしも該マトリクスの格子点と一致しない。そのため、座標（ｘ’，ｙ’）によって特定される単一の画素の画素値をそのまま補正画素Ｔ（ｘ，ｙ）の画素値とした場合、補正後の画像の品質が劣化してしまう可能性がある。そこで、座標点Ｔ’（ｘ’，ｙ’）によって特定される位置とその近傍にある複数の画素の画素値から補正画素Ｔ（ｘ，ｙ）の画素値を算出することが、より滑らかで画質の良好な画像を得られるという点でより望ましい。

例えば図９（ｃ）に示すように、座標点Ｔ’（ｘ’，ｙ’）を含む画素Ｐ1、その右側および直下にそれぞれ隣接する画素Ｐ2およびＰ3、画素Ｐ3の右側に隣接する、つまり画素Ｐ1の右下に位置する画素Ｐ4の４つの画素の画素値の荷重平均値を、補正画素Ｔ（ｘ，ｙ）の画素値とすることができる。荷重平均は、座標点Ｔ’（ｘ’，ｙ’）に近い画素ほど重みが大きくなるようにする。

具体的な画素値の計算方法の例について説明する。理想輪郭円Ｃｉの半径（線分ＣＳの長さ）Ｒ0と線分ＣＳ’の長さＲ1との比を符号Ｒにより表すと、図９（ａ）および図９（ｂ）の関係からＲは次式により表すことができる。

これから、補正基準点Ｔ’の座標値は次式により表すことができる。

したがって、補正画素Ｔの画素値の算出に用いる４つの画素Ｐ1〜Ｐ4の座標はそれぞれ、
Ｐ1（floor（ｘ’），floor（ｙ'））、
Ｐ2（floor（ｘ’）＋１，floor（ｙ'））、
Ｐ3（floor（ｘ’），floor（ｙ'）＋１）、
Ｐ4（floor（ｘ’）＋１，floor（ｙ'）＋１）、
により表すことができる。ここで、符号floor（ｘ’）、floor（ｙ’）は、それぞれ補正基準点Ｔ’の座標値ｘ’、ｙ’の整数部分を意味するものとする。

さらに、補正基準点Ｔ’の座標値ｘ’、ｙ’の小数部分をそれぞれｘ_frac、ｙ_fracと表すと、求めるべき補正画素Ｔの画素値ｖａｌ（Ｔ）は、次式によって表すことができる。ここで、符号ｖａｌ（Ｐ1）〜ｖａｌ（Ｐ4）はそれぞれ画素Ｐ1〜Ｐ4の画素値を意味するものとする。

このようにして、一の補正画素Ｔ（ｘ，ｙ）の画素値ｖａｌ（Ｔ）を算出することができる。そして、この演算を理想輪郭円Ｃｉの全画素について行うことにより、理想輪郭円Ｃｉ内の全画素が復元されて補正画像が得られる。

ここで得られた補正画像は、上記した（１）〜（３）の３種類の歪みのうち（２）の不均一歪みが補正されたものであり、液面の傾きの影響により歪んでいびつな形状であった画像が円形に補正されている。一方、上記歪み（１）および（３）については依然として残存しており、これらの歪みをそれぞれ放射状歪み補正処理（図３のステップＳ１０４）およびサイズ補正処理（ステップＳ１０５）によって補正する。

液面のメニスカスによって生じる放射状の歪みについては、その補正のための処理がこれまでにも提案されている。例えば特許文献１に記載の技術や、以下の文献：
J. Weng, P. Cohen and M. Herniou, "Camera calibration with distortion models and accuracy evaluation", IEEE Trans. Pattern Analysis and Machine Intelligence, vol.14, no.10, pp. 965-980, 1992.
に記載された技術を適用することが可能である。そのため、本明細書では放射状歪み補正についての詳しい説明を省略する。

図１０は補正後の画像の例を示す図である。図１０（ａ）は、図４（ｂ）に示した画像に対して不均一歪み補正を行った後の補正画像を示しており、同図に示されるように、補正前の画像において変形が見られた左下部分も含めて、画像全体が円形に補正されている。この時点では画像に回転対称性を有する放射状の歪みが残存しているが、図１０（ｂ）に示すように、放射状歪み補正を行うことにより、流動体を入れずに撮像した図４（ａ）の原画像にほぼ近い画像が得られており、流動体が介在することに起因する画像の歪みが除去されていることがわかる。

上記（３）の歪みを補正するサイズ補正処理は、液面の高さの違い、すなわちウェルＷに注入された液量の違いによらずウェル領域の表示サイズを一定とするために、得られた画像のサイズを既定のサイズに正規化する処理である。このためには、予め標準状態のウェルＷの画像を撮像しておき、その輪郭を「基準輪郭」として求めておく。ウェルＷの標準状態とは、標準的な量（例えば１００μｌ）の培養液をウェルＷに注入し、遠心機により液面を略水平とした状態であり、該ウェルＷを水平状態に保持して撮像した画像における輪郭部を基準輪郭とする。

そして、上記した不均一歪み補正および放射状歪み補正を行った画像の理想輪郭円Ｃｉが基準輪郭と一致するように、理想輪郭円Ｃｉの中心Ｃに対して画像を拡大または縮小することで、画像のサイズを正規化し、液面の高さの差異に起因する画像サイズのばらつきを補正することができる。

各補正処理の順序については、図３に示すものが最も望ましい。その理由は以下の通りである。放射状歪みの補正処理は、歪みが中心に対して回転対称性を有するものであることを前提とする場合が多い。したがって、放射状歪みの補正に先立って不均一歪み補正がなされることが好ましい。また、サイズ補正は単に画像の見かけ上のサイズを調整するものであるから、種々の歪み補正を行った後とするのが好ましい。これより、図３に示した通り、不均一歪み補正、放射状歪み補正およびサイズ補正をこの順番で行うのが最も好ましいということができる。

以上のように、この実施形態では、流動体が注入されたウェルＷを撮像してなる原画像に対して、当該原画像に内包される種々の歪みを補正するための補正処理を実施する。具体的には、液面の傾き等に起因してウェル領域がいびつな形状に変形する不均一歪みの補正、液面のメニスカスに起因して生じる放射状の歪みの補正、および液面の高さの差異に起因するウェル領域のサイズのばらつきの補正、をこの順番に行う。こうすることで、液面の影響による各種の歪みが補正されて、画質の良好な画像を得ることができる。

不均一歪みの補正においては、ウェル領域の輪郭が本来は略円形であるとの前提と、この種の歪みが画像の輪郭円を径方向に圧縮させる態様で現れるとの新たな知見とに基づく補正を行う。具体的には、画像から本来の輪郭を表す理想輪郭円を特定するとともに、該理想輪郭円を補正された画素で埋めることにより補正画像を作成する。画素の補正は、圧縮された画像を径方向に伸長させるように、理想輪郭円の中心と当該補正画素とを結ぶ線上の原画素の画素値に基づいて行う。このようにすることで、歪んだ画像が元の円形に復元される。補正画素の画素値は各画素の画素値と座標位置とから求められるので、演算処理は比較的単純なものとなる。

以上説明したように、この実施形態では、図６のステップＳ２０１、Ｓ２０２がそれぞれ本発明の「輪郭検出工程」、「理想輪郭特定工程」に相当している。また、ステップＳ２０３〜Ｓ２０６が本発明の「補正画像作成工程」に相当している。また、図３のステップＳ１０４およびＳ１０５が、本発明の「放射歪み補正工程」および「サイズ補正工程」にそれぞれ相当している。また、値Ｒの逆数が、本発明の「補正係数」に対応する。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態はマイクロプレートに形成されたウェルを撮像する撮像ユニットと処理後の画像を表示する表示部とを備えた画像表示装置であり、本発明にかかる画像処理方法を実行するものであるが、本発明にかかる画像処理方法は、このように撮像機能や表示機能を有する装置のみならず、撮像済みの原画像に対して画像処理を施す機能を有する種々の装置に適用可能である。また、このような処理を汎用コンピューターに実行させるための制御プログラムとして提供することも可能である。

また、上記実施形態では不均一歪み補正に続いて放射状歪み補正およびサイズ補正を実行しているが、放射状歪み補正およびサイズ補正の一方または両方を省いた構成も、本発明の範疇に含まれる。

また、上記実施形態におけるウェル領域の検出（ステップＳ２０１）、理想輪郭円の特定（ステップＳ２０２）、放射状歪み補正（ステップＳ１０４）およびサイズ補正（ステップＳ１０５）の各処理内容は、その一例を示したものであってこれらに限定されるものではなく、同様の作用を奏する他の方法に置き換えてもよい。

また、例えば、上記実施形態では原画像のうち補正基準点近傍に位置する４つの原画素の画素値の荷重平均によって補正画素の画素値を算出しているが、演算に用いる画素の数やその選択方法はこれに限定されない。例えば、補正基準点を含む画素と他の画像のうち補正基準点に最も近い画素との画素値に基づいて、あるいは補正基準点を含む画素を中心とする３×３マトリクス内の画素の画素値に基づいて、補正画素の画素値を算出してもよい。また荷重平均値を求めることは精度よく画素値を復元するための一法であるが、これに限定されるものではない。

また、例えば、上記実施形態では撮像素子を一次元配列してなるラインセンサ１３１をマイクロプレートＭに対し相対移動させることで撮像を行っているが、撮像素子を二次元にマトリクス配列したＣＣＤアレイを用いて撮像を行うようにしてもよい。

この発明は、例えば医療・生物科学分野で用いられるマイクロプレート上のウェルのような、窪部に流動体が注入されてなる試料の観察を必要とする分野に特に好適に適用することができるが、その応用分野は医療・生物科学分野に限定されない。

１ 画像表示装置
１３ 撮像ユニット
１１４ 画像処理部
１１８ 表示部
Ｍ マイクロプレート
Ｓ２０１ 輪郭検出工程
Ｓ２０２ 理想輪郭特定工程
Ｓ２０３〜Ｓ２０６ 補正画像作成工程
Ｓ１０４ 放射歪み補正工程
Ｓ１０５ サイズ補正工程
Ｃｉ 理想輪郭円
Ｃｍ （ウェル画像の）輪郭部
Ｗ ウェル（窪部）

Claims (7)

1. 断面形状が略円形である窪部に流動体を注入して作成した試料を該窪部の輪郭とともに撮像してなる原画像の歪みを補正する画像処理方法において、
   前記原画像から前記窪部の輪郭に対応する輪郭部を検出する輪郭検出工程と、
   検出された前記輪郭を円近似した理想輪郭円を特定する理想輪郭特定工程と、
   前記原画像の各原画素のうち前記輪郭部内に位置する原画素の画素値に基づき作成した補正画素を前記理想輪郭円内に配した補正画像を作成する補正画像作成工程と
   を備え、前記補正画像作成工程では、
   前記補正画素のそれぞれについて、前記理想輪郭円の半径に対する前記理想輪郭円の中心から当該補正画素を通って前記輪郭部に至る線分の長さの比を当該補正画素の補正係数と定義したとき、
   当該補正画素の画素値を、前記線分上の点であって前記理想輪郭円の中心からの距離が前記理想輪郭円の中心と当該補正画素との距離に前記補正係数を乗じた距離である補正基準点の近傍に位置する前記原画素の画素値に基づいて求める
   ことを特徴とする画像処理方法。
2. 断面形状が略円形である窪部に流動体を注入して作成した試料を該窪部の輪郭とともに撮像してなる原画像の歪みを補正する画像処理方法において、
   前記原画像から前記窪部の輪郭に対応する輪郭部を検出する輪郭検出工程と、
   検出された前記輪郭を円近似した理想輪郭円を特定する理想輪郭特定工程と、
   前記原画像の各原画素のうち前記輪郭部内に位置する原画素の画素値に基づき作成した補正画素を前記理想輪郭円内に配した補正画像を作成する補正画像作成工程と
   を備え、前記補正画像作成工程では、
   前記補正画素のそれぞれについて、前記理想輪郭円の半径をＲ0、前記理想輪郭円の中心から当該補正画素を通って前記輪郭部に至る線分の長さをＲ1、前記理想輪郭円の中心から当該補正画素までの距離をＲ2と定義したとき、
   当該補正画素の画素値を、前記線分上の点であって前記理想輪郭円の中心からの距離がＲ1×Ｒ2／Ｒ0で表される補正基準点の近傍に位置する前記原画素の画素値に基づいて求める
   ことを特徴とする画像処理方法。
3. 前記理想輪郭特定工程では、前記輪郭検出工程で検出された前記輪郭部の最小半径外接円を前記理想輪郭円とする請求項１または２に記載の画像処理方法。
4. 前記補正画像作成工程では、前記補正基準点上の前記原画素の画素値と、該原画素に隣接する少なくとも１つの前記原画素の画素値とに基づき前記補正画素の画素値を求める請求項１ないし３のいずれかに記載の画像処理方法。
5. 各原画素の画素値を当該原画素の前記補正基準点からの距離に応じて荷重平均した値を前記補正画素の画素値とする請求項４に記載の画像処理方法。
6. 前記補正画像に対して放射状の歪みの補正を行う放射歪み補正工程をさらに備える請求項１ないし５のいずれかに記載の画像処理方法。
7. 前記補正画像の直径が予め設定された基準直径と一致するように前記補正画像を拡大または縮小するサイズ補正工程をさらに備える請求項１ないし６のいずれかに記載の画像処理方法。