JP5819897B2 - 撮像システムおよび撮像方法 - Google Patents

Description

この発明は、試料容器に担持された培地内の生物試料を撮像対象物としてこれを撮像する撮像システムおよび撮像方法に関するものである。

医療や生物科学の実験においては、例えばウェルとも称される窪部を多数配列して設けたプレート状の器具（例えばマイクロプレート、マイクロタイタープレート等と呼ばれる）の各ウェルに液体やゲル状の流動体（例えば培養液、培地等）を注入し、ここで細胞等を培養したものを試料として観察、計測することが行われる。近年では、ＣＣＤカメラ等で撮像してデータ化し、該画像データに種々の画像解析技術を適用して観察や分析に供することが行われるようになってきている。

この種の撮像システムでは、撮像系の感度の非線形性に起因して、撮像対象物の光学濃度とそれを撮像して多階調画像データで表したときの階調値との相関性が必ずしも線形でなく、これを適正化するための階調補正（ガンマ補正、トーン補正等とも称される）が必要となる。そのような階調補正技術の先例としては、平面原稿を光学的に読み取るドキュメントスキャナ装置に適用されたものがある。例えば特許文献１に記載の画像処理装置では、原稿画像をスキャン読み取りするに際して、本スキャンに先立ってより低い分解能でプリスキャンを行い、得られた画像のヒストグラム分布特性から階調補正のための補正特性、具体的には入力階調値と出力階調値との相関性を求めて、本スキャン時の階調補正処理を行っている。

特開２００３−２０９６９３号公報（例えば、図１）

細胞等の生物試料を観察する目的で使用される撮像システムに対しても、上記従来技術のような階調補正技術を応用することが考えられる。撮像対象物が培地内の生物試料である場合、培地が完全な透明体ではなくある程度の光学濃度を有しているため、撮像された画像の各画素の輝度は培地そのものに相当する輝度以上にはならないという特質がある。しかしながら、原稿の読み取りを目的とする上記従来技術では当然にこのような問題は考慮されておらず、中間階調での輝度値と階調値との相関性にのみ着目されている。そのため、この技術をそのまま生物試料の撮像に適用した場合、実画像ではあり得ない輝度レベルまで階調値が割り当てられることで、画像の多階調表現には全く使われない無効な階調値の範囲が生じ、多階調画像データにおける濃淡表現のダイナミックレンジが制限されてしまうという問題があった。

この発明は上記課題に鑑みなされたものであり、培地内の生物試料を撮像した画像を広いダイナミックレンジでデータ表現した多階調画像データを生成することのできる技術を提供することを目的とする。

この発明の一の態様は、試料容器に担持された培地内の生物試料を撮像対象物として撮像する撮像システムであって、上記目的を達成するため、前記撮像対象物を撮像して原画像を取得する撮像手段と、前記原画像の輝度値に対し階調補正処理を施して所定の階調数の多階調画像データを生成するデータ処理手段とを備え、前記データ処理手段は、前記撮像手段の非線形性を補正するように予め設定された階調補正特性を、前記培地の輝度に相当する輝度値が最大階調値となるようにスケーリングし、該スケーリング後の階調補正特性に基づき前記階調補正処理を実行する。

また、この発明の他の態様は、試料容器に担持された培地内の生物試料を撮像対象物として撮像する撮像方法であって、上記目的を達成するため、前記撮像対象物を撮像して原画像を取得する撮像工程と、前記原画像の輝度値に対し階調補正処理を施して所定の階調数の多階調画像データを生成するデータ処理工程とを備え、前記データ処理工程の前記階調補正処理では、前記撮像工程における非線形性を補正するように予め設定された階調補正特性を、前記培地の輝度に相当する輝度値が最大階調値となるようにスケーリングし、該スケーリング後の階調補正特性に基づき前記階調補正処理を実行する。

このように構成された発明では、培地内の生物試料を撮像対象物とする場合における上記特質に鑑み、培地の輝度に相当する輝度値が最大階調値となるように対応付けられた輝度値と階調値との関係に基づいて多階調画像データが生成される。つまり、培地が有する輝度を上限とする輝度の範囲内で、輝度値と階調値との対応付けがなされ、それに基づき原画像が多階調画像データとして表現される。そのため、撮像対象物の実画像における輝度の範囲に応じて階調値が割り付けられて、階調値のダイナミックレンジを有効に使って画像を多階調表現することができる。

この発明によれば、培地の輝度に相当する輝度値が最大階調値となるように輝度値と階調値とが対応付けられて階調補正処理が行われるので、無効な階調値の範囲が生じるのを防止して、培地内の生物試料を撮像した画像を広いダイナミックレンジで表現した多階調画像データを得ることができる。

本発明にかかる撮像システムの一実施形態の構成を模式的に示す図である。 階調補正処理の概要を示す図である。 ウェルプレートに担持される試料を模式的に示す図である。 階調補正特性のスケーリングを説明するための図である。 この撮像システムの撮像動作の第１の態様を示すフローチャートである。 キャリブレーション処理の動作を示すフローチャートである。 この撮像システムの撮像動作の第２の態様を示すフローチャートである。 参照テーブルの一例を示す図である。 トーンカーブの調整の有無による画像の違いを示す図である。 ウェルプレート上の試料配置の例を示す図である。

図１は本発明にかかる撮像システムの一実施形態の構成を模式的に示す図である。この撮像システム１００は、ＣＣＤラインセンサを撮像素子とするいわゆるラインＣＣＤ型のスキャナ装置であり、試料保持部１０と、光学走査部２０と、制御部３０と、ホストコンピュータ５０とを備えている。

試料保持部１０は、撮像対象物である生物試料を含んだ培地を担持するウェルＷが上面に形成されたウェルプレートＷＰの下面周縁部に当接することでウェルプレートＷＰを略水平姿勢に保持するホルダ１１と、それぞれ後述するシェーディング補正処理およびオートフォーカス（ＡＦ）調整処理とにおいて基準物として読み取られる白基準板１２およびＡＦ基準板１３とを備えている。

ウェルプレートＷＰは、断面が略円形で、それぞれに例えば液体状または固体状の培地を担持可能な複数の、例えば９６個（１２×８のマトリクス配列）のウェルＷを有している。各ウェルＷの直径および深さは代表的には数ｍｍ程度である。なお、この撮像システム１００が対象とするウェルプレートのサイズやウェルの数はこれらに限定されるものではなく任意であり、例えば３８４穴のものであってもよい。

これらのウェルＷに生物試料を含む培地が保持された状態でウェルプレートＷＰがホルダ１１に載置されると、光源２９からウェルプレートＷＰに光（例えば白色光）が照射される。光源２９は例えばＬＥＤランプにより構成され、ホルダ１１に保持されるウェルプレートＷＰに対して上方に配置される。

光学走査部２０は撮像対象物からの透過光を受光することで撮像対象物を光学的に撮像する撮像手段として設けられる。光学走査部２０は、ウェルプレートＷＰの下方に、受光素子であるＣＣＤ素子２２および透過光による光学像の倍率を調整する収束光学系２３を有する撮像部２１と、収束光学系２３のフォーカス調整を行うフォーカス調整機構２４と、例えばベルトドライブによって撮像部２１を所定の方向（図１においては左右方向）に駆動する走査駆動機構２５とを備えている。

光源２９からウェルプレートＷＰに向けて照射された光のうち、ウェルＷの底面から下方へ透過してくる光が収束光学系２３により収束されてＣＣＤ素子２２に受光され、光学像が電気信号に変換される。フォーカス調整機構２４は制御部３０からの制御指令に応じて収束光学系２３を駆動することで、ＣＣＤ素子２２に結像する光学像のフォーカス位置を調整する。また、走査駆動機構２５は、光源２９と撮像部２１とを一体的に水平面内で移動させる。したがって、光源２９と撮像部２１との間の位置関係は固定されている。

ウェルプレートＷＰに対してラインセンサであるＣＣＤ素子２２をその素子配列方向と直交する方向に相対移動させることで、ウェルプレートＷＰに対するＣＣＤ素子２２の走査移動が実現され、これによりウェルＷの内容物である生物試料の二次元画像が撮像される。光学走査部２０は制御部３０により制御される。

制御部３０は、ウェルＷ内の試料からの透過光の受光量に応じてＣＣＤ素子２２から出力される電気信号を輝度値（色濃度値）に変換するＡ／Ｄコンバータ３１と、試料から取得された各画素ごとの輝度値の集合を画像データとして保持したり、各種の設定データを記憶するメモリ３２と、装置各部を制御する制御手段として機能するＣＰＵ３３と、ＣＰＵ３３からの制御指令に応じてフォーカス調整機構２４および走査駆動機構２５を駆動するドライバ３４とを備えている。なお、メモリ３２は、ＲＯＭやＲＡＭあるいは不揮発性メモリなどにより構成されるものであり、Ａ／Ｄコンバータ３１から出力される輝度値データを一時的に保持するバッファメモリ３２ａ、輝度値データに基づき作成される多階調画像データを保持する画像メモリ３２ｂを備えるほか、後述する階調補正処理を実行する際に参照される参照テーブル（ＬＵＴ）３２ｃなどの種々の参照データが予め記憶されている。

このように構成された制御部３０は、インターフェース部（Ｉ／Ｆ）３５を介して、撮像システム１００全体の動作を司るホストコンピュータ５０と通信可能となっている。具体的には、ホストコンピュータ５０は、一般的なパーソナルコンピュータと同様の構成を有するものであり、各種の演算処理を実行するＣＰＵ５１、ＣＰＵ５１の動作によって発生する制御データを一時的に記憶するメモリ５２、ＣＰＵ５１が実行すべき制御プログラムを記憶保存するストレージ５３、制御部３０とのデータのやり取りを行うためのインターフェース部（Ｉ／Ｆ）５４を備えている。

また、ホストコンピュータ５０は、ユーザからの各種操作入力を受け付けたり、ユーザに対して種々の情報を提示するためのユーザインターフェース（ＵＩ）部５５を備えている。より具体的には、ＵＩ部５５は、ユーザからの操作入力を受け付ける受付手段として、操作ボタン、キーボード、マウス、タッチパネル等の入力デバイスを少なくとも１種類備えている。また、ユーザに情報を提示するための出力手段として、例えば取得した画像やメッセージ等を画面表示するディスプレイを備えている。

撮像システム１００を動作させるためのユーザからの各種の操作入力の受付や、動作の結果として得られた画像をユーザに提示する機能は、ホストコンピュータ５０に集約されている。したがって、制御部３０は、光学走査部２０に所定の動作をさせるための最小限の構成のみを有している。このように、本装置に特有のハードウェアを動作させるために必要な最小限の制御機能を有する制御部３０を設ける一方、より一般的な処理については汎用性を有するホストコンピュータ５０により処理する構成とすることで、システムコストを低く抑えることができる。

なお、この撮像システム１００は、上記のように試料保持部１０、光学走査部２０および制御部３０を一体的に構成した撮像ユニット１と、これを制御する汎用のホストコンピュータ５０とで構成されている。これに代えて、撮像に必要な全ての構成が一体のものとして組み込まれてもよい。撮像ユニットとホストコンピュータとで撮像システムを構成する場合、画像データを保存したり各種の解析処理を実行するためのハードウェアおよびソフトウェア資源をホストコンピュータに集約させることができる。このようにすると、撮像ユニット側では撮像のために必要最小限のハードウェアおよびソフトウェアのみを備えればよいので、システムコストを抑えることができる。

次に、上記のように構成された撮像システム１００の動作について説明する。この撮像システム１００は、ユーザから撮像動作、すなわち試料保持部１０に保持された試料の読み取り動作を開始する旨の指示を受け付けると、指定された条件での読み取り動作を実行して試料を撮像する。読み取りにより撮像部２１のＣＣＤ素子２２で生成された画像信号は制御部３０のＡ／Ｄコンバータ３１により多値の原画像データに変換される。このときの原画像データには撮像系の非線形な感度特性の影響が含まれるため、この撮像システム１００では、原画像データに対し階調補正処理を行って、このような非線形性を排除した多階調の画像データを生成する。なお、カラー画像を撮像するシステムにおいては、色分解された色成分ごとに以下のデータ処理がなされる。

図２は階調補正処理の概要を示す図である。より具体的には、図２（ａ）は階調補正特性の一例を示し、図２（ｂ）はこの撮像システム１００における階調補正処理のデータの流れを模式的に示す図である。多階調画像データを例えば８ビットデータとして表現する場合、階調数は２５６段階であり、図２（ａ）に示すように階調値は０〜２５５の値を取る。ＣＣＤ素子２２により受光される最も高輝度の光を輝度値１００％、光量ゼロを輝度値０％により表し、輝度値０％に階調値０を、輝度値１００％に階調値２５５をそれぞれ割り当てる。そして、図２（ａ）に示すように、輝度値と階調値との間に非線形な相関性を与えることにより、撮像系における感度の非線形性を補償して、撮像対象物の光学特性により忠実な多階調画像データを得ることができる。

この撮像システム１００では、このような輝度値と階調値との相関性がデータ化されてルックアップテーブル（ＬＵＴ）３２ｃとして予め記憶保存されている。図２（ｂ）に示すように、ＣＣＤ素子２２から出力されるアナログ画像信号がＡ／Ｄコンバータ３１によりデジタルデータ（原画像データ）に変換され、バッファ３２ａに一時的に保存される。そして、ＣＰＵ３３がバッファ３２ａから出力される原画像データに基づきＬＵＴ３２ｃを参照して、原画像データを撮像系の感度の非線形性が補正された多階調データに変換し、画像メモリ３２ｂに記憶させる。このようにして階調補正処理がなされる。

ここで、最終的に画像メモリ３２ｂに記憶される多階調画像データのデータ長は８ビットである。一方、Ａ／Ｄコンバータ３１およびバッファ３２ａで扱われる原画像データはこれよりビット長が大きく例えば１２ないし１６ビットである。また、ＣＰＵ３３内部での演算における有効ビット長も８ビットより十分に大きい。このようにすることで、画像信号から多階調画像データを生成するプロセスにおけるノイズの発生を抑えて、画質の劣化を防止することができる。

また、ＣＣＤ素子２２から出力される画像信号は順次デジタルデータに変換され、さらに階調補正処理がなされた上で画像メモリ３２ｃに保存される。つまり、Ａ／Ｄコンバータ３１から出力される原画像データは補正処理のために一時的にバッファ３２ａに保存されるだけで、例えば１枚のウェルプレートＷＰまたは１つのウェルＷの全体画像に相当する原画像データが保存されるわけではない。したがって画像メモリ３２ｂは階調補正後の８ビットデータのみを保存する機能および容量があればよく、またバッファ３２ａの容量も小さくてよい。

なお、本明細書では、処理の流れを示すためにバッファ３２ａを独立した機能ブロックとして説明しているが、実際の装置においては例えばＣＰＵの内部バッファを利用したり、画像メモリのメモリ空間の一部をバッファエリアとすることによりバッファ３２ａを実現することが可能である。また例えば、階調補正後の画像データを順次ホストコンピュータ５０に送出しホストコンピュータ５０側で記憶保存する構成とすれば、撮像ユニット１側で必要な画像メモリの容量も大きく削減することが可能である。

次に、原画像データにおける輝度値１００％に相当する光量をどのように設定するかについて検討する。この種の撮像装置では、撮像デバイスの感度ばらつきを補正するために、光学特性が既知の基準面を撮像してシェーディング特性を取得し、該特性に基づき入射光量の正規化を行うシェーディング補正が一般的に行われる。具体的な処理内容については後に詳述するが、この撮像システム１００においても、所定の透過率を有する白基準板１２の撮像結果に基づくシェーディング補正処理が実行される。シェーディング補正処理については種々の公知技術があり、それらから適宜選択した技術をこの撮像システム１００にも適用することができるので、ここでは詳しい説明を省略する。

ただし、この撮像システム１００のように、ウェルプレートＷＰのウェルＷ内に培地とともに担持される生物試料を撮像する装置においては、このような撮像に固有の、次のような特質がある。

図３はウェルプレートに担持される試料を模式的に示す図である。より具体的には、図３（ａ）は生物試料を含む培地を担持するウェルプレートＷＰの側面断面図であり、図３（ｂ）はその底面図である。この撮像システム１００における撮像対象物は、図３（ａ）に示すように、ウェルプレートＷＰに設けられたウェルＷに担持された液体または固体もしくはゲル状の培地Ｍに存在する例えば細胞塊Ｓｐのような生物試料である。ここではウェルＷの内底面に細胞塊Ｓｐが分布する例を示しているが、培地Ｍの表面または中層部に撮像対象物が存在する場合もある。また培地Ｍの量（ウェルＷにおける深さ）も様々である。

培地Ｍは多くの場合何らかの薬品を含んでおり、完全な透明体または白色体であることは稀である。したがって、撮像対象物を下方から観察した場合、一般的には図３（ｂ）に示すように、何らかの光学濃度を有する培地Ｍ内に例えば細胞塊Ｓｐのような撮像対象物が分布した状態となる。このため、ウェルＷ内を撮像した画像では培地Ｍの輝度値が最も高く、他の部分はこれより低輝度となる。つまり、実際の画像は培地Ｍに相当する輝度値を最大値とする輝度分布を有する。

一方、シェーディング補正処理では一定の光学特性を有する白基準板１２を基準として輝度値の正規化を行うため、その結果がウェルＷを撮像した実画像の輝度分布範囲に合致したものになるとは限らない。そこで、この撮像システム１００では、培地Ｍの輝度値に応じて階調補正特性のスケーリングを行う。

図４は階調補正特性のスケーリングを説明するための図である。図４に曲線Ａとして示すように、シェーディング補正処理では白基準板１２を撮像したときの輝度値が１００％となるように、撮像される光量（輝度値）の正規化が行われる。そして、階調補正処理用のＬＵＴ３２ｃでは、輝度値１００％に対して最大階調値（８ビットの場合２５５）が、輝度値０％に対して最小階調値０が対応付けられている。

一方、ウェルＷを撮像した実画像では、前記したように培地Ｍが最も高輝度である。どのような試料を撮像しても輝度値が１００％以下となるようにシェーディング補正処理が行われており、培地Ｍが示す輝度値は培地Ｍの種類や状態により様々であるから、多くの場合、培地Ｍの輝度値は１００％より小さい。図４に示すように実画像における培地Ｍの輝度値がＸ％である場合、階調補正後の実画像に対応する多階調画像データは、０から輝度値Ｘに対応する階調値Ｙまでの範囲で表現され、階調値Ｙを超え２５５までの数値範囲は、画像のデータ表現には用いられないことになる。つまり、２５６段階の階調数の一部が無効となり、多階調表現のダイナミックレンジが狭くなる。

そこで、この実施形態では、図４に矢印で示すように、０％から１００％までの輝度値範囲で階調値と対応付けられている階調補正特性（曲線Ａ）を、０％から培地Ｍの輝度値Ｘ％までの範囲にスケーリングし、修正された階調補正特性（曲線Ｂ）を得る。その結果、最小階調値から最大階調値までが、実画像における輝度分布の分布範囲内に割り付けられる。こうして修正された階調補正特性を適用して階調補正処理を実行することで、この実施形態では、ウェルＷを撮像して得られた実画像を、２５６段階の階調数を有効に用いて多階調表現することができる。これにより、画像をより広いダイナミックレンジで表現することが可能となる。

なお、スケーリング時のビット落ちによる演算精度の低下を防止するために、ＬＵＴ３２ｃに保存されるデータは８ビットよりも大きなビット長を有することが望ましい。また、輝度値と階調値との割り付けにおいて、高階調側に若干のマージンを設けてもよい。すなわち、培地Ｍの輝度値に最大階調値２５５を割り付けるのではなく、若干小さい階調値（例えば２５０）を割り付けてもよい。このようにすると、仮に培地よりも高輝度の領域があった場合、あるいは培地の輝度値に算出誤差があった場合などにも対応することができる。以下の説明では、図４に示される曲線Ａ、Ｂのように階調補正特性を表す曲線を、「トーンカーブ」と称することがある。

次に、上記した階調補正特性（トーンカーブ）のスケーリングを用いたこの撮像システム１００による生物試料の撮像動作の２つの態様について説明する。以下に説明する第１の態様では、与えられた試料を実際に撮像して培地Ｍの輝度値を求め、その値に基づくスケーリングを行う。一方、第２の態様では、培地Ｍの種類や状態から推定される当該培地Ｍの輝度値に基づきスケーリングを行う。これら２つの態様は、同一のハードウェア構成を用い、その動作の一部を異ならせることによって実現可能である。

＜第１の態様＞
図５はこの撮像システムの撮像動作の第１の態様を示すフローチャートである。また、図６はキャリブレーション処理の動作を示すフローチャートである。これらの処理は、ＣＰＵ３３がメモリ３２に予め記憶された制御プログラムを実行して装置各部に所定の動作を行わせることにより実現される。

ホストコンピュータ５０がユーザから撮像動作を開始をする旨の指示入力をＵＩ部５５を介して受け付けると、その旨およびユーザ指示に含まれる各種の撮像処理の内容を指定する情報（撮像情報）が、ホストコンピュータ５０から撮像ユニット１の制御部３０に与えられる（ステップＳ１０１）。撮像情報としては、例えば撮像すべきウェルプレートＷＰの枚数や種類、それに担持される試料の内容、撮像条件（例えば照明条件、解像度）などが含まれる。これを受けた撮像ユニット１は図６に示すキャリブレーション処理を実行する（ステップＳ１０２）。

なお、本実施形態のキャリブレーション処理においては、オートフォーカス（ＡＦ）調整処理（ステップＳ２０１〜Ｓ２０４）とシェーディング特性を取得するための処理（シェーディング処理；ステップＳ２０５〜Ｓ２０７）とを実行するが、これらの処理内容としては公知の技術を適用することができる。そこで、ここでは、これらの処理の原理および詳しい動作については説明を省略する。

キャリブレーション処理では、まずＡＦ調整処理が実行される（ステップＳ２０１〜Ｓ２０４）。具体的には、走査駆動機構２５を動作させて撮像部２１をＡＦ基準板１３の直下位置に移動させ（ステップＳ２０１）、光学走査部２０によりＡＦ基準板１３の読み取りを行う（ステップＳ２０２）。ＡＦ基準板１３には所定の基準線が引かれており、収束光学系２３のフォーカス位置をフォーカス調整機構２４により多段階に変更設定しながらその都度基準線の像を取得する。基準線の画像コントラストが最大となるときのフォーカス位置を合焦位置として、そのときの収束光学系２３の設定をＡＦデータＤＡ１として記憶するとともに（ステップＳ２０３）、収束光学系２３をその設定に合わせる（ステップＳ２０４）。

これにより、撮像部２１の合焦位置が最適化される。再度のオートフォーカス調整処理が実行されるまでは、このときのＡＦデータＤＡ１に基づいて収束光学系２３が調整された状態で、試料の撮像が行われる。

次に、シェーディング処理が実行される（ステップＳ２０５〜Ｓ２０７）。具体的には、走査駆動機構２５を動作させて撮像部２１を白基準板１２の直下位置に移動させ（ステップＳ２０５）、光学走査部２０により白基準板１２の読み取りを行う（ステップＳ２０６）。白基準板１２は所定の光透過率を有する白色の平板であり、白基準板１２の上方に位置決めされた光源２９からの光の一部を透過させて光学走査部２０に入射させる。

白基準板１２の真の色濃度値をＶ、光学走査部２０が白基準板１２を読み取った際の出力値をシェーディングデータＤＳ１とすると、試料を読み取った読取画像データＤＤとシェーディング補正後の補正画像データＤＣとの間には、
ＤＣ＝ＤＤ×Ｖ／ＤＳ１ … （式１）
なる関係が、各画素について成り立つ。

シェーディング補正を実行することは、（式１）の関係に基づいて、読取画像データＤＤから補正画像データＤＣを得ることに他ならない。言い換えると、シェーディング処理を実行してシェーディングデータＤＳ１を取得することで、以後の読み取りにおけるシェーディング補正を行う際の補正係数、すなわち（式１）右辺の係数（Ｖ／ＤＳ１）が得られることになる。そこで、読み取り結果からこのシェーディングデータＤＳ１を取得し記憶保存しておく（ステップＳ２０７）。

このように、シェーディング処理を行うことにより、シェーディング補正を行うために必要な情報が取得される。後述するように、再度のシェーディング処理が実行されるまでは、このときのシェーディングデータＤＳ１から求められる係数（Ｖ／ＤＳ１）を補正係数として用いたシェーディング補正が実行されることになる。

図５に戻って、上記のようにしてキャリブレーション処理が終了すると、実際に生物試料を読み取る準備が整ったことになる。続いて、撮像すべきウェルプレートＷＰの残り枚数を表す内部パラメータＴを、撮像情報としてユーザにより指定された初期値ｎに設定し（ステップＳ１０３）、トーンカーブの調整が必要か否かを判断する（ステップＳ１０４）。ここで、「トーンカーブの調整」とは、例えば図４に示す曲線Ａをスケーリングして曲線Ｂを得る処理のように、ＬＵＴ３２ｃに記憶されたトーンカーブを培地の輝度値に応じてスケーリングする処理をいう。

トーンカーブの調整が必要であるか否かについては、例えば以下のような基準で判断することができる。まず、撮像すべき試料がこれまで撮像に供されていない新規なものであるとき、培地Ｍの輝度値が未知であるため、その輝度値の把握とそれに伴うトーンカーブの調整が必要となる。

一方、撮像対象となる試料が過去に撮像に供されたものであるとき、原則としてトーンカーブの調整は不要であるものとする。生物試料を撮像対象物とする撮像システムでは、時間に伴う試料の変化を観察するために、同一の試料を所定の時間間隔を空けて定期的に撮像する、いわゆるタイムラプス撮像が行われることがある。この場合、撮像条件が変わると画像の比較観察が的確に行えなくなるため、同じ撮像条件で撮像が行われる必要がある。したがって、トーンカーブは先の撮像で用いられたものが後の撮像でも用いられることが望ましく、トーンカーブの再調整は不要である。

なお、同一試料でも時間の経過とともに培地の色合いも次第に変化し、一般的には次第に濃色に変化してゆく。これにより、同じトーンカーブを適用し続けることで画像コントラストが次第に低下することが予想される。このような場合に対応するために、必要に応じてトーンカーブの再調整を行ってもよい。

また、例えば照明光の強度や撮像の解像度、走査速度などの撮像条件が変更された場合も、シェーディング処理およびトーンカーブの調整が必要とされる。

さらに、これらの要件に関わらず、ユーザから調整を行う、または行わない旨の指示入力があったときには、当然にその指示が優先されてトーンカーブの調整の要否が判断される。

トーンカーブの調整が必要であると判断された場合には、続いて試料のプレスキャンおよびこれに基づくトーンカーブの調整が行われる（ステップＳ１１１〜Ｓ１１３）。具体的には、本スキャンに先立つプレスキャンとして光学走査部２０を動作させてウェルプレートＷＰの撮像を行い（ステップＳ１１１）、得られたウェルＷの画像内で培地に該当する領域の輝度値を算出する（ステップＳ１１２）。

この場合の撮像は単に培地Ｍの輝度値を求めることができれば足り高い解像度を必要としないので、走査速度を通常より速くしたり、走査する領域を限定してもよい。ただし、撮像された画像については、先に求めたシェーディングデータＤＳ１に基づくシェーディング補正処理が実行される。

前記したように、細胞塊Ｓｐ等を含む画像でも培地Ｍの輝度が最も高いと考えられるから、簡易的には画像内の最も高輝度の領域の輝度値をもって培地Ｍの輝度値とみなすことができる。より精密には、例えば画像処理によって画像から細胞塊Ｓｐ等を検出しそれらが占める領域を除外した領域を培地に相当する領域としその輝度値を求めることができるが、このような複雑な処理についてはホストコンピュータ側で実行されるのが現実的である。

こうして培地Ｍの輝度値が求められると、図４に示す原理に基づき、トーンカーブが培地Ｍの輝度値に応じてスケーリングされて、補正前の原画像の輝度値と補正後の画像の階調値との間の新たな相関関係が求められる（ステップＳ１１３）。このようにしてトーンカーブの調整が行われる。これにより、後の階調補正処理に適用される補正特性が決定される。

ウェルＷに担持される培地の種類や量が異なればその色合いも異なるため、培地Ｍの輝度値に基づくトーンカーブの調整は、本来的にはウェルＷごとに行う必要がある。しかしながら、培地の種類や量およびその作成時期が同じであれば輝度値も概ね同じと考えられるから、このような場合には各ウェルＷについて共通のトーンカーブが適用されてもよい。ここではウェルプレートＷＰ全体で同一条件の培地が作成されているものとし、異なる培地を含む場合の扱いについては後で説明する。

トーンカーブの調整が行われ、あるいはステップＳ１０４において調整が不要と判断されたときには、続いて試料の本スキャンが行われる（ステップＳ１０５）。本スキャンは試料の画像を取得するための撮像部２１の走査であり、ユーザにより指定された解像度および撮像条件で撮像が行われる。本スキャンにより画素ごとの原画像データＤＤが得られると、該原画像データＤＤに対して、各画素ごとに（式１）に基づくシェーディング補正および調整されたトーンカーブに基づく階調補正処理が実行されて、原画像を２５６段階の多階調で表現した画像データが得られる（ステップＳ１０６）。この多階調画像データが画像メモリ３２に保存され（ステップＳ１０７）、撮像システム１００の出力として、種々の画像処理装置等で利用される。

上記のようにして１つのウェルプレートＷＰについて撮像が終了すると、撮像すべきウェルプレートＷＰの残り枚数を示すパラメータＴが１だけデクリメントされ（ステップＳ１０８）、この値が０となるまでステップＳ１０４以降の処理を繰り返す（ステップＳ１０９）。このとき、先に撮像されたウェルプレートＷＰと同じ培地が用いられているか否かにより、トーンカーブの再調整が必要か否かが判断され、必要であればステップＳ１１１〜Ｓ１１３が再度実行される。

なお、各ウェルプレートＷＰの撮像に適用されたトーンカーブについては、当該ウェルプレートＷＰを識別するための情報と関連付けて、撮像履歴情報としてホストコンピュータ５０のメモリ５２またはストレージ５３に記憶保存される。前記したように、同一の試料については同一の処理条件が適用されることが望ましく、各ウェルプレートＷＰについて適用されたトーンカーブの情報を記憶保存しておくことで、この目的に供することができる。この情報は、撮像動作の実行時には撮像情報として必要に応じホストコンピュータ５０から撮像ユニット１に与えられる。

＜第２の態様＞
図７はこの撮像システムの撮像動作の第２の態様を示すフローチャートである。この態様においては、トーンカーブの調整を行う際の動作が相違するものの、それ以外の動作については図５に示す第１の態様と同一である。そこで、図７では、図５に示した処理と同一の処理については同一の番号を付してその説明を省略する。

この態様においては、ステップＳ１０４においてトーンカーブの調整が必要と判断されたとき、試料のプレスキャンを行うことなく、予め用意された複数のルックアップテーブルの中から培地に応じたものが選択される。具体的には、図４に曲線Ａで示すトーンカーブを互いに異なる比率でスケーリングした複数のルックアップテーブル（ＬＵＴ）を予め作成しておき、撮像ユニット１のメモリ３２またはホストコンピュータ５０のメモリ５２もしくはストレージ５３に保存しておく。データ量が大きくなる場合には、これらのＬＵＴについてはホストコンピュータ５０側で保存されることが望ましい。

また、ホストコンピュータ５０では、トーンカーブを表す階調補正用のＬＵＴとは別に、培地の種類や量などを表す培地情報と、それにより特定される培地に最適なトーンカーブに対応するＬＵＴとを関連付けた参照テーブルが予め作成され、メモリ５２またはストレージ５３に記憶保存されている。

図８は参照テーブルの一例を示す図である。この参照テーブル５６では、「培地情報」として、培地の種類、その濃度、ウェルＷへの注入量、ウェルプレートＷＰの種類が入力されている。これらの情報から特定される培地と当該培地の輝度値との間には一定の相関性があると考えられるので、培地情報を用いることで、実測することなく当該培地の輝度値を推定することが可能となる。培地の輝度値が推定できれば、それに応じたＬＵＴの選択が可能である。

培地情報については、ユーザが試料を管理するためのデータベースと関連付けておくことが好ましい。すなわち、ユーザが作成する種々の試料について、その内容物や作成条件等についてホストコンピュータ５０で一元的に管理するデータベースを作成しておくことは、従来から広く行われている。このデータベースからユーザが撮像したいウェルプレートＷＰを指定したときに、当該ウェルプレートＷＰに担持される試料の培地情報がデータベースから撮像ユニット１に与えられるようにしておけば、撮像時にユーザが改めて培地情報を指定する必要はなくなる。

また参照テーブルを作成するに際しては、例えば、培地情報により特定される培地を予め実験的に作成し、その撮像を行って輝度値を実測し、用意された複数の階調補正用ＬＵＴから当該培地に最も適したものを選択してデータベース化しておくことが考えられる。また、ユーザによる参照テーブルの編集を可能として、データの追廃を行うことができるようにしてもよい。

図８の例では、培地の種類、濃度、ウェルＷへの注入量、ウェルプレートＷＰの種類の１２組の組み合わせのそれぞれに対して１２通りのＬＵＴ（番号１〜１２）が１つずつ割り当てられている。撮像される試料の培地情報がわかれば、この参照テーブル５６が参照されて（ステップＳ１２１）、それに応じた最適なトーンカーブを有するＬＵＴが１つ選択される（ステップＳ１２２）。これにより、第１の態様と同様に、トーンカーブが試料の培地に応じた最適なものに調整され、階調補正処理に適用される。

＜変形例＞
なお、図８に示す参照テーブル５６では、培地情報とそれに適したＬＵＴ番号とがテーブルとして対応付けられているが、これに代えて、培地情報とそれから推定される培地の輝度値とを対応付けた参照テーブルを設けてもよい。この場合、培地情報に基づき参照テーブルを参照することで、当該培地の輝度値の推定値が結果として得られる。この推定値を、第１の態様における実測値の代わりに用いてトーンカーブをスケーリングし、階調補正処理に適用するようにしてもよい。

＜その他＞
図９はトーンカーブの調整の有無による画像の違いを示す図である。図９（ａ）はシェーディング補正処理と、スケーリングを伴わない階調補正処理とを行った画像の例を示す。また、図９（ｂ）はシェーディング補正処理と、スケーリングされた階調補正処理とを行った画像の例である。これらの間で撮像対象物は同一である。スケーリングを行っていない図９（ａ）の例では、白基準板１２の輝度値を最大階調値に対応させた階調補正処理が行われるため、各画素に比較的低い階調値が割り当てられて画像全体が暗く低コントラストとなっている。一方、スケーリングを行った図９（ｂ）の例では、培地の輝度値に最大階調値が割り当てられるため、画像がより明るく、広いダイナミックレンジで画像が表現されるため濃淡の差が大きく高コントラストとなっている。

次に、この撮像システム１００を用いて撮像を行うのに適した試料の作成方法について説明する。これまで述べたように、この撮像システム１００では、培地の輝度値に応じてトーンカーブをスケーリングする。そのため、ウェルＷごとに培地が異なれば異なるトーンカーブが階調補正処理に適用されることになる。ただし、撮像時に生成される原画像データは順次補正処理に供されてバッファ３２ａから消去されるため、トーンカーブが異なるウェルＷについてはそれぞれ個別に撮像部２１を作動させて撮像を行い原画像データを取得する必要がある。

これにより撮像処理の所要時間が長くなるのを防止するために、同じ培地を使用した試料をできるだけまとめてウェルプレートＷＰ上に配置することが望ましい。

図１０はウェルプレート上の試料配置の例を示す図である。行番号Ａ〜Ｈがそれぞれ付された８行、列番号１〜１２がそれぞれ付された１２列のウェルＷがマトリクス配置されたウェルプレートＷＰを例とする。図１０（ａ）に示すように、第１列〜第３列のウェルに細胞Ａ、第４列〜第６列のウェルに細胞Ａ’、第７列〜第９列のウェルに細胞Ｂ、第１０列〜第１２列のウェルに細胞Ｂ’がそれぞれ培養されるものとする。一方、培地に添加される化合物は、各行ごとに異なる濃度で添加される。なお行番号Ｂで示す行については、薬剤を含むウェル（行番号Ｃ以下）から含まないウェル（行番号Ａ）への薬剤の混入（コンタミネーション）を防止するため空とされている。このようなウェルプレートＷＰでは、細胞種と化合物濃度との組み合わせが互いに異なるグループ１〜グループ３２の試料グループが形成される。

各グループ内では同一条件で試料が作成されているので、共通のトーンカーブを適用することができる。一方、異なるグループ間では、グループごとにトーンカーブを異ならせるようにしてもよいが、この場合、撮像部２１による本スキャンを３２回行う必要がある。もし培地が同じであれば同じトーンカーブを適用することが可能である。仮にグループ１〜グループ１６で共通の培地を、またグループ１７〜グループ３２で他の共通の培地を使用していれば、図１０（ｂ）に示すように、グループ１〜グループ１６が配置された領域Ｒ1と、グループ１７〜グループ３２が配置された領域Ｒ2とでそれぞれ本スキャンを行えばよく、スキャン回数は２回で済む。このように、撮像部２１のスキャンをより少ない回数で効率よく行えるようにするために、同じ培地を使用する試料をできるだけまとめてウェルプレートＷＰに配置することが望ましい。

以上のように、この実施形態では、ウェルプレートＷＰのウェルＷ内に培地Ｍとともに担持された撮像対象物（例えば細胞塊Ｓｐ）を撮像するのに際して、培地において得られる輝度値を最大階調値に対応付けた階調補正処理を行って多階調画像データを生成する。こうすることにより、階調値の数値範囲を有効に使って広いダイナミックレンジで画像を多階調表現することができ、良好な画質で画像をデータ化することができる。

具体的には、ＣＣＤ素子２２で受光される最小輝度から最大輝度までを最小階調値から最大階調値までに対応させたトーンカーブをルックアップテーブル（ＬＵＴ）として予め保存しておき、培地の輝度値に応じてトーンカーブをスケーリングして階調補正処理に適用することで、このような広いダイナミックレンジでの撮像を可能にしている。

この撮像システム１００の撮像動作の第１の態様では、試料をプレスキャンして培地の輝度値を実測し、その値によりトーンカーブをスケーリングする。また、第２の態様では、培地を特定する培地情報から推定される輝度値から、予めスケーリングされた複数のＬＵＴから最適なものを選択する。これらのいずれによっても、試料に対応する原画像の輝度分布に応じた輝度範囲に階調値が割り付けられるので、画像を広いダイナミックレンジで多階調表現することができる。

ＣＣＤ素子２２により撮像された画像をデジタルデータ化するＡ／Ｄコンバータ３１は、最終的に多階調画像データとして保存される８ビットデータよりもビット長の大きい原画像データを出力する。そして、原画像データに対する階調補正処理により、多階調画像データとしての８ビットデータが生成される。このような構成では、演算時の下位ビットの丸めにより生じる画質の劣化を防止することができる。

また、この撮像システム１００では、上記の階調補正処理と併せて、白基準板１２の撮像結果から取得したシェーディングデータＤＳ１に基づくシェーディング補正処理を実行する。シェーディング補正処理により、撮像系の感度のばらつきに起因する画像品質のばらつきを抑えることができる。そして、さらに上記した階調補正処理を行うことにより、撮像系の感度の非線形性を補正してより画質の良好な画像を得ることができる。

また、この撮像システム１００では、試料の撮像を行ったとき、階調補正処理においてどのような補正特性が適用されたかを示す情報を、試料を特定するための情報とともに撮像履歴情報として記憶保存している。そして、過去に撮像を行ったことのある試料に対して改めて撮像を行うときには、その時点での培地の輝度に関わらず、前回の撮像で適用された階調補正特性を適用した階調補正処理を行うことが可能となっている。このような構成では、時間間隔を空けて撮像される同一試料の複数の画像が同じ処理条件で補正処理されているため、それらの画像間の比較観察を行うのに好適な画像を提供することができる。

以上説明したように、この実施形態では、ウェルプレートＷＰが本発明の「試料容器」に相当している。また、撮像部２１のＣＣＤ素子２２と制御部３０のＡ／Ｄコンバータ３１とが一体として本発明の「撮像手段」として機能する一方、ＣＰＵ３３が本発明の「データ処理手段」として機能している。また、ＬＵＴ３２ｃとして記憶された情報が本発明の「補正特性情報」に相当し、これを記憶するメモリ３２が本発明の「情報保持手段」として機能している。また、参照テーブル５６が本発明の「参照テーブル」に相当している。また、白基準板１２が本発明の「輝度基準部材」として機能している。

また、この実施形態の撮像動作（図５、図７）においては、ステップＳ１０５が本発明の「撮像工程」に相当する一方、ステップＳ１０６が本発明の「データ処理工程」に相当している。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態における撮像動作の第１の態様では、試料の本スキャン（ステップＳ１０５）を実行する前にプレスキャン（ステップＳ１１１）を実行し、その結果に基づいてトーンカーブのスケーリングを行い階調補正特性を決定している。しかしながら、培地の輝度値を求めるための撮像は、本スキャンの後に実行されてもよく、また本スキャンで得られた画像から培地の輝度値が求められても、階調補正特性の最適化という観点からは上記と同様の結果を得ることが可能である。ただしこれらの場合、本スキャン時点では階調補正特性が確定していないため、本スキャンで得られた原画像データをいったん保存しておく必要がある。そのため、撮像ユニット１に大容量のメモリを設ける、あるいは、階調補正処理をホストコンピュータ５０側で実行させるなどの変更が必要である。

また、上記実施形態におけるホストコンピュータ５０と撮像ユニット１との機能の切り分けはその一例を示したものであり、上記例に限定されるものではない。例えば、撮像ユニットは単に撮像のみ、つまり試料を走査してデジタルデータ化する動作のみを行い、他の全てのデータ処理をホストコンピュータ側で行うようにしてもよい。また、全ての処理機能を備えた一体型の撮像システムであってもよい。

また、上記実施形態の撮像部２１は撮像対象物に対して一次元撮像素子であるＣＣＤ素子２２を走査移動させることで二次元画像を取得するものであるが、本発明の撮像手段はこのようなリニアセンサの走査移動によるものに限定されず、例えば撮像対象物に対し固定位置決めされたエリアセンサにより二次元画像を取得するものであってもよい。

また、上記実施形態では、撮像部２１により撮像された原画像データに対してシェーディング補正処理および階調補正処理を行っているが、本発明にかかる階調補正処理は、シェーディング補正処理を伴わない場合においても有効である。また、シェーディング補正処理はＣＣＤ素子２２から出力されるアナログ信号に対して実行されてもよい。

また、上記実施形態では、ユーザから撮像の指示を受けてからキャリブレーション処理（オートフォーカス調整処理およびシェーディング処理）を実行しているが、ユーザからの指示によらず、例えばシステムの起動後に、あるいは定期的にキャリブレーション処理が自動実行されるようにしてもよい。このようにした場合、ユーザからの撮像指示を受けると直ちに撮像を行うことができるので、撮像が終了するまでのユーザの待ち時間を短縮することが可能である。

また、上記実施形態では、ウェルプレートＷＰに対する撮像部２１の走査移動を、ウェルプレートＷＰを固定し、光源２９と撮像部２１とを一体的にウェルプレートＷＰに対して移動させることにより実現している。しかしながら、光源２９と撮像部２１とを固定してウェルプレートＷＰを移動させる構成によっても同様の走査移動を実現することが可能であり、そのような構成の装置に対しても、本発明を適用することが可能である。また上記実施形態では撮像対象物を担持するウェルプレートＷＰを挟んで光源２９および撮像部２１を配置した構成であるが、これらをウェルプレートＷＰに対して同じ側に配置し、ウェルＷからの反射光を読み取る装置に対しても、本発明を適用可能である。また撮像対象物は、ウェルプレートＷＰを試料容器とするものに限定されず、これ以外に種々のものを本発明の「試料容器」として使用可能である。

この発明は、例えば医療・生物科学分野で用いられるウェルプレート上のウェルのような、例えば生体物を含む試料の撮像を必要とする分野に特に好適に適用することができるが、その応用分野は医療・生物科学分野に限定されない。

１ 撮像ユニット
１２ 白基準板（輝度基準部材）
２１ 撮像部
２２ ＣＣＤ素子（撮像手段）
３０ 制御部
３１ Ａ／Ｄコンバータ（撮像手段）
３２ メモリ（情報保持手段）
３２ｃ ＬＵＴ（補正特性情報）
３３ ＣＰＵ（データ処理手段）
５０ ホストコンピュータ
５６ 参照テーブル
Ｓ１０５ 撮像工程
Ｓ１０６ データ処理工程
Ｓｐ 細胞塊（撮像対象物）
ＷＰ ウェルプレート（試料容器）

Claims (12)

1. 試料容器に担持された培地内の生物試料を撮像対象物として撮像する撮像システムにおいて、
   前記撮像対象物を撮像して原画像を取得する撮像手段と、
   前記原画像の輝度値に対し階調補正処理を施して所定の階調数の多階調画像データを生成するデータ処理手段と
   を備え、
   前記データ処理手段は、前記撮像手段の非線形性を補正するように予め設定された階調補正特性を、前記培地の輝度に相当する輝度値が最大階調値となるようにスケーリングし、該スケーリング後の階調補正特性に基づき前記階調補正処理を実行する
   ことを特徴とする撮像システム。
2. 最小輝度から最大輝度までの各輝度値と、最小階調から最大階調までの各階調値とを予め対応付けた補正特性情報を保持する情報保持手段を備え、
   前記データ処理手段は、前記補正特性情報を前記培地の輝度値に基づきスケーリングした階調補正特性に基づいて前記階調補正処理を実行する請求項１に記載の撮像システム。
3. 前記撮像手段により撮像された前記原画像、または、前記原画像の撮像前にもしくは前記原画像の撮像後に前記撮像手段により撮像された前記培地の画像に基づいて、前記培地の輝度が求められる請求項１または２に記載の撮像システム。
4. 前記培地の種類および前記試料容器への注入量を含む培地情報と、該培地情報で特定される培地の輝度とを予め対応付けた参照テーブルを備え、ユーザより与えられる前記培地情報と前記参照テーブルに基づき前記培地の輝度が求められる請求項１または２に記載の撮像システム。
5. 前記撮像手段は、前記原画像を表す原画像データとして前記多階調画像データよりもデータ精度の高いデータを出力し、前記データ処理手段は前記原画像データに対し前記階調補正処理を実行する請求項１ないし４のいずれかに記載の撮像システム。
6. 前記データ処理手段は、濃度既知の輝度基準部材を前記撮像手段が撮像した画像から取得されるシェーディング特性に基づき前記原画像の輝度値を前記輝度基準部材の輝度値で正規化するシェーディング補正処理と、前記階調補正処理とを前記原画像に対し実行する請求項１ないし５のいずれかに記載の撮像システム。
7. 試料容器に担持された培地内の生物試料を撮像対象物として撮像する撮像方法において、
   前記撮像対象物を撮像して原画像を取得する撮像工程と、
   前記原画像の輝度値に対し階調補正処理を施して所定の階調数の多階調画像データを生成するデータ処理工程と
   を備え、
   前記データ処理工程の前記階調補正処理では、前記撮像工程における非線形性を補正するように予め設定された階調補正特性を、前記培地の輝度に相当する輝度値が最大階調値となるようにスケーリングし、該スケーリング後の階調補正特性に基づき前記階調補正処理を実行することを特徴とする撮像方法。
8. 最小輝度から最大輝度までの前記原画像の各輝度値と、最小階調から最大階調までの各階調値とを対応付けた補正特性情報を予め作成しておき、
   前記データ処理工程では、前記補正特性情報を前記培地の輝度値に基づきスケーリングした階調補正特性に基づいて前記階調補正処理を実行する請求項７に記載の撮像方法。
9. 前記原画像、または、前記原画像の撮像前にもしくは前記原画像の撮像後に撮像した前記培地の画像に基づいて、前記培地の輝度を求める請求項７または８に記載の撮像方法。
10. 前記培地の種類および前記試料容器への注入量を含む培地情報の入力をユーザから受け付け、該培地情報と、該培地情報で特定される培地の輝度とを予め対応付けた参照テーブルに基づき前記培地の輝度を求める請求項７または８に記載の撮像方法。
11. 濃度既知の輝度基準部材を撮像した画像から取得したシェーディング特性に基づき、前記原画像の輝度値を前記輝度基準部材の輝度値で正規化するシェーディング補正を行うシェーディング補正工程を備える請求項７ないし１０のいずれかに記載の撮像方法。
12. 前記撮像工程および前記データ処理工程を過去に実行した前記撮像対象物について再び前記撮像工程および前記データ処理工程を実行するとき、新たに実行する前記データ処理工程では、過去の前記データ処理工程で適用した階調補正特性と同一の階調補正特性を適用する請求項７ないし１１のいずれかに記載の撮像方法。