JP5675419B2 - 画像生成装置、及び、画像生成方法 - Google Patents
画像生成装置、及び、画像生成方法 Download PDFInfo
- Publication number
- JP5675419B2 JP5675419B2 JP2011033116A JP2011033116A JP5675419B2 JP 5675419 B2 JP5675419 B2 JP 5675419B2 JP 2011033116 A JP2011033116 A JP 2011033116A JP 2011033116 A JP2011033116 A JP 2011033116A JP 5675419 B2 JP5675419 B2 JP 5675419B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- imaging
- stage
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0036—Scanning details, e.g. scanning stages
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Microscoopes, Condenser (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Description
その1つが奥行き方向(光学顕微鏡の光軸に沿った方向或いはプレパラートの観察面に垂直な方向)の観察である。従来、医師は光学顕微鏡で観察する際には、ステージを光軸方向に微動させてプレパラート中の検体中のピント位置を変えて、組織や細胞の立体構造を把握していた。しかし、バーチャル・スライド・システムでは画像一枚のデータ量が非常に大きいため、通常、1枚の平面(または曲面)で画像を撮像し、奥行き方向の画像は取得しないのが一般的である。これは奥行き方向を変えた複数枚の2次元画像の取得がデータ容量の点でも撮像時間の点でも難があることを示している。
また別の対策として標本ごとに人が介在し、個別に奥行き方向の撮像条件を設定する対応も考えうるが、大量枚数処理においては、人が介在する手間が掛かり、作業効率が落ちることになる。
特許文献1に開示された方法では、オートフォーカスを用いてプレパラートのカバーグラスの位置を計測し、ユーザの操作で中心位置を定める。そして、ユーザが指定する間隔と枚数(或いは範囲と枚数)の設定値を用いて、奥行き方向にステージをシフトさせて、
焦点位置を変えた複数枚の画像を取得する。
また特許文献2では拡大観察装置による三次元画像データの取得において、装置から被写界深度の情報を取得し、被写界深度分だけ奥行き方向にシフトして焦点位置を変えた複数枚の画像を取得する方法を開示している。
一般に病理診断では医師は多数のスライドを観察する。そのため、診断数が多い病院では大量のプレパラートを短時間(例えば一晩)でデジタル化できる大量枚数のバッチ処理機能を備えたバーチャル・スライド・システムを必要としている。
特許文献2の装置においては、対象物の高さを被写界深度で割ることで撮像枚数を決定するフルオートモードを利用することで、大量枚数の自動撮像が可能である。しかしながら、この方法では、検体(観察対象)の種類や状態によらず、被写界深度に応じた一定の間隔で撮像が行われるため、過剰な枚数取得になるという問題があった。
撮像枚数の増加はデータ量の増大や処理効率(スループット)の低下を招くため好ましくない。特に画像の高解像度化、大サイズ化が進むにつれ、この問題は深刻となる。とはいえ、枚数を減らすために単純に撮像間隔を広げるなどしてしまうと、観察すべき情報が欠落してしまうおそれもある。このように、自動撮像の効率化と重要な情報の欠落防止とはトレードオフの関係にある。
本発明に係る他の画像生成装置は、被写体が設置されるステージと、撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、前記ステージおよび前記撮像ユニットを制御する制御手段と、前記撮像ユニットにより得られる画像データを処理する画像処理手段と、を備え、前記画像処理手段は、本計測に先立ち行われるプレ計測において前記ステージ上の被写体を撮像することで得られた画像データを分析することにより、本計測におけるその被写体の光軸方向の撮像枚数を決定し、前記制御手段は、本計測において、前記画像処理手段で決定された撮像枚数に従って、前記ステージ上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する、画像生成装置において、前記画像処理手段は、プレ計測により得られた前記画像データを分析することにより被写体の染色方法を推定し、推定された染色方法に応じて本計測における前記被写体の光軸方向の撮像枚数を決定する。
本発明に係る他の画像生成装置は、被写体が設置されるステージと、撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、前記ステージおよび前記撮像ユニットを制御する制御手段と、前記撮像ユニットにより得られる画像データを処理する画像処理手段と、を備え、前記画像処理手段は、本計測に先立ち行われるプレ計測において前記ステージ上の被写体を撮像することで得られた画像データを分析することにより、本計測におけるその被写体の光軸方向の撮像枚数を決定し、前記制御手段は、本計測において、前記画像処理手段で決定された撮像枚数に従って、前記ステージ上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する、画像生成装置において、前記画像処理手段は、プレ計測により得られた被写界深度の異なる同じ被写体の複数の画像データを分析することにより被写界深度の違いによる前記被写体の画像の違いを評価し、違いが大きいほど本計測における前記被写体の光軸方向の撮像枚数を多くする。
本発明に係る他の画像生成装置は、被写体が設置されるステージと、撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、前記ステージおよび前記撮像ユニットを制御する制御手段と、前記撮像ユニットにより得られる画像データを処理する画像処理手段と、を備え、前記画像処理手段は、本計測に先立ち行われるプレ計測において前記ステージ上の被写体を撮像することで得られた画像データを分析することにより、本計測におけるその被写体の光軸方向の撮像枚数を決定し、前記制御手段は、本計測において、前記画像処理手段で決定された撮像枚数に従って、前記ステージ上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する、画像生成装置に
おいて、前記画像処理手段は、プレ計測により得られた前記画像データの輝度を評価し、輝度が低いほど本計測における前記被写体の光軸方向の撮像枚数を多くする。
本発明に係る他の画像生成装置は、被写体が設置されるステージと、撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、前記ステージおよび前記撮像ユニットを制御する制御手段と、前記撮像ユニットにより得られる画像データを処理する画像処理手段と、を備え、前記画像処理手段は、本計測に先立ち行われるプレ計測において前記ステージ上の被写体を撮像することで得られた画像データを分析することにより、本計測におけるその被写体の光軸方向の撮像枚数を決定し、前記制御手段は、本計測において、前記画像処理手段で決定された撮像枚数に従って、前記ステージ上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する、画像生成装置において、前記画像処理手段は、プレ計測により得られた前記画像データの彩度を評価し、彩度が高いほど本計測における前記被写体の光軸方向の撮像枚数を多くする。
本発明に係る他の画像生成装置は、被写体が設置されるステージと、撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、前記ステージおよび前記撮像ユニットを制御する制御手段と、前記撮像ユニットにより得られる画像データを処理する画像処理手段と、を備え、前記画像処理手段は、本計測に先立ち行われるプレ計測において前記ステージ上の被写体を撮像することで得られた画像データを分析することにより、本計測におけるその被写体の光軸方向の撮像枚数を決定し、前記制御手段は、本計測において、前記画像処理手段で決定された撮像枚数に従って、前記ステージ上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する、画像生成装置において、前記画像処理手段は、プレ計測により得られた前記画像データの分散を評価し、分散が大きいほど本計測における前記被写体の光軸方向の撮像枚数を多くする。
本発明に係る他の画像生成方法は、被写体が設置されるステージと、撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、を備える画像生成装置における画像生成方法であって、前記撮像ユニットで前記ステージ上の被写体を撮像するプレ計測ステップと、前記プレ計測ステップで得られた画像データを分析することにより、本計測におけるその被写体の光軸方向の撮像枚数を決定する決定ステップと、前記決定ステップで決定された撮像枚数に従って、前記ステージ
上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する本計測ステップと、を含み、前記決定ステップでは、プレ計測により得られた前記画像データを分析することにより被写体の染色方法を推定し、推定された染色方法に応じて本計測における前記被写体の光軸方向の撮像枚数を決定する。
本発明に係る他の画像生成方法は、被写体が設置されるステージと、撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、を備える画像生成装置における画像生成方法であって、前記撮像ユニットで前記ステージ上の被写体を撮像するプレ計測ステップと、前記プレ計測ステップで得られた画像データを分析することにより、本計測におけるその被写体の光軸方向の撮像枚数を決定する決定ステップと、前記決定ステップで決定された撮像枚数に従って、前記ステージ上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する本計測ステップと、を含み、前記決定ステップでは、プレ計測により得られた被写界深度の異なる同じ被写体の複数の画像データを分析することにより被写界深度の違いによる前記被写体の画像の違いを評価し、違いが大きいほど本計測における前記被写体の光軸方向の撮像枚数を多くする。
本発明に係る他の画像生成方法は、被写体が設置されるステージと、撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、を備える画像生成装置における画像生成方法であって、前記撮像ユニットで前記ステージ上の被写体を撮像するプレ計測ステップと、前記プレ計測ステップで得られた画像データを分析することにより、本計測におけるその被写体の光軸方向の撮像枚数を決定する決定ステップと、前記決定ステップで決定された撮像枚数に従って、前記ステージ上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する本計測ステップと、を含み、前記決定ステップでは、プレ計測により得られた前記画像データの輝度を評価し、輝度が低いほど本計測における前記被写体の光軸方向の撮像枚数を多くする。
本発明に係る他の画像生成方法は、被写体が設置されるステージと、撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、を備える画像生成装置における画像生成方法であって、前記撮像ユニットで前記ステージ上の被写体を撮像するプレ計測ステップと、前記プレ計測ステップで得られた画像データを分析することにより、本計測におけるその被写体の光軸方向の撮像枚数を決定する決定ステップと、前記決定ステップで決定された撮像枚数に従って、前記ステージ上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する本計測ステップと、を含み、前記決定ステップでは、プレ計測により得られた前記画像データの彩度を評価し、彩度が高いほど本計測における前記被写体の光軸方向の撮像枚数を多くする。
本発明に係る他の画像生成方法は、被写体が設置されるステージと、撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、を備える画像生成装置における画像生成方法であって、前記撮像ユニットで前記ステージ上の被写体を撮像するプレ計測ステップと、前記プレ計測ステップで得られた画像データを分析することにより、本計測におけるその被写体の光軸方向の撮像枚数を決定する決定ステップと、前記決定ステップで決定された撮像枚数に従って、前記ステージ上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する本計測ステップと、を含み、前記決定ステップでは、プレ計測により得られた前記画像データの分散を評価し、分散が大きいほど
本計測における前記被写体の光軸方向の撮像枚数を多くする。
(システムの全体構成)
図1は、本発明の画像生成装置の一実施例である、バーチャル・スライド・システムの構成を示している。
バーチャル・スライド・システムは、プレパラートの検体の撮像データを取得するバーチャル・スライド・スキャナ120とそのデータ処理・制御を行うホストコンピュータ110およびその周辺機器から構成されている。
またホストコンピュータ110には、記憶装置113、他のコンピュータシステム114が接続されている。バーチャル・スライド・スキャナ120から取得した大容量のデータの記憶装置113への保存や他のコンピュータシステム114への送信が可能となっている。
ントローラ108に指示を送り、次にコントローラ108が接続している本計測ユニット101とプレ計測ユニット102を制御することで実現される。
本計測ユニット101はプレパラート内の検体診断のための高精細な画像を取得するユニットである。プレ計測ユニット102は本計測に先立って撮像を行うユニットで、本計測で精度の良い画像取得をするための制御情報取得を目的とした画像取得を行う。詳しくは後述するが、本発明において特徴的な処理はこのプレ計測ユニット102で撮像したデータを用いて本計測ユニット101を制御することで、奥行き方向に焦点位置を変えた複数枚の画像を取得する点にある。
またコントローラ108には本計測ユニット101およびプレ計測ユニット102の撮像条件を制御するための、開口絞り制御104、ステージ制御105、照明制御106、センサ制御107が接続されている。そして、それぞれはコントローラ108からの制御信号に従って、開口絞り、ステージ、照明、イメージセンサの動作を制御する構成となっている。
本実施例では、本計測ユニット101、プレ計測ユニット102がそれぞれ本発明の第1の撮像ユニット、第2の撮像ユニットに対応する。また、コントローラ108とホストコンピュータ110がそれぞれ本発明の制御手段と画像処理手段に対応する。
図2(a)は実施例1における本計測ユニット101の内部構成を示す図である。
光源201の光は照明光学系202を通じ、光量ムラが無いように均一化され、ステージ203の上に設置されたプレパラート204を照射する。プレパラート204は観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定したものであり、観察対象(被写体)を観察可能な状態に準備したものである。
図2(b)は実施例1におけるプレ計測ユニット102の内部構成を示す図である。
光源301の光は照明光学系302を通じ、光量ムラが無いように均一化され、ステージ303の上に設置されたプレパラート204を照射する。プレパラート204を通った光は撮像光学系305により、撮像部307上の撮像面で結像する。撮像光学系305の中には開口絞り306が存在し、開口絞り306を調整することで被写界深度が制御できる。
図3は本発明におけるホストコンピュータ110の内部構成を示す図である。
CPU401はRAM402やROM403に格納されているプログラムやデータを用いてホストコンピュータ全体の制御を行う。またCPU401は、以降の実施例で説明する各種演算処理、データ処理、例えば、後述する奥行き情報推定処理や撮像条件計算処理を行う。
外部記憶装置411への情報の書き込みや外部記憶装置411からの情報の読み出しはI/O410を介して行われる。コントローラ413はバーチャル・スライド・スキャナ120を制御するためのユニットであり、I/F(インターフェース)412を介してCPU401と制御信号および応答信号のやり取りをする。
本実施例のバーチャル・スライド・システムは、検体の撮像条件(撮像枚数など)を決定するための「プレ計測」と、検体を高解像で撮像する「本計測」とを実行する。本計測では、検体から1枚の画像データを取得する第1の処理と、焦点位置を変更しながら検体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理(Zスタックとよばれる)とが可能である。プレ計測で得られた画像に基づき決定された撮像条件に従って、第1の処理と第2の処理のいずれを実行するかが制御される。ここでは、プレ計測で得られた画像データを分析して撮像条件を決定し、その撮像条件に従って本計測ユニット101を制御する処理を「プレ計測推定制御処理」とよぶ。
以下、実際の処理の順番とは逆になるが、最初に本計測処理について説明し、その後で本実施例の特徴であるプレ計測推定制御処理について詳しく説明する。
本計測データ取得処理S501では、コントローラ108の制御により、本計測ユニット101がプレパラートを撮像し、ホストコンピュータ110に画像データを送信する。
次に現像・補正処理S502において、ホストコンピュータ110が画像データに対し色変換処理、鮮鋭化処理、ノイズ低減処理などを実施する。これらの処理により、モニタ表示される画像の色を標本の実際の色に近づけることができるとともに、画像のノイズが抑えられる。
次に合成処理S503では、ホストコンピュータ110が、分割して撮像した物体面の画像をつなぎ合わせ、プレパラート上の対象領域(例えば20mm角の領域)を映した像を作る。
次に圧縮処理S504では、ホストコンピュータ110が、合成したデータを圧縮し、データ容量を削減する。圧縮方法としては静止画圧縮符号化方式のJPEGやJPEG2000などを用いることが可能である。続いて、伝送処理S505では、ホストコンピュータ110が記憶装置113に画像データを送り、保存する。或いはホストコンピュータ110は、ネットワークI/Fを介してネットワーク上のコンピュータシステム114や画像サーバに画像データを送信してもよい。
図5、図6を用いて本計測データ取得処理S501について説明する。
測データ取得処理S501では、カバーグラス611があると想定される領域を撮像対象とする。なお、プレ計測で検体600が存在する外接矩形領域を求め、本計測ではその領域のみを撮像することでデータ量を削減することも好ましい。
物体面における撮像領域601(斜線領域)は本計測ユニット101の撮像光学系205を通じて結像し、撮像面における撮像領域604に対応する。
図5(c)に示すように、センサ有効領域603には、撮像領域604に対して若干広い領域が割り当てられている。これは、撮像光学系205が有する光学的な収差やイメージセンサの取付位置のズレを許容するためのマージンである。すなわち、光学的な収差やセンサの取付位置のズレがあったとしても、物体面の撮像領域601がセンサ有効領域603内に収まるようにしてある。合成処理S603では、センサ有効領域603の画像に対して収差補正や位置ズレ補正を行い、補正した画像から撮像領域604に対応する部分を切り出し、その画像を合成に用いる。
このように撮像領域を複数領域に分割し、ステージ203を移動しながら繰り返し撮像することで比較的小さなイメージセンサでも広い領域を撮像することができる。
図4(b)はプレ計測推定制御処理の処理フローを示す図である。
プレ計測データ取得処理S901では、コントローラ108の制御により、プレ計測ユニット102がプレパラートを撮像し、ホストコンピュータ110に画像データを送信する。
次に、奥行き情報推定処理S902では、ホストコンピュータ110が、撮像部307で撮像した画像を解析し、被写体の3次元的な奥行きを推測する。この奥行き情報推定処理S902は本実施例の特徴である為、後ほど図を用いて詳しく説明する。
次に、撮像条件計算処理S903では、ホストコンピュータ110が、奥行き情報推定
処理S902で推定した情報を元にZステージ制御パラメータを決定し出力する。このパラメータは、本計測においてコントローラ108が奥行き方向のステージ制御を行う為に用いられるパラメータであり、撮像を行う際の始点位置を示すシフト開始位置、奥行き方向の移動間隔であるシフト間隔、および、撮像枚数からなる。
最後に撮像制御処理S904では、コントローラ108が、撮像条件計算処理S903で計算されたZステージ制御パラメータを用いて本計測ユニット101のステージ203の位置を制御する。そしてスライドグラスとカバーグラスで挟まれた検体内の所望の位置にフォーカスを合わせ、本計測ユニット101で画像取得を繰り返す。そして図4(a)で説明した本計測処理により、高解像度の合成画像を生成する。
本実施例のプレ計測では低倍率でプレパラート204の全体を撮像する。また、本計測と異なり複数の領域に分割することなく1つのイメージセンサでプレパラート204の全体を一括撮像する。これによりプレ計測ユニット102の構成を簡易化することができるとともに、プレ計測に要する時間、ひいてはプレ計測と本計測を含む撮像処理全体の時間を短縮することができる。ただし、プレ計測でも本計測相当の解像度が必要な場合、本計測同様に倍率を上げて、物体面での撮像対象領域を複数に分割して撮像しても良い。
図7(a)は、本実施例のプレ計測データ取得処理S901の詳細を示している。
ステージ設定処理S1001では、コントローラ108が搬送機構を制御して、プレ計測ユニット102のステージ303にプレパラート204をセットする。
図7(b)は、本実施例の特徴である奥行き情報推定処理S902の処理内容を示している。本実施例の奥行き情報推定処理は、プレ計測で得られた画像データの色に基づいて検体の染色方法を推定する処理である。
まず色空間変換処理S1101では、プレ計測で得られた画像データの色空間変換が行われる。色空間としては、xyY表色系(xy色度図)、輝度色差信号YUV、均等色空間CIE L*a*b*、HSV色空間、HLS色空間などがある。本実施例ではCIE
L*a*b*色空間に変換される。なお、sRGBのまま以降の処理を行う場合には、S1101の処理を省略することもできる。
図8(a)、図8(b)はヒストグラム生成処理S1102の一例を示す。図8(a)に示すように、例えば、L*a*b*色空間をL*軸を中心軸として30度ずつ12等分し、それぞれの領域A1〜A12に出現する画素の数を数える。そして図8(b)に示すように、プレ計測で得られた画像データに対する一次元ヒストグラムを描く。図8(b)の横軸は領域A1〜A12であり、縦軸は画素の出現頻度(画素の数)である。
図5(a)と図5(d)から分かるように、プレ計測撮像領域605の中には検体600が存在しない部分もある。検体600が存在しない部分は、照明の色、即ち、無彩色の色となる。検体以外の画素を取り除いた方が精度良く検体の染色方法を推定できるため、L*軸から所定の距離にある画素(ほぼ無彩色の画素)をヒストグラムから取り除くと良い。
染色方法推定処理S1104において、最大のマッチング度が所定の閾値より小さい場合には、「染色方法不明」と判定すると良い。誤判定により検体の染色方法と異なる染色方法を選定してしまうと、適切な撮像条件が設定できない可能性があるため、閾値の導入により誤判定の確率を下げることが望ましい。
図10は、撮像条件計算処理S903の詳細を示している。
まずS1401で、ホストコンピュータ110は、有意な染色推定が出来たか否かを判定する。もし確度の高い推定ができていればS1402に進み、ホストコンピュータ110は、データベース1400にアクセスし、格納された染色方法毎の制御情報を取得する。そして、S1403にて、ホストコンピュータ110は、S1402で取得した制御情報に基づき、本計測における奥行き方向の移動量を制御するためのパラメータであるZステージ制御パラメータを計算する。一方、S1401で有意な染色推定が出来なかった(すなわち染色方法不明)と判定された場合、S1404において、ホストコンピュータ110は、予め決められているデフォルト条件を設定する事前条件設定を行う。
染色方法毎の制御情報とは、
(染色方法、撮像枚数、検体厚さ、シフト開始位置、シフト間隔、計算モード)
の項目からなる情報である。本実施例のデータベース1400には、例えば、以下のように染色方法をインデックスとしたデータが格納されている。
(HE染色、1枚、3μm、中心、0μm、枚数指定)
(パパニコロウ染色、9枚、20μm、上端、2.5μm、深度指定)
(ギムザ染色、9枚、20μm、上端、2.5μm、深度指定)
シフト開始位置は「中心」、「上端」、「下端」がある。「中心」はスライドグラス表面位置に検体厚みの半分の長さを加えた位置、「上端」はカバーグラスの裏面位置、「下端」はスライドグラスの表面位置を表している。実際の位置は、変位計103の測定値から計算して求める。
計算モードは「枚数指定」、「間隔指定」、「深度指定」の3つがあり、それぞれ撮像制御パラメータの計算方法が異なる。
の厚さは、カバーグラス1503の表面の反射光と裏面の反射光から求めた変位をグラスの屈折率で補正することでも求められる。
S1601において、ホストコンピュータ110は、計算モードが枚数指定か否かを判定する。枚数指定の場合には、S1602において、ホストコンピュータ110が検体厚さを制御情報に記載の枚数で割ることで、シフト間隔を計算する。
検体厚さをT[μm],撮像枚数をN[枚]、シフト間隔をS[μm]とすると、シフト間隔Sの計算式は、
N=1のときは S=0[μm]、
N>1のときは S=T/(N−1)[μm]、
となる。
撮像枚数Nの計算式は、
T<Sのときは N=1[枚]、
T≧Sであり、シフト開始位置が上端または下端のときは、
N=CEIL(T/S)+1[枚] (1)
T≧Sであり、シフト開始位置が中心のときは、
N=2×CEIL(T/2/S)+1[枚] (2)
となる。
ここで、CEIL(X)は、X以上の最小の整数を求める関数である。
被写界深度はプレ計測ユニット102の撮像光学系305および開口絞り306の状態から計算できる。しかし、逐次計算で求めるのは煩雑なため、焦点位置や開口絞りなどの撮像条件ごとに被写界深度を予め計算して、被写界深度のデータベースを用意しておき、ホストコンピュータ110が必要に応じてデータベースから被写界深度の値を読み出すようにするとよい。
例えば、撮像光学系305の被写界深度が0.5μmであり、プレ計測により推定された染色方法がパパニコロウ染色であり、制御情報として、
(パパニコロウ染色、9枚、20μm、上端、2.5μm、深度指定)
が得られたとする。
「深度指定」のため、図14のS1604において被写界深度0.5μmがシフト間隔に設定され、撮像枚数Nは、式(1)により、
N=CEIL(20[μm]/0.5[μm])+1=41[枚]
となる。
従って、計算されるZステージ制御パラメータは、
(シフト開始位置、シフト間隔、枚数)=(上端、0.5μm、41枚)
となる。
(HE染色、1枚、3μm、中心、0μm、枚数指定)
が得られたとする。
「枚数指定」のため、S1602にてシフト間隔を計算するが、N=1ゆえ、シフト間隔は0μmとなる。
従って、計算されるZステージ制御パラメータは、
(シフト開始位置、シフト間隔、枚数)=(中心、0μm、1枚)
となる。
図13は撮像制御処理S904の内部処理を示している。
S1701では、まずコントローラ108が搬送機構を制御して、プレパラート204をプレ計測ユニット102から本計測ユニット101のステージ203へと移動させる。そしてコントローラ108は、S903で計算したZステージ制御パラメータを参照し、本計測ユニット101のフォーカス位置制御を行う。例えば、シフト開始位置が「下端」であれば、スライドグラス上端に、「中心」ならスライドグラス上端から検体厚さの半分だけ検体内部に進んだ位置に、「上端」ならスライドグラス上端から検体厚さだけ検体内部に進んだ位置にフォーカスを合わせる。
撮像枚数が1より多い場合にはS1703に進み、本計測ユニット101にて撮像を行う。S1704では、コントローラ108が、全ての画像を取得したかを判定し、未取得の場合にはS1705に進む。S1705では、コントローラ108が、Zステージ制御パラメータに基づいて、ステージ203を奥行き方向にシフト間隔だけ移動させる。これにより、フォーカス位置が検体の厚さ方向にシフト間隔分ずれることになる。そして、再びS1703により撮像が行われる。Zステージ制御パラメータで指定された撮像枚数の画像が取得されるまで、S1703〜S1705の処理が繰り返される。
これにより、バーチャル・スライド・システムで様々な部位に様々な染色を施したスライドを混在させた大量のスライドをバッチ処理で撮像する場合でも、スライド毎に人の判断が介在する必要がないため、撮像に必要な作業量を低減する効果が実現できる。
実施例2では、実施例1とは別の手段を用いてプレ計測による奥行き情報を推定することで実施例1と同様の効果を実現する。
実施例2のプレ計測推定制御処理のフローは実施例1と同じく図4(b)で表されるが、図4(b)の各ステップの内部処理が若干異なっている。
まず、図14を用いて実施例2におけるプレ計測データ取得処理S901の処理を説明する。
ステージ設定処理S1801では、コントローラ108が搬送機構を制御して、プレ計測ユニット102のステージ303にプレパラート204をセットする。次に照明照射処理S1802で光源301を点灯させる。次に絞り撮像処理S1803ではある程度絞りを絞った状態で検体の撮像を行う。次に開放撮像処理S1804ではS1803よりも絞りを開けた状態で検体の撮像を行う。すなわち、異なる絞り(F値)で複数回の撮像を行うのである。その結果、プレ計測データ取得処理S901では、焦点位置と画素数は同じであるが、被写界深度が異なる複数(本実施例では2枚)のプレ計測画像が得られる。
続いて、奥行き情報推定処理S902の内部処理について説明する。実施例2の奥行き情報推定処理S902では、実施例1と異なり、画質評価指標を用いて、プレ計測データ取得処理S901で取得した2枚の画像の違いを評価する点に特徴がある。
また焦点が合った画像領域を比較対象とするため、中周波成分や高周波成分を抽出する
周波数フィルタリング(バンドパスフィルタやハイパスフィルタなど)を適用してから画質評価しても良い。
計算した画質評価指標値はRAM402などコンピュータ上の適切な場所に記憶しておく。
図15において、1902は検体であり、検体1902中の2つの円形部分は染色された観察対象を模式的に示している。焦点位置1901は検体1902よりも1μm上側に設定されている。撮像光学系305では開口絞り306を絞ると被写界深度が深くなり、開けると被写界深度が浅くなる傾向がある。絞り撮像の被写界深度Dcは5μm、開放撮像の被写界深度Doは2.0μmとする。また検体1902の厚みは4μmとする。検体1902の厚みは実施例1で述べたレーザ変位計103を用いて測定される。
図16(a)は絞り撮像処理S1803で取得した画像2001、図16(b)は開放撮像処理S1804で取得した画像2002、図16(c)は2つの画像2001と2002の差分画像2003を示している。
各画像に示された2つの円形の像が、染色された観察対象を表している。画像2001では検体全体に合焦しており鮮鋭な像が得られているのに対し、画像2002では光学的なボケにより像がぼやけている様子が示されている。差分画像2003は、画像2001と画像2002の各画素の差の絶対値をCPU401で計算することで得られる。
続いて、撮像条件計算処理S903の内部処理を図17を用いて説明する。
撮像条件計算処理S903では、ホストコンピュータ110が以下の手順でZステージ制御パラメータを計算する。
データベース2100に格納されている画質評価指標値毎の制御情報の一例を以下に示す。
例えば、絞り撮像と開放撮像で得られた2枚の画像のPSNRが30未満であった場合は、撮像枚数は9枚となる。PSNRが45以上であった場合には撮像枚数は1枚となる。
S=T/(N−1)
例えば、検体厚さが4μmであり、PSNRが30未満で撮像枚数が9枚である場合、シフト間隔Sは、0.5μm(=4/(9−1))と求まる。
本実施例では検体の奥行きを一つの層として撮像枚数を求めたが、検体に厚みがある場合には奥行き方向に複数の層に分け、層ごとに必要な撮像枚数を求めることもできる。この方法によれば、検体の奥行き方向の特徴に応じて撮像枚数の最適化を行うことができ、更なるデータ量の削減が期待出来る。図18を用いてその例を示す。
プレ計測では、検体(カバーグラス2204の下端とスライドグラス2203の上端の間の距離)を所定の厚みG[μm]の層に分割し、層ごとに上述したS901〜S903の処理を行う。厚みGは、絞り撮像と開放撮像における被写界深度の差に基づいて決定す
るとよい。
焦点位置2200aでは被写界深度内に染色された物体が存在しないため、絞り撮像と開放撮像の画像の違いは小さい。一方、焦点位置2200b、2200cでは、焦点位置近傍に染色された物体が存在するため、絞り撮像と開放撮像の画像の違いは大きくなる。例えば画質評価指標値としてPSNRを用いた場合、I1に比べてI2、I3は小さい値となる。
Si=G/(Ni−1) (i=1,2,・・・)
また本実施例では、画質評価指標の例としてPSNR、SSIMを挙げたが、差分の標準偏差や正規化相互相関(Normalized Cross Correlation)など様々な画質評価指標が適用可能である。画像全体の値だけでなく差の最大値に注目して評価しても良い。これにより局所的に存在する大きな変化を見逃さず画像を取得することができる。
また本実施例では、プレパラート全体で検体内物体の3次元的な分布を推定したが、図5(b)の領域分割のようにプレパラートの撮像領域毎に、検体内物体の3次元的な分布を推定しても良い。この場合、領域分割のサイズは任意に設定できる。
図19に示すように、実施例3では、プレ計測推定制御処理の処理フローの奥行き情報推定処理S902(図4(b)参照)が関心領域推定処理S2302に置き換わる点に特徴がある。関心領域推定処理S2302では、プレ計測で撮像した画像データを分析し、
その特徴からユーザの関心領域を推定する処理を行う。そして撮像条件計算処理S2303では、関心領域の推定結果に基づいてZステージ制御パラメータが計算される。
以下、関心領域推定処理S2302から撮像制御処理S2304について詳しく説明する。なお、プレ計測データ取得処理S2301の内容は実施例1と同じであるため、説明を省略する。
関心領域の推定は、図20(a)に示すように、個別評価値計算処理S2401、総合評価値計算処理S2402、撮像領域計算処理S2403の3ステップからなる。S2401では、複数の指標について評価を行い、指標別にプレ計測データ内の関心領域を推定する。評価指標としては、画像輝度・分散・彩度などが挙げられる。評価指標ごとにプレ計測データと同じサイズの評価マップを出力する。次に、S2402では、評価指標ごとの評価マップを重みを付けて統合することで総合評価マップを生成する。最後に、S2403で総合評価マップを用いて撮像する意味のある有効領域を決定する。
以下、各ステップの詳細について述べる。
生物顕微鏡ではプレパラートの下側から照らした光、即ち、透過光を色の差で観察する。そのため、検体の厚みと観察画像の輝度低下には一定の相関がある。また彩度が高い(特定の色に偏っている)ことは元々透明に近い細胞が観察のために染色されていることと相関が高い。また分散が大きいことはその画素は周囲と比べて変化を有する、即ち観察対象である可能性が高いことを示す。従って、これらの評価値は、間接的ではあるが、詳細な観察が必要なことを示している。そして間接的な条件が重複することで観察対象である確率は高くなる。
まず輝度評価処理S2501について説明する。ホストコンピュータ110は、プレ計測データの画素ごとの輝度値Yを求める。例えば、プレ計測データを色変換処理でsRGBに変換した後、
Y=0.299R+0.587G+0.114B
により輝度値Yを求める。
次にホストコンピュータ110は、輝度値Yから画素ごとの輝度評価値V1を求める。輝度評価値V1は輝度値Yが小さいほど(低輝度であるほど)大きくなるように設定される。例えば本実施例では、
V1=((Ymax−Y)/Ymax)×L1
によりV1を求める。ここでYmaxは輝度Yの最大値であり、L1は輝度評価値V1の値域を調整するためのパラメータである。本実施例では、L1は10に設定され、輝度評価値V1は0から10の間の値をとる。
輝度評価処理S2501ではプレ計測データの全画素について輝度評価値V1が計算され、輝度評価画像EV1が生成される。
ホストコンピュータ110は、プレ計測データをCIE L*a*b*色空間に色空間変換する。この処理は、sRGB色空間をXYZ色空間に変換し、その後CIE L*a*b*色空間に変換することで実現できる。CIE L*a*b*色空間では、L*は輝度成分を、a*、b*は色成分を表す。色の鮮やかさ、即ち彩度Cは、色成分(a*,b*)の原点からの距離として求めることができる。
次にホストコンピュータ110は、彩度Cから画素ごとの彩度評価値V2を求める。彩度評価値V1は彩度Cが大きいほど(高彩度であるほど)大きくなるように設定される。例えば本実施例では、
V2=(C/Cmax)×L2
によりV2を求める。ここでCmaxは彩度の最大値(同じ色相の最も色純度が高い色点の彩度)であり、L2は彩度評価値V2の値域を調整するためのパラメータである。本実施例では、L2は10に設定され、彩度評価値V2は0から10の間の値をとる。
彩度評価値V2を求める際に、特定の色相に重みを付けることも可能である。染色により頻繁に見られる色、例えばヘマトキシリンで核を染色したときに現れる青が出現したときには評価値V2が大きくなるようにしてもよい。
彩度評価処理S2502ではプレ計測データの全画素について彩度評価値V2が計算され、彩度評価画像EV2が生成される。
ホストコンピュータ110は、RGBの各チャネルについて分散を計算し、それらを合計することで画素ごとの分散評価値V3を求める。本実施例では、他の評価値V1、V2と同様、0から10の値をとるように分散評価値V3が正規化される。
以下、各画素における分散の計算方法を述べる。まず処理対象画素を中心として一定サイズの矩形(例えば、9×9画素)内の平均を計算する。次にその平均値を用いてその矩形内の分散を求める。この処理をチャネルごとに行う。
分散評価処理S2503ではプレ計測データの全画素について分散評価値V3が計算され、分散評価画像EV3が生成される。
次に、S2402の総合評価値計算処理の詳細を述べる。
前述したように、S2401の処理でプレ計測データと同じサイズを持つ輝度評価画像EV1、彩度評価画像EV2、分散評価画像EV3が生成される。S2402ではそれらを元に総合評価した総合評価画像を作成する。今、総合評価画像をTEVとすると、
TEV=f(EV1,EV2,EV3)
で表現できる。関数fには種々の変形例が考えられるが、本実施例では代表として、
TEV=EV1+EV2+EV3
の形を考える。
この総合評価画像TEVでは、各画素の値(総合評価値とよぶ)は0から30の値をとり、低輝度・高彩度・高分散の箇所が大きな値をとる。すなわち、総合評価値が大きい画素は近似的に関心領域を示していることが分かる。
TEV=αEV1+βEV2+γEV3
のように求めても良い。
また加算以外にも、関心領域である低輝度・高彩度・高分散の箇所が特定できるならば、様々な個別評価関数、総合評価関数を設定することが出来る。
例えば、以下のような乗算表現も可能である。
TEV=K(EV1)α×(EV2)β×(EV3)γ
(α、β、γ、Kは定数)
最後に、撮像領域計算処理S2403では、ホストコンピュータ110は、前述の総合評価値を用いて撮像対象領域を決定する。ここでは、総合評価値が所定の閾値以上(例えば5以上)の画素を抽出して、その抽出された画素群の外接矩形を撮像対象領域とし、それ以外の領域は撮像対象外とする。
次に撮像条件計算処理S2303の内部処理を、図21(a)と図21(b)を用いて説明する。
S2601では、ホストコンピュータ110は、S902で計算された総合評価値に対応する制御情報と領域分割サイズとをデータベース2600から取得する。このデータベース2600は、外部記憶装置411または他のコンピュータシステム405に格納されている。
この制御情報には総合評価値の範囲をインデックスとして、
(総合評価値範囲、シフト間隔)
が記載されている。
また、領域分割サイズは次のS2602で行う領域分割のサイズを示している。
S2701では、ホストコンピュータ110は、ブロック毎の繰り返し処理を開始するため、最初の処理対象となるブロック(例えば、撮像対象領域内の左上のブロック)を初期ブロックに設定する。
S2702では、ホストコンピュータ110は、制御情報に基づき、シフト間隔を求める。具体的には、ホストコンピュータ110は、ブロック内の総合評価値の最大値を当該ブロックの総合評価値に選び、その総合評価値に対応するシフト間隔を制御情報から選び出す。
例えば、総合評価値が15のブロックに対しては、シフト間隔が被写界深度Dの2倍に設定される。本計測ユニット101の被写界深度Dが0.5μmの場合、シフト間隔は1.0μmとなる。
に検体厚さの下端、即ちスライドグラスの表面位置として説明する。
今、測定した検体厚さをT[μm]、シフト間隔をSi[μm]とすると、ブロックiにおける撮像枚数Niは、
T<Siのときは Ni=1[枚]、
T≧Siのときは Ni=CEIL(T/Si)+1[枚]、
となる。(i=1,2,・・・)
次に図22を用いて、撮像制御処理S2304の処理内容を説明する。
まず、コントローラ108が、本計測ユニット101に対し、撮像対象の初期ブロックを設定する。本実施例では、撮像対象領域内の左上のブロックを最初の撮像対象に選ぶ。次にS2802にて、コントローラ108が本計測ユニット101のフォーカス位置を設定する。今、シフト開始位置は下端であるため、スライドグラス表面に焦点位置を合わせる。
次にS2803で、コントローラ108は処理対象ブロックiにおける撮像枚数が1より多いか否かを判定する。1枚の場合はS2807に進み、撮像処理を行いS2808に進む。複数枚撮像の場合にはS2804に進み、ブロック毎のシフト間隔および枚数に従って撮像処理を行いS2805に進む。次にS2805ではブロック毎に設定された枚数の撮像が終了したかを判定し、終了した場合にはS2808に進み、未了の場合には、S2806で奥行き方向に焦点位置をシフトし、S2804で撮像処理を行う。
S2808では、コントローラ108は全ブロックの撮像が終了したかを判定し、未了の場合にはS2809に進み、次のブロックに移動する。全ブロックの撮像が終了した場合には処理を終了する。
また実施例3においても、実施例2と同様、図18に示すように奥行き方向に焦点位置を変えてプレ計測を行い、総合評価値に従って、焦点位置近傍の撮像枚数を定めることが出来る。総合評価値が低い場合、観察対象が少ないと推測できるため、その近傍における撮像枚数を減らすことができる。
また実施例3では、輝度、彩度、分散の3つの評価値を用いたが、それらのうちの1つ又は2つの評価値を用いて関心領域を推定してもよい。また他の評価値を組み合わせることもできる。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
例えば、上記実施例では、本計測ユニット101(第1の撮像ユニット)とそれより低倍率の撮像を行うプレ計測ユニット102(第2の撮像ユニット)の2つの撮像ユニットを用いている。別ユニット構成は、倍率ごとに撮像ユニットを分けることでレンズ駆動系が不要となり、撮像光学系のハードウエア構造を簡単化できるという利点と、プレ計測と本計測を並行処理できるためスループットが向上するという利点がある。しかし、プレ計
測と本計測とを同一の撮像ユニットを用いて行うこともできる。単一ユニット構成は、装置の小型化を図ることができるという利点がある。なお単一ユニット構成の場合は、撮像光学系で低倍率に設定しプレ計測を行っても良いし、固定倍率(つまりプレ計測と本計測とで同じ倍率)で撮像した画像データを間引き処理により低解像度化したものを撮像枚数の決定に用いても良い。
また、上記実施例では、カバーグラスが存在する領域を撮像対象として説明したが、検体が存在する領域のみを撮像対象とし、データ量を削減しても良い。その場合にはまず検体が存在する領域の外接矩形を求め、その領域内のみを撮像対象領域とする。撮像対象領域の決め方として、輝度が低い領域の外接矩形を求める手法は良く知られた公知の手法である。
また、検体の分光データと人間の目の感度特性を表す2度視野等色関数の演算により、分光画像データからRGB3色のカラー画像データを容易に得ることが出来る。そのため、分光測定機能のあるプレ計測ユニットを用いることもできる。
例えば、RGB3色カラーフィルタがベイヤー配列された撮像素子を用いた場合、現像・合成処理S1004でデモザイク処理を行うことでRGBのカラー画像を取得できる。また撮像光学系305にダイクロイックプリズムなどの色分離素子を置き、RGBに色分離した像を3個の撮像素子を用いて撮像しても良い。その場合、現像処理においてRGBに色分離した画像を合成することでRGBのカラー画像を取得できる。
Claims (19)
- 被写体が設置されるステージと、
撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、
前記ステージおよび前記撮像ユニットを制御する制御手段と、
前記撮像ユニットにより得られる画像データを処理する画像処理手段と、を備え、
前記画像処理手段は、本計測に先立ち行われるプレ計測において前記ステージ上の被写体を撮像することで得られた画像データを複数のブロックに分けて分析することにより、本計測におけるその被写体の光軸方向の撮像枚数をブロックごとに決定し、
前記制御手段は、本計測において、前記画像処理手段で決定されたブロックごとの撮像枚数に従って、ブロックごとに、前記ステージ上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する
ことを特徴とする画像生成装置。 - 被写体が設置されるステージと、
撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、
前記ステージおよび前記撮像ユニットを制御する制御手段と、
前記撮像ユニットにより得られる画像データを処理する画像処理手段と、を備え、
前記画像処理手段は、本計測に先立ち行われるプレ計測において前記ステージ上の被写体を撮像することで得られた画像データを分析することにより、本計測におけるその被写体の光軸方向の撮像枚数を決定し、
前記制御手段は、本計測において、前記画像処理手段で決定された撮像枚数に従って、前記ステージ上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する、画像生成装置において、
前記画像処理手段は、プレ計測により得られた前記画像データを分析することにより被
写体の染色方法を推定し、推定された染色方法に応じて本計測における前記被写体の光軸方向の撮像枚数を決定する
ことを特徴とする画像生成装置。 - 被写体が設置されるステージと、
撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、
前記ステージおよび前記撮像ユニットを制御する制御手段と、
前記撮像ユニットにより得られる画像データを処理する画像処理手段と、を備え、
前記画像処理手段は、本計測に先立ち行われるプレ計測において前記ステージ上の被写体を撮像することで得られた画像データを分析することにより、本計測におけるその被写体の光軸方向の撮像枚数を決定し、
前記制御手段は、本計測において、前記画像処理手段で決定された撮像枚数に従って、前記ステージ上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する、画像生成装置において、
前記画像処理手段は、プレ計測により得られた被写界深度の異なる同じ被写体の複数の画像データを分析することにより被写界深度の違いによる前記被写体の画像の違いを評価し、違いが大きいほど本計測における前記被写体の光軸方向の撮像枚数を多くする
ことを特徴とする画像生成装置。 - 前記画像処理手段は、前記被写体を光軸方向に複数の層に分割し、層ごとに被写界深度の違いによる画像の違いを評価することで、層ごとに光軸方向の撮像枚数を決定する
ことを特徴とする請求項3に記載の画像生成装置。 - 前記撮像ユニットは開口絞りを有しており、
前記被写界深度の異なる複数の画像データは、前記開口絞りの絞りを変えて同じ被写体を撮像することで得られる画像データである
ことを特徴とする請求項3又は4に記載の画像生成装置。 - 前記被写界深度の異なる複数の画像データのうち被写界深度が深い画像データは、異なる焦点位置で同じ被写体を撮像することで得られた複数の画像データを合成することにより生成される画像データである
ことを特徴とする請求項3又は4に記載の画像生成装置。 - 被写体が設置されるステージと、
撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、
前記ステージおよび前記撮像ユニットを制御する制御手段と、
前記撮像ユニットにより得られる画像データを処理する画像処理手段と、を備え、
前記画像処理手段は、本計測に先立ち行われるプレ計測において前記ステージ上の被写体を撮像することで得られた画像データを分析することにより、本計測におけるその被写体の光軸方向の撮像枚数を決定し、
前記制御手段は、本計測において、前記画像処理手段で決定された撮像枚数に従って、前記ステージ上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する、画像生成装置において、
前記画像処理手段は、プレ計測により得られた前記画像データの輝度を評価し、輝度が低いほど本計測における前記被写体の光軸方向の撮像枚数を多くする
ことを特徴とする画像生成装置。 - 被写体が設置されるステージと、
撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、
前記ステージおよび前記撮像ユニットを制御する制御手段と、
前記撮像ユニットにより得られる画像データを処理する画像処理手段と、を備え、
前記画像処理手段は、本計測に先立ち行われるプレ計測において前記ステージ上の被写体を撮像することで得られた画像データを分析することにより、本計測におけるその被写体の光軸方向の撮像枚数を決定し、
前記制御手段は、本計測において、前記画像処理手段で決定された撮像枚数に従って、前記ステージ上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する、画像生成装置において、
前記画像処理手段は、プレ計測により得られた前記画像データの彩度を評価し、彩度が高いほど本計測における前記被写体の光軸方向の撮像枚数を多くする
ことを特徴とする画像生成装置。 - 被写体が設置されるステージと、
撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、
前記ステージおよび前記撮像ユニットを制御する制御手段と、
前記撮像ユニットにより得られる画像データを処理する画像処理手段と、を備え、
前記画像処理手段は、本計測に先立ち行われるプレ計測において前記ステージ上の被写体を撮像することで得られた画像データを分析することにより、本計測におけるその被写体の光軸方向の撮像枚数を決定し、
前記制御手段は、本計測において、前記画像処理手段で決定された撮像枚数に従って、前記ステージ上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する、画像生成装置において、
前記画像処理手段は、プレ計測により得られた前記画像データの分散を評価し、分散が大きいほど本計測における前記被写体の光軸方向の撮像枚数を多くする
ことを特徴とする画像生成装置。 - 前記画像処理手段は、プレ計測により得られた前記画像データを複数のブロックに分割し、ブロックごとに本計測における光軸方向の撮像枚数を決定する
ことを特徴とする請求項2〜9のうちいずれか1項に記載の画像生成装置。 - 前記撮像ユニットは、第1の撮像ユニットと前記第1の撮像ユニットよりも低倍率の撮像を行う第2の撮像ユニットとを有し、
前記プレ計測は、前記第2の撮像ユニットにより行われ、
前記本計測は、前記第1の撮像ユニットにより行われる
ことを特徴とする請求項1〜10のうちいずれか1項に記載の画像生成装置。 - 前記画像データを分析することで得られる情報と、その情報に対応する光軸方向の撮像枚数と、を含む制御情報を記憶するデータベースを有しており、
前記画像処理手段は、前記制御情報を参照することにより光軸方向の撮像枚数を決定する
ことを特徴とする請求項1〜11のうちいずれか1項に記載の画像生成装置。 - 前記画像データを分析することで得られる情報と、その情報に対応する焦点位置のシフ
ト間隔と、を含む制御情報を記憶するデータベースを有しており、
前記画像処理手段は、前記被写体の厚みと前記制御情報のシフト間隔とから光軸方向の撮像枚数を決定する
ことを特徴とする請求項1〜11のうちいずれか1項に記載の画像生成装置。 - 被写体が設置されるステージと、撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、を備える画像生成装置における画像生成方法であって、
前記撮像ユニットで前記ステージ上の被写体を撮像するプレ計測ステップと、
前記プレ計測ステップで得られた画像データを複数のブロックに分けて分析することにより、本計測におけるその被写体の光軸方向の撮像枚数をブロックごとに決定する決定ステップと、
前記決定ステップで決定されたブロックごとの撮像枚数に従って、ブロックごとに、前記ステージ上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する本計測ステップと、
を含むことを特徴とする画像生成方法。 - 被写体が設置されるステージと、撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、を備える画像生成装置における画像生成方法であって、
前記撮像ユニットで前記ステージ上の被写体を撮像するプレ計測ステップと、
前記プレ計測ステップで得られた画像データを分析することにより、本計測におけるその被写体の光軸方向の撮像枚数を決定する決定ステップと、
前記決定ステップで決定された撮像枚数に従って、前記ステージ上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する本計測ステップと、
を含み、
前記決定ステップでは、プレ計測により得られた前記画像データを分析することにより被写体の染色方法を推定し、推定された染色方法に応じて本計測における前記被写体の光軸方向の撮像枚数を決定する
ことを特徴とする画像生成方法。 - 被写体が設置されるステージと、撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、を備える画像生成装置における画像生成方法であって、
前記撮像ユニットで前記ステージ上の被写体を撮像するプレ計測ステップと、
前記プレ計測ステップで得られた画像データを分析することにより、本計測におけるその被写体の光軸方向の撮像枚数を決定する決定ステップと、
前記決定ステップで決定された撮像枚数に従って、前記ステージ上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する本計測ステップと、
を含み、
前記決定ステップでは、プレ計測により得られた被写界深度の異なる同じ被写体の複数の画像データを分析することにより被写界深度の違いによる前記被写体の画像の違いを評価し、違いが大きいほど本計測における前記被写体の光軸方向の撮像枚数を多くする
ことを特徴とする画像生成方法。 - 被写体が設置されるステージと、撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、を備える画像生成装置における画像生成方法であって、
前記撮像ユニットで前記ステージ上の被写体を撮像するプレ計測ステップと、
前記プレ計測ステップで得られた画像データを分析することにより、本計測におけるその被写体の光軸方向の撮像枚数を決定する決定ステップと、
前記決定ステップで決定された撮像枚数に従って、前記ステージ上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する本計測ステップと、
を含み、
前記決定ステップでは、プレ計測により得られた前記画像データの輝度を評価し、輝度が低いほど本計測における前記被写体の光軸方向の撮像枚数を多くする
ことを特徴とする画像生成方法。 - 被写体が設置されるステージと、撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、を備える画像生成装置における画像生成方法であって、
前記撮像ユニットで前記ステージ上の被写体を撮像するプレ計測ステップと、
前記プレ計測ステップで得られた画像データを分析することにより、本計測におけるその被写体の光軸方向の撮像枚数を決定する決定ステップと、
前記決定ステップで決定された撮像枚数に従って、前記ステージ上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する本計測ステップと、
を含み、
前記決定ステップでは、プレ計測により得られた前記画像データの彩度を評価し、彩度が高いほど本計測における前記被写体の光軸方向の撮像枚数を多くする
ことを特徴とする画像生成方法。 - 被写体が設置されるステージと、撮像手段、および、前記ステージ上の被写体の像を拡大して前記撮像手段に導く撮像光学系を有する撮像ユニットと、を備える画像生成装置における画像生成方法であって、
前記撮像ユニットで前記ステージ上の被写体を撮像するプレ計測ステップと、
前記プレ計測ステップで得られた画像データを分析することにより、本計測におけるその被写体の光軸方向の撮像枚数を決定する決定ステップと、
前記決定ステップで決定された撮像枚数に従って、前記ステージ上の被写体を撮像して1枚の画像データを取得する第1の処理、又は、光軸方向の焦点位置を変更しながら前記ステージ上の被写体を複数回撮像することで焦点位置の異なる複数枚の画像データを取得する第2の処理を実行する本計測ステップと、
を含み、
前記決定ステップでは、プレ計測により得られた前記画像データの分散を評価し、分散が大きいほど本計測における前記被写体の光軸方向の撮像枚数を多くする
ことを特徴とする画像生成方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011033116A JP5675419B2 (ja) | 2011-02-18 | 2011-02-18 | 画像生成装置、及び、画像生成方法 |
US13/359,987 US20120212599A1 (en) | 2011-02-18 | 2012-01-27 | Imaging apparatus and imaging method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011033116A JP5675419B2 (ja) | 2011-02-18 | 2011-02-18 | 画像生成装置、及び、画像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012173391A JP2012173391A (ja) | 2012-09-10 |
JP5675419B2 true JP5675419B2 (ja) | 2015-02-25 |
Family
ID=46652403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011033116A Expired - Fee Related JP5675419B2 (ja) | 2011-02-18 | 2011-02-18 | 画像生成装置、及び、画像生成方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20120212599A1 (ja) |
JP (1) | JP5675419B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6253225B2 (ja) * | 2012-09-18 | 2017-12-27 | オリンパス株式会社 | 顕微鏡システムおよび顕微鏡観察方法 |
JP6455829B2 (ja) * | 2013-04-01 | 2019-01-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
CN105359029A (zh) | 2013-07-04 | 2016-02-24 | 徕卡显微系统(瑞士)股份公司 | 用于显微镜系统的图像检测方法和相应的显微镜系统 |
JP2016114532A (ja) * | 2014-12-17 | 2016-06-23 | 株式会社日立製作所 | 光熱変換分光分析装置 |
US9824189B2 (en) * | 2015-01-23 | 2017-11-21 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus, image processing method, image display system, and storage medium |
US10419698B2 (en) | 2015-11-12 | 2019-09-17 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
WO2017098587A1 (ja) * | 2015-12-08 | 2017-06-15 | オリンパス株式会社 | 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム |
JP6742783B2 (ja) * | 2016-04-01 | 2020-08-19 | 株式会社ミツトヨ | 撮像システム及び撮像方法 |
JP7172029B2 (ja) * | 2017-12-05 | 2022-11-16 | 株式会社ニデック | 軸出し装置 |
CN108776958B (zh) * | 2018-05-31 | 2019-05-10 | 重庆瑞景信息科技有限公司 | 混合降质图像的图像质量评价方法和装置 |
WO2023233922A1 (ja) * | 2022-06-03 | 2023-12-07 | 株式会社Cybo | 顕微鏡システム及びデータ処理方法 |
JP7126737B1 (ja) | 2022-06-03 | 2022-08-29 | 株式会社Cybo | 顕微鏡システム及びデータ処理方法 |
WO2024096013A1 (ja) * | 2022-11-04 | 2024-05-10 | 株式会社ハイテックシステムズ | 組織切片厚さ推定装置、組織切片厚さ評価装置、組織切片厚さ推定方法、組織切片厚さ推定プログラムおよび記録媒体 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4769698A (en) * | 1985-10-04 | 1988-09-06 | National Biomedical Research Foundation | Interactive microscopic image display system and method |
US20050142654A1 (en) * | 2002-10-18 | 2005-06-30 | Kazuji Matsumoto | Slide glass, cover glass and pathologic diagnosis system |
JP2006292999A (ja) * | 2005-04-11 | 2006-10-26 | Direct Communications:Kk | スライド画像データ作成装置およびスライド画像データ |
JP4708143B2 (ja) * | 2005-09-30 | 2011-06-22 | シスメックス株式会社 | 自動顕微鏡及びこれを備える分析装置 |
WO2007080583A2 (en) * | 2006-01-10 | 2007-07-19 | Applied Spectral Imaging Ltd. | Methods and systems for analyzing biological samples |
US8184196B2 (en) * | 2008-08-05 | 2012-05-22 | Qualcomm Incorporated | System and method to generate depth data using edge detection |
JP5163446B2 (ja) * | 2008-11-25 | 2013-03-13 | ソニー株式会社 | 撮像装置、撮像方法及びプログラム |
WO2010143375A1 (ja) * | 2009-06-10 | 2010-12-16 | 株式会社ニコン | 顕微鏡装置および制御プログラム |
-
2011
- 2011-02-18 JP JP2011033116A patent/JP5675419B2/ja not_active Expired - Fee Related
-
2012
- 2012-01-27 US US13/359,987 patent/US20120212599A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2012173391A (ja) | 2012-09-10 |
US20120212599A1 (en) | 2012-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5675419B2 (ja) | 画像生成装置、及び、画像生成方法 | |
US9224193B2 (en) | Focus stacking image processing apparatus, imaging system, and image processing system | |
US9332190B2 (en) | Image processing apparatus and image processing method | |
US20150153559A1 (en) | Image processing apparatus, imaging system, and image processing system | |
JP6576921B2 (ja) | マルチスペクトル撮像のための自動焦点方法およびシステム | |
JP5372068B2 (ja) | 撮像システム、画像処理装置 | |
US20140015933A1 (en) | Image processing apparatus, imaging system, and image processing system | |
JP7146635B2 (ja) | マルチスペクトル軌跡を使用するデジタル撮像のための自動合焦の方法およびシステム | |
RU2734447C2 (ru) | Система для формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости | |
KR20080016847A (ko) | 크로모겐 분리에 기초한 영상 분석 방법 | |
Li et al. | AOTF based molecular hyperspectral imaging system and its applications on nerve morphometry | |
WO2015156378A1 (en) | Image processing apparatus, image processing method, and image processing system | |
WO2021038103A1 (en) | Image processing apparatus and method for use in an autofocus system | |
JP2015108837A (ja) | 画像処理装置及び画像処理方法 | |
EP3716200B1 (en) | Image processing apparatus and method for use in an autofocus system | |
CN111007020B (zh) | 双帧四光谱成像方法及应用 | |
Li et al. | Histological skin morphology enhancement base on molecular hyperspectral imaging technology | |
US12106454B2 (en) | Image processing apparatus and method for use in an autofocus system | |
US20230314123A1 (en) | Smartphone-based oct systems and methods | |
JP7126737B1 (ja) | 顕微鏡システム及びデータ処理方法 | |
Liang et al. | A more effective way of target segmentation of multispectral imaging data using Kmeans algorithm | |
WO2021166089A1 (ja) | 評価支援装置、評価支援システム、評価支援方法およびプログラム | |
Mansour et al. | Colour and image processing for output extraction of a LSPR sensor | |
WO2023200570A1 (en) | Image sensing system and method for imaging | |
Dendere et al. | Image fusion for autofocusing in fluorescence microscopy for tuberculosis screening |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140902 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141224 |
|
LAPS | Cancellation because of no payment of annual fees |