JP6333318B2 - 画像処理方法、画像処理装置、および撮像装置 - Google Patents

Description

本発明は、複数の撮影画像に基づいて合成画像を生成する画像処理方法、画像処理装置、および撮像装置に関する。

特許文献１には、細胞を高解像度で撮影することによって、細胞の培養状態を観察する装置が記載されている。特許文献１の装置は、容器内に培養液とともに保持された細胞を、カメラで撮影する。このような装置では、１回の撮影で、培養液中の全ての細胞に焦点を合わせることが難しい。このため、カメラの焦点位置を変えて複数回の撮影を行い、得られた複数の画像を合成することによって、全体に焦点が合ったような全焦点画像を生成する。

特開２０１６−１４９７４号公報

しかしながら、細胞等の生体試料は、略透明である。このため、完全に焦点が合う合焦点位置では、図１５のように、細胞と周囲との輝度差が小さくなり、細胞が見えにくくなる。一方、カメラの焦点位置を、合焦点位置から若干近距離側（カメラに近づく方向）にずらすと、図１６のように、細胞の内部が周囲よりも白く、かつ、細胞の輪郭が黒く見える、いわゆる「白色ピント」の状態となる。また、カメラの焦点位置を、合焦点位置から若干遠距離側（カメラから遠ざかる方向）にずらすと、図１７のように、細胞の内部が周囲よりも黒く、かつ、細胞の輪郭が白く見える、いわゆる「黒色ピント」の状態となる。

細胞を撮影する装置においては、複数の撮影画像から、白色ピントに揃えた全焦点画像や、黒色ピントに揃えた全焦点画像を生成したいという要求がある。しかしながら、上述の通り、白色ピントおよび黒色ピントは、細胞の内部と輪郭とで輝度傾向が反転する。このため、複数の撮影画像から、白色ピントまたは黒色ピントの状態となっている画素を、コンピュータにより自動的に抽出することが、非常に難しい。

本発明は、このような事情に鑑みなされたものであり、複数の撮影画像から、所望のピントの状態に揃えた合成画像を、精度よく生成できる技術を提供することを目的とする。

上記課題を解決するため、本願の第１発明は、複数の撮影画像に基づいて合成画像を生成する画像処理方法であって、ａ）焦点位置を光軸に沿って変化させつつ対象物を撮影することにより、複数の撮影画像を取得する工程と、ｂ）前記複数の撮影画像の各々について、所定のエリア毎に、第１鮮鋭度および第２鮮鋭度それぞれを算出する工程と、ｃ）前記複数の撮影画像の互いに対応するエリアの中から、前記第１鮮鋭度が極大となる第１エリア、および、前記第２鮮鋭度が極大となる第２エリア、それぞれを選出する工程と、ｄ）前記工程ｃ）において選出された第１エリアおよび第２エリアの位置関係が、正常であるか否かを判定し、正常でない場合には、選出された第１エリアおよび第２エリアの少なくとも一方を変更する工程と、ｅ）前記工程ｃ）および前記工程ｄ）において選出および変更されたエリアの輝度値を組み合わせて、合成画像を生成する工程と、を有する。

本願の第２発明は、第１発明の画像処理方法であって、前記エリアは、１画素である。

本願の第３発明は、第２発明の画像処理方法であって、前記工程ｂ）では、前記画素毎に、第１鮮鋭度および第２鮮鋭度を算出し、前記工程ｃ）は、ｃ１）前記複数の撮影画像の互いに対応する画素の中から、前記第１鮮鋭度が極大となる画素を、第１候補として選出する工程と、ｃ２）前記複数の撮影画像の互いに対応する画素の中から、前記第２鮮鋭度が極大となる画素を、第２候補として選出する工程と、を含み、前記工程ｄ）は、ｄ１）前記工程ｃ１）において選出された画素が属する撮影画像と、前記工程ｃ２）において選出された画素が属する撮影画像との関係が、正常であるか否かを判断する工程と、ｄ２）前記工程ｄ１）において、正常でないと判断された場合に、前記第１候補または前記第２候補を、他の撮影画像に属する画素に変更する工程と、を含む。

本願の第４発明は、第３発明の画像処理方法であって、前記工程ｅ）では、前記第１候補の画素の輝度値を組み合わせて、第１合成画像を生成する。

本願の第５発明は、第３発明の画像処理方法であって、前記工程ｅ）では、前記第２候補の画素の輝度値を組み合わせて、第２合成画像を生成する。

本願の第６発明は、第１発明から第５発明までのいずれか１発明の画像処理方法であって、前記対象物は細胞である。

本願の第７発明は、複数の撮影画像に基づいて合成画像を生成する画像処理装置であって、焦点位置を光軸に沿って変化させつつ対象物を撮影することにより取得された複数の撮影画像を記憶する画像記憶部と、前記複数の撮影画像の各々について、所定のエリア毎に第１鮮鋭度および第２鮮鋭度それぞれを算出する鮮鋭度算出部と、前記複数の撮影画像の互いに対応するエリアの中から、前記第１鮮鋭度が極大となる第１エリア、および、前記第２鮮鋭度が極大となる第２エリア、それぞれを選出するとともに、選出された前記第１エリアおよび前記第２エリアの位置関係が、正常であるか否かを判定し、正常でない場合には、選出された第１エリアおよび第２エリアの少なくとも一方を変更するピント位置判定部と、前記ピント位置判定部において選出および変更されたエリアの輝度値を組み合わせて、合成画像を生成する合成画像生成部と、を有する。

本願の第８発明は、第７発明の画像処理装置であって、前記エリアは、１画素である。

本願の第９発明は、第８発明の画像処理装置であって、前記鮮鋭度算出部は、前記画素毎に、第１鮮鋭度および第２鮮鋭度を算出し、前記ピント位置判定部は、１）前記複数の撮影画像の互いに対応する画素の中から、前記第１鮮鋭度が極大となる画素を、第１候補として選出する工程と、２）前記複数の撮影画像の互いに対応する画素の中から、前記第２鮮鋭度が極大となる画素を、第２候補として選出する工程と、３）前記工程１）において選出された画素が属する撮影画像と、前記工程ｃ２）において選出された画素が属する撮影画像との関係が、正常であるか否かを判断する工程と、４）前記工程３）において、正常でないと判断された場合に、前記第１候補または前記第２候補を、他の撮影画素に属する画素に変更する工程と、を実行する。

本願の第１０発明は、第９発明の画像処理装置であって、前記合成画像生成部は、前記第１候補の画素の輝度値を組み合わせて、第１合成画像を生成する。

本願の第１１発明は、第９発明の画像処理装置であって、前記合成画像生成部は、前記第２候補の画素の輝度値を組み合わせて、第２合成画像を生成する。

本願の第１２発明は、第７発明から第１１発明までのいずれか１発明の画像処理装置であって、前記対象物は細胞である。

本願の第１３発明は、撮像装置であって、請求項７から請求項１２までのいずれか１項に記載の画像処理装置と、前記対象物を撮影するカメラと、前記対象物に向けて光を照射する投光部と、前記カメラの焦点位置を光軸に沿って変化させる移動機構と、を有する。

本願の第１発明〜第１３発明によれば、複数の撮影画像から、撮影対象物を所望のピントの状態に揃えた合成画像を、精度よく生成できる。

ウェルプレートの一例を示す斜視図である。 撮像装置の構成を示した図である。 制御部と、撮像装置内の各部との接続を示したブロック図である。 制御部内において実現される機能を、概念的に示したブロック図である。 撮影処理の流れを示したフローチャートである。 １つのウェルの断面図である。 １つのウェルにおいて撮影された６つの撮影画像を示した図である。 合成画像の生成手順を示したフローチャートである。 ステップＳ８の詳細な手順を示したフローチャートである。 複数の撮影画像に含まれる対応画素列の例を、概念的に示した図である。 第１鮮鋭度の算出結果の例を示したグラフである。 第２鮮鋭度の算出結果の例を示したグラフである。 白色ピントに揃えた第１合成画像の例を示した図である。 黒色ピントに揃えた第２合成画像の例を示した図である。 合焦点位置における細胞の画像の例を示した図である。 「白色ピント」の状態の細胞の画像の例を示した図である。 「黒色ピント」の状態の細胞の画像の例を示した図である。

以下、本発明の好適な実施形態について、図面を参照しつつ説明する。

＜１．撮像装置の構成＞
図１は、撮像装置１にセットされるウェルプレート９の一例を示す斜視図である。ウェルプレート９は、複数のウェル（窪部）９１を有する略板状の試料容器である。ウェルプレート９の材料には、例えば、光を透過する透明な樹脂が使用される。図１に示すように、複数のウェル９１は、ウェルプレート９の上面に、規則的に配列されている。各ウェル９１内には、培養液９２とともに、撮影対象物となる複数の細胞９３が保持される。なお、上面視におけるウェル９１の形状は、図１のような円形であってもよく、矩形等の他の形状であってもよい。

図２は、本発明の一実施形態に係る撮像装置１の構成を示した図である。この撮像装置１は、ウェルプレート９内の複数の細胞９３を、カメラ４０の焦点位置を変化させつつ複数回撮影して、観察用の合成画像（全焦点画像）を生成する装置である。

撮像装置１は、例えば、医薬品の研究開発分野において、医薬品の候補となる化合物を絞り込むスクリーニング工程に、使用される。スクリーニング工程の担当者は、ウェルプレート９の複数のウェル９１に、濃度や組成の異なる化合物を添加する。そして、撮像装置１において、ウェルプレート９の各ウェル９１内の細胞９３の画像を取得する。その後、得られた画像に基づいて、細胞９３の培養状態を比較・分析することにより、培養液９２に添加された化合物の効用を検証する。

ただし、撮像装置１は、ＩＰＳ細胞やＥＳ細胞等の多能性幹細胞の研究・開発において、細胞の分化などを観察するために用いられてもよい。

図２に示すように、本実施形態の撮像装置１は、ステージ１０、投光部２０、投光部移動機構３０、カメラ４０、焦点移動機構５０、カメラ移動機構６０、および制御部７０を備えている。

ステージ１０は、ウェルプレート９を保持する載置台である。撮像装置１内におけるステージ１０の位置は、少なくとも撮影時には固定される。ステージ１０の中央には、上下に貫通する矩形の開口部１１が設けられている。また、ステージ１０は、開口部１１の縁に、環状の支持面１２を有する。ウェルプレート９は、開口部１１に嵌め込まれるとともに、支持面１２によって水平に支持される。したがって、各ウェル９１の上部および下部は、ステージ１０に塞がれることなく露出する。

投光部２０は、ステージ１０に保持されたウェルプレート９の上方に配置されている。投光部２０は、ＬＥＤ等の光源を有する。後述する撮影時には、投光部２０内の光源が発光する。これにより、投光部２０から下方へ向けて、光が照射される。なお、投光部２０は、カメラ４０とは反対側からウェルプレート９に向けて、光を照射するものであればよい。したがって、投光部２０の光源自体は、ウェルプレート９の上方から外れた位置に配置され、ミラー等の光学系を介して、ウェルプレート９に光が照射される構成であってもよい。

投光部移動機構３０は、ステージ１０に保持されたウェルプレート９の上面に沿って、投光部２０を水平に移動させる機構である。投光部移動機構３０には、例えば、モータの回転運動をボールねじを介して直進運動に変換する機構が用いられる。撮像装置１は、投光部移動機構３０を動作させることにより、各ウェル９１の上方位置に、投光部２０を配置することができる。なお、図２では、投光部２０の移動方向として、矢印Ａ１の１方向のみが示されている。しかしながら、投光部移動機構３０は、投光部２０を、ウェルプレート９の上面に沿って２方向（図２中の左右方向および奥行き方向）に移動させるものであってもよい。

カメラ４０は、ステージ１０に保持されたウェルプレート９の下方に配置されている。カメラ４０は、レンズ等の光学系４１と、ＣＣＤやＣＭＯＳ等の撮像素子４２とを有する。後述する撮影時には、投光部２０からウェルプレート９の一部分へ向けて光を照射しつつ、カメラ４０が、ウェルプレート９の当該一部分を撮影する。これにより、ウェルプレート９内の細胞９３の画像を、デジタルデータとして取得することができる。取得された撮影画像は、カメラ４０から制御部７０へ入力される。

焦点移動機構５０は、カメラ４０の焦点位置を変化させる機構である。本実施形態の焦点移動機構５０は、カメラ４０の光学系４１に含まれる一部の光学部品を移動させる。これにより、カメラ４０の焦点位置を光軸に沿って変化させる。焦点移動機構５０は、ウェルプレート９内の細胞９３の付近において、カメラ４０の焦点位置を、上下に細かく変化させることができる。焦点移動機構５０には、例えば、小型のモータが用いられる。

カメラ移動機構６０は、カメラ４０の姿勢を維持しつつ、カメラ４０の水平方向の位置を変化させる機構である。カメラ移動機構６０は、カメラ４０および焦点移動機構５０を、一体として水平に移動させる。カメラ移動機構６０には、例えば、モータの回転運動をボールねじを介して直進運動に変換する機構が用いられる。撮像装置１は、カメラ移動機構６０を動作させることにより、各ウェル９１の下方位置に、カメラ４０を配置することができる。なお、図２では、カメラ移動機構６０によるカメラ４０の移動方向として、矢印Ａ２の１方向のみが示されている。しかしながら、カメラ移動機構６０は、カメラ４０を、ウェルプレート９の下面に沿って２方向（図２中の左右方向および奥行き方向）に移動させるものであってもよい。

なお、上述した投光部移動機構３０と、カメラ移動機構６０とは、同期駆動される。これにより、投光部２０とカメラ４０とは、上面視において、常に同じ位置に配置される。すなわち、投光部２０とカメラ４０とは、同じ向きに同じ距離だけ移動し、あるウェル９１の下方位置にカメラ４０が配置されたときには、必ず、そのウェル９１の上方位置に投光部２０が配置される。

制御部７０は、例えば、コンピュータにより構成される。制御部７０は、撮像装置１内の各部を動作制御する制御装置としての機能と、カメラ４０から入力された複数の撮影画像に基づいて合成画像を生成する画像処理装置としての機能と、を有する。図３は、制御部７０と、撮像装置１内の各部との接続を示したブロック図である。図３に示すように、制御部７０は、上述した投光部２０、投光部移動機構３０、カメラ４０、焦点移動機構５０、およびカメラ移動機構６０と、それぞれ通信可能に接続されている。

また、図２中に概念的に示したように、制御部７０は、ＣＰＵ等のプロセッサ７０１、ＲＡＭ等のメモリ７０２、およびハードディスクドライブ等の記憶部７０３を有する。記憶部７０３内には、撮像装置１内の各部を動作制御するための制御プログラムＰ１と、カメラ４０から入力された複数の撮影画像に基づいて合成画像を生成するための画像処理プログラムＰ２と、が記憶されている。

図４は、制御部７０内において実現される機能を、概念的に示したブロック図である。図４に示すように、制御部７０は、撮像制御部７１と画像処理部７２とを有する。撮像制御部７１は、制御プログラムＰ１に従って、投光部２０、投光部移動機構３０、カメラ４０、焦点移動機構５０、およびカメラ移動機構６０を動作制御する。これにより、ウェルプレート９の各ウェル９１に保持された細胞９３の撮影処理が進行する。画像処理部７２は、カメラ４０から入力された複数の撮影画像を、画像処理プログラムＰ２に従って処理することにより、合成画像を生成する。

また、図４に示すように、画像処理部７２は、画像記憶部７２１、鮮鋭度算出部７２２、ピント位置判定部７２３、および合成画像生成部７２４を有する。これらの各部が行う具体的な処理については、後述する。

＜２．撮影処理について＞
続いて、上述した撮像装置１の動作について、説明する。図５は、撮像装置１おける撮影処理の流れを示したフローチャートである。

撮像装置１のステージ１０に、ウェルプレート９がセットされて、制御部７０に動作開始の指示が入力されると、制御部７０の撮像制御部７１は、まず、焦点移動機構５０を動作させる。これにより、カメラ４０の焦点位置を、所定の高さに合わせる（ステップＳ１）。図６は、１つのウェル９１の断面図である。図６に示すように、本実施形態では、カメラ４０の焦点位置を６段階（第１焦点位置Ｈ１〜第６焦点位置Ｈ６）に変更できるものとする。撮影処理の開始時には、まず、最も低い第１焦点位置Ｈ１に、カメラ４０の焦点を合わせる。

次に、制御部７０は、投光部移動機構３０およびカメラ移動機構６０を、動作させる。これにより、投光部２０およびカメラ４０を、撮影すべきウェル９１の上下に移動させる（ステップＳ２）。そして、制御部７０は、投光部２０およびカメラ４０を動作させて、当該ウェル９１内に保持された細胞９３を撮影する（ステップＳ３）。すなわち、投光部２０から下方へ向けて光を照射しつつ、カメラ４０による撮影を行う。これにより、当該ウェル９１内に保持された細胞９３の、第１焦点位置Ｈ１における撮影画像が得られる。

続いて、制御部７０は、撮影対象となる次のウェル９１があるか否かを判断する（ステップＳ４）。次のウェル９１がある場合には（ステップＳ４においてｙｅｓ）、投光部移動機構３０およびカメラ移動機構６０を、動作させる。これにより、投光部２０およびカメラ４０を、次のウェル９１の上下に移動させる（ステップＳ２）。そして、制御部７０は、投光部２０およびカメラ４０を動作させて、当該ウェル９１内に保持された細胞９３を撮影する（ステップＳ３）。

このように、制御部７０は、投光部２０およびカメラ４０の移動（ステップＳ２）と、撮影（ステップＳ３）とを繰り返す。これにより、ウェルプレート９の撮影対象となる全てのウェル９１について、第１焦点位置Ｈ１における撮影画像を取得する。

やがて、未撮影のウェル９１が無くなると（ステップＳ４においてｎｏ）、制御部７０は、カメラ４０の焦点位置を変更するか否かを判断する（ステップＳ５）。ここでは、６つの焦点位置Ｈ１〜Ｈ６のうち、まだ撮影を行っていない焦点位置が残っていれば、カメラ４０の焦点位置を変更すべきと判断する（ステップＳ５においてｙｅｓ）。例えば、第１焦点位置Ｈ１における撮影処理が終了すると、制御部７０は、次の焦点位置である第２焦点位置Ｈ２に、カメラ４０の焦点位置を変更すべきと判断する。

カメラ４０の焦点位置を変更する場合、制御部７０は、焦点移動機構５０を動作させて、カメラ４０の焦点位置を、変更すべき位置に移動させる（ステップＳ１）。そして、上述したステップＳ２〜Ｓ４の処理を繰り返す。これにより、ウェルプレート９の各ウェル９１について、変更後の焦点位置における細胞９３の撮影画像を取得する。

以上のように、制御部７０は、カメラ４０の焦点位置の変更（ステップＳ１）と、複数のウェル９１についての撮影画像の取得（ステップＳ２〜Ｓ４）とを繰り返す。これにより、ウェルプレート９の複数のウェル９１のそれぞれについて、６つの焦点位置Ｈ１〜Ｈ６で撮影された６つの撮影画像が得られる。

＜３．画像処理について＞
続いて、カメラ４０から入力された複数の撮影画像に基づいて、合成画像を生成するための画像処理について説明する。

図７は、図６のウェル９１において撮影された６つの撮影画像Ｄ１〜Ｄ６を示した図である。図７の第１撮影画像Ｄ１〜第６撮影画像Ｄ６は、それぞれ、第１焦点位置Ｈ１〜第６焦点位置Ｈ６における撮影画像である。また、図７の各撮影画像Ｄ１〜Ｄ６には、２つの細胞９３が含まれている。以下では、図７の各撮影画像Ｄ１〜Ｄ６中の左側の細胞９３を第１細胞９３１と称し、右側の細胞９３を第２細胞９３２と称する。

本実施形態では、略透明な細胞９３を撮影対象物としている。このため、細胞９３に対して完全に焦点が合う合焦点位置では、細胞９３の輝度と周囲の輝度とが近似する。図７の例では、第１細胞９３１については、第４撮影画像Ｄ４において最も焦点が合っており、第２細胞９３２については、第３撮影画像Ｄ３において最も焦点が合っている。

カメラ４０の焦点位置を、合焦点位置から若干近距離側にずらすと、細胞９３の内部が細胞９３の外部よりも白く、かつ、細胞の輪郭が黒く見える、いわゆる「白色ピント」の状態となる。図７の例では、第３撮影画像Ｄ３中の第１細胞９３１および第２撮影画像Ｄ２中の第２細胞９３２が、「白色ピント」の状態となっている。また、カメラ４０の焦点位置を、合焦点位置から若干遠距離側にずらすと、細胞９３の内部が細胞９３の外部よりも黒く、かつ、細胞の輪郭が白く見える、いわゆる「黒色ピント」の状態となる。図７の例では、第５撮影画像Ｄ５中の第１細胞９３１および第４撮影画像Ｄ４中の第２細胞９３２が、「黒色ピント」の状態となっている。

「白色ピント」または「黒色ピント」の状態では、細胞９３の内部の輝度と細胞９３の外部の輝度との差が大きくなり、画像のコントラストも良好となる。特に、「白色ピント」の状態は、共焦点顕微鏡の観察画像に近く、細胞９３の立体形状を把握しやすいという特長がある。一方、「黒色ピント」の状態は、細胞９３の内部構造を観察しやすいという特長がある。細胞９３の観察は、これらの「白色ピント」または「黒色ピント」の状態で行うことが好ましい。

しかしながら、図６のように、１つのウェル９１に含まれる複数の細胞９３の高さ（光軸方向の位置）が異なる場合、１つの撮影画像Ｄで、全ての細胞９３を「白色ピント」または「黒色ピント」の状態とすることはできない。このため、この撮像装置１の制御部７０は、複数の撮影画像Ｄ１〜Ｄ６に含まれる画素を組み合わせて、全ての細胞９３を「白色ピント」または「黒色ピント」に揃えた合成画像を生成する。

図８は、制御部７０による合成画像の生成手順を示したフローチャートである。

合成画像を生成するときには、まず、制御部７０が、上述した撮影処理によって得られた複数の撮影画像Ｄ１〜Ｄ６を、画像記憶部７２１に記憶させる（ステップＳ６）。次に、制御部７０の鮮鋭度算出部７２２が、複数の撮影画像Ｄ１〜Ｄ６のそれぞれについて、画素毎に、鮮鋭度Ｑを算出する（ステップＳ７）。

鮮鋭度Ｑは、その画素付近における画像の明瞭さ（sharpness）を示す指標である。本実施形態では、鮮鋭度算出部７２２は、画素毎に、第１鮮鋭度Ｑ１および第２鮮鋭度Ｑ２の２種類の鮮鋭度Ｑを算出する。第１鮮鋭度Ｑ１は、「白色ピント」の状態において極大となる傾向を示す指標である。第１鮮鋭度Ｑ１には、例えば、その画素を中心とする一定の領域内における最大輝度が用いられる。第２鮮鋭度Ｑ２は、「黒色ピント」の状態において極大となる傾向を示す指標である。第２鮮鋭度Ｑ２には、例えば、その画素を中心とする一定の領域内における最小輝度が用いられる。

ただし、鮮鋭度Ｑに、周辺画素の最大輝度および最小輝度に代えて、周辺画素の輝度の分散値、輝度変化量等のエッジ強度を示す値、画素そのものの輝度等の他の指標が用いられてもよい。

各撮影画像Ｄの各画素について、第１鮮鋭度Ｑ１および第２鮮鋭度Ｑ２が算出されると、次に、制御部７０のピント位置判定部７２３が、複数の撮影画像Ｄ１〜Ｄ６の対応する画素の間で、第１鮮鋭度Ｑ１および第２鮮鋭度Ｑ２を比較する。これにより、複数の撮影画像Ｄの互いに対応する画素の中で、「白色ピント」および「黒色ピント」に相当する画素を判定する（ステップＳ８）。

図９は、ステップＳ８の詳細な手順を示したフローチャートである。以下では、複数の撮影画像Ｄ１〜Ｄ６の互いに対応する画素Ｐの集合を対応画素列ＰＡと称する。図１０は、複数の撮影画像Ｄ１〜Ｄ６に含まれる対応画素列ＰＡの例を、概念的に示した図である。図１１は、１つの対応画素列ＰＡにおける各画素Ｐの第１鮮鋭度Ｑ１の算出結果の例を示したグラフである。図１２は、１つの対応画素列ＰＡにおける各画素Ｐの第２鮮鋭度Ｑ２の算出結果の例を示したグラフである。

ステップＳ８では、まず、ピント位置判定部７２３が、複数の撮影画像Ｄ１〜Ｄ６の対応画素列ＰＡ毎に、第１鮮鋭度Ｑ１が最も高い画素Ｐを選出する（ステップＳ８１）。図１１の例では、対応画素列ＰＡの第３撮影画像Ｄ３に属する画素Ｐが、第１鮮鋭度Ｑ１が最も高い画素Ｐとして選出される。そして、ピント位置判定部７２３は、選出された画素Ｐを、「白色ピント」に相当する画素の候補（第１候補）とする。

また、ピント位置判定部７２３は、複数の撮影画像Ｄ１〜Ｄ６の対応画素列ＰＡ毎に、第２鮮鋭度Ｑ２が最も高い画素Ｐを選出する（ステップＳ８２）。図１２の例では、対応画素列ＰＡの第３撮影画像Ｄ３に属する画素Ｐが、第２鮮鋭度Ｑ２が最も高い画素Ｐとして選出される。そして、ピント位置判定部７２３は、選出された画素Ｐを、「黒色ピント」に相当する画素の候補（第２候補）とする。

続いて、ピント位置判定部７２３は、「白色ピント」の候補とされた画素Ｐが属する撮影画像の番号（以下、「第１画像参照値Ｎ１」と称する）と、黒色ピントの候補とされた画素Ｐが属する撮影画像の番号（以下、「第２画像参照値Ｎ２」と称する）とを比較する。そして、第１画像参照値Ｎ１よりも第２画像参照値Ｎ２が大きいか否かを判定する（ステップＳ８３）。

撮影画像の番号である画像参照値Ｎは、本実施形態では、遠距離側ほど大きくなる。また、「黒色ピント」は「白色ピント」よりも遠距離側において生じる。したがって、第１画像参照値Ｎ１よりも第２画像参照値Ｎ２が大きい場合（ステップＳ８３においてｙｅｓの場合）は、「黒色ピント」と「白色ピント」との位置関係が、正常と判断される。したがって、ピント位置判定部７２３は、上記のステップＳ８１において第１候補とされた画素Ｐを、「白色ピント」に相当する画素として決定し、上記のステップＳ８２において第２候補とされた画素Ｐを、「黒色ピント」に相当する画素として決定する（ステップＳ８４）。

一方、第２画像参照値Ｎ２が、第１画像参照値Ｎ１と同一またはそれよりも小さい場合（ステップＳ８３においてｎｏの場合）には、「黒色ピント」と「白色ピント」との位置関係が正常でないと判断される。この場合、ピント位置判定部７２３は、「白色ピント」に相当する画素の候補と、黒色ピントに相当する画素の候補との、少なくとも一方を、他の撮影画像に属する画素Ｐに変更する（ステップＳ８５）。

図１１および図１２の例では、第１画像参照値Ｎ１と第２画像参照値Ｎ２とが、いずれも３となる。このため、ステップＳ８５において、画素Ｐの候補が変更される。具体的には、図１１中の白抜き矢印のように、「白色ピント」に相当する画素の候補として最初に選出された画素Ｐよりも近距離側で、第１鮮鋭度Ｑ１が極大となる画素Ｐがあるか否かを探索する。また、図１２中の白抜き矢印のように、「黒色ピント」に相当する画素の候補として最初に選出された画素Ｐよりも遠距離側で、第２鮮鋭度Ｑ２が極大となる画素Ｐがあるか否かを探索する。そして、該当する画素Ｐがあれば、当該画素Ｐを、「白色ピント」に相当する画素、または「黒色ピント」に相当する画素の候補として、再設定する。

図１２の例では、「黒色ピント」に相当する画素の候補として最初に選出された画素Ｐ（Ｎ２＝３）よりも遠距離側に、第２鮮鋭度Ｑ２が極大となる画素Ｐ（Ｎ２＝５）が存在する。したがって、第５撮影画像Ｄ５に属する当該画素Ｐを、「黒色ピント」に相当する画素Ｐの候補として再設定する。

その後、ピント位置判定部７２３は、第１画像参照値Ｎ１よりも第２画像参照値Ｎ２が大きいか否かを、再度判定する（ステップＳ８３）。そして、第１画像参照値Ｎ１よりも第２画像参照値Ｎ２が大きければ、上記のステップＳ８５において候補とされた画素Ｐを、「白色ピント」および「黒色ピント」に相当する画素として決定する（ステップＳ８４）。

ピント位置判定部７２３は、以上のステップＳ８１〜Ｓ８５の処理を、複数の撮影画像Ｄ１〜Ｄ６に含まれる全ての対応画素列ＰＡについて、実行する。これにより、対応画素列ＰＡ毎に、「白色ピント」に相当する画素Ｐと、「黒色ピント」に相当する画素Ｐとが、決定される。すなわち、対応画素列ＰＡごとに、第１画像参照値Ｎ１と第２画像参照値Ｎ２とが、決定される。

図８に戻る。ステップＳ８の処理が終了すると、制御部７０の合成画像生成部７２４は、合成画像を生成する（ステップＳ９）。ここでは、ステップＳ８において選出および変更された画素Ｐの輝度値を組み合わせて、「白色ピント」に揃えた第１合成画像と、「黒色ピント」に揃えた第２合成画像とを生成する。

第１合成画像は、例えば、複数の撮影画像Ｄ１〜Ｄ６の複数の対応画素列ＰＡから、「白色ピント」に相当する第１候補の画素のみを抜き出し、それらの画素の輝度値を配列することによって、生成される。その結果、図１３のように、「白色ピント」に揃えた第１合成画像Ｄｗが得られる。第２合成画像は、例えば、複数の撮影画像Ｄ１〜Ｄ６の複数の対応画素列ＰＡから、「黒色ピント」に相当する画素のみを抜き出し、それらの画素の輝度値を配列することによって、生成される。その結果、図１４のように、「黒色ピント」に揃えた第２合成画像Ｄｂが得られる。

ただし、合成画像生成部７２４は、ステップＳ８において算出された対応画素列ＰＡごとの画像参照値Ｎ１，Ｎ２を用いて、より複雑な画像処理を行うことによって、第１合成画像Ｄｗおよび第２合成画像Ｄｂを生成してもよい。

このように、本実施形態の画像処理方法では、複数の撮影画像Ｄ１〜Ｄ６の画素Ｐ毎に、鮮鋭度Ｑ１，Ｑ２を算出する。そして、対応画素列ＰＡ毎に、「白色ピント」に相当する画素Ｐと、「黒色ピント」に相当する画素Ｐとを、一旦選出する。その後、選出された画素Ｐの位置関係が、所定の条件に合致していない場合には、「白色ピント」に相当する画素と「黒色ピント」に相当する画素との少なくとも一方を変更する。そして、変更後の画素を組み合わせて、合成画像を生成する。このため、「白色ピント」に揃えた第１合成画像Ｄｗと、「黒色ピント」に揃えた第２合成画像Ｄｂとを、精度よく生成できる。

＜４．変形例＞
以上、本発明の一実施形態について説明したが、本発明は、上記の実施形態に限定されるものではない。

上記の実施形態では、複数の撮影画像Ｄ１〜Ｄ６の各々について、１画素毎に第１
鮮鋭度Ｑ１および第２鮮鋭度Ｑ２を算出していた。しかしながら、第１鮮鋭度Ｑ１および第２鮮鋭度Ｑ２の算出は、複数の画素で構成されるエリア毎に行ってもよい。その場合、第１候補および第２候補の選出も、エリア単位で行えばよい。

また、上記の実施形態では、観察対象となる細胞９３が、ウェルプレート９の複数のウェル９１内に保持されていた。しかしながら、細胞９３は、ウェルプレート９以外の容器に保持されていてもよい。例えば、細胞９３は、シャーレ内に保持されていてもよい。

また、上記の実施形態では、単体の細胞９３を撮影対象物としていた。しかしながら、撮影対象物は、複数の細胞が立体的に集合した細胞集塊（スフェロイド）であってもよい。また、撮影対象物は、細胞以外の略透明な試料であってもよい。

また、上記の実施形態では、撮影対象物の上方に投光部２０が配置され、撮影対象物の下方にカメラ４０が配置されていた。しかしながら、撮影対象物の下方に投光部２０が配置され、撮影対象物の上方にカメラ４０が配置されていてもよい。

また、上記の実施形態では、カメラ４０の光学系４１に含まれる一部の光学部品を移動させることにより、カメラ４０の焦点位置を変化させていた。しかしながら、カメラ４０全体を昇降移動させることにより、ウェル９１内におけるカメラ４０の焦点位置を、光軸に沿って変化させてもよい。また、撮影対象物を保持する容器を昇降移動させることにより、容器に対するカメラ４０の焦点位置を、相対的に変化させてもよい。すなわち、本発明における「移動機構」は、カメラ４０全体または容器を移動させる機構であってもよい。

また、上記の実施形態では、細胞９３を保持する容器の位置が固定され、投光部２０およびカメラ４０が水平方向に移動していた。しかしながら、投光部２０およびカメラ４０の位置を固定して、容器を水平方向に移動させてもよい。ただし、撮影の途中で培養液９２中の細胞９３が変化すると、複数の撮影画像の間で、細胞９３の位置がずれやすい。このため、上記の実施形態のように、容器の位置は、固定されていることが好ましい。

また、上記の実施形態では、カメラ４０の焦点位置が６段階に変更可能であり、各ウェル９１について、６つの撮影画像Ｄ１〜Ｄ６を取得していた。しかしながら、ウェル９１毎の撮影画像の数は、２〜５つであってもよく、７つ以上であってもよい。

また、上記の実施形態や変形例に登場した各要素を、矛盾が生じない範囲で、適宜に組み合わせてもよい。

１ 撮像装置
９ ウェルプレート
１０ ステージ
２０ 投光部
３０ 投光部移動機構
４０ カメラ
４１ 光学系
４２ 撮像素子
５０ 焦点移動機構
６０ カメラ移動機構
７０ 制御部
７１ 撮像制御部
７２ 画像処理部
９１ ウェル
９２ 培養液
９３ 細胞
７２１ 画像記憶部
７２２ 鮮鋭度算出部
７２３ ピント位置判定部
７２４ 合成画像生成部
Ｈ１〜Ｈ６ 焦点位置
Ｄ１〜Ｄ６ 撮影画像
Ｄｗ，Ｄｂ 合成画像
Ｎ１，Ｎ２ 画像参照値
Ｐ 画素
ＰＡ 対応画素列
Ｑ１，Ｑ２ 鮮鋭度

Claims (13)

1. 複数の撮影画像に基づいて合成画像を生成する画像処理方法であって、
   ａ）焦点位置を光軸に沿って変化させつつ対象物を撮影することにより、複数の撮影画像を取得する工程と、
   ｂ）前記複数の撮影画像の各々について、所定のエリア毎に、第１鮮鋭度および第２鮮鋭度それぞれを算出する工程と、
   ｃ）前記複数の撮影画像の互いに対応するエリアの中から、前記第１鮮鋭度が極大となる第１エリア、および、前記第２鮮鋭度が極大となる第２エリア、それぞれを選出する工程と、
   ｄ）前記工程ｃ）において選出された第１エリアおよび第２エリアの位置関係が、正常であるか否かを判定し、正常でない場合には、選出された第１エリアおよび第２エリアの少なくとも一方を変更する工程と、
   ｅ）前記工程ｃ）および前記工程ｄ）において選出および変更されたエリアの輝度値を組み合わせて、合成画像を生成する工程と、
   を有する画像処理方法。
   
2. 請求項１に記載の画像処理方法であって、
   前記エリアは、１画素である画像処理方法。
3. 請求項２に記載の画像処理方法であって、
   前記工程ｂ）では、前記画素毎に、第１鮮鋭度および第２鮮鋭度を算出し、
   前記工程ｃ）は、
   ｃ１）前記複数の撮影画像の互いに対応する画素の中から、前記第１鮮鋭度が極大となる画素を、第１候補として選出する工程と、
   ｃ２）前記複数の撮影画像の互いに対応する画素の中から、前記第２鮮鋭度が極大となる画素を、第２候補として選出する工程と、
   を含み、
   前記工程ｄ）は、
   ｄ１）前記工程ｃ１）において選出された画素が属する撮影画像と、前記工程ｃ２）において選出された画素が属する撮影画像との関係が、正常であるか否かを判断する工程と、
   ｄ２）前記工程ｄ１）において、正常でないと判断された場合に、前記第１候補または前記第２候補を、他の撮影画像に属する画素に変更する工程と、
   を含む画像処理方法。
4. 請求項３に記載の画像処理方法であって、
   前記工程ｅ）では、前記第１候補の画素の輝度値を組み合わせて、第１合成画像を生成する画像処理方法。
5. 請求項３に記載の画像処理方法であって、
   前記工程ｅ）では、前記第２候補の画素の輝度値を組み合わせて、第２合成画像を生成する画像処理方法。
6. 請求項１から請求項５までのいずれか１項に記載の画像処理方法であって、
   前記対象物は細胞である画像処理方法。
7. 複数の撮影画像に基づいて合成画像を生成する画像処理装置であって、
   焦点位置を光軸に沿って変化させつつ対象物を撮影することにより取得された複数の撮影画像を記憶する画像記憶部と、
   前記複数の撮影画像の各々について、所定のエリア毎に第１鮮鋭度および第２鮮鋭度それぞれを算出する鮮鋭度算出部と、
   前記複数の撮影画像の互いに対応するエリアの中から、前記第１鮮鋭度が極大となる第１エリア、および、前記第２鮮鋭度が極大となる第２エリア、それぞれを選出するとともに、選出された前記第１エリアおよび前記第２エリアの位置関係が、正常であるか否かを判定し、正常でない場合には、選出された第１エリアおよび第２エリアの少なくとも一方を変更するピント位置判定部と、
   前記ピント位置判定部において選出および変更されたエリアの輝度値を組み合わせて、合成画像を生成する合成画像生成部と、
   を有する画像処理装置。
   
8. 請求項７に記載の画像処理装置であって、
   前記エリアは、１画素である画像処理装置。
9. 請求項８に記載の画像処理装置であって、
   前記鮮鋭度算出部は、前記画素毎に、第１鮮鋭度および第２鮮鋭度を算出し、
   前記ピント位置判定部は、
   １）前記複数の撮影画像の互いに対応する画素の中から、前記第１鮮鋭度が極大となる画素を、第１候補として選出する工程と、
   ２）前記複数の撮影画像の互いに対応する画素の中から、前記第２鮮鋭度が極大となる画素を、第２候補として選出する工程と、
   ３）前記工程１）において選出された画素が属する撮影画像と、前記工程ｃ２）において選出された画素が属する撮影画像との関係が、正常であるか否かを判断する工程と、
   ４）前記工程３）において、正常でないと判断された場合に、前記第１候補または前記第２候補を、他の撮影画素に属する画素に変更する工程と、
   を実行する画像処理装置。
10. 請求項９に記載の画像処理装置であって、
    前記合成画像生成部は、前記第１候補の画素の輝度値を組み合わせて、第１合成画像を生成する画像処理装置。
11. 請求項９に記載の画像処理装置であって、
    前記合成画像生成部は、前記第２候補の画素の輝度値を組み合わせて、第２合成画像を生成する画像処理装置。
12. 請求項７から請求項１１までのいずれか１項に記載の画像処理装置であって、
    前記対象物は細胞である画像処理装置。
13. 請求項７から請求項１２までのいずれか１項に記載の画像処理装置と、
    前記対象物を撮影するカメラと、
    前記対象物に向けて光を照射する投光部と、
    前記カメラの焦点位置を光軸に沿って変化させる移動機構と、
    を有する撮像装置。