JP6739061B2

JP6739061B2 - 画像生成装置、画像生成方法及びプログラム

Info

Publication number: JP6739061B2
Application number: JP2017038653A
Authority: JP
Inventors: 加藤　弓子; 弓子加藤; 太一佐藤; 好秀澤田
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-03-18
Filing date: 2017-03-01
Publication date: 2020-08-12
Anticipated expiration: 2037-03-01
Also published as: US20170270662A1; US10295525B2; CN107203034A; JP2018082416A; CN107203034B

Description

本開示は、レンズレス顕微鏡における、複数の光源による複数の撮影画像に基づいて生成する仮想的な合焦面を用いて対象物の画像を生成する技術に関する。

培養細胞を染色することなく連続的に観察したいという要求は、治療用の細胞の産生、薬効の試験等、培養細胞を医療、産業に用いる多くの分野にある。しかしながら、細胞の多くは、ほとんど無色透明であるため、透過光による光学顕微鏡での撮影では、培養細胞の立体構造がわかりにくい。

特許文献１では、細胞の断面形状を評価するために、対物レンズに平行であって、対象物に対して焦点の高さ位置が異なる多数の画像（すなわちピントを対象物の高さ方向にずらしながら撮影した多数の画像）から、対物レンズと平行でない面の合焦画像（擬似断面画像）を生成する方法を示している。

ところで、培養細胞の連続的観察は、細胞を培養するための多湿な環境を維持するためのインキュベータという限られた空間内で行われる。このような多湿な限られた空間内での観察のために、特許文献２は、レンズを用いずに微小な細胞を観察することのできるレンズレス顕微鏡を開示している。複数の異なる位置から照射する照明によって撮影された複数の画像を重ね合わせて（Ｐｔｙｃｈｏｇｒａｐｈｙ）、解像度を高める方法を開示している。

特開２０１３−１０１５１２号公報米国特許出願公開第２０１４／０１３３７０２号明細書

しかしながら、特許文献１の方法では、撮影した後に各高さ位置の画像から部分画像を切り出し、切り出された部分画像をつなぎ合わせるので、部分画像のつなぎ目に不連続が発生する。その結果、擬似断面画像の画質は、不連続により劣化する。また、不連続による画質劣化を低減するために不連続部分にぼかし処理が施されれば、擬似断面画像の鮮鋭さが低下する。

そこで、本開示の非限定的で例示的な一態様は、複数の撮影画像を用いて生成した仮想的な焦点面の高画質な合焦画像を用いて対象物の画像を生成することができる画像生成装置等を提供する。

本開示の一態様に係る画像生成装置は、複数の照明器と、対象物が載置される表面と複数のセンサ画素とを有するイメージセンサと、前記複数の照明器及び前記イメージセンサの間に位置する仮想的な複数の基準焦点面に対応する複数の基準合焦画像を生成し、前記複数の基準合焦画像を用いて、前記対象物の３次元画像を生成する制御回路とを備え、前記イメージセンサは、前記複数の照明器のそれぞれが照明する毎に、前記複数のセンサ画素で受光される光に基づく輝度値を用いて、複数の撮影画像を取得し、前記複数の基準合焦画像は、複数の合焦画素で構成されており、前記制御回路は、（ａ１）前記イメージセンサにより撮影された複数の撮影画像を取得し、（ａ２）前記複数の基準焦点面の情報を取得し、ここで、前記複数の基準焦点面は、前記対象物を通り且つ互いに間隔をあけて位置しており、（ａ３）前記複数の基準焦点面の情報と前記複数の撮影画像とを用いて、前記複数の基準合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記複数の基準合焦画像を生成し、（ａ４）前記複数の基準合焦画像のうちの前記対象物の輪郭のコントラストが最も高い前記基準合焦画像を用いて、前記対象物の輪郭を抽出し、（ａ５）抽出した前記対象物の輪郭に基づき前記対象物の立体的な輪郭を特定し、（ａ６）前記複数の基準合焦画像それぞれから、前記立体的な輪郭の外側に相当する領域を除去することによって、前記対象物の複数の基準断面画像を生成し、（ａ７）前記複数の基準断面画像を用いて、前記対象物の３次元画像を生成し、前記３次元画像を表示画面に表示させる。

なお、この包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）などの不揮発性の記録媒体を含む。

本開示の一態様に係る画像生成方法は、イメージセンサ上に位置する対象物の画像を生成する画像生成方法であって、（ｂ１）複数の照明器のそれぞれを照明する毎に、前記イメージセンサの複数のセンサ画素で受光される光に基づく輝度値を用いて、複数の撮影画像を取得し、（ｂ２）前記複数の照明器及び前記イメージセンサの間に位置する仮想的な複数の基準焦点面を設定し、ここで、前記複数の基準焦点面は、前記対象物を通り且つ互いに間隔をあけて位置し、（ｂ３）前記複数の基準焦点面に対応する複数の基準合焦画像を生成することであって、前記複数の基準焦点面の情報と前記複数の撮影画像とを用いて、前記複数の基準合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記複数の基準合焦画像を生成し、（ｂ４）前記複数の基準合焦画像のうちから前記対象物の輪郭のコントラストが最も高い前記基準合焦画像を用いて、前記対象物の輪郭を抽出し、（ｂ５）抽出した前記対象物の輪郭に基づき前記対象物の立体的な輪郭を特定し、（ｂ６）前記複数の基準合焦画像それぞれから、前記立体的な輪郭の外側に相当する領域を除去することによって、前記対象物の複数の基準断面画像を生成し、（ｂ７）前記複数の基準断面画像を用いて、前記対象物の３次元画像を生成し、前記３次元画像を表示画面に表示させ、前記（ｂ１）〜（ｂ７）の少なくとも１つは制御回路により実行される。

本開示の一態様に係るプログラムは、コンピュータに実行させるプログラムであって、（ｅ１）イメージセンサ上に位置する対象物の複数の撮影画像を取得し、ここで、前記複数の撮影画像は、複数の照明器のそれぞれを照明する毎に、前記イメージセンサの複数のセンサ画素で受光される光に基づく輝度値を用いて、前記イメージセンサによって取得され、（ｅ２）前記複数の照明器及び前記イメージセンサの間に位置する仮想的な複数の基準焦点面を設定し、ここで、前記複数の基準焦点面は、前記複数の照明器及び前記イメージセンサの間で、前記対象物を通り且つ互いに間隔をあけて位置し、（ｅ３）前記複数の基準焦点面に対応する複数の基準合焦画像を生成することであって、前記複数の基準焦点面の情報と前記複数の撮影画像とを用いて、前記複数の基準合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記複数の基準合焦画像を生成し、（ｅ４）前記複数の基準合焦画像のうちから前記対象物の輪郭のコントラストが最も高い前記基準合焦画像を用いて、前記対象物の輪郭を抽出し、（ｅ５）抽出した前記対象物の輪郭に基づき前記対象物の立体的な輪郭を特定し、（ｅ６）前記複数の基準合焦画像それぞれから、前記立体的な輪郭の外側に相当する領域を除去することによって、前記対象物の複数の基準断面画像を生成し、（ｅ７）前記複数の基準断面画像を用いて、前記対象物の３次元画像を生成し、前記３次元画像を表示画面に表示させる。

本開示によれば、複数の撮影画像を用いて生成した仮想的な焦点面の高画質な合焦画像を用いて対象物の画像を生成することができる。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。

実施の形態１に係る画像生成システムの機能的な構成の一例を示すブロック図である。実施の形態１に係る照明器の構造の一例を模式的に示す図である。実施の形態１に係る照明器の構造の一例を模式的に示す図である。実施の形態１に係る照明器の構造の一例を模式的に示す図である。実施の形態１に係る照明器に含まれるピンホールが満たすべき大きさ条件を説明する模式図である。実施の形態１に係る記憶部が記憶する内容の一例を示す図である。実施の形態１に係る画像生成システムの動作の一例を示すフローチャートである。座標と焦点面との関係の一例を示す模式図である。実施の形態１に係る撮影装置の動作の一例を示すフローチャートである。実施の形態１に係るリフォーカス処理部の動作の一例を示すフローチャートである。実施の形態１に係るリフォーカス処理の具体例を説明する模式図である。実施の形態１に係るリフォーカス処理の具体例を説明する模式図である。実施の形態１に係るリフォーカス処理の具体例を説明する模式図である。実施の形態１に係るリフォーカス処理の具体例を説明する模式図である。実施の形態１に係るリフォーカス処理の具体例を説明する模式図である。実施の形態１に係るリフォーカス処理部の動作の一例を示すフローチャートである。撮影対象物の一例の胚の斜視図を示す図である。複数の基準焦点面の基準合焦画像をその配置順序に従って一列に積み重ねて示す模式図である。複数の基準合焦画像を画像として表示した例の写真を示す図である。複数の背景除去合焦画像をそれぞれに対応する基準焦点面の配置順序に従って一列に積み重ねて示す図である。複数の背景除去合焦画像を画像として表示した例の写真を示す図である。輪郭基準合焦画像の一例を示す模式図である。胚の３次元的な輪郭の一例を示す模式図である。複数の基準断面画像の一例を示す図である。複数の基準断面画像を画像として表示した例の写真を示す図である。表示部がその表示画面上に表示する胚の３Ｄモデルの一例を示す図である。表示部がその表示画面上に表示する胚の３Ｄモデルの一例を示す図である。表示部がその表示画面上に表示する胚の３Ｄモデルの一例を示す図である。図２６Ｃを表示画面上に表示した例の一部を写真で示す図である。実施の形態１に係る画像生成システムによる胚の詳細な断面画像の表示動作の一例を示すフローチャートである。詳細に表示する胚の断面に交差する２つの基準焦点面の基準断面画像の画素を用いて、当該断面上の画素の輝度値を推定するケースの例を示す図である。詳細に表示する胚の断面上の画素の算出に用いられる当該画素と２つの基準断面画像の画素との関係を示す図である。実施の形態２に係る画像生成システムの機能的な構成の一例を示すブロック図である。第１記録部が記憶する初期胚モデルの一例を示す図である。第１記録部が記憶する最適断面設定テーブルの一例を示す図である。実施の形態２に係る画像生成システムの最適断面画像の表示動作の一例を示すフローチャートである。複数の照明器を、照明器からイメージセンサに向かう方向で見た平面図を示す図である。撮影画像群内の複数の撮影画像の間での各要素の対応関係を示す図である。複数の撮影画像の各要素の中心の位置を示す図である。複数の撮影画像間の各要素の中心の位置関係を示す図である。複数の撮影画像の要素の中心と照明器との位置関係を示す図である。胚に含まれる２つの細胞の中心の間の位置関係を示す図である。胚の最適断面画像が表示部の表示画面上に表示される一例を示す図である。胚の最適断面画像を画像として表示した例の写真を示す図である。表示部がその表示画面上に表示する焦点面変更画面の一例を示す図である。焦点面変更画面を画像として表示した例の写真を示す図である。実施の形態の変形例１に係るリフォーカス処理部の動作の一例を示すフローチャートである。実施の形態の変形例２に係るリフォーカス処理部の動作の一例を示すフローチャートである。実施の形態の変形例２に係るリフォーカス処理の具体例を説明する模式図である。実施の形態の変形例２に係るリフォーカス処理の具体例を説明する模式図である。実施の形態の変形例２に係るリフォーカス処理の具体例を説明する模式図である。実施の形態の変形例２に係るリフォーカス処理の具体例を説明する模式図である。実施の形態の変形例３に係る画像生成システムの機能的な構成の一例を示すブロック図である。実施の形態の変形例３における照明位置の範囲の一例を模式的に示す図である。レンズの焦点距離及び被写界深度の関係と、リフォーカシングする際の点光源の配置及び被写界深度の関係とを対応付けて示した模式図である。実施の形態の変形例３に係る画像生成システムの動作の一例を示すフローチャートである。

本態様によれば、対象物を通る複数の焦点面についての複数の合焦画像つまり基準合焦画像を生成し、生成した合焦画像を使用して対象物の３次元画像の生成が可能である。対象物を通る複数の焦点面についての合焦画像を用いることによって、対象物が半透明又は透明であっても、対象物の３次元画像は対象物の内部に含まれる内包物も含めて立体的に表示され得る。また、対象物の全ての領域において、合焦画像を生成するのではなく、複数の焦点面についての合焦画像を生成するため、対象物の３次元画像の生成に要する処理量の低減も可能である。なお、対象物が載置されるイメージセンサの表面は、イメージセンサのセンサ画素の上の表面を含む。

本開示の一態様に係る画像生成装置において、前記制御回路は、外部から入力される指令に従って、表示している前記対象物の３次元画像上で前記対象物の断面を選択し、選択した前記対象物の断面の画像を、前記複数の基準合焦画像を構成する複数の画素の輝度を用いて生成し、前記対象物の断面の画像を構成する複数の断面画素の輝度値をそれぞれ、前記断面画素上の前記基準合焦画像の画素の輝度値又は前記断面画素の近傍の前記基準合焦画像の画素の輝度値を用いて、算出してもよい。

本態様によれば、対象物の３次元画像を用いて任意の断面を選択し、選択した断面の画像の表示が可能である。対象物の断面画像を構成する複数の断面画素の輝度値が、断面画素上の基準合焦画像の画素の輝度値又は断面画素の近傍の基準合焦画像の画素の輝度値を用いて算出されるため、対象物の断面画像は、途切れ、ぼやけ等を低減した鮮明な画像となり得る。

本開示の一態様に係る画像生成装置において、前記断面画素の輝度値の算出に用いられる前記断面画素の近傍の前記基準合焦画像の画素は、前記断面画素を挟んで位置する２つの前記基準焦点面それぞれの前記基準合焦画像の画素であってもよい。本態様によれば、断面画素の輝度値は、断面画素を挟んで両側の基準焦点面の基準合焦画像の画素を用いて算出されるため、高い精度を有し得る。

本開示の一態様に係る画像生成装置において、前記制御回路は、前記対象物の参考用断面を示す参考断面画像を生成し且つ前記参考断面画像を前記表示画面に表示させ、前記制御回路は、前記参考断面画像を構成する複数の画素の輝度値を、前記参考断面画像の画素上の前記基準合焦画像の画素の輝度値とすることによって、前記参考断面画像を生成してもよい。本態様によれば、ユーザは、参考断面画像を参照しつつ、表示すべき対象物の断面を選定することができる。また、参考断面画像の画素の輝度値は、基準合焦画像の画素の輝度値をそのまま用いたものであるため、参考断面画像の生成が簡易である。

本開示の一態様に係る画像生成装置において、前記制御回路は、前記照明器の位置と前記合焦画素の位置と前記センサ画素の位置とが直線上に並ぶ関係にある前記センサ画素それぞれの輝度値を用いることによって、前記合焦画素の輝度値を算出してもよい。本態様によれば、焦点面における合焦画像の各画素に、当該画素に対応する複数の撮影画像の輝度値を反映することができ、対象物の高画質な合焦画像を生成することができる。

本開示の一態様に係る画像生成装置において、前記対象物は胚であり、前記基準合焦画像に含まれる前記胚の輪郭は、円状であり、前記胚の立体的な輪郭は、球状であってもよい。本態様において、胚内の細胞は、胚の外部から透けて見える。イメージセンサは、照明器によって照明された胚及び細胞の撮影画像を取得することができる。このような構成を有する胚は、画像生成装置による画像の生成に好適である。

本開示の一態様に係る画像生成方法において、（ｃ１）前記対象物の３次元画像上で前記対象物の断面を選択し、（ｃ２）選択した前記対象物の断面の画像を、前記複数の基準合焦画像を構成する複数の画素の輝度を用いて生成し、（ｃ３）前記対象物の断面の画像を構成する複数の断面画素の輝度値をそれぞれ、前記断面画素上の前記基準合焦画像の画素の輝度値又は前記断面画素の近傍の前記基準合焦画像の画素の輝度値を用いて、算出してもよい。

さらに、本開示の一態様に係る画像生成方法において、前記断面画素の輝度値の算出では、前記断面画素の近傍の前記基準合焦画像の画素として、前記断面画素を挟んで位置する２つの前記基準焦点面それぞれの前記基準合焦画像の画素を用いてもよい。

本開示の一態様に係る画像生成方法において、（ｄ１）前記対象物の参考用断面を示す参考断面画像を生成し且つ前記参考断面画像を前記表示画面に表示させ、前記参考断面画像の生成では、前記参考断面画像を構成する複数の画素の輝度値を、前記参考断面画像の画素上の前記基準合焦画像の画素の輝度値としてもよい。

本開示の一態様に係る画像生成方法において、前記照明器の位置と前記合焦画素の位置と前記センサ画素の位置とが直線上に並ぶ関係にある前記センサ画素それぞれの輝度値を用いて、前記合焦画素の輝度値を算出してもよい。

本開示の一態様に係る画像生成方法において、前記対象物は胚であり、前記基準合焦画像に含まれる前記胚の輪郭は、円状であり、前記胚の立体的な輪郭は、球状であってもよい。

本開示の他の態様に係る画像生成装置は、複数の照明器と、対象物が載置される表面を有するイメージセンサと、前記複数の照明器及び前記イメージセンサの間に位置する仮想的な焦点面における前記対象物の合焦画像を生成する制御回路とを備え、前記対象物は、第一対象物と、前記第一対象物内に含まれる第二対象物とを含み、前記制御回路は、（ａ１）前記複数の照明器のそれぞれが照明する際に前記イメージセンサが撮影した複数の撮影画像を取得し、（ａ２）取得した前記撮影画像それぞれに含まれる前記第二対象物の特徴点を特定し、（ａ３）前記撮影画像それぞれの前記第二対象物の特徴点の位置と、前記複数の照明器の位置とに基づき、前記第二対象物の特徴点の立体的な位置を算出し、（ａ４）前記第二対象物の特徴点を最も多く含む前記第一対象物の断面を求めて、前記断面の合焦画像を生成し、前記断面の合焦画像を表示画面に表示させる。

本態様によれば、画像生成装置は、第一対象物内の第二対象物の特徴点を最も多く含む断面を選定し、選定した断面の合焦画像を表示する。表示される断面の合焦画像は、第一対象物の内部の多くの特徴を表示することができる。よって、画像生成装置は、ユーザに有益な情報を自動的に生成し提供することができる。

本開示の他の態様に係る画像生成装置において、前記制御回路は、前記第二対象物の特徴点を特定する際、前記撮影画像間で前記第二対象物の特徴点を対応付けてもよい。本態様によれば、撮影画像間において対応する第二対象物の特徴点が特定される。例えば、２つ以上の特徴点が設定される場合、撮影画像間で対応する特徴点の位置関係の算出が可能になる。これにより、２つ以上の第二対象物がある場合、画像生成装置は、各第二対象物と特徴点とを対応付けることによって、断面の合焦画像に、より多くの第二対象物を表示することができる。

本開示の他の態様に係る画像生成装置において、前記第一対象物は、球形状の胚であり、前記第二対象物は、細胞であり、前記特徴点は、前記細胞の中心点であってもよい。本態様において、胚内の細胞は、胚の外部から透けて見える。イメージセンサは、照明器によって照明された胚及び細胞の撮影画像を取得することができる。このような構成を有する胚は、画像生成装置による画像の生成に好適である。

本開示の他の態様に係る画像生成方法は、前記画像生成方法が、複数の照明器及びイメージセンサの間に位置する仮想的な焦点面の合焦画像を用いて、前記イメージセンサ上に位置する対象物の画像を生成し、前記対象物が、第一対象物と、前記第一対象物内に含まれる第二対象物とを含む画像生成方法であって、（ｂ１）前記複数の照明器を順番に照明して撮影された複数の撮影画像を取得し、（ｂ２）取得した前記撮影画像それぞれに含まれる前記第二対象物の特徴点を特定し、（ｂ３）前記撮影画像それぞれの前記第二対象物の特徴点の位置と、前記複数の照明器の位置とに基づき、前記第二対象物の特徴点の立体的な位置を算出し、（ｂ４）前記第二対象物の特徴点を最も多く含む前記第一対象物の断面を求めて、前記断面の合焦画像を生成し、前記断面の合焦画像を表示画面に表示させ、前記（ｂ１）〜（ｂ４）の少なくとも１つは制御回路により実行される。

本開示の他の態様に係る画像生成方法において、前記第二対象物の特徴点を特定する際、前記撮影画像間で前記第二対象物の特徴点を対応付けてもよい。

また、本開示の他の態様に係る画像生成方法において、前記第一対象物は、球形状の胚であり、前記第二対象物は、細胞であり、前記特徴点は、前記細胞の中心点であってもよい。

本開示の他の態様に係るプログラムは、コンピュータに実行させるプログラムであって、（ｃ１）複数の照明器それぞれが照明する際にイメージセンサによって撮影された対象物の複数の撮影画像を取得し、前記対象物は、前記イメージセンサ上に位置し、前記対象物が、第一対象物と、前記第一対象物内に含まれる第二対象物とを含み、（ｃ２）取得した前記撮影画像それぞれに含まれる前記第二対象物の特徴点を特定し、（ｃ３）前記撮影画像それぞれの前記第二対象物の特徴点の位置と、前記複数の照明器の位置とに基づき、前記第二対象物の特徴点の立体的な位置を算出し、（ｃ４）前記第二対象物の特徴点を最も多く含む前記第一対象物の断面を求めて、前記断面を仮想的な焦点面とする合焦画像を生成し、前記合焦画像を表示画面に表示させる。

本開示の他の態様に係るプログラムにおいて、前記第二対象物の特徴点を特定する際、前記撮影画像間で前記第二対象物の特徴点を対応付けてもよい。

また、本開示の他の態様に係るプログラムにおいて、前記第一対象物は、球形状の胚であり、前記第二対象物は、細胞であり、前記特徴点は、前記細胞の中心点であってもよい。

なお、これら画像生成装置及び画像生成方法の全般的又は具体的な態様は、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、装置、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。例えば、画像生成方法は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などのプロセッサ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。

また、これらプログラムは、実施の形態での処理は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよい。例えば、上記プログラム及び上記プログラムからなるデジタル信号は、コンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ）、半導体メモリ等に記録したものであってもよい。また、上記プログラム及び上記プログラムからなるデジタル信号は、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものであってもよい。また、上記プログラム及び上記プログラムからなるデジタル信号は、記録媒体に記録して移送されることにより、又はネットワーク等を経由して移送されることにより、独立した他のコンピュータシステムにより実施されてもよい。

以下、本開示の一態様に係る画像生成システムについて、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、以下の実施の形態の説明において、略平行、略直交のような「略」を伴った表現が、用いられる場合がある。例えば、略平行とは、完全に平行であることを意味するだけでなく、実質的に平行である、すなわち、例えば数％程度の差異を含むことも意味する。他の「略」を伴った表現についても同様である。

［実施の形態１］
実施の形態１に係る画像生成装置を含む画像生成システムは、イメージセンサ上に位置する対象物に複数の照明器が順に照明し、照明する毎に対象物を撮影することで得られた複数の撮影画像を用いて、複数の照明器とイメージセンサとの間に位置する仮想的な焦点面における対象物の画像を生成する。なお、この複数の撮影画像を用いて生成された画像を合焦画像又はリフォーカシング画像とも呼び、撮影画像を用いて仮想的な焦点面における対象物の画像を生成することをリフォーカス処理とも呼ぶ。リフォーカス処理では、撮影画素を用いて仮想的な焦点面における画素が求められてもよい。画像生成システムは、複数の仮想的な焦点面における合焦画像を生成し、生成した複数の合焦画像を用いて、対象物の３次元モデル（３Ｄモデル）を生成する。さらに、画像生成システムは、３Ｄモデルに含まれる複数の合焦画像を用いて、３Ｄモデルにおける任意の断面画像を生成する。

［１−１．画像生成システムの構成］
［１−１−１．画像生成システムの全体構成］
図１は、実施の形態１に係る画像生成システム１０の機能ブロック図である。図１に示される画像生成システム１０は、撮影装置１００と、画像生成装置２００と、記憶部１２０と、表示部１５０とを備える。画像生成システム１０は、さらに、予め定められた焦点面及び撮影対象物の形状等の情報を記憶している第１記録部１２１と、リフォーカス処理済みの画素の情報を記録する第２記録部１２２と、焦点面を指定する指定情報の入力を受け付ける焦点面入力部１３０と、表示部１５０に表示される表示物に与えられる動作指令の入力を受け付けるＣＧ操作入力部１４０とを備えてもよい。表示部１５０は、ディスプレイによって実現され、画像操作部２６０、断面画像生成部２７０によって生成される画像等を表示する。焦点面入力部１３０及びＣＧ操作入力部１４０は、コンピュータ装置などのキーボード、マウス、タッチパッド等の種々の入力装置によって実現されてもよく、表示部１５０を構成するタッチスクリーン等の画面を介した入力装置によって実現されてもよい。

［１−１−２．撮影装置の構成］
まず、撮影装置１００の構成について説明する。撮影装置１００は、複数の照明器１０１と、イメージセンサ１０２と、撮影制御部１０３とを備える。撮影装置１００は、対象物の撮影画像（ｐｈｏｔｏｇｒａｐｈｉｃｉｍａｇｅ）を取得する。ここでは、撮影装置１００は、フォーカスレンズを有さない。

撮影の対象物は、例えばイメージセンサ１０２の表面上に配置される複数の半透明の物質である。具体的には、対象物は、後述するイメージセンサ１０２が有するセンサ画素としての複数の画素の上に、載置される。対象物が載置されるイメージセンサ１０２の表面は、イメージセンサ１０２の画素の上の表面を含む。対象物の具体例は、脊椎動物の受精卵の初期胚、つまり球状の胚である。対象物内において、複数の物質が３次元的に重なって位置する。複数の物質の具体例は、球状の細胞である。ここで、胚は、第一対象物の一例であり、細胞は、第二対象物の一例である。以下、胚を用いて、実施の形態１を説明する。なお、第一対象物としての撮影の対象物の形状は、球形状に限定されず、いかなる形状であってもよい。例えば、撮影の対象物の形状は、楕円体、柱状体、多面体等であってもよい。第二対象物としての複数の物質の形状は、球形状に限定されず、いかなる形状であってもよい。例えば、複数の物質の形状は、楕円体、柱状体、多面体等であってもよい。第一対象物としての撮影の対象物は、撮影されるときに、その内部の第二対象物としての複数の物質も撮影されるように、例えば、透明又は半透明に形成されてもよい。第二対象物としての複数の物質は、照明器１０１の光が透過するように、例えば、透明又は半透明に形成されてもよいが、透明及び半透明以外の構成を有してもよい。第二対象物としての物質は、複数の物質で構成されなくてもよく、１つの物質で構成されてもよい。

複数の照明器１０１は、例えば、線形上又は面状に配列されて設置される。複数の照明器１０１の各々は、平行光を出力する照明器、又は拡散光を出力する照明器である。複数の照明器１０１は、第１の照明器及び第２の照明器を含む。第１の照明器及び第２の照明器のそれぞれは、交錯しない光を照射する。すなわち、第１の照明器から照射された第１の光を表す複数の第１の光線は、互いに交わらない。また、第２の照明器から照射された第２の光を表す複数の第２の光線も、互いに交わらない。したがって、第１の照明器及び第２の照明器のどちらか一方から光を照射した場合に、第１の照明器及び第２の照明器の当該一方からの光は、イメージセンサ１０２に含まれる１つの画素に単一の方向から到達する。つまり、１つの画素に対して２つ以上の方向から光が到達しない。

以下において、このような照明を非交錯照明と呼ぶ。非交錯照明は、例えば平行光、または、点光源からの拡散光によって実現できる。複数の照明器１０１は、順に、光を照射する。複数の照明器１０１は、互いに異なる位置に配置され、互いに異なる方向から対象物に光を照射する。

イメージセンサ１０２は、複数の画素をセンサ画素として有する。イメージセンサ１０２の各画素は、受光面に配置され、複数の照明器１０１から照射された光の強度を取得する。イメージセンサ１０２は、各画素により取得された光の強度に基づいて、撮影画像を取得する。

イメージセンサ１０２の例は、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ又はＣＣＤ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。

撮影制御部１０３は、複数の照明器１０１による光の照射及びイメージセンサ１０２による撮影を制御する。具体的には、撮影制御部１０３は、複数の照明器１０１が光を照射する順番、複数の照明器１０１が光を照射する時間間隔を制御する。撮影制御部１０３は、ＣＰＵ、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）などからなるコンピュータシステム（図示せず）により構成される。撮影制御部１０３の構成要素の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、撮影制御部１０３の構成要素の一部又は全部の機能は、専用のハードウェア回路によって達成されてもよい。

イメージセンサ１０２の受光面に対して互いに異なる位置に配置された複数の照明器１０１から照射される光は、受光面に対して異なる入射角で入射する。複数の照明器１０１が平行光を照射する場合は、複数の照明器１０１は、イメージセンサ１０２の受光面に対する入射角が互いに異なる平行光を照射する。平行光は、例えば図２に示すように、遮光板１０１Ｂに形成されたピンホール１０１Ｃを介してＬＥＤ光源１０１Ａから射出された光をコリメートレンズ１０１Ｄにより屈折させることにより得られる。

図３は、複数の照明器１０１の構造の一例を説明する模式図である。図３の複数の照明器１０１の例では、平行光を照射する複数の光源１０１Ｅがイメージセンサ１０２の受光面に対して異なる角度で固定されている。図３の例では複数の光源１０１Ｅは、イメージセンサ１０２を覆う半球１０１Ｆの内面に配置されている。複数の光源１０１Ｅからイメージセンサ１０２の受光面に到達する光の受光面への入射角は互いに異なる。

図４は、複数の照明器１０１の構造の別の一例を説明する模式図である。図４の複数の照明器１０１の例では、複数の擬似点光源１０１Ｇが、イメージセンサ１０２の受光面と平行な平面１０１Ｈ上の異なる位置に、イメージセンサ１０２側に向けて配置されている。複数の擬似点光源１０１Ｇからの光は、イメージセンサ１０２の受光面の各画素に対して、異なる方向から入射する。複数の擬似点光源１０１Ｇの各々は、例えば、ＬＥＤ光源１０１Ａの近傍にピンホール１０１Ｃを有する遮光板１０１Ｂを置くことで実現される。ピンホール１０１Ｃの大きさは、イメージセンサ１０２の画素ピッチと、イメージセンサ１０２とピンホール１０１Ｃとの距離、合焦画像を生成する点のイメージセンサ１０２からの距離とによって制限される。

図５は、ピンホールが満たすべき大きさの条件を説明する模式図である。ここで、ｄ１は、ピンホール１０１Ｃの直径を表す。ｈ１は、イメージセンサ１０２の受光面からピンホール１０１Ｃまでの距離を表す。ｈ２は、イメージセンサ１０２の受光面から合焦点１０１Ｊ（すなわち合焦画像中の任意の画素の焦点面上の位置にある点）までの距離を表す。ｄ２は、ピンホール１０１Ｃから合焦点を透過してイメージセンサ１０２の受光面に到達する光の広がりの直径を表す。ｐは、イメージセンサ１０２の画素ピッチを表す。

このとき、ピンホール１０１Ｃから射出された光は、合焦点１０１Ｊを通過してイメージセンサ１０２の受光面の１点に到達することが理想である。すなわち、ピンホール１０１Ｃから射出された光は、合焦点１０１Ｊを通過してイメージセンサ１０２の１画素にのみ到達することが望ましい。したがって、ｄ２がイメージセンサの画素ピッチｐを超えない大きさであることが望ましい。つまり、以下の式１に示すようにｄ２＜ｐが非交錯照明を実現するための条件である。

ｄ１が満たすべき条件は、この式１を変形することにより以下の式２のように表すことができる。

例えば、画素ピッチｐが０．００１ｍｍであり、イメージセンサ１０２の受光面からピンホール１０１Ｃまでの距離ｈ１が２ｍｍ、イメージセンサ１０２から合焦点１０１Ｊまでの距離ｈ２が０．１ｍｍである場合、ピンホールの直径ｄ１は０．１９ｍｍ未満であってもよい。

［１−１−３．画像生成装置の構成］
次に、画像生成装置２００の構成について説明する。画像生成装置２００は、制御回路によって実現される。図１に示すように、画像生成装置２００は、焦点面決定部２１０と、リフォーカス処理部２２０と、合焦画像生成部２３０と、対象物抽出部２４０と、３Ｄ画像生成部２５０と、画像操作部２６０と、断面画像生成部２７０とを備える。

焦点面決定部２１０は、例えば制御回路又はプロセッサによって実現され、複数の照明器１０１及びイメージセンサ１０２の間に位置する仮想的な焦点面を決定する。具体的には、焦点面決定部２１０は、例えば、第１記録部１２１に記録された予め定められた焦点面の情報に基づいて焦点面を決定する。また例えば、焦点面決定部２１０は、焦点面入力部１３０を介して外部から入力された情報に従って焦点面を決定してもよい。本実施の形態では、焦点面決定部２１０は、イメージセンサ１０２の受光面に略平行である複数の焦点面を決定する。言い換えると、本実施形態における焦点面は平面である。

記憶部１２０は、例えば半導体メモリ又はハードディスクドライブ等によって実現され、イメージセンサ１０２で撮影された画像を、当該撮影に用いられた照明器の位置情報とともに記憶する。

図６は、記憶部１２０が記憶する内容の一例を示す。記憶部１２０には、撮影装置１００によって撮影された画像ファイルごとに、当該画像ファイルの取得時に用いられた照明器の位置情報が組み合わされて記憶されている。図６の例では、照明器の位置情報は、イメージセンサ１０２に対する相対的な位置を示す。以下において、この照明器の位置情報を照明位置情報とも呼ぶ。照明位置情報は、画像ファイルのファイルＩＤとともに記憶されており、画像データとファイルＩＤを介して結合されている。なお、照明位置情報は、画像ファイルの一部（例えばヘッダ情報）に記録されてもよい。

図１を参照すると、リフォーカス処理部２２０は、例えば制御回路又はプロセッサによって実現され、複数の画像と、複数の照明器１０１の位置情報と、仮想的な焦点面の情報とから、当該焦点面における合焦画像を構成する画素ごとの光の強度を計算する。本実施の形態では、リフォーカス処理部２２０は、複数の焦点面における合焦画像を構成する画素ごとの光の強度を計算する。このリフォーカス処理の詳細は後述する。

合焦画像生成部２３０は、例えば制御回路又はプロセッサによって実現され、リフォーカス処理部２２０で計算された画素ごとの輝度値から、各焦点面における合焦画像を生成する。

対象物抽出部２４０は、例えば制御回路又はプロセッサによって実現される。対象物抽出部２４０は、各焦点面の合焦画像において、対象物が写し出されている領域である写出領域の輪郭を特定し、この輪郭の外側にある背景を合焦画像から除去する。つまり、対象物抽出部２４０は、背景除去合焦画像を生成する。

３Ｄ画像生成部２５０は、例えば制御回路又はプロセッサによって実現される。３Ｄ画像生成部２５０は、複数の背景除去合焦画像のうちから、写出領域の輪郭のコントラストが最も強い画像である輪郭基準合焦画像を抽出する。３Ｄ画像生成部２５０は、輪郭基準合焦画像に含まれる２次元的な輪郭の形状と、第１記録部１２１に記憶される対象物の形状とから、対象物の具体的な３次元的輪郭を特定する。さらに、３Ｄ画像生成部２５０は、複数の背景除去合焦画像と対象物の３次元的輪郭とを関連付け、複数の背景除去合焦画像それぞれにおいて３次元的輪郭外に含まれる領域を除去する。これにより、複数の背景除去合焦画像それぞれに対応する対象物の断面画像が生成されることになる。これらの断面画像は、予め設定された焦点面での断面画像であり、基準断面画像と呼ぶ。３Ｄ画像生成部２５０は、複数の基準断面画像を用いて対象物の３Ｄモデルを生成する。この３Ｄモデルは、対象物の３次元的輪郭及び複数の基準断面画像に関する情報を含み得る。

画像操作部２６０は、例えば制御回路又はプロセッサによって実現される。画像操作部２６０は、３Ｄ画像生成部２５０が生成した対象物の３Ｄモデルを表示部１５０に表示する。このとき、画像操作部２６０は、対象物の３次元的な輪郭等を表示部１５０に表示する。さらに、画像操作部２６０は、対象物の断面の位置が選択されたとき、選択された断面の簡易画像を、対象物の３次元的な輪郭とともに表示部１５０に表示する。この際、３Ｄ画像生成部２５０は、複数の基準断面画像に含まれる情報を用いて、対象物の簡易的な断面画像である参考断面画像を生成する。このため、例えば、選択された断面が、複数の基準断面画像に対応する焦点面（以下、基準断面画像平面とも呼ぶ）と交差する断面である場合、複数の基準断面画像平面間の領域は、参考断面画像には明確に表示されない。画像操作部２６０は、ＣＧ操作入力部１４０を介して表示すべき参考断面画像の位置を選択する指令を受け付け、この指令に基づき対象物の参考断面画像を表示する。画像操作部２６０は、例えば制御回路又はプロセッサによって実現される。画像操作部２６０は、３Ｄ画像生成部２５０が生成した対象物の３Ｄモデルを表示部１５０に表示する。

断面画像生成部２７０は、例えば制御回路又はプロセッサによって実現される。断面画像生成部２７０は、表示すべき対象物の断面の位置と、複数の基準断面画像に含まれる情報とを用いて、表示すべき対象物の断面の詳細な画像を生成し、表示部１５０に表示する。具体的には、断面画像生成部２７０は、表示すべき対象物の断面において、基準断面画像平面と重なる又は交差する部分の画素の輝度値として、当該基準断面画像の画素の輝度値を使用する。断面画像生成部２７０は、表示すべき対象物の断面において、基準断面画像平面と重なりも交差もしない領域内の画素の輝度値を、この画素の近傍に位置する基準断面画像平面の基準断面画像の画素の輝度値を使用して、算出する。つまり、断面画像生成部２７０は、表示すべき対象物の断面において基準断面画像の画素が適用される画素の間に存在する画素（以下、補間画素とも呼ぶ）の輝度値を算出する。そして、断面画像生成部２７０は、基準断面画像に含まれる画素の輝度値と、補間画素の輝度値とを用いて、対象物の断面の詳細な画像を生成する。断面画像生成部２７０は、生成した画像を表示部１５０に表示する。断面画像生成部２７０は、ＣＧ操作入力部１４０を介して表示すべき対象物の断面の位置が与えられ得る。具体的には、表示すべき対象物の断面は、ＣＧ操作入力部１４０を介して、表示部１５０に表示される対象物の参考断面画像のうちから選択することによって決定されてもよい。

［１−２．画像生成システムの動作］
［１−２−１．画像生成システムのリフォーカス処理の概略動作］
次に、以上のように構成された画像生成システム１０によるリフォーカス処理の概略動作つまり合焦画像の生成の概略動作について説明する。図７は、実施の形態１に係る画像生成システム１０の合焦画像の生成動作の一例を示すフローチャートである。図８は、座標と焦点面との関係の一例を示す模式図である。

（ステップＳ１１００）
まず、撮影装置１００の撮影制御部１０３は、複数の照明器１０１を順に用いて対象物を照明し、当該対象物の複数の画像を撮影する。具体的には、撮影制御部１０３は、複数の照明器１０１のそれぞれが対象物を照明するたびに、イメージセンサ１０２の受光面の各画素に到達した光の強度を記録することにより、対象物の画像を取得する。取得された画像は、撮影時に対象物を照明していた照明器の位置情報とともに記憶部１２０で記憶される。ここでは、複数の照明器１０１の位置は、イメージセンサ１０２に対して固定されており、複数の照明器１０１の各々の位置情報は予め定められている。撮影処理の詳細は後述する。

（ステップＳ１２００）
画像生成装置２００の焦点面決定部２１０は、焦点面を決定する。具体的には、焦点面決定部２１０は、イメージセンサ１０２に対する焦点面の位置及び傾き（角度）を決定する。例えば、焦点面決定部２１０は、第１記録部１２１に記憶される予め定められた焦点面の情報に基づいて焦点面を決定してもよい。または、焦点面決定部２１０は、焦点面入力部１３０によりユーザから受け付けられた、焦点面を指定する指定情報に基づいて、焦点面を決定してもよい。焦点面は、合焦画像が生成される仮想的な面に相当する。つまり、焦点面における対象物の合焦画像に含まれる複数の画素は、焦点面上の複数の点に一対一で対応する。例えば、焦点面決定部２１０は、焦点面の角度及び位置を用いて焦点面を決定する。焦点面の角度及び位置は、例えば図８に示すｘｙｚ空間によって定義される。

図８において、ｘｙ平面は、イメージセンサ１０２の受光面と一致する。ｚ軸は、イメージセンサ１０２の受光面に直交する。このとき、焦点面の角度は、イメージセンサ１０２の受光面の中心を原点とするｘｙｚ空間においてｘ軸及びｙ軸に対する角度で定義される。焦点面の位置は、焦点面の中心点の座標で定義される。断面画像生成部２７０は、例えば制御回路又はプロセッサによって実現される。断面画像生成部２７０は、表示すべき対象物の断面の位置と、複数の基準断面画像に含まれる情報とを用いて、表示すべき対象物の断面の詳細な画像を生成し、表示部１５０に表示する。

（ステップＳ１３００）
リフォーカス処理部２２０は、複数の撮影画像と、複数の照明器１０１の位置情報と、焦点面の情報とに基づいて、リフォーカス処理を行い、焦点面上の各画素つまり各点の輝度を求める。リフォーカス処理の詳細は後述する。

（ステップＳ１４００）
合焦画像生成部２３０は、ステップＳ１３００で行われたリフォーカス処理の結果に基づきディスプレイ等に出力可能な画像データとしての焦点面の合焦画像を生成する。

［１−２−２．撮影処理］
ここでステップＳ１１００の撮影装置１００の動作、具体的には撮影制御部１０３の動作の詳細を説明する。図９は、撮影装置１００の動作の一例を示すフローチャートである。

（ステップＳ１１１０）
撮影制御部１０３は、予め定められた複数の照明位置、または図示しない外部入力によって指定された複数の照明位置のリスト（以下、照明位置リストという）を参照して、各照明位置から照明された対象物の撮影が終了したか否かを判定する。複数の照明器１０１と照明位置リストに含まれる複数の照明位置は１対１に対応する。

ここで、照明位置リストに含まれるすべての照明位置からの照明による撮影が終了している場合（ステップＳ１１１０においてｙｅｓ）、焦点面を決定するためのステップＳ１２００へ進む。一方、照明位置リスト内のいずれかの照明位置からの照明による撮影が終了していない場合（ステップＳ１１１０においてｎｏ）、ステップＳ１１２０へ進む。

（ステップＳ１１２０）
撮影制御部１０３は、照明位置リストに含まれる複数の照明位置の中から、まだ照明が行われていない照明位置を選択し、複数の照明器１０１へ制御信号を出力する。なお、撮影制御部１０３は、まだ照明が行われていない照明位置が複数存在する場合は、一つの照明位置を選択する。照明位置リストにおいて、各照明位置は、例えば、照明位置ごとに割り当てられた番号によって示される。あるいは、各照明位置は、例えば、図８に示すｘｙｚ空間における座標値によって示される。照明位置の選択は、例えば、リストの昇順に行われる。

（ステップＳ１１３０）
複数の照明器１０１は、ステップＳ１１２０で撮影制御部１０３より出力された制御信号に従って、対象物への照明を開始する。つまり、ステップＳ１１２０で選択された照明位置にある照明器が光の照射を開始する。

（ステップＳ１１４０）
照明器によって対象物が照明されている間に、イメージセンサ１０２は、当該照明器から対象物を透過した光によって形成される画像を取得する。

（ステップＳ１１５０）
その後、撮影制御部１０３は、複数の照明器１０１へ制御信号を出力して、対象物への照明を停止する。なお、照明の停止は、撮影制御部１０３からの制御信号に従って行われなくてもよい。例えば、複数の照明器１０１は、照明を開始してからの時間長を計時して、計時した時間長が予め定められた時間長を超えたら照明を能動的に停止してもよい。あるいはステップＳ１１４０でイメージセンサ１０２が画像の取得を終了した後に、イメージセンサ１０２は、照明を停止するための制御信号を複数の照明器１０１に出力してもよい。

（ステップＳ１１６０）
次いで、撮影制御部１０３は、ステップＳ１１４０で取得された画像と、ステップＳ１１３０で用いられた照明器の位置情報とを記憶部１２０へ出力する。そして、記憶部１２０は、画像データと照明位置の情報とを対応付けて記憶する。ステップＳ１１６０の後、ステップＳ１１１０へ戻る。

ステップＳ１１１０からステップＳ１１６０までの処理が繰り返されることで、照明位置リストに含まれるすべての照明位置の照明器から順次対象物に光が照射され、対象物に光が照射されるたびに画像を取得する。

［１−２−３．画像生成システムのリフォーカス処理の詳細動作］
さらに、ステップＳ１３００のリフォーカス処理部２２０の動作の詳細を説明する。図１０は、実施の形態１に係るリフォーカス処理部２２０の動作の一例を示すフローチャートである。図１１〜図１５は、リフォーカス処理の計算方法の具体例を説明する模式図である。

以下に、図１１〜図１５を参照しながら、図１０の各ステップについて説明する。

（ステップＳ１３１０）
リフォーカス処理部２２０は、ステップＳ１２００で決定された焦点面の情報を焦点面決定部２１０から取得する。

焦点面の情報は、例えば、焦点面の中心の座標値と、焦点面の傾きを示す値とを含む。焦点面の傾きは、例えば、焦点面及びｘｚ平面の交線とｘ軸とが成す角度によって表される。また例えば、焦点面の傾きは、焦点面及びｙｚ平面の交線とｙ軸とが成す角度によって表される。焦点面の中心の座標値は、合焦画像の中心の画素に対応する焦点面上の点の座標値である。

図１１は、撮影装置１００及び対象物１０００の、ｘｚ平面における断面図の一例を示す。対象物１０００は、照明器１０１ａ、１０１ｂとイメージセンサ１０２との間に位置し、かつイメージセンサ１０２上に位置する。リフォーカス処理部２２０は、焦点面１１００の情報を取得する。

（ステップＳ１３２０）
リフォーカス処理部２２０は、合焦画像に含まれる全画素についてリフォーカス処理が終了したか否かを判定する。ここでは、リフォーカス処理とは、ステップＳ１３２０からステップＳ１３９０までの処理を意味する。

合焦画像に含まれる全画素についてリフォーカス処理が終了している場合（ステップＳ１３２０においてｙｅｓ）、リフォーカス処理部２２０は、リフォーカス処理を終了する（ステップＳ１４００へ進む）。

合焦画像に含まれるいずれかの画素についてリフォーカス処理が終了していない場合（ステップＳ１３２０においてｎｏ）、リフォーカス処理部２２０は、リフォーカス処理を続行する（ステップＳ１３３０へ進む）。

合焦画像は、複数の画素を含む。合焦画像に含まれる複数の画素は、焦点面上の複数の点に一対一で対応する。図１２は、合焦画像に含まれる複数の画素に対応する、焦点面１１００上の複数の点１１０２ａ〜１１０２ｅを示す。なお、図１２に示す焦点面１１００上の複数の点１１０２ａ〜１１０２ｅは、対象物１０００上の点であったが、対象物１０００上ではない点が合焦画像の画素に対応してもよい。

（ステップＳ１３３０）
リフォーカス処理部２２０は、合焦画像に含まれる複数の画素の中から１つの画素を選択する。ここで選択される１つの画素は、合焦画像に含まれる複数の画素のうち、リフォーカス処理がまだ実行されていない画素である。なお、合焦画像の画素値の初期値は０である。

例えば、図１に示した第２記録部１２２に、合焦画像のうちすでにリフォーカス処理が実行された画素の情報が記憶されている。後述するステップＳ１３９０の処理の後、リフォーカス処理部２２０は、第２記録部１２２にリフォーカス処理した画素の情報を記録する。リフォーカス処理部２２０は、第２記録部１２２に記録された画素の情報を参照して、リフォーカス処理がまだ実行されていない画素を選択する。以下、図１３に示すように、点１１０２ａに対応する画素が選択された場合について説明する。また、点１１０２ａに対応する画素を選択画素とも表記する。

（ステップＳ１３４０）
リフォーカス処理部２２０は、すべての照明位置に対する加算処理が終了しているか否かを判定する。

ここで、すべての照明位置に対する加算処理が終了している場合（ステップＳ１３４０においてｙｅｓ）、リフォーカス処理部２２０の処理は、ステップＳ１３２０に戻る。

一方、いずれかの照明位置に対する加算処理が終了していない場合（ステップＳ１３４０においてｎｏ）、リフォーカス処理部２２０は加算処理を続行する（ステップＳ１３５０に進む）。ここで、加算処理とは、ステップＳ１３４０からステップＳ１３９０までの処理を意味する。

（ステップＳ１３５０）
リフォーカス処理部２２０は、撮影に用いたすべての照明位置の中からまだ加算処理が終了していない照明位置を選択する。

（ステップＳ１３６０）
リフォーカス処理部２２０は、選択された照明位置と焦点面における選択画素の位置とを通る直線が、イメージセンサ１０２の受光面と交差する点の位置を計算する。

図１４は、照明器１０１ａの位置と選択画素に対応する点１１０２ａとを通る直線１２００と、イメージセンサ１０２の受光面との交点１１０３ａを示す。以下において、交点１１０３ａを、加算処理を行う対象の点である対象点とも表記する。

イメージセンサ１０２の受光面上の対象点は、例えば、図８に示すｘｙ平面上の座標値で表される。

（ステップＳ１３７０）
リフォーカス処理部２２０は、選択された照明位置に対応する画像を記憶部１２０から取得する。つまり、リフォーカス処理部２２０は、選択された照明位置にある照明器を用いて撮影された画像を記憶部１２０から取得する。具体的には、リフォーカス処理部２２０は、図６に示した照明位置情報と画像との対応関係に従って、記憶部１２０に記憶された画像を取得する。例えば、リフォーカス処理部２２０は、図１３に示す照明器１０１ａの位置に対応する画像を取得する。

（ステップＳ１３８０）
リフォーカス処理部２２０は、ステップＳ１３６０で計算されたイメージセンサ１０２上の対象点の撮影画像中の位置を決定する。具体的には、リフォーカス処理部２２０は、撮影画像の画素の配列を基準に撮影画像における対象点の位置を決定する。

撮影画像における対象点の位置が複数の画素の中間位置である場合、リフォーカス処理部２２０は、対象点の位置に隣接する複数の画素の輝度値を用いて補間処理を行うことにより、撮影画像における対象点の輝度値を計算する。具体的には、リフォーカス処理部２２０は、例えば、対象点に隣接する複数の画素（例えば４画素）のそれぞれの画素と対象点との距離を求め、対象点と各画素との距離の比を各画素の輝度値に乗じて加算することで、撮影画像における対象点の輝度値を求める。

図１５は、ステップＳ１３８０における対象点の輝度値の計算を説明するための模式図である。図１５において、対象点に隣接する４つの画素Ａ〜画素Ｄと対象点との距離は、それぞれ、ａ、ｂ、ｃ、及びｄと表されている。この場合、対象点の輝度値Ｌｔは、以下の式３で求められる。

ここで、Ｌａ、Ｌｂ、Ｌｃ及びＬｄは、それぞれ、画素Ａ、画素Ｂ、画素Ｃ及び画素Ｄの輝度値を表す。

（ステップＳ１３９０）
リフォーカス処理部２２０は、合焦画像上の選択画素の輝度値にステップＳ１３８０で計算した対象点の輝度値を加算する。

ステップＳ１３４０からステップＳ１３９０までの処理を繰り返すことにより、全ての照明位置について、撮影された画像中の対象点の輝度値が選択画素の輝度値に加算された結果が、選択画素の輝度値として計算される。

このような加算処理によって、焦点面上の各点について、当該点を透過した複数の方向からの光によって形成された複数の画像が合焦画像の１つの画素に重ねられる。

図１４において、照明器１０１ａから照射された光は、選択画素に対応する焦点面１１００上の点１１０２ａを透過してイメージセンサ１０２の受光面上の対象点（交点１１０３ａ）に到達する。したがって、照明器１０１ａによって撮影された画像中の対象点（交点１１０３ａ）の位置には、焦点面１１００上の点１１０２ａにおける画像が含まれている。

また、図１４において、照明器１０１ｂから照射された光は、選択画素に対応する焦点面１１００上の点１１０２ａを透過してイメージセンサ１０２の受光面上の対象点（交点１１０３ｂ）に到達する。したがって、照明器１０１ｂによって撮影された画像中の対象点（交点１１０３ｂ）の位置には、焦点面１１００上の点１１０２ａにおける画像が含まれている。

このような対象点（交点１１０３ａ）における画像（輝度値）及び対象点（交点１１０３ｂ）における画像（輝度値）が加算されることにより、複数の方向からの光によって形成された複数の画像が合焦画像の選択画素に重ねられる。

上述のようなリフォーカス処理によれば、焦点面上における画素の位置及び照明器の位置を結ぶ直線とイメージセンサ１０２の受光面との交点である対象点の輝度値を、当該画素の輝度値に適用することができる。したがって、仮想的な焦点面における合焦画像の各画素に、当該画素に対応する複数の撮影画像の輝度値を反映することができ、対象物の高画質な合焦画像を生成することができる。

なお、上述のリフォーカス処理では、照明器の位置と選択画素に対応する点とを通る直線と、イメージセンサ１０２の受光面との交点である対象点を用いていた。つまり、照明器の位置と選択画素に対応する点とイメージセンサ１０２の受光面上の対象点との関係に基づき、選択画素の輝度値に加算すべき輝度値を有する対象点を特定していた。しかしながら、点同士の関係ではなく、照明器の位置と選択画素とイメージセンサ１０２の受光面上の画素との関係に基づき、選択画素の輝度値に加算すべき輝度値を有する画素を特定してもよい。例えば、照明器から出射されて選択画素の領域内を通った後、イメージセンサ１０２の受光面上に到達する光を受光するイメージセンサ１０２の画素が検知する輝度値が、選択画素の輝度値に加算されるように構成されてもよい。つまり、照明器の位置と選択画素とイメージセンサ１０２の画素とが直線上に並ぶ位置関係にあるイメージセンサ１０２の画素により検知される輝度値が、選択画素の輝度値に加算されてもよい。

［１−２−４．画像生成システムの詳細動作］
次に、以上のように構成された画像生成システム１０の動作について、図１６を参照しつつ、詳細に説明する。図１６は、実施の形態１に係る画像生成システム１０の動作の一例を示すフローチャートである。なお、以下では、撮影する対象物として、図１７に示すような脊椎動物の半透明な受精卵の初期胚である胚Ｓを適用した場合の例を説明する。図１７は、対象物の一例の胚Ｓの斜視図を示す。図１７では、球形状の胚Ｓは、２つに分割した球形状の細胞Ｓ１及びＳ２を含んでいる。

（ステップＳ２１００）
まず、撮影装置１００の撮影制御部１０３は、複数の照明器１０１を順に用いて、イメージセンサ１０２の受光面上に配置された半透明な胚Ｓを照明し、当該胚Ｓの複数の画像を撮影する。本実施の形態では、複数の照明器１０１の位置は、イメージセンサ１０２に対して固定されており、複数の照明器１０１の各々の位置情報は予め定められている。撮影制御部１０３は、複数の照明器１０１のそれぞれが胚Ｓを照明するたびに、イメージセンサ１０２の受光面の各画素に到達した光の強度を記録することにより、胚Ｓの画像を取得する。取得された画像は、撮影時に胚Ｓを照明していた照明器の位置情報とともに記憶部１２０で記憶される。

（ステップＳ２２００）
画像生成装置２００の焦点面決定部２１０は、基準として用いるための焦点面である複数の基準焦点面を決定する。本例では、イメージセンサ１０２の受光面に略平行であり且つ互いに間隔をあけて配置される複数の基準焦点面が、決定される。具体的には、約１００μｍの直径を有する胚Ｓに対して、約１μｍの間隔で受光面と平行に配置される複数の基準焦点面が、決定される。複数の基準焦点面は、受光面から約１１０μｍの距離に至る領域にわたって配置される。これにより、複数の基準焦点面が存在する領域の中に胚Ｓの全てが含まれる。そして、複数の基準焦点面の多くが、胚Ｓと交差する。なお、上記の具体的な数値は、一例であり、これらによって各要素の数値は限定されない。

（ステップＳ２３００）
リフォーカス処理部２２０は、複数の撮影画像と、複数の照明器１０１の位置情報と、基準焦点面の情報とに基づいて、リフォーカス処理を行い、各基準焦点面上の各画素つまり各点の輝度値を求める。

（ステップＳ２４００）
合焦画像生成部２３０は、ステップＳ２３００で行われたリフォーカス処理の結果に基づき、ディスプレイ等に出力可能である複数の基準焦点面の合焦画像である基準合焦画像を生成する。なお、基準焦点面は、合焦画像が形成される面であるため、合焦画像平面又はリフォーカシング画像平面とも呼ぶ。図１８において、胚Ｓの複数の基準焦点面ＦＰの基準合焦画像Ｉａが、例示される。図１８は、複数の基準焦点面ＦＰの基準合焦画像Ｉａをその配置順序に従って一列に積み重ねて示す模式図である。図１８では、複数の基準合焦画像Ｉａの一部が示されている。また、一列に並ぶ基準合焦画像Ｉａを表示部１５０の表示画面１５１に画像として表示した例が、図１９に示される。図１９は、基準合焦画像Ｉａを画像として表示した例の写真を示す図であるが、胚Ｓに４つの細胞が含まれる例を示す。各基準焦点面ＦＰの基準合焦画像Ｉａでは、胚Ｓを通った光を受光する画素の領域、つまり胚Ｓの像が映し出される写出領域Ｍが、形成される。

（ステップＳ２５００）
対象物抽出部２４０は、図２０に示すように、各基準焦点面ＦＰの基準合焦画像Ｉａにおいて、胚Ｓの像が写し出されている写出領域Ｍの輪郭を特定し、この輪郭の外側にある背景を基準合焦画像Ｉａから除去した背景除去合焦画像Ｉｂを生成する。輪郭の特定は、例えば以下のように行ってもよい。対象物抽出部２４０は、ハフ変換（Ｈｏｕｇｈ変換）を利用して画像から円を検出し、検出された円のうち、最も半径の大きいものを輪郭としてもよい。あるいは対象物抽出部２４０は、対象物である胚の大きさ例えば直径１００μｍを基準として、検出された円のうち直径の大きさが、最も基準に近い円を輪郭としてもよい。胚Ｓの輪郭の特定の一例を説明する。胚Ｓの形状の一例は、約１００μｍの半径を有する球である。対象物抽出部２４０は、胚Ｓのエッジ点を抽出するために、画像Ｉａにラプラシアンフィルタをかける。対象物抽出部２４０は、フィルタリング結果を用いて、画像Ｉａに含まれる複数の画素を分類する。例えば、対象物抽出部２４０は、入力画像（ここでは画像Ｉａ）の輝度分布に基づいて、閾値を設定する。閾値の例は、輝度のヒストグラムを用いて、低輝度の画素が全画素数の２５％になる境界点である。対象物抽出部２４０は、閾値以下の輝度を有する画素をエッジ点として抽出する。対象物抽出部２４０は、抽出したエッジ点に対して、ハフ変換（Ｈｏｕｇｈｔｒａｎｓｆｏｒｍ）を行って、円を抽出する。例えば、８０μｍから１２０μｍの範囲の半径を有する円を抽出することで、胚Ｓに対応する円を抽出する。ハフ変換により、円の中心と半径が導出されるため、画像Ｉａ上に輪郭としての円を特定することができる。なお、図２０は、複数の背景除去合焦画像Ｉｂをそれぞれに対応する基準焦点面ＦＰの配置順序に従って一列に積み重ねて示す、図１８と同様の模式図である。また、一列に積み重ねられて並ぶ背景除去合焦画像Ｉｂを表示部１５０の表示画面１５１に画像として表示した例が、図２１に示される。図２１は、背景除去合焦画像Ｉｂを画像として表示した例の写真を示す図であるが、胚Ｓに４つの細胞が含まれる例を示す。

（ステップＳ２６００）
図２２に示すように、３Ｄ画像生成部２５０は、複数の背景除去合焦画像Ｉｂのうちから、胚Ｓの写出領域Ｍが最も強いコントラストの輪郭を含む輪郭基準合焦画像Ｉｂａを抽出する。３Ｄ画像生成部２５０は、以下のように、第１輪郭基準合焦画像Ｉｂａ１及び第２輪郭基準合焦画像Ｉｂａ２のいずれが強いコントラストの輪郭を有するか否かを判定しても良い。例えば、第１輪郭基準合焦画像Ｉｂａ１に含まれる輪郭と判断された画素がａ１個ある。３Ｄ画像生成部２５０は、輪郭と判断された画素ごとに、複数の隣接する画素との輝度差の最大値を求める。この最大値の合計をＡ１とする。例えば、第２輪郭基準合焦画像Ｉｂａ２に含まれる輪郭と判断された画素がａ２個ある。３Ｄ画像生成部２５０は、輪郭と判断された画素ごとに、複数の隣接する画素との輝度差の最大値を求める。この最大値の合計をＡ２とする。３Ｄ画像生成部２５０は、｛（Ａ１）／（ａ１）｝＞｛（Ａ２）／（ａ２）｝であれば、第１輪郭基準合焦画像Ｉｂａ１が、第２輪郭基準合焦画像Ｉｂａ２より強いコントラストの輪郭を含むと判断する。

なお、図２２は、輪郭基準合焦画像Ｉｂａの一例を示す模式図である。写出領域Ｍの輪郭のコントラストを最も強くする画素の輝度は、イメージセンサ１０２の受光面と垂直な方向で胚Ｓの真上から胚Ｓに光が照射したときに、胚Ｓの周縁及びその近傍を通る光をイメージセンサ１０２の画素が検知する輝度に相当する。このため、輪郭基準合焦画像Ｉｂａにおける写出領域Ｍの円形状の輪郭Ｍａは、胚Ｓの中心を通る断面の輪郭つまり胚Ｓの胚膜の２次元的な輪郭に相当し、胚Ｓをイメージセンサ１０２の受光面と垂直な方向で見たときの胚Ｓの平面形状の輪郭に相当する。そして、３Ｄ画像生成部２５０は、輪郭基準合焦画像Ｉｂａから胚Ｓの輪郭Ｍａを抽出する。これにより、胚Ｓの２次元的な輪郭Ｍａが抽出される。第１輪郭基準合焦画像Ｉｂａ１と第２輪郭基準合焦画像Ｉｂａ２のどちらが強いコントラストの輪郭を含むかは以下のようして判定してもよい。第１輪郭基準合焦画像Ｉｂａ１に含まれる輪郭と判断された画素の輝度値平均をａ１、第２輪郭基準合焦画像Ｉｂａ２に含まれる輪郭と判断された画素の輝度値平均をａ２とし、第１輪郭基準合焦画像Ｉｂａ１に含まれる輪郭と判断された画素に隣接する画素の輝度平均をｂ１、第２輪郭基準合焦画像Ｉｂａ２に含まれる輪郭と判断された画素に隣接する画素の輝度平均をｂ２とした場合、｜ａ１−ｂ１｜＞｜ａ２−ｂ２｜であれば、第１輪郭基準合焦画像Ｉｂａ１は、第２輪郭基準合焦画像Ｉｂａ２より強いコントラストの輪郭を含むと判断する。

（ステップＳ２７００）
３Ｄ画像生成部２５０は、輪郭基準合焦画像Ｉｂａから抽出された２次元的な輪郭の形状と、第１記録部１２１に記憶される胚Ｓの形状とから、胚Ｓの立体的な輪郭つまり３次元的な輪郭を特定する。例えば、第１記録部１２１は「胚Ｓの形状は球形である」ことを記憶している。具体的には、図２２及び図２３に示すように、３Ｄ画像生成部２５０は、輪郭基準合焦画像Ｉｂａ内の写出領域Ｍの円形状の輪郭Ｍａと、第１記録部１２１に記憶される胚Ｓの形状は球形であることから、胚Ｓの３次元的な輪郭Ｓｃを、輪郭Ｍａの半径を半径とする球形であると特定する。図２３は、胚Ｓの３次元的な輪郭の一例を示す模式図である。

（ステップＳ２８００）
３Ｄ画像生成部２５０は、複数の背景除去合焦画像Ｉｂと胚Ｓの３次元的な輪郭Ｓｃとを関連付け、複数の背景除去合焦画像Ｉｂそれぞれから３次元的な輪郭Ｓｃの外部に相当する領域を除去して基準断面画像Ｉｃを生成する。基準断面画像Ｉｃは、ステップＳ２２００で決定された複数の基準焦点面ＦＰでの胚Ｓの断面画像に相当する。

具体的には、３Ｄ画像生成部２５０は、各背景除去合焦画像Ｉｂに対応する基準焦点面ＦＰと胚Ｓの球形輪郭Ｓｃとの位置関係を特定する。このとき、３Ｄ画像生成部２５０は、輪郭基準合焦画像Ｉｂａを含む基準焦点面ＦＰが、３次元的な輪郭Ｓｃの中心を通り且つイメージセンサ１０２の受光面に略平行な面であると決定する。さらに、３Ｄ画像生成部２５０は、上記決定に基づき、他の背景除去合焦画像Ｉｂを含む基準焦点面ＦＰの３次元的な輪郭Ｓｃに対する位置を算出する。次いで、３Ｄ画像生成部２５０は、図２４に示すように、複数の背景除去合焦画像Ｉｂそれぞれから胚Ｓの球形輪郭Ｓｃ外の領域を除去して、複数の基準断面画像Ｉｃを生成する。図２４は、複数の基準断面画像Ｉｃの一例を示す、図１８と同様の模式図である。図２４では、複数の基準断面画像Ｉｃがそれぞれの基準焦点面ＦＰの配置順序に従って一列に並べて示されている。基準断面画像Ｉｃは、基準焦点面ＦＰでの胚Ｓの断面画像である。また、胚Ｓの球形輪郭Ｓｃ外の領域が除去された複数の基準断面画像Ｉｃを表示部１５０の表示画面１５１に画像として表示した例が、図２５に示される。図２５は、基準断面画像Ｉｃを画像として表示した例の写真を示す図である。図２５の状態Ａでは、全ての基準断面画像Ｉｃが示されており、胚Ｓの球形輪郭Ｓｃの外形を形成している。図２５の状態Ｂでは、基準断面画像Ｉｃのうちの一部が示されている。

なお、ステップＳ２５００において、背景除去合焦画像Ｉｂの形成は必ずしも実施されなくてもよい。例えば、ステップＳ２８００での胚Ｓの球形輪郭Ｓｃ外の領域を除去する処理によって、基準合焦画像Ｉａにおける写出領域Ｍの輪郭の外側の背景が、一緒に除去されてもよい。つまり、ステップＳ２５００の処理が、ステップＳ２８００の処理に含まれてもよい。この場合、ステップＳ２６００〜Ｓ２８００の処理は、基準合焦画像Ｉａに対して実施される。

（ステップＳ２９００）
３Ｄ画像生成部２５０は、胚Ｓの３次元的な輪郭Ｓｃ及び複数の基準断面画像Ｉｃを用いて、胚Ｓの３次元モデルである３ＤモデルＡを、ディスプレイ等に出力可能な画像データとして生成する。３ＤモデルＡは、胚Ｓの球形輪郭Ｓｃ及び複数の基準断面画像Ｉｃに関する情報を含み、基準断面画像Ｉｃをその断面画像として含む。３ＤモデルＡは、表示部１５０の表示画面１５１に画像として表示される場合、図２５の状態Ａと同様となる。

（ステップＳ３０００）
画像操作部２６０は、３Ｄ画像生成部２５０が生成した胚Ｓの３ＤモデルＡを動作可能に表示部１５０に表示する。画像操作部２６０は、ＣＧ操作入力部１４０に入力される指令に基づき、表示部１５０上の胚Ｓの３ＤモデルＡを移動する。画像操作部２６０は、ＣＧ操作入力部１４０を介して胚Ｓにおける種々の位置の断面の選択を受け付ける。さらに、画像操作部２６０は、選択された断面の簡易画像としての参考断面画像Ｂｉを胚Ｓの３ＤモデルＡ上、又は３ＤモデルＡと別に表示し得る。

例えば、図２６Ａ、図２６Ｂ及び図２６Ｃに示すように、画像操作部２６０は、表示部１５０の表示画面１５１に、胚Ｓの３ＤモデルＡを画面上で操作可能な状態で表示する。なお、図２６Ａ、図２６Ｂ及び図２６Ｃはそれぞれ、表示部１５０がその表示画面１５１上に表示する胚Ｓの３Ｄモデルの一例を示す図である。図２６Ａ、図２６Ｂ及び図２６Ｃで示される画面は、ユーザが、胚Ｓの３ＤモデルＡを用いて詳細に表示すべき断面を選択し表示させることができる画面である。

表示画面１５１では、胚Ｓの３ＤモデルＡの位置が、ｘｙｚ空間によって定義される。ｘｙ平面は、イメージセンサ１０２の受光面と平行に設定されている。さらに、球形の胚Ｓの３ＤモデルＡの中心を通る基準軸Ｃが設定され、基準軸Ｃの向きが、ｘｙｚ空間によって定義される。また、基準軸Ｃに垂直な胚Ｓの３ＤモデルＡの断面Ｂの位置が、ｘｙｚ空間によって定義される。

図２６Ａ及び図２６Ｂに示すように、表示画面１５１では、ＣＧ操作入力部１４０から入力される指令に従って、基準軸Ｃが、３ＤモデルＡの球中心Ａｃを基準に回動され、その向きを自在に変える。表示画面１５１の縁付近には、横移動スクロールバー１５２と縦移動スクロールバー１５３とが示されている。横移動スクロールバー１５２でのスクロール操作によって、基準軸Ｃは、３ＤモデルＡの球中心Ａｃを基準にｘｙ平面に沿う方向に回動する、つまり、３ＤモデルＡの中心を通るｚ軸と平行な軸を中心に回動する。縦移動スクロールバー１５３でのスクロール操作によって、基準軸Ｃは、３ＤモデルＡの中心を基準にｙｚ平面に沿う方向に回動する、つまり、３ＤモデルＡの中心を通るｘ軸と平行な軸を中心に回動する。これにより、基準軸Ｃの向きが任意に変えられる。また、表示画面１５１上で右側上部に位置する移動位置表示部１５５には、基準軸Ｃの方向ベクトルが、ｘ座標、ｙ座標及びｚ座標を用いて示される。基準軸Ｃの向きは、移動位置表示部１５５のｘ座標、ｙ座標及びｚ座標の欄に数値を入力することによって、決定されてもよい。なお、基準軸Ｃを移動させる構成は、上記構成に限定されず、いかなる構成であってもよい。

さらに、図２６Ｂ及び図２６Ｃに示すように、３ＤモデルＡの断面Ｂは、ＣＧ操作入力部１４０から入力される指令に従って、基準軸Ｃ上を軸方向に自在にスライドする。そして、３ＤモデルＡの断面Ｂには、簡易的に作成された断面Ｂの画像である参考断面画像Ｂｉが、断面Ｂの位置に応じてその表示内容を変えつつ表示される。例えば、図２６Ｃの３ＤモデルＡを表示部１５０の表示画面１５１に画像として表示した例が、図２７に示される。図２７は、図２６Ｃを表示画面上に表示した例の一部を写真で示す図である。なお、参考断面画像Ｂｉは、断面Ｂと別の位置に表示されてもよい。

表示画面１５１の縁付近には、断面移動スクロールバー１５４が示されている。断面移動スクロールバー１５４でのスクロール操作によって、参考断面画像Ｂｉを含む断面Ｂが、その表示内容を変えつつ基準軸Ｃ上をスライドする、つまり平行移動する。また、表示画面１５１上で右側中央付近に位置する断面位置表示部１５６には、３ＤモデルＡの断面Ｂと基準軸Ｃとの交点である断面Ｂの中心点Ｂｃの位置が、ｘ座標、ｙ座標及びｚ座標を用いて示される。断面Ｂの位置は、断面位置表示部１５６のｘ座標、ｙ座標及びｚ座標の欄に数値を入力することによって、決定されてもよい。なお、断面Ｂを移動させる構成は、上記構成に限定されず、いかなる構成であってもよい。

よって、基準軸Ｃの回動と断面Ｂのスライドとを組み合わせることにより、３ＤモデルＡにおける任意の位置の参考断面画像Ｂｉが、表示部１５０の表示画面１５１に表示され得る。なお、本例では、基準軸Ｃ及び断面Ｂが移動し、３ＤモデルＡは移動しないが、３ＤモデルＡが回転等の移動を伴って表示されてもよい。断面Ｂの位置を変える構成は、いかなる構成であってもよい。

参考断面画像Ｂｉは、３ＤモデルＡに含まれる情報、つまり、胚Ｓの球形輪郭Ｓｃ内の複数の基準断面画像Ｉｃに含まれる情報を使用して、生成される。例えば、断面Ｂの参考断面画像Ｂｉでは、参考断面画像Ｂｉにおける基準断面画像Ｉｃの基準焦点面ＦＰとの交差部分の画素は、基準断面画像Ｉｃの画素の輝度を用いて表示される。上記交差部分以外の領域の画素は、その近傍の基準断面画像Ｉｃの画素の輝度等を用いて表示されるか、又は、表示されない。このため、参考断面画像Ｂｉは、断面Ｂの簡易的な画像を示す。

また、本実施の形態に係る画像生成システム１０は、詳細に表示すべき胚Ｓの断面の位置情報が与えられることによって、当該断面の詳細な画像を生成し、表示部１５０に表示するように構成される。このとき、画像生成装置２００の断面画像生成部２７０は、断面の詳細な画像を生成し、表示部１５０に表示する。詳細に表示すべき胚Ｓの断面の位置情報は、表示部１５０の表示画面１５１に現在表示されている胚Ｓの参考断面画像ＢｉをＣＧ操作入力部１４０を介して選択及び決定することによって、与えられてもよい。

画像生成システム１０による胚Ｓの詳細な断面画像の表示動作の例を、図２８を参照しつつ、説明する。図２８は、実施の形態１に係る画像生成システム１０による胚Ｓの詳細な断面画像の表示動作の一例を示すフローチャートである。以下では、表示部１５０に表示されている胚Ｓの３ＤモデルＡを用いて、詳細に表示すべき胚Ｓの断面の位置が決定される例を説明する。

（ステップＳ４１００）
画像生成装置２００の画像操作部２６０は、胚Ｓの３ＤモデルＡを、３ＤモデルＡの基準軸Ｃの回動、断面Ｂのスライド等の動作を可能に、表示部１５０に表示する。

（ステップＳ４２００）
画像操作部２６０は、図２６Ａ〜図２６Ｃに示すように、ＣＧ操作入力部１４０を介して入力される指令に従い、表示部１５０の表示画面１５１上の胚Ｓの３ＤモデルＡの基準軸Ｃを回動させる、又は断面Ｂをスライドさせ、それにより、３ＤモデルＡの種々の参考断面画像Ｂｉを表示する。そして、表示されている断面Ｂの位置が所望の位置となる、又は表示されている参考断面画像Ｂｉが所望の断面である場合、つまり、表示画面１５１で所望の断面又はその位置が示されている場合、ユーザが、ＣＧ操作入力部１４０を介して、当該断面の詳細を表示する指令を与える（ステップＳ４２００でｙｅｓ）。これにより、詳細に表示すべき胚Ｓの断面の位置も決定される。このとき、ＣＧ操作入力部１４０での入力により、表示画面１５１上のリフォーカスアイコン１５７が選択され実行される。この結果、断面画像生成部２７０は、表示すべき胚Ｓの断面を生成するために、ステップＳ４３００に進む。一方、リフォーカスアイコン１５７が実行されない、胚Ｓの断面を詳細に表示する指令が発せられない場合（ステップＳ４２００でｎо）、画像操作部２６０は、ステップＳ４１００の動作を実施する。

（ステップＳ４３００）
断面画像生成部２７０は、決定された断面の位置と、複数の基準断面画像Ｉｃに含まれる情報とを用いて、決定された断面の詳細な画像を生成する。具体的には、断面画像生成部２７０は、リフォーカス処理により、決定された断面を焦点面とする合焦画像を生成する。つまり、断面画像生成部２７０は、決定された断面において、基準断面画像Ｉｃの基準焦点面ＦＰと重なる又は交差する部分の画素の輝度値に、当該基準断面画像Ｉｃの画素の輝度値をそのまま適用する。断面画像生成部２７０は、決定された断面において、基準断面画像Ｉｃの基準焦点面ＦＰと重なりも交差もしない領域内の画素である補間画素の輝度値を、この補間画素の近傍に位置する基準焦点面ＦＰの基準断面画像Ｉｃの画素の輝度値を使用して、算出する。そして、断面画像生成部２７０は、基準断面画像Ｉｃの画素の輝度値と、補間画素の輝度値とを用いて、決定された胚Ｓの断面の合焦画像である詳細な断面画像をディスプレイ等に出力可能な画像データとして生成し、表示画面１５１に表示する。

上述より、画像生成システム１０のユーザは、ＣＧ操作入力部１４０を操作して、表示部１５０の表示画面１５１に胚Ｓの３ＤモデルＡにおける所望の参考断面画像Ｂｉ又はその位置を表示させることができる。さらに、ユーザは、ＣＧ操作入力部１４０を操作して、表示された参考断面画像Ｂｉ又はその位置を選択することによって、参考断面画像Ｂｉの詳細な断面画像を得ることができる。

ここで、図２９及び図３０を参照して、詳細に表示すべき断面Ｂｄが基準断面画像Ｉｃの基準焦点面ＦＰと交差する場合における当該断面Ｂｄ上の画素の輝度値の算出方法を説明する。なお、図２９は、詳細に表示すべき断面Ｂｄに交差する２つの基準焦点面ＦＰａ及びＦＰｂの基準断面画像Ｉｃａ及びＩｃｂの画素を用いて、断面Ｂｄ上の画素の輝度値を推定するケースの例を示す図である。図３０は、詳細に表示すべき断面Ｂｄ上の画素の算出に用いられる当該画素と２つの基準断面画像Ｉｃａ及びＩｃｂの画素との関係を示す図である。

断面Ｂｄは、互いに隣り合う２つの基準断面画像Ｉｃａ及びＩｃｂの基準焦点面ＦＰａ及びＦＰｂと交差している。輝度値を推定すべき断面Ｂｄ上の画素Ｂｄａは、基準焦点面ＦＰａ及びＦＰｂの間に位置している補間画素である。基準焦点面ＦＰａ及びＦＰｂは、補間画素Ｂｄａの位置の近傍の合焦画像平面である。そして、補間画素Ｂｄａの輝度値は、補間画素Ｂｄａの位置の近傍に位置する基準断面画像Ｉｃａの２つの画素Ｉｃａ１及びＩｃａ２と、補間画素Ｂｄａの位置の近傍に位置する基準断面画像Ｉｃｂの２つの画素Ｉｃｂ１及びＩｃｂ２とを用いて、推定される。このため、補間画素Ｂｄａの輝度値に影響を与える画素を基準断面画像に含む基準焦点面ＦＰａ及びＦＰｂは、補間画素Ｂｄａの位置から最も近いものであってもよい。

補間画素Ｂｄａの位置から画素Ｉｃａ１、Ｉｃａ２、Ｉｃｂ１及びＩｃｂ２それぞれの位置までの距離は、ａ１、ａ２、ｂ１及びｂ２である。画素Ｉｃａ１、Ｉｃａ２、Ｉｃｂ１及びＩｃｂ２それぞれの輝度値は、Ｌａ１、Ｌａ２、Ｌｂ１及びＬｂ２である。よって、補間画素Ｂｄａでの輝度値ＬＢｄａは、以下の式４で求められる。

よって、推定すべき断面Ｂｄ上の補間画素Ｂｄａの輝度値は、画素Ｂｄａに隣接する２つの基準焦点面ＦＰａ及びＦＰｂの基準断面画像Ｉｃａ及びＩｃｂの画素の輝度値を用いて、推定される。

詳細に表示すべき断面Ｂｄの合焦画像は、断面Ｂｄと基準断面画像Ｉｃの基準焦点面ＦＰとの重なり部分又は交差部分における基準断面画像Ｉｃの画素の輝度値と、補間画素の近傍の基準焦点面ＦＰの基準断面画像Ｉｃの画素の輝度値を用いて算出される補間画素の輝度値とを用いて、生成される。よって、断面Ｂの合焦画像は、予め生成されている基準断面画像Ｉｃに含まれる情報を用いたリフォーカス処理により生成される。このため、基準断面画像Ｉｃのように複数の撮影画像を用いたリフォーカス処理により合焦画像を生成する場合と比較して、断面Ｂｄの合焦画像の生成は、簡易且つ迅速である。なお、補間画素Ｂｄａの算出に、基準断面画像Ｉｃａの３つ以上の画素が用いられてもよく、基準断面画像Ｉｃｂの３つ以上の画素が用いられてもよい。また、詳細に表示すべき断面Ｂｄが基準断面画像Ｉｃの基準焦点面ＦＰと平行である場合も、上述と同様にして、断面Ｂｄ上の画素の輝度値の算出は可能である。

［１−３．効果］
以上のように、本実施の形態に係る画像生成装置２００によれば、対象物である胚Ｓを通る複数の基準焦点面についての複数の基準合焦画像を生成し、生成した基準合焦画像を使用して胚Ｓの３次元画像の生成が可能である。胚Ｓを通る複数の基準焦点面についての基準合焦画像を用いることによって、胚Ｓが半透明又は透明であっても、胚Ｓの３次元画像はその内部に含む細胞等の要素も含めて立体的に表示され得る。また、胚Ｓの全ての領域において、合焦画像を生成するのではなく、複数の基準焦点面について合焦画像を生成するため、胚Ｓの３次元画像の生成に要する処理量の低減も可能である。

また、本実施の形態に係る画像生成装置２００によれば、胚Ｓの３次元画像を用いて任意の断面を選択し、選択した画像の表示が可能である。胚Ｓの断面画像を構成する複数の断面画素の輝度値が、断面画素上の基準合焦画像の画素の輝度値又は断面画素の近傍の基準合焦画像の画素の輝度値を用いて算出されるため、胚Ｓの断面画像は、途切れ、ぼやけ等を低減した鮮明な画像となり得る。さらに、胚Ｓの断面画像を構成する断面画素の輝度値は、断面画素を挟んで両側の基準焦点面の基準合焦画像の画素を用いて算出されるため、高い精度を有し得る。

また、本実施の形態に係る画像生成装置２００によれば、胚Ｓの参考用断面を示す参考断面画像が生成され且つ表示画面に表示される。参考断面画像を構成する複数の画素の輝度値は、参考断面画像の画素上の基準合焦画像の画素の輝度値とされ得る。これにより、ユーザは、参考断面画像を参照しつつ、表示すべき胚Ｓの断面を選定することができる。また、参考断面画像の画素の輝度値は、基準合焦画像の画素の輝度値をそのまま用いたものであるため、参考断面画像の生成が簡易である。

また、本実施の形態に係る画像生成装置２００によれば、照明器１０１の位置と基準合焦画像の合焦画素の位置とイメージセンサ１０２のセンサ画素の位置とが直線上に並ぶ関係にあるセンサ画素それぞれの輝度値が、合焦画素の輝度値に適用され、合焦画素の輝度値が算出される。これにより、焦点面における合焦画像の各画素に、当該画素に対応する複数の撮影画像の輝度値を反映することができ、胚Ｓの高画質な合焦画像を生成することができる。

［実施の形態２］
次に、実施の形態２について説明する。実施の形態２では、画像生成システムが、表示部１５０の表示画面１５１に、胚Ｓの３ＤモデルＡに先行して、胚Ｓの代表的な断面画像である最適断面画像を表示する点が、実施の形態１と異なる。以下に、実施の形態２について、実施の形態１と異なる点を中心に説明する。

［２−１．画像生成システムの構成］
図３１を参照すると、実施の形態２に係る画像生成システム１０Ａの機能的な構成の一例を示すブロック図が示されている。本実施の形態では、撮影装置１００の複数の照明器１０１は、平坦な面上で格子状に配列されて設置されている。画像生成装置２００Ａは、実施の形態１の画像生成システム１０の画像生成装置２００に対して、最適断面決定部２８０及び最適断面画像生成部２９０をさらに備えている。第１記録部１２１は、予め定められた焦点面及び撮影対象物である胚Ｓの形状等の情報に加え、胚Ｓの初期胚モデルを予め記憶している。画像生成システム１０Ａは、表示部１５０に表示すべき胚Ｓのモデルを第１記録部１２１の初期胚モデルから選択する指令の入力を受け付ける胚モデル入力部１６０を、備えている。

第１記録部１２１に記憶される胚Ｓの初期胚モデルには、胚Ｓに含まれる細胞数が含まれている。胚Ｓの初期胚モデルでは、胚Ｓに含まれる細胞数と胚Ｓの培養を開始してからの経過時間とが、関連付けられて記憶されてもよい。この場合、胚Ｓの初期胚モデルは、図３２に示すようなテーブルとして記憶されてもよい。図３２は、第１記録部１２１が記憶する初期胚モデルの一例を示す。図３２の例では、初期胚モデルのモデルＩＤと、胚の培養開始からの経過時間である培養時間と、上記培養時間において胚に含まれ得る細胞数と、上記培養時間における胚の例示的な模式図とが、組み合わされて記憶されている。

最適断面決定部２８０は、例えば制御回路又はプロセッサによって実現される。最適断面決定部２８０は、胚Ｓを表示部１５０に表示する場合に、最初に例示として表示すべき胚Ｓの最適断面を決定する。このとき、最適断面決定部２８０は、胚モデル入力部１６０を介して選択された胚モデルに含まれる細胞数に基づき、最適断面の候補数と、最適断面に含まれ得る細胞数とを決定する。最適断面決定部２８０は、決定した各要素に基づき、最適断面の位置を算出し、リフォーカス処理部２２０に送る。

具体的には、最適断面決定部２８０は、第１記録部１２１に予め記録されている図３３に示すような最適断面設定テーブルを参照し、この最適断面設定テーブルに基づき、最適断面に関する上記要素の決定を行う。上記要素の決定後、最適断面決定部２８０は、後述するように、胚Ｓにおける最適断面の位置を決定する。なお、図３３は、第１記録部１２１が記憶する最適断面設定テーブルの一例を示す。図３３の例では、胚内の細胞数と、最適断面つまり最適焦点面の候補数と、最適焦点面での胚の断面画像である最適断面画像に含まれ得る細胞の最大数とが、組み合わされて記憶されている。

図３３の最適断面設定テーブルでは、最適焦点面の候補数が１つである場合、最適焦点面が胚内の細胞の中心若しくは中心から５μｍの領域内を通る場合における最適焦点面が通り得る細胞の数の最大値が、最適焦点面での最適断面画像に含まれ得る細胞の最大数とされ得る。又は、各細胞の中心からの距離が最小となる位置を最適焦点面が通る場合における最適焦点面が通り得る細胞の数の最大値が、最適焦点面での最適断面画像に含まれ得る細胞の最大数とされ得る。このとき、各細胞の中心からの距離が最小となるとは、各細胞の中心からの距離の総和が最小となることとされてよい。

最適焦点面の候補数が２つ以上である場合、最適焦点面の数は、胚内の細胞数に応じて設定される。さらに、複数の細胞の中心からの距離が最小となる位置を最適焦点面が通る場合における最適焦点面が通り得る細胞の数の最大値が、最適焦点面での最適断面の画像に含まれ得る細胞の最大数とされ得る。このとき、複数の細胞の中心からの距離が最小となるとは、複数の細胞の中心からの距離の総和が最小となることとされてもよく、全ての細胞の中心からの距離の総和が最小となることとされてもよい。

最適断面画像生成部２９０は、例えば制御回路又はプロセッサによって実現される。最適断面画像生成部２９０は、リフォーカス処理部２２０で計算された画素ごとの輝度値から、最適焦点面における合焦画像、つまり最適断面の画像を生成し、表示部１５０に表示する。

［２−２．画像生成システムの動作］
以上のように構成された画像生成システム１０Ａによる表示部１５０への最適断面画像の表示動作について説明する。図３４は、実施の形態２に係る画像生成システム１０Ａの最適断面画像の表示動作の一例を示すフローチャートである。なお、以下では、胚Ｓが、図１７に示すような２つの細胞Ｓ１及びＳ２を含む場合について説明する。

（ステップＳ５１００）
画像生成システム１０Ａの画像生成装置２００Ａの最適断面決定部２８０は、表示部１５０に、第１記録部１２１に記憶されている胚Ｓの胚モデルを表示する。

（ステップＳ５２００）
画像生成システム１０Ａのユーザは、図３２に示されるような表示部１５０に示される胚Ｓの胚モデルのテーブルを参照し、胚モデル入力部１６０による入力を介して、表示部１５０に最適断面画像を表示すべき胚のモデルＩＤを選択する。このとき、ユーザは、例えば、照明器１０１による撮影時の胚の培養時間等と、胚モデルのテーブルに示される培養時間とを比較することによって、撮影時に対応する胚のモデルを選定してもよい。

（ステップＳ５３００）
最適断面決定部２８０は、選択された胚モデルに含まれる細胞の数と、図３３に示されるような第１記録部１２１に記憶されている最適断面設定テーブルとに基づき、最適断面つまり最適焦点面の要素を決定する。具体的には、最適断面決定部２８０は、最適焦点面の数と、最適焦点面での断面画像に含まれ得る最大細胞数とを、決定する。

（ステップＳ５４００）
次いで、最適断面決定部２８０は、胚Ｓにおける最適焦点面の位置を算出する。このとき、最適断面決定部２８０は、記憶部１２０から、複数の照明器１０１の位置情報と対応付けられた複数の撮影画像を取得する。さらに、最適断面決定部２８０は、図３５に示されるように、平坦面上に格子状に並んで配置された複数の照明器１０１のうちの直線上に並ぶ照明器１０１による照明器群Ｇを選定する。そして、最適断面決定部２８０は、取得した撮影画像の中から、照明器群Ｇの照明器１０１それぞれの照明時に撮影された撮影画像を選定し、これらの撮影画像からなる撮影画像群を形成する。なお、図３５は、複数の照明器を、照明器からイメージセンサ１０２に向かう方向で見た際の照明の配置図を示す。図３５中の丸で示された照明器１０１は点光源であり、例えば光源と直径１０μｍのピンホールによって実現されている。図中の丸は照明器１０１の中心位置を示している。照明器１０１の間隔ｐｔは例えば３００μｍである。図３５中に点線で示した円は胚Ｓの平面位置であり、胚Ｓは図中黒丸で示した照明器１０１のほぼ真下に配置されている。胚Ｓは直径約１００μｍである。さらに、最適断面決定部２８０は、撮影画像群の撮影画像それぞれにおいて、胚Ｓ及び胚Ｓ内の２つの細胞Ｓ１及びＳ２の形状に適合する線を抽出する。具体的には、胚Ｓ及び２つの細胞Ｓ１及びＳ２は、いずれも球形であるため、最適断面決定部２８０は、胚Ｓの円形状と、胚Ｓの円形状の中に含まれる２つの細胞Ｓ１及びＳ２の円形状とを、各撮影画像から抽出する。胚Ｓの輪郭は例えば以下のように特定する。胚の形状は凡そ球であり、その半径は約１００μｍである。まずエッジ点を抽出するために、画像Ｉaにラプラシアンフィルタをかける。フィルタリング結果を閾値で分類する。閾値は例えば入力画像（ここでは画像Ｉa）の輝度分布に基づいて設定する。例えば輝度のヒストグラムより、低輝度の画素が全画素数の２５％になる点を閾値とする。輝度が閾値以下の画素をエッジ点として抽出する。抽出したエッジ点に対して、ハフ変換（Ｈｏｕｇｈｔｒａｎｓｆｏｒｍ）を行って、円を抽出する。このとき、半径を、例えば８０μｍから１２０μｍの範囲として円を抽出することで、胚Ｓに対応する円を抽出する。ハフ変換により、円の中心と半径が導出されるため、画像Ｉa上に輪郭としての円を特定することができる。さらに細胞Ｓ１及びＳ２は、決定された胚Ｓの輪郭である円の内側のエッジ点を用いて、ハフ変換を行うことで抽出する。ハフ変換の際に、半径を３０μｍ以上６０μｍ以下の範囲で抽出するものとし、２つの円は重なりを許して抽出する。

（ステップＳ５５００）
最適断面決定部２８０は、撮影画像群内の複数の撮影画像の間で、撮影画像に含まれる同一の要素を特定する。例えば、最適断面決定部２８０は、図３６に示すように、撮影画像群内の複数の撮影画像Ａ、Ｂ及びＣの間で、胚Ｓの形状を示す円１と、胚Ｓ内の２つの細胞のうちの第１の細胞Ｓ１の形状を示す円２と、２つの細胞のうちの第２の細胞Ｓ２の形状を示す円３とを、互いに対応付けて特定する。なお、図３６は、撮影画像群内の複数の撮影画像Ａ、Ｂ及びＣの間での各要素の対応関係を示す図である。図３６では、撮影画像Ａ、Ｂ及びＣが用いられているが、撮影画像群内の複数の撮影画像の全てが用いられてもよい。このとき、最適断面決定部２８０は、円２及び３を含む円１と、円２及び３とは交差しないという条件のもと、円１、円２及び円３を特定してもよい。さらに、最適断面決定部２８０は、複数の撮影画像の間で、円が同等の大きさを有すること、円の位置が規則性を伴ってずれていること等の条件のもと、円１、円２及び円３を特定してもよい。

なお、図３５及び図３６を参照すると、撮影画像Ａは、照明器群Ｇの一方の端部に位置する照明器１０１ｇａの照明時に撮影された画像である。撮影画像Ｂは、照明器群Ｇの他方の端部に位置する照明器１０１ｇｂの照明時に撮影された画像である。撮影画像Ｃは、照明器群Ｇの中間に位置する照明器１０１ｇｃの照明時に撮影された画像である。このため、撮影画像Ａから撮影画像Ｂに遷移するに従って、各撮影画像の間で円１、円２及び円３の位置はそれぞれ、規則性を伴ってずれる。

（ステップＳ５６００）
最適断面決定部２８０は、図３７に示すように、撮影画像Ａ、Ｂ及びＣそれぞれにおいて特定した円１、円２及び円３の特徴点である中心の位置を算出する。最適断面決定部２８０は特定された円の円周上に含まれる複数の点から同じ距離である点を円の中心の位置として算出してもよい。図３７は、撮影画像Ａ、Ｂ及びＣの各要素の中心の位置を示す図である。これら円１、円２及び円３の中心の位置は、イメージセンサ１０２の受光面の画素の位置に対応する。このため、最適断面決定部２８０は、撮影画像Ａ、Ｂ及びＣそれぞれに対する円１、円２及び円３の中心の相対的な位置を算出してもよい。ここで、第１の細胞Ｓ１の円２の中心、及び第２の細胞Ｓ２の円３の中心は、撮影画像における第二対象物の特徴点の一例である。しかしながら、撮影画像における第二対象物の特徴点は、円の中心に限定されない。第二対象物が、細胞Ｓ１及びＳ２のように球形状を有さない場合、重心、内心、外心、垂心、頂点、偶角点等の、位置の特定が可能な点が、特徴点とされてもよい。例えば、第二対象物が多角形である場合、撮影画像上の第二対象物に対して、重心、内心、外心、垂心又は頂点等の特徴点が設定される。ステップＳ５５００及びＳ５６００の処理によって、撮影画像間で、胚Ｓ、細胞Ｓ１及び細胞Ｓ２の特徴点が、対応付けられる。本例では、撮影画像間で胚Ｓ、細胞Ｓ１及び細胞Ｓ２それぞれが対応付けられた後に、各撮影画像において胚Ｓ、細胞Ｓ１及び細胞Ｓ２の特徴点が設定されていたが、これに限定されない。各撮影画像において胚Ｓ、細胞Ｓ１及び細胞Ｓ２の特徴点が設定された後に、撮影画像間で、胚Ｓ、細胞Ｓ１及び細胞Ｓ２、並びに、胚Ｓ、細胞Ｓ１及び細胞Ｓ２の特徴点が対応付けられてもよい。

（ステップＳ５７００）
最適断面決定部２８０は、撮影画像Ａ、Ｂ及びＣの間における同一の円の中心位置の距離を算出する、つまり、撮影画像Ａ、Ｂ及びＣの間における同一の円の中心の位置関係を算出する。具体的には、図３８に示すように、最適断面決定部２８０は、撮影画像Ａ、Ｂ及びＣそれぞれの円１の中心位置間の距離、つまり撮影画像Ａ、Ｂ及びＣ間における円１の中心位置のずれ量を算出する。同様に、最適断面決定部２８０は、撮影画像Ａ、Ｂ及びＣそれぞれの円２の中心位置間の距離を算出する。さらに、最適断面決定部２８０は、撮影画像Ａ、Ｂ及びＣそれぞれの円３の中心位置間の距離を算出する。図３８は、撮影画像Ａ、Ｂ及びＣ間の各要素の中心の位置関係を示す図である。なお、撮影画像Ａ、Ｂ及びＣの間における同一の円の中心位置間の距離とは、当該円の中心をそれぞれ通る３つの平行線の間の距離である。図３８では、撮影画像Ａ、Ｂ及びＣの間における同一の円の中心位置間の距離は、照明器群Ｇの照明器１０１の配列方向に沿った距離としている。

（ステップＳ５８００）
最適断面決定部２８０は、撮影画像Ａ、Ｂ及びＣの間における同一の円の中心位置間の距離と、撮影画像Ａ、Ｂ及びＣに対応する照明器１０１の位置とから、胚Ｓ、第１の細胞Ｓ１及び第２の細胞Ｓ２それぞれの外形を形成する球の中心の位置を算出する。例えば、図３９に示すように、撮影画像Ａの円１の中心Ｃａと撮影画像Ｃの円１の中心Ｃｃとの距離Ｄ１と、撮影画像Ｃの円１の中心Ｃｃと撮影画像Ｂの円１の中心Ｃｂとの距離Ｄ２とに従って、中心Ｃａ、Ｃｂ及びＣｃが、イメージセンサ１０２の受光面上に並べられる。なお、図３９は、撮影画像Ａ、Ｂ及びＣの要素の中心と照明器との位置関係を示す図である。

このとき、中心Ｃａ、Ｃｂ及びＣｃは略一直線上に並び得る。そして、撮影画像Ａに使用された照明器つまり撮影画像Ａに対応する照明器１０１ｇａの位置と中心Ｃａとが直線Ｌ１で結ばれる。同様に、撮影画像Ｂに対応する照明器１０１ｇｂの位置と中心Ｃｂとが直線Ｌ２で結ばれる。撮影画像Ｃに対応する照明器１０１ｇｃの位置と中心Ｃｃとが直線Ｌ３で結ばれる。最適断面決定部２８０は、直線Ｌ１、Ｌ２及びＬ３の交点Ｃ１の位置を胚Ｓの中心の立体的な位置つまり３次元的な位置に決定する。直線Ｌ１、Ｌ２及びＬ３の交点Ｃ１のイメージセンサ１０２の受光面からの高さ位置が、胚Ｓの中心の高さ位置となる。なお、直線Ｌ１、Ｌ２及びＬ３が、１つの点で交わらないとき、直線Ｌ１、Ｌ２及びＬ３それぞれまでの距離の合計が最短となる点の位置を、胚Ｓの中心位置としてもよい。また、最適断面決定部２８０は、円２及び円３についても、上述と同様の処理を実施し、第１の細胞Ｓ１及び第２の細胞Ｓ２の中心位置を算出する。

（ステップＳ５９００）
最適断面決定部２８０は、第１の細胞Ｓ１の中心及び第２の細胞Ｓ２の中心を含む平面を最適焦点面つまり最適断面と決定する。例えば、図４０に示すように、ステップＳ５８００において、撮影画像Ａ、Ｂ及びＣでの第１の細胞Ｓ１の円２の３つの中心の位置と、照明器１０１ｇａ、１０１ｇｂ及び１０１ｇｃの位置とによって、第１の細胞Ｓ１の中心Ｃ２の立体的な位置が算出されている。同様に、撮影画像Ａ、Ｂ及びＣでの第２の細胞Ｓ２の円３の３つの中心の位置と、照明器１０１ｇａ、１０１ｇｂ及び１０１ｇｃの位置とによって、第２の細胞Ｓ２の中心Ｃ３の立体的な位置が算出されている。なお、図４０は、胚Ｓに含まれる２つの細胞Ｓ１及びＳ２の中心Ｃ２及びＣ３の間の位置関係を示す図である。なお、本実施の形態では細胞は細胞Ｓ１と細胞Ｓ２の２つであるため、第１の細胞Ｓ１の中心及び第２の細胞Ｓ２の中心を含む平面を最適断面とした。細胞が３つ以上の場合には、複数個の細胞の中心について、最も多くの細胞の中心を含む平面を、最適断面と決定してもよい。また、複数個の細胞の中心について、それぞれの細胞の中心から求める平面への垂線の長さの合計が最小となる平面を、最適断面と決定してもよい。

最適断面決定部２８０は、中心Ｃ２及びＣ３を通る平面を最適焦点面に決定する。このとき、最適断面決定部２８０は、中心Ｃ２及びＣ３を通る平面のうち、イメージセンサ１０２の受光面に平行な面に近くなるように、最適焦点面を決定してもよい。具体的には、最適断面決定部２８０は、イメージセンサ１０２の受光面に平行な面に対して１０度以下の傾斜角度を有するように、最適焦点面を決定してもよい。

また、最適断面決定部２８０は、胚Ｓの中に３つの以上の細胞が含まれる場合、上述と同様の処理を行って中心の位置が得られた細胞の中心を最適焦点面が最も多く含むように、最適焦点面を決定してもよい。上記条件と共に又は別に、最適断面決定部２８０は、全ての細胞の中心から最適焦点面までの距離が最も小さくなる、つまり、全ての細胞の中心からの距離の合計が最も小さくなるように、最適焦点面を決定してもよい。上記条件と共に又は別に、最適断面決定部２８０は、上述と同様の処理を行って中心の位置が得られた細胞のうちの３つの細胞の中心を最適焦点面が通り且つ他の細胞の中心から最適焦点面までの距離が最も小さくなるように、最適焦点面を決定してもよい。さらに上記決定において、最適断面決定部２８０は、最適焦点面を、イメージセンサ１０２の受光面に平行な面に近くなるように決定してもよい。

また、図３３に示すように、最適焦点面の候補数が２つ以上ある場合、最適断面決定部２８０は、２つの最適焦点面を算出し、２つの最適焦点面の両方を採用してもよく一方を採用してもよい。そして、以下で説明する最適焦点面の最適断面画像の表示についても、２つの最適焦点面の最適断面画像が表示されてもよく、２つの最適焦点面の一方の最適断面画像が表示されてもよい。

（ステップＳ６０００）
最適断面決定部２８０は、決定した最適焦点面の位置情報をリフォーカス処理部２２０に送る。リフォーカス処理部２２０は、記憶部１２０に記憶されている撮影画像を使用して、複数の撮影画像と、複数の照明器１０１の位置情報と、最適焦点面の位置情報とに基づいて、リフォーカス処理を行い、最適焦点面上の各画素の輝度を求める。なお、リフォーカス処理部２２０は、実施の形態１において断面画像生成部２７０による断面画像生成動作と同様に、基準焦点面ＦＰの基準断面画像Ｉｃに含まれる情報を利用して、最適焦点面上の各画素の輝度を求めてもよい。

（ステップＳ６１００）
最適断面画像生成部２９０は、ステップＳ６０００で行われたリフォーカス処理の結果に基づきディスプレイ等に出力可能な画像データである最適断面画像を合焦画像として生成し、表示部１５０に表示する。表示部１５０の表示画面１５１上での最適断面画像の表示例が、図４１及び図４２に示される。図４１は、胚Ｓの最適断面画像が表示部１５０の表示画面１５１上に表示される一例を示す図である。図４２は、胚Ｓの最適断面画像を画像として表示した例の写真を示す図であるが、胚Ｓに４つの細胞が含まれる例を示す。

（ステップＳ６２００）
表示画面１５１上では、胚Ｓの最適断面画像Ｉоに加えて、焦点面変更アイコン１５８が表示されている。画像生成システム１０Ａのユーザは、胚Ｓの他の断面画像を表示させる場合、ＣＧ操作入力部１４０を介して焦点面変更アイコン１５８を選択し実行させる（ステップＳ６２００でｙｅｓ）。一方、ＣＧ操作入力部１４０を介した最適断面画像Ｉоからの表示断面の変更の指令が発せられない場合、最適断面画像Ｉоが表示され続ける（ステップＳ６２００でｎо）。

（ステップＳ６３００）
焦点面変更アイコン１５８の実行後、画像生成装置２００Ａの画像操作部２６０は、表示部１５０の表示画面１５１上に、図４３及び図４４に示すような焦点面変更画面を表示する。なお、図４３は、表示部１５０がその表示画面１５１上に表示する焦点面変更画面の一例を示す図である。図４４は、焦点面変更画面を画像として表示した例の写真を示す図であるが、胚Ｓに４つの細胞が含まれる例を示す。

焦点面変更画面には、実施の形態１と同様に、ｘｙｚ空間によって定義された胚Ｓの３ＤモデルＡ、横移動スクロールバー１５２、縦移動スクロールバー１５３、断面移動スクロールバー１５４、移動位置表示部１５５、断面位置表示部１５６及びリフォーカスアイコン１５７が、表示されている。３ＤモデルＡには、３ＤモデルＡの中心を通る基準軸Ｃ及び断面平面Ｂが表示されている。ＣＧ操作入力部１４０の操作を介して、基準軸Ｃは、３ＤモデルＡの中心を基準に回動可能であり、断面平面Ｂは、基準軸Ｃ上をスライド可能である。なお、３ＤモデルＡ自体が、任意に回転し、固定された基準軸Ｃに沿って断面平面Ｂがスライドするように構成されてもよい。いずれの場合も、断面平面Ｂは、３ＤモデルＡの任意の断面を示すことができる。さらに、焦点面変更画面には、断面平面Ｂでの胚Ｓの詳細な断面画像１５９が示される。

（ステップＳ６４００）
ＣＧ操作入力部１４０の操作を介してリフォーカスアイコン１５７を実行する（ステップＳ６４００でｙｅｓ）ことによって、画像生成装置２００Ａの画像操作部２６０は、表示されている断面平面Ｂの位置を胚Ｓの詳細な断面画像を表示すべき断面の位置として決定する。そして、画像生成装置２００Ａのリフォーカス処理部２２０及び合焦画像生成部２３０は、断面平面Ｂを焦点面とした合焦画像である胚Ｓの詳細な断面画像を生成し、表示画面１５１に表示する（ステップＳ６５００）。胚Ｓの詳細な断面画像の生成は、実施の形態１での断面画像生成部２７０による生成と同様に実施されてもよい。しかしながら、記憶部１２０に記憶されている撮影画像を用いて、断面平面Ｂを焦点面とするリフォーカス処理を実施することによって、胚Ｓの詳細な断面画像が生成されてもよい。また、リフォーカスアイコン１５７が実行されない場合（ステップＳ６４００でｎо）、表示部１５０の表示画面１５１において、表示されている胚Ｓの断面画像が維持される。

また、胚Ｓの３ＤモデルＡの生成は、実施の形態１での３Ｄ画像生成部２５０等による３Ｄモデルの生成と同様に実施されてもよい。

なお、本実施の形態２の胚Ｓの３ＤモデルＡの生成方法の別例として、以下のような構成が挙げられる。

３Ｄ画像生成部２５０は、最適断面決定部２８０が求めた胚Ｓの中心Ｃ１の位置、第１の細胞Ｓ１の中心の位置Ｃ２及び第２の細胞Ｓ２の中心の位置Ｃ３の情報を取得する。さらに、３Ｄ画像生成部２５０は、イメージセンサ１０２の受光面と垂直な方向で中心Ｃ１、Ｃ２及びＣ３それぞれの真上又は真上に最も近い位置に位置する照明器１０１の照明時の撮影画像を記憶部１２０から取得する。そして、３Ｄ画像生成部２５０は、各撮影画像において、最もコントラストが強い輪郭、具体的には、円形状の輪郭を抽出する。

中心Ｃ１の真上又は真上に最も近い位置の照明器１０１の照明に対応する撮影画像から抽出される輪郭は、胚Ｓの中心を通る断面の輪郭に相当する、つまり、胚Ｓをイメージセンサ１０２の受光面と垂直な方向で見たときの平面形状の２次元輪郭に相当する。これにより、３Ｄ画像生成部２５０は、胚Ｓの球形状を特定する。

同様に、中心Ｃ２の真上又は真上に最も近い位置の照明器１０１の照明に対応する撮影画像から抽出される輪郭は、第１の細胞Ｓ１の中心を通る断面の輪郭に相当する、つまり、第１の細胞Ｓ１をイメージセンサ１０２の受光面と垂直な方向で見たときの平面形状の２次元輪郭に相当する。これにより、３Ｄ画像生成部２５０は、第１の細胞Ｓ１の球形状を特定する。

中心Ｃ３の真上又は真上に最も近い位置の照明器１０１の照明に対応する撮影画像から抽出される輪郭は、第２の細胞Ｓ２の中心を通る断面の輪郭に相当する、つまり、第２の細胞Ｓ２をイメージセンサ１０２の受光面と垂直な方向で見たときの平面形状の２次元輪郭に相当する。これにより、３Ｄ画像生成部２５０は、第２の細胞Ｓ２の球形状を特定する。

よって、３Ｄ画像生成部２５０は、胚Ｓ、第１の細胞Ｓ１及び第２の細胞Ｓ２それぞれの中心位置及び球形状に基づき、胚Ｓの３ＤモデルＡを生成する。このとき、３Ｄ画像生成部２５０は、胚Ｓの３ＤモデルＡを、第１の細胞Ｓ１及び第２の細胞Ｓ２の配置が確認できる半透明又は透明な状態で表示することができる。

［２−３．効果］
以上のように、本実施の形態に係る画像生成装置２００Ａによれば、撮影対象物である胚Ｓの特徴点である細胞の中心を最も多く含む断面が選定され、選定された断面の合焦画像が表示される。表示される断面の合焦画像は、胚Ｓの多くの特徴を表示することができる。よって、画像生成装置２００Ａは、ユーザに有益な情報を自動的に生成し提供することができる。

［実施の形態の変形例１］
次に、実施の形態１及び２の変形例１について説明する。本変形例は、画像生成システムによるリフォーカス処理に関する変形例である。上記実施の形態では、図１０のステップＳ１３５０で照明位置が選択されたが、本変形例では、撮影画像が選択される。以下に、本変形例について、実施の形態と異なる点を中心に説明する。

図４５は、実施の形態の変形例１に係るリフォーカス処理部２２０の動作の一例を示すフローチャートである。図４５では、図１０におけるステップＳ１３４０〜ステップＳ１３９０の代わりに、ステップＳ１３４１〜ステップＳ１３９０が実行される。なお、図４５において、図１０と実質的に同一のステップについては同一の符号を付し、適宜説明を省略する。

図４５において、撮影画像のすべてが加算処理に使用された場合（ステップＳ１３４１においてｙｅｓ）は、ステップＳ１３２０へ戻る。一方、撮影画像のいずれかが加算処理に使用されていない場合（ステップＳ１３４１においてｎｏ）は、ステップＳ１３５１へ進む。リフォーカス処理部２２０は、記憶部１２０に記憶された撮影画像のうち１つを選択する（ステップＳ１３５１）。ここでは、加算処理にまだ使用されていない撮影画像が選択される。

リフォーカス処理部２２０は、ステップＳ１３５１で選択された撮影画像に対応する照明位置情報を記憶部１２０から取得する（ステップＳ１３５９）。その後は、ステップＳ１３７０で画像を取得する動作がない以外は図１０に示した動作と同様である。

以上のように、本変形例に係る画像生成システムのリフォーカス処理方法によれば、照明位置の選択を撮影画像の選択に代えても、実施の形態と同様に、合焦画像の各画素に、当該画素に対応する複数の撮影画像の輝度値を適用することができ、対象物の高画質な合焦画像を生成することができる。

［実施の形態の変形例２］
次に、実施の形態１及び２の変形例２について説明する。本変形例は、画像生成システムによるリフォーカス処理に関する変形例である。上記実施の形態では、図１０のステップＳ１３２０及びステップＳ１３３０で、合焦画像内の画素が順に選択されたが、本変形例では、撮影画像内の画素が順に選択される。つまり、本変形例では、先に撮影画像内の画素が選択され、その選択された画素に対応する焦点面上の点が後で決定される点が上記実施の形態と異なる。このように決定された焦点面上の点に対応する合焦画像内の画素に、撮影画像内の選択された画素の輝度値が反映される。以下に、本変形例について、実施の形態と異なる点を中心に説明する。

図４６は、実施の形態の変形例２に係るリフォーカス処理部２２０の動作の一例を示すフローチャートである。図４６において、図１０と実質的に同一のステップについては、同一の符号を付し、適宜説明を省略する。

（ステップＳ１３２２）
リフォーカス処理部２２０は、ステップＳ１１００で撮影した画像のすべてについてリフォーカス処理が終了したかどうかを判定する。リフォーカス処理とは、ステップＳ１３２２からステップＳ１３９２までの処理を意味する。すべての画像についてすでにリフォーカス処理が終了している場合（ステップＳ１３２２においてｙｅｓ）は、リフォーカス処理部２２０は、ステップＳ１４００へ進む。ステップＳ１１００で撮影した画像のいずれかについてリフォーカス処理が終了していない場合（ステップＳ１３２２においてｎｏ）は、リフォーカス処理部２２０は、ステップＳ１３３２へ進む。

（ステップＳ１３３２）
リフォーカス処理部２２０は、記憶部１２０に記憶されている、ステップＳ１１００で撮影された画像の中から、１つの撮影画像を選択する（ステップＳ１３３２）。ここで選択される１つの撮影画像は、リフォーカス処理がまだ行われていない画像である。以下において、ステップＳ１３３２で選択された１つの画像を選択画像という。

（ステップＳ１３３３）
リフォーカス処理部２２０は、選択画像に対応する照明位置情報を取得する。例えば、リフォーカス処理部２２０は、図６に示した画像と照明位置情報との対応関係を参照して照明位置情報を取得する。ここでは、照明器１０１ａの位置情報が取得された場合について説明する。

（ステップＳ１３４２）
リフォーカス処理部２２０は、選択画像の全画素に対して、加算処理が終了したかを判定する（ステップＳ１３４２）。ここで、選択画像の全画素について加算処理が終了している場合（ステップＳ１３４２においてｙｅｓ）は、加算処理を終了してステップＳ１３２２へ戻る。一方、選択画像のいずれかの画素について加算処理が終了していない場合（ステップＳ１３４２においてｎｏ）は、ステップＳ１３５２へ進む。加算処理とは、ステップＳ１３４２からステップＳ１３９２までの処理を意味する。

（ステップＳ１３５２）
リフォーカス処理部２２０は、選択画像中の１つの画素を選択する。ここで選択される１つの画素は、加算処理がまだ行われていない画素である。図４７に、選択画像に含まれる複数の画素に対応する受光面上の複数の点１３０２ａ〜１３０２ｅを示す。ここでは、図４８に示すように、受光面上の点１３０２ａに対応する画素を選択画像から選択した場合について説明する。なお、以後、ステップＳ１３５２で選択された画素を加算画素とも表記する。

（ステップＳ１３７２）
リフォーカス処理部２２０は、図４８に示すように、受光面上の点１３０２ａと照明器１０１ａの位置とを結ぶ直線と焦点面１１００とが交差する交点１３０３ａの位置を計算する。以下において、交点１３０３ａを加算点とも表記する。

（ステップＳ１３８２）
リフォーカス処理部２２０は、受光面上の点１３０２ａに対応する選択画像内の加算画素の輝度値を、焦点面上の加算点（交点１３０３ａ）に対応する合焦画像内の１以上の画素の輝度値に加算する。

例えば、合焦画像において、交点１３０３ａの位置がどの画素（整数画素）の位置とも一致しない場合、リフォーカス処理部２２０は、合焦画像において交点１３０３ａに隣接する複数の画素に加算するための輝度値をそれぞれ計算する。具体的には、リフォーカス処理部２２０は、合焦画像の画素の配列を基準に、ステップＳ１３７２で計算された焦点面上の加算点（交点１３０３ａ）に対応する合焦画像内の位置を決定する。

例えば、図４９のように、合焦画像において４つの画素（画素Ａ〜画素Ｄ）に囲まれた位置が加算点の位置として決定される。この場合、リフォーカス処理部２２０は、合焦画像において加算点に隣接する各画素（画素Ａ〜画素Ｄ）と加算点との距離を計算する。リフォーカス処理部２２０は、計算された距離と加算画素の輝度値とを用いて、加算点に隣接する各画素に加算するための輝度値を計算する。例えば、リフォーカス処理部２２０は、合焦画像内において加算点に隣接する画素と加算点との距離が相対的に大きい画素ほど輝度値が相対的に大きくなるように、各画素に加算するための輝度値を計算する。具体的には、リフォーカス処理部２２０は、例えば画素Ａに加算するための輝度値Ｌａを、以下の式４に従って計算する。

ここで、ａは、合焦画像における画素Ａと加算点との間の距離である。ｂは、合焦画像における画素Ｂと加算点との間の距離である。ｃは、合焦画像における画素Ｃと加算点との間の距離である。ｄは、画素Ｄと加算点との間の距離である。Ｌは、撮影画像に含まれる加算画素の輝度値である。

（ステップＳ１３９２）
リフォーカス処理部２２０は、合焦画像中の１つ以上の画素の輝度値に、ステップＳ１３８２で計算された輝度値を加算する。

ステップＳ１３４２からステップＳ１３９２までの処理を繰り返すことで、選択画像中のすべての画素の輝度値を合焦画像の画素の輝度値に反映させることができる。

さらに、ステップＳ１３２２からステップＳ１３９２を繰り返すことですべての撮影画像中のすべての画素について加算処理が行われ、焦点面における合焦画像を生成することができる。

図４６のフローチャートについて各ステップの具体例を図５０を参照しながら説明する。ここでは、イメージセンサ１０２及び焦点面等が以下の条件を満たす場合について説明する。イメージセンサ１０２の受光面の長辺（すなわちｘ軸と平行な辺）の長さが６ｍｍであり、受光面の短辺（すなわちｙ軸と平行な辺）の長さが４ｍｍである。焦点面のｘ軸に対する傾きが３０度である。焦点面のｙ軸に対する傾きが０度である。焦点面の面積は、イメージセンサ１０２の受光面の面積と同じである。すなわち、焦点面は、６ｍｍ×４ｍｍの矩形の平面である。焦点面の一方の短辺は、図５０のようにｙｚ平面上にあり、ｙ軸に平行に延びている。焦点面の他方の短辺は、ｘｙ平面上にあり、ｘ座標が約５．２ｍｍの位置でｙ軸と平行に延びている。焦点面の中心の座標（ｘ，ｙ，ｚ）は、（２．６，２，１．５）である。

ここで、ステップＳ１３３２で画像が選択され、ステップＳ１３３３で画像に対応する照明位置（７．５，２，１０）が取得され、ステップＳ１３５２で加算画素（１．７，２，０）が選択されたとする。この場合、ステップＳ１３７２において、加算画素（１．７，２，０）と照明位置（７．５，２．０，１０）とを通る直線と焦点面との交点である加算点の座標（２．６，２，１．５）が計算される。そして、ステップＳ１３８２において、合焦画像における加算点の近傍の画素の輝度値に、加算画素の輝度値が分配されて加算される。

以上のように、本変形例によれば、イメージセンサ１０２の受光面上における第１画素の位置及び照明器の位置を結ぶ直線と焦点面との交点の位置に対応する合焦画像の１以上の第２画素の輝度値に、撮影画像の第１画素の輝度値を適用することができる。したがって、撮影画像の各画素の輝度値を合焦画像の画素の輝度値に反映することができ、対象物の高画質な合焦画像を生成することができる。

［実施の形態の変形例３］
次に、実施の形態１及び２の変形例３について説明する。本変形例は、画像生成システムに関する変形例である。本変形例では、決定された焦点面に応じて適応的に照明位置を決定し、決定された照明位置にある照明器を用いて対象物を撮影する点が実施の形態と異なる。以下に、本変形例について、実施の形態と異なる点を中心に説明する。

［画像生成システムの構成］
図５１は、変形例３に係る画像生成システム１０Ｂの機能的な構成を示すブロック図である。図５１において、図１と実質的に同一の構成要素については、同一の符号を付し、適宜説明を省略する。画像生成システム１０Ｂは、撮影装置１００と、画像生成装置２００Ｂと、記憶部１２０と、表示部１５０とを備える。

［撮影装置の構成］
撮影装置１００は、複数の照明器１０１と、画素ごとに光の強度を記録するイメージセンサ１０２と、撮影制御部１０３とを備える。

撮影制御部１０３は、後述する照明範囲決定部３００から取得した照明範囲情報に従って、複数の照明器１０１及びイメージセンサ１０２の動作を制御する。具体的には、撮影制御部１０３は、異なる位置にある複数の照明器１０１から光を順に照射させる。そして、複数の照明器１０１のいずれかから光が照射されるたびに、イメージセンサ１０２に対象物の画像を撮影させる。

［画像生成装置の構成］
画像生成装置２００Ｂは、焦点面決定部２１０と、照明範囲決定部３００と、リフォーカス処理部２２０と、合焦画像生成部２３０と、対象物抽出部２４０と、３Ｄ画像生成部２５０と、画像操作部２６０と、断面画像生成部２７０とを備える。

照明範囲決定部３００は、焦点面決定部２１０によって決定された焦点面に対応する照明位置を決定する。ここで、図５２及び図５３を参照しながら照明位置の決定の具体例を説明する。

図５２は、変形例３における照明位置の決定方法を模式的に示した説明図である。図５３は、レンズの焦点距離及び被写界深度の関係と、リフォーカシングする際の点光源の配置及び被写界深度の関係とを対応付けて示した模式図である。図５３の（ａ）は、レンズの焦点距離及び被写界深度の関係を示し、図５３の（ｂ）は、リフォーカシングする際の点光源の配置及び被写界深度の関係を示す。

図５３において、ｆは、レンズの焦点距離を示す。ｓは、被写体距離を示す。ｔは、レンズから結像面までの距離を示す。Ｆは、Ｆ値を示す。εは、焦点深度の１／２を示す。δは、許容錯乱円直径を示す。Ｓｎは、近点距離を示す。Ｓｆは、遠点距離を示す。Ｄｎは、前方被写界深度を示す。Ｄｆは、後方被写界深度を示す。

リフォーカシングによる被写界深度は照明位置の分布範囲の広さによって決定される。図５３の（ｂ）において、点線で示す照明位置の分布範囲は、図５３の（ａ）のレンズ径に対応する。図５３の（ａ）に示したレンズの場合には、被写体（Ｓｕｂｊｅｃｔ）表面で反射された光はレンズを通過して焦点面（ＦｏｃａｌＰｌａｎｅ）で結像する。被写界深度（ＤｅｐｔｈｏｆＦｉｅｌｄ）は、前方被写界深度Ｄｎと後方被写界深度Ｄｆの和である。本開示では、透過光の撮影でのリフォーカシングであるため、図５３の（ａ）の被写体の位置に相当するのが焦点面である。図５３の（ｂ）において、イメージセンサは焦点面よりも左側に位置する。本変形例では、点光源の配列より図中右側には実際には何も無いが、許容錯乱円として、イメージセンサの画素ピッチを設定することで、被写界深度を計算しうる。

例えば、図５２に示した、焦点面の合焦画像を生成するために必要な照明位置の範囲は、図５３に示すように、焦点面に平行に設置されたレンズの大きさに対応する。レンズを用いると、焦点位置に置かれた被写体を観測するために、被写体から５ｍｍの距離に置かれた直径１０ｍｍのレンズ径が必要な場合の照明位置の範囲は、次のような円で表される。つまり、照明位置の範囲は、図５２のように焦点面に平行で、焦点面からの距離が５ｍｍ、焦点面の中心を通る焦点面の法線と焦点面に平行な平面との交点を中心とした直径１０ｍｍの円で表される。実際の点光源の配置平面あるいは曲面（例えば、図３に示した曲面や、図４に示した平面）に、この照明位置の範囲を写像した領域内に配置された照明器の位置が、焦点面決定部２１０によって決定された焦点面に適した照明位置となる。

［画像生成システムのリフォーカス処理動作］
次に、上述のように構成される画像生成システム１０Ｂのリフォーカス処理動作について説明する。図５４は、変形例３に係る画像生成システム１０Ｂのリフォーカス処理動作の一例を示すフローチャートである。図５４において、図７と実質的に同一のステップについては、同一の符号を付し、適宜説明を省略する。

図５４に示されるように、まず、焦点面決定部２１０は、焦点面を決定する（ステップＳ１２００）。

照明範囲決定部３００は、ステップＳ１２００で決定された焦点面に対応する照明位置の範囲を決定する（ステップＳ２２００）。

撮影装置１００は、複数の照明器１０１のうち、ステップＳ２２００で決定された照明位置の範囲に対応する照明器を順に用いて、対象物を照明する。そして、撮影装置１００は、照明器が対象物を照明するたびに、イメージセンサ１０２の受光面に到達した光の強度を記録することにより、対象物の画像を取得する。取得された画像は、撮影時に対象物を照明していた照明器の位置情報とともに記憶部１２０で記憶される（ステップＳ２３００）。具体的には、撮影装置１００の撮影制御部１０３は、ステップＳ２２００で決定された照明位置の範囲に基づいて、複数の照明器１０１の中から、決定された照明位置の範囲に含まれる２以上の照明器を選択する。そして、撮影制御部１０３は、予め定められた順番で、選択された２以上の照明器に光を照射させ、イメージセンサ１０２に撮影させる。撮影装置１００が、対象物に対する照明と、対象物の撮影とを繰り返すことにより、決定された照明位置の範囲内の照明器を用いて、対象物の画像を取得する。これ以降の動作は、基本的に実施の形態１の図７と同様であるので説明を省略する。

以上のように、変形例３に係る画像生成システムによれば、焦点面の情報に基づいて照明位置の範囲を決定し、決定された照明位置の範囲に対応する照明器によって対象物を順番に照明することができる。したがって、焦点面における合焦画像の生成に適した照明器を用いて対象物を撮影することができ、撮影時間を短縮することができる。

（他の実施の形態）
以上、１つ又は複数の態様に係る画像生成システムについて、実施の形態及びその変形例に基づいて説明したが、本開示は、これら実施の形態及び変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態及び変形例に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、１つ又は複数の態様の範囲内に含まれてもよい。

本開示は、培養中の細胞あるいは胚等の細胞塊の画像を生成する装置に広く利用可能であり、インキュベータ内で対象物を撮影する際に有用である。

１０、１０Ａ、１０Ｂ画像生成システム
１００撮影装置
１０１、１０１ａ、１０１ｂ照明器
１０２イメージセンサ
１５０表示部
１５１表示画面
２００、２００Ａ、２００Ｂ画像生成装置
２１０焦点面決定部
２２０リフォーカス処理部
２３０合焦画像生成部
２４０対象物抽出部
２５０３Ｄ画像生成部
２６０画像操作部
２７０断面画像生成部
２８０最適断面決定部
２９０最適断面画像生成部
３００照明範囲決定部
Ｂｉ参考断面画像
Ｓ胚（対象物）

Claims

複数の照明器と、
対象物が載置される表面と複数のセンサ画素とを有するイメージセンサと、
前記複数の照明器及び前記イメージセンサの間に位置する仮想的な複数の基準焦点面に対応する複数の基準合焦画像を生成し、前記複数の基準合焦画像を用いて、前記対象物の３次元画像を生成する制御回路とを備え、
前記イメージセンサは、前記複数の照明器のそれぞれが照明する毎に、前記複数のセンサ画素で受光される光に基づく輝度値を用いて、複数の撮影画像を取得し、
前記複数の基準合焦画像は、複数の合焦画素で構成されており、
前記制御回路は、
（ａ１）前記イメージセンサにより撮影された複数の撮影画像を取得し、
（ａ２）前記複数の基準焦点面の情報を取得し、ここで、前記複数の基準焦点面は、前記対象物を通り且つ互いに間隔をあけて位置しており、
（ａ３）前記複数の基準焦点面の情報と前記複数の撮影画像とを用いて、前記複数の基準合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記複数の基準合焦画像を生成し、
（ａ４）前記複数の基準合焦画像のうちの前記対象物の輪郭のコントラストが最も高い前記基準合焦画像を用いて、前記対象物の輪郭を抽出し、
（ａ５）抽出した前記対象物の輪郭に基づき前記対象物の立体的な輪郭を特定し、
（ａ６）前記複数の基準合焦画像それぞれから、前記立体的な輪郭の外側に相当する領域を除去することによって、前記対象物の複数の基準断面画像を生成し、
（ａ７）前記複数の基準断面画像を用いて、前記対象物の３次元画像を生成し、前記３次元画像を表示画面に表示させる
画像生成装置。
前記制御回路は、
外部から入力される指令に従って、表示している前記対象物の３次元画像上で前記対象物の断面を選択し、
選択した前記対象物の断面の画像を、前記複数の基準合焦画像を構成する複数の画素の輝度を用いて生成し、
前記対象物の断面の画像を構成する複数の断面画素の輝度値をそれぞれ、前記断面画素上の前記基準合焦画像の画素の輝度値又は前記断面画素の近傍の前記基準合焦画像の画素の輝度値を用いて、算出する
請求項１に記載の画像生成装置。
前記断面画素の輝度値の算出に用いられる前記断面画素の近傍の前記基準合焦画像の画素は、前記断面画素を挟んで位置する２つの前記基準焦点面それぞれの前記基準合焦画像の画素である
請求項２に記載の画像生成装置。
前記制御回路は、前記対象物の参考用断面を示す参考断面画像を生成し且つ前記参考断面画像を前記表示画面に表示させ、
前記制御回路は、前記参考断面画像を構成する複数の画素の輝度値を、前記参考断面画像の画素上の前記基準合焦画像の画素の輝度値とすることによって、前記参考断面画像を生成する
請求項２または３に記載の画像生成装置。
前記制御回路は、前記照明器の位置と前記合焦画素の位置と前記センサ画素の位置とが直線上に並ぶ関係にある前記センサ画素それぞれの輝度値を用いることによって、前記合焦画素の輝度値を算出する
請求項１〜４のいずれか一項に記載の画像生成装置。
前記対象物は胚であり、前記基準合焦画像に含まれる前記胚の輪郭は、円状であり、前記胚の立体的な輪郭は、球状である
請求項１〜５のいずれか一項に記載の画像生成装置。
イメージセンサ上に位置する対象物の画像を生成する画像生成方法であって、
（ｂ１）複数の照明器のそれぞれを照明する毎に、前記イメージセンサの複数のセンサ画素で受光される光に基づく輝度値を用いて、複数の撮影画像を取得し、
（ｂ２）前記複数の照明器及び前記イメージセンサの間に位置する仮想的な複数の基準焦点面を設定し、ここで、前記複数の基準焦点面は、前記対象物を通り且つ互いに間隔をあけて位置し、
（ｂ３）前記複数の基準焦点面に対応する複数の基準合焦画像を生成することであって、前記複数の基準焦点面の情報と前記複数の撮影画像とを用いて、前記複数の基準合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記複数の基準合焦画像を生成し、
（ｂ４）前記複数の基準合焦画像のうちから前記対象物の輪郭のコントラストが最も高い前記基準合焦画像を用いて、前記対象物の輪郭を抽出し、
（ｂ５）抽出した前記対象物の輪郭に基づき前記対象物の立体的な輪郭を特定し、
（ｂ６）前記複数の基準合焦画像それぞれから、前記立体的な輪郭の外側に相当する領域を除去することによって、前記対象物の複数の基準断面画像を生成し、
（ｂ７）前記複数の基準断面画像を用いて、前記対象物の３次元画像を生成し、前記３次元画像を表示画面に表示させ、
前記（ｂ１）〜（ｂ７）の少なくとも１つは制御回路により実行される
画像生成方法。
（ｃ１）前記対象物の３次元画像上で前記対象物の断面を選択し、
（ｃ２）選択した前記対象物の断面の画像を、前記複数の基準合焦画像を構成する複数の画素の輝度を用いて生成し、
（ｃ３）前記対象物の断面の画像を構成する複数の断面画素の輝度値をそれぞれ、前記断面画素上の前記基準合焦画像の画素の輝度値又は前記断面画素の近傍の前記基準合焦画像の画素の輝度値を用いて、算出する
請求項７に記載の画像生成方法。
前記断面画素の輝度値の算出では、前記断面画素の近傍の前記基準合焦画像の画素として、前記断面画素を挟んで位置する２つの前記基準焦点面それぞれの前記基準合焦画像の画素を用いる
請求項８に記載の画像生成方法。
（ｄ１）前記対象物の参考用断面を示す参考断面画像を生成し且つ前記参考断面画像を前記表示画面に表示させ、前記参考断面画像の生成では、前記参考断面画像を構成する複数の画素の輝度値を、前記参考断面画像の画素上の前記基準合焦画像の画素の輝度値とする
請求項８または９に記載の画像生成方法。
前記照明器の位置と前記合焦画素の位置と前記センサ画素の位置とが直線上に並ぶ関係にある前記センサ画素それぞれの輝度値を用いて、前記合焦画素の輝度値を算出する
請求項７〜１０のいずれか一項に記載の画像生成方法。
前記対象物は胚であり、前記基準合焦画像に含まれる前記胚の輪郭は、円状であり、前記胚の立体的な輪郭は、球状である
請求項７〜１１のいずれか一項に記載の画像生成方法。
コンピュータに実行させるプログラムであって、
（ｅ１）イメージセンサ上に位置する対象物の複数の撮影画像を取得し、ここで、前記複数の撮影画像は、複数の照明器のそれぞれを照明する毎に、前記イメージセンサの複数のセンサ画素で受光される光に基づく輝度値を用いて、前記イメージセンサによって取得され、
（ｅ２）前記複数の照明器及び前記イメージセンサの間に位置する仮想的な複数の基準焦点面を設定し、ここで、前記複数の基準焦点面は、前記複数の照明器及び前記イメージセンサの間で、前記対象物を通り且つ互いに間隔をあけて位置し、
（ｅ３）前記複数の基準焦点面に対応する複数の基準合焦画像を生成することであって、前記複数の基準焦点面の情報と前記複数の撮影画像とを用いて、前記複数の基準合焦画像を構成する複数の合焦画素に対応する前記センサ画素の輝度値を取得することで、前記複数の基準合焦画像を生成し、
（ｅ４）前記複数の基準合焦画像のうちから前記対象物の輪郭のコントラストが最も高い前記基準合焦画像を用いて、前記対象物の輪郭を抽出し、
（ｅ５）抽出した前記対象物の輪郭に基づき前記対象物の立体的な輪郭を特定し、
（ｅ６）前記複数の基準合焦画像それぞれから、前記立体的な輪郭の外側に相当する領域を除去することによって、前記対象物の複数の基準断面画像を生成し、
（ｅ７）前記複数の基準断面画像を用いて、前記対象物の３次元画像を生成し、前記３次元画像を表示画面に表示させる
プログラム。