JP6942796B2 - 観察システム - Google Patents

Description

本発明は、観察システムに関する。

例えばバイオテクノロジーの分野の研究等においては、細胞培養が日常的に行われている。細胞培養においては、細胞の状態を確認するために、インキュベータから培養容器を取り出して、顕微鏡などを用いて細胞を観察する作業が定期的に必要である。この確認作業は作業者にとって煩わしいものである。例えば、日本国特開２００２−８５０５４号公報には、このような煩わしい作業の負担を軽減することができる、インキュベータ内の細胞の状態を遠隔的に観察する培養観察システムについて開示されている。

細胞培養の期間は長期間に及ぶため、インキュベータ内の細胞の様子を撮影し続けると、間隔をあけながらであっても、時系列に沿った大量の画像データが蓄積される。

上述のように、培養中の細胞等の生体試料の画像を取得する装置によって大量に得られる画像の中から、関心の高い画像のみを選択して内容を確認したいという要求がある。

本発明は、生体試料に関する時系列に沿った複数の画像から、所望の画像を選択して再生することができる観察システムを提供することを目的とする。

本発明の一態様によれば、観察システムは、生体試料に関する時系列に沿った複数の画像を取得する撮像部と、前記撮像部で取得された複数の画像と、前記複数の画像の少なくとも何れかの取得時において入力装置を介してユーザによって入力された前記生体試料に対する作業が行われた旨の情報に従って付与された前記生体試料に対する作業毎のタグ情報とを含む画像群データを取得する取得部と、前記タグ情報を用いて前記複数の画像のうち前記時系列に沿って再生する画像を再生選択画像として選択する再生画像選択部と、前記再生選択画像を時系列に沿って再生するための前記画像に係るデータを表示装置へと出力する再生画像出力部とを備える。

本発明によれば、生体試料に関する時系列に沿った複数の画像から所望の画像を選択して再生することができる観察システムを提供できる。

図１は、一実施形態に係る観察システムの構成例の概略を示す外観図である。 図２は、一実施形態に係る観察システムの構成例の概略を示すブロック図である。 図３は、一実施形態に係る画像群データの構成例の概略を模式的に示す図である。 図４Ａは、一実施形態に係る表示画面の一例の概略を示す図である。 図４Ｂは、一実施形態に係る表示画面の一例の概略を示す図である。 図４Ｃは、一実施形態に係る表示画面の一例の概略を示す図である。 図５Ａは、一実施形態に係る表示画面の一例の概略を示す図である。 図５Ｂは、一実施形態に係る表示画面の一例の概略を示す図である。 図６Ａは、一実施形態に係る表示画面の一例の概略を示す図である。 図６Ｂは、一実施形態に係る表示画面の一例の概略を示す図である。 図７Ａは、一実施形態に係る表示画面の一例の概略を示す図である。 図７Ｂは、一実施形態に係る表示画面の一例の概略を示す図である。 図８Ａは、一実施形態に係る表示画面の一例の概略を示す図である。 図８Ｂは、一実施形態に係る表示画面の一例の概略を示す図である。 図９Ａは、一実施形態に係る表示画面の一例の概略を示す図である。 図９Ｂは、一実施形態に係る表示画面の一例の概略を示す図である。 図１０Ａは、一実施形態に係る表示画面の一例の概略を示す図である。 図１０Ｂは、一実施形態に係る表示画面の一例の概略を示す図である。 図１１は、一実施形態に係る観察装置の動作の一例の概略を示すフローチャートである。 図１２は、一実施形態に係る観察装置の動作の一例の概略を示すフローチャートである。 図１３は、変形例に係る表示画面の一例の概略を示す図である。

［観察システムの構成］
本発明の一実施形態について図面を参照して説明する。本実施形態は、観察システム１に関する。観察システム１は、時系列に沿って例えば培養細胞といった生体試料に関する画像を取得する。さらに観察システム１は、取得した画像を再生する。このため、観察システム１は、例えば図１に示すように、生体試料に関する画像を取得する観察装置２００と、取得した画像を再生する画像再生装置としての機能を有する制御装置１００とを備える。

観察システム１の観察対象は試料３００である。試料３００は、例えば培養細胞等の生体試料を含む。培養細胞等は、シャーレ、フラスコ、マルチウェルディッシュ等に入れられた培地の中で培養されている。観察装置２００は、インキュベータ内に配置され、試料３００は、インキュベータ内の観察装置２００の上に静置される。観察装置２００は、インキュベータ内で培養中の培養細胞等の画像を連続的に取得することができる。観察装置２００に接続された制御装置１００は、インキュベータの外部に配置される。

観察装置２００の外観は、例えばおおよそ直方体の形状をしている。観察装置２００の筐体２０１の上面には、透明板２０２が設けられている。観察対象である試料は、この透明板２０２上に配置される。筐体２０１の内部には、撮像光学系と撮像素子とを有する撮像部２１６が設けられている。撮像部２１６は、透明板２０２を介して試料３００を撮影し、その画像データを生成する。生成された画像データは、観察装置２００内の図示しない記録装置に記録されたり、制御装置１００へと送信されたりする。撮像部２１６は、固定されており試料３００の一箇所を撮影するように構成されていても、移動して試料３００の複数箇所を撮影するように構成されていてもよい。

また、観察装置２００は、例えばボタンスイッチを含む入力装置２１８を有する。ユーザは、自身が行った作業を記録するために、例えば試料３００の培地交換を行ったとき、入力装置２１８のうちの一つであるボタンスイッチを押圧し、例えば試料３００の継代作業を行ったとき、入力装置２１８のうちの他の一つであるボタンスイッチを押圧する。また、ユーザは、例えば試料３００に試薬を添加するなど、他の作業を行ったとき、さらに別のボタンスイッチを押す。入力装置２１８を介して入力された試料３００の培地交換や継代作業等の記録は、撮像部２１６によって生成された画像データと関連付けられて、観察装置２００の記録装置２１７に記録される。

観察装置２００は、例えば、Central Processing Unit（ＣＰＵ）、Application Specific Integrated Circuit（ＡＳＩＣ）、又はField Programmable Gate Array（ＦＰＧＡ）等といったプロセッサ２２２を含む。プロセッサ２２２の数はいくつであってもよい。また、観察装置２００は、プロセッサ２２２のメインメモリとして機能するメモリ２２４と、各種情報が記録される記録装置２１７とを含む。メモリ２２４は、例えばRandom Access Memory（ＲＡＭ）等である。記録装置２１７は、例えば半導体メモリであっても、ハードディスク等であってもよい。記録装置２１７には、プロセッサ２２２で用いられるプログラム、各種パラメータ等が記録されている。また、記録装置２１７には、取得した試料３００に係る画像データ等が記録される。

制御装置１００は、画像再生装置１１０と、入力装置１５２と、表示装置１５４とを備える。画像再生装置１１０は、例えばパーソナルコンピュータ（ＰＣ）、タブレット端末等であり得る。入力装置１５２は、例えばキーボード、マウス、タッチパネル等であり得る。表示装置１５４は、例えば液晶ディスプレイ等であり得る。

画像再生装置１１０は、観察装置２００で取得された画像を表示装置１５４に表示させる機能を有する。画像再生装置１１０は、観察装置２００を制御する機能を有していてもよい。画像再生装置１１０は、例えば、Central Processing Unit（ＣＰＵ）、Application Specific Integrated Circuit（ＡＳＩＣ）、Field Programmable Gate Array（ＦＰＧＡ）、Graphics Processing Unit（ＧＰＵ）等といったプロセッサ１１２を含む。プロセッサ１１２の数はいくつであってもよい。また、画像再生装置１１０は、プロセッサ１１２のメインメモリとして機能するメモリ１１４と、各種情報が記録される記録装置１１６とを含む。メモリ１１４は、例えばRandom Access Memory（ＲＡＭ）等である。記録装置１１６は、例えば半導体メモリであっても、ハードディスク等であってもよい。記録装置１１６には、プロセッサ１１２で用いられるプログラム、各種パラメータ等が記録されている。また、記録装置１１６には、観察装置２００から取得した試料３００に係る画像データ等が記録される。

観察システム１の機能を図２のブロック図を参照して説明する。観察装置２００は、上述の撮像部２１６、記録装置２１７及び入力装置２１８の他、撮像制御部２１１と記録制御部２１２とを備える。撮像制御部２１１及び記録制御部２１２は、プロセッサ２２２等によって実現され得る。撮像制御部２１１は、撮像部２１６の動作を制御する。記録制御部２１２は、撮像部２１６で得られた画像データの記録装置２１７への記録等を制御する。

画像再生装置１１０は、データ取得部１２２と入力情報取得部１２４と再生画像選択部１２６と再生画像出力部１２８とを備える。データ取得部１２２は、生体試料である試料３００に関する時系列に沿った複数の画像と、当該画像の少なくとも一部と関連付けられた、試料３００に対する作業に関する少なくとも１つのタグ情報とを含む画像群データを取得する。入力情報取得部１２４は、入力装置１５２への入力情報を取得する。入力装置１５２への入力は、画像再生に用いられる。再生画像選択部１２６は、タグ情報を用いて複数の画像のうち時系列に沿って再生する画像を再生選択画像として選択する。再生画像出力部１２８は、再生選択画像を時系列に沿って再生するための画像に係るデータを表示装置１５４へと出力する。

［観察システムの動作の概要］
本実施形態に係る観察システム１は、時系列に沿って試料３００についての複数の画像を取得し、継続した観察を行う。すなわち、観察装置２００は、撮像部２１６を用いて、透明板２０２の上に静置された試料３００を例えば所定時間毎に撮影して、複数の画像データを取得する。このような撮影は、例えば１時間ごとに繰り返され、例えば数週間にわたって継続される。したがって、撮影により得られる画像は数百枚になり得る。

例えば数週間にわたって撮影が行われるので、試料３００の培地は交換されたり、試料３００の細胞等について継代作業等が行われたりする。また、このような観察では、観察の途中で試料３００に試薬が添加され、添加した試薬の効果が評価されたりする。本実施形態では、ユーザは、培地交換を行ったとき、継代作業を行ったとき、試薬を添加したときなど、作業を行ったときに、その旨を入力装置２１８を用いて観察装置２００に入力する。観察装置２００は、入力された作業に関する情報を取得した画像と関連付けて記録する。

観察システム１によって得られるデータの構成例について、図３を参照して説明する。図３は、観察システム１によって得られる複数の画像と作業に係る情報とを含む画像群データ４００を模式的に示す図である。図３において、１つの丸印は１つの画像を模式的に示す。例えば、画像群データ４００は、第１の画像４０１、第２の画像４０２、第３の画像４０３、第４の画像４０４等のように時系列に沿った複数の画像に係るデータを含む。

観察装置２００には、ユーザによって継代作業が行われた旨が入力される。観察装置２００は、この入力に基づいて、継代作業後に最初に行われた撮影によって得られた画像に継代作業が行われた旨のタグを付す。例えば、図３において、縦線のハッチングを施した丸印は、継代作業タグが付された画像を示す。例えば、第１の継代作業タグ付画像４１１、第２の継代作業タグ付画像４１２、第３の継代作業タグ付画像４１３等が、継代作業タグが付された画像である。

観察装置２００には、ユーザによって培地交換が行われた旨が入力される。観察装置２００は、この入力に基づいて、培地交換後に最初に行われた撮影によって得られた画像に培地交換が行われた旨のタグを付す。例えば、図３において、横線のハッチングを施した丸印は、培地交換タグが付された画像を示す。例えば、第４の画像４０４である第１の培地交換タグ付画像４２１が、培地交換タグが付された画像である。その他にも、第２の培地交換タグ付画像４２２、第３の培地交換タグ付画像４２３、第４の培地交換タグ付画像４２４、第５の培地交換タグ付画像４２５等が、培地交換タグが付された画像である。

観察装置２００には、ユーザによってその他の作業が行われた旨が入力される。ここで、その他の作業とは、例えば所定の試薬を試料３００に添加すること等であり得る。観察装置２００は、この入力に基づいて、その他の作業後に最初に行われた撮影によって得られた画像にその他の作業が行われた旨のタグを付す。例えば、図３において、格子のハッチングを施した丸印は、試薬添加タグが付された画像を示す。例えば、第１の試薬添加タグ付画像４３１等が、試薬添加タグが付された画像である。このように、画像には、各種の作業タグが付され得る。

図３に示すような画像群データ４００は、観察装置２００の記録装置２１７に記録される。画像再生装置１１０のデータ取得部１２２は、観察装置２００の記録装置２１７から、画像群データ４００を取得する。画像再生装置１１０の入力情報取得部１２４は、入力装置１５２からユーザによる入力を取得する。再生画像選択部１２６は、入力情報取得部１２４で取得したユーザによる入力に基づいて、データ取得部１２２で取得した画像群データ４００に含まれる画像のうち、再生すべき画像を選択する。例えば再生画像選択部１２６は、画像群データ４００に含まれる多くの画像の一部である、ユーザが望む一連の画像を再生選択画像として選択する。再生画像出力部１２８は、再生画像選択部１２６が選択した画像を含む画像データを再生データとして表示装置１５４へと出力し、表示装置１５４に当該画像等を表示させる。表示装置１５４には、例えば、特定の作業から特定の作業までの間に含まれる複数の画像が連続的に表示されるタイムラプス動画が表示される。再生選択画像の表示形態は、タイムラプス動画に限らず、例えば一覧表示であったり、ユーザの指示に応じて画像を切り替える表示であったり、どのような表示形態でもよい。

［画像再生動作の概要］
画像再生装置１１０の再生画像選択部１２６によって選択される再生画像について説明する。図４Ａは、表示装置１５４に表示される再生画面５００の一例を示す。ここで図４Ａは、例えばタイムラプス動画が再生される前のユーザが興味を持っている画像を選択して画像再生装置１１０に入力するための画面である。

図４Ａに示すように、再生画面５００は、画像表示領域５０１を含む。画像表示領域５０１には、画像群データ４００に含まれる画像が表示される。再生画面５００は、タイムバー５３０を含む。タイムバー５３０は、画像群データ４００に含まれる画像を模式的に示す。タイムバー５３０は、時間経過に沿って得られた画像の時間的な関係を示す。タイムバー５３０において、各画像は、例えば図４Ａの丸印のように記号で示されてもよいし、バーに目盛が付されることで示されてもよいし、サムネイル画像が並べられることで示されてもよい。タイムバー５３０に示されるのは、画像群データ４００に含まれる画像のうち一部であっても全部であってもよい。タイムバー５３０に画像群データ４００に含まれる一部の画像が示されるとき、所定の操作によってタイムバー５３０に示される画像は変更され得る。

タイムバー５３０には、図４Ａに示す例では縦線のハッチングで示された第１の継代作業タグ付画像５３１及び第２の継代作業タグ付画像５３２のように、継代作業タグが付された画像が明示される。タイムバー５３０には、図４Ａの例では横線のハッチングで示された第１の培地交換タグ付画像５４１、第２の培地交換タグ付画像５４２、第３の培地交換タグ付画像５４３、及び第４の培地交換タグ付画像５４４のように、培地交換タグが付された画像が明示される。同様に、タイムバー５３０には、試薬添加タグが付された画像が明示される。

タイムバー５３０には、図４Ａに示す例では黒丸で示された選択画像５６１のように、ユーザが現在選択している画像が明示される。ユーザは、例えばマウスを使ってカーソルを移動させタイムバー５３０上の所望の画像を指し示しクリックすることなどによって、タイムバー５３０に示されている画像のうちから所望の画像を選択する。タイムバー５３０においては、ユーザによって選択された画像が明示される。また、選択された画像が静止画として画像表示領域５０１に表示される。

再生画面５００は、再生アイコン５１１と逆再生アイコン５１２とを含む。再生アイコン５１１が例えばクリックされたとき、選択画像５６１等に基づいて再生される画像が選択され、選択された画像が時間順にタイムラプス動画として画像表示領域５０１に表示される。逆再生アイコン５１２が例えばクリックされたとき、選択画像５６１等に基づいて再生される画像が選択され、選択された画像が時間と逆順にタイムラプス動画として画像表示領域５０１に表示される。

ここで再生される画像は、画像群データに含まれる全ての画像であってもよいし、ここで詳述するように、画像群データに含まれる複数の画像の中から選択された所定の画像であってもよい。

再生画面５００は、再生速度調整表示５２１を含む。再生速度調整表示５２１は、例えば再生速度を選択できるように構成されている。ユーザは、再生速度調整表示５２１を用いて、所望するタイムラプス動画の再生速度を画像再生装置１１０に入力することができる。再生アイコン５１１又は逆再生アイコン５１２が例えばクリックされて再生されるタイムラプス動画の再生速度は、再生速度調整表示５２１を用いて選択された速度となるように、画像再生装置１１０は動作する。

再生画面５００は、継代アイコン５１４と、培地交換アイコン５１５と、試薬添加アイコン５１６と、タグアイコン５１７と、開始選択アイコン５１８と、終了選択アイコン５１９と、単位数調整表示５２２とを含む。再生画像選択部１２６は、ユーザによるこれらのアイコンを用いた操作に応じて、再生する画像を選択する。

例えば、図４Ａに示す例では、継代アイコン５１４が選択されている。この状態で、再生アイコン５１１が選択されると、選択画像５６１の直前の継代作業タグが付いた画像である第１の継代作業タグ付画像５３１を最初の画像としてこの画像から、選択画像５６１の直後の継代作業タグが付いた画像である第２の継代作業タグ付画像５３２を最後の画像としてこの画像までの複数の画像が再生選択画像５７３として選択される。すなわち、図４Ｂに示すように、右下がり斜線のハッチングが施された第１の継代作業タグ付画像５３１が開始画像５７１に設定され、右上がり斜線のハッチングが施された第２の継代作業タグ付画像５３２が終了画像５７２に設定され、開始画像５７１から終了画像５７２までの網掛けが施されている画像が再生選択画像５７３として選択される。このとき、開始画像５７１から終了画像５７２までの画像が順にタイムラプス動画として画像表示領域５０１に表示される。

また、タイムラプス動画として再生されているとき、タイムバー５３０上の選択画像５６１の表示は、画像表示領域５０１に表示されている画像を示す。また、画像表示領域５０１に表示される画像が、タグが付された画像である場合、図４Ｃに示すように、その旨が例えば画像表示領域５０１内に、タグ情報５０２として表示されてもよい。

図５Ａに示すように、継代アイコン５１４が選択されており、選択画像５６１の前に継代作業タグが付された画像はあるが、選択画像５６１の後に継代作業タグが付された画像がないような選択画像５６１が選択されている状態で、再生アイコン５１１が選択されたとする。このようなときには、図５Ｂに示すように、直前の継代作業タグが付された画像である第２の継代作業タグ付画像５３２が開始画像５７１に設定され、最新の画像、すなわち最後の撮影により得られた画像が終了画像５７２に設定される。その結果、第２の継代作業タグ付画像５３２である開始画像５７１から最新の画像である終了画像５７２までの網掛けが付された画像が再生選択画像５７３として選択されてこれら画像が画像表示領域５０１にタイムラプス動画として表示される。一般に、現時点に近い画像は興味をもたれやすい画像であるので、このように最新の画像を終了画像５７２とすることは有意義である。

同様に、継代アイコン５１４が選択されており、選択画像５６１の後に継代作業タグが付された画像はあるが、選択画像５６１の前に継代作業タグが付された画像がないような選択画像５６１が選択されている状態で、再生アイコン５１１が選択されたとする。このようなときには、最初の画像が開始画像５７１に設定され、直後の継代作業タグが付された画像が終了画像５７２に設定される。

図６Ａに示す例では、培地交換アイコン５１５が選択されている。この状態で、再生アイコン５１１が選択されると、選択画像５６１の直前の培地交換タグが付いた画像である第２の培地交換タグ付画像５４２から、選択画像５６１の直後の培地交換タグが付いた画像である第３の培地交換タグ付画像５４３までの画像が再生選択画像５７３として選択される。すなわち、図６Ｂに示すように、第２の培地交換タグ付画像５４２が開始画像５７１に設定され、第３の培地交換タグ付画像５４３が終了画像５７２に設定され、開始画像５７１から終了画像５７２までの画像が再生選択画像５７３として選択される。このとき、開始画像５７１から終了画像５７２までの画像が順にタイムラプス動画として画像表示領域５０１に表示される。

図７Ａに示す例では、試薬添加アイコン５１６が選択されている。この状態で、再生アイコン５１１が選択されると、選択画像５６１の直前の試薬添加に関する作業タグが付いた画像である第１の試薬添加タグ付画像５５１から、選択画像５６１の直後の試薬添加に関する作業タグが付いた画像までの画像が再生選択画像５７３として選択される。図７Ａに示す例では、選択画像５６１の後に試薬添加に関する作業タグが付いた画像がないので、最新の画像が終了画像に設定される。すなわち、図７Ｂに示すように、第１の試薬添加タグ付画像５５１が開始画像５７１に設定され、最新の画像が終了画像５７２に設定され、開始画像５７１から終了画像５７２までの画像が再生選択画像５７３として選択される。このとき、開始画像５７１から終了画像５７２までの画像が順にタイムラプス動画として画像表示領域５０１に表示される。

図８Ａに示す例では、タグアイコン５１７が選択されている。この状態で、再生アイコン５１１が選択されると、選択画像５６１の直前のタグが付いた画像である第１の継代作業タグ付画像５３１から、選択画像５６１の直後のタグが付いた画像である第２の培地交換タグ付画像５４２までの画像が再生選択画像５７３として選択される。すなわち、図８Ｂに示すように、第１の継代作業タグ付画像５３１が開始画像５７１に設定され、第２の培地交換タグ付画像５４２が終了画像５７２に設定され、開始画像５７１から終了画像５７２までの画像が再生選択画像５７３として選択される。このとき、開始画像５７１から終了画像５７２までの画像が順にタイムラプス動画として画像表示領域５０１に表示される。

図９Ａに示す例では、継代アイコン５１４が選択されている。このとき、１つの画像が選択画像５６１として選択されている状態で終了選択アイコン５１９が選択されると、当該選択画像が図９Ａに示すように終了画像５７２に設定される。さらに、再生アイコン５１１が選択されると、図９Ｂに示すように、直前の継代作業タグのついた第１の継代作業タグ付画像５３１が開始画像５７１に設定される。その結果、開始画像５７１から終了画像５７２までの画像が順にタイムラプス動画として画像表示領域５０１に表示される。同様に、開始選択アイコン５１８が用いられることで、開始画像５７１がユーザによって指定され得る。このように、ユーザが直接指定することによっても開始画像５７１又は終了画像５７２が選択され得ることで、ユーザにとって再生する画像の選択の自由度が向上する。

開始画像５７１及び終了画像５７２は、その他の規則に基づいて決定されてもよい。例えば、ユーザが未だ確認していない画像が開始画像５７１に設定されてもよい。このような場合の例としては、観察装置２００による観察が継続しているときに画像再生が行われ、その後画像再生装置１１０においてログアウトが行われた等、画像再生装置１１０による画像表示が最後に行われた後に、最初に取得された画像が開始画像５７１に設定されてもよい。

図１０Ａに示す例では、単位数調整表示５２２において単位数として「３」が選択されている。また、タグアイコン５１７が選択されている。この状態で、再生アイコン５１１が選択されると、図１０Ｂに示すように再生選択画像５７３が決定される。すなわち、選択画像５６１の直前のタグ付の画像である第１の継代作業タグ付画像５３１が開始画像５７１として選択される。単位数として３が選択されているので、開始画像５７１から３つ目のタグ付の画像である第２の継代作業タグ付画像５３２が終了画像５７２として選択される。言い換えると第１の継代作業タグ付画像５３１から第２の培地交換タグ付画像５４２まで、第２の培地交換タグ付画像５４２から第３の培地交換タグ付画像５４３まで、第３の培地交換タグ付画像５４３から第２の継代作業タグ付画像５３２までの３単位のタグ付画像からタグ付画像までの区間が再生選択画像５７３として選択される。

［観察システムの動作］
観察装置２００で行われる試料３００の画像が取得される観察動作について、図１１に示すフローチャートを参照して説明する。ステップＳ１０１において、観察装置２００のプロセッサ２２２は各種初期設定を行う。初期設定には、例えば、焦点距離、合焦位置、絞り、露光時間等といった撮影条件が含まれ得る。また、初期設定には、撮影の時間間隔等を含む撮影のタイミング、撮影の回数、観察動作の継続期間等が含まれ得る。

ステップＳ１０２において、プロセッサ２２２は、撮影により得られた画像にタグを付与するか否かを判定する。例えば入力装置２１８を用いて継代作業が行われたこと、培地交換作業が行われたこと、試薬添加等の作業が行われたこと等が入力されたとき、タグを付与すると判定される。タグを付与しないとき、処理はステップＳ１０４に進む。一方、タグを付与するとき、処理はステップＳ１０３に進む。

ステップＳ１０３において、プロセッサ２２２は、タグ付与の予約を行う。すなわち、次の撮影により得られた画像データにタグ情報を付与することを決定する。その結果、次の撮影動作で画像データが得られたとき、当該画像データと関連付けられて、タグに係る情報が記録される。

ステップＳ１０４において、プロセッサ２２２は、撮影を行うタイミングであるか否かを判定する。例えばステップＳ１０１で設定された撮影のタイミングを迎えたとき、撮影タイミングであると判定される。撮影タイミングでないとき、処理はステップＳ１０２に戻る。すなわち、プロセッサ２２２は、入力装置２１８への入力を確認しながら待機する。ステップＳ１０４において、撮影タイミングであると判定されたとき、処理はステップＳ１０５に進む。

ステップＳ１０５において、プロセッサ２２２は、撮像部２１６に撮影動作を行わせる。この撮影によって画像データが作成される。プロセッサ２２２は、得られた画像データを観察装置２００の記録装置２１７に記録する。また、タグ情報の付与が予約されているとき、プロセッサ２２２は、画像データにタグ情報を付与して記録装置２１７に記録する。

ステップＳ１０６において、プロセッサ２２２は、一連の観察動作を終了するか否かを判定する。例えば、ステップＳ１０１で設定された観察動作の継続期間が経過したとき、観察動作を終了すると判定される。観察動作を終了しないとき、処理はステップＳ１０２に戻り、上述の動作が繰り返される。観察動作を終了すると判定されたとき、処理はステップＳ１０７に進む。

ステップＳ１０７において、プロセッサ２２２は、一連の観察動作で得られた画像データ等の関連を示す管理ファイルを作成し、当該管理ファイルを画像データと共に観察装置２００の記録装置２１７に記録する。この管理ファイルと複数の画像データによって、上述の画像群データ４００が構成される。

ここでは、入力装置２１８の操作などタグ付与の操作が行われたとき、その直後に得られた画像データにタグ情報が付与される例を示したがこれに限らない。例えば、タグ付与の操作が行われたとき、その直前に得られた画像データにタグ情報が付与されてもよい。また、画像データとは別に、タグ情報が記録されてもよい。このとき、タグ情報は、入力装置２１８に対する操作が行われた時間など、操作の前に得られた画像データと操作の後に得られた画像データとの時間関係を明確にする情報となる。なお、タグ情報が画像データに付与されないときには、図４Ａ乃至図１０Ｂに例を示した画面は適宜に変更され得る。

次に画像再生装置１１０で行われる画像再生処理について図１２に示すフローチャートを参照して説明する。画像再生処理では、画像再生装置１１０は、観察装置２００から画像データを取得して、ユーザの操作に基づいて表示装置１５４に画像を表示させる。

ステップＳ２０１において、画像再生装置１１０のプロセッサ１１２は、観察装置２００の記録装置２１７から、複数の画像データ及び管理ファイル等を含む画像群データ４００を取得する。

ステップＳ２０２において、プロセッサ１１２は、入力装置１５２を用いて行われたユーザの入力を取得し、現在選択されている選択画像５６１がどの画像であるかを特定する。

ステップＳ２０３において、プロセッサ１１２は、選択画像を画像表示領域５０１に表示させるような画面データを表示装置１５４へと出力し、表示装置１５４に画面表示を行わせる。

ステップＳ２０４において、プロセッサ１１２は、開始選択アイコン５１８又は終了選択アイコン５１９が選択されることで開始画像又は終了画像が選択されたか否かを判定する。開始画像及び終了画像の何れも選択されていないとき、処理はステップＳ２０６に進む。一方、開始画像又は終了画像が選択されたとき、処理はステップＳ２０５に進む。ステップＳ２０５において、プロセッサ１１２は、当該選択に基づいて、開始画像５７１又は終了画像５７２を設定する。その後、処理はステップＳ２０６に進む。

ステップＳ２０６において、プロセッサ１１２は、継代アイコン５１４、培地交換アイコン５１５、試薬添加アイコン５１６、タグアイコン５１７の何れが選択されているかを特定することで、再生選択画像５７３を選択する際の基準となるタグの種類に係る情報を取得する。

ステップＳ２０７において、プロセッサ１１２は、単位数調整表示５２２に対するユーザの操作を判定することで、選択されている単位数を取得する。ステップＳ２０８において、プロセッサ１１２は、再生速度調整表示５２１に対するユーザの操作を判定することで、選択されている再生速度を取得する。

ステップＳ２０９において、プロセッサ１１２は、再生動作を行うか否かを判定する。すなわち、プロセッサ１１２は、再生アイコン５１１又は逆再生アイコン５１２がユーザによって選択されたか否かを判定する。再生動作を行わないと判定されたとき、処理はステップＳ２０２に戻る。すなわち、選択画像の特定及び表示、開始画像又は終了画像の特定、タグ種類の取得、単位数の取得、再生速度の取得が繰り返し行われる。一方、ステップＳ２０９において、再生動作を行うと判定されたとき、処理はステップＳ２１０に進む。

ステップＳ２１０において、プロセッサ１１２は、時系列に沿って存在する複数の画像のうち再生する範囲を決定する。すなわち、プロセッサ１１２は、上述のように開始画像５７１と終了画像５７２とを特定し、再生選択画像を決定する。

ステップＳ２１１において、プロセッサ１１２は、画像表示領域５０１に複数の再生選択画像を順次表示させる画面に係るデータを表示装置１５４へと出力する。その結果、表示装置１５４に、タイムラプス動画が表示される。タイムラプス動画の表示が終了したら、処理はステップＳ２０２に戻る。すなわち、上述のステップＳ２０２乃至ステップＳ２１１の処理が繰り返される。

［観察システムの特長］
本実施形態に係る観察システム１によれば、観察装置２００による撮影によって画像データが取得される際に、作業に応じたタグが画像データと関連付けられて付与される。このような作業と関連するタグを含む画像群データを取得して再生する画像再生装置１１０は、画像群データに含まれる複数の画像の中から一部の画像を選択して再生することができる。特に画像再生装置１１０は、作業に関連したタグを基準として再生する画像を選択することができる。継代作業、培地交換、試薬添加などの作業に関連する画像範囲は、ユーザにとって興味を持ちやすい範囲である。例えば、継代作業と継代作業との間の画像は、細胞が増殖していく過程を確認したいユーザにとって興味深い画像群である。また、試薬添加後の画像は、添加した試薬が細胞等に与える影響を確認したいユーザによって興味深い画像群である。本実施形態に係る画像再生装置１１０は、簡便な操作をユーザが行うことに関連して、ユーザが興味を持つ画像群を適切に選択することができる。すなわち、ユーザにとっては、簡便な操作で、自身が興味を持つ画像群を再生させることができる。

［変形例］
上述の実施形態の変形例について説明する。ここでは、上述の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。上述の実施形態では、１つの画像表示領域５０１に１つの画像が表示されている。これに対して本変形例では、画像表示領域５０１に複数の画像が表示される。

上述の実施形態では、観察装置２００が試料３００の一箇所の画像を経時的に取得する場合を例として示した。これに対して、本変形例では、観察装置２００は、試料３００の複数箇所の画像を取得する。このため、観察装置２００では、例えば撮像部２１６が移動し、試料３００の各部を順次に撮影する。観察装置２００は、このような撮影を例えば所定間隔ごとに繰り返し、各部のタイムラプス画像を取得する。あるいは、観察装置２００は、複数の撮像部２１６を有しており、試料３００の各部を同時に撮影する。観察装置２００は、このような撮影を例えば所定間隔ごとに繰り返し、各部のタイムラプス画像を取得する。

本変形例に係る画像再生装置１１０が表示させる再生画面５００の一例を図１３に示す。この図に示すように、画像表示領域５０１には、試料３００の異なる箇所の画像が一覧表示される。例えば再生アイコン５１１が選択されてタイムラプス動画が再生されるとき、画像表示領域５０１に含まれる複数の画像が同時に動画として再生される。

画像表示領域５０１に含まれる複数の画像のうち１つがユーザによって選択されたとき、当該選択された画像が上述の実施形態の場合と同様に画像表示領域５０１の全面に拡大されて表示されてもよい。

本変形例によっても、上述の実施形態の場合と同様の効果が得られる。

上述の実施形態及びその変形例においては、タグが付与される作業として、継代作業、培地交換、及び試薬添加等の他の作業を例示したが、付されるタグはこれら３種類でなくてもよい。例えば、画像に付されるタグの種類は、継代作業、培地交換及び他の作業のうち何れか１つであっても、何れか２つであってもよい。継代作業、培地交換及び他の作業のうち何れか１種類のタグが画像に付される態様では、観察装置２００は、入力装置２１８として、継代作業、培地交換及び他の作業のうち当該１種類に対応する１つのボタンスイッチのみを備えていてもよい。また、継代作業、培地交換及び他の作業のうち何れか２種類のタグが画像に付される態様では、観察装置２００は、入力装置２１８として、継代作業、培地交換及び他の作業のうち当該２種類に対応する２つのボタンスイッチを備えていてもよい。タグの種類が４種類以上であっても、同様である。また、作業の種類を区別せずにタグが画像に付される態様では、観察装置２００は、入力装置２１８として、１つのボタンスイッチのみを備えていてもよい。

また、作業タグを付与するために、観察装置２００に備えられた入力装置２１８としてのボタンスイッチが押圧されたとき、観察装置２００は、試料３００の観察を一時停止してもよい。この場合、ボタンスイッチが再度押圧されることで、観察装置２００は、試料３００の観察を再開してもよい。例えば、図１１を参照して説明した観察動作において、ステップＳ１０２で入力装置２１８のボタンスイッチが押圧されたと判定されたとき、ステップＳ１０３の処理の後、再びボタンスイッチが押圧されるまで処理は待機し、再びボタンスイッチが押圧されたと判定されたときに処理がステップＳ１０４に進んでもよい。

以上の説明において示した再生画面５００、再生選択画像５７３の選択方法等は一例である。再生画面はどのような画面であってもよい。図４Ａ等に示した要素等は適宜に削除され得るし、適宜に追加され得るし、配置や大きさも自由に変更され得る。また、再生選択画像５７３として選択される画像は適宜に設定され得る。

以上で説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムを用いて実現され得る。このプログラムは、記録媒体や記録部に収められ得る。この記録媒体又は記録部への記録の方法は様々であり、製品出荷時に記録されてもよく、配布された記録媒体が利用されて記録されてもよく、インターネットを介したダウンロードが利用されて記録されてもよい。

また、上述の各処理は、ディープラーニング等により構築された人工知能によって行われてもよい。例えば、ユーザが所望する再生画像の選択を学習することで、人工知能によっても、例えばタグ情報を用いながら、ユーザが所望する画像の選択を適切に行うことができるようになり得る。

Claims (9)

1. 生体試料に関する時系列に沿った複数の画像を取得する撮像部と、
   前記撮像部で取得された複数の画像と、前記複数の画像の少なくとも何れかの取得時において入力装置を介してユーザによって入力された前記生体試料に対する作業が行われた旨の情報に従って付与された前記生体試料に対する作業毎のタグ情報とを含む画像群データを取得する取得部と、
   前記タグ情報を用いて前記複数の画像のうち前記時系列に沿って再生する画像を再生選択画像として選択する再生画像選択部と、
   前記再生選択画像を時系列に沿って再生するための前記画像に係るデータを表示装置へと出力する再生画像出力部と
   を備える観察システム。
2. 前記タグ情報は、前記入力装置が前記ユーザによって操作された直前又は直後に取得された前記画像に付与される請求項１に記載の観察システム。
3. 前記タグ情報は、前記画像とは別に記録され、前記入力装置が前記ユーザによって操作される前に得られた前記画像と前記入力装置が前記ユーザによって操作された後に得られた前記画像との時間関係を明確にする情報である請求項１に記載の観察システム。
4. 前記生体試料に対する前記作業は、前記生体試料に関する継代作業と、培地交換作業と、培地への試薬添加作業とのうち少なくとも何れか１つである、請求項１乃至３のうち何れか１項に記載の観察システム。
5. 前記複数の画像から１つの前記画像をユーザ選択画像として選択するユーザの選択操作を取得する入力情報取得部をさらに備え、
   前記再生画像選択部は、前記ユーザ選択画像を含む画像を前記再生選択画像として選択する、
   請求項１乃至４のうち何れか１項に記載の観察システム。
6. 前記再生画像選択部は、
   前記ユーザ選択画像の直前の前記タグ情報に関連する前記画像から、前記ユーザ選択画像の直後の前記タグ情報に関連する前記画像又は前記複数の画像の最後の前記画像までを前記再生選択画像として選択することと、
   前記ユーザ選択画像の直前の前記タグ情報に関連する前記画像又は前記複数の画像の最初の画像から、前記ユーザ選択画像の直後の前記タグ情報に関連する前記画像までを前記再生選択画像として選択することと
   のうち何れか一方を行う、
   請求項５に記載の観察システム。
7. 前記再生画像出力部は、前記ユーザによる前記ユーザ選択画像の選択を行うために、前記画像と前記タグ情報との関係と、前記複数の画像の情報とを前記表示装置へと出力する、請求項５又は６に記載の観察システム。
8. 前記再生画像選択部は、前記ユーザの操作に応じて前記ユーザ選択画像を前記再生選択画像の最初の画像又は最後の画像として選択する、請求項５に記載の観察システム。
9. 時系列に沿って前記タグ情報から次の前記タグ情報までを１単位としたときに、ユーザによって単位数が入力される単位数入力情報取得部をさらに備え、
   前記再生画像選択部は、入力された前記単位数に応じた単位の前記再生選択画像を選択する、
   請求項１乃至８のうち何れか１項に記載の観察システム。

Images