JP7635019B2 - アノテーションを支援するシステム、方法、及び、プログラム - Google Patents

Description

本明細書の開示は、画像のアノテーションを支援するシステム、方法、及び、プログラムに関する。

現在、細胞培養の分野では、教師あり学習を実行することで構築された学習済みモデルを用いて、画像から非侵襲的に培養状態を把握することが行われている。ところで、画像処理に用いられる学習済みモデルの構築には、画像にタグ（正解ラベル）が付された大量の教師データが必要である。このような教師データを作成する作業はアノテーションと呼ばれている。

アノテーションでは、大量の画像の一枚一枚に人間によって手動でタグ付けが行われる。その作業量は膨大であり、アノテーションの作業負荷を軽減する技術が求められている。このような課題に関連する技術は、例えば、特許文献１に記載されている。特許文献１には、アノテーションに適したユーザインターフェースが開示されている。

特開２０１７-００９３１４号公報

特許文献１に記載の技術を採用することで、アノテーションにおけるユーザの操作を支援することが可能であり、その結果として、アノテーションの効率の改善が期待できる。しかしながら、特許文献１に記載の技術は、ユーザの操作を支援するものであり、アノテーションにおいてユーザに求められる各種の判断を支援するものではない。例えば、画像のどの領域にタグ付けするかといった判断は、引き続きユーザに委ねられており、そのような判断を支援する技術は記載されていない。

以上のような実情を踏まえ、本発明の一側面に係る目的は、アノテーションを支援する新たな技術を提供することである。

本発明の一態様に係るシステムは、画像のアノテーションを支援するシステムであって、アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を前記対象画像に表れる特徴に基づいて分類した分類情報を生成する分類部と、表示装置の画面上に、前記分類情報を可視化した分類画像を、前記対象画像と対比可能に配置する制御部と、を備え、前記制御部は、前記対象画像に前記分類画像を重畳し、前記分類画像の信頼性に基づいて、前記分類画像の透過率を決定する。

本発明の別の態様に係るシステムは、画像のアノテーションを支援するシステムであって、アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を前記対象画像に表れる特徴に基づいて分類した分類情報を生成する分類部と、表示装置の画面上に、前記分類情報を可視化した分類画像を、前記対象画像と対比可能に配置する制御部と、を備え、前記分類情報は、前記複数の対象領域の各々毎に、分類されたクラスを示すクラス情報と、前記クラスへの分類に対する確率的スコアを示すスコア情報と、を含み、前記制御部は、前記対象画像に前記分類画像を重畳し、前記分類画像を構成する複数の分類領域の透過率を、前記複数の対象領域のうちの対応する対象領域の前記スコア情報に基づいて決定する。

本発明の一態様に係る方法は、画像のアノテーションを支援する方法であって、アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を、前記対象画像に表れる特徴に基づいて分類した分類情報を生成することと、表示装置の画面上に、前記分類情報を可視化した分類画像を、前記対象画像と対比可能に配置し、前記対比可能に配置することは、前記対象画像に前記分類画像を重畳することと、前記分類画像の信頼性に基づいて、前記分類画像の透過率を決定することを含む。

本発明の別の態様に係る方法は、画像のアノテーションを支援する方法であって、アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を、前記対象画像に表れる特徴に基づいて分類した分類情報を生成し、表示装置の画面上に、前記分類情報を可視化した分類画像を、前記対象画像と対比可能に配置し、前記分類情報は、前記複数の対象領域の各々毎に、分類されたクラスを示すクラス情報と、前記クラスへの分類に対する確率的スコアを示すスコア情報と、を含み、前記対比可能に配置することは、前記対象画像に前記分類画像を重畳することと、前記分類画像を構成する複数の分類領域の透過率を、前記複数の対象領域のうちの対応する対象領域の前記スコア情報に基づいて決定することと、を含む。

本発明の一態様に係るプログラムは、画像のアノテーションを支援するプログラムであって、アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を、前記対象画像に表れる特徴に基づいて分類した分類情報を生成し、表示装置の画面上に、前記分類情報を可視化した分類画像を、前記対象画像と対比可能に配置し、前記対比可能に配置することは、前記対象画像に前記分類画像を重畳することと、前記分類画像の信頼性に基づいて、前記分類画像の透過率を決定することを含む処理をコンピュータに実行させる。

本発明の別の態様に係るプログラムは、画像のアノテーションを支援するプログラムであって、アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を、前記対象画像に表れる特徴に基づいて分類した分類情報を生成し、表示装置の画面上に、前記分類情報を可視化した分類画像を、前記対象画像と対比可能に配置し、前記分類情報は、前記複数の対象領域の各々毎に、分類されたクラスを示すクラス情報と、前記クラスへの分類に対する確率的スコアを示すスコア情報と、を含み、前記対比可能に配置することは、前記対象画像に前記分類画像を重畳することと、前記分類画像を構成する複数の分類領域の透過率を、前記複数の対象領域のうちの対応する対象領域の前記スコア情報に基づいて決定することと、を含む処理をコンピュータに実行させる。

上記の態様によれば、アノテーションを支援する新たな技術を提供することが可能となる。

第１の実施形態に係るシステム２００の構成を例示した図である。 撮影装置１００の構成を例示した図である。 光源ユニット１０４と撮影ユニット１０５の構成を例示した図である。 制御装置１３０の構成を例示した図である。 第１の実施形態に係るシステム２００が行う処理の一例を示すフローチャートである。 アノテーション画面の一例を示した図である。 アノテーション画面の別の例を示した図である。 アノテーション画面の更に別の例を示した図である。 アノテーション画面の更に別の例を示した図である。 システム２００が学習段階に行う処理の一例を示すフローチャートである。 特徴抽出方法の学習処理の一例を示すフローチャートである。 特徴抽出モデルＭ１の一例を示す図である。 正規化方法の学習処理の一例を示すフローチャートである。 情報量削減方法の学習処理の一例を示すフローチャートである。 分類方法の学習処理の一例を示すフローチャートである。 システム２００による分類処理の一例を示すフローチャートである。 分類処理における入出力の前半部分を例示した図である。 分類処理における入出力の後半部分を例示した図である。 分類画像の生成方法を説明するための図である。 アノテーション画面の更に別の例を示した図である。 クラスに割り当てる色を変更する様子を示した図である。 図２１に示す色の割り当て変更前後の分類画像を例示した図である。 クラスに割り当てる色を変更する様子を示した別の図である。 図２３に示す色の割り当て変更前後の分類画像を例示した図である。 アノテーション画面の更に別の例を示した図である。 分類画像の透過率の決定方法について説明するための図である。 分類画像の別の例を示した図である。 分類画像の更に別の例を示した図である。 第２の実施形態に係るシステムが行う処理の一例を示すフローチャートである。 タイムラプス撮影処理の一例を示すフローチャートである。 時系列順に配置された分類画像の一例を示した図である。 時系列順に配置された分類画像に対して選択操作が行われた様子を示した図である。 培養データ一覧画面の一例を示した図である。 培養データトップ画面の一例を示した図である。 時系列表示画面の一例を示した図である。 貼り合わせ画像表示画面の一例を示した図である。 貼り合わせ要素画像表示画面の一例を示した図である。 第３の実施形態に係るシステムが行う処理の一例を示すフローチャートである。 分類画像の選択方法について説明するための図である。 時系列順に配置された分類画像の別の例を示した図である。 第４の実施形態に係るシステムが行う処理の一例を示すフローチャートである。 分類画像の透過率決定方法について説明するための図である。 第５の実施形態に係るシステムが行う処理の一例を示すフローチャートである。 アノテーション画面の更に別の例を示した図である。 アノテーションの調整方法について説明するための図である。 アノテーションの調整方法について説明するための図である。 アノテーションの調整方法について説明するための図である。 分類情報のグラフ表示の一例を示した図である。 システム３００の構成を例示した図である。

［第１の実施形態］
図１は、本実施形態に係るシステム２００の構成を例示した図である。図２は、撮影装置１００の構成を例示した図である。図３は、光源ユニット１０４と撮影ユニット１０５の構成を例示した図である。図４は、制御装置１３０の構成を例示した図である。以下、図１から図４を参照しながら、システム２００の構成について説明する。

図１に示すシステム２００は、容器Ｃに収容された細胞を培養しながら撮影する細胞培養システムである。また、システム２００は、画像のアノテーションを支援するシステムである。ここで、アノテーションとは、画像に対して情報（タグ）を付与して教師データを作成する作業のこと、または、作業としてのアノテーションによって画像に対して付加される情報（タグ）のことをいう。

システム２００は、容器Ｃに収容された培養細胞を容器Ｃの下方から撮影する１つ以上の撮影装置１００と、撮影装置１００を制御する制御装置１３０と、を備えている。撮影装置１００の各々と制御装置１３０は、互いにデータをやり取りできればよい。従って、撮影装置１００の各々と制御装置１３０は、有線で通信可能に接続されてもよく、無線で通信可能に接続されてもよい。また、培養細胞を収容する容器Ｃは、例えば、フラスコである。ただし、容器Ｃは、フラスコに限らず、ディッシュ、ウェルプレートなどその他の培養容器であってもよい。

培養細胞をインキュベータ１２０から取り出すことなく撮影するために、撮影装置１００は、例えば、図１に示すように、インキュベータ１２０内に配置された状態で使用される。より詳細には、撮影装置１００は、図１に示すように、容器Ｃが撮影装置１００の透過窓１０１に載置された状態でインキュベータ１２０内に配置され、制御装置１３０からの指示に従って容器Ｃ内の試料（細胞）の画像を取得する。なお、透過窓１０１は、撮影装置１００の筐体１０２の上面を構成する透明な天板であり、容器を載置する載置面を構成する。透過窓１０１は、例えば、ガラスや透明な樹脂などからなる。

撮影装置１００は、図１に示すように、容器Ｃが配置される透明な透過窓１０１を上面とする箱型の筐体１０２と、透過窓１０１（載置面）上で容器Ｃを所定の位置へ位置決めする位置決め部材１１０を備えている。なお、位置決め部材１１０は、筐体１０２に固定されている。ただし、位置決め部材１１０は、必要に応じて取り外すことが可能であり、使用される容器に応じて形状の異なる別の位置決め部材と交換されてもよい。

撮影装置１００は、図２及び図３に示すように、さらに、筐体１０２内を移動するステージ１０３と、培養細胞を照明する１対の光源ユニット１０４と、培養細胞の画像を取得する撮影ユニット１０５と、を備えている。ステージ１０３と光源ユニット１０４と撮影ユニット１０５は、筐体１０２内部に収容されている。光源ユニット１０４と撮影ユニット１０５は、ステージ１０３上に設置されていて、筐体１０２内でステージ１０３が移動することで容器Ｃに対して移動する。

ステージ１０３は、容器Ｃに対する撮影ユニット１０５の相対位置を変更する。ステージ１０３は、透過窓１０１（載置面）と平行で且つ互いに直交しているＸ方向とＹ方向に移動可能である。ただし、ステージ１０３は、さらに、Ｘ方向とＹ方向の両方に直交するＺ方向（高さ方向）にも移動してもよい。

なお、図２及び図３には、光源ユニット１０４と撮影ユニット１０５がステージ１０３上に設置され、その結果、一体となって筐体１０２内を移動する例が示されているが、光源ユニット１０４と撮影ユニット１０５は、それぞれ独立して筐体１０２内を移動してもよい。また、図２及び図３には、１対の光源ユニット１０４が撮影ユニット１０５を挟んで左右に配置されている例を示したが、光源ユニット１０４の配置と数はこの例に限らない。例えば、光源ユニット１０４は、ステージ１０３上に３つ以上設けられてもよく、１つだけ設けられてもよい。

光源ユニット１０４は、図３に示すように、光源１０６と、拡散板１０７を備えている。光源１０６は、例えば、発光ダイオード（ＬＥＤ）などを含んでいる。光源１０６は、白色ＬＥＤを含んでもよく、Ｒ（赤）、Ｇ（緑）、Ｂ（青）など、複数の異なる波長の光を出射する複数のＬＥＤを含んでもよい。光源１０６から出射した光は、拡散板１０７に入射する。

拡散板１０７は、光源１０６から出射した光を拡散させる。拡散板１０７は、特に限定しないが、例えば、表面に凹凸を形成したフロスト型の拡散板である。ただし、拡散板１０７は、表面をコーティングしたオパール型の拡散板であってもよく、その他のタイプの拡散板であってもよい。さらに、拡散板１０７には拡散光の出射領域を制限するためのマスク１０７ａが形成されてもよい。拡散板１０７から出射した光は、様々な方向に進行する。

撮影ユニット１０５は、図３に示すように、光学系１０８と、撮像素子１０９を備えている。光学系１０８は、透過窓１０１を透過することによって筐体１０２内に入射した光を集光する。培養細胞が存在する容器Ｃの底面に焦点を合わせた光学系１０８が筐体１０２内に入射した光を撮像素子１０９上に集光することで、撮像素子１０９上に培養細胞の光学像が形成される。

撮像素子１０９は、検出した光を電気信号に変換する光センサである。撮像素子１０９には、特に限定しないが、例えば、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）などが用いられる。

以上のように構成された撮影装置１００では、位相物体である容器Ｃ内の試料Ｓ（培養細胞）を可視化するために、偏射照明が採用されている。具体的には、光源１０６が発した光は、拡散板１０７で拡散し、筐体１０２外へ出射する。即ち、光源ユニット１０４は、光学系１０８を経由することなく、筐体１０２外へ向けて様々な方向へ進行する光を出射する。その後、筐体１０２外へ出射した光のうちの一部が、例えば、容器Ｃの上面などで反射することで、試料Ｓ上方で偏向され、さらに、試料Ｓ上方で偏向された光のうちの一部が、試料Ｓに照射され、試料Ｓ及び透過窓１０１を透過することによって筐体１０２内に入射する。そして、筐体１０２内に入射した光のうちの一部が、光学系１０８によって集光され、撮像素子１０９上に試料Ｓの像を形成する。最後に、撮影装置１００は、撮像素子１０９から出力された電気信号に基づいて試料Ｓ（培養細胞）の画像を生成し、制御装置１３０へ出力する。

制御装置１３０は、撮影装置１００を制御する装置である。制御装置１３０は、インキュベータ１２０内に置かれた撮影装置１００へ撮影指示を送信し、撮影装置１００によって取得された画像を受信する。

また、制御装置１３０は、撮影装置１００で取得した画像を処理する画像処理装置である。制御装置１３０は、画像から抽出したその画像の特徴に基づいてその画像を構成する領域をいくつかのクラスに分類した分類情報を生成する。

さらに、制御装置１３０は、分類情報を可視化して表示する表示制御装置である。制御装置１３０は、利用者からの要求に応じて分類情報を可視化して画面上に配置する。以降では、分類情報が可視化された画像を分類画像と記す。

なお、制御装置１３０は、１つ以上のプロセッサと、１つ以上の非一時的なコンピュータ読取可能媒体と、を含んでいればよく、例えば、一般的なコンピュータである。より具体的には、制御装置１３０は、例えば、図４に示すように、例えば、１つ以上のプロセッサ１３１と、１つ以上の記憶装置１３２と、入力装置１３３と、表示装置１３４と、通信装置１３５を備えていてもよく、それがバス１３６を通じて接続されていてもよい。

１つ以上のプロセッサ１３１のそれぞれは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などを含むハードウェアであり、１つ以上の記憶装置１３２に記憶されているプログラム１３２ａを実行することで、プログラムされた処理を行う。プログラムされた処理には、例えば、分類情報を生成する分類処理や、分類画像を画面上に配置する表示制御処理などが含まれる。即ち、プロセッサ１３１は、システム２００の分類部の一例であり、また、システム２００の制御部の一例である。また、１つ以上のプロセッサ１３１は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを含んでもよい。

１つ以上の記憶装置１３２のそれぞれは、例えば、１つ又は複数の任意の半導体メモリを含み、さらに、１つ又は複数のその他の記憶装置を含んでもよい。半導体メモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性メモリ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラマブルＲＯＭ、フラッシュメモリなどの不揮発性メモリを含んでいる。ＲＡＭには、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などが含まれてもよい。その他の記憶装置には、例えば、磁気ディスクを含む磁気記憶装置、光ディスクを含む光学記憶装置などが含まれてもよい。

なお、１つ以上の記憶装置１３２は、非一時的なコンピュータ読取可能媒体であり、システム２００の記憶部の一例である。記憶装置１３２の少なくとも１つは、分類画像の生成に用いられる学習済みデータ１３２ｂを記憶する。

入力装置１３３は、利用者が直接操作する装置であり、例えば、キーボード、マウス、タッチパネルなどである。表示装置１３４は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイなどである。ディスプレイには、タッチパネルが内蔵されてもよい。通信装置１３５は、有線通信モジュールであっても、無線通信モジュールであってもよい。

なお、図４に示す構成は、制御装置１３０のハードウェア構成の一例であり、制御装置１３０はこの構成に限定されるものではない。制御装置１３０は、汎用装置に限らず、専用装置であってもよい。

図５は、本実施形態に係るシステム２００が行う処理の一例を示すフローチャートである。図６から図９は、アノテーション画面を例示した図である。アノテーション画面とは、利用者の操作に基づいて、画像に対してアノテーションを付与可能な画面のことである。システム２００は、図５に示す処理を行うことで、画像に対してアノテーションを付与するための作業環境を、アノテーションにおいてユーザが下すべき各種の判断を支援する情報とともに提供する。以下、図５から図９を参照しながら、システム２００によって行われるアノテーションを支援する方法の具体例について説明する。図５に示す処理は、例えば、プロセッサ１３１がプログラム１３２ａを実行することによって開始される。

図５に示す処理が開始されると、まず、システム２００は、アノテーションを付与する候補となる画像を取得する（ステップＳ１）。ここでは、撮影装置１００が容器Ｃ内の培養細胞を撮影して、アノテーションを付与する候補となる画像（以降、対象画像と記す。）を取得する。さらに、撮影装置１００は、取得した対象画像を制御装置１３０へ出力する。

次に、システム２００は、対象画像に表れる特徴に基づいて対象画像の各領域を分類する（ステップＳ２）。ここでは、制御装置１３０は、撮影装置１００が出力した対象画像を取得する。さらに、制御装置１３０において、分類部の一例であるプロセッサ１３１が、記憶装置１３２に記憶されている学習済みデータ１３２ｂを用いることで、対象画像を構成する複数の対象領域を対象画像に表れる特徴に基づいて分類した分類情報を生成する。

なお、複数の対象領域の各々は、例えば、対象画像を構成する１つ以上の画素である。１画素が１つの対象領域を構成してもよく、複数画素（例えば、３×３画素）が１つの対象領域を構成してもよい。複数の対象領域の各々は、ユーザやシステムによって分割数を自由に定められてよい。例えば分割単位として画素数３＊３の場合を例示したが、必ずしも縦横の画素数が同じでなくてもよい。分類情報には、少なくとも、複数の対象領域の各々に対応するクラス情報が含まれている。クラス情報は、各対象領域が分類されたクラスを示す情報である。

分類情報が生成されると、システム２００は、分類情報を可視化した分類画像を対象画像と対比可能に表示装置１３４の画面上に配置する（ステップＳ３）。ここでは、制御装置１３０において、制御部の一例であるプロセッサ１３１が、分類情報に基づいて、例えば、各領域に各領域が分類されたクラスに対応する色又はパターンを割り当てることで、分類情報を可視化した分類画像を生成する。プロセッサ１３１は、さらに、分類画像を、対象画像と対比可能にアノテーション画面上に配置する。

図６は、領域Ｒ１で“撮影画像”が選択され、その結果、撮影装置１００が撮影した対象画像（画像１）が領域Ｒ０に配置された様子を示している。また、図７には、領域Ｒ１で“分類画像”が選択され、その結果、分類画像（画像８）が領域Ｒ０に配置された様子を示している。ステップＳ３では、プロセッサ１３１は、図６及び図７に示すように、対象画像である画像１と分類画像である画像８を切り替えて画面上に配置することによって、分類画像を対象画像と対比可能に配置してもよい。なお、画像１と画像８の切替は、利用者の操作（例えば、領域Ｒ１内のラジオボタンの選択）によって行われてもよく、また、利用者の操作によらず自動的に行われてもよい。例えば、一定時間ごとに画像１と画像８が切り替わってもよい。

図８は、領域Ｒ１で“撮影画像と分類画像”が選択され、その結果、対象画像（画像１）と分類画像（画像８）が領域Ｒ０に重なって配置された様子を示している。即ち、制御装置１３０は、対象画像に分類画像を重畳している。さらに、制御装置１３０は、所定の指示（例えば、領域Ｒ２の操作）に応じて、対象画像に重畳する分類画像の透過率を変更可能である。これにより、利用者は、両方の画像を同時に確認可能である。ステップＳ３では、プロセッサ１３１は、図８に示すように、対象画像である画像１と分類画像である画像８を画面上に重ねて配置することによって、分類画像を対象画像と対比可能に配置してもよい。

なお、図８には、領域Ｒ２で分類画像の透過率を調整可能な例が示されているが、対象画像と分類画像の少なくとも一方の透過率を調整できればよい。また、透過率の調整は自動的に行われてもよい。例えば、画像の拡大表示を要求する操作に応じて透過率を調整してもよい。

分類画像が画面上に配置されると、その後、システム２００は、利用者の入力を受け付けて画像にアノテーションを付与する（ステップＳ４）。ここでは、まず、利用者が画面上に表示されている対象画像を、アノテーションを付すべき画像であると判断し、アノテーションを対象画像に対して付すための入力が行われる。これを受けて、プロセッサ１３１は、利用者の入力に従って対象画像にアノテーションを付し、教師データを生成する。

システム２００が図５に示す処理を行うことで、システム２００は、利用者によるアノテーションを支援することができる。以下、この点について具体的に説明する。

まず、分類画像が表示されることで、利用者は、アノテーションを付与すべき部分に当たりをつけることができる。これは、上述したように、分類画像が対象画像の特徴に基づいて分類された分類情報（クラス情報を含む）を可視化した画像であるためである。

より詳細に説明すると、分類情報は、分類部が対象画像に写っている細胞を模様として捉えて細胞の大きさやコントラストなどの違いによって生じる対象画像内のテクスチャの違いを分類することで生成される、と見做すことができる。このため、対象画像の領域のうち同じクラスに分類された領域には、外観上似通った形態を有する細胞などが写っていると考えられる。また、反対に、対象画像の領域のうち異なるクラスに分類された領域には、外観上異なる形態を有する細胞などが写っていると考えられる。例えば、培養中のｉＰＳ細胞の画像に対して、未分化領域と分化領域をそれぞれアノテーションする場合を想定すると、未分化領域と分化領域は異なる形態を有しているため異なるクラスに分類されるのに対して、未分化領域（又は分化領域）同士は似通った形態を有するため同じクラスに分類される。このため、未分化領域と分化領域が混在した対象画像が撮影された場合、利用者は、対象画像から生成される分類画像のいずれかのクラスに対応する領域が未分化領域であると予想可能であり、その前提に基づいて分類画像から未分化領域に当たりを付けることができる。また、分化領域についても同様に、分類画像から分化領域に当たりを付けることができる。

さらに、分類画像が対象画像と対比可能に配置されることで、利用者は、分類画像を用いて当たりを付けた部分について対象画像を確認し、アノテーションを付けるべき部分か否かを決定することができる。なお、図９は、分類画像（画像８）を参照しながら、分類画像の下に透けて見える対象画像（画像１）にアノテーション９を付与している様子を示している。付与するアノテーションの種類は、例えば、領域Ｒ３で選択可能である。このように、利用者は、分類画像を用いてある程度まで絞り込まれた範囲について対象画像を詳細に確認すればよいため、アノテーションを正確に且つ効率良く付与することが可能となる。

以上のように、システム２００によれば、分類画像を表示することで、アノテーションを行う作業者に、各種の判断を支援する情報を提供することができる。このため、アノテーションの効率と信頼性の向上が期待できる。また、システム２００がアノテーションに必要な判断を支援する情報を利用者に提供することで、必ずしも専門的な知見を有しない者であってもアノテーションを正確に付与することが可能となるため、作業者を選定する上での制約も緩和される。従って、作業効率の向上とともに作業者の確保も容易になるため、従来と比較して大量の画像に対して効率良くアノテーションを行うことが可能となる。

なお、本実施形態では、制御装置１３０が撮影装置１００の制御とアノテーションの支援に用いられる分類画像の生成を行う例を示したが、これらは別々の装置によって行われてもよい。例えば、制御装置１３０が撮影装置１００の制御を行い、制御装置１３０とは異なる装置が分類画像の生成を行ってもよく、その制御装置１３０とは異なる装置が利用者からの要求に応じて分類画像を表示してもよい。また、制御装置１３０が撮影装置１００の制御と分類画像の生成を行い、制御装置１３０とは異なる装置が利用者からの要求に応じて分類画像を表示してもよい。制御装置１３０とは異なる装置とは例えばクライアント端末であり、タブレット、スマートフォン、コンピュータなどを含む。これらのクライアント端末は、制御装置１３０と通信可能に構成されていてもよい。クライアント端末は制御装置１３０と同じく、１つ以上のプロセッサと、１つ以上の非一時的なコンピュータ読取可能媒体と、を含んでいればよい。

図１０は、システム２００が学習段階に行う処理の一例を示すフローチャートである。図１１は、特徴抽出方法の学習処理の一例を示すフローチャートである。図１２は、特徴抽出モデルＭ１の一例を示す図である。図１３は、正規化方法の学習処理の一例を示すフローチャートである。図１４は、情報量削減方法の学習処理の一例を示すフローチャートである。図１５は、分類方法の学習処理の一例を示すフローチャートである。図１６は、システム２００による分類処理の一例を示すフローチャートである。図１７は、分類処理における入出力の前半部分を例示した図である。図１８は、分類処理における入出力の後半部分を例示した図である。以下、図１０から図１８を参照しながら、図５のステップＳ２の分類処理と、分類処理を実行可能とするために予め行われる学習処理について、詳細に説明する。

上述した図５のステップＳ２の分類処理は、機械学習により得られた学習済みデータを用いて行われる。まず、図１０から図１５を参照しながら、学習済みデータを得るために行われる学習処理について説明する。なお、学習処理は、アノテーションの対象毎に行われることが望ましい。例えば、ｉＰＳ細胞の分化領域と未分化領域をアノテーションする場合であれば、ｉＰＳ細胞の培養過程で取得した複数の画像を用いて学習を行うことが望ましい。

図１０に示す学習処理は、例えば、制御装置１３０で行われるが、制御装置１３０とは異なる装置で行われてもよい。また、学習に用いる画像は、例えば、撮影装置１００で取得されるが、撮影装置１００とは異なる装置で取得されてもよい。即ち、分類を行う装置が学習により得られた学習済みデータを用いる限り、学習と分類は別々の装置で行われてもよい。以降では、学習用画像として撮影装置１００で取得した培養細胞の画像を用いて、制御装置１３０が学習処理を実行する場合を例に説明する。

図１０に示す学習処理は、特徴抽出方法を学習する処理（ステップＳ１０）と、特徴抽出結果の正規化方法を学習する処理（ステップＳ２０）と、情報量を削減する方法を学習する処理（ステップＳ３０）と、分類方法を学習する処理（ステップＳ４０）と、を含んでいる。

特徴抽出方法を学習するステップＳ１０では、図１１に示すように、制御装置１３０は、まず、学習用画像を取得し（ステップＳ１１）、取得した学習用画像を用いて深層学習で自己符号化を学習する（ステップＳ１２）。制御装置１３０は、ステップＳ１１及びステップＳ１２の処理をすべての学習用画像に対して繰り返す。

ステップＳ１２では、ニューラルネットワークの入力データと教師データの両方に同じ学習用画像を設定してニューラルネットワークを繰り返し訓練する。即ち、複数の学習用画像を用いてニューラルネットワークを訓練し、それによって、画像の特徴を抽出するオートエンコーダ（自己符号化器）を構築する。具体的なネットワークの構成例を図１２に示すが、図１２に示すモデルＭ１は、あくまで一例であり、チャンネル数や階層数は適宜変更可能である。なお、図１２には、中間層が５層あるオートエンコーダが例示されている。また、ステップＳ１２における学習は、モデルＭ１の中間層を１層のみ使用した場合から５層全てを使用した場合の計５つの損失関数が平均化されるように行われる。

制御装置１３０は、すべての学習用画像に対してステップＳ１１とステップＳ１２の処理を行うと、学習を終了するか否か判定する（ステップＳ１３）。ここでは、損失関数が基準値以下か否かに基づいて判定してもよい。損失関数が基準値以下であると判定すると、制御装置１３０は学習を終了し（ステップＳ１３ＹＥＳ）、ステップＳ１２で構築されたオートエンコーダ（以降、特徴抽出用の学習済みデータＡと記す）を学習済みデータとして出力する（ステップＳ１４）。なお、学習済みデータＡは、オートエンコーダを構成するニューラルネットワークの全部または一部（例えば、入力層から第５中間層までの情報）であってもよい。

正規化方法を学習するステップＳ２０では、図１３に示すように、制御装置１３０は、まず、学習用画像を取得し（ステップＳ２１）、その後、ステップＳ１０で得られた学習済みデータＡを用いて中間層画像を生成する（ステップＳ２２）。

ステップＳ２２では、制御装置１３０は、例えば、モデルＭ１に学習用画像を入力し、学習用画像が圧縮され特徴が抽出された中間層のデータを中間層画像として出力する。なお、中間層のデータが２次元配列（画像形式）でなく１次元配列の場合には、２次元配列（画像形式）に変換することで中間層画像として出力する。例えば、モデルＭ１の第１中間層から第５中間層の全てを用いる場合であれば、ステップＳ２２では、計３６８（＝１６＋３２＋６４＋１２８＋１２８）チャンネルの中間層画像が生成される。

ステップＳ２２で中間層画像が生成されると、制御装置１３０は、チャンネル毎に中間層画像に統計処理を施して、統計画像を生成する（ステップＳ２３）。ここで、統計処理とは、統計演算を行う画像フィルタ処理のことであり、統計演算は、例えば平均や分散などの演算である。換言すると、統計処理とは、注目画素とその周辺の画素の情報を用いた空間フィルタリング処理である。

なお、ステップＳ２３の統計処理で行われる統計演算は１種類（例えば、平均化のみ）であってもよく、２種類以上（例えば、平均化と分散算出）であってもよい。２種類以上の統計演算が行われる場合には、制御装置１３０は、それぞれの演算結果を別のチャンネルとして出力すればよい。

制御装置１３０は、ステップＳ２１からステップＳ２３の処理をすべての学習用画像に対して繰り返す（ステップＳ２４ＮＯ）。全ての学習用画像に対して処理が行われると（ステップＳ２４ＹＥＳ）、制御装置１３０は、チャンネル毎に正規化を学習し（ステップＳ２５）、学習済みデータを出力する（ステップＳ２６）。

ステップＳ２５では、制御装置１３０は、ステップＳ２３で生成された複数の統計画像から、チャンネル毎に、最大の画素値と最小の画素値を正規化パラメータとして抽出する。ステップＳ２６では、制御装置１３０は、抽出した正規化パラメータ（以降、正規化用の学習済みデータＢと記す）を学習済みデータとして出力する。

最後に、制御装置１３０は、正規化用の学習済みデータＢを用いてチャンネル毎に統計画像を正規化して特徴画像を生成し、生成した特徴画像を出力する（ステップＳ２７）。ここでは、制御装置１３０は、学習済みデータＢを用いて統計画像を変換して、画素値が０から１に収まる特徴画像を生成する。

情報量削減方法を学習するステップＳ３０では、図１４に示すように、制御装置１３０は、まず、特徴画像を取得する（ステップＳ３１）。その後、制御装置１３０は、特徴画像の画像サイズを削減して第２の特徴画像を生成し、生成した第２の特徴画像を出力する（ステップＳ３２）。

ステップＳ３２では、制御装置１３０は、特徴画像から所定のルールに基づいて画素を間引くことによって画像サイズを削減してもよい。また、制御装置１３０は、補間法を用いて任意のサイズに画像を縮小してもよい。

制御装置１３０は、ステップＳ３１及びステップＳ３２の処理をすべての特徴画像に対して繰り返す（ステップＳ３３ＮＯ）。全ての特徴画像に対して処理が行われると（ステップＳ３３ＹＥＳ）、制御装置１３０は、画像サイズが削減された第２の特徴画像の特徴ベクトルに対して主成分分析を行う（ステップＳ３４）。なお、主成分分析は、必要に応じて第２の特徴画像を１次元配列に変換してから行われてもよい。

制御装置１３０は、第２の特徴画像の入力に対してステップＳ３４の主成分分析によって特定された主成分を出力する変換行列（以降、情報量削減用の学習済みデータＣと記す）を学習済みデータとして出力する（ステップＳ３５）。なお、変換行列によって出力される主成分数は、分類対象の複雑さに応じて適宜設定することが望ましく、分類対象が複雑なほど多くの主成分を残すことが望ましい。

分類方法を学習するステップＳ４０では、図１５に示すように、制御装置１３０は、まず、第２の特徴画像を取得し（ステップＳ４１）、その後、ステップＳ３０で得られた学習済みデータＣを用いて第３の特徴画像を生成する（ステップＳ４２）。なお、第３の特徴画像は、第２の特徴画像の主成分で構成された画像であり、第３の特徴画像よりも特徴ベクトルの次元数（つまり、チャンネル数）が低い画像である。

制御装置１３０は、ステップＳ４１及びステップＳ４２の処理をすべての第２の特徴画像に対して繰り返す（ステップＳ４３ＮＯ）。全ての第２の特徴画像に対して処理が行われると（ステップＳ４３ＹＥＳ）、制御装置１３０は、次元数が削減された第３の特徴画像の特徴ベクトルについてクラスター分析を行う（ステップＳ４４）。

ステップＳ４４で行われるクラスター分析としては、例えば、Ｋ－ｍｅａｎｓ法などを採用し得る。Ｋ－ｍｅａｎｓ法は、学習した分類ルールを保存可能な点で望ましいが、クラスター分析の方法は、Ｋ－ｍｅａｎｓ法に限らない。なお、クラスター分析は、必要に応じて第３の特徴画像を１次元配列に変換してから行われてもよい。

制御装置１３０は、ステップＳ４４のクラスター分析で作成された分類ルール（以降、分類用の学習済みデータＤと記す）を学習済みデータとして出力する（ステップＳ４５）。なお、分類結果のクラスター数（クラス数）は、ステップＳ４４のクラスター分析が行われる前に、分類対象に応じて適宜設定することが望ましい。

システム２００は、上述した学習処理により得られた学習済みデータ１３２ｂ（学習済みデータＡからＤ）を記憶装置１３２に記憶する。システム２００は、利用者がアノテーションを行う際に、これらの学習済みデータを用いて利用者のアノテーションを支援する。

次に、図１６から図１８を参照しながら、図５のステップＳ２の分類処理について、図１０から図１５に示す学習処理で生成された学習済みデータの活用方法に着目して詳細に説明する。

制御装置１３０は、まず、対象画像を取得する（ステップＳ１０１）。ここでは、例えば、ステップＳ１において、撮影装置１００が容器Ｃ内で培養される細胞を撮影した画像を、制御装置１３０が対象画像として取得する。対象画像（画像１）は、図１７に示すように、例えば、１枚（１チャンネル）の画像である。

対象画像を取得すると、制御装置１３０は、学習済みデータＡを用いて中間層画像を生成する（ステップＳ１０２）。ここでは、プロセッサ１３１は、学習済みデータＡとして記憶装置１３２に記憶されているオートエンコーダに中間層画像を入力し、中間層のデータを中間層画像として取得する。対象画像（画像１）の特徴を抽出した中間層画像（画像２）は、図１７に示すように、例えば、中間層のチャンネル数と同数のチャンネル数を有している。

中間層画像が生成されると、制御装置１３０は、チャンネル毎に中間層画像に統計処理を施して統計画像を生成する（ステップＳ１０３）。ここでは、プロセッサ１３１は、中間層画像に空間フィルタリング処理を行うことで、統計画像を生成する。なお、この工程で行われる空間フィルタリング処理は、図１３のステップＳ２３の処理と同様である。統計画像（画像３）は、図１７に示すように、中間層画像（画像２）と同数のチャンネル数を有している。

統計画像が生成されると、制御装置１３０は、学習済みデータＢを用いてチャンネル毎に統計画像を正規化して特徴画像を生成する（ステップＳ１０４）。ここでは、プロセッサ１３１は、学習済みデータＢとして記憶装置１３２に記憶されている正規化パラメータを用いて、統計画像を画素値が０から１に収まる特徴画像に変換する。なお、正規化パラメータはチャンネル毎に記憶されているため、ステップＳ１０４では統計画像のチャンネルに対応する正規化パラメータが使用される。特徴画像（画像４）は、図１７に示すように、統計画像（画像３）と同数のチャンネル数を有している。

特徴画像が生成されると、制御装置１３０は、特徴画像の画像サイズを削減して第２の特徴画像を生成する（ステップＳ１０５）。ここでは、プロセッサ１３１は、図１４のステップＳ３２の処理と同様に、特徴画像から所定のルールに基づいて画素を間引くことによって画像サイズを削減してもよく、補間法を用いて任意のサイズに画像を縮小してもよい。第２の特徴画像（画像５）は、図１８に示すように、特徴画像（画像４）と同数のチャンネル数を有している。

第２の特徴画像が生成されると、制御装置１３０は、学習済みデータＣを用いて第２の特徴画像から特徴ベクトルの次元数を抑えた第３の特徴画像を生成する（ステップＳ１０６）。ここでは、プロセッサ１３１は、学習済みデータＣとして記憶装置１３２に記憶されている変換行列を用いて、第２の特徴画像を第２の特徴画像の主成分からなる第３の特徴画像に変換する。第３の特徴画像（画像６）は、図１８に示すように、第２の特徴画像（画像５）よりも少ないチャンネル数（この例では、３チャンネル）を有している。

第３の特徴画像が生成されると、制御装置１３０は、学習済みデータＤを用いて第３の特徴画像の特徴ベクトル（この例では３次元）を分類してインデックス画像（分類情報）を生成する（ステップＳ１０７）。ここでは、プロセッサ１３１は、学習済みデータＤとして記憶装置１３２に記憶されている分類ルールを用いて、第３の特徴画像を構成する複数の画素に対応する複数の特徴ベクトルをクラスタリングする。プロセッサ１３１は、さらに、分類されたクラスに示すインデックス（クラス情報）を二次元に配列してインデックス画像を生成する。インデックス画像（画像７）は、図１８に示すように、例えば、１枚（１チャンネル）の画像であり、上述した分類情報の一例である。

システム２００は、上述した分類処理によって得られたインデックス画像を記憶装置１３２に記憶する。そして、利用者がアノテーションを行う際に、システム２００は、図１９に示すように、インデックス画像をインデックスに応じて可視化した分類画像を生成し、対象画像と対比可能に画面上に配置する。これにより、アノテーションを行う作業者を支援することができる。

図２０は、アノテーション画面の更に別の例を示した図である。分類画像と対象画像の関係は、図２０に示すように、アノテーション画面上で確認可能であってもよい。図２０では、アノテーション画面上にウィンドウＷを表示することで、分類画像上の色とその色に分類される対象画像内の領域の凡例との関係が、クラス毎に示されている。なお、凡例は、クラス毎に１つに限らず、複数表示されてもよい。また、ウィンドウＷには、図２０に示すように、凡例と色が示す対象（又はクラス）についての説明を入力可能である。例えば、この分野の熟練者が説明を入力することで、経験の浅い作業者が熟練者の入力した説明を参照することが可能となるため、分類画像における分類について正しく把握することができる。

図２１は、クラスに割り当てる色を変更する様子を示した図である。図２２は、図２１に示す色の割り当て変更前後の分類画像を例示した図である。図２３は、クラスに割り当てる色を変更する様子を示した別の図である。図２４は、図２３に示す色の割り当て変更前後の分類画像を例示した図である。図２５は、アノテーション画面の更に別の例を示した図である。図２６は、分類画像の透過率の決定方法について説明するための図である。図２７は、分類画像の別の例を示した図である。図２８は、分類画像の更に別の例を示した図である。インデックス画像の可視化に関する設定は、利用者が適宜変更してもよい。以下、図２１から図２８を参照しながら、利用者が設定を変更して分類画像の表示態様を変更する例について説明する。

制御装置１３０は、図２１及び図２２に示すように、利用者が行うウィンドウＷへの操作に応じて、クラスに割り当てられる色を変更してもよい。図２１では、３番目のクラスに割り当てる色を２番目のクラスに割り当てられている色と同じ色に変更し、さらに、３番目のクラスの説明を２番目のクラスの説明と共通にした例が示されている。利用者のこのような操作に応じて、制御装置１３０は、図２２に示すように、画面上に配置される分類画像を、画像８から画像８ａに変更してもよい。画像８ａは、図２１に示す変更後の設定に従ってインデックス画像を可視化した分類画像であり、２番目のクラスと３番目のクラスに同じ色が割り当てられた画像である。このように、システム２００による分類に人間が調整を加えることで、アノテーションを行いやすい環境が構築されてもよい。

制御装置１３０は、図２３及び図２４に示すように、利用者が行うウィンドウＷへの操作に応じて、クラスに割り当てられる色を透明色に変更してもよい。図２３では、２番目のクラスに割り当てる色を透明色に変更する例が示されている。利用者のこのような操作に応じて、システム２００は、図２４に示すように、画面上に配置される分類画像を、画像８ａから画像８ｂに変更してもよい。画像８ａから画像８ｂに変更することで、透明色に変更されたクラスに分類された領域が透明になり、分類画像の下に配置されている対象画像（画像１）をみることができる。このように、一部のクラスに分類された領域のみ透明にして、実際の画像（対象画像）で詳しく対象（細胞）の状態を確認してもよい。

図２１から図２４に示すように、制御装置１３０は、所定の指示（例えば、利用者の操作）に応じて、分類画像においてクラス情報に割り当てられる表示態様を変更してもよい。

図２３及び図２４では、分類画像の透過率をクラスごとに変更する例を示したが、システム２００は、分類画像の透過率を領域毎に変更してもよい。制御装置１３０は、図２５及び図２６に示すように、分類の信頼性に基づいて分類画像の透過率を自動的に決定してもよい。図２５には、制御装置１３０が、利用者の所定の指示（例えば、領域Ｒ２で“オート”を選択する操作）に応じて、対象画像に重畳する分類画像の透過率を領域毎に自動的に変更する例が示されている。なお、図２５に示す分類画像８ｃの透過率は、例えば、分類の信頼性に応じて決定される。

このような信頼性に応じた透過率を実現するためには、インデックス画像（分類情報）を生成する際に、図２６に示すように、インデックス（クラス情報）とともに、分類の信頼性、つまり、クラスへの分類に対する確率的スコアを示すスコア情報を、領域毎に出力すればよい。従って、分類情報は、複数の対象領域の各々毎に、分類されたクラスを示すクラス情報と、クラスへの分類に対する確率的スコアを示すスコア情報と、を含んでいればよい。制御装置１３０は、例えば、インデックス画像生成時のクラスター分析でＫ－ｍｅａｎｓ法が用いられる場合であれば、クラスターの重心からの距離（又は距離を正規化した情報）を確率的スコアとして出力してもよい。

分類情報にスコア情報が含まれていることで、制御装置１３０は、分類画像を構成する複数の分類領域の透過率を、複数の対象領域のうちの対応する対象領域のスコア情報に基づいて決定してもよい。より具体的には、確率的スコアが低い場合に透過率を高く設定することで、分類の信頼性の低い領域に関して対象画像で実際の細胞の状態をより良く確認することが可能となる。一方で、信頼性の高い分類が行われている領域については、主に分類画像の情報に基づいてアノテーションを行うことができる。なお、図２６には、スコア７０％を閾値として、分類画像の各領域の透過率を調整する例が示されている。

以上では、分類情報が色の違いを用いて可視化される例を示したが、色の割り当て方法には様々な方法が採用し得る。例えば、ＨＬＳ色空間などのＨ（色相）にインデックスを割り当ててもよい。また、人間が識別しやすい色を選定して、選定した色にインデックスを割り当ててもよい。さらに、上記の例に限らずに目的に応じて任意の色にインデックスを割り当ててもよい。

また、分類情報は色の違いではなく色の濃淡を用いて可視化されてもよい。さらに、分類情報はパターンを用いて可視化されてもよい。制御装置１３０は、例えば、図２７に示すように、クラス毎に異なるパターンを用いて領域を可視化した画像８ｄを、分類画像として画面上に配置してもよい。

また、以上では、領域を特定の色やパターンで満たすことで分類情報が可視化される例を示したが、分類情報は、異なる分類の領域を区別可能に区画できればよく、例えば、領域を満たす代わりに領域の輪郭を描くことによって可視化されてもよい。制御装置１３０は、例えば、図２８に示すように、同じクラスに分類された領域の輪郭を描いた画像８ｅを、分類画像として画面上に配置してもよい。輪郭は、クラス毎に異なる色の線で描かれてもよく、クラス毎に異なる太さの線で描かれてもよく、クラス毎に異なる線種の線で描かれてもよく、これらの組み合わせで描かれてもよい。

［第２の実施形態］
図２９は、本実施形態に係るシステムが行う処理の一例を示すフローチャートである。図３０は、タイムラプス撮影処理の一例を示すフローチャートである。図３１及び図３２は、時系列順に配置された分類画像を例示した図である。以下、図２９から図３２を参照しながら、本実施形態に係るシステムが行う処理について説明する。図２９に示す処理は、例えば、プロセッサ１３１がプログラム１３２ａを実行することによって開始される。

なお、本実施形態に係るシステムは、図２９に示す処理を行うことで、アノテーションを付与すべき画像の選択を支援する。本実施形態に係るシステム（以降、単にシステムと記す）は、図５に示す処理の代わりに又は加えて、図２９に示す処理を行う点が第１の実施形態に係るシステム２００とは異なるが、その他の点については、システム２００と同様である。

図２９に示す処理が開始されると、まず、システムは、タイムラプス撮影を行う（ステップＳ２００）。具体的には、図３０に示すように、制御装置１３０は、撮影時刻や撮影位置などのタイムラプス撮影の条件を取得し（ステップＳ２０１）、撮影時刻になると（ステップＳ２０２ＹＥＳ）、撮影装置１００に撮影指示を送信する（ステップＳ２０３）。制御装置１３０から撮影指示を受けた撮影装置１００は、撮影指示に従って撮影を行い、取得した対象画像を制御装置１３０へ送信する。対象画像を受信した制御装置１３０は、例えば、図１６に示す分類処理を行い（ステップＳ２０４）、分類処理により生成された分類情報を出力する（ステップＳ２０５）。制御装置１３０は、以上の処理をタイムラプス撮影の終了時刻になるまで（ステップＳ２０６ＹＥＳ）、繰り返す。

タイムラプス撮影が終了すると、制御装置１３０は、タイムラプス撮影によって得られた複数の分類情報を取得する（ステップＳ２１０）。なお、ここで取得した複数の分類情報は、互いに異なる時刻に撮影した複数の対象画像に対応する。

その後、制御装置１３０は、取得した複数の分類情報を可視化した複数の分類画像を生成する。そして、生成した複数の分類画像を、図３１に示すように、複数の分類画像に対応する複数の対象画像の撮影時刻に基づいて、画面上に配置する（ステップＳ２２０）。

図３１には、複数の分類画像（画像Ｐ１から画像Ｐ２４）が時系列順に従って配置された様子が示されている。具体的には、図３１には、初日の１５時から４時間置きに撮影された対象画像に基づいて生成された複数の分類画像が、撮影時刻順に並べられている。

“ＭＥ”が付された矢印は、培地交換が行われたことを示し、“Ｐ”が付された矢印は、継代が行われたことを示している。培地交換や継代が行われる時刻に関する情報は、撮影装置１００に設けられた操作ボタンを作業者が押下することで記録される。制御装置１３０は、撮影装置１００に記録された時刻情報に基づいて、培地交換や継代のタイミングを示す表示を分類画像とともに表示してもよい。培地交換や継代によって培養環境が大きく変化することから、これらがいつ行われたか分かるように情報を提供することはアノテーション画像の選択に有益である。

図３２には、撮影時刻に基づいて配置された複数の分類画像の中から、利用者がアノテーションを付与すべき画像を選択した様子が示されている。この例では、画像Ｐ６、画像Ｐ１７、画像Ｐ１９の３枚の画像が選択されている。また、利用者がアノテーションを実際に付与しているステップの最中である場合には、アノテーションを付与すべき画像のみでなく、既に利用者がアノテーションを付与済みの画像である旨の表示を行ってもよい。具体的には、画像に１つ以上のアノテーションを付与した撮影時刻にマークを表示してもよい。また、アノテーションを付与済みの画像にマークを表示してもよい。これにより、更にアノテーション作業の手間を低減することができる。

複数の分類画像が画面上に配置されると、その後、システムは、利用者の入力を受け付けて画像にアノテーションを付与する（ステップＳ２３０）。なお、ステップＳ２３０の処理は、図５のステップＳ４の処理と同様である。

図２９に示す処理を行うことで、システムは、利用者によるアノテーションを付すべき画像の選択を支援することができる。以下、この点について具体的に説明する。

機械学習において比較的少ない画像で高い学習効率を実現するためには、アノテーションにより作成する教師データは、バラエティに富んだ様々な画像を含むことが望ましい。本実施形態に係るシステムでは、画面上に撮影時刻に基づいて複数の分類画像が配置されるため、利用者は、複数の分類画像を見比べることで、対象画像に生じた変化を容易に把握することができる。例えば、利用者は大きな変化が生じた画像を優先するといった基準で画像を選択するだけで、バラエティに富んだ画像を選択することができる。このため、利用者はアノテーションを付すべき画像の選択を容易に且つ適切に行うことができる。特に、複数の対象画像を並べて表示するのではなく複数の分類画像を並べて表示することで、利用者は画像に生じた変化を一見して把握することができる。従って、短時間でアノテーションを付すべき画像を選択することが可能となり、アノテーションの作業効率が向上する。また、第１の実施形態に係るアノテーション支援方法と組み合わせることで、アノテーションを付すべき画像の選択からアノテーションを付す作業までが一貫して支援されるため、利用者は、さらに効率的にアノテーションを行うことができる。

なお、以上では、タイムラプス撮影が終了した後に、アノテーションを付すべき画像を選択する場合を例に説明したが、アノテーションを付すべき画像の選択は、タイムラプス撮影期間中に行われてもよい。制御装置１３０がすでに取得した画像から作成された分類画像を時系列表示することで、利用者が随時アノテーションを付すべき画像を選択してもよい。

図３３は、培養データ一覧画面の一例を示した図である。図３４は、培養データトップ画面の一例を示した図である。図３５は、時系列表示画面の一例を示した図である。図３６は、貼り合わせ画像表示画面の一例を示した図である。図３７は、貼り合わせ要素画像表示画面の一例を示した図である。以下、図３３から図３７を参照しながら、アノテーションを付すべき画像が選択されるまでの画面遷移の一例について具体的に説明する。

制御装置１３０は、まず、図３３に示すように、タイムラプス撮影により取得した培養データのリストを表示装置１３４に表示し、利用者に選択させる。培養データは、継続中のタイムラプス撮影のデータを含んでもよい。図３３には、装置ＩＤ“Ｄｅｖｉｃｅ２”の装置で継続中のタイムラプス撮影の培養データである“テスト４”が、利用者によって選択された様子が示されている。

培養データが選択されると、制御装置１３０は、表示装置１３４の画面上に、培養容器を模した容器画像（画像ＣＴ）を配置する。制御装置１３０は、さらに、容器画像上に、容器内の試料を撮影した対象画像に基づく分類画像を配置してもよい。分類画像は、培養容器上における対象画像の撮影位置に基づいて、容器画像上に配置されてもよい。

図３４には、培養容器がマルチウェルプレートである場合の例が示されている。マルチウェルプレートを模した容器画像（画像ＣＴ）には、複数のウェルを模したウェル画像Ｗ１～Ｗ６が含まれている。制御装置１３０は、複数のウェル画像に対応する位置に、対応するウェル内の細胞を撮影した複数の対象画像に対応する複数の分類画像（画像８）を配置してもよい。

培養容器が、図３４に示すように、例えばマルチウェルプレートなど複数の培養領域を有する容器である場合には、培養領域ごとにその培養領域の状態を表す分類画像を配置することが望ましい。これにより、各培養領域の状態を利用者が一目で把握可能となるため、さらに詳しく確認すべき培養領域の選択が容易になる。なお、分類画像が最新の対象画像に対応する分類画像であれば、さらに望ましい。

容器画像上で培養領域（例えば、ウェル画像Ｗ６）が選択されると、制御装置１３０は、図３５に示すように、その培養領域で撮影された複数の対象画像に基づいて生成された複数の分類画像を、撮影時刻に基づいて、画面上に配置する。なお、図３５に示す画像Ｐａから画像Ｐｉは、それぞれウェル内をスキャンして撮影した５枚×５枚の対象画像を貼り合わせた分類画像である。

さらに、時系列に従って配置された複数の分類画像（貼り合わせ画像）から特定の分類画像（貼り合わせ画像）が選択されると、制御装置１３０は、図３６に示すように、選択された分類画像（貼り合わせ画像である画像Ｐｃ）を拡大して表示する。なお、異なる時刻に対応する分類画像（貼り合わせ画像）を表示したい場合には、分類画像の左右に配置されたボタンを押下すればよい。

その後、分類画像（画像Ｐｃ）内の特に詳細に観察したい領域が選択されると、制御装置１３０は、図３７に示すように、選択された領域を含む分類画像（貼り合わせ要素画像である画像Ｐｃ９）を拡大して表示する。利用者は、十分に拡大された分類画像（画像Ｐｃ９）を確認して対応する対象画像にアノテーションを付すか否かを決定する。利用者による所定の操作（例えば、“アノテーション”ボタンの押下）を検出すると、制御装置１３０は、アノテーション画面へ画面遷移する。

以上のように、本実施形態に係るシステムによれば、アノテーション画面へ遷移するまでに利用者が行う画像の選択を、分類画像の時系列表示を用いることで支援することができる。これにより、利用者は適切な画像を選択することが可能となるため、画像選択のやり直しなどを回避して効率良くアノテーションを行うことができる。

なお、本実施形態では、アノテーション画面へ遷移するまでは、分類画像のみを表示する例を示したが、アノテーションを付すべき画像の選択には、分類画像に加えて対象画像が用いられてもよい。例えば、第１の実施形態と同様に、分類画像と対象画像を重ねて表示してもよく、分類画像と対象画像を切り替えて表示してもよい。即ち、対象画像と対比可能に複数の分類画像が時系列に従って画面上に配置されてもよい。

また、本実施形態では、撮影が行われた撮影時刻の分類画像を時系列順に従って一覧で表示する例を示したが、必ずしも、撮影が行われた撮影時刻の分類画像のすべてを表示しなくてもよい。例えば、図３２に示す画面上で利用者が非表示にすべき画像を選択してもよく、利用者は例えば、隣接する画像と比較して変化が少ない画像を非表示にすべき画像として選択してもよい。システムは、利用者の選択に従って選択された画像の表示を省略してもよく、これにより、一覧表示される画像が絞り込まれてもよい。一覧表示される画像枚数を抑えることで一覧性が改善されて、画像の対比が容易になる。このため、アノテーションを付すべき画像の選択をさらに容易に行うことができる。

［第３の実施形態］
図３８は、本実施形態に係るシステムが行う処理の一例を示すフローチャートである。図３９は、分類画像の選択方法について説明するための図である。図４０は、時系列に配置された分類画像の別の例を示した図である。以下、図３８から図４０を参照しながら、本実施形態に係るシステムが行う処理について説明する。なお、本実施形態に係るシステムは、図３８に示す処理を行うことで、アノテーションを付与すべき画像の選択を支援する。本実施形態に係るシステム（以降、単にシステムと記す）は、図２９に示す処理の代わりに図３８に示す処理を行う点が第２の実施形態に係るシステムとは異なるが、その他の点については、第２の実施形態に係るシステムと同様である。なお、図３８に示す処理は、例えば、プロセッサ１３１がプログラム１３２ａを実行することによって開始される。

図３８に示す処理が開始されると、まず、システムは、タイムラプス撮影を行い（ステップＳ３１０）、タイムラプス撮影によって得られた複数の分類情報を取得する（ステップＳ３２０）。なお、ステップＳ３１０とステップＳ３２０の処理は、図２９のステップＳ２００とステップＳ２１０の処理と同様である。

その後、制御装置１３０は、ステップＳ３２０で取得した複数の分類情報の比較に基づいて、画面上に配置する複数の分類画像を選択する（ステップＳ３３０）。ここでは、制御装置１３０は、大きな変化が生じた画像を優先して選択できればよく、具体的な選択方法は特に限定しない。制御装置１３０は、例えば、図３９に示すように、時系列に並べられた複数の分類画像（画像Ｐａ、Ｐｂ、Ｐｃ・・・）において、隣接する２画像間の変化率を算出し、変化率が閾値以上の分類画像（この例では、画像Ｐｃ）を選択してもよい。また、制御装置１３０は、隣接する画像の変化率に基づいて画像を選択する代わりに、例えば、選択した画像（例えば、画像Ｐａ）に対する変化率に基づいて次に選択する画像（例えば、画像Ｐｃ）を選択してもよい。

複数の分類画像が選択されると、制御装置１３０は、選択された複数の分類画像を、対応する複数の対象画像の撮影時刻に基づいて画面上に配置する（ステップＳ３４０）。なお、ステップＳ３４０の処理は、タイムラプス撮影によって得られた分類画像の全てを画面上に配置する代わりに、ステップＳ３３０で選択された分類画像のみを画面上に配置する点を除き、図２９のステップＳ２２０の処理と同様である。

図４０には、ステップＳ３３０で選択された複数の分類画像（画像Ｐｃ、Ｐｄ、Ｐｉ）が時系列順に従って配置された様子が示されている。なお、ステップＳ３３０で選択されなかった画像は、画面上から完全に取り除かれてもよく、図４０に示すように、類似する画像の後ろに隠れるように配置されてもよい。

選択された複数の分類画像が画面上に配置されると、その後、システムは、利用者の入力を受け付けて画像にアノテーションを付与する（ステップＳ３５０）。なお、ステップＳ３５０の処理は、図５のステップＳ４の処理と同様である。

図３８に示す処理を行うことで、システムは、利用者によるアノテーションを付すべき画像の選択を支援することができる。特に、本実施形態では、分類画像の比較に基づいて対象画像の変化が自動的に検出され、変化の大きさに基づいて画面上に配置される分類画像が自動的に選択される。このため、大量の画像からアノテーションを付すべき画像を選択する場合であっても、似通った画像の表示が省略されることで、利用者が確認すべき画像の枚数を抑えることが可能であり、利用者の負担を大幅に軽減することができる。さらに、似通った画像の表示が省略されるため、意図せずに同じような画像にばかりアノテーションを付してしまうことを避けることが可能であり、学習効率の高い教師データの作成が可能となる。

本実施形態では、変化の大きさに基づいて画面上に配置される分類画像を自動的に選択する例を記載したが、この選択は必ずしもシステムによって自動選択を行われなくても良い。例えば、システムによる自動選択が行われずとも、各分類画像が時系列順で複数表示されていれば、利用者は各時間における変化量を視覚的に把握することができる。このため、第３の実施形態において上述したように、利用者は、変化量が大きいと判断した画像のみをアノテーションすればよく、アノテーションを付すべき画像の候補とならない画像を手動で選択して非表示にしてもよい。また、本実施形態では、画像間の変化率が算出されるため、時系列順で表示される複数の分類画像の近くに変化率情報を表示してもよい。利用者は、表示された変化率情報に基づいて非表示にする画像を手動で選択してもよく、また、変化率情報に基づいてアノテーションを付すべき画像を選択してもよい。

以上のように、本実施形態に係るシステムによっても、第２の実施形態に係るシステムと同様に、アノテーション画面へ遷移するまでに利用者が行う画像の選択を、分類画像の時系列表示を用いることで支援することができる。

［第４の実施形態］
図４１は、本実施形態に係るシステムが行う処理の一例を示すフローチャートである。図４２は、分類画像の透過率決定方法について説明するための図である。以下、図４１及び図４２を参照しながら、本実施形態に係るシステムが行う処理について説明する。なお、本実施形態に係るシステムは、図４１に示す処理を行うことで、アノテーションを付与すべき画像の選択を支援する。本実施形態に係るシステム（以降、単にシステムと記す）は、図２９に示す処理の代わりに図４１に示す処理を行う点が第２の実施形態に係るシステムとは異なるが、その他の点については、第２の実施形態に係るシステムと同様である。なお、図４１に示す処理は、例えば、プロセッサ１３１がプログラム１３２ａを実行することによって開始される。

図４１に示す処理が開始されると、まず、システムは、タイムラプス撮影を行い（ステップＳ４１０）、タイムラプス撮影によって得られた複数の分類情報を取得する（ステップＳ４２０）。なお、ステップＳ４１０とステップＳ４２０の処理は、図２９のステップＳ２００とステップＳ２１０の処理と同様である。

その後、制御装置１３０は、ステップＳ４２０で取得した複数の分類情報の比較に基づいて、画面上に配置する複数の分類画像の透過率を選択する（ステップＳ４３０）。ここでは、制御装置１３０は、大きな変化が生じた画像に対して高い透過率を選択できればよく、具体的な選択方法は特に限定しない。図４２に示すように、制御装置１３０は、例えば、時系列に並べられた複数の分類画像（画像Ｐａ、Ｐｂ、Ｐｚ（又はＰｙ）、・・・）において、隣接する２画像間の変化率を算出し、変化率が閾値以上の分類画像（この例では、画像Ｐｚ、画像Ｐｙ）に対して高い透過率を選択してもよい。なお、画像単位で比較して画像単位で透過率を調整してもよく（例えば、画像Ｐｚ参照）、貼り合わせ画像単位で比較して貼り合わせ画像単位で透過率を調整してよい（例えば、画像Ｐｙ参照）。また、画像内の所定領域単位（例えば、１０×１０画素）で比較して所定領域単位で透過率を調整してもよい。

透過率が選択されると、制御装置１３０は、選択した透過率で、複数の分類画像を、対応する複数の対象画像の撮影時刻に基づいて、画面上に配置する（ステップＳ４４０）。ここでは、制御装置１３０は、複数の分類画像を、選択された透過率で、対応する複数の対象画像に重畳して配置する。これにより、大きな変化が生じた対象画像を、分類画像を通して透かし見て、アノテーションを付すべき画像の選択の参考とすることができる。

複数の分類画像が画面上に配置されると、その後、システムは、利用者の入力を受け付けて画像にアノテーションを付与する（ステップＳ４５０）。なお、ステップＳ４５０の処理は、図５のステップＳ４の処理と同様である。

以上のように、本実施形態に係るシステムによっても、第２の実施形態に係るシステムと同様に、アノテーション画面へ遷移するまでに利用者が行う画像の選択を、分類画像の時系列表示を用いることで支援することができる。

［第５の実施形態］
図４３は、本実施形態に係るシステムが行う処理の一例を示すフローチャートである。図４４は、アノテーション画面の更に別の例を示した図である。図４５から図４７は、アノテーションの調整方法について説明するための図である。以下、図４３から図４７を参照しながら、本実施形態に係るシステムが行う処理について説明する。なお、本実施形態に係るシステムは、図４３に示す処理を行うことで、アノテーションを付与すべき画像の選択を支援する。本実施形態に係るシステム（以降、単にシステムと記す）は、図２９に示す処理の代わりに図４３に示す処理を行う点が第２の実施形態に係るシステムとは異なるが、その他の点については、第２の実施形態に係るシステムと同様である。なお、図４３に示す処理は、例えば、プロセッサ１３１がプログラム１３２ａを実行することによって開始される。

図４３に示す処理が開始されると、まず、システムは、タイムラプス撮影を行い（ステップＳ５１０）、タイムラプス撮影によって得られた複数の分類情報を取得する（ステップＳ５２０）。システムは、さらに、生成した複数の分類画像を、図３１に示すように、複数の分類画像に対応する複数の対象画像の撮影時刻に基づいて、画面上に配置する（ステップＳ５３０）。なお、ステップＳ５１０からステップＳ５３０の処理は、図２９のステップＳ２００からステップＳ２２０の処理と同様である。

その後、画面上に配置された複数の分類画像に基づいてアノテーションを付与すべき対象画像を利用者が選択すると、制御装置１３０は、利用者が選択した対象画像にアノテーションを付与する（ステップＳ５４０）。ここでは、制御装置１３０は、利用者が選択した対象画像に対応する分類画像に基づいて、利用者が選択した対象画像に自動的にアノテーションを付してもよい。具体的には、制御装置１３０は、予め決められたクラスに属する領域にアノテーションを付してもよい。制御装置１３０は、例えば、利用者が選択した対象画像に対応する分類画像に基づいて予め決められたクラスに属する領域を特定し、利用者が選択した対象画像のうちのその特定した領域にアノテーションを付してもよい。なお、制御装置１３０は、予め決められたクラスに属する領域であって、信頼性の高い分類が行われた領域にアノテーションを付してもよい。

自動的にアノテーションが付されると、制御装置１３０は、自動付与したアノテーションとクラスの関係を表示装置１３４に表示させる（ステップＳ５５０）。ここでは、制御装置１３０は、例えば、図４４に示すアノテーション画面を表示装置１３４に表示させてもよい。図４４に示すアノテーション画面には、アノテーションの自動付与設定である設定１００１と、アノテーションの手動付与設定である設定１００２と、アノテーションを付した画像１００３と、が含まれている。設定１００１は、クラスとアノテーションの関係を示していて、この例では、上から２つの目のクラスに自動的にアノテーションを付す設定が示されている。

なお、教師データとしては、対象画像にアノテーションを付した画像が利用されるが、アノテーション画面に表示されるアノテーションを付した画像１００３は、対象画像にアノテーションを付した画像に限らない。図４４に示すように、分類画像にアノテーションを付した画像が表示されてもよい。また、分類画像と対象画像を重ねた画像にアノテーションを付した画像が表示されてもよく、対象画像にアノテーションを付した画像が表示されてもよい。即ち、分類画像と対象画像の少なくとも一方（にアノテーションを付した画像）が表示されればよい。

利用者は、アノテーション画面でアノテーションを付した画像１００３などを確認して、アノテーションが適切に行われているかを判断する。そして、アノテーションの修正の必要性を認識すると、利用者は、アノテーション自動付与設定の変更やアノテーション手動付与設定の有効化などの操作を行って、制御装置１３０にアノテーションの修正を指示する。制御装置１３０は、利用者の入力を受け付けてアノテーションを修正する（ステップＳ５６０）。

なお、以下では、アノテーションを修正するための利用者の入力がマウスを用いたクリック操作によって行われる例を示すが、利用者の入力は、指やスタイラスによる直接入力により行われてもよい。また、入力装置１３３を介して利用者が入力した情報（アノテーション情報）は、制御装置１３０の受付部によって受け付けられる。受付部は、例えば制御装置１３０内のプロセッサなどである。受付部は、受け付けたアノテーション情報を表示装置に出力する際、出力に適した形態に適宜変換しても良い。

図４５には、利用者がアノテーション自動付与設定を変更することで、アノテーションを修正する様子が示されている。ここでは、２つ目のクラスにのみアノテーションを付与する設定１００１から２つ目と３つ目のクラスにアノテーションを付与する設定１００１ａに変更することで、アノテーションを付した画像が画像１００３から画像１００３ａに変化している。このように、利用者は、自動付与設定を変更することでアノテーションを修正してもよく、この場合、設定を変更するだけで容易に修正が可能である。

また、図４６には、利用者がアノテーション手動付与設定を有効化して、画像の任意の領域にアノテーションを付す様子が示されている。利用者がアノテーション手動付与をＯＦＦからＯＮに変更する（手動付与設定を設定１００２から設定１００２ａに変更する）と、アノテーションを付した画像上にアノテーションの手動付与を支援するグリッド線が表示される。グリッド線は画像を設定で指定された個数（グリッド数）の小領域（この例ではＮ×Ｍ個の小領域）に分割する線であり、小領域はグリッド線で囲まれた領域である。手動で付与するアノテーションは、小領域単位に付与することが可能である。即ち、制御装置１３０は、利用者の入力に従って、グリッド線で囲まれた小領域単位で、対象画像にアノテーションを付与することができる。なお、この小領域単位は、分類情報を生成する際に用いられた対象領域の単位とは同じであってもよく、異なっていてもよい。図４６に示す例では、手動でアノテーションを追加することで、アノテーションを付した画像が画像１００３から画像１００３ｂに変化している。このように、利用者は、手動付与設定を有効化してアノテーションを修正してもよく、この場合、より高い自由度でアノテーションを修正可能である。

また、利用者は、必要に応じてグリッド数を変更してもよく、例えば、図４７に示すように、設定１００２ａから設定１００２ｂに変更してもよい。即ち、制御装置１３０は、利用者の入力に従って、小領域のサイズを変更してもよい。図４７に示す例では、グリッド数を変更しながら手動でアノテーションを追加することで、アノテーションを付した画像が画像１００３ｂから画像１００３ｃに変化している。このように、利用者は、比較的少ないグリッド数の設定でアノテーションを付すことで効率良くアノテーションを付すことができる。また、反対に、比較的多いグリッド数の設定でアノテーションを付すことで、例えば、細胞の縁の部分など細かな領域指定が必要な場合にも対応可能であり、アノテーションを付すべき領域の形状に合わせて正確にアノテーションを付すことができる。従って、必要に応じてグリッド数を変更しながら手動でアノテーションを付すことで、効率良く適切なアノテーションを行うことができる。さらに、グリッド線が表示されることで、利用者は１回の選択によりどの範囲にアノテーションが付されるかを正確に把握することができる。

以上のように、本実施形態に係るシステムによっても、第２の実施形態に係るシステムと同様の効果を得ることができる。また、本実施形態に係るシステムによれば、利用者が選択した画像にアノテーションが自動的に付されるため、利用者のアノテーション作業の負担を大幅に軽減することができる。さらに、利用者が自動的に付されたアノテーションを確認して必要な箇所のみ修正することでアノテーションの信頼性を手動で行う場合と同程度の高い水準に保つことができる。このため、適切なアノテーションを効率良く行うことが可能となる。また、アノテーションを付す単位を利用者が自由に設定可能とすることで、アノテーション作業の効率と正確さをさらに高い水準で両立することができる。

上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述の実施形態を変形した変形形態および上述した実施形態に代替する代替形態が包含され得る。つまり、各実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形することが可能である。また、１つ以上の実施形態に開示されている複数の構成要素を適宜組み合わせることにより、新たな実施形態を実施することができる。また、各実施形態に示される構成要素からいくつかの構成要素を削除してもよく、または実施形態に示される構成要素にいくつかの構成要素を追加してもよい。さらに、各実施形態に示す処理手順は、矛盾しない限り順序を入れ替えて行われてもよい。即ち、本発明のアノテーションを支援するシステム、方法、及び、プログラムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。

上述した実施形態では、分類画像を時系列に並べて表示することで、対象画像に生じた変化を利用者が容易に把握可能とする例を示した。しかしながら、制御装置１３０は、分類画像を時系列に従って１枚ずつ順番に表示してもよい。また、制御装置１３０は、分類画像の時系列表示の代わりに又は加えて、図４８に示すように、クラスの面積比率の時間変化を示すグラフＧ１や、クラスの増加率の時間変化を示すグラスＧ２を表示装置１３４に表示させてもよい。このような表示によっても、利用者が対象画像に生じた変化を把握することを支援可能である。

また、上述した実施形態では、対象画像を取得する撮影装置１００がインキュベータ内で培養細胞を撮影する装置である例を示したが、撮影装置は特に限定しない。例えば、内視鏡、生物顕微鏡、工業用顕微鏡であってもよい。また、対象画像は培養細胞の画像に限られず、例えば、病理診断に用いられる画像であってもよく、工業製品などを撮影した画像であってもよい。また、撮影装置と制御装置はインターネットなどを介して接続されてもよい。また、図４９に示すように、アノテーションを支援するシステム３００は、複数の撮影装置３１０（撮影装置３１１、顕微鏡３１２、撮影装置３１３）を備えてもよく、インターネット３３０を経由して制御装置３２０に接続されてもよい。また、制御装置３２０は、インターネット経由でアクセスするクライアント端末３４０（クライアント端末３４１、クライアント端末３４２、クライアント端末３４３）の画面上に分類画像を配置してもよい。さらに、制御装置３２０は、分類情報を生成する分類部としてのみ機能し、クライアント端末が、分類画像を画面上に配置する制御部として機能してもよい。即ち、分類部と制御部は、システム内の任意の装置に設けられてもよく、これらの役割は異なる装置で分担してもよい。クライアント端末３４０から、利用者によるアノテーション入力を受け付けても良い。この場合、クライアント端末３４０は、受け付けたアノテーションに関する情報を制御装置３２０に送信すればよい。クライアント端末３４０または制御装置３２０に含まれるプロセッサは、互いの装置間でデータをやり取りする際に互いに適した形にデータを変換しても良い。この場合、利用者は場所に関わらずアノテーションを行うことが出来る。

１００、３１０、３１１、３１２、３１３ 撮影装置
１３０、３２０ 制御装置
１３１ プロセッサ
１３２ 記憶装置
１３２ａ プログラム
１３２ｂ 学習済みデータ
１３３ 入力装置
１３４ 表示装置
２００、３００ システム
Ｃ 容器
Ｓ 試料

Claims (18)

1. 画像のアノテーションを支援するシステムであって、
   アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を前記対象画像に表れる特徴に基づいて分類した分類情報を生成する分類部と、
   表示装置の画面上に、前記分類情報を可視化した分類画像を、前記対象画像と対比可能に配置する制御部と、を備え、
   前記制御部は、
   前記対象画像に前記分類画像を重畳し、
   前記分類画像の信頼性に基づいて、前記分類画像の透過率を決定する
   ことを特徴とするシステム。
2. 画像のアノテーションを支援するシステムであって、
   アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を前記対象画像に表れる特徴に基づいて分類した分類情報を生成する分類部と、
   表示装置の画面上に、前記分類情報を可視化した分類画像を、前記対象画像と対比可能に配置する制御部と、を備え、
   前記分類情報は、前記複数の対象領域の各々毎に、
   分類されたクラスを示すクラス情報と、
   前記クラスへの分類に対する確率的スコアを示すスコア情報と、を含み、
   前記制御部は、
   前記対象画像に前記分類画像を重畳し、
   前記分類画像を構成する複数の分類領域の透過率を、前記複数の対象領域のうちの対応する対象領域の前記スコア情報に基づいて決定する
   ことを特徴とするシステム。
3. 請求項１又は請求項２に記載のシステムにおいて、
   前記制御部は、所定の指示に応じて、前記対象画像に重畳する前記分類画像の透過率を変更する
   ことを特徴とするシステム。
4. 請求項１乃至請求項３のいずれか１項に記載のシステムにおいて、
   前記制御部は、前記表示装置の画面上に、前記分類部で生成された複数の分類情報を可視化した複数の分類画像であって、互いに異なる時刻に撮影した複数の対象画像に対応する複数の分類画像を、前記複数の対象画像の撮影時刻に基づいて、配置する
   ことを特徴とするシステム。
5. 請求項４に記載のシステムにおいて、
   前記制御部は、前記表示装置の画面上に配置する前記複数の分類画像を、前記分類部で生成された複数の分類情報の比較に基づいて選択する
   ことを特徴とするシステム。
6. 請求項４又は請求項５に記載のシステムにおいて、
   前記制御部は、
   前記複数の分類画像を対応する前記複数の対象画像に重畳し、
   前記複数の分類画像の透過率を、前記複数の分類画像に対応する複数の分類情報の比較に基づいて決定する
   ことを特徴とするシステム。
7. 請求項１乃至請求項６のいずれか１項に記載のシステムにおいて、
   前記分類情報は、分類されたクラスを示すクラス情報を含み、
   前記制御部は、所定の指示に応じて、前記分類画像において前記クラス情報に割り当てられる表示態様を変更する
   ことを特徴とするシステム。
8. 請求項１乃至請求項７のいずれか１項に記載のシステムにおいて、
   前記対象画像は、培養容器内で培養される細胞を撮影した画像であり、
   前記制御部は、
   前記表示装置の画面上に、前記培養容器を模した容器画像を配置し、
   前記容器画像上に、前記対象画像の前記培養容器上における撮影位置に基づいて、前記対象画像に対応する前記分類画像を配置する
   ことを特徴とするシステム。
9. 請求項８に記載のシステムにおいて、
   前記培養容器は、マルチウェルプレートであり、
   前記容器画像は、前記マルチウェルプレートに含まれる複数のウェルを模した複数のウェル画像を含み、
   前記制御部は、前記複数のウェル画像に対応する位置に、対応するウェル内の細胞を撮影した複数の対象画像に対応する複数の分類画像を配置する
   ことを特徴とするシステム。
10. 請求項１乃至請求項９のいずれか１項に記載のシステムにおいて、
    前記分類部は、オートエンコーダを構成するニューラルネットワークの全部又は一部を含む
    ことを特徴とするシステム。
11. 請求項１乃至請求項１０のいずれか１項に記載のシステムにおいて、
    前記制御部は、前記分類画像に基づいて、前記対象画像にアノテーションを付与する
    ことを特徴とするシステム。
12. 請求項１乃至請求項１１のいずれか１項に記載のシステムにおいて、
    前記制御部は、
    前記表示装置の画面上に配置した対象画像又は分類画像の少なくとも一方の上にグリッド線を配置し、
    利用者の入力に従って、前記グリッド線で囲まれた小領域単位で、前記対象画像にアノテーションを付与する
    ことを特徴とするシステム。
13. 請求項１２に記載のシステムにおいて、
    前記制御部は、前記利用者の入力に従って、前記小領域のサイズを変更する
    ことを特徴とするシステム。
14. 請求項２に記載のシステムにおいて、
    前記制御部は、クラスタの重心からの距離を前記確率的スコアとして生成する
    ことを特徴とするシステム。
15. 画像のアノテーションを支援する方法であって、
    アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を、前記対象画像に表れる特徴に基づいて分類した分類情報を生成し、
    表示装置の画面上に、前記分類情報を可視化した分類画像を、前記対象画像と対比可能に配置し、
    前記対比可能に配置することは、
    前記対象画像に前記分類画像を重畳することと、
    前記分類画像の信頼性に基づいて、前記分類画像の透過率を決定することを含む
    ことを特徴とする方法。
16. 画像のアノテーションを支援する方法であって、
    アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を、前記対象画像に表れる特徴に基づいて分類した分類情報を生成し、
    表示装置の画面上に、前記分類情報を可視化した分類画像を、前記対象画像と対比可能に配置し、
    前記分類情報は、前記複数の対象領域の各々毎に、
    分類されたクラスを示すクラス情報と、
    前記クラスへの分類に対する確率的スコアを示すスコア情報と、を含み、
    前記対比可能に配置することは、
    前記対象画像に前記分類画像を重畳することと、
    前記分類画像を構成する複数の分類領域の透過率を、前記複数の対象領域のうちの対応する対象領域の前記スコア情報に基づいて決定することと、を含む
    ことを特徴とする方法。
17. 画像のアノテーションを支援するプログラムであって、
    アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を、前記対象画像に表れる特徴に基づいて分類した分類情報を生成し、
    表示装置の画面上に、前記分類情報を可視化した分類画像を、前記対象画像と対比可能に配置し、
    前記対比可能に配置することは、
    前記対象画像に前記分類画像を重畳することと、
    前記分類画像の信頼性に基づいて、前記分類画像の透過率を決定することを含む、
    処理をコンピュータに実行させることを特徴とするプログラム。
18. 画像のアノテーションを支援するプログラムであって、
    アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を、前記対象画像に表れる特徴に基づいて分類した分類情報を生成し、
    表示装置の画面上に、前記分類情報を可視化した分類画像を、前記対象画像と対比可能に配置し、
    前記分類情報は、前記複数の対象領域の各々毎に、
    分類されたクラスを示すクラス情報と、
    前記クラスへの分類に対する確率的スコアを示すスコア情報と、を含み、
    前記対比可能に配置することは、
    前記対象画像に前記分類画像を重畳することと、
    前記分類画像を構成する複数の分類領域の透過率を、前記複数の対象領域のうちの対応する対象領域の前記スコア情報に基づいて決定することと、を含む
    処理をコンピュータに実行させることを特徴とするプログラム。

Images