JP7044884B2 - データ作成支援装置、データ作成支援方法およびデータ作成支援プログラム - Google Patents

Description

本発明は、データ作成支援装置、データ作成支援方法およびデータ作成支援プログラムに関するものである。

バーチャルスライド画像に作業者が付加したアノテーションを表示する画像処理装置が知られている（例えば、特許文献１参照。）。
画像内における対象物の位置や状態を示す正解データを、人手を使って作成または修正するアノテーション作業は、対象物のサイズおよび特徴により画像を拡大または縮小しながら行われる。

特許第６０９１１３７号公報

しかしながら、画像を拡大または縮小しながらアノテーション作業を行う場合に、アノテーションを付加すべき対象物を見落としてしまうという不都合がある。
本発明は、細胞を含む画像のアノテーション作業の漏れを低減し、一定の品質で実施することを可能にするデータ作成支援装置、データ作成支援方法およびデータ作成支援プログラムを提供することを目的としている。

本発明の一態様は、細胞を含む画像に、前記細胞毎にアノテーションを付加するデータ作成作業を支援する装置であって、前記画像を含む画像データを取得する画像データ取得部と、取得された前記画像データから前記細胞の密度に関する情報を抽出する細胞情報抽出部と、抽出された前記細胞の密度に関する情報に基づいて分割領域の大きさを決定し、前記画像を前記分割領域に分割する画像分割部と、分割された前記分割領域毎に一画面に表示する表示部とを備えるデータ作成支援装置である。

本態様によれば、画像データ取得部により画像データが取得されると、細胞情報抽出部により画像データから細胞の密度に関する情報が抽出され、抽出された細胞の密度に関する情報に基づいて分割領域の大きさが決定される。細胞が大きいほど細胞の密度が小さくなり、分割領域の大きさが大きくても作業者が細胞を視認することができる一方、細胞が小さいほど細胞の密度が高くなり、分割領域の大きさを小さくして表示倍率を高くしなければ作業者による細胞の視認が困難となる。そこで、細胞の密度に関する情報に基づいて分割領域の大きさを決定することにより、作業者が視認し易い大きさで細胞を表示することができ、細胞毎にアノテーションを付加するデータ作成作業において、画像の拡大および縮小を頻繁に行わずに済む。これにより、アノテーション作業の漏れを低減し、一定の品質で実施することができる。

上記態様においては、前記細胞の密度に関する情報が、前記細胞の密度と、前記細胞の大きさおよび前記細胞の種類のうち少なくとも１つとを含んでいてもよい。
この構成により、細胞の密度に加え、細胞の大きさおよび細胞の種類のうち少なくとも１つにより、作業者が視認し易い大きさの分割領域に分割して、アノテーション作業の漏れを低減し、一定の品質で実施することが可能となる。

また、上記態様においては、前記データ作成作業の作業履歴を記録する記録部を備え、前記画像分割部は、現在のデータ作成作業が前記記録部に記録された過去の作業履歴に類似する場合に、類似する前記過去の作業履歴において用いられた前記分割領域の大きさを用いて前記画像を分割してもよい。
この構成により、過去の類似する作業履歴において用いられた分割領域の大きさを用いて画像が分割される。

また、上記態様においては、前記データ作成作業を行う作業者の識別情報を入力する入力部を備え、前記作業履歴が前記識別情報を含み、前記画像分割部が、前記識別情報を含む前記過去の作業履歴において用いられた前記分割領域の大きさを用いて前記画像を分割してもよい。
この構成により、同一作業者の過去の作業履歴において用いられた分割領域の大きさを用いて画像が分割して表示される。作業者毎に作業し易い分割領域の大きさが異なる場合に、同一作業者の過去の作業における分割領域の大きさで画像を分割して表示することにより、作業性を向上することができる。

また、上記態様においては、前記作業履歴が、前記細胞の密度に関する情報を含み、前記画像分割部が、前記細胞情報抽出部により抽出された前記細胞の密度に関する情報と同一の情報を含む前記過去の作業履歴において用いられた前記分割領域の大きさを用いて前記画像を分割してもよい。
この構成により、細胞情報抽出部により細胞の密度に関する情報が抽出されると、記録部に記録されている過去の作業履歴から同一の情報を含む過去の作業履歴が検索され、当該過去の作業履歴において用いられた分割領域の大きさを用いて画像が分割される。

また、上記態様においては、前記表示部が、予め定められた順序に従って、前記分割領域を順次表示してもよい。
この構成により、複数の分割領域に分割された画像に対するアノテーション作業において、進捗度合いを把握し易く、あとどのくらいの作業時間が必要であるかを把握することができる。

また、上記態様においては、前記表示部が、前記分割領域を表示する際に、既に前記データ作成作業が行われた隣接する他の前記分割領域の少なくとも隣接領域を含む領域を表示してもよい。
この構成により、隣接する分割領域に跨って配置されている細胞に対するアノテーション作業の見落としを抑制することができる。

本発明の他の態様は、細胞を含む画像に、前記細胞毎にアノテーションを付加するデータ作成作業を支援するデータ作成支援方法であって、前記画像を含む画像データを取得し、取得された該画像データから前記細胞の密度に関する情報を抽出し、抽出された該細胞の密度に関する情報に基づいて分割領域の大きさを決定し、前記画像を前記分割領域に分割し、分割された前記分割領域毎に一画面に表示するデータ作成支援方法である。

本発明の他の態様は、細胞を含む画像に、前記細胞毎にアノテーションを付加するデータ作成作業を支援するデータ作成支援プログラムであって、前記画像を含む画像データを取得するステップと、取得された前記画像データから前記細胞の密度に関する情報を抽出するステップと、抽出された前記細胞の密度に関する情報に基づいて分割領域の大きさを決定するステップと、前記画像を前記分割領域に分割するステップと、分割された前記分割領域毎に一画面に表示するステップとをコンピュータに実行させるデータ作成支援プログラムである。

本発明によれば、細胞を含む画像のアノテーション作業の漏れを低減し、一定の品質で実施することができるという効果を奏する。

本発明の一実施形態に係るデータ作成支援装置を示すブロック図である。 図１のデータ作成支援装置による画像の分割領域の一例を示す図である。 アノテーションの一例を示す画像例である。 アノテーションの一例を示す画像例である。 アノテーションの一例を示す画像例である。 アノテーションの一例を示す画像例である。 アノテーションの一例を示す画像例である。 アノテーションの一例を示す画像例である。 図１のデータ作成支援装置を用いたデータ作成支援方法を示すフローチャートである。 図１のデータ作成支援装置の変形例を示すブロック図である。 図１のデータ作成支援装置の他の変形例による分割領域の表示順序を示す図である。 図１のデータ作成支援装置の他の変形例による分割領域の表示例を示す図である。

本発明の一実施形態に係るデータ作成支援装置１およびデータ作成支援方法について図面を参照して以下に説明する。
本実施形態に係るデータ作成支援装置１は、細胞Ｘを含む画像Ｇに、細胞Ｘ毎にアノテーションを付加するデータ作成作業（以下、アノテーション作業とも言う。）を支援する装置である。

本実施形態に係るデータ作成支援装置１は、図１に示されるように、顕微鏡装置１００によって取得された画像Ｇを処理する画像処理装置２と、処理された画像Ｇを表示する表示部３と、作業者がアノテーション等を入力するデータ入力部（入力部）４とを備えている。

画像処理装置２は、顕微鏡装置１００によって取得された画像Ｇを含む画像データを取得するデータ取得部（画像データ取得部）５と、取得された画像データから細胞Ｘの密度に関する情報を抽出する細胞情報抽出部６と、抽出された細胞Ｘの密度に関する情報に基づいて分割領域Ａの大きさを決定し、画像Ｇを１以上の分割領域Ａに分割する画像分割部７と、分割されたいずれかの分割領域Ａを表示部３に表示させる表示制御部８とを備えている。細胞Ｘの密度に関する情報は、細胞Ｘの大きさ、細胞Ｘの密度または細胞Ｘの種類の少なくとも１つを含んでいる。また、細胞Ｘの密度に関する情報としては、細胞Ｘの密度に加えて、細胞Ｘの大きさおよび細胞Ｘの種類の少なくとも１つが含まれていることが好ましい。また、細胞Ｘの密度としては、細胞Ｘのない背景を反転した部分に細胞Ｘがあると判定し、それに基づいて、細胞Ｘの密度に関する情報としてもよい。

データ取得部５は、顕微鏡装置１００から、顕微鏡装置１００によって取得された画像Ｇとともにメタデータを取得する。メタデータは、細胞Ｘの種類、顕微鏡装置１００の倍率などの情報を含んでいる。
細胞情報抽出部６は、標準的な細胞サイズのデータを予めテーブルとして備えており、メタデータに含まれている細胞Ｘの種類および顕微鏡装置１００の倍率に基づいて算出された細胞サイズに最も近い細胞サイズをテーブルから読み出して、画像サイズ中の細胞サイズを推定する。これにより、画像Ｇ中の何ピクセルによって細胞サイズが表されるのかを演算する。

画像分割部７は、細胞情報抽出部６により算出された細胞サイズに基づいて、最小で細胞Ｘ１つのサイズから数十個分の幅を内包する分割領域Ａの大きさを決定し、決定された大きさの分割領域Ａに画像Ｇを分割する。分割領域Ａの大きさは、例えば、表示部３に１つの分割領域Ａが拡大された状態で表示されたときに、表示を拡大あるいは縮小することなく細胞Ｘの状態を把握でき、かつ、アノテーションを付することができる大きさである。

例えば、長径と短径との差が小さい細胞Ｘにおいては、１つの分割領域Ａに細胞Ｘが１０～５０個並ぶ大きさが好ましい。例えば、長径と短径との差が大きい細胞Ｘにおいては、１つの分割領域Ａに細胞Ｘが、短径で１０～５０個、長径で５～２５個並ぶ大きさが好ましい。

図２に示されるように、これらの大きさを内包する分割領域Ａによって、画像Ｇの縦横を等分することにより画像Ｇの分割数が決定される。
細胞Ｘの密度が高い場合には、上記範囲の内、細胞Ｘの個数が少ない側の値に分割領域Ａの大きさを決定することにより、１つの分割領域Ａ内におけるアノテーションの作業個数を減らしてもよい。

表示制御部８は、画像分割部７により分割された１つ分の分割領域Ａを拡大して表示部３に表示する。
データ入力部４は、表示された分割領域Ａの画像Ｇに対し、作業者がアノテーションを入力する。表示制御部８は入力されたアノテーションを分割領域Ａに重畳して表示する。

アノテーションとしては、図３に示されるように、作業者が細胞Ｘの中心と考える点に付する十字の位置マーカ、図４に示されるように、作業者が細胞Ｘと背景との境界と考える輪郭に付する閉じた線の輪郭マーカ、図５に示されるように、作業者が細胞Ｘの中心と考える点に細胞種に応じて付する十字あるいは×字の位置マーカ、図６に示されるように、作業者がコロニーＹの領域と考える面を塗りつぶす領域マーカ、図７に示されるように、作業者が細胞Ｘの仮足が延びていると考える形状に開いた線を付する経路マーカ、あるいは、図８に示されるように、作業者が細胞Ｘの中心と細胞Ｘの主要部の大きさを表す円とを付するマーカを挙げることができる。

このように構成された本実施形態に係るデータ作成支援装置１を用いたデータ作成支援方法について、以下に説明する。
本実施形態に係るデータ作成支援方法は、図９に示されるように、顕微鏡装置１００によって画像Ｇが取得され、取得された画像Ｇとともにメタデータが画像処理装置２のデータ取得部５に入力される。

そして、入力された画像Ｇおよびメタデータを含む画像データがデータ入力部４によって取得され（ステップＳ１）、細胞情報抽出部６が、取得された画像データに基づいて算出された細胞サイズに最も近い細胞サイズを読みだして画像サイズ中の細胞サイズを推定し、細胞Ｘの密度に関する情報を抽出する（ステップＳ２）。

次に、抽出された細胞Ｘの密度に関する情報、例えば、細胞情報抽出部６により算出された細胞サイズに基づいて、画像分割部７によって分割領域Ａの大きさを決定し（ステップＳ３）、決定された大きさの分割領域Ａに画像Ｇを分割する（ステップＳ４）。
そして、表示制御部８が、分割された１つ分の分割領域Ａを拡大して表示部３に表示するように制御する。これにより、１つ分の分割領域Ａが分割領域Ａ毎に表示部３に表示される（ステップＳ５）。

本実施形態に係るデータ作成支援装置１およびデータ作成支援方法によれば、細胞サイズに基づいて画像Ｇが１以上の分割領域Ａに分割され、各分割領域Ａは、表示を拡大あるいは縮小することなく細胞Ｘの状態を把握でき、かつ、アノテーションを付することができる大きさに設定されるので、アノテーション作業を行いながら画像Ｇを拡大あるいは縮小する必要がなく、細胞Ｘを含む画像Ｇのアノテーション作業の漏れを低減し、一定の品質で実施することができるという利点を有する。

本実施形態においては、顕微鏡装置１００から画像Ｇとともに送られてくるメタデータに基づいて、分割領域Ａの大きさを決定したが、これに代えて、顕微鏡装置１００から送られてきた画像Ｇを画像処理することによって細胞領域を抽出し、抽出された細胞領域から平均的な細胞サイズを算出し、算出された細胞サイズに基づいて分割領域Ａの大きさを決定することにしてもよい。

また、本実施形態においては、図１０に示されるように、データ取得部５により取得され、アノテーションが入力された過去の画像Ｇ、あるいはアノテーションを入力途中の画像Ｇを含む作業履歴を記録する記録部９が備えられていてもよい。
記録部９には、作業者の識別情報、画像Ｇに付随するメタデータ（細胞種、容器、ロット、継代数、画像倍率、実視野サイズなど）、画像Ｇの分割数、細胞サイズの計測値などが分割前画像および分割後画像と対応付けて記録される。また、入力途中の作業履歴としては、どの画像Ｇの何番目までの分割領域Ａまでのアノテーション作業が完了しているかなどの情報が記録されてもよい。

作業者がデータ入力部４から識別情報を入力すると、記録部９内に同じ識別情報に対応づけて記録されている作業途中の作業履歴が読み出されて、続きからアノテーション作業を実施させることにしてもよい。
また、新たな画像Ｇが取得された場合に、細胞種、細胞サイズ等において類似する過去の作業履歴が存在するか否かが検索され、存在する場合には、画像分割部７が、類似する過去の作業履歴において用いられた分割領域Ａの大きさを用いて画像Ｇを分割してもよい。

また、作業者がデータ入力部４から識別情報を入力すると、画像分割部７が、記録部９内に同じ識別情報に対応づけて記録されている過去の作業履歴において用いられた分割領域Ａの大きさを用いて画像Ｇを分割してもよい。
続きのアノテーション作業を実施する場合あるいは、新たな画像Ｇについてアノテーション作業を実施する場合などに、過去に行われた類似の細胞Ｘのアノテーション作業における分割領域Ａの大きさなどの分割のパラメータを利用することにより、アノテーション作業を早期に開始することができるという利点がある。

また、複数種の細胞Ｘが混在する場合においては、小さな細胞Ｘに合わせた小分割領域、あるいは大きな細胞Ｘに合わせた大分割領域、あるいは中間の大きさの中分割領域により、画像Ｇを分割することにしてもよい。あるいは、これらを順次切り替えることにしてもよい。

また、画像Ｇを分割して形成された全ての分割領域Ａについて、アノテーション作業の漏れを低減して実行するために、表示制御部８が、予め定められた順序で、分割領域Ａを順次表示することにしてもよい。例えば、図１１に矢印で示されるように、画像Ｇの左上から順に作業を実施するように、同じ順序で分割領域Ａを表示すればよい。
このように順番に表示していくことにより、全体画像表示においてアノテーション作業の進捗度合いを把握しやすいという利点がある。

また、このように左上から順に表示してアノテーション作業を実施することにより、新たにアノテーション作業を実施する分割領域Ｄは、図１２に示されるように、分割領域Ｄの左側および上側において作業済みの分割領域Ｂ，Ｃと隣接する。２つの分割領域Ｂ，Ｃの境界に跨る細胞Ｘについては、アノテーションが付される場合と付されない場合があるため、新たな分割領域Ｄについてアノテーション作業を実施する際に修正が必要となる場合がある。

この場合に、左上から順番に表示していくことにより、修正が必要となる領域は左側と上側の分割領域Ｂ，Ｃのみに存在するので、全周にわたって見直す必要がなく、漏れを低減して効率的にアノテーション作業を実行することができるという利点がある。ランダムに分割領域Ａを選択する場合には、新たな分割領域Ｄに隣接する作業済みの分割領域Ｂ，Ｃの方向は分割領域Ａ毎に異なるため、修正作業の見落としが発生する場合があるが、順番に表示していくことによりそのような不都合の発生を低減することができる。

また、複数の細胞種が混在し、大分割領域と小分割領域とが混在する場合においては、大分割領域を等分して小分割領域を生成し、小分割領域を順番に表示していくことにより、見落としを抑制することができる。

また、表示制御部８が、アノテーション作業を行う分割領域Ｄを表示する際に、図１２に示されるように、当該分割領域Ａに隣接する作業済みの他の分割領域Ｂ，Ｃの一部である隣接領域を含めて表示することにしてもよい。これにより、隣接する分割領域Ｂ，Ｃに跨って配置されている細胞Ｘに対するアノテーション作業の見落としを抑制することができる。

図中、ハッチングを付した細胞Ｘが、隣接する分割領域Ｂ，Ｃ，Ｄに跨って配置されている細胞Ｘであり、作業済みの分割領域Ｂ，Ｃに対するアノテーション作業においては、アノテーションが付されないままとなっていた。隣接領域を含めて表示することにより、新たな分割領域Ｄに対するアノテーション作業において、これらのハッチングを付した細胞Ｘについて漏れを低減してアノテーションを付したり、修正したりする作業を実施することができる。

また、本実施形態においては、データ作成支援方法をハードウェアによって実現する構成について説明したが、コンピュータにより実行可能なデータ作成支援プログラムによって実現することとしてもよい。この場合、コンピュータは、ＣＰＵ、ＲＡＭ等の主記録装置、およびコンピュータ読み取り可能な記録媒体を備え、該記録媒体に上述した処理を実現させるためのデータ作成支援プログラムが記録される。そして、ＣＰＵが記録媒体に記録されているデータ作成支援プログラムを読み出して、データ作成支援装置１と同様の処理を実現することができる。

１ データ作成支援装置
３ 表示部
４ データ入力部（入力部）
５ データ取得部（画像データ取得部）
６ 細胞情報抽出部
７ 画像分割部
９ 記録部
Ａ，Ｂ，Ｃ，Ｄ 分割領域
Ｇ 画像
Ｘ 細胞

Claims (15)

1. 細胞を含む画像に、前記細胞毎にアノテーションを付加するデータ作成作業を支援する装置であって、
   前記画像を含む画像データを取得する画像データ取得部と、
   取得された前記画像データから前記細胞の密度に関する情報を抽出する細胞情報抽出部と、
   抽出された前記細胞の密度に関する情報に基づいて分割領域の大きさを決定し、前記画像を前記分割領域に分割する画像分割部と、
   分割された前記分割領域毎に表示する表示部とを備えるデータ作成支援装置。
2. 前記細胞の密度に関する情報が、前記細胞の密度、前記細胞の大きさ、および、前記細胞の種類のうちの少なくとも１つを含む請求項１に記載のデータ作成支援装置。
3. 前記細胞情報抽出部は、前記画像を画像処理するによって前記細胞の密度に関する情報を抽出する請求項１に記載のデータ作成支援装置。
4. 前記画像データには、メタデータがさらに含まれ、
   前記細胞情報抽出部は、前記メタデータと過去のデータとを比較することによって前記細胞の密度に関する情報を抽出する請求項１に記載のデータ作成支援装置。
5. 前記データ作成作業の作業履歴を記録する記録部を備え、
   前記画像分割部は、現在のデータ作成作業が前記記録部に記録された過去の作業履歴に類似する場合に、類似する前記過去の作業履歴において用いられた前記分割領域の大きさを用いて前記画像を分割する請求項１に記載のデータ作成支援装置。
6. 前記データ作成作業を行う作業者の識別情報を入力する入力部を備え、
   前記作業履歴が前記識別情報を含み、
   前記画像分割部が、前記識別情報を含む前記過去の作業履歴において用いられた前記分割領域の大きさを用いて前記画像を分割する請求項５に記載のデータ作成支援装置。
7. 前記作業履歴が、前記細胞の密度に関する情報を含み、
   前記画像分割部が、前記細胞情報抽出部により抽出された前記細胞の密度に関する情報と同一の情報を含む前記過去の作業履歴において用いられた前記分割領域の大きさを用いて前記画像を分割する請求項５に記載のデータ作成支援装置。
8. 前記表示部が、予め定められた順序に従って、前記分割領域を順次表示する請求項１に記載のデータ作成支援装置。
9. 前記表示部が、前記分割領域を表示する際に、既に前記データ作成作業が行われた隣接する他の前記分割領域の少なくとも隣接領域を含む領域を表示する請求項８に記載のデータ作成支援装置。
10. 前記表示部が、前記付加されたアノテーションを前記分割領域に重畳して表示する請求項１に記載のデータ作成支援装置。
11. 前記画像分割部は、前記分割領域の大きさを切り替え可能である請求項１に記載のデータ作成支援装置。
12. 前記表示部が、前記データ作成作業が実施された分割領域と、前記データ作成作業が実施されていない分割領域とを識別可能に表示する請求項１に記載のデータ作成支援装置。
13. 細胞を含む画像に、前記細胞毎にアノテーションを付加するデータ作成作業を支援するデータ作成支援方法であって、
    前記画像を含む画像データを取得し、
    取得された該画像データから前記細胞の密度に関する情報を抽出し、
    抽出された該細胞の密度に関する情報に基づいて分割領域の大きさを決定し、
    前記画像を前記分割領域に分割し、
    分割された前記分割領域毎に表示するデータ作成支援方法。
14. 細胞を含む画像に、前記細胞毎にアノテーションを付加するデータ作成作業を支援するデータ作成支援プログラムであって、
    前記画像を含む画像データを取得するステップと、
    取得された前記画像データから前記細胞の密度に関する情報を抽出するステップと、
    抽出された前記細胞の密度に関する情報に基づいて分割領域の大きさを決定するステップと、
    前記画像を前記分割領域に分割するステップと、
    分割された前記分割領域毎に表示するステップとをコンピュータに実行させるデータ作成支援プログラム。
15. 細胞を含む画像に、前記細胞毎にアノテーションを付加するデータ作成作業を支援する装置であって、
    前記画像を含む画像データを取得する画像データ取得部と、
    取得された前記画像データから前記細胞に関する情報を抽出する細胞情報抽出部と、
    抽出された前記細胞に関する情報に基づいて分割領域の大きさを決定し、前記画像を前記分割領域に分割する画像分割部と、
    分割された前記分割領域毎に表示する表示部と、を備えるデータ作成支援装置。
    

Images