JP7241598B2

JP7241598B2 - 画像処理方法、画像処理装置及び画像処理システム

Info

Publication number: JP7241598B2
Application number: JP2019085082A
Authority: JP
Inventors: アニールバンレイ; 英春服部; 容弓柿下; 卓坂詰
Original assignee: Hitachi High Tech Corp
Current assignee: Hitachi High Tech Corp
Priority date: 2019-04-26
Filing date: 2019-04-26
Publication date: 2023-03-17
Anticipated expiration: 2039-04-26
Also published as: JP2020181441A; EP3961562B1; CN113728357A; WO2020217643A1; US20230177699A1; CN113728357B; EP3961562A4; EP3961562A1

Description

本発明は、画像処理方法、画像処理装置、及び画像処理システムに関する。

近年、ＩＴ化の進展に伴い、社会に多数のセンサーが配置され、極めて大量のデータが蓄積されている。そうした中、集積された画像データを活用する様々な方策が検討されている。特に、写真、動画、画像等の映像コンテンツが増える中、その映像におけるオブジェクトを自在に特定し、特定したオブジェクトに関する定量的な情報を抽出するニーズが高まっている。

従来では、画像内のオブジェクトの定量的分析の手段の一つとして、均質性の高い、オブジェクトの集合に対して、集合内のオブジェクト数を計数する手段が知られている。

例えば、米国特許明細書５６７１２９０（特許文献１）には、「均質性の高い、オブジェクトの集合を少なくとも一つ含む画像に対して、集合の輪郭上の各点から集合の質量中心までの距離に基づいて、集合内に含まれるオブジェクトの数を計数する、または、均質性の高いオブジェクトの少なくとも一つの集合と、少なくとも一つの孤立したオブジェクトを含む画像に対して、孤立したオブジェクトの大きさに基づいてオブジェクトの集合に含まれるオブジェクトの数を推定する」技術が記載されている。

米国特許明細書５６７１２９０

画像中のオブジェクトを定量的に分析するためには、オブジェクトを正確に識別することが重要である。例えば、対象のオブジェクトに類似しているオブジェクトが画像の背景に含まれる場合、対象のオブジェクト（前景）と背景を区別し、前景となっている対象のオブジェクトをクラス毎に分類し、対象のオブジェクトのクラス毎の数や割合等を定量的に分析することが望ましいが、上記の特許文献のいずれにも、対象のオブジェクトの正確なクラス分類を可能にする手段は記載されていない。

そこで、本発明は、画像内の互いに接触している複数のオブジェクトを分離することによって、当該オブジェクトを正確に識別し、識別したオブジェクトに対する定量的な分析を可能にする手段を提供することを目的とする。ここで、「互いに接触している」との表現は、複数のオブジェクトの一部が接触したり、部分的に重なったり、同一の空間を占領することを意味する。

上記の課題を解決するために、代表的な本発明の画像処理装置の一つは、
画像を入力する入力部と、画像の前景と背景を分割する領域分割部と、画像内の接触している複数のオブジェクトを分離する接触分離部と、各オブジェクトをクラス毎に分類する分類部と、オブジェクトに関する定量情報を生成する定量情報算出部とを含む。

本発明によれば、画像内の互いに接触している複数のオブジェクトを分離することによって、当該オブジェクトを正確に識別し、識別したオブジェクトに対する定量的分析を可能にする手段を提供することができる。

本発明の実施例１に係る画像処理装置の機能的構成を示すブロック図である。本発明の実施例１に係る画像処理装置のハードウェア構成の一例を示すブロック図である。本発明に係る中間出力のデータを示す図である。本発明の実施例１に係る領域分割部による動作の一例を示す図である。本発明の実施例１に係る接触分離部による動作の一例を示す図である。ボーダーオブジェクトの一例を示す図である。ボーダーオブジェクトを分離した状態を示す図である。非ボーダーオブジェクトの一例を示す図である。非ボーダーオブジェクトを分離した状態を示す図である。本発明の実施例１に係る接触分離処理を示すフローチャートである。本発明の実施例１に係る、互いに接触しているボーダーオブジェクトを分離する処理の一例を示す図である。本発明の実施例１に係る、分類処理を示すフローチャートである。本発明の実施例１に係る、互いに接触している非ボーダーオブジェクトの一例を示す図である。図１３に示す、互いに接触している非ボーダーオブジェクトの拡大した状態を示す図である。第１のオブジェクト及び第２のオブジェクトに対して距離変換処理を施した後の状態を示す図である。第１のオブジェクトと第２のオブジェクトの境界線の中心点となる対象画素Ｐを特定する処理を説明するための図である。境界基準画素を特定する処理を説明するための図である。第１のオブジェクトと第２のオブジェクトを分離した状態を示す図である。本発明の実施例１に係る分類処理を示すフローチャートである。本発明の実施例１に係る分類部による動作の一例を示す図である。本発明の実施例１に係る定量的分析の処理の一例を示す図である。本発明の実施例２に係る画像処理装置の機能的構成を示すブロック図である。本発明の実施例２に係る画像処理装置のハードウェア構成の一例を示すブロック図である。本発明の実施例２に係る領域修正処理の一例を示す図である。図２４に示す、誤背景領域を含む画像を本発明の実施例２に係る領域修正部によって修正した画像の一例を示す図である。本発明の実施例２に係る領域修正処理の一例を示すフローチャートである。本発明の実施例２に係る領域修正処理の一例を示すフローチャートである。本発明の実施例３に係る画像処理システムの一例を示す図である。本発明の実施例３に係る画像処理システムの一例を示す図である。

以下、図面を参照して、本発明の実施形態について説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
（本発明の概要）

分析用の画像には、分析の対象となるオブジェクトが分析に不要なオブジェクトと共に写っている場合がある。しかし、対象のオブジェクトに関する定量的情報を精度良く算出するためには、対象のオブジェクトと不要なオブジェクトを分ける必要がある。対象のオブジェクトとそうでないオブジェクトを分けることは、手動では簡単にできるが、数千、数百万枚以上の画像を短時間で処理する必要がある場合には、このプロセスを自動化することが望ましい。このため、画像内の対象のオブジェクトを自動的に検出し、不要なオブジェクトを排除する必要がある。
そこで、以下に説明する本発明の実施形態によれば、画像に前景として現れているオブジェクトを正確に検出し、互いに接触している複数のオブジェクトを独立したオブジェクトに分離し、分離したオブジェクトをクラスカテゴリ毎に分類した後、正確な定量分析を行うことができる。

なお、本発明は特に、円形や球形等の、２次元又は３次元空間において連続した曲面から形成されるオブジェクトの識別・分離・分析に効果的である。ここでの「円形」や「球形」とは、幾何学的に正確な「円形」や「球形」の形状である物体に限定されず、楕円、卵形、及びその断面も含む。更に、本発明は円形や球形等のものに限定されるものではなく、閉鎖空間を構成するオブジェクトであれば、本発明で説明する処理が有効である。
なお、以下の図面では、説明の便宜上、二次元のオブジェクトを示しているが、本発明はそれに限定されない。

次に、本発明に係る処理の概要について説明する。
まず、対象となるオブジェクト及び不要なオブジェクトを含む画像は、領域分割部（ＳｅｇｍｅｎｔａｔｉｏｎＵｎｉｔ）と、接触分離部（ＳｅｐａｒａｔｉｏｎＵｎｉｔ）と、分類部（ＣｌａｓｓｉｆｉｃａｔｉｏｎＵｎｉｔ）と、定量情報算出部（ＱｕａｎｔｉｔａｔｉｖｅＣａｌｃｕｌａｔｉｏｎＵｎｉｔ）とを含む画像処理装置に入力される。領域分割部は、入力された画像を、対象となるオブジェクトを含む前景の部分と、不要なオブジェクトを含む背景の部分とに分割する。次に、接触分離部は、前景において互いに接触している複数のオブジェクトを後述する処理によって分離する。次に、分類部は、分離されたオブジェクトをクラス毎に分類する。次に、定量情報算出部は、分類されたオブジェクトに対する定量的分析を施すことにより、分類されたオブジェクトに関する定量情報を生成し、提供する。

また、画像の前景と背景を分割する際に、色やテクスチャが背景に類似しているため、背景と判断されてしまう前景領域（誤背景領域）が発生する場合がある。誤背景領域が画像に存在する場合には、正確な画像分析結果を得られない恐れがあるため、本発明の第二の実施形態においては、画像中に発生する誤背景領域を特定し、修正することで、より正確な定量的分析結果を提供する装置および方法について説明する。

まず、図１を参照して、本発明の実施例１に係る画像処理装置１の機能的構成について説明する。

図１は、本発明の実施例１に係る画像処理装置１の機能的構成を示すブロック図である。

図１に示されるように、画像処理装置１は、入力部１０と、領域分割部１１と、接触分離部１２と、分類部１５と、定量情報算出部１６と、ストレージ部９０と、制御部９１とを含む。また、接触分離部１２は、ボーダーオブジェクト分離部１３と、非ボーダーオブジェクト分離部１４とを更に含む。画像処理装置１を構成する機能部は、例えばソフトウエアモジュールとして実現されてもよく、独立した専用ハードウェアとして実現されてもよい。

入力部１０は、分析用の画像（以下、元画像や入力画像ともいう）の入力を受け付ける機能部である。この画像は、画像処理装置１に直接に接続されている撮像装置（例示せず）によって取得される画像であってもよく、インターネット等の情報通信ネットワークを介して取得される画像であってもよい。また、入力される画像は静止画であってもよく、動画中の任意のフレームを抽出した画像であってもよい。画像が静止画の場合、入力部１０は、例えばＪＰＥＧ、ＪＰＥＧ２０００、ＰＮＧ、ＢＭＰ等、任意のデータフォーマットの静止画を受け付けることができる。また、動画の場合には、入力部１０は、例えば、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ等、任意のデータフォーマットの動画を受け付けることができる。

領域分割部１１は、入力された画像の前景と背景を分割する機能部である。ここでは、「前景」とは、画像において、対象のオブジェクトが占める領域を意味し、「背景」とは、それ以外の領域を意味する。領域分割部１１は、例えば背景差分、メディアンフィルター、二値化処理、畳み込みニューラルネットワーク等、任意の手段を用いて、対象のオブジェクトを含む前景と、不要のオブジェクトを含む背景とを分割した画像を出力する。
ここでの「分割」とは、画像の背景と前景とを区別することを意味する。具体的には、領域分割部は、背景に属する画素（以下、背景画素）と、前景に属する画素（以下前景画素）に対して、当該画素が背景画素であるか、前景画素であるかを示すメタデータをラベルとして付けることで、画像の背景と前景を区別してもよい。

接触分離部１２は、領域分割部１１が出力した画像において単一のオブジェクトとして識別された複数のオブジェクト（例えば、本来２つであるオブジェクトであるが、互いに接触しているため、1つのオブジェクトとして認識されているオブジェクト）を分離する機能部である。接触分離部１２を用いることで、複数の接触しているオブジェクトを個々の独立したオブジェクトに切り離すことができ、画像中のオブジェクトに対する定量的分析を円滑に行うことができる。
また、画像において、オブジェクトの一部が画像外に存在する「ボーダーオブジェクト」と、オブジェクト全体が画像内に存在する「非ボーダーオブジェクト」が存在する場合がある。
図６にボーダーオブジェクトの一例、図８に非ボーダーオブジェクトの一例を示す。図６のボーダーオブジェクトＢ２００１に示すように、オブジェクトの一部が画像外に存在し、かつ、互いに接触している複数のオフジェクトを、本開示ではボーダーオブジェクトと呼ぶ。また、図８の非ボーダーオブジェクトＮＢ２００１に示すように、オブジェクト全体が画像内に存在し、かつ、互いに接触している複数のオフジェクトを、本開示では非ボーダーオブジェクトと呼ぶ。
オブジェクトがボーダーオブジェクトであるか、非ボーダーオブジェクトであるかによって、当該オブジェクトを分離する手段が異なる。そのため、図１に示すように、接触分離部１２は、ボーダーオブジェクトを分離するためのボーダーオブジェクト分離部１３と、非ボーダーオブジェクトを分離するための非ボーダーオブジェクト分離部１４とを含む。これらの機能部の処理については後述する。

分類部１５は、前景に属するオブジェクトをクラス毎に分類するための機能部である。分類部１５は、例えば、フィッシャーの線形判別分析、ロジスティック回帰、線形サポートベクターマシン等の線形分類器、二次分類器、ｋ近傍法、ニューラルネットワーク、ベイジアンネットワーク等の非線形の手段を用いてオブジェクトの分類を行ってもよい。

定量情報算出部１６は、対象のオブジェクトに関する定量情報を計算し、提供する機能部である。ここでの定量情報とは、オブジェクトの数（オレンジが１０個、リンゴが５個）、クラス間の割合（２：１）、比率等であってもよいが、これらに限定されるものではない。

ストレージ部９０は、画像処理装置１の各機能部の入力、出力及び中間結果（例えば図３に示す出力データ）を記憶するメモリである。画像処理装置１の各機能部は必要に応じて、データをストレージ部９０において格納したり、読み出したりすることができる。ストレージ部９０は、例えばフラッシュメモリ、ハードディスクドライブ等、任意の記憶媒体であってもよい。

制御部９１は、上述した画像処理装置１の各機能部と接続されており、各機能部の動作を制御するための機能部である。制御部９１は、例えば機能部間のアクセス許可、データの通信、ＣＰＵからの命令等を管理してもよい。
なお、図１では、制御部９１を含む構成を一例として示しているが、本発明はこれに限定されず、各機能部が自律的に動作する構成であってもよい。

次に、図２を参照して、画像処理装置１のハードウェア構成について説明する。

図２は、本発明の実施例１に係る画像処理装置１のハードウェア構成の一例を示すブロック図である。図２に示されるように、画像処理装置１は、ＣＰＵ２０１と、メモリ２０２と、ストレージ装置２０６と、出力装置２０３と、入力装置２０４と、通信装置２０５とを含む。これらの装置は、バス２０７によって相互に接続される。
なお、入力部１０、領域分割部１１、接触分離部１２、ボーダーオブジェクト分離部１３、非ボーダーオブジェクト分離部１４、分類部１５、定量情報算出部１６、ストレージ部９０、及び制御部９１は、図１と同様であるため、それらの説明は省略する。

ＣＰＵ２０１は、必要に応じてメモリ２０２に格納されている各種プログラムを読み出して、プログラムからの命令に応じて処理を実行するプロセッサである。例えば、図１の入力部１０、領域分割部１１、接触分離部１２、分類部１５、定量情報算出部１６の機能は、ＣＰＵ２０１が実行する処理によって実現されてもよい。

ストレージ装置２０６は、画像処理装置１の各機能部に用いられる各種データを記憶する装置であり、図１のストレージ部９０に対応する装置である。ストレージ装置２０６は、例えば、入力された画像、前景と背景が分割された画像、接触しているオブジェクトが分離された画像、及びオブジェクトがクラス毎に分類されている画像を格納してもよい。また、過去の画像処理の際に用いられた画像データおよび定量情報算出結果もストレージ装置２０６に記憶されてもよい。

出力装置２０３は、本発明の処理によって算出される定量的な分析の結果や各部において生成される各種画像を出力する装置である。この出力装置は、例えば、ディスプレイ、プリンタ、スピーカ等の機器であってもよい。例えば、出力装置２０３としてディスプレイを用いた場合、領域分割部１１により生成された分割画像、接触分離部１２によって生成された対象オブジェクト分離画像、分類部１５によって生成された対象オブジェクト分類画像、及び定量情報算出部１６によって生成される、対象オブジェクトに関する定量情報が画面上のＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）に表示される。

入力装置２０４は、ユーザによる指示等を入力するための装置である。この入力装置は、例えば、キーボード、マウス、マイクロフォン等の機器である。画像処理装置１を使用するユーザは、例えば処理の対象となる画像を入力装置２０４を介して選択してもよい。

通信装置２０５は、外部の装置（図示せず）との通信を行うための装置である。この通信装置２０５は、例えば、インターネットやＬＡＮ等の通信ネットワークを介して外部の撮像装置やカメラ又はサーバから送信された画像を受信してもよい。
尚、通信装置２０５が画像処理装置１に内蔵されている構成を一例として示しているが、本発明はこれに限定されず、通信装置２０５が外部に配置されており、画像処理装置１に接続される構成も可能である。そのため通信装置２０５は画像処理装置１のハードウェア構成要素として必ずしも含まれる必要はない。

次に、図３を参照して、本発明における中間出力のデータについて説明する。

図３は、図１の各機能部が生成する中間出力のデータを示す図である。入力部の出力Ｆ１００１は、入力部を介して入力された元の画像Ｃであり、領域分割部の出力Ｆ１００２は背景と前景が分割された画像ＣＡであり、接触分離部の出力Ｆ１００３は接触しているオブジェクトが分離された画像ＣＢであり、分類部の出力Ｆ１００４はオブジェクトがクラス毎に分類された画像ＣＣであり、定量情報算出部の出力Ｆ１００５はオブジェクトについて導出された定量情報である。
なお、これらの中間出力の詳細については後述する。以下の説明では、それぞれの画像の一例を図示するが、これはあくまでも説明を分かりやすくするための例示であり、本発明の機能部の出力が図示されている画像に限定される趣旨ではない。

次に、図４を参照して、領域分割部（例えば、図１に示す領域分割部１１）が元画像の背景と前景を分割する処理について説明する。

上述したように、画像に写っている対象のオブジェクトに関する定量情報を精度良く算出するためには、分析の対象となるオブジェクトとそうでないオブジェクトを分ける必要がある。そのため、分析の対象となるオブジェクトを含む元画像Ｃが入力部を介して入力されると、領域分割部は、この入力された画像Ｃに対して、例えば背景差分、メディアンフィルター、二値化処理、畳み込みニューラルネットワーク等の手段を用いて処理することで、対象のオブジェクトを含む前景と、不要のオブジェクトを含む背景とに区別した画像ＣＡを出力する。

図４は、本発明の実施例１に係る領域分割部による動作の一例を示す図である。画像Ｃは、入力部を介して入力された画像である。図４に示すように、この画像Ｃは、背景領域Ｒ１００２と、前景領域を占めるオブジェクトＲ１００３と、不要なオブジェクトＲ１００４とを含む。領域分割部は、例えば畳み込みニューラルネットワークによる分割方法を用いて画像Ｃを処理することで、前景領域Ｒ２００１と背景領域Ｒ２００２とが区別された画像ＣＡを生成する。領域分割部によって生成される画像ＣＡは、ストレージ部９０に記憶される。
なお、上記では、領域分割部が畳み込みニューラルネットワークを用いて画像Ｃの背景領域と前景領域とを区別する例を説明したが、本発明はそれに限定されず、背景領域と前景領域とを区別できる手段であれば、任意の方法を用いてもよい。

次に、図５～図１８を参照して、接触分離部（例えば、図１に示す接触分離部１２）が接触しているオブジェクトを分離する処理について説明する。上述した領域分割部が出力する画像ＣＡに対して、接触分離部が接触しているオブジェクトを分離することにより画像ＣＢを生成する。

図５は、接触分離部による動作の一例を示す図である。上述したように、画像ＣＡは領域分割部１１からの出力であり、前景に含まれる複数のオブジェクトが互いに接触している状態Ｒ３０００となっている。複数のオブジェクトが互いに接触している状態で画像の定量的な分析を行っても、良好な分析結果が得られないため、接触しているオブジェクトを分離することが望ましい。従って、画像ＣＡを接触分離部によって処理し、重なっているオブジェクトを分離することで、画像ＣＢに示すような、それぞれのオブジェクトが独立した状態Ｒ３００１となる画像ＣＢを生成することができる。

上述したように、オブジェクトがボーダーオブジェクトであるか、非ボーダーオブジェクトであるかによって、当該オブジェクトを分離する手段が異なる。従って、接触分離部は、対象のオブジェクトがボーダーオブジェクトか否かを判定し、オブジェクトの種類によって適切な接触分離処理を行うように構成されている。

図６は、ボーダーオブジェクトの一例を示す図である。上述したように、ボーダーオブジェクトは、画像の端付近に位置し、オブジェクトの一部が画像外に存在するオブジェクトである。図６のボーダーオブジェクトＢ２００１は、複数の（分離前）オブジェクトが互いに接触している状態となっている。

図７は、ボーダーオブジェクトを分離した状態を示す図である。図６に示す、互いに接触しているボーダーオブジェクトＢ２００１を接触分離部によって分離することで、図７のボーダーオブジェクトＢ３００１に示すように、互いに接触した複数のオブジェクトが分離した状態となる。

図８は、非ボーダーオブジェクトの一例を示す図である。上述したように、非ボーダーオブジェクトは、オブジェクトの全体が画像内に収まるオブジェクトである。図８の非ボーダーオブジェクトＮＢ２００１は、複数の（分離前の）非ボーダーオブジェクトが互いに接触している状態となっている。

図９は、非ボーダーオブジェクトを分離した状態を示す図である。図８に示す、互いに接触している非ボーダーオブジェクトＮＢ２００１を接触分離部によって分離することで、図９の非ボーダーオブジェクトＮＢ３００１に示すように、互いに接触した複数のオブジェクトが分離した状態となる。

図１０は、接触分離処理を示すフローチャートである。上述した接触分離部は、以下の処理を実行することで、対象のオブジェクトがボーダーオブジェクトであるか、非ボーダーオブジェクトであるかを判定し、オブジェクトの種類に応じて適切な接触分離処理を実行する。

まず、ステップＳ１００１では、上述した領域分割部の出力である画像ＣＡにおいて、対象のオブジェクトを含む前景領域が選択される。この前景領域は、例えばユーザが入力装置（図２に示す入力装置２０４）を介して入力した指示に基づいて選択されてもよく、予め設定された選択条件（特定の面積、色、形状等を指定する条件）を満たす前景領域が接触分離部によって自動的に選択されてもよい。

次に、ステップＳ１００２では、接触分離部は、選択された前景領域においてボーダーオブジェクトが存在するか否かを判定する。ここで、接触分離部は、例えば画像において選択された前景領域に含まれるオブジェクトに対して、既存のエッジ検出手段等を実行し、オブジェクトのエッジが画像の端に接触しているか否かを検証することで、選択された前景領域においてボーダーオブジェクトが存在するか否かを判定してもよい。選択された前景領域においてボーダーオブジェクトが存在する場合には、本処理はステップＳ１００３に進み、ボーダーオブジェクトが選択された前景領域において存在しない場合には、本処理はステップＳ１００４に進む。

次に、ステップＳ１００３では、接触分離部は後述するボーダーオブジェクト分離処理を実行し、互いに接触しているオブジェクトを分離する。

次に、ステップＳ１００４では、接触分離部は後述する非ボーダーオブジェクト分離処理を実行し、互いに接触しているオブジェクトを分離する。

次に、ステップＳ１００５では、接触分離部は、前景領域の全体に対して処理が実行されたか否かを判定する。前景領域が全て処理されていない場合には、本処理はステップＳ１００１に戻り、前景領域が全て処理された場合には、本処理は終了する。

次に、図１１を参照して、ボーダーオブジェクトを分離する処理の一例について説明する。このボーダーオブジェクト分離処理は、例えば、図１０に示したフローチャートにおけるステップＳ１００３に該当する処理であり、図１に示すボーダーオブジェクト分離部１３によって行われる処理である。

まず、図１１のステップＳ１１０１では、ボーダーオブジェクト分離部１３は、互いに接触しているボーダーオブジェクトＢ２００１を含む前景領域を選択する。図１１に示すように、ボーダーオブジェクトＢ２００１は、画像の端に存在するため、ボーダーオブジェクトＢ２００１の一部が隠れている。

次に、ステップＳ１１０２では、ボーダーオブジェクト分離部１３は、ボーダーオブジェクトＢ２００１を構成する複数のオブジェクトのシード領域（ＳｅｅｄＲｅｇｉｏｎ）Ｂ２００１１を生成する。具体的には、ボーダーオブジェクト分離部１３は、対象の前景領域に対して、いわゆる距離変換処理を施す。この距離変換処理では、それぞれの前景画素から最も近い背景画素までの距離が輝度値として表現される距離マップが生成される。
この距離マップでは、前景画素から最も近い背景画素までの距離が長い程、輝度値が高いため、背景画素から離れているオブジェクトの中心部分の輝度値が高く、オブジェクトの縁に近い部分の輝度値が低くなる。また、この距離変換処理では、所定の輝度値に達しない前景画素が背景とされるため、それぞれのオブジェクトにおいて、輝度値が最も高い領域（つまり、中心部）がいわゆるシード領域Ｂ２００１１として残る。

次に、ステップＳ１１０３では、ボーダーオブジェクト分離部１３は、ステップＳ１１０２で生成したシード領域を用いて、既存のウォーターシェッド変換を施すことで、互いに接触しているボーダーオブジェクトＢ２００１を個々のオブジェクトＢ３００１に分離することができる。

次に、図１２～図１８を参照して、非ボーダーオブジェクトを分離する処理について説明する。この非ボーダーオブジェクト分離処理は、例えば、図１０に示したフローチャートにおけるステップＳ１００４に該当する処理であり、図１に示す非ボーダーオブジェクト分離部１４によって行われる処理である。

図１２は、非ボーダーオブジェクトを分離する処理のフローチャートを示す図である。

まず、ステップＮＢＳ１では、非ボーダーオブジェクト分離部１４は、上述した領域分割部から出力される画像ＣＡにおいて、互いに接触する非ボーダーオブジェクトＮＢ２００１を含む前景領域を選択する（図１３参照）。図１４に示すように、実際には、この非ボーダーオブジェクトＮＢ２００１は、第１のオブジェクトＮＢ２００２と第２のオブジェクトＮＢ２００３とから構成される。
互いに接触している非ボーダーオブジェクトＮＢ２００１が選択された後、非ボーダーオブジェクト分離部１４は、選択した非ボーダーオブジェクトＮＢ２００１を構成する第１のオブジェクトＮＢ２００２及び第２のオブジェクトＮＢ２００３に対して、図１１のステップＳ１１０２と同様に距離変換処理を適用する。上述したように、この距離変換処理では、第１のオブジェクトＮＢ２００２及び第２のオブジェクトＮＢ２００３に属するそれぞれの画素から最も近い背景画素までの距離が輝度値として表現される距離マップが生成される。この距離マップでは、前景画素から最も近い背景画素までの距離が長い程、輝度値が高いため、背景から離れている第１のオブジェクトＮＢ２００２及び第２のオブジェクトＮＢ２００３のそれぞれの中心部の輝度値が高く、縁に近い部分の輝度値が低くなる。図１５は、第１のオブジェクトＮＢ２００２及び第２のオブジェクトＮＢ２００３に対して距離変換を施した後の状態を示す図である。

次に、ステップＮＢＳ２では、非ボーダーオブジェクト分離部１４は、第１のオブジェクトＮＢ２００２と第２のオブジェクトＮＢ２００３の境界線の中心点となる対象画素Ｐを特定する。対象画素Ｐを特定するためには、非ボーダーオブジェクト分離部１４は、第１のオブジェクトＮＢ２００２と第２のオブジェクトＮＢ２００３の距離マップの各画素に対して、互いに直交する第１軸（Ｘ軸）と第２軸（Ｙ軸）を定め、Ｘ軸の正方向に沿って所定の距離ｍ(図示せず)だけ離れた画素Ｐ_ＲＶの輝度値と、Ｘ軸の負方向に沿って所定の距離ｍ(図示せず)だけ離れた画素Ｐ_ＬＶの輝度値とが当該画素Ｐの輝度値未満であって、かつＹ軸の正方向に沿って所定の距離ｎ(図示せず)だけ離れた画素Ｐ_ＴＶの輝度値と、Ｙ軸の負方向に沿って所定の距離ｎ(図示せず)だけ離れた画素Ｐ_ＢＶの輝度値とが当該画素Ｐの輝度値以上か否かを検証する（図１６参照）。
これらの条件を満たす対象画素Ｐが検出された場合には、本処理はステップＮＢＳ３に進み、これらの条件を満たす対象画素Ｐが検出されない場合には、非ボーダーオブジェクト分離部１４は第１軸と第２軸の角度を変更し、上記の処理を繰り返す。この処理は、対象画素Ｐが特定されるか、全ての画素および角度に対して上記の処理が適用されるまで、第１のオブジェクトＮＢ２００２と第２のオブジェクトＮＢ２００３の距離マップの各画素の周辺３６０度の全ての角度に対して繰り返して行われる。
なお、上記の処理では、特定の画素（Ｐ_ＲＶ、Ｐ_ＬＶ、Ｐ_ＴＶ、Ｐ_ＢＶ）の輝度を検証することで対象画素Ｐを特定したが、本発明はそれに限定されず、第１軸と第２軸から所定の距離範囲内の全ての画素の輝度値を検証することも可能である。

次に、ステップＮＢＳ３では、非ボーダーオブジェクト分離部１４は、第１のオブジェクトＮＢ２００２及び第２のオブジェクトＮＢ２００３を分離するための分離境界線の両端となる第１の境界基準画素と第２の境界基準画素とを特定する。
以下では、上述した第１の境界基準画素Ｐ_Ｒを特定する処理の詳細について説明する。
まず、第１の境界基準画素Ｐ_Ｒを特定するために、非ボーダーオブジェクト分離部１４は、画素Ｐの輝度値に基づいて、上述の処理で輝度が低いと判断された第１軸の正方向における最も近い背景画素までの距離ｄを計算し、そしてこの距離ｄと、所定のオフセットｂとに基づいて、第１軸の正方向に沿って第１の境界基準画素Ｐ_Ｒまでの距離ｄ_Ｎを計算する。ここでは、ｄ_Ｎは以下の数式で求められる。
［数１］
ｄ_Ｎ＝ｄ＋ｂ
次に、非ボーダーオブジェクト分離部１４は、第１の境界基準画素Ｐ_Ｒを特定するために、対象画素Ｐから第１軸（つまり、距離マップにおける輝度値が低い画素で構成される軸であるＸ軸）の正方向に沿った画素Ｐ_Ｒが下記ａ、ｂ、ｃを満たすか否かを検証する。
ａ）背景画素（輝度値が０の画素）である
ｂ）正方向に存在する画素（第１の参考画素Ｐ_Ｒ１）が背景画素である
ｃ）第１のオブジェクト及び第２のオブジェクトが第２軸の正方向および負方向に存在し、境界基準画素Ｐ_Ｒから第１のオブジェクト及び第２のオブジェクトまでの距離が所定の距離基準ａ（例えば、５画素）以内である
これらの条件を満たす画素が特定された場合には、非ボーダーオブジェクト分離部１４は、特定された画素を第１の境界基準画素Ｐ_Ｒ（図１６及び図１７参照）とする。
なお、第１の参考画素Ｐ_Ｒ１は、第１の境界基準画素Ｐ_Ｒに隣接している画素であってもよい。

同様に、第２の境界基準画素Ｐ_Ｌを特定するためには、非ボーダーオブジェクト分離部１４は、画素Ｐの輝度値に基づいて、上述の処理で輝度が低いと判断された第１軸の負方向における最も近い背景画素までの距離ｄを計算し、そしてこの距離ｄと、所定のオフセットｂとに基づいて、第１軸の負方向に沿って第２の境界基準画素Ｐ_Ｌまでの距離ｄ_Ｎを計算する。ここでは、ｄ_Ｎは上述した数式１によって求められる。
次に、非ボーダーオブジェクト分離部１４は、第２の境界基準画素Ｐ_Ｌを特定するために、非ボーダーオブジェクト分離部１４は、対象画素Ｐから第１軸（つまり、輝度値が低い画素で構成される軸であるＸ軸）の負方向に沿った画素Ｐ_Ｌが下記ａ、ｂ、ｃを満たすか否かを検証する。
ａ）背景画素（輝度値が０の画素）である
ｂ）負方向に存在する画素（第２の参考画素Ｐ_Ｌ１、図示せず）が背景画素である
ｃ）第１のオブジェクト及び第２のオブジェクトが第２軸の正方向および負方向に存在し、境界基準画素Ｐ_Ｌから第１のオブジェクト及び前記第２のオブジェクトまでの距離が所定の距離基準ａ（例えば、５画素）以内である
これらの条件を満たす画素が特定された場合には、非ボーダーオブジェクト分離部１４は、特定された画素を第２の境界基準画素Ｐ_Ｌ（図１６及び図１７参照）とする。
なお、第２の参考画素Ｐ_Ｌ１は、第２の境界基準画素Ｐ_Ｌに隣接している画素であってもよい。

次に、ステップＮＢＳ４では、非ボーダーオブジェクト分離部１４は、第１の境界基準画素と第２の境界基準画素とに基づいて、分離境界線ＮＢ２００５を生成する。具体的には、非ボーダーオブジェクト分離部１４は、対象画素Ｐを通過し、第１の境界基準画素Ｐ_Ｒと第２の境界基準画素Ｐ_Ｌを結んだ線分を生成し、これを分離境界線としてもよい（図１８参照）。これにより、第１のオブジェクトＮＢ２００２と第２のオブジェクトＮＢ２００３の輪郭が明確となり、後述する分類処理において、それぞれのオブジェクトを識別及び分類する精度が向上する。
また、分離境界線を生成した後、非ボーダーオブジェクト分離部１４は、第１のオブジェクトＮＢ２００２と第２のオブジェクトＮＢ２００３を分離境界線ＮＢ２００５に沿って分離した画像ＣＢを生成する。この画像ＣＢを後述する分類部に供給することで、画像ＣＢに写っているオブジェクト（例えば、第１のオブジェクトＮＢ２００２と第２のオブジェクトＮＢ２００３）を、オブジェクトが属するカテゴリーに分類可能となる。

なお、Ｐ_Ｒ及びＰ_Ｌから第１のオブジェクト及び第２のオブジェクトまでの距離が所定の距離基準ａ以内に存在するか否かを検証することにより、分離境界線が適切な位置に生成され、接触した複数のオブジェクトを分割可能となる。

以上説明した非ボーダーオブジェクト分離処理を行うことで、接触しているオブジェクトを個々の独立したオブジェクトに分離することができ、これにより、後述する分類処理及び定量的分析の精度が向上する。
なお、以上説明した非ボーダーオブジェクトを分離する処理はあくまでも一例であり、重なっている非ボーダーオブジェクトを分離できる手段であれば、他の手段も用いられてもよい。

次に、図１９及び図２０を参照して、本発明に係る分類処理について説明する。上述したように、互いに接触しているオブジェクトを分離した画像を本発明に係る分類部によって処理することで、画像に写っているオブジェクトをクラス毎に分類することができる。

図１９は、本発明に係る分類処理を示すフローチャートである。
まず、ステップＣＯＮ１では、分類部（例えば図１に示す分類部１５）は、第１のオブジェクトと第２のオブジェクトとが分離境界線に沿って分離された画像ＣＢの前景を複数の領域に区画する。ここで、「区画する」とは、画像ＣＢを複数の領域に分割したり、仕切ったり、グループ化したりすることを含む。この画像区画処理では、対象の画像は例えば均等の面積を有する格子状のパッチに分断されてもよい。パッチの大きさは、対象画像の画素数や複雑さ、又は画像処理装置のメモリ制約等に応じて適宜に定める。

次に、ステップＣＯＮ２では、分類部は、区画した領域の中から、任意の領域（又は複数の隣接している領域）を選択する。

次に、ステップＣＯＮ３では、分類部は、例えば畳み込みニューラルネットワークや主成分分析、ｔ－ＳＮＥ（ｔ－ＤｉｓｔｒｉｂｕｔｅｄＳｔｏｃｈａｓｔｉｃＮｅｉｇｈｂｏｒＥｍｂｅｄｄｉｎｇ）等の分類手段を用いて、選択された領域に該当するクラスを判定する。ここでのクラスとは、選択された領域に含まれるオブジェクトを定義する種類（カテゴリー）である。一例として、このクラスは、例えば、選択された領域に写っている物体を判別するラベルであってもよい。

ステップＣＯＮ４では、分類される領域がストレージ部（例えば図１に示すストレージ部９０）に格納される。

次に、ステップＣＯＮ５では、分類部は、画像における全ての領域が分類されているか否かを確認する。全ての領域が分類されている場合には、本処理はステップＣＯＮ６に進み、全ての領域が分類されていない場合には、本処理は、ステップＣＯＮ２に戻る。

次に、ステップＣＯＮ６では、分類部は、領域に対する分類結果を結合し、画像ＣＣとして出力する。

図２０は、本発明に係る分類部による動作の一例を示す図である。図２０に示す画像ＣＢは、互いに接触している複数のオブジェクトを個々の独立したオブジェクトに分離した画像である。例えば画像ＣＢのオブジェクトＲ４０００はまだ分類されていないため、どのクラスに属するものであるかが不明である。このような画像ＣＢを上述した分類部によって処理することで、それぞれのオブジェクトがクラス毎に分類される画像ＣＣを生成することができる。

例えば、画像ＣＣに示すように、画像ＣＢのオブジェクトがＲＣＡ及びＲＣＢの２つの異なるクラス（色の違いで示されている）に分かれており、オブジェクトＲ４００１がＲＣＢのクラスに分類されている。このような、オブジェクトがクラス毎に分類されている画像ＣＣを後述する定量情報算出部によって処理することで、オブジェクトに関する定量情報を導出することができる。

このように画像のオブジェクトをクラス毎に分類することで、類似の特徴を有するオブジェクトを同様のカテゴリーに分けることができ、オブジェクトに関するカテゴリー毎の定量的分析が可能となる。

次に、図２１を参照して、本発明に係る、オブジェクトに対する定量的分析の処理について説明する。

図２１は、定量的分析の処理の一例を示す図である。上述したように、背景と前景が分割され、互いに接触したオブジェクトが分離され、オブジェクトがクラス毎に分類されている画像ＣＣを本発明に係る定量情報算出部（例えば、図１に示す定量情報算出部１６）によって処理することで、オブジェクトに関する定量情報を導出することができる。
なお、ここでは、オブジェクトに関する定量情報として、オブジェクトの数及びクラス間の割合を計算する一例を説明するが、本発明はそれに限定されず、他の定量情報を生成することもできる。

まず、ステップＱ１では、定量情報算出部は、画像ＣＣにおいて、一つのオブジェクト（つまり、繋がっている前景領域を含む領域）を選択する。

次に、ステップＱ２では、定量情報算出部は、選択されたオブジェクトのクラスを分類部の結果（例えば、画像ＣＣのオブジェクトに対して付与されているラベル）から、選択されたオブジェクトのクラスを特定し、そのクラスのカウンターをインクリメントする。

次に、ステップＱ３では、定量情報算出部は、画像ＣＣにおける全ての前景領域（つまり、オブジェクト）が計数済みか否かを確認する。全ての前景領域が計数済みである場合には、本処理はステップＱ４に進み、全ての前景領域が数えられていない場合には、本処理はステップＱ１に進む。

ステップＱ４では、定量情報算出部は、各クラスのオブジェクト数の総和を計算する。

ステップＱ５では、定量情報算出部は、画像のオブジェクトに関して計算した定量情報（例えば、クラス毎の数とクラス間の割合）を算出する。算出した定量情報は、例えばストレージ部（例えば図１に示すストレージ部９０）に格納してもよいし、表示装置を用いてユーザに提供されてもよいし、オブジェクトの更なる計算のために別の機能部・外部の装置に送信されてもよい。

以上説明した実施例１によれば、画像内に互いに接触している複数のオブジェクトを分離することによって、当該オブジェクトを正確に分類し、分類したオブジェクトに対する定量的分析を可能にすることができる。

次に、図２２～図２７を参照して、本発明に係る実施例２について説明する。
上述したように、画像の前景と背景を分割する際に、色やテクスチャが背景に類似しているため、背景と判断されてしまう前景領域（誤背景領域）が発生する場合がある。このような誤背景領域が画像に存在する場合には、正確に画像を分析をできない恐れがあるため、本発明の係る実施例２は、画像中に発生する誤背景領域を特定し、修正することで、正確な定量的分析を可能にするものである。

まず、図２２を参照して、本発明の実施例２に係る画像処理装置の機能的構成について説明する。

図２２は、本発明の実施例２に係る画像処理装置Ｈ１の機能的構成を示すブロック図である。図２２に示されるように、画像処理装置Ｈ１は、入力部１０と、領域分割部１１と、領域修正部Ｈ１０００と、接触分離部１２と、分類部１５と、定量情報算出部１６と、ストレージ部９０と、制御部９１とを含む。また、接触分離部１２は、ボーダーオブジェクト分離部１３と、非ボーダーオブジェクト分離部１４とを更に含む。画像処理装置Ｈ１を構成する機能部は、例えばソフトウエアモジュールとして実現されてもよく、独立した専用ハードウェアとして実現されてもよい。
なお、本発明の実施例２に係る画像処理装置Ｈ１と実施例１に係る画像処理装置１と異なる点は、画像処理装置Ｈ１が領域修正部Ｈ１０００を備える点である。画像処理装置Ｈ１が領域修正部Ｈ１０００を備える点以外、画像処理装置Ｈ１の構成は実施例１の画像処理装置１と同様であるため、同様の機能部の説明は省略する。

領域修正部Ｈ１０００は、例えば領域分割部１１が画像の前景と背景とを分割する際に画像中に発生する誤背景領域を修正するための機能部である。領域修正部Ｈ１０００が行う処理については後述する。

次に、図２３を参照して、本発明の実施例２に係る画像処理装置のハードウェア構成について説明する。

図２３は、本発明の実施例２に係る画像処理装置Ｈ１のハードウェア構成の一例を示すブロック図である。図２３に示されるように、画像処理装置Ｈ１は、ＣＰＵ２０１と、メモリ２０２と、出力装置２０３と、入力装置２０４と、通信装置２０５と、ストレージ装置２０６とを含む。これらの装置は、バス２０７によって相互に接続される。
なお、本発明の実施例２に係る画像処理装置Ｈ１と実施例１に係る画像処理装置１の異なる点は、画像処理装置Ｈ１が領域修正部Ｈ１０００を備える点である。画像処理装置Ｈ１が領域修正部Ｈ１０００を備える点以外、画像処理装置Ｈ１の構成は実施例１の画像処理装置１と同様であるため、同様の機能部の説明を省略する。

図２４は、誤背景領域を含む画像の一例を示す図である。図２４に示すように、画像の前景に含まれるオブジェクトの中には、誤って背景領域と判定されてしまった誤背景領域Ｈが存在する。これらの誤背景領域Ｈは、例えば上述した領域分割部が画像の前景と背景とを分割する際に生じてしまうものである。誤背景領域Ｈが前景に存在する場合には、上述した接触分離処理、分類処理、及び定量情報算出処理の精度が低下する可能性があるため、誤背景領域Ｈを修正することが望ましい。従って、本発明の実施例２に係る領域修正部は、画像中に発生する誤背景領域を修正することで、精度良く定量情報を算出可能となる。

図２５は、図２４に示す、誤背景領域を含む画像を本発明の実施例２に係る領域修正部によって修正された画像の一例を示す図である。図２５に示すように、誤背景領域を含む画像を本発明の実施例２に係る領域修正部によって修正することで、上述した誤背景領域Ｈが前景領域として修正されているため、接触分離処理、分類処理、及び定量情報算出処理を円滑に行うことが可能となり、精度良く定量情報を算出可能となる。

次に、図２６を参照して、本発明に係る領域修正処理の一例について説明する。

図２６は、本発明の実施例２に係る領域修正処理を示すフローチャートである。上述したように、本発明の実施例２に係る領域修正部（例えば図２２及び図２３に示す領域修正部Ｈ１０００）は、誤背景領域を含む画像に対して以下の処理を施すことで、誤背景領域を修正することができる。

まず、ステップＫ１００１では、領域修正部は、上述した領域分割部（例えば、図１に示す領域分割部１１）が出力する、前景と背景とが分割されている画像ＣＡに対して、いわゆるウォーターシェッド変換処理を施す。このウォーターシェッド変換では、画像が地形学的な表面と見なされ、標高の高い領域に属する画素が高い輝度値となり、標高の低い領域に属する画素が低い輝度値となる。このウォーターシェッド変換を、前景と背景とが分割されている画像ＣＡに対して施すことにより、独立している背景領域が他の背景領域に繋げられ、より大きい背景領域が１つ以上存在する画像が生成される。

次に、ステップＫ１００２では、領域修正部は、ステップＫ１００１で生成された画像のうち、背景に属する画素（輝度値が０の画素）を全て選択する。

次に、ステップＫ１００３では、領域修正部は、ステップＫ１００２で選択した背景画素の中から、所定の基準を満たす連結領域（例えば、最大の画素数を有する連結領域）を抽出し、背景領域とする。

次に、ステップＫ１００４では、領域修正部は、ステップＫ１００３で選択した背景領域以外の黒い領域（輝度値が０の領域）を前景に変換する。これにより、例えば前景のオブジェクトの内部に含まれている背景領域（すなわち、誤背景領域）が前景領域に修正される。

次に、ステップＫ１００５では、領域修正部は、上述した領域分割部が出力する、前景と背景とが分割されている画像ＣＡの前景領域をステップＫ１００４で生成された画像に重ね合わせる。具体的には、領域修正部は、画像ＣＡにおいて前景領域に属する画素に対応する、ステップＫ１００４が生成した画像内の画素を前景画素に変換する。

上述のステップＫ１００１からＫ１００５を実行することで、領域修正部は画像ＣＡに存在する誤背景領域を前景領域へ修正する。領域修正部が出力する画像を接触分離部に入力することにより、互いに接触しているオブジェクトをより正確に分離することができる。

次に、図２７を参照して、本発明に係る領域修正処理の別の一例について説明する。

図２７は、本発明の実施例２に係る領域修正処理の別の一例を示すフローチャートである。上述したように、本発明の実施例２に係る領域修正部（例えば図２２及び図２３に示す領域修正部Ｈ１０００）は、誤背景領域を含む画像に対して以下の処理を施すことで、誤背景領域を修正することができる。

まず、ステップＡ１００１では、領域修正部は、上述した領域分割部（例えば、図１に示す領域分割部１１）が出力する、前景と背景が分割されている画像ＣＡに対して、いわゆるウォーターシェッド変換処理を施す。このウォーターシェッド変換は、図２６のステップＫ１００１で行ったウォーターシェッド変換処理と同様である。ウォーターシェッド変換を、前景と背景とが分割されている画像ＣＡに対して施すことにより、独立している背景領域が同一の背景領域として認識され、より大きい背景領域が１つ以上存在する画像が生成される。

次に、ステップＡ１００２では、領域修正部は、ステップＡ１００１で生成された画像に対して、画像の色を反転した上で、距離変換処理を施す。この距離変換処理により、それぞれの背景画素から最も近い前景画素までの距離が輝度値として表現される画像（距離マップ）が生成される。

次に、ステップＡ１００３では、領域修正部は、輝度値が最も高い画素を画素［ｉ，ｊ］として選択する。これにより前景領域から最も離れた背景画素が選択される。

次に、ステップＡ１００４では、領域修正部は、ステップＡ１００３で選択された画素［ｉ，ｊ］に繋がっている全ての画素を背景領域として選択する。

次に、ステップＡ１００５では、領域修正部は、ステップＡ１００４で選択した背景領域以外の領域を前景に変換する。これにより、例えば前景のオブジェクトの内部に含まれている背景領域（すなわち、誤背景領域）が前景領域に修正される。

次に、ステップＡ１００６では、領域修正部は、上述した領域分割部が出力する、前景と背景とが分割されている画像ＣＡの前景領域をステップＡ１００５で生成された画像に重ね合わせる。具体的には、領域修正部は、画像ＣＡにおいて前景領域に属する画素に対応する、ステップＡ１００５が生成した画像内の画素を前景画素に変換する。

上述のステップＡ１００１からＡ１００６を実行することで、領域修正部は画像ＣＡに存在する誤背景領域を前景領域へ修正する。領域修正部が出力する画像を接触分離部に入力することにより、互いに接触しているオブジェクトを正確に分離することができる。

以上説明した領域修正処理により、実施例１において説明した接触分離処理、分類処理、及び定量情報算出処理の精度が向上するメリットが得られる。

次に、図２８及び図２９を参照して、本発明の実施例３に係る画像処理システムについて説明する。

図２８は、本発明の実施例３に係る画像処理システムＷ１の一例を示す図である。本発明の実施例３に係る画像処理システムＷ１は、実施例１及び実施例２に係る画像処理装置を用いて、画像内のオブジェクトに関する定量情報を算出し、算出した定量情報を用いて試料の状態を分析し、分析結果をユーザに提供するための画像処理システムである。
本発明の実施例３に係る画像処理システムＷ１は、例えば血液、材料、細胞等の状態を分析するために適用されてもよい。

図２８に示すように、画像処理システムＷ１は、撮影装置Ｗ１１，画像処理装置１、試料状態分析装置Ｗ１２、及び表示装置Ｗ１３を含む。

撮影装置Ｗ１１は、オブジェクトとなる試料（血球、材料、細胞等）を撮影し、画像を生成するための装置である。この撮影装置Ｗ１１は、例えば、カメラや走査型電子顕微鏡等、画像を撮影できるものであれば任意の装置であってもよい。

画像処理装置１は、実施例１及び実施例２において説明した画像処理装置１と同様のものである。撮影装置Ｗ１１によって撮影される画像を画像処理装置１によって処理することで、画像に写るオブジェクトに関する定量情報を生成することができる。

試料状態分析装置Ｗ１２は、画像処理装置１から供給される、画像に写るオブジェクトに関する定量情報に基づいて、試料状態を分析する装置である。試料状態分析装置Ｗ１２は、画像処理装置１から出力される定量情報を、特定の分野（医療、物理学等）に関する情報を格納する専用データベース（図示せず）に照合することで、画像に写るオブジェクトに関する分析結果を導出してもよい。
例えば、画像に写るオブジェクトが血球の場合、試料状態分析装置Ｗ１２は、画像処理装置１から出力した血球の数や割合等の定量情報を血液分析用の専用データベースに照合することで、患者の健康状態に関する分析結果を導出することができる。
また、画像に写るオブジェクトが磁性粒子の場合、試料状態分析装置Ｗ１２は、画像処理装置１から出力した磁性粒子の密度等の定量情報を物理学の情報を有する専用データベースに照合することで、試料の磁気特性に関する分析結果を導出することができる。

表示装置Ｗ１３は、本発明の処理によって生成される各種データをユーザに提示するための装置である。表示装置Ｗ１３は、例えば撮影装置Ｗ１１によって撮影される画像、画像処理装置１によって生成される画像や定量情報、及び試料状態分析装置Ｗ１２によって生成される結論に関する情報等を表示してもよい。この表示装置は、例えばテレビ、パソコンのディスプレイ、携帯電話・タブレットの画面等、情報を提示できるものであれば、任意の装置であってもよい。

図２９は、本発明の実施例３に係る画像処理システムＷ５の一例を示す図である。本発明の実施例３に係る画像処理システムＷ５は、実施例１及び実施例２に係る画像処理装置を用いて、画像に写るオブジェクトに関する定量情報を算出し、算出した定量情報を用いて試料の状態を分析し、分析結果をユーザに提供するための画像処理システムである。

図２９に示すように、画像処理システムＷ５は、画像解析装置Ｗ２と、サーバＷ３とから構成される。画像解析装置Ｗ２とサーバＷ３とは、例えばインターネットなどの通信ネットワーク（図示せず）を介して接続される。

画像解析装置Ｗ２は、画像処理装置１の代わりに、サーバＷ３との通信を行うための通信装置Ｗ２２を備える点以外、図２８に示した画像処理システムＷ１の構成と同様であるため、構成要素の説明を省略する。

サーバＷ３は、通信ネットワークを介して画像解析装置Ｗ２に接続される遠隔サーバである。図２９に示すように、サーバＷ３は、上述した画像処理装置１（例えば実施例１及び実施例２において説明した画像処理装置１）と、ストレージ装置Ｗ３１と、通信装置Ｗ３２とを含む。サーバＷ３は、通信ネットワークを介して、撮影装置Ｗ１１によって撮影される画像を通信装置Ｗ３２にて受信し、ストレージ装置Ｗ３１に格納する。その後、画像処理装置１は、実施例１及び実施例２において説明した処理を格納された画像に対して施すことで、定量情報を生成する。そして、通信装置Ｗ３２は、画像処理装置１によって生成された定量情報を通信ネットワークを介して画像解析装置Ｗ２に送信する。

サーバＷ３から定量情報を受信した画像解析装置Ｗ２は、当該定量情報を上述した試料状態分析装置Ｗ１２で分析し、画像に写る試料の状態を分析し、分析結果を得る。この分析結果は、例えば表示装置Ｗ１３を介してユーザに提供されてもよい。

また、上述した図２８には特に図示していないが、画像処理システムＷ１は内部に入力画像や、入力画像の属性情報、中間処理結果、画像処理装置１が算出する定量情報等を保存するためのストレージ装置を含んでも良い。入力画像の属性情報としては例えば試料の取得元を識別する為の符号や画像の取得日時等の情報を付与する。

前記ストレージ装置に、入力画像と入力画像の属性情報、および画像処理装置１が算出する定量情報を保存することで、例えば同一の試料から異なる時刻Ａと時刻Ｂに取得した各画像に対する定量情報を算出し、定量情報の変化を解析することで、試料の状態または状態変化を分析することが可能となる。

前記画像処理システムＷ１は時刻Ａと時刻Ｂの間に、試料に対して薬剤投与や温度変化、物理的な衝撃等、何らかの操作を適用し、その操作の影響を分析する為に用いても良いし、培養のように一定の時間が経過することで試料がどのように変化したかを分析する為に用いても良い。

また、ストレージ装置に画像処理装置１が算出した定量情報を蓄積することで、試料状態分析装置Ｗ１２は定量情報の平均値や分散値等の統計情報を算出し、前記統計情報と、未知画像の定量情報を比較することで試料状態を分析しても良い。ストレージ装置には定量情報を網羅的に保存するのではなく、平均値や分散値等の統計情報を算出し、算出した統計情報のみを保存しても良い。また、入力画像の属性情報に応じて定量情報を分類して、分類毎に統計情報を算出し、算出した統計情報を用いて試料状態の分析を行ってもよい。

上記ストレージ装置を用いた画像処理システムは図２９に示した画像処理システムＷ５についても適用できる。ストレージ装置がサーバＷ３の内部に位置すること以外は画像処理システムＷ１と同様であるため説明を省略する。

以上説明した実施例により、画像において互いに接触している複数のオブジェクトを分離し、オブジェクトに対するクラスを分類することで、精度良く定量的分析を行うことが可能となる。また、算出した定量情報に基づき、画像内の試料の状態を分析することが可能となる。

本発明に係る実施形態の機能は、ソフトウェアのプログラムコードによっても実現されてもよい。この場合、本発明の機能を実施するためのプログラムコードが記録された記憶媒体が装置やシステムに供給され、当該装置やシステムに搭載されるコンピューティングデバイス（ＣＰＵ、ＭＰＵ等）がプログラムコードを読み取って実施してもよい。記憶媒体から読出されたプログラムコードをコンピュータによって実行することで、前述した実施形態の機能が実現されることにとり、当該機能を実施するために用いられたプログラムコード、記憶媒体、及びコンピューティングデバイス自体が本発明の構成要素となる。
プログラムコードを記録するための記憶媒体としては、例えばフレキシブルディスク、ＣＤ-ＲＯＭ、ＤＶＤ-ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ-Ｒ、磁気テープ、不揮発性メモリカード、ＲＯＭ等がある。

以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１画像処理装置
１０入力部
１１領域分割部
１２接触分離部
１３ボーダーオブジェクト分離部
１４非ボーダーオブジェクト分離部
１５分類部
１６定量情報算出部
９０ストレージ部
９１制御部
２０１ＣＰＵ
２０２メモリ
２０３出力装置
２０４入力装置
２０５通信装置
２０６ストレージ装置
２０７バス

Claims

画像内のオブジェクトの定量的な情報を算出する画像処理装置であって、
前記画像処理装置は、
画像を入力する入力部と
画像の前景と背景を分割する領域分割部と、
画像内の接触している複数のオブジェクトを分離する接触分離部と、
各オブジェクトをクラス毎に分類する分類部と、
オブジェクトに関する定量情報を生成する定量情報算出部と、
を含み、
前記入力部は、
定量情報の算出対象である画像を受付け、
前記領域分割部は、
前記画像において、定量情報の算出対象であるオブジェクトが写っている領域を前景領域、その他を背景領域として画像を分割し、
前記接触分離部は、
前記画像内の互いに接触している第１のオブジェクトと第２のオブジェクトに対して、
前記領域分割部が出力する領域分割結果に基づいて、
前記第１のオブジェクトと第２のオブジェクトの接触点を検出し、
接触点から最も近い背景領域を第１の境界基準画素、
第１の境界基準画素から接触点を挟んで逆方向にある背景領域を第２の境界基準画素として、
２つの境界基準画素を結ぶことで前記第１のオブジェクトと第２のオブジェクトを分離し、
前記分類部は、
前記画像内の各オブジェクトをクラス毎に分類し、
前記定量情報算出部は、
前記領域分割部が出力する領域分割結果、前記接触分離部が出力する接触分離結果、および、前記分類部が出力する分類結果に基づいて、
オブジェクトに関する定量情報を生成し、出力する、
ことを特徴とする画像処理装置。
請求項１に記載の装置であって、
前記接触分離部は、
画像端に存在する接触している複数のオブジェクトを分離するボーダーオブジェクト分離部と、
画像端以外に存在する接触している複数のオブジェクトを分離する非ボーダーオブジェクト分離部から構成され、
前記ボーダーオブジェクト分離部は、
画像端に存在する互いに接触している第１のオブジェクトと第２のオブジェクトに対して、
前記領域分割部が出力する領域分割結果内の前景領域から各オブジェクトを代表する中心領域を抽出し、
前記各オブジェクトの中心領域同士の位置関係に基づいて、
前記第１のオブジェクトと第２のオブジェクトを分離し、
前記非ボーダーオブジェクト分離部は、
画像端以外に存在する互いに接触している第１のオブジェクトと第２のオブジェクトを分離する為に、
請求項１に記載の接触分離部を用いる、
ことを特徴とする画像処理装置。
請求項１または請求項２に記載の装置であって、
前記領域分割部が出力する領域分割結果に含まれる、前景領域内の誤背景領域を修正する領域修正部、
を更に含み、
前記領域修正部は、前記領域分割結果内の前景領域または背景領域の接続状況や面積に基づいて、
前記領域分割結果内の背景領域を特定することで、
前記領域分割結果に含まれる前景領域内の誤背景領域を検出し、
検出した誤背景領域を前景領域に変換する
ことを特徴とする画像処理装置。
請求項１または請求項２に記載の装置であって、
画像内の球状および類円状のオブジェクト、または、球状および類円状を拡大縮小した形状のオブジェクトを定量情報の算出対象とする、
ことを特徴とする画像処理装置。
画像内のオブジェクトの定量的な情報を算出する画像処理装置であって、
前記画像処理装置は、
画像を入力する入力部と、
画像の背景と前景を分割する領域分割部と、
画像におけるオブジェクトを分離する接触分離部と、
オブジェクトをクラス毎に分類する分類部と、
オブジェクトに関する定量情報を生成する定量情報算出部と、
を含み、
前記入力部は、
定量情報の算出対象である画像を受付け、
前記領域分割部は、
前記画像において、第１のオブジェクトと第２のオブジェクトとを含む前景と、それ以外の領域を含む背景とを分割し、
前記接触分離部は、
前記第１のオブジェクトと前記第２のオブジェクトの少なくとも一方に属する各画素に対して、当該画素から最も近い背景までの距離を輝度値で示す距離マップを生成し、
前記距離マップにおいて、第１軸に沿う輝度値が第２軸に沿う輝度値より低い対象画素（Ｐ）を特定し、
前記対象画素から、前記第１軸の正方向に沿った画素が以下の条件ａ、ｂ、ｃを満たした場合に当該画素を第１の境界基準画素（ＰＲ）とし、
ａ）当該画素が背景画素であり、
ｂ）当該画素の更に正方向に存在する第１の参考画素が背景画素であり、
ｃ）前記第１のオブジェクト及び前記第２のオブジェクトが前記第２軸の正方向および負方向に存在し、前記第１の境界基準画素から前記第１のオブジェクト及び前記第２のオブジェクトに対する距離が所定の距離基準内に存在する画素である、
前記対象画素から、前記第１軸の負方向に沿った画素が以下の条件ｄ、ｅ、ｆを満たした場合に当該画素を第２の境界基準画素（ＰＬ）とし、
ｄ）当該画素が背景画素であり、
ｅ）当該画素の更に負方向に存在する第２の参考画素が背景画素であり、
ｆ）前記第１のオブジェクト及び前記第２のオブジェクトが前記第２軸の正方向および負方向に存在し、前記第２の境界基準画素から前記第１のオブジェクト及び前記第２のオブジェクトに対する距離が所定の距離基準内に存在する画素である、
前記第１の境界基準画素と前記第２の境界基準画素とを結んだ線分を、前記対象画素を通過する分離境界線として生成し、
前記第１のオブジェクトと前記第２のオブジェクトを前記分離境界線に沿って分離した最終画像を生成し、
前記分類部は、
前記第１のオブジェクトと前記第２のオブジェクトをクラス毎に分類し、
前記定量情報算出部は、前記第１のオブジェクトと前記第２のオブジェクトに関する定量情報を生成し、出力する、
ことを特徴とする画像処理装置。
画像内のオブジェクトの定量的な情報を算出する画像処理方法であって、
前記画像処理方法は、
画像を入力する入力処理と
画像の前景と背景を分割する領域分割処理と、
画像内の接触している複数のオブジェクトを分離する接触分離処理と、
各オブジェクトをクラス毎に分類する分類処理と、
オブジェクトに関する定量情報を生成する定量情報算出処理と、
を含み、
前記入力処理は、
定量情報の算出対象である画像を受付け、
前記領域分割処理は、
前記画像において、定量情報の算出対象であるオブジェクトが写っている領域を前景領域、その他を背景領域として画像を分割し、
前記接触分離処理は、
前記画像内の互いに接触している第１のオブジェクトと第２のオブジェクトに対して、
前記領域分割処理で算出する領域分割結果に基づいて、
前記第１のオブジェクトと第２のオブジェクトの接触点を検出し、
接触点から最も近い背景領域を第１の境界基準画素、
第１の境界基準画素から接触点を挟んで逆方向にある背景領域を第２の境界基準画素として、
２つの境界基準画素を結ぶことで前記第１のオブジェクトと第２のオブジェクトを分離し、
前記分類処理は、
前記画像内の各オブジェクトをクラス毎に分類し、
前記定量情報算出処理は、
前記領域分割処理で算出する領域分割結果、前記接触分離処理で算出する接触分離結果、および、前記分類処理で算出する分類結果に基づいて、
オブジェクトに関する定量情報を生成し、出力する、
ことを特徴とする画像処理方法。
請求項６に記載の画像処理方法であって、
前記接触分離処理は、
画像端に存在する接触している複数のオブジェクトを分離するボーダーオブジェクト分離処理と、
画像端以外に存在する接触している複数のオブジェクトを分離する非ボーダーオブジェクト分離処理から構成され、
前記ボーダーオブジェクト分離処理は、
画像端に存在する互いに接触している第１のオブジェクトと第２のオブジェクトに対して、
前記領域分割処理で算出する領域分割結果内の前景領域から各オブジェクトを代表する中心領域を抽出し、
前記各オブジェクトの中心領域同士の位置関係に基づいて、
前記第１のオブジェクトと第２のオブジェクトを分離し、
前記非ボーダーオブジェクト分離処理は、
画像端以外に存在する互いに接触している第１のオブジェクトと第２のオブジェクトを分割する方法として、請求項６に記載の接触分離処理を用いる、
ことを特徴とする画像処理方法。
請求項６または請求項７に記載の画像処理方法であって、
前記領域分割処理で算出する領域分割結果に含まれる、前景領域内の誤背景領域を修正する領域修正処理、
を更に含み、
前記領域修正処理は、前記領域分割結果内の前景領域または背景領域の接続状況や面積に基づいて、
前記領域分割結果内の背景領域を特定することで、
前記領域分割結果に含まれる前景領域内の誤背景領域を検出し、
検出した誤背景領域を前景領域に変換する
ことを特徴とする画像処理方法。
請求項６または請求項７に記載の画像処理方法であって、
画像内の球状および類円状のオブジェクト、または、球状および類円状を拡大縮小した形状のオブジェクトを定量情報の算出対象とする、
ことを特徴とする画像処理方法。
第１のオブジェクトと第２のオブジェクトが互いに接触している画像において、
前記第１のオブジェクトと前記第２のオブジェクトの少なくとも一方に属する各画素に対して、当該画素から最も近い背景までの距離を輝度値で示す距離マップを生成する処理と、
前記距離マップにおいて、第１軸に沿う輝度値が第２軸に沿う輝度値より低い対象画素（Ｐ）を特定する処理と、
前記対象画素から、前記第１軸の正方向に沿った画素が以下の条件ａ、ｂ、ｃを満たした場合に当該画素を第１の境界基準画素（ＰＲ）とする処理と、
ａ）当該画素が背景画素であり、
ｂ）当該画素の更に正方向に存在する第１の参考画素が背景画素である、
ｃ）前記第１のオブジェクト及び前記第２のオブジェクトが前記第２軸の正方向および負方向に存在し、前記第１の境界基準画素から前記第１のオブジェクト及び前記第２のオブジェクトに対する距離が所定の距離基準内に存在する画素である、
前記対象画素から、前記第１軸の負方向に沿った画素が以下の条件ｄ、ｅ、ｆを満たした場合に当該画素を第２の境界基準画素（ＰＬ）とする処理と、
ｄ）当該画素が背景画素であり、
ｅ）当該画素の更に負方向に存在する第２の参考画素が背景画素である、
ｆ）前記第１のオブジェクト及び前記第２のオブジェクトが前記第２軸の正方向および負方向に存在し、前記第２の境界基準画素から前記第１のオブジェクト及び前記第２のオブジェクトに対する距離が所定の距離基準内に存在する画素である、
前記第１の境界基準画素と前記第２の境界基準画素とを結んだ線分を、前記対象画素を通過する分離境界線として生成する処理と、
を含む画像処理方法。
試料の状態を判定する画像処理システムであって、
前記画像処理システムは、
試料の画像を取得する撮影装置と、
前記撮影装置が撮影した画像内のオブジェクトの定量的な情報を算出する画像処理装置と、
前記画像処理装置が出力するオブジェクトの定量的な情報から試料の状態を分析する試料状態分析装置と、
前記試料状態分析装置が出力する試料状態分析結果をユーザーに提示する表示装置と、
を含み、
前記画像処理装置は請求項１乃至５に記載の画像処理装置のいずれかを用いる
ことを特徴とする画像処理システム。
請求項１１に記載の画像処理システムであって、
前記画像処理システムは、
前記撮影装置が取得した画像や
前記画像処理装置が出力する定量情報を保存するストレージ装置
を更に含み、
前記ストレージ装置は、
前記撮影装置が取得した画像、あるいは、画像と画像の属性情報および、
前記定量情報を紐付けて保存すること
を特徴とする画像処理システム。
請求項１２に記載の画像処理システムであって、
前記画像処理システムは
前記撮影装置と
前記試料状態分析装置と
前記表示装置と、
外部装置と通信を行う通信装置と、
を有する画像解析装置と、
前記画像処理装置と、
外部装置と通信を行う通信装置と、
前記画像処理装置が出力する定量情報等を保存するストレージ装置と、
を有するサーバと、
から構成され、
前記通信装置は、
前記撮影装置が撮影した画像と、
前記サーバ内の画像処理装置またはストレージ装置が出力する定量情報を、
前記画像解析装置と前記サーバ間で送受信する
ことを特徴とする画像処理システム。
請求項１２または請求項１３に記載の画像処理システムであって、
前記ストレージ装置は、
前記撮影装置が取得する画像および試料の取得元を表す属性情報と、
前記画像処理装置が出力する定量情報を紐付けて保存し、
前記試料状態分析装置は、
異なる時刻に入力された、同一の属性情報を有する複数の画像および定量情報を用いて、
試料の状態変化を算出し、
算出した試料の状態変化に関する情報を試料状態分析結果として出力する
ことを特徴とする画像処理システム。
請求項１２または請求項１３に記載の画像処理システムであって、
前記ストレージ装置は、
前記画像処理装置が出力する定量情報を蓄積し、
前記試料状態分析装置は、
前記ストレージ装置が出力する蓄積された定量情報から、
平均値や分散値等の統計量を算出し、
前記撮影装置が取得する画像の定量情報と前記統計量との比較により、
分析した試料の状態を試料状態分析結果として出力する
ことを特徴とする画像処理システム。