JP7235272B2 - 画像処理装置及び検査システム - Google Patents

Description

本発明は、画像処理装置及び検査システム、特に、対象物の特徴と一致する特徴が検査対象物に存在するか否かを自律的に判断する人工知能プログラムに機械学習をさせる学習データを生成する画像処理装置、及び対象物の特徴と一致する特徴が検査対象物に存在するか否かを判断して検査対象物を検査する検査システムに関する。

ソフトウェアによって画像処理を行う場合は、処理を行う領域を選択する作業が必要となる。例えば、特許文献１では、画像表示手段に表示された画像データ上の任意の位置を選択する選択手段を備えた画像表示装置が提案されている。

この種の画像表示装置では、ユーザが画像データ上の任意の位置を選択する際のユーザインターフェースとして、例えば、処理を行う領域を輪郭で囲むいわゆる投げ縄表示とも称される手法が採用されることがある。

特開平１１－３０６３７４公報

ところで、人工知能技術を用いて、対象物の特徴を学習させ、その特徴に基づいた対象物の選別を行わせるような場合は、例えば、対象物の画像データを用いて人工知能プログラムに対象物の特徴を学習させる必要がある。

このように、対象物の画像データを用いて人工知能プログラムに対象物の特徴を学習させる場合は、画像データに表示される対象物の特徴のある部分を画像データ上において選択する必要がある。

一方で、人工知能プログラムに対象物の特徴を学習させる場合は、一般に、大量の画像データが必要となることから、画像データに表示される対象物の特徴のある部分を選択する作業が煩雑になることが想定される。

本発明は、上記事情に鑑みてなされたものであり、画像データを用いて人工知能プログラムに対象物の特徴を学習させる際に画像データ上において対象物の特徴のある部分を簡易に選択して学習データを生成することができる画像処理装置、及び画像処理装置で生成された学習データに基づいて効率的に機械学習を行うことができる人工知能プログラムを具備した検査システムを提供することを課題とするものである。

上記課題を解決するための画像処理装置は、対象物の特徴と一致する特徴が検査対象物に存在するか否かを自律的に判断する人工知能プログラムに機械学習をさせる学習データを生成する画像処理装置において、対象物が画像として取り込まれた対象物モデル画像を表示する表示部と、表示部に表示された対象物モデル画像を観察しながら対象物モデル画像に画像として取り込まれた対象物の任意の部分を対象物の特徴として選択して重みづけを行いつつアノテーションを付与することが可能なアノテーション付与部と、を備え、アノテーション付与部で対象物モデル画像にアノテーションが付与されることによって対象物モデル画像から学習データが生成されることを特徴としている。

この画像処理装置によれば、アノテーションを付与するという簡易な操作によって、人工知能プログラムに大量に入力される対象物モデル画像に画像として取り込まれた対象物の任意の部分を、対象物の特徴として選択することができる。

しかも、対象物モデル画像にアノテーションを付与することによって、対象物モデル画像を学習データとすることができることから、アノテーションを付与するという簡易な操作によって、学習データを容易に生成することができる。

上記課題を解決するための検査システムは、対象物の特徴と一致する特徴が検査対象物に存在するか否かを判断して検査対象物を検査する検査システムにおいて、対象物が画像として取り込まれた対象物モデル画像を表示する表示部と、表示部に表示された対象物モデル画像に画像として取り込まれた対象物の任意の部分を対象物の特徴として選択して重みづけを行いつつアノテーションを付与するアノテーション付与部と、アノテーション付与部で対象物モデル画像にアノテーションが付与されることによって対象物モデル画像から生成された学習データにより機械学習をさせた学習済みモデルに基づいて学習済みモデルとして学習された対象物の特徴と一致する特徴が検査対象物に存在するか否かを自律的に判断して検査対象物を検査する人工知能プログラムと、人工知能プログラムによる検査対象物の検査の結果を結果データとして出力して結果データを表示部に表示させる出力部と、を備え、表示部に表示される結果データが対象物モデル画像と見立てられて結果データに基づいてアノテーションが付与されて学習データが生成されることを特徴としている。

この検査システムによれば、アノテーションを対象物モデル画像に付与するという簡易な操作で学習データを容易に生成することができることから、人工知能プログラムが効率的に機械学習を行うことができる。したがって、検査対象物の検査を行う際の作業性を向上させることができる。

さらに、この検査システムでは、予め設定された表示基準に基づいて人工知能プログラムによる検査対象物の検査の結果が表示部に表示され、表示基準を変更して変更した表示基準に対応した検査対象物の検査の結果を表示部に表示させる表示基準変更部を備えることを特徴としている。

このように、予め設定された表示基準を表示基準変更部で変更することができることから、所望の表示基準で検査対象物の検査の結果を表示部に表示させることができる。

しかも、この検査システムの表示基準変更部は、表示基準の上限及び下限が互いに独立して設定可能に形成されていることを特徴としていることから、表示基準を変更する際の操作性が向上する。

この発明によると、対象物モデル画像にアノテーションを付与するという簡易な操作によって、学習データを容易に生成することができる。さらに、人工知能プログラムが効率的に機械学習を行うことができる。

本発明の実施の形態に係る検査システムで用いる対象物及び検査対象物の概略を説明する図である。 本発明の実施の形態に係る検査システムの概略を説明するブロック図である。 同じく、本実施の形態に係る対象物モデル画像の概略及びアノテーション付与部における処理の概略を説明する図である。 同じく、本実施の形態に係る人工知能プログラムの処理の概略を説明するブロック図である。 同じく、本実施の形態に係る表示基準変更部の処理の概略を説明する図である。 同じく、本実施の形態に係る表示基準変更部の処理の概略を説明する図である。

次に、本発明の実施の形態について、図１～図６に基づいて説明する。

本実施の形態に係る検査システムの概略の説明に先立って、まず、本実施の形態に係る検査システムで用いる対象物及び検査対象物の概略を説明する。

図１（ａ）は、対象物の概略を説明する図、図１（ｂ）は、検査対象物の概略を説明する図である。図１（ａ）で示すように、対象物Ｗ１は、本実施の形態では人体から採取した組織Ｔ１であって、この組織Ｔ１をプレパラートによって病理標本としたものが画像として取り込まれることによって、対象物モデル画像Ｄ１が構成される。

この対象物モデル画像Ｄ１は、複数の人体から採取した複数の組織Ｔ１に基づいて、複数の画像データとして予め大量に生成されている。

この対象物モデル画像Ｄ１に画像として取り込まれた病理標本の組織Ｔ１には、本実施の形態では、正常な細胞ではない異常細胞Ｃが組織Ｔ１の特徴として複数存在している。

一方、図１（ｂ）で示すように、検査対象物Ｗ２は、本実施の形態では人体から採取した組織Ｔ２であって、この組織Ｔ２をプレパラートによって病理標本としたものが画像として取り込まれることによって、検査対象物画像Ｄ５が構成される。

この検査対象物画像Ｄ５に画像として取り込まれた組織Ｔ２が、検査システムによる検査の対象となるものであって、例えば、がん診断を行う際に、診断を受ける者の患部から採取した組織によって、組織Ｔ２が構成される。

本実施の形態では、検査対象物画像Ｄ５に画像として取り込まれた病理標本の組織Ｔ２に、正常な細胞ではない異常細胞Ｃが組織Ｔ２の特徴として複数存在している。

次に、本実施の形態に係る検査システムの概略を説明する。

図２は、本実施の形態に係る検査システムの概略を説明するブロック図である。図示のように、検査システム１は、コンピュータ１０、コンピュータ１０と接続されるスキャナ１１、及びコンピュータ１０と接続される表示部であるディスプレイ１２を備える。

コンピュータ１０は、後述するスキャナ１１を介して対象物モデル画像Ｄ１が入力される画像処理装置２０、画像処理装置２０と接続される人工知能プログラム２１、及び人工知能プログラム２１と画像処理装置２０とが接続されるディスプレイ機能設定部２２を備える。

画像処理装置２０は、本実施の形態では、対象物モデル画像Ｄ１を取得してこの対象物モデル画像Ｄ１を人工知能プログラム２１及びディスプレイ機能設定部２２に出力する画像取得部２０ａを備える。

画像取得部２０ａで取得してディスプレイ機能設定部２２に出力された対象物モデル画像Ｄ１は、本実施の形態ではディスプレイ１２に表示される。

さらに、画像処理装置２０は、対象物モデル画像Ｄ１に画像として予め取り込まれた画像データにおける対象物の任意の部分を対象物の特徴として選択してアノテーションを付与するプログラムであるアノテーション付与部２０ｂを備える。

このアノテーション付与部２０ｂは、画像取得部２０ａから人工知能プログラム２１に出力された対象物モデル画像Ｄ１にアノテーションを付与するとともに、画像取得部２０ａで取得してディスプレイ機能設定部２２に出力されてディスプレイ１２に表示される対象物モデル画像Ｄ１にアノテーションを表示する。

図３は、アノテーション付与部２０ｂにおける処理の概略を説明する図である。本実施の形態では、図示のように、対象物モデル画像Ｄ１に画像として取り込まれた病理標本の組織Ｔ１の特徴として存在する複数の異常細胞Ｃの全てががん細胞であると判断されて、アノテーション付与部２０ｂによってアノテーションＤ２が付与される。

アノテーションＤ２の付与は、画像取得部２０ａ及びディスプレイ機能設定部２２を介してディスプレイ１２に表示される対象物モデル画像Ｄ１が観察されながら、画像取得部２０ａから人口知能プログラム２１に出力された対象物モデル画像Ｄ１に、例えばマウスやポインティングデバイスといった外部入力機器が操作されることによって付与される。

アノテーションＤ２を付与する際には、図示しない重みづけのコマンドを選択することによって、付与するアノテーションＤ２に重みづけを行うことができる。

人工知能プログラム２１は、スキャナ１１を介して入力される検査対象物画像Ｄ５における組織Ｔ２を検査するプログラムである。

図４は、人工知能プログラム２１の処理の概略を説明するブロック図である。図示のように、人工知能プログラム２１では、対象物モデル画像Ｄ１における組織Ｔ１の特徴として存在する複数の異常細胞ＣにアノテーションＤ２が付与されることによって、対象物モデル画像Ｄ１から学習データＤ３が生成される。

さらに、人工知能プログラム２１は、生成した学習データＤ３で機械学習をすることによって、学習済みモデルＤ４を生成する。

機械学習を行う手法としては、ニューラルネットワーク、ランダムフォレスト、ＳＶＭ（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）等、各種のアルゴリズムが適宜用いられる。

このように、人工知能プログラム２１は、学習済みモデルＤ４に基づいて、学習済みモデルＤ４として学習された対象物モデル画像Ｄ１における組織Ｔ１の複数の異常細胞Ｃと一致する異常細胞Ｃが、検査対象物画像Ｄ５における組織Ｔ２に存在するか否かを自律的に判断して、組織Ｔ２を検査する。

ディスプレイ機能設定部２２は、図２で示すように、画像取得部２０ａ及び人工知能プログラム２１に接続されてディスプレイ１２に接続する出力部２２ａ、出力部２２ａに接続する表示基準設定部２２ｂ、及びこの表示基準設定部２２ｂに接続する表示基準変更部２２ｃを備える。

出力部２２ａは、画像処理装置２０の画像取得部２０ａから出力された対象物モデル画像Ｄ１をディスプレイ１２に出力して、対象物モデル画像Ｄ１をディスプレイ１２に表示させる。

さらに出力部２２ａは、人工知能プログラム２１による組織Ｔ２の検査の結果を結果データとしてディスプレイ１２に出力して、結果データをディスプレイ１２に表示させる。

表示基準設定部２２ｂには、人工知能プログラム２１による組織Ｔ２の検査の結果を結果データとしてディスプレイ１２に表示する際の表示基準が予め設定されている。

この表示基準は、例えば、対象物モデル画像Ｄ１における組織Ｔ１の複数の異常細胞Ｃと一致する異常細胞Ｃが検査対象物画像Ｄ５における組織Ｔ２に存在する割合に基づいて定められる。

例えば、組織Ｔ１の複数の異常細胞Ｃと一致する異常細胞Ｃが検査対象物画像Ｄ５における組織Ｔ２に存在する割合が６０％と定められているのであれば、６０％の割合で一致する人工知能プログラム２１による組織Ｔ２の検査の結果を結果データとしてディスプレイ１２に表示する。

この場合、結果データには、対象物モデル画像Ｄ１における組織Ｔ１においてがん細胞であると判断されてアノテーションＤ２が付与された異常細胞Ｃと６０％の割合で一致すると判断された、検査対象物画像Ｄ５における組織Ｔ２に存在する異常細胞Ｃにマーカが付与される。

図５及び図６は、表示基準変更部２２ｃの処理の概略を説明する図である。この表示基準変更部２２ｃは、表示基準設定部２２ｂに設定された表示基準を変更するものである。

図示のように、表示基準変更部２２ｃは、組織Ｔ１の複数の異常細胞Ｃと組織Ｔ２の異常細胞Ｃとの一致の割合の下限を設定するＭｉｎスライダ２２ｃａ、及びＭｉｎスライダ２２ｃａと独立して組織Ｔ１の複数の異常細胞Ｃと組織Ｔ２の異常細胞Ｃとの一致の割合の上限を設定するＭａｘスライダ２２ｃｂを備える。

この表示基準変更部２２ｃは、結果データＤ６とともにディスプレイ１２に表示され、図５で示すように、Ｍｉｎスライダ２２ｃａが８０％に設定され、Ｍａｘスライダ２２ｃｂが１００％に設定されている場合には、８０％以上の割合で一致する人工知能プログラム２１による組織Ｔ２の検査の結果が結果データＤ６としてディスプレイ１２に表示される。

すなわち、対象物モデル画像Ｄ１における組織Ｔ１においてがん細胞であると判断されてアノテーションＤ２が付与された異常細胞Ｃと８０％以上の割合で一致する異常細胞Ｃが、検査対象物画像Ｄ５における組織Ｔ２に存在すると判断されたこととなり、検査対象物画像Ｄ５における組織Ｔ２に存在する異常細胞Ｃに、マーカＭが付与されている。

一方、図６で示すように、Ｍｉｎスライダ２２ｃａが６０％に設定され、Ｍａｘスライダ２２ｃｂが８０％に設定されている場合には、６０％～８０％の割合で一致する人工知能プログラム２１による組織Ｔ２の検査の結果が結果データＤ６としてディスプレイ１２に表示される。

すなわち、対象物モデル画像Ｄ１における組織Ｔ１においてがん細胞であると判断されてアノテーションＤ２が付与された異常細胞Ｃと６０％～８０％の割合で一致する異常細胞Ｃが、検査対象物画像Ｄ５における組織Ｔ２に存在すると判断されたこととなり、検査対象物画像Ｄ５における組織Ｔ２に存在する異常細胞Ｃに、マーカＭが付与されている。

このように、表示基準変更部２２ｃでは、予め設定された表示基準を変更することによって、組織Ｔ１の複数の異常細胞Ｃと組織Ｔ２の異常細胞Ｃとの一致の割合を所望の割合に変更して、変更した一致の割合に対応した結果データＤ６をディスプレイ１２に表示させることができる。

スキャナ１１は、本実施の形態では、対象物モデル画像Ｄ１を取り込んで画像処理装置２０に出力するとともに、検査対象物画像Ｄ５を取り込んで人工知能プログラム２１に出力する。

ディスプレイ１２は、本実施の形態では、画像処理装置２０の画像取得部２０ａから出力された対象物モデル画像Ｄ１を表示するとともに、人工知能プログラム２１による検査対象物画像Ｄ５における組織Ｔ２の検査の結果を結果データＤ６として表示する。

次に、本実施の形態に係る検査システム１の運用について説明する。

ユーザは、まず、複数の対象物モデル画像Ｄ１をスキャナ１１で取り込んで、取り込んだ複数の対象物モデル画像Ｄ１を画像処理装置２０に出力させる。

画像処理装置２０に出力させた複数の対象物モデル画像Ｄ１は、ディスプレイ機能設定部２２に出力されてディスプレイ１２に表示されるとともに、人工知能プログラム２１に出力される。

ユーザは、ディスプレイ１２に表示される複数の対象物モデル画像Ｄ１を観察しながら、例えばマウスやポインティングデバイスといった外部入力機器を操作して、人口知能プログラム２１に出力された複数の対象物モデル画像Ｄ１にアノテーションＤ２を付与する。

本実施の形態では、対象物モデル画像Ｄ１に画像として取り込まれた病理標本の組織Ｔ１の特徴として存在する複数の異常細胞Ｃのそれぞれについて、がん細胞であるか否かを判断し、がん細胞であると判断した異常細胞ＣにアノテーションＤ２を付与する。

このように、人口知能プログラム２１に出力された対象物モデル画像Ｄ１にアノテーションＤ２が付与されることによって、人工知能プログラム２１において、対象物モデル画像Ｄ１から学習データＤ３が生成される。

学習データＤ３が生成されると、人工知能プログラム２１では、生成した学習データＤ３で機械学習が実行されることによって、学習済みモデルＤ４が生成される。これにより、検査システム１で検査対象物画像Ｄ５における組織Ｔ２を検査する準備が完了する。

続いて、ユーザは、検査対象物画像Ｄ５をスキャナ１１で取り込んで、取り込んだ検査対象物画像Ｄ５を人工知能プログラム２１に出力させる。

人工知能プログラム２１は、学習済みモデルＤ４に基づいて、学習済みモデルＤ４として学習された対象物モデル画像Ｄ１における組織Ｔ１の複数の異常細胞Ｃと一致する異常細胞Ｃが、検査対象物画像Ｄ５における組織Ｔ２に存在するか否かを自律的に判断して、組織Ｔ２を検査する。

人工知能プログラム２１による組織Ｔ２の検査の結果は、表示基準設定部２２ｂに予め設定された表示基準に基づいて、結果データＤ６としてディスプレイ１２に表示される。

例えば、組織Ｔ１の複数の異常細胞Ｃと一致する異常細胞Ｃが検査対象物画像Ｄ５における組織Ｔ２に存在する割合が６０％であると表示基準に定められているのであれば、６０％の割合で一致する人工知能プログラム２１による組織Ｔ２の検査の結果が結果データとしてディスプレイ１２に表示される。

一方、予め設定された表示基準を表示基準変更部２２ｃで変更することによって、組織Ｔ１の複数の異常細胞Ｃと組織Ｔ２の異常細胞Ｃとの一致の割合を所望の割合に変更して、変更した一致の割合に対応した結果データＤ６をディスプレイ１２に表示させることができる。

したがって、例えば、８０％以上の割合で一致する人工知能プログラム２１による組織Ｔ２の検査の結果が結果データＤ６としてディスプレイ１２に表示されると、異常細胞Ｃではあってもがん細胞ではないものまでマーカＭが付されて結果データＤ６がディスプレイ１２に表示されてしまうといった場合が想定される。

このような場合には、６０％～８０％の割合で一致する人工知能プログラム２１による組織Ｔ２の検査の結果が結果データＤ６としてディスプレイ１２に表示されるように表示基準を変更して、がん細胞ではない異常細胞ＣにはマーカＭが付されていない結果データＤ６がディスプレイ１２に表示されるようにすればよい。

一方、ディスプレイ１２に表示される結果データＤ６を見て、人工知能プログラム２１が組織Ｔ２の異常細胞Ｃをがん細胞であると判断する一致の割合が高すぎる、あるいは低すぎると判断した場合は、結果データＤ６を対象物モデル画像Ｄ１と見立てて、アノテーションＤ２の付与を再度行って、人工知能プログラム２１の再度の学習に供する。

このように、本実施の形態の検査システム１は、画像処理装置２０において、アノテーションＤ２を付与するという簡易な操作によって、人工知能プログラム２１に大量に入力される対象物モデル画像Ｄ１に、画像として予め取り込まれた組織Ｔ２の異常細胞Ｃを、組織Ｔ２の特徴として選択することができる。

しかも、対象物モデル画像Ｄ１にアノテーションＤ２を付与することによって、対象物モデル画像Ｄ１を学習データＤ３とすることができることから、アノテーションＤ２を付与するという簡易な操作によって、学習データＤ３を容易に生成することができる。

本実施の形態の検査システム１は、アノテーションＤ２を対象物モデル画像Ｄ１に付与するという簡易な操作で学習データＤ３を容易に生成することができることから、人工知能プログラム２１が、効率的に機械学習を行うことができる。

したがって、検査対象物画像Ｄ５における組織Ｔ２の検査を行う際の作業性を向上させることができる。

しかも、人工知能プログラム２１による組織Ｔ２の検査を結果データＤ６としてディスプレイ１２に表示させる際に、予め設定された表示基準を表示基準変更部２２ｃで変更することができることから、所望の表示基準で結果データＤ６をディスプレイ１２に表示させることができる。

この表示基準変更部２２ｃは、表示基準の下限を設定するＭｉｎスライダ２２ｃａ、及びＭｉｎスライダ２２ｃａと独立して表示基準の上限を設定するＭａｘスライダ２２ｃｂを備え、それぞれ独立して操作することができることから、表示基準を変更する際の操作性が向上する。

なお、本発明は上記実施の形態に限定されることはなく、発明の趣旨を逸脱しない範囲で種々変更可能である。上記実施の形態では、対象物Ｗ１及び検査対象物Ｗ２がそれぞれ、人体から採取した組織Ｔ１及び組織Ｔ２である場合を説明したが、例えば樹脂製品や半導体基板の表面の汚れ、混入した不純物、あるいは成形不良部分といったように、検査システム１で検査可能なものであれば、対象物Ｗ１及び検査対象物Ｗ２とすることができる。

上記実施の形態では、アノテーションＤ２の付与が、マウスやポインティングデバイスといった外部入力機器が操作されることによって付与される場合を説明したが、例えばタッチパネル型のディスプレイを採用して、画面に接触することでアノテーションＤ２を付与するように構成してもよい。

１ 検査システム
１０ コンピュータ
１２ ディスプレイ（表示部）
２０ 画像処理装置
２０ｂ アノテーション付与部
２１ 人工知能プログラム
２２ ディスプレイ機能設定部
２２ｂ 表示基準設定部
２２ｃ 表示基準変更部
Ｄ１ 対象物モデル画像
Ｄ２ アノテーション
Ｄ３ 学習データ
Ｄ４ 学習済みモデル
Ｄ５ 検査対象物画像
Ｄ６ 結果データ
Ｔ１ 組織
Ｔ２ 組織
Ｗ１ 対象物
Ｗ２ 検査対象物

Claims (2)

1. 対象物の特徴と一致する特徴が検査対象物に存在するか否かを判断して前記検査対象物を検査する検査システムにおいて、
   前記対象物が画像として取り込まれた対象物モデル画像を表示する表示部と、
   該表示部に表示された前記対象物モデル画像に画像として取り込まれた前記対象物の複数の任意の部分をそれぞれ前記対象物の特徴として選択して重みづけを行いつつアノテーションを付与するアノテーション付与部と、
   該アノテーション付与部で前記対象物モデル画像の前記対象物の複数の特徴に前記アノテーションが付与されることによって該対象物モデル画像から生成された学習データにより機械学習をさせた学習済みモデルに基づいて該学習済みモデルとして学習された前記対象物の特徴と一致する特徴が前記検査対象物に存在するか否かを自律的に判断して前記検査対象物を検査する人工知能プログラムと、
   該人工知能プログラムによる前記検査対象物の検査の結果を結果データとして出力して、前記対象物モデル画像における前記対象物の特徴と一致する特徴が前記検査対象物に存在する割合が予め設定された表示基準に基づいて前記結果データを前記表示部に表示させる出力部と、
   前記表示基準を変更して変更した前記表示基準に対応した前記検査対象物の検査の結果を前記表示部に表示させる表示基準変更部と、を備え、
   前記表示部に表示される前記結果データが前記対象物モデル画像と見立てられて前記結果データに基づいて前記アノテーションが付与されて前記学習データが生成されることを特徴とする検査システム。
2. 前記表示基準変更部は、
   前記表示基準の上限及び下限が互いに独立して設定可能に形成されていることを特徴とする請求項１に記載の検査システム。

Images