JP7305046B2 - 画像分類方法及び装置並びに機器 - Google Patents

Description

本出願は、２０２１年０３月２６日に中国特許庁に提出された、出願番号２０２１１０３２２７０３．６、発明の名称が「画像分類方法及び装置並びに機器」である中国特許出願の優先権を主張し、その内容全体は参照により本出願に組み込まれる。

本発明は、画像分類・認識の技術分野に関し、特に画像分類方法及び装置並びに機器に関する。

通常、医用画像の記憶、伝送及び医師の診断、病気の経過の追跡等はすべて、患者の次元で実行される。複雑で様々な種類の画像が混在していることは、必然的に後続の様々なカテゴリの画像の仕分け、ファイリング及び研究に大きな迷惑をもたらす。関連技術では、画像認識モデル又は現在人気のある深層学習ネットワークモデルＣＮＮを使用して画像分類を実施することができる。しかし、画像認識モデルを使用して画像を分類する場合に認識モデルを予め構築しておく必要がある。認識モデルの構築過程では、特徴抽出、特徴符号化、空間制約、分類器設計及びモデル融合等のいくつかの段階が必要であり、研究開発サイクルが長く、アルゴリズム設計者自身の専門的技能、アルゴリズム展開等に対する要求が高い。深層学習ネットワークモデルＣＮＮを使用して画像分類を実施することで、労働力を解放し、迅速で効率的な自動仕分けを実施することができるが、初期段階でニューラルネットワークモデルを構築し、トレーニングデータセットをラベル付けし、モデルパラメータをトレーニングし、最適化する等には多くの時間がかかり、これらも高い技術的閾値及びハードウェア構成を必要とするため、従来の画像分類方法の再現性と汎化能力が低くなり、すぐに使用でき、迅速に複製し、様々な複雑で変わりやすい臨床医学の場面に普及させることは困難である。

これに基づいて、画像を迅速かつ正確に区別できるだけでなく、すぐに使用でき、迅速に複製し、様々な応用場面に適することもできる、画像分類方法及び装置並びに機器を提供する必要がある。

上記目的を達成するために、本発明は、以下の解決手段を提供する。

本出願の一態様によれば、
分類対象の画像を含む、分類対象の画像データセットを入力することと、
前記分類対象の画像の中心を基準中心点とし、特定領域を含むプリセットサイズの画像を標準画像として切り取ることと、
前記標準画像におけるいずれかの単一チャネルの画素値配列を選択し、前記画素値配列に基づいて、対応する信号波形図を描画することと、
前記信号波形図に基づいて前記分類対象の画像のカテゴリを決定することと、を含む、画像分類方法を提供する。

１つの可能な実施形態では、分類対象の画像データセットを入力した後、
画像サイズ及び／又は画像色に基づいて、前記画像データセットにおける分類対象の画像をフィルタリングする操作をさらに含む。

１つの可能な実施形態では、前記標準画像におけるいずれかの単一チャネルの画素値配列を選択し、前記画素値配列に基づいて、対応する信号波形図を描画することは、
前記標準画像におけるいずれかの単一チャネルの画素値配列を選択することと、
前記画素値配列における行画素配列と列画素配列に対してそれぞれ行圧縮と列圧縮を実行して、行画素圧縮配列と列画素圧縮配列を得ることと、
前記行画素圧縮配列と前記列画素圧縮配列に対して曲線平滑化処理を実行することと、
平滑化処理後の前記行画素圧縮配列と前記列画素圧縮配列に基づいて、対応する前記信号波形図を描画することと、を含む。

１つの可能な実施形態では、前記画素値配列における行画素配列と列画素配列に対してそれぞれ行圧縮と列圧縮を実行する場合、
ｙ＿ｒｏｗ＝ｉｍｇ＿ｒ．ｓｕｍ（ａｘｉｓ＝０）＃画素値行圧縮と、
ｙ＿ｃｏｌ＝ｉｍｇ＿ｒ．ｓｕｍ（ａｘｉｓ＝１）＃画素値列圧縮とを使用して実行し、
ここで、ａｘｉｓは、画素値の和の次元を表し、ａｘｉｓ＝０は、各行の画素値の和を表し、ａｘｉｓ＝１は、各列の画素値の和を表す。

１つの可能な実施形態では、前記行画素圧縮配列と前記列画素圧縮配列に対して曲線平滑化処理を実行した後、平滑化処理後の行画素圧縮配列と列画素圧縮配列に対して対数演算処理を実行する操作をさらに含む。

１つの可能な実施形態では、前記信号波形図に基づいて前記分類対象の画像のカテゴリを決定することは、
前記信号波形図における信号波形曲線における画素値変化率のパーセント、前記信号波形曲線における各ピークの尖度及び前記信号波形曲線における列振幅の行振幅に占めるパーセントのうちの少なくとも１つに基づいて、前記分類対象の画像のカテゴリを決定することを含む。

１つの可能な実施形態では、前記画素値配列に基づいて、対応する信号波形図を描画するとき、
ピーク属性に基づいて前記信号波形図における各ピークを検出し、前記信号波形図における各ピークの尖度を計算し、各ピークの尖度に基づいて前記信号波形図を処理することをさらに含み、
ここで、各ピークの尖度に基づいて前記信号波形図を処理することは、尖度が予め設定された尖度の最小閾値より小さいピークを除去する操作を含む。

１つの可能な実施形態では、
前記分類対象の画像を前処理し、前記分類対象の画像におけるラベル領域を位置決めし、位置決めされた前記ラベル領域の形状に基づいて前記分類対象の画像のカテゴリを決定することをさらに含む。

本出願の一態様によれば、データ入力モジュール、画像切り取りモジュール、波形図描画モジュール及び第１カテゴリ決定モジュールを含む、画像分類装置をさらに提供し、
前記データ入力モジュールは、分類対象の画像を含む、分類対象の画像データセットを入力するように配置され、
前記画像切り取りモジュールは、前記分類対象の画像の中心を基準中心点とし、特定領域を含むプリセットサイズの画像を標準画像として切り取るように配置され、
前記波形図描画モジュールは、前記標準画像におけるいずれかの単一チャネルの画素値配列を選択し、前記画素値配列に基づいて、対応する信号波形図を描画するように配置され、
前記第１カテゴリ決定モジュールは、前記信号波形図に基づいて、前記分類対象の画像のカテゴリを決定するように配置される。

本出願の別の態様によれば、
プロセッサと、
プロセッサ実行可能命令を記憶するためのメモリと、を含む、画像分類機器をさらに提供し、
そのうち、前記プロセッサは、前記実行可能命令を実行するときに前のいずれかに記載の方法を実施するように配置される。

分類対象の画像の特定領域を切り取った後、切り取って得られた標準画像からいずれかの単一チャネルの画素値配列を選択し、その後、選択された該単一チャネルの画素値配列に基づいて信号波形図を描画し、それにより分類対象の画像のカテゴリを区別するとき、描画して得られた信号波形図に基づいて区別する。関連技術における画像認識モデル及び深層学習ネットワークモデルＣＮＮ等の方法に比べて、様々な画像の分類を迅速、正確かつ効率的に完了できるだけでなく、分類対象の画像に対して上記処理を実行して、対応する信号波形図を生成するだけで済み、大量のサンプルデータを収集及びラベル付けする必要がなく、認識モデルをトレーニングする等の操作も必要がなく、これにより本出願の実施例による画像分類方法は、すぐに使用できる目的を達成することができ、サンプルデータに依存せず、様々な画像分類の応用場面により適し、最終的に画像分類方法の再現性と汎化能力を効果的に向上させることができる。

本発明の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下に実施例に必要な図面を簡単に紹介し、以下に説明する図面は本発明のいくつかの実施例に過ぎず、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面に想到し得る。

図１は、本出願の一実施例による画像分類方法のフローチャートである。 図２は、本出願の一実施例による画像分類方法の別のフローチャートである。 図３は、本出願の一実施例による画像分類方法における、画像色に基づいて画像データセットにおける分類対象の画像をフィルタリングするときに依拠するＨＳＶ色空間における異なる色の色相閾値分布図である。 図４は、本出願の一実施例による画像分類方法における、描画して得られた信号波形図における各ピークの尖度を検出する原理図である。 図５ａ及び図５ｂは、それぞれ、本出願の一実施例による画像分類方法における、最終的に描画して得られた眼底画像に対応する信号波形図及び外眼画像に対応する信号波形図である。 図６は、本出願の一実施例による画像分類方法における、位置決めされた瞳孔領域の形状に基づいて、分類対象の画像が外眼画像として検出されるときの効果図である。 図７は、本出願の一実施例による画像分類装置の構造ブロック図である。 図８は、本出願の一実施例による画像分類機器の構造ブロック図である。

以下に本発明の実施例における図面を参照して本発明の実施例における技術的解決手段を明確かつ完全に説明し、説明された実施例は、本発明の一部の実施例に過ぎず、すべての実施例ではない。本発明の実施例に基づき、当業者が創造的な労力を要さずに想到し得る他の実施例はすべて、本発明の技術的範囲に属する。

本発明の上記目的、特徴及び利点をより分かりやすくするために、以下に図面及び具体的な実施形態を参照して本発明をさらに詳細に説明する。

図１は、本出願の一実施例による画像分類方法のフローチャートを示す。図１に示すように、該方法は以下のステップを含む。分類対象の画像データセットを入力するステップＳ１００。なお、画像データセットは複数枚の分類対象の画像を含み、これらの分類対象の画像のカテゴリは異なる。具体的には、眼部画像データについて、画像データセットは、ＯＣＴ、眼部Ｂ超音波、グラフィックレポート、ＦＦＡ画像、眼底カメラによって収集された眼底画像、外眼画像等の様々な画像を含むことができる。分類対象の画像の中心を基準中心点とし、特定領域を含むプリセットサイズの画像を標準画像として切り取るステップＳ２００。さらにステップＳ３００により、標準画像におけるいずれかの単一チャネルの画素値配列を選択し、画素値配列に基づいて、対応する信号波形図を描画する。最後に、ステップＳ４００により、描画して得られた信号波形図に基づいて分類対象の画像のカテゴリを決定する。

これにより、本出願の実施例による画像分類方法では、分類対象の画像の特定領域を切り取った後、切り取って得られた標準画像からいずれかの単一チャネルの画素値配列を選択し、その後、選択された該単一チャネルの画素値配列に基づいて信号波形図を描画し、それにより分類対象の画像のカテゴリを区別するとき、描画して得られた信号波形図に基づいて区別する。関連技術における画像認識モデル及び深層学習ネットワークモデルＣＮＮ等の方法に比べて、様々な画像の分類を迅速、正確かつ効率的に完了できるだけでなく、分類対象の画像に対して上記処理を実行して、対応する信号波形図を生成するだけで済み、大量のサンプルデータを収集及びラベル付けする必要はなく、認識モデルをトレーニングする等の操作も必要がなく、これにより本出願の実施例による画像分類方法は、すぐに使用できる目的を達成することができ、サンプルデータに依存せず、様々な画像分類の応用場面により適し、最終的に画像分類方法の再現性と汎化能力を効果的に向上させることができる。

なお、分類対象の画像の中心を基準中心点とし、特定領域を含むプリセットサイズの画像を標準画像として切り取る場合、切り取られた特定領域は、画像データセットに含まれる分類対象の画像の属する大分類に関連付けられる。

つまり、画像データセットに含まれる分類対象の画像は複数枚であり、異なる分類対象の画像のカテゴリも異なるが、それらはすべて同じ大分類に属する。例えば、臨床医学画像を例に挙げると、画像データセットに含まれる分類対象の画像は眼部検出データという大分類に属するが、異なる分類対象の画像は眼部検出画像における異なる画像データに対応する。例えば、分類対象の画像は、眼底カメラによって収集された眼底画像、又は外眼画像であってもよく、分類対象の画像はさらに眼部Ｂ超音波、ＯＣＴ、ＦＦＡ等であってもよい。別の例として、画像データセットに含まれる分類対象の画像は胸部検出データという大分類に属する場合、含まれる分類対象の画像は胸部ＣＴ、胸部Ｂ超音波等のデータであってもよい。また、画像データセットにおける分類対象の画像は、他の応用分野で収集された画像データであってもよく、ここでは例を挙げてそれぞれ説明しない。

すなわち、画像データセットは、様々な応用場面で収集された様々な画像データであってもよい。しかし、なお、画像データセットにおける分類対象の画像はすべて、同じ応用場面で得られた様々な形式又は様々なカテゴリの画像データに属する。

同時に、分類対象の画像を切り取るとき、切り取られた特定領域は、画像データセットにおける各分類対象の画像が属する具体的な応用場面に応じて決定することができる。同様に、臨床医学画像における眼部検出データを例に挙げると、切り取られた特定領域は、瞳孔又は黄斑全体を含む領域である。同様に、プリセットサイズは、画像データセットにおける分類対象の画像が属する具体的な応用場面に応じて設定することもできる。異なる応用場面で設定されたプリセットサイズは異なる。

さらに、本出願の実施例による画像分類方法では、分類対象の画像データセットを入力した後、画像サイズ及び／又は画像色に基づいて、画像データセットにおける分類対象の画像をフィルタリングする操作をさらに含むことができる。なお、グラフィックスサイズ及び画像色という２つの情報に基づいて、画像データセットにおける分類対象の画像をフィルタリングする場合、その前後順序は実際の状況に応じて柔軟に設定することができる。

例えば、図２を参照すると、１つの可能な実施形態では、画像データセットが臨床医学の眼部データである場合、ステップＳ１００により、分類対象の画像データセットを入力した後、最初にステップＳ０２１により、画像サイズに基づいて画像データセットにおける分類対象の画像をフィルタリングし、画像データセットにおけるＯＣＴ、眼部Ｂ超音波及びグラフィックレポート等の小さなサイズの画像データをフィルタリングすることができる。その後、ステップＳ０２２により、画像色に基づいて、フィルタリングされた画像データセットにおける残りの分類対象の画像を再度フィルタリングし、ＦＦＡ画像等のデータを認識及びフィルタリングする。

より具体的には、画像色に基づいて画像データセットにおける残りの分類対象の画像を再度フィルタリングする場合、使用された色認識原理は、具体的には、「ＨＳＶ色空間における様々な色の色相閾値分布」（図３を参照）に基づいて区別することができる。

これは、ＦＦＡ画像が階調画像であり、眼底画像、外眼画像等がＲＧＢ３チャネルカラー画像であり、色認識を使用して３種類の画像をさらに細分化し、ＦＦＡ画像をフィルタリングできるためである。そのうち、眼底画像と外眼画像の色度値はすべて、［‘ｒｅｄ２’，‘ｒｅｄ’，‘ｏｒａｎｇｅ’］の色相区間内にある。

上記方法で画像データセットにおける分類対象の画像を事前にフィルタリング及び認識した後、ステップＳ２００を実行でき、分類対象の画像の中心を基準中心点とし、特定領域を含むプリセットサイズの画像を標準画像として切り取る。ここで、上記によれば、特定領域の選択及びプリセットサイズの設定は、画像データセットが属する具体的な応用場面に応じて実行することができる。臨床医学の眼部画像データについて、切り取られた特定領域は、瞳孔又は黄斑全体を含む領域である。プリセットサイズは、辺長７００ｐｘに設定することができる。分類対象の画像を切り取ることにより、エッジノイズの干渉を除去でき、後続の操作を実行しやすい。

分類対象の画像を標準画像として切り取った後、ステップＳ３００を実行でき、標準画像におけるいずれかの単一チャネルの画素値配列を選択し、画素値配列に基づいて、対応する信号波形図を描画する。なお、画像におけるいずれかの単一チャネルの画素値配列を選択して、対応する信号波形図を描画して生成する場合、現在認識及び区別されている分類対象の画像の地色に基づいて選択することができる。すなわち、本出願の実施例による画像分類方法では、選択された単一チャネルは、現在認識及び区別されている分類対象の画像の地色に近いチャネルである。

同様に、眼底画像データを例に挙げると、眼底画像の地色が黄色に近いため、標準画像における単一チャネルＲの画素値配列を選択し、その後、選択されたＲチャネルの画素値配列に基づいて信号波形図を描画することができる。

ここで、１つの可能な実施形態では、標準画像におけるいずれかの単一チャネルの画素値配列を選択し、画素値配列に基づいて、対応する信号波形図を描画することは、以下の方法で実施することができる。

すなわち、まず、標準画像におけるいずれかの単一チャネルの画素値配列を選択する。その後、画素値配列における行画素配列と列画素配列に対してそれぞれ行圧縮と列圧縮を実行して、行画素圧縮配列と列画素圧縮配列を得る。さらに、行画素圧縮配列と列画素圧縮配列におけるノイズ点を除去するために、行画素圧縮配列と列画素圧縮配列に対して曲線平滑化処理を実行する。最後に、平滑化処理後の行画素圧縮配列と列画素圧縮配列に基づいて、対応する信号波形図を描画する。

ここで、選択された標準画像のある単一チャネルの画素値配列に対してそれぞれ行圧縮と列圧縮を実行する場合、以下の式で計算して得ることができる。

ｙ＿ｒｏｗ＝ｉｍｇ＿ｒ．ｓｕｍ（ａｘｉｓ＝０）＃画素値行圧縮。
ｙ＿ｃｏｌ＝ｉｍｇ＿ｒ．ｓｕｍ（ａｘｉｓ＝１）＃画素値列圧縮。

ここで、ａｘｉｓは、画素値の和の次元を表し、ａｘｉｓ＝０は、各行の画素値の和を表し、ａｘｉｓ＝１は、各列の画素値の和を表す。

選択された単一チャネル画素値配列の行圧縮と列圧縮を完了した後、行画素圧縮配列と列画素圧縮配列に対して曲線平滑化処理を実行することができる。ここで、１つの可能な実施形態では、行画素圧縮配列と列画素圧縮配列におけるノイズ点を除去するために、ｃｉｐｙ．ｓｉｇｎａｌライブラリにおけるｓａｖｇｏｌ＿ｆｉｌｔｅｒを呼び出して平滑化処理を実行することができる。

より具体的には、行画素圧縮配列と列画素圧縮配列に対して曲線平滑化フィルタリング処理を実行する場合の計算式は、

である。

ここで、

は、平滑化係数であり、

は、フィルタウィンドウの幅（すなわち、測定点の総数）を表し、各測定点

である。

さらに、行画素圧縮配列と列画素圧縮配列に対して平滑化処理を実行した後、平滑化処理後の行画素圧縮配列と列画素圧縮配列に対して対数演算処理を実行する操作をさらに含む。平滑化処理後の行画素圧縮配列と列画素圧縮配列に対してそれぞれ対数演算を実行することにより、データの絶対数値を縮小し、便利に計算できるだけでなく、データの性質と相関関係を変更せずに、変数のスケールを圧縮し、モデルの共線性、分散不均一性等も弱める。

上記により平滑化処理後の行画素圧縮配列と列画素圧縮配列を得た後、平滑化処理後の行画素圧縮配列と列画素圧縮配列に基づいて、対応する信号波形図を描画することができる。

１つの可能な実施形態では、圧縮画素値の信号波形図を描画するとき、ｍａｔｐｌｏｔｌｉｂ．ｐｙｐｌｏｔライブラリにおけるｐｌｔ．ｐｌｏｔ関数を直接呼び出して実施することができる。

選択された単一チャネル画素値の信号波形図を描画して生成した後、ステップＳ４００を実行でき、信号波形図に基づいて分類対象の画像のカテゴリを決定する。

具体的には、信号波形図に基づいて分類対象の画像のカテゴリを決定する場合、描画された信号波形図に基づいて、信号波形曲線における画素値変化率のパーセント、信号波形曲線における各ピークの尖度及び信号波形曲線における列振幅の行振幅に占めるパーセントを得ることができ、その後、信号波形曲線における画素値変化率のパーセント、信号波形曲線における各ピークの尖度及び信号波形曲線における列振幅の行振幅に占めるパーセントのうちの少なくとも１つに基づいて、分類対象の画像のカテゴリを認識及び決定する。

より具体的には、本出願の一実施例による画像分類方法では、信号波形曲線における画素値変化率のパーセントは、描画された信号波形図に基づいて計算して得ることができる。その計算式は

であり、ここで、ｄｅｌｔａは、信号波形曲線における画素値変化率のパーセントであり、

は、Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙ平滑化フィルタリング後の最大画素値であり、

は、Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙ平滑化フィルタリング後の最小画素値である。

さらに、１つの可能な実施形態では、信号波形曲線における各ピークの尖度は以下の方法で実施することができる。

すなわち、まず、ピーク属性に基づいて信号波形図内の各ピークを検出する。具体的には、ｓｃｉｐｙ．ｓｉｇｎａｌライブラリにおけるｆｉｎｄ＿ｐｅａｋｓを直接呼び出す方法によって信号波形図のピーク検出を実施することができ、認識された同一周期内の各ピーク信号間の位置間隔はパラメータｄｉｓｔａｎｃｅによって制御され、ピーク信号が満たす必要がある最小閾値

は、

を使用して計算される。

その後、検出されたピークごとに尖度を検出及び計算する。１つの可能な実施形態では、ｓｃｉｐｙ．ｓｉｇｎａｌライブラリにおけるｐｅａｋ＿ｐｒｏｍｉｎｅｎｃｅｓを呼び出す方法によって、信号波形図における各ピークの尖度を計算及び検出することができる。各ピークの尖度を計算及び検出した後、本出願の一実施例による画像分類方法では、信号波形図を後処理するために尖度が小さいピークを除去して、尖度が小さいピークが後続の波形認識に干渉することを避けることをさらに含む。すなわち、信号波形曲線における尖度が予め設定された尖度の最小閾値より小さいピークを除去して、最終的な信号波形図を得る。なお、予め設定された尖度の最小閾値の取り得る値の範囲は

であってもよい。

ここで、尖度ｐｒｏｍｉｎｅｎｃｅの基本原理は図４に示すとおりである。図４に示される垂直矢印は、それぞれ３つのピークに対応する尖度を示し、計算式は

である。

次に、処理された信号波形図に基づいて、信号波形曲線における列振幅の行振幅に占めるパーセントを計算する。ここで、ｃｏｌ振幅のｒｏｗ振幅に占めるパーセントｐｅｒｃｅｎｔ＿ｃｏｌ＿ｉｎ＿ｒｏｗは、眼底画像と外眼画像を判定する基準の１つであり、検出された明らかなピーク信号を信号波形図に表示する。

ここで、図５ａ及び図５ｂを参照すると、それぞれ分類対象の画像が眼底画像である場合の対応する信号波形図及び分類対象の画像が外眼画像である場合の対応する信号波形図を示す。この２枚の信号波形図では、検出された明らかなピーク信号を波形図においてラベル付け及び表示する。

上記方法で対応する信号波形図を最終的に描画して生成した後、信号波形図から得られた信号波形曲線における画素値変化率のパーセント、信号波形曲線における各ピークの尖度及び信号波形曲線における列振幅の行振幅に占めるパーセントのうちの少なくとも１つに基づいて、分類対象の画像のカテゴリを決定することができる。

ここで、上記方法に基づいて分類対象の画像のカテゴリを認識及び決定する場合、信号波形曲線の単調性により、分類対象の画像が眼底画像であるか否かを最初に認識することもできる。信号波形曲線の単調性により、分類対象の画像が眼底画像に一致しないと認識された場合、前の３つの情報のうちの少なくとも１つに基づいて認識及び決定する。

すなわち、１つの可能な実施形態では、信号波形図における信号波形曲線が単調増加又は単調減少であるか否かを最初に判断することができる。信号波形曲線が単調増加又は単調減少であると判断された場合、分類対象の画像が眼底画像であると直接決定することができる。なお、信号波形曲線の単調性は、信号波形曲線の一次導関数が０以上（すなわち、≧０）であるか、又は０以下（すなわち、≦０）であるか否かを計算することによって判断することができる。信号波形曲線が０以上又は０以下であると計算された場合、信号波形曲線が単調増加又は単調減少であることを示し、したがって、該信号波形図に対応する分類対象の画像が眼底画像であると直接決定することができる。

信号波形曲線に単調性がないと判断された場合、すなわち、信号波形曲線が単調増加又は単調減少ではない場合、信号波形曲線における行方向と列方向の画素値変化率のパーセントｄｅｌｔａが第１プリセット値より小さいか否か（ａ）、及び信号波形曲線における行方向と列方向には尖度が第２プリセット値より大きい明らかなピークがないか否か（ｂ）を判断する。

信号波形曲線における行方向と列方向の画素値変化率のパーセントｄｅｌｔａが第１プリセット値より小さく、信号波形曲線における行方向と列方向には尖度が第２プリセット値より大きい明らかなピークがないと判断された場合、該信号波形図に対応する分類対象の画像が眼底画像であると決定することができる。

そのうち、第１プリセット値と第２プリセット値の取り得る値は、実際の状況に応じて柔軟に設定することができる。すなわち、第１プリセット値と第２プリセット値の取り得る値は、現在認識しようとする画像のカテゴリ、具体的な応用場面及び応用ニーズ等の要因に応じて設定することができる。１つの可能な実施形態では、現在認識及び決定しようとする画像のカテゴリが眼底画像又は外眼画像である場合、第１プリセット値の取り得る値は６％であってもよく、第２プリセット値の取り得る値は０．０２であってもよい。

描画して生成された信号波形図がいずれも上記条件を満たさない場合、信号波形図の信号波形曲線におけるｃｏｌ振幅のｒｏｗ振幅に占めるパーセントｐｅｒｃｅｎｔ＿ｃｏｌ＿ｉｎ＿ｒｏｗが第３プリセット値を超えるか否か、及び信号波形曲線における行方向と列方向に沿う画素値変化率のパーセントｄｅｌｔａの少なくとも１つが第４プリセット値より小さいか否かを判断する。

信号波形曲線におけるｃｏｌ振幅のｒｏｗ振幅に占めるパーセントｐｅｒｃｅｎｔ＿ｃｏｌ＿ｉｎ＿ｒｏｗが第３プリセット値を超え、且つ信号波形曲線における行方向と列方向に沿う画素値変化率のパーセントｄｅｌｔａの少なくとも１つが第４プリセット値より小さいと判断された場合、該信号波形図に対応する分類対象の画像が外眼画像であると判定することができる。

そのうち、第３プリセット値と第４プリセット値の取り得る値は、同様に現在認識しようとする画像のカテゴリ、具体的な応用場面及び応用ニーズ等の要因に応じて設定することができる。１つの可能な実施形態では、現在認識及び決定しようとする画像のカテゴリが眼底画像又は外眼画像である場合、第３プリセット値の取り得る値は４０％であってもよく、第４プリセット値の取り得る値は６％であってもよい。

また、１つの可能な実施形態では、信号波形曲線におけるｃｏｌ振幅のｒｏｗ振幅に占めるパーセントｐｅｒｃｅｎｔ＿ｃｏｌ＿ｉｎ＿ｒｏｗが第５プリセット値より小さいと判断された場合、該信号波形図に対応する分類対象の画像が眼底画像であると直接決定することができる。ここで、第５プリセット値の取り得る値は３０％であってもよい。第５プリセット値の取り得る値は、実際の状況における認識しようとする画像のカテゴリ、具体的な応用場面及び応用ニーズ等の要因に応じてテスト及び選択することもでき、ここでは具体的に限定しない。

さらに、画像データセットには、通常、複数枚の分類対象の画像を含むため、前のいずれかの方法で各分類対象の画像のカテゴリを認識及び決定するとき、直接認識できない分類対象の画像がまだ存在する場合、本出願の実施例による画像分類方法では、図２を参照すると、分類対象の画像を前処理し、分類対象の画像におけるラベル領域を位置決めし、位置決めされたラベル領域の形状に基づいて分類対象の画像のカテゴリを決定するステップＳ５００をさらに含む。なお、ラベル領域は、分類対象の画像の属性を特徴付けるためのラベル位置である。ここで、分類対象の画像の属性が画像の属するカテゴリであることは、当業者に理解できる。

例えば、画像データセットが臨床医学の眼部画像である場合、ラベル領域は瞳孔領域を指す。画像データセットが他の画像である場合、ラベル領域は、該画像が属するカテゴリを特徴付けることができる代表的な位置である。ここでは例を挙げてそれぞれ説明しない。

ここで、分類対象の画像を前処理し、分類対象の画像におけるラベル領域を位置決めし、位置決めされたラベル領域の形状に基づいて分類対象の画像のカテゴリを決定する場合、具体的には、以下の方法で実施することができる。

分類対象の画像を前処理することは、分類対象の画像をトリミングし、分類対象の画像を標準画像にトリミングすることを含む。ここで、トリミング方法は前記切り取り方法を直接使用することができ、これにより、分類対象の画像の中心を基準中心点とし、特定領域を含むプリセットサイズの画像を切り取った標準画像を直接読み取ることができる。

その後、標準画像を前処理し、白黒２値画像を得る。具体的には、１つの可能な実施形態では、標準画像に対する前処理は、
フィルタリング、階調変換、２値化等の処理を含むことができる。すなわち、前処理操作は、具体的には、以下のとおりである。標準画像に対してガウスフィルタリングを実行し、一部のノイズ点を除去し、ここで、ｃｖ２．ＧａｕｓｓｉａｎＢｌｕｒを使用してガウスフィルタリングを実行することができ、ガウスカーネルサイズは（５，５）を選択する。

フィルタリングされた元の標準画像を階調画像に変換し、ここで、ｃｖ２．ｃｖｔＣｏｌｏｒｃを使用して階調変換を実行することができる。

変換して得られた階調画像を２値化し、例えば、ｃｖ２．ｔｈｒｅｓｈｏｌｄを使用して階調画像の２値化を実施することができる。

上記いずれかの方法で標準画像に対する前処理を実施した後、以下のステップを実行する。２値画像における各連通領域を検出するステップ。ここで、１つの可能な実施形態では、前処理後の２値化画像に対して順に閉演算、開演算を実行し、孤立したノイズ点をフィルタリングし、その後、２値化画像における密な画素点で形成された連通領域を認識する。ここで、１つの可能な実施形態では、ｃｖ２．ｍｏｒｐｈｏｌｏｇｙＥｘを使用して、２値化画像における密な画素点で形成された連通領域の正確な認識を実施することができる。

次に、検出された連通領域から面積が最大の連通領域を選択して画像の最適な適応トリミングサイズを決定し、さらに決定された最適な適応トリミングサイズに応じて２値化画像に対応するサイズの矩形ボックスを描画するステップ。該過程は、ｃｖ２．ｃｏｎｔｏｕｒＡｒｅａを使用して連通領域の面積を計算することができる。ここで、選択された連通領域の面積は２００００より大きく、連通領域と２値化画像のエッジ輪郭との許容誤差面積は２０００個の画素点より大きくなければならない。

その後、ノイズ干渉を除去し、瞳孔位置を位置決めする操作を実行するステップ。ここで、ノイズ干渉を除去するとき、ｃｖ２．ｇｅｔＳｔｒｕｃｔｕｒｉｎｇＥｌｅｍｅｎｔ方法を使用して２値画像周囲のノイズ干渉を除去することができ、瞳孔位置の位置決めはｃｖ２．ｍｏｒｐｈｏｌｏｇｙＥｘによって完了することができる。なお、本出願の一実施例による画像分類方法では、瞳孔中心の位置は［２００ｐｘ，６６０ｐｘ］の区間範囲内に設定することができる。

上記方法で現在認識及び区別されている分類対象の画像のラベル領域を位置決めすることができる。ラベル領域を位置決めした後、位置決めされたラベル領域の形状に基づいて分類対象の画像のカテゴリを判定することができる。

具体的には、ｃｖ２．ｆｉｔＥｌｌｉｐｓｅによって楕円検出を実行し、眼底画像、外眼画像の分類を完了することができる。図６を参照すると、標準画像で短軸半径が指定された区間範囲内の楕円構造として検出された場合、該画像は外眼画像であると判定する。ここで、１つの可能な実施形態では、外眼画像について、その瞳孔の短軸半径の指定された区間範囲は［８２ｐｘ，７００ｐｘ］であってもよい。

これにより、本出願の実施例による画像分類方法は、信号波形図に基づいて画像データセットにおける分類対象の画像を認識及び決定する過程で、同時に画像におけるラベル領域の形状を組み合わせて決定することにより、画像データセットにおける９３．７％の画像の区別を実現することができ、これにより画像分類の精度を大幅に向上させ、様々な目の位置、様々な目の形、様々な病巣、様々な撮影画角及び様々な露出度と飽和度等の応用場面で収集された様々な画像を正確に区別及び認識することができ、画像分類方法の柔軟性及びロバスト性も効果的に向上させる。

それに対応して、前のいずれかに記載の画像分類方法に基づいて、本出願は、画像分類装置をさらに提供する。本出願が提供する画像分類装置の動作原理は、本出願の画像分類方法の原理と同じ又は類似しているため、重複する説明は省略する。

図７を参照すると、本出願が提供する画像分類装置１００は、データ入力モジュール１１０、画像切り取りモジュール１２０、波形図描画モジュール１３０及び第１カテゴリ決定モジュール１４０を含む。そのうち、データ入力モジュール１１０は、分類対象の画像を含む分類対象の画像データセットを入力するように配置される。画像切り取りモジュール１２０は、分類対象の画像の中心を基準中心点とし、特定領域を含むプリセットサイズの画像を標準画像として切り取るように配置される。波形図描画モジュール１３０は、標準画像におけるいずれかの単一チャネルの画素値配列を選択し、画素値配列に基づいて、対応する信号波形図を描画するように配置される。第１カテゴリ決定モジュール１４０は、信号波形図に基づいて分類対象の画像のカテゴリを決定するように配置される。

１つの可能な実施形態では、第２カテゴリ決定モジュール（図示せず）をさらに含む。ここで、第２カテゴリ決定モジュールは、分類対象の画像を前処理し、分類対象の画像におけるラベル領域を位置決めし、位置決めされたラベル領域の形状に基づいて分類対象の画像のカテゴリを決定するように配置される。

さらに、本出願の別の態様によれば、画像分類機器２００をさらに提供する。図８を参照すると、本出願の実施例による画像分類機器２００は、プロセッサ２１０及びプロセッサ２１０によって実行可能な命令を記憶するためのメモリ２２０を含む。そのうち、プロセッサ２１０は、実行可能命令を実行するときに前のいずれかに記載の画像分類方法を実施するように配置される。

なお、プロセッサ２１０の数は１つ又は複数であってもよい。同時に、本発明の実施例による画像分類機器２００は、入力装置２３０及び出力装置２４０をさらに含むことができる。そのうち、プロセッサ２１０、メモリ２２０、入力装置２３０及び出力装置２４０は、バスを介して接続されてもよく、他の方法で接続されてもよく、ここでは具体的に限定しない。

メモリ２２０は、コンピュータ可読記憶媒体として、ソフトウェアプログラム、コンピュータ実行可能プログラム及び様々なモジュール、例えば本出願の実施例による画像分類方法に対応するプログラム又はモジュールを記憶するために使用することができる。プロセッサ２１０は、メモリ２２０に記憶されたソフトウェアプログラム又はモジュールを実行することにより、画像分類機器２００の様々な機能アプリケーション及びデータ処理を実行する。

入力装置２３０は、入力されたデジタルまたは信号を受信するために使用することができる。そのうち、信号は、機器／端末／サーバのユーザ設定及び機能制御に関連するキー信号であってもよい。出力装置２４０は、表示画面等の表示機器を含むことができる。

本明細書における各実施例は漸進的に説明され、各実施例は他の実施例との相違点を重点的に説明し、各実施例の間の同じ又は類似の部分は互いに参照することができる。実施例に開示されたシステムについては、実施例に開示された方法に対応するため、説明が簡単であり、関連する部分は方法部分の説明を参照することができる。

本明細書において具体的な例を使用して本発明の原理及び実施形態を説明したが、以上の実施例の説明は本発明の方法及びその中核思想の理解を助けるためのものに過ぎず、それとともに、当業者であれば、本発明の思想に基づいて具体的な実施形態及び応用範囲を変更可能である。要約すると、本明細書の内容は本発明に対する制限として理解されるべきではない。

Claims (10)

1. 分類対象の画像を含む、分類対象の画像データセットを入力することと、
   前記分類対象の画像の中心を基準中心点とし、特定領域を含むプリセットサイズの画像を標準画像として切り取ることと、
   前記標準画像におけるいずれかの単一チャネルの画素値配列を選択し、前記画素値配列に基づいて、対応する信号波形図を描画することと、
   前記信号波形図に基づいて前記分類対象の画像のカテゴリを決定することと、を含むことを特徴とする画像分類方法。
2. 分類対象の画像データセットを入力した後、
   画像サイズ及び／又は画像色に基づいて前記画像データセットにおける分類対象の画像をフィルタリングする操作をさらに含むことを特徴とする請求項１に記載の方法。
3. 前記標準画像におけるいずれかの単一チャネルの画素値配列を選択し、前記画素値配列に基づいて、対応する信号波形図を描画することは、
   前記標準画像におけるいずれかの単一チャネルの画素値配列を選択することと、
   前記画素値配列における行画素配列と列画素配列に対してそれぞれ行圧縮と列圧縮を実行して、行画素圧縮配列と列画素圧縮配列を得ることと、
   前記行画素圧縮配列と前記列画素圧縮配列に対して曲線平滑化処理を実行することと、
   平滑化処理後の前記行画素圧縮配列と前記列画素圧縮配列に基づいて、対応する前記信号波形図を描画することと、を含むことを特徴とする請求項１に記載の方法。
4. 前記画素値配列における行画素配列と列画素配列に対してそれぞれ行圧縮と列圧縮を実行する場合、
   ｙ＿ｒｏｗ＝ｉｍｇ＿ｒ．ｓｕｍ（ａｘｉｓ＝０）＃画素値行圧縮と、
   ｙ＿ｃｏｌ＝ｉｍｇ＿ｒ．ｓｕｍ（ａｘｉｓ＝１）＃画素値列圧縮とを使用して実行し、
   ここで、ａｘｉｓは、画素値の和の次元を表し、ａｘｉｓ＝０は、各行の画素値の和を表し、ａｘｉｓ＝１は、各列の画素値の和を表すことを特徴とする請求項３に記載の方法。
5. 前記行画素圧縮配列と前記列画素圧縮配列に対して曲線平滑化処理を実行した後、平滑化処理後の行画素圧縮配列と列画素圧縮配列に対して対数演算処理を実行する操作をさらに含むことを特徴とする請求項３に記載の方法。
6. 前記信号波形図に基づいて前記分類対象の画像のカテゴリを決定することは、
   前記信号波形図における信号波形曲線における画素値変化率のパーセント、前記信号波形曲線における各ピークの尖度及び前記信号波形曲線における列振幅の行振幅に占めるパーセントのうちの少なくとも１つに基づいて、前記分類対象の画像のカテゴリを決定することを含むことを特徴とする請求項１～５のいずれか一項に記載の方法。
7. 前記画素値配列に基づいて、対応する信号波形図を描画するとき、
   ピーク属性に基づいて前記信号波形図における各ピークを検出し、前記信号波形図における各ピークの尖度を計算し、各ピークの尖度に基づいて前記信号波形図を処理することをさらに含み、
   ここで、各ピークの尖度に基づいて前記信号波形図を処理することは、尖度が予め設定された尖度の最小閾値より小さいピークを除去する操作を含むことを特徴とする請求項１又は３に記載の方法。
8. 前記分類対象の画像を前処理し、前記分類対象の画像におけるラベル領域を位置決めし、位置決めされた前記ラベル領域の形状に基づいて前記分類対象の画像のカテゴリを決定することをさらに含む請求項１～５のいずれか一項に記載の方法。
9. データ入力モジュール、画像切り取りモジュール、波形図描画モジュール及び第１カテゴリ決定モジュールを含み、
   前記データ入力モジュールは、分類対象の画像を含む、分類対象の画像データセットを入力するように配置され、
   前記画像切り取りモジュールは、前記分類対象の画像の中心を基準中心点とし、特定領域を含むプリセットサイズの画像を標準画像として切り取るように配置され、
   前記波形図描画モジュールは、前記標準画像におけるいずれかの単一チャネルの画素値配列を選択し、前記画素値配列に基づいて、対応する信号波形図を描画するように配置され、
   前記第１カテゴリ決定モジュールは、前記信号波形図に基づいて、前記分類対象の画像のカテゴリを決定するように配置されることを特徴とする画像分類装置。
10. プロセッサと、
    プロセッサ実行可能命令を記憶するためのメモリと、を含み、
    そのうち、前記プロセッサは、前記実行可能命令を実行するときに請求項１～８のいずれか一項に記載の方法を実施するように配置されることを特徴とする画像分類機器。

Images