JP7090836B2

JP7090836B2 - 結腸ポリープ画像の処理方法並びに、その装置、コンピュータプログラム及びシステム

Info

Publication number: JP7090836B2
Application number: JP2021512995A
Authority: JP
Inventors: 星▲輝▼ 付; ▲鐘▼前 ▲孫▼; ▲鴻▼ 尚; 子健章; 巍 ▲楊▼
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2018-10-31
Filing date: 2019-10-23
Publication date: 2022-06-27
Anticipated expiration: 2039-10-23
Also published as: CN109447973B; US11468563B2; WO2020088328A1; US20210004959A1; EP3876188A4; CN109447973A; US20220392068A1; JP2021520980A; US11748883B2; EP3876188A1

Description

「関連出願の相互参照」
本願は、２０１８年１０月３１日に中国専利局に提出された、出願番号が第２０１８１１２８７４８９．Ｘ号であり、発明の名称が「結腸ポリープ画像の処理方法並びに、その装置及びシステム」である中国特許出願の優先権を主張し、その内容全体は参照により本願に組み込まれる。

本願の実施例は、コンピュータ技術分野に関し、特に、結腸ポリープ画像の処理方法並びに、その装置及びシステムに関する。

現在、中国で多発する悪性腫瘍タイプの中で、結腸癌は上位５位以内に位置している。一方、結腸癌の北米と欧州における発病率は同様に高止まりしている。結腸癌は結腸部位によく発生する消化管悪性腫瘍である。一般に、末期結腸癌の患者の５０％は再発及び転移により死亡し、早期結腸癌の患者の１００％近くは完全に治癒する。そのため、結腸癌の予防・治療が非常に必要である。しかし臨床症状から結腸早期癌は予測できなかった。

従来技術では結腸ポリープを認識する際、ポリープ画像を検出するためにスライド窓（スライド窓とは、１つの内視鏡ビデオ画像フレームにおいて、まず上から下へ、次に左から右へと画像ブロックをスライドさせることをいう）の方式や、ポリープ位置を人工的にマーキングする方式が一般的に用いられている。ポリープ位置を決定した後、さらにコンピュータビジョン（ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ）抽出方法を用いて、分類方法により認識結果を出力する。

従来技術が提供する上記提案では、スライド窓の方式では、１つの内視鏡ビデオ画像フレーム上でスライド窓の方式を採用して各画像ブロックにポリープが含まれているか否かを計算しているが、画像ブロックが多いため計算量が多く、リアルタイム性が要求に合わず、内視鏡が移動制御されている場合、リアルタイムで収集された画像に対して認識結果をリアルタイムで出力することができない。人工マーキングの方式では、リアルタイム性が要求に合わず、内視鏡が移動制御されている場合、リアルタイムで収集された画像に対して認識結果をリアルタイムで出力することができない。

本願の実施例は、リアルタイムでポリープ位置を発見し、ポリープの性質を判断して、ポリープ画像の処理効率を向上させるために用いられる、結腸ポリープ画像の処理方法並びに、その装置及びシステムを提供する。

本願の実施例は、以下の技術的解決手段を提供する。
一態様では、本願の実施例にて提供される結腸ポリープ画像の処理方法は、
結腸ポリープ画像の処理装置が、ポリープ位置決めモデルを用いて、処理対象の内視鏡画像に対してポリープ位置検出を行い、前記内視鏡画像からポリープ画像ブロックを位置決めするステップであって、前記ポリープ画像ブロックは、前記内視鏡画像におけるポリープの位置領域を含む、ステップと、
前記結腸ポリープ画像の処理装置が、ポリープ性質認識モデルを用いて、前記ポリープ画像ブロック上でポリープタイプの分類検出を行い、認識結果を出力するステップと、を含む。

別の態様では、本願の実施例にてさらに提供される結腸ポリープ画像の処理装置は、
ポリープ位置決めモデルを用いて、処理対象の内視鏡画像に対してポリープ位置検出を行い、前記内視鏡画像からポリープ画像ブロックを位置決めするように構成される位置検出モジュールであって、前記ポリープ画像ブロックは、前記内視鏡画像におけるポリープの位置領域を含む、位置検出モジュールと、
ポリープ性質認識モデルを用いて、前記ポリープ画像ブロック上でポリープタイプの分類検出を行い、認識結果を出力するように構成されるポリープ分類モジュールと、を含む。

上記の態様において、結腸ポリープ画像の処理装置の構成モジュールは、上記の態様及び様々な可能な実施形態に記載されたステップを実行することもでき、上記の態様及び様々な可能な実施形態についての前述の説明を詳細に参照されたい。

別の態様では、本願の実施例にてさらに提供される医療システムは、内視鏡装置と、結腸ポリープ画像の処理装置とを含み、前記内視鏡装置と前記結腸ポリープ画像の処理装置との間に通信接続が確立され、
前記内視鏡装置は、内視鏡ビデオストリームを生成し、前記内視鏡ビデオストリームを前記結腸ポリープ画像の処理装置に送信するように構成され、
前記結腸ポリープ画像の処理装置は、前記内視鏡装置から前記内視鏡ビデオストリームを受信し、前記内視鏡ビデオストリームから処理対象の内視鏡画像を取得し、ポリープ位置決めモデルを用いて、処理対象の内視鏡画像に対してポリープ位置検出を行い、前記内視鏡画像から、前記内視鏡画像におけるポリープの位置領域を含むポリープ画像ブロックを位置決めし、ポリープ性質認識モデルを用いて、前記ポリープ画像ブロック上でポリープタイプの分類検出を行い、認識結果を出力する。

別の態様では、本願の実施例にて提供される画像の処理方法は、
画像の処理装置が、目標対象位置決めモデルを用いて、処理対象の画像に対して目標対象位置検出を行い、前記画像から目標対象画像ブロックを位置決めするステップであって、前記目標対象画像ブロックは、前記画像における前記目標対象の位置領域を含む、ステップと、
前記画像の処理装置が、目標対象性質認識モデルを用いて、前記目標対象画像ブロック上で目標対象タイプの分類検出を行い、認識結果を出力するステップと、を含む。

別の態様では、本願の実施例にて提供される結腸ポリープ画像の処理装置は、命令を記憶するように構成されるメモリと、結腸ポリープ画像の処理装置に、上記の態様のいずれか１つの方法を実行させるように、メモリ内の命令を実行するように構成されるプロセッサと、を含む。

別の態様では、本願の実施例にて提供されるコンピュータ読み取り可能な記憶媒体は、命令を記憶しており、コンピュータ上で動作するとき、上記の各態様に記載の方法をコンピュータに実行させる。

本願の実施例では、まずポリープ位置決めモデルを用いて、内視鏡画像に対してポリープ位置検出を行い、内視鏡画像から、内視鏡画像におけるポリープの位置領域を含むポリープ画像ブロックを位置決めする。最後にポリープ性質認識モデルを用いて、ポリープ画像ブロック上でポリープタイプの分類検出を行い、認識結果を出力する。本願の実施例では、ポリープ位置決めモデルを採用してポリープ位置を検出するため、ポリープ画像ブロックを内視鏡画像から直接位置決めすることができ、ポリープタイプに対する分類検出もこのポリープ画像ブロック上で行われ、内視鏡画像全体で行う必要がないため、リアルタイム性が要求に合致し、内視鏡が移動制御されているときに、リアルタイムで収集された画像に対して認識結果をリアルタイムで出力することができ、ポリープ画像の処理効率を向上させる。

本願の実施例における技術的解決手段をより明確に説明するために、以下、実施例の説明に必要な図面について簡単に紹介し、明らかなように、以下の説明における図面は、本願の一部の実施例にすぎず、当業者にとっては、これらの図面から他の図面を得ることもできる。

本願の実施例に係る医療システムの構成を示す概略構成図である。本願の実施例に係る結腸ポリープ画像の処理方法のプロセスを示す概略ブロック図である。本願の実施例に係る内視鏡画像の概略図である。本願の実施例に係る内視鏡画像が合格ピクチャである場合の概略図である。本願の実施例に係る内視鏡画像が色調異常及び露出過度や露出不足ピクチャである場合の概略図である。本願の実施例に係る内視鏡画像がぼやけたピクチャである場合の概略図である。本願の実施例に係る内視鏡画像が白色光タイプのピクチャである場合の概略図である。本願の実施例に係る内視鏡画像がＮＢＩタイプのピクチャである場合の概略図である。本願の実施例に係る内視鏡画像上で囲まれたポリープ画像ブロックの概略図である。本願の実施例に係る結腸ポリープ画像の処理装置の構成を示す概略構成図である。本願の実施例に係る別の結腸ポリープ画像の処理装置の構成を示す概略構成図である。本願の実施例に係る別の結腸ポリープ画像の処理装置の構成を示す概略構成図である。本願の実施例に係るピクチャタイプ認識モジュールの構成を示す概略構成図である。本願の実施例に係るポリープ分類モジュールの構成を示す概略構成図である。本願の実施例に係る結腸ポリープ画像の処理方法を端末に適用する場合の構成を示す概略構成図である。本願の実施例に係る結腸ポリープ画像の処理方法をサーバに適用する場合の構成を示す概略構成図である。

本願の実施例の発明目的、特徴、利点をより明確かつ分かりやすくするために、本願の実施例における技術的解決手段について、本願の実施例における図面を参照して以下に明確かつ完全に説明し、以下に説明される実施例は、本願の一部の実施例にすぎず、全ての実施例ではないことは明らかである。本願の実施例に基づいて、当業者によって得られる他の全ての実施例は、本願の実施例の保護範囲内に属する。

本願の明細書及び特許請求の範囲並びに上記図面中の用語「含む」及び「有する」並びにそれらの任意の変形は、非排他的な包含をカバーすることを意図しており、一連のユニットを含むプロセス、方法、システム、製品又は装置は、必ずしもそれらのユニットに限定されるものではなく、明確に記載されていないか、又はそれらのプロセス、方法、製品又は装置に固有の他のユニットを含むことができる。

以下、それぞれ詳細に説明する。
本願の結腸ポリープ画像の処理方法の一実施例は、具体的には、内視鏡ビデオストリームに対する結腸ポリープ画像処理シーンに適用することができ、本願の実施例による結腸ポリープ画像の処理により、医師が内視鏡検査を行う際にリアルタイムでポリープを発見し、ポリープの性質を判断し、医師に次の操作を指導するための認識結果を出力する。

本願の実施例は、医療システムをさらに提供し、図１－ａに示すように、医療システム１０は、内視鏡装置２０と、結腸ポリープ画像の処理装置３０とを含み、内視鏡装置２０と結腸ポリープ画像の処理装置３０との間に通信接続が確立され、
内視鏡装置２０は、内視鏡ビデオストリームを生成し、内視鏡ビデオストリームを結腸ポリープ画像の処理装置３０に送信するように構成され、
結腸ポリープ画像の処理装置３０は、内視鏡装置２０から内視鏡ビデオストリームを受信し、内視鏡ビデオストリームから処理対象の内視鏡画像を取得し、ポリープ位置決めモデルを用いて、処理対象の内視鏡画像に対してポリープ位置検出を行い、内視鏡画像から、内視鏡画像におけるポリープの位置領域を含むポリープ画像ブロックを位置決めし、ポリープ性質認識モデルを用いて、ポリープ画像ブロック上でポリープタイプの分類検出を行い、認識結果を出力する。

本願の実施例に係る医療システムは、内視鏡装置と結腸ポリープ画像の処理装置とを含み、内視鏡装置と結腸ポリープ画像の処理装置との間には、有線又は無線により内視鏡ビデオストリームを伝送することができ、内視鏡装置は、内視鏡により患者の体内の結腸を画像撮影することができ、これにより内視鏡ビデオストリームを生成し、結腸ポリープ画像の処理装置はポリープ位置決めモデルを用いてポリープ位置を検出し、ポリープ画像ブロックを内視鏡画像から直接位置決めすることができ、ポリープタイプに対する分類検出もこのポリープ画像ブロック上で行われ、内視鏡画像全体で行う必要がないため、リアルタイム性が要求に合致し、内視鏡が移動制御されているときに、リアルタイムで収集された画像に対して認識結果をリアルタイムで出力することができ、ポリープ画像の処理効率を向上させる。

図１－ｂに示すように、本願の一実施例に係る結腸ポリープ画像の処理方法は、ステップ１０１と、ステップ１０２と、を含むことができる。

１０１において、結腸ポリープ画像の処理装置が、ポリープ位置決めモデルを用いて、処理対象の内視鏡画像に対してポリープ位置検出を行い、内視鏡画像から、内視鏡画像におけるポリープの位置領域を含むポリープ画像ブロックを位置決めする。

本願の実施例では、処理対象の内視鏡画像は、結腸ポリープ画像の処理装置が内視鏡ビデオストリームから取得した１フレームの内視鏡画像であってもよいし、結腸ポリープ画像の処理装置が内視鏡装置から受信した１フレームの内視鏡画像であってもよい。１フレームの内視鏡画像を取得した後、トレーニング済みのネットワークパラメータを含む予め完成したポリープ位置決めモデルを用いて該内視鏡画像上でポリープ位置検出を行い、該ポリープ位置決めモデルのネットワークパラメータにより、内視鏡画像上のどの画像領域がポリープの特徴に合致しているかを検出でき、これにより、ポリープの特徴に合致する位置領域が、本願の実施例における内視鏡画像から囲まれたポリープ画像ブロックであることを決定し、図７に示すように、本願の実施例に係る内視鏡画像上で囲まれたポリープ画像ブロックの概略図であり、ポリープ画像ブロックは、内視鏡画像におけるポリープの位置領域を含み、本願の実施例では予め完成したポリープ位置決めモデルを用い、モデル検出によりポリープ画像ブロックを迅速に囲み、内視鏡ビデオストリームを生成した後にリアルタイムでポリープ画像ブロックを決定できることを保証し、ポリープタイプの分類検出がリアルタイムで行われることを保証する。

本願のいくつかの実施例では、内視鏡画像のピクチャタイプの違いについて、白色光タイプのピクチャとＮＢＩタイプのピクチャとに分けることができ、したがって、本願の実施例では事前にトレーニングされたポリープ位置決めモデルはまた、白色光ポリープ位置決めモデルとＮＢＩポリープ位置決めモデルとに分ける必要がある。

白色光ポリープ位置決めモデルは、結腸ポリープ画像の処理装置が、ニューラルネットワークアルゴリズムを用いて、白色光タイプのピクチャトレーニングデータにより元のポリープ位置決めモデルに対してポリープ位置トレーニングを行うことにより得られ、
ＮＢＩポリープ位置決めモデルは、結腸ポリープ画像の処理装置が、ニューラルネットワークアルゴリズムを用いて、ＮＢＩタイプのピクチャトレーニングデータにより元のポリープ位置決めモデルに対してポリープ位置トレーニングを行うことにより得られる。

本願の実施例では、まず、白色光タイプ及びＮＢＩタイプについてそれぞれトレーニングデータを予め取得し、即ち白色光タイプのピクチャトレーニングデータ及びＮＢＩタイプのピクチャトレーニングデータを取得し、ニューラルネットワークアルゴリズムを用いてポリープ位置決めモデルを予めトレーニングし、該ポリープ位置決めモデルは、多種の機械学習アルゴリズムを採用してトレーニングを完了することができ、例えば、該ポリープ位置決めモデルは、具体的には、深層ニューラルネットワークモデル、循環ニューラルネットワークモデルなどであってもよく、例えば、該ポリープ位置決めモデルは、ＹＯＬＯｖ２アルゴリズムによってトレーニングなどを完了することができる。

本願のいくつかの実施例では、ポリープ位置決めモデルが白色光ポリープ位置決めモデルとＮＢＩポリープ位置決めモデルに分けられる実現シーンにおいて、結腸ポリープ画像の処理装置が、ポリープ位置決めモデルを用いて、内視鏡画像に対してポリープ位置検出を行い、内視鏡画像からポリープ画像ブロックを位置決めする上記ステップ１０１は、
内視鏡画像が白色光タイプのピクチャである場合、白色光ポリープ位置決めモデルを用いて、ポリープ位置決めを行い、内視鏡画像から白色光ポリープ画像ブロックを位置決めするステップと、
内視鏡画像がＮＢＩタイプのピクチャである場合、ＮＢＩポリープ位置決めモデルを用いて、ポリープ位置決めを行い、内視鏡画像からＮＢＩポリープ画像ブロックを位置決めするステップと、を含む。

本願の実施例では、内視鏡画像内の具体的なポリープ位置を位置決めし、次のポリープ性質認識のための入力データを提供する必要がある。リアルタイム性の要求を考慮して、本願の実施例は、ＹＯＬＯｖ２アルゴリズムを用いてポリープの位置決め検出を行う。ＹＯＬＯｖ２の原理及び実現は以下のとおりであり、該ＹＯＬＯｖ２は検出と分類の連合トレーニング方法であり、この連合トレーニング方法を用いてＣＯＣＯ検出データセット及びＩｍａｇｅＮｅｔ分類データセット上でＹＯＬＯ９０００モデルをトレーニングし、９０００種類以上の物体を検出することができる。ＹＯＬＯｖ２は、ＹＯＬＯｖ１よりも大幅に改善されており、これにより、ＹＯＬＯｖ２の性能が著しく向上し、ＹＯＬＯｖ２の速度が依然として高速である。ＹＯＬＯｖ２アルゴリズムは、ＹＯＬＯアルゴリズムのアップグレード版であり、エンドツーエンドでリアルタイムの目標検出・認識アルゴリズムであり、アルゴリズムは単一のニューラルネットワークを利用し、目標検出問題を抽出画像中のバウンディングボックス（ｂｏｕｎｄｉｎｇｂｏｘｅｓ）及びカテゴリー確率の回帰問題に変換する。ＹＯＬＯと比較して、ＹＯＬＯｖ２アルゴリズムはマルチスケールトレーニング方法及びＦａｓｔｅｒＲＣＮＮアンカーボックス（ａｎｃｈｏｒｂｏｘ）思想を採用し、検出速度を保証すると同時に、モデル検出の精度及び汎化能力を大幅に向上させる。

該ＹＯＬＯｖ２アルゴリズムは、本願の実施例のポリープ位置決めタスクに適用され、検出の目標は結腸ポリープであり、アンカーボックス（ａｎｃｈｏｒｂｏｘ）のサイズ設定は、独自のポリープトレーニングデータに基づいてクラスタリングされる。アルゴリズムのトレーニングには、転移学習技術が用いられており、中でも転移学習とは、ある分野で既に成熟した知識を他の場面に応用してニューラルネットワークの語で表現することを意味し、つまり階層型ネットワークの各ノードの重みが１つのトレーニングされたネットワークから１つの全く新しいネットワークに転移することであり、最初から始めるのではなく、特定のタスクごとに１つのニューラルネットワークをトレーニングする必要はない。例えば、Ｉｍａｇｅｎｅｔデータであり得るオープンソースの大規模なタグ付きデータセットを使用して、トレーニングされたパラメータを初期化する。Ｉｍａｇｅｎｅｔデータは、画像分類及び目標検出に関するコンピュータ視覚分野のオープンソースデータセットである。何千何万のカテゴリーをカバーし、データ量が１００万以上である。多数のデータセットにトレーニングされたモデル初期化パラメータを使用して、モデルをより良く大域的最適解に収束させることができる。

画像分類モデルでは、白色光タイプのピクチャとＮＢＩタイプのピクチャとが区別される。この２種類の画像はポリープの見かけの形態に大きな違いがあり、中でも、ＮＢＩタイプのピクチャでは血管の流れが観測され、血液の色がＮＢＩタイプのピクチャでは黒色で表現され、そのため、白色光ピクチャデータとＮＢＩピクチャデータのそれぞれに対してポリープ位置決めモデルをトレーニングする必要があり、単に白色光ポリープ位置決めモデルとＮＢＩポリープ位置決めモデルと呼ばれる。この２種類のポリープ位置決めモデルはいずれも上述した方法を用いてトレーニングしたもので、唯一の違いはモデルのトレーニングデータであり、白色光ポリープ位置決めモデルのトレーニングデータは白色光タイプのピクチャであり、ＮＢＩポリープ位置決めモデルはＮＢＩタイプのピクチャである。アルゴリズムフローにおいて、前のモジュールが白色光タイプのピクチャであると判断した場合、白色光ポリープ位置決めモデルを呼び出してポリープ位置決めを行い、逆に、ＮＢＩポリープ位置決めモデルを呼び出してポリープ位置決めを行う。ポリープが位置決めされると、ポリープ性質認識モデルの入力として、囲まれたポリープ画像ブロックを出力する。

上記ステップ１０１の前に、本願の実施例にて提供される結腸ポリープ画像の処理方法は、
結腸ポリープ画像の処理装置が内視鏡ビデオストリームから処理対象の内視鏡画像を取得するステップ１００をさらに含むことができる。

本願の実施例では、医師が内視鏡を操作して結腸を検査する場合、内視鏡装置は、連続する複数のフレームの内視鏡画像を含む内視鏡ビデオストリームを生成し、内視鏡装置が内視鏡ビデオストリームを生成した後、内視鏡ビデオストリームを結腸ポリープ画像の処理装置に送信し、結腸ポリープ画像の処理装置が内視鏡装置から内視鏡ビデオストリームを受信し、内視鏡ビデオストリームから１フレームの内視鏡画像を取得し、フレーム毎の内視鏡画像について、本願の実施例にて提供される方法に従ってポリープ位置及びポリープタイプ認識を行うことができ、これにより、内視鏡ビデオストリーム中の結腸ポリープ性質をリアルタイムで認識でき、医師が内視鏡を操作して結腸を検査する際に、ビデオストリーム中の結腸ポリープ位置にリアルタイムで位置決めしポリープ性質を判別し、判別されたポリープ性質が非腺腫ポリープであれば、医師はこのポリープを切除せずに病理検査を行うことができる。本願の実施例がフレーム毎の内視鏡画像に対して処理を行うことにより、医師によるポリープのリアルタイム発見を補助し、ポリープの見落としを防止することができ、また医師によるポリープ性質の判別を補助し、医師によるポリープの判別精度を向上させることができる。後続のステップでは、１フレーム分の内視鏡画像に対して認識結果を出力するように画像処理を行うが、内視鏡ビデオストリームにおける他のフレームの内視鏡画像の処理についても、前述した処理手順を参照すればよいので、ここでは説明のみする。

図２に示すように、本願の実施例に係る内視鏡画像の概略図である。内視鏡ビデオストリームを生成した後、該内視鏡ビデオストリームから１フレームの内視鏡画像を抽出し、図２に示すピクチャにおいて、内視鏡画像は、ブロック内に示される結腸画像であり、内視鏡画像の左側は内視鏡のパラメータであり、実際のシーンに応じて内視鏡のパラメータ値を設定することができる。内視鏡のパラメータは画像処理に依存しないので、内視鏡ビデオストリームを収集した後、結腸画像領域部分のみを残すことができる。

従来技術で設計されたアルゴリズムでは、低品質のノイズデータを人為的に選別して除去する必要があるが、従来技術のアルゴリズムは実際の生産環境では使用できない。低品質のノイズデータを人為的に選別して除去した結果、設計されたアルゴリズムの効果は理想的な環境では悪くないが、実際のシーンでは利用できない。この問題を解決するために、本願のいくつかの実施例では、内視鏡ビデオストリームから処理対象の内視鏡画像を取得するステップ１００の後、本願の実施例にて提供される方法は、
結腸ポリープ画像の処理装置が、内視鏡画像から、色特徴、勾配変化特徴及び輝度異常特徴を抽出するステップと、
結腸ポリープ画像の処理装置が、色特徴、勾配変化特徴及び輝度異常特徴に基づいて、内視鏡画像が、ぼやけたピクチャ、色調異常及び露出過度や露出不足ピクチャ、低解像度ピクチャを含む低品質ピクチャであるか否かを判断するステップと、
内視鏡画像が低品質ピクチャでない場合、結腸ポリープ画像の処理装置が、ポリープ位置決めモデルを用いて、内視鏡画像に対してポリープ位置検出を行うステップ１０１を実行するようにトリガーするステップと、をさらに含む。

ここで、低品質ピクチャは、低質ピクチャとも呼ばれる。入力されたビデオストリーム中の１フレームの内視鏡画像について、低質ピクチャであるか否かを判断し、低質ピクチャであればそのままフィルタリングされ、後続のモジュール認識を行わない。実際の生産環境では、大量の撮影ぼやけ及び腸管準備不足による糞水のピクチャが存在し、後続のポリープ位置決め及び性質認識モジュールのアルゴリズム効果に影響し、これに基づき、本願の実施例では、色特徴、勾配変化特徴及び輝度異常特徴を抽出することにより、抽出されたこれら３つの特徴に基づいて内視鏡画像が低質ピクチャであるか否かを検出することができる。

本願の実施例で定義される低質ピクチャは、ぼやけ、色調異常及び露出過度や露出不足、低画像解像度という３種類を含む。図３に示すように、本願の実施例に係る内視鏡画像が合格ピクチャである場合の概略図である。図３に示す左右２枚のピクチャはいずれも合格ピクチャであり、合格ピクチャとはぼやけ、色調異常及び露出過度や露出不足、低画像解像度以外のピクチャである。図４に示すように、本願の実施例に係る内視鏡画像が色調異常及び露出過度や露出不足ピクチャである場合の概略図であり、図４に示す左右２枚のピクチャのいずれにおいても色異常が発生しているので、不合格ピクチャとなっている。図５に示すように、本願の実施例に係る内視鏡画像がぼやけたピクチャである場合の概略図であり、図５に示す左右２枚のピクチャのいずれにおいてもぼやけが発生しているので、不合格ピクチャとなっている。次に、ぼやけたピクチャ、色調異常及び露出過度や露出不足ピクチャ、低解像度ピクチャの具体的な認識手順についてそれぞれ例示する。

低解像度のピクチャを認識する際には、主にピクチャ中の有効画素面積を計算することで実現され、有効画素面積とは、ピクチャの上下左右の黒枠を切り抜いた後の面積で、図２中の白枠で囲む面積である。黒枠切り抜きアルゴリズムは、主に、行毎又は列毎の画素値の階調値分布を統計することにより行う。グレー又は黒色を満たす画素値が一定の割合より大きい場合は、この行又は列を切り落とす必要がある。黒枠を切り落とした後の有効面積が一定の閾値より小さければ低解像度ピクチャとみなし、この閾値は実際の応用に応じて自ら設定することができる。

ぼやけたピクチャの検出アルゴリズムの考え方は以下のとおりである。
（１）入力画像に対して標準偏差ｓｉｇｍａ＝２．５のガウシアンフィルタを行い、画像サンプリング時に発生するモアレを除去する。
（２）元画像をＲと定義し、画素値３＊３のメディアンフィルタを１回かけて画像Ｐを得る。
（３）画像Ｐと画像Ｒの勾配をそれぞれ計算し、ソーベル（Ｓｏｂｅｌ）エッジ検出演算子を用いてメディアンフィルタ画像勾配グラフＧ＿Ｐと元画像勾配グラフＧ＿Ｒを得て、Ｇ＿Ｐ画像とＧ＿Ｒ画像は、画像エッジの詳細を強調し、画像エッジを強調している。
（４）Ｇ＿Ｐ画像とＧ＿Ｒ画像との類似度を計算し、例えば、分類モデルの評価方法Ｆスコア（Ｆ－Ｓｃｏｒｅ）類似アルゴリズムを用いて、選別することができる。ここで、Ｇ＿ＰとＧ＿Ｒとの類似度は、ぼやけた画像ほど高くなる。

最後に、Ｇ＿ＰとＧ＿Ｒとの類似度に基づいて、内視鏡画像がぼやけたピクチャであるか否かを決定することができる。

色調異常及び露出過度や露出不足ピクチャの検出アルゴリズムでは、異常の種類が非常に多いことを考慮すると、網羅することは困難である。したがって、適切な色調で正常に撮影された標準ライブラリファイルを作成する。検出アルゴリズムの考え方は以下のとおりである。
（１）画像を７＊７の画像ブロックに分け、そのうち９つの画像ブロックを取得する。
（２）ＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ）空間で各画像ブロックのＨ、Ｓ、Ｖを計算する。
（３）ＨとＳを特徴として標準画像のＨＳとそれぞれマッチングし、類似度閾値ｔを設定し、画像ブロック毎に標準ライブラリと類似しているか否かを計算する。
（４）９つの画像ブロックのマッチング度の類似結果を累積カウントし、マッチング度が閾値ｔのプラス１より大きく、累積値＞５の場合、その画像を目標色調マッチング画像とし、検出結果が真（Ｔｒｕｅ）であることを返す。

上記目標色調マッチング結果を満たす内視鏡画像については、色調異常及び露出過度や露出不足ピクチャとして決定することができる。

本願のいくつかの実施例では、内視鏡ビデオストリームは、複数の撮影方式を用いて生成することができるので、内視鏡ビデオストリーム内の内視鏡画像は、撮影方式に応じて複数のピクチャタイプを有することができ、異なるピクチャタイプについてポリープ位置検出を行う際には、以下の実施例で詳細に説明するように、異なるポリープ位置決めモデルを使用する必要がある。

内視鏡ビデオストリームから処理対象の内視鏡画像を取得するステップ１００の後、本願の実施例にて提供される方法は、
結腸ポリープ画像の処理装置が、内視鏡画像に対してピクチャタイプ認識を行い、内視鏡画像が白色光タイプのピクチャであるか、又は内視鏡狭帯域光観察（ＮａｒｒｏｗＢａｎｄＩｍａｇｉｎｇ、ＮＢＩ）タイプのピクチャであるかを決定するステップをさらに含む。

ここで、内視鏡ビデオストリームが採用する撮影方式に応じて、該ビデオストリームから抽出される内視鏡画像は、異なるピクチャタイプであってもよく、例えば、該内視鏡画像は、白色光タイプのピクチャであってもよく、あるいは、該内視鏡画像は、ＮＢＩタイプのピクチャであるもよい。図６－ａに示すように、本願の実施例に係る内視鏡画像が白色光タイプのピクチャである場合の概略図であり、白色光タイプのピクチャとは一般的な光源を用いて結像された赤（Ｒｅｄ、Ｒ）、緑（Ｇｒｅｅｎ、Ｇ）、青（Ｂｌｕｅ、Ｂ）（ＲＧＢと略記）画像である。図６－ｂに示すように、本願の実施例に係る内視鏡画像がＮＢＩタイプのピクチャである場合の概略図であり、ＮＢＩタイプのピクチャはフィルタを利用して内視鏡光源が発する赤青緑光波の中の広帯域スペクトルを濾過除去し、狭帯域スペクトルだけを残して消化管の各種疾病の診断に用いるものである。

さらに、本願のいくつかの実施例では、内視鏡画像に対してピクチャタイプ認識を行い、内視鏡画像が白色光タイプのピクチャであるか、又はＮＢＩタイプのピクチャであるかを決定するステップは、
ニューラルネットワークアルゴリズムを用いて、白色光タイプのピクチャトレーニングデータ及びＮＢＩタイプのピクチャトレーニングデータにより元の画像分類モデルに対して分類トレーニングを行い、トレーニング済みの画像分類モデルを得るステップと、
トレーニング済みの画像分類モデルを用いて、内視鏡画像から血管色特徴を抽出するステップと、
トレーニング済みの画像分類モデルを用いて、血管色特徴の値を分類し、内視鏡画像を白色光タイプのピクチャ、又はＮＢＩタイプのピクチャとして得るステップと、を含む。

本願の実施例では、まず、白色光タイプ及びＮＢＩタイプについてそれぞれトレーニングデータを予め取得し、即ち白色光タイプのピクチャトレーニングデータ及びＮＢＩタイプのピクチャトレーニングデータを取得し、ニューラルネットワークアルゴリズムを用いて画像分類モデルを予めトレーニングし、該画像分類モデルは、多種の機械学習アルゴリズムを採用してトレーニングを完了することができ、例えば、該画像分類モデルは、具体的には、深層ニューラルネットワークモデル（ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋｓ、ＤＮＮ）、循環ニューラルネットワークモデルなどであってもよく、例えば、該深層ニューラルネットワークモデルは、稠密結合畳み込みネットワーク（ＤｅｎｓｅｌｙＣｏｎｎｅｃｔｅｄＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋｓ、ＤｅｎｓｅＮｅｔ）などであってもよい。白色光タイプのピクチャトレーニングデータ及びＮＢＩタイプのピクチャトレーニングデータを予め収集した後、白色光タイプのピクチャトレーニングデータ及びＮＢＩタイプのピクチャトレーニングデータによるモデルトレーニングを行った後、トレーニング済みの画像分類モデルを出力する。

画像分類モデルのトレーニングが完了した後、トレーニング済みの画像分類モデルを用いて、内視鏡画像から、該内視鏡画像の分類根拠となる血管色特徴を抽出し、最後に、トレーニング済みの画像分類モデルを用いて血管色特徴の値を分類し、内視鏡画像を白色光タイプのピクチャ、又はＮＢＩタイプのピクチャとして得る。

本願の実施例では、画像分類モデルは、合格な１フレームの内視鏡画像を入力し、該画像分類モデルは、該内視鏡画像が白色光タイプのピクチャであるか、ＮＢＩタイプのピクチャであるかを出力する。医師は実際に内視鏡検査を操作する際、疑似ポリープが発見された場合、ＮＢＩモードを採用して現在のポリープの病理分類を診断することが多い。ＮＢＩモードのピクチャは、血管の走行をより鮮明に示すことができる。図６－ａには白色光タイプのピクチャが示され、図６－ｂにはＮＢＩタイプのピクチャが示されている。一例として、本願の実施例の画像分類モデルは、稠密結合畳み込みネットワーク（ＤｅｎｓｅＮｅｔ）を用いてピクチャタイプを分類認識することができるが、もちろん、本願の実施例では他のピクチャ分類ネットワークを用いて同様の機能を実現してもよいが、認識効果にはある程度の差があり、ここでは限定しない。

画像分類モデルの実行は、１つの画像分類問題に変換することができる。使用される画像分類アルゴリズムは、ＤｅｎｓｅＮｅｔ畳み込みネットワークである。ネットワークの入力画像サイズは２２４＊２２４であるため、まず入力された元画像を拡大縮小し、固定された２２４＊２２４のサイズに縮小拡大する。この画像分類モデルのタスクを考慮すると、血管色など、より低いレベルの特徴の組み合わせが好まれるため、ＤｅｎｓｅＮｅｔ構造の深さと幅の組み合わせを設計する際には、より広くより浅いモードを採用する。最終的に使用されるネットワーク構造はＤｅｎｓｅＮｅｔ－４０であり、ここで、４０はネットワークの層数であり、ネットワークパラメータを最適化することにより、増加率（ｇｒｏｗｔｈ－ｒａｔｅ）が４８に設定され、特徴がトランスポート層（ｔｒａｎｓｉｔｉｏｎｌａｙｅｒ）を経て圧縮比が０．５に設定され、効果が最適になる。モデル構造を以下の表１に示す。

なお、上記表１に示した実施例において、ＤｅｎｓｅＮｅｔ－４０における各層の機能実現及び実行手順は、シーンに応じて決定することができる。さらに、ネットワーク層におけるｃｏｎｖは、バッチ正規化層（ｂａｔｃｈｎｏｒｍ）、活性化層（ＲｅＬＵ）、畳み込み層の３つの動作を含む。

１０２において、結腸ポリープ画像の処理装置が、ポリープ性質認識モデルを用いて、ポリープ画像ブロック上でポリープタイプの分類検出を行い、認識結果を出力する。

本願の実施例では、内視鏡画像からポリープ画像ブロックを囲った後、次に該ポリープ画像ブロック上で、予めトレーニングされたポリープ性質認識モデルを用いてポリープタイプの分類検出を行い、認識結果を出力するだけでよく、該認識結果はポリープタイプを最大確率で出力することができ、該認識結果はそれぞれの信頼度条件でのポリープタイプを出力することもでき、ここで、信頼度は、ポリープ性質認識モデルの予測後に、該ポリープ画像ブロックに含む様々なポリープタイプの信頼度を判断する。

本願の実施例では、ポリープ性質認識モデルは、ポリープ性質判別タスクを実行してもよく、例えば、ポリープ位置決めモデルが出力する位置決め枠のピクチャデータを入力する画像分類タスクによって実行されてもよい。図７に示すように、内視鏡画像上で囲まれたポリープ画像ブロックは、ポリープ性質認識モデルの入力データとして、ポリープ位置決めモデルで検出されたポリープである。モジュール出力は、４つのカテゴリー値（０、１、２、３）とすることができ、０はこの領域にポリープがなく、正常であることを示し、１は非腺腫ポリープを示し、２は腺腫性ポリープを示し、３は腺癌を示し、さらに、正常、非腺腫、腺腫、腺癌のそれぞれについて信頼性条件を設定し、出力が０であればポリープ位置決めモデルの判断結果を補正し、この領域はポリープがなく、正常領域とする。

本願のいくつかの実施例では、結腸ポリープ画像の処理装置が、ポリープ性質認識モデルを用いて、ポリープ画像ブロック上でポリープタイプの分類検出を行い、認識結果を出力するステップ１０２は、
ニューラルネットワークアルゴリズムを用いて、異なるポリープタイプのポリープピクチャトレーニングデータにより元のポリープ性質認識モデルに対してポリープタイプの分類検出トレーニングを行い、トレーニング済みのポリープ性質認識モデルを得るステップと、
トレーニング済みのポリープ性質認識モデルを用いて、ポリープ画像ブロックからポリープタイプ特徴を抽出するステップと、
トレーニング済みのポリープ性質認識モデルを用いて、ポリープタイプ特徴の値を分類し、認識結果を出力するステップと、を含む。

本願の実施例では、まず、異なるポリープタイプのポリープピクチャトレーニングデータを取得し、ニューラルネットワークアルゴリズムを用いてポリープ性質認識モデルを予めトレーニングし、該ポリープ性質認識モデルは多種の機械学習アルゴリズムを採用してトレーニングを完了することができ、例えば該ポリープ性質認識モデルは、具体的に、深層ニューラルネットワークモデル、循環ニューラルネットワークモデルなどであってもよく、例えば、該深層ニューラルネットワークモデルは、ＤｅｎｓｅＮｅｔなどであってもよい。異なるポリープタイプのポリープピクチャトレーニングデータを予め収集した後、異なるポリープタイプのポリープピクチャトレーニングデータによりモデルトレーニングを行った後、トレーニング済みのポリープ性質認識モデルを出力する。

ポリープ性質認識モデルのトレーニングが完了した後、トレーニング済みのポリープ性質認識モデルを用いて、ポリープ画像ブロックから、ポリープ画像ブロックの分類根拠となるポリープタイプ特徴を抽出し、最後に、トレーニング済みのポリープ性質認識モデルを用いてポリープタイプ特徴の値を分類し、認識結果を得る。

本願のいくつかの実施例では、結腸ポリープ画像の処理装置が、内視鏡画像からポリープ画像ブロックを位置決めするステップ１０２の後、本願の実施例にて提供される方法は、
結腸ポリープ画像の処理装置が、予め設定された画像拡張比率に従って、内視鏡画像においてポリープ画像ブロックの占めるポリープ領域を上下左右方向に拡張し、拡張後のポリープ画像ブロックを得るステップと、
結腸ポリープ画像の処理装置が、拡張後のポリープ画像ブロックをポリープ性質認識モデルに入力するステップと、をさらに含む。

本願の実施例では、ポリープ性質認識モデルのポリープ性質分類タスクは、ＤｅｎｓｅＮｅｔ畳み込みネットワークアルゴリズムを用いて実現することができ、アルゴリズムは入力するピクチャサイズが一致しなければならないが、ポリープ位置決めモジュールが出力するポリープ位置は大きさが異なる。したがって、アルゴリズム入力データを構築する際、本願の実施例は、ポリープ位置決めモデルが出力するポリープ画像ブロックに対して、上下左右に１０％比率領域を拡張し、枠に囲まれた領域が一定の文脈意味情報を持つことを保証し、後続のポリープ性質認識モデルの特徴抽出を補助し、拡張された領域はモデル要求の入力サイズ２２４＊２２４に直接正規化される。タスクの複雑さを考慮して、より深いＤｅｎｓｅＮｅｔネットワークを採用することができる。最終的に使用されるネットワーク構造はＤｅｎｓｅＮｅｔ－１２１である。ネットワークパラメータを最適化することにより、ｇｒｏｗｔｈ－ｒａｔｅが２４に設定され、特徴がｔｒａｎｓｉｔｉｏｎｌａｙｅｒを経て圧縮比が０．５で、効果が最適になる。モデル構造を以下の表２に示す。

最終的に、本願の実施例に係るポリープ画像の処理方法は、１フレームあたりの内視鏡画像を処理するのに約１００ミリ秒（ｍｓ）程度を要し、リアルタイム性の要求を満たし、アルゴリズムの効果が異なるレベルの医師と対比され、トップクラスの医師と同レベルである。末端病院に配備され、医師によるポリープの発見及びポリープの認識をリアルタイムで補助できる。

本願の実施例では、医師が内視鏡検査を行う際に、医師がポリープを発見し、ポリープの性質を判断するのをリアルタイムで助けることができる。医師がポリープの診察漏れを防止すると同時に、医師がポリープの性質判別精度を向上させるのを助ける。信頼性の高い非腺腫性ポリープと判断すれば、医師は切除せずに病理検査を行うことができ、これにより医師の操作時間を減少させ、患者の高い併発リスク及び患者の診療費用をさらに減少させることができ、内視鏡医師の負担及び病理科医師の負担を軽減する。

以上の実施例による本願の実施例の説明から明らかなように、まずポリープ位置決めモデルを用いて、内視鏡画像に対してポリープ位置検出を行い、内視鏡画像から、内視鏡画像におけるポリープの位置領域を含むポリープ画像ブロックを位置決めする。最後にポリープ性質認識モデルを用いて、ポリープ画像ブロック上でポリープタイプの分類検出を行い、認識結果を出力する。本願の実施例では、ポリープ位置決めモデルを採用してポリープ位置を検出するため、ポリープ画像ブロックを内視鏡画像から直接位置決めすることができ、ポリープタイプに対する分類検出もこのポリープ画像ブロック上で行われ、内視鏡画像全体で行う必要がないため、リアルタイム性が要求に合致し、内視鏡が移動制御されているときに、リアルタイムで収集された画像に対して認識結果をリアルタイムで出力することができ、ポリープ画像の処理効率を向上させる。

なお、前述した各方法の実施例については、説明を簡単にするため、一連の動作の組み合わせとして表記しているが、当業者であれば、本願の実施例は、記載された動作順序に限定されるものではない。なぜなら、本願の実施例によれば、いくつかのステップは、他の順序を用いて、又は同時に実行されてもよいからである。第２に、本明細書に記載された実施例は全て好ましい実施例に属し、関連する動作及びモジュールは必ずしも本願の実施例に必須ではないことも当業者には理解されよう。

本願の実施例の上述した解決手段のより良好な実施を容易にするために、上述した解決手段を実施するための関連装置も以下に提供される。

図８－ａを参照すると、本願の実施例に係る結腸ポリープ画像の処理装置８００は、１つ以上のプロセッサと、プログラムユニットを記憶する１つ以上のメモリと、を含むことができ、ここで、プログラムユニットは、プロセッサにより実行され、プログラムユニットは、
ポリープ位置決めモデルを用いて、処理対象の内視鏡画像に対してポリープ位置検出を行い、前記内視鏡画像から、前記内視鏡画像におけるポリープの位置領域を含むポリープ画像ブロックを位置決めするように構成される位置検出モジュール８０１と、
ポリープ性質認識モデルを用いて、前記ポリープ画像ブロック上でポリープタイプの分類検出を行い、認識結果を出力するように構成されるポリープ分類モジュール８０２と、を含む。

本願のいくつかの実施例では、図８－ａに示すように、結腸ポリープ画像の処理装置８００は、
内視鏡ビデオストリームから処理対象の内視鏡画像を取得するように構成される画像取得モジュール８０３をさらに含むことができる。

本願のいくつかの実施例では、図８－ｂを参照すると、結腸ポリープ画像の処理装置８００は、
位置検出モジュール８０１が、ポリープ位置決めモデルを用いて、処理対象の内視鏡画像に対してポリープ位置検出を行う前に、前記内視鏡画像から、色特徴、勾配変化特徴及び輝度異常特徴を抽出し、前記色特徴、前記勾配変化特徴及び前記輝度異常特徴に基づいて、前記内視鏡画像が、ぼやけたピクチャ、色調異常及び露出過度や露出不足ピクチャ、低解像度ピクチャを含む低品質ピクチャであるか否かを判断し、前記内視鏡画像が前記低品質ピクチャでない場合、前記位置検出モジュールを実行するようにトリガーするように構成される低品質ピクチャ認識モジュール８０４をさらに含む。

本願のいくつかの実施例では、図８－ｃを参照すると、結腸ポリープ画像の処理装置８００は、
位置検出モジュール８０１が、ポリープ位置決めモデルを用いて、処理対象の内視鏡画像に対してポリープ位置検出を行う前に、前記内視鏡画像に対してピクチャタイプ認識を行い、前記内視鏡画像が白色光タイプのピクチャであるか、又は内視鏡狭帯域光観察ＮＢＩタイプのピクチャであるかを決定するように構成されるピクチャタイプ認識モジュール８０５をさらに含む。

本願のいくつかの実施例では、図８－ｄを参照すると、ピクチャタイプ認識モジュール８０５は、
ニューラルネットワークアルゴリズムを用いて、白色光タイプのピクチャトレーニングデータ及びＮＢＩタイプのピクチャトレーニングデータにより元の画像分類モデルに対して分類トレーニングを行い、トレーニング済みの画像分類モデルを得るように構成される画像分類モデルトレーニングユニット８０５１と、
前記トレーニング済みの画像分類モデルを用いて、前記内視鏡画像から血管色特徴を抽出するように構成される血管色特徴抽出ユニット８０５２と、
前記トレーニング済みの画像分類モデルを用いて、前記血管色特徴の値を分類し、前記内視鏡画像を前記白色光タイプのピクチャ、又は前記ＮＢＩタイプのピクチャとして得るように構成されるピクチャ分類ユニット８０５３と、を含む。

本願のいくつかの実施例では、前記ポリープ位置決めモデルは、
ニューラルネットワークアルゴリズムを用いて、前記白色光タイプのピクチャトレーニングデータにより元のポリープ位置決めモデルに対してポリープ位置トレーニングを行うことにより得られる白色光ポリープ位置決めモデルと、
ニューラルネットワークアルゴリズムを用いて、前記ＮＢＩタイプのピクチャトレーニングデータにより元のポリープ位置決めモデルに対してポリープ位置トレーニングを行うことにより得られるＮＢＩポリープ位置決めモデルと、を含む。

本願のいくつかの実施例では、位置検出モジュール８０１は、具体的には、前記内視鏡画像が前記白色光タイプのピクチャである場合、前記白色光ポリープ位置決めモデルを用いて、ポリープ位置決めを行い、前記内視鏡画像から白色光ポリープ画像ブロックを位置決めし、前記内視鏡画像が前記ＮＢＩタイプのピクチャである場合、前記ＮＢＩポリープ位置決めモデルを用いて、ポリープ位置決めを行い、前記内視鏡画像からＮＢＩポリープ画像ブロックを位置決めするように構成される。

本願のいくつかの実施例では、図８－ｅを参照すると、ポリープ分類モジュール８０２は、
ニューラルネットワークアルゴリズムを用いて、異なるポリープタイプのポリープピクチャトレーニングデータにより元のポリープ性質認識モデルに対してポリープタイプの分類検出トレーニングを行い、トレーニング済みのポリープ性質認識モデルを得るように構成されるポリープ性質認識モデルトレーニングユニット８０２１と、
前記トレーニング済みのポリープ性質認識モデルを用いて、前記ポリープ画像ブロックからポリープタイプ特徴を抽出するように構成されるポリープタイプ特徴抽出ユニット８０２２と、
前記トレーニング済みのポリープ性質認識モデルを用いて、前記ポリープタイプ特徴の値を分類し、認識結果を出力するように構成されるポリープ分類ユニット８０２３と、を含む。

本願の実施例は、別の端末を提供し、図９に示すように、説明の便宜上、本願の実施例に関連する部分のみを示し、具体的な技術的詳細は開示していないが、本願の実施例の方法の部分を参照されたい。該端末は、携帯電話、タブレットＰＣ、パーソナルデジタルアシスタント（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ、ＰＤＡ）、販売端末（ＰｏｉｎｔｏｆＳａｌｅｓ、ＰＯＳ）、車載パソコンなどを含む任意の端末機器とすることができ、端末が携帯電話である場合を例示する。

図９は、本願の実施例に係る端末に関連する携帯電話の部分構成を示すブロック図である。図９を参照すると、携帯電話は、無線周波数（ＲａｄｉｏＦｒｅｑｕｅｎｃｙ、ＲＦ）回路１０１０、メモリ１０２０、入力ユニット１０３０、表示ユニット１０４０、センサ１０５０、オーディオ回路１０６０、ワイヤレスフィデリティ（ｗｉｒｅｌｅｓｓｆｉｄｅｌｉｔｙ、ＷｉＦｉ）モジュール１０７０、プロセッサ１０８０、電源１０９０などの部材を含む。当業者には理解されるように、図９に示された携帯電話構造は、携帯電話を限定するものではなく、図示されたものよりも多くの又は少ない部材を含むことができ、又はいくつかの部材を組み合わせることができ、又は異なる部材を配置することができる。

次に、図９を参照して、携帯電話の各構成部材について具体的に説明する。

ＲＦ回路１０１０は、送受信や通話中、信号の送受信、特に、基地局の下り情報を受信した後、プロセッサ１０８０により処理し、また、上りに設計されたデータを基地局に送信するように構成することができる。一般に、ＲＦ回路１０１０は、アンテナ、少なくとも１つの増幅器、送受信機、カプラ、低雑音増幅器（ＬｏｗＮｏｉｓｅＡｍｐｌｉｆｉｅｒ、ＬＮＡ）、デュプレクサなどを含むが、これらに限定されない。さらに、ＲＦ回路１０１０は、無線通信によってネットワーク及び他のデバイスと通信することもできる。上記の無線通信は、いずれの通信規格やプロトコルを用いてもよいが、グローバル移動通信システム（ＧｌｏｂａｌＳｙｓｔｅｍｏｆＭｏｂｉｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ、ＧＳＭ）、汎用パケット無線サービス（ＧｅｎｅｒａｌＰａｃｋｅｔＲａｄｉｏＳｅｒｖｉｃｅ、ＧＰＲＳ）、符号分割多元接続（ＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ、ＣＤＭＡ）、広帯域符号分割多元接続（ＷｉｄｅｂａｎｄＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ、ＷＣＤＭＡ（登録商標））、ロングタームエボリューション（ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ、ＬＴＥ）、電子メール、ショートメッセージサービス（ＳｈｏｒｔＭｅｓｓａｇｉｎｇＳｅｒｖｉｃｅ、ＳＭＳ）などを含むが、これらに限定されない。

メモリ１０２０は、ソフトウェアプログラム及びモジュールを記憶するように構成され得、プロセッサ１０８０は、メモリ１０２０に記憶されたソフトウェアプログラム及びモジュールを動作させることによって、携帯電話の様々な機能アプリケーション及びデータ処理を実行する。メモリ１０２０は、主に、記憶プログラム領域と、記憶データ領域とを含むことができ、記憶プログラム領域は、オペレーティング・システム、少なくとも１つの機能に必要なアプリケーションプログラム（例えば、音声再生機能、画像再生機能など）などを記憶可能であり、記憶データ領域は、携帯電話の使用に応じて作成されたデータ（例えば、オーディオデータ、電話帳など）などを記憶することができる。さらに、メモリ１０２０は、高速ランダムアクセスメモリを含んでもよく、少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の揮発性固体記憶デバイスなどの不揮発性メモリを含んでもよい。

入力ユニット１０３０は、入力された数字又は文字情報を受信し、携帯電話のユーザ設定及び機能制御に関連するキー信号入力を生成するように構成され得る。具体的には、入力ユニット１０３０は、タッチパネル１０３１及び他の入力デバイス１０３２を含むことができる。タッチパネル１０３１は、タッチスクリーンとも呼ばれ、その上又は近くでのユーザのタッチ操作（例えば、ユーザが指、タッチペンなどの任意の適切な物体やアタッチメントを使うことによるタッチパネル１０３１上又はタッチパネル１０３１の近くでの操作）を収集し、そして、予め設定されたプログラムに従って対応する接続装置を駆動することができる。好ましくは、タッチパネル１０３１は、タッチ検出装置とタッチコントローラの２つの部分を含むことができる。ここで、タッチ検出装置は、ユーザのタッチ方位を検出し、タッチ操作による信号を検出し、タッチコントローラに信号を伝送し、タッチコントローラは、タッチ検出装置からタッチ情報を受信し、そして、これを接点座標に変換してプロセッサ１０８０に送信し、プロセッサ１０８０からのコマンドを受信して実行することができる。また、タッチパネル１０３１は、抵抗方式、静電容量方式、赤外線方式、表面弾性波方式などの種々の方式を採用して実現することができる。タッチパネル１０３１に加えて、入力ユニット１０３０は、他の入力デバイス１０３２を含むことができる。具体的には、他の入力デバイス１０３２は、物理キーボード、機能キー（例えば、音量制御キー、スイッチキーなど）、トラックボール、マウス、ジョイスティックなどの１つ以上を含むことができるが、これらに限定されない。

表示ユニット１０４０は、ユーザにより入力された情報や、ユーザに提供された情報、携帯電話の各種メニューを表示するように構成され得る。表示ユニット１０４０は、表示パネル１０４１を含むことができ、好ましくは、液晶ディスプレイ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ、ＬＣＤ）、有機発光ダイオード（ＯｒｇａｎｉｃＬｉｇｈｔ－ＥｍｉｔｔｉｎｇＤｉｏｄｅ、ＯＬＥＤ）などの形態で表示パネル１０４１を配置してもよい。さらに、タッチパネル１０３１は、表示パネル１０４１を覆うことができ、タッチパネル１０３１がその上又はその近くでのタッチ操作を検出すると、プロセッサ１０８０に伝送してタッチイベントのタイプを決定し、次いで、プロセッサ１０８０は、タッチイベントのタイプに応じて、対応する視覚出力を表示パネル１０４１に提供する。図９では、タッチパネル１０３１と表示パネル１０４１は２つの独立した部材として携帯電話の入出力機能を実現しているが、一部の実施例では、タッチパネル１０３１と表示パネル１０４１とを一体化して携帯電話の入出力機能を実現することができる。

携帯電話はまた、光センサ、動きセンサ、及び他のセンサなどの少なくとも１つのセンサ１０５０を含むことができる。具体的には、光センサは、環境光の明暗に応じて表示パネル１０４１の明るさを調整可能な環境光センサと、携帯電話が耳元に移動した際に、表示パネル１０４１及び／又はバックライトを消灯可能な近接センサと、を含むことができる。動きセンサの一種である加速度計センサは、各方向（一般的には３軸）の加速度の大きさを検出でき、静止時には重力の大きさや方向を検出でき、携帯電話の姿勢を認識するアプリケーション（例えば、縦横画面切り替え、関連ゲーム、磁力計姿勢校正）、振動認識関連機能（例えば、歩数計、タップ）などに利用でき、携帯電話にも配置できるジャイロスコープ、気圧計、湿度計、温度計、赤外線センサなどのその他のセンサについては、ここでは説明を省略する。

オーディオ回路１０６０、スピーカ１０６１、マイク１０６２は、ユーザと携帯電話との間にオーディオインタフェースを提供することができる。オーディオ路１０６０は、受信したオーディオデータを変換した電気信号をスピーカ１０６１に伝送し、スピーカ１０６１により音声信号に変換して出力する一方、マイク１０６２は、収集した音声信号を電気信号に変換し、オーディオ回路１０６０により受信した後にオーディオデータに変換し、さらにオーディオデータをプロセッサ１０８０に出力して処理した後、ＲＦ回路１０１０を介して他の携帯電話などに送信し、又はさらなる処理のためにオーディオデータをメモリ１０２０に出力する。

ＷｉＦｉは短距離無線伝送技術に属し、携帯電話はＷｉＦｉモジュール１０７０を通じてユーザの電子メールの送受信、ウェブページの閲覧、ストリーミングメディアへのアクセスなどを支援でき、ユーザに無線のブロードバンドインターネットアクセスを提供する。図９はＷｉＦｉモジュール１０７０を示しているが、これは携帯電話の必須構成ではなく、必要に応じて発明の本質を変更しない範囲で完全に省略することができることは理解されよう。

プロセッサ１０８０は携帯電話の制御センターであり、各種インタフェースや回線を利用して携帯電話全体の各部を接続し、メモリ１０２０内に記憶されたソフトウェアプログラム及び／又はモジュールを動作させるか又は実行し、及びメモリ１０２０内に記憶されたデータを呼び出すことで、携帯電話の各種機能や処理データを実行することにより、携帯電話全体を監視する。好ましくは、プロセッサ１０８０は、１つ以上の処理ユニットを含むことができ、好ましくは、プロセッサ１０８０は、アプリケーションプロセッサとモデムプロセッサとを統合することができ、ここで、アプリケーションプロセッサは主にオペレーティング・システム、ユーザインタフェース、アプリケーションプログラムなどを扱い、モデムプロセッサは主に無線通信を扱う。上述のモデムプロセッサは、プロセッサ１０８０に統合されていなくてもよいことを理解されたい。

携帯電話はまた、各部材に電力を供給する電源１０９０（例えば、バッテリ）を含み、好ましくは、電源は、電源管理システムを介してプロセッサ１０８０に論理的に接続され得、これにより電源管理システムにより、充電、放電、及び消費電力の管理などの機能を実現する。

図示されていないが、携帯電話は、カメラ、ブルートゥース（登録商標）モジュールなどを含むこともでき、ここでは説明を省略する。

本願の実施例では、該端末が備えるプロセッサ１０８０は、端末によって実行される上記結腸ポリープ画像の処理方法フローの実行をさらに制御する。

図１０は、本願の実施例に係るサーバの概略構成図であり、該サーバ１１００は、構成又は性能の違いによって比較的大きな違いを生じることができ、１つ又は１つ以上の中央処理装置（ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔｓ、ＣＰＵ）１１２２（例えば、１つ又は１つ以上のプロセッサ）及びメモリ１１３２、アプリケーションプログラム１１４２又はデータ１１４４を記憶する１つ又は１つ以上の記憶媒体１１３０（例えば、１つ又は１つ以上の大容量記憶デバイス）を含むことができる。ここで、メモリ１１３２及び記憶媒体１１３０は、一時記憶又は永続記憶であってもよい。記憶媒体１１３０に記憶されたプログラムは、１つ又は１つ以上のモジュール（図示せず）を含むことができ、各モジュールは、サーバにおける一連の命令操作を含むことができる。さらに、中央処理装置１１２２は、記憶媒体１１３０と通信して、記憶媒体１１３０内の一連の命令操作をサーバ１１００上で実行するように構成されてもよい。

サーバ１１００はまた、１つ又は１つ以上の電源１１２６、１つ又は１つ以上の有線又は無線ネットワークインタフェース１１５０、１つ又は１つ以上の入出力インタフェース１１５８、及び／又は、１つ又は１つ以上のオペレーティング・システム１１４１を含むことができる。例えば、ＷｉｎｄｏｗｓＳｅｒｖｅｒ（登録商標）、ＭａｃＯＳＸ（登録商標）、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤ（登録商標）などである。

上記実施例におけるサーバが実行する結腸ポリープ画像の処理方法のステップは、この図１０に示すサーバ構成に基づいてもよい。

なお、上述した装置の実施例は、単に例示的なものであって、分離部材として説明したユニットは、物理的に分離されていてもよいし、物理的に分離されていなくてもよく、ユニットとして表示される部材は、物理ユニットであってもなくてもよく、即ち、１つの場所にあってもよく、又は複数のネットワークユニットに分散されていてもよい。実際の必要に応じてモジュールの一部又は全部を選択して本実施例の技術案の目的を達成することができる。また、本願が提供する装置の実施例の図面において、モジュール間の接続関係は、それらの間に通信接続があることを示し、具体的には１つ以上の通信バス又は信号線として実現することができる。当業者であれば、創造的な労力を払うことなく、理解し、実施することができるであろう。

以上の実施形態の説明から当業者には明らかなように、本願の実施例は、ソフトウェアに必要な汎用ハードウェアを付加して実現することができ、もちろん、専用集積回路、専用ＣＰＵ、専用メモリ、専用部品などを含む専用ハードウェアにより実現してもよい。一般に、コンピュータプログラムによって実現される機能は、対応するハードウェアによって容易に実現することができ、また、同一機能を実現するための具体的なハードウェア構成は、多種多様であってもよく、例えばアナログ回路、デジタル回路又は専用回路などが挙げられる。しかし、ソフトウェアプログラムの実装は、本願の実施例にとって好ましい実施形態である場合が多い。このような理解に基づき、本願の実施例の技術的解決手段は、本質的に、あるいは従来技術に貢献する部分をソフトウェア製品の形で具現化することができ、このコンピュータソフトウェア製品は、コンピュータのフロッピー（登録商標）ディスク、Ｕディスク、リムーバブルハードディスク、読み取り専用メモリ（Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスクなどの読み取り可能な記憶媒体に記憶され、コンピュータ装置（パーソナルコンピュータ、サーバ、又はネットワーク装置などであってもよい）に本願の各実施例に記載の方法を実行させるための複数の命令を含む。

以上のように、以上の実施例は、本願の実施例の技術的解決手段を説明するためだけに用いられ、それを制限するものではない。上記実施例を参照して本願の実施例を詳細に説明したが、当業者であれば、依然として上記各実施例に記載の技術的解決手段を修正し、又はその一部の技術的特徴を同等に置換でき、これらの修正又は置換は、対応する技術的解決手段の本質を本願の各実施例の技術的解決手段の精神及び範囲から逸脱させないことを理解するであろう。

１０医療システム
２０内視鏡装置
３０結腸ポリープ画像の処理装置
８００結腸ポリープ画像の処理装置
８０１位置検出モジュール
８０２ポリープ分類モジュール
８０２１ポリープ性質認識モデルトレーニングユニット
８０２２ポリープタイプ特徴抽出ユニット
８０２３ポリープ分類ユニット
８０３画像取得モジュール
８０４低品質ピクチャ認識モジュール
８０５ピクチャタイプ認識モジュール
８０５１画像分類モデルトレーニングユニット
８０５２血管色特徴抽出ユニット
８０５３ピクチャ分類ユニット
１０１０無線周波数（ＲＦ）回路
１０２０メモリ
１０３０入力ユニット
１０３１タッチパネル
１０３２他の入力デバイス
１０４０表示ユニット
１０４１表示パネル
１０５０センサ
１０６０オーディオ回路
１０６１スピーカ
１０６２マイク
１０７０ＷｉＦｉモジュール
１０８０プロセッサ
１０９０電源
１１００サーバ
１１２２中央処理装置
１１２６電源
１１３０記憶装置
１１３２メモリ
１１４１オペレーティング・システム
１１４２アプリケーションプログラム
１１４４データ
１１５０有線又は無線ネットワークインタフェース
１１５８入出力インタフェース

Claims

結腸ポリープ画像の処理装置が実行する結腸ポリープ画像の処理方法であって、
前記結腸ポリープ画像の処理装置が、ポリープ位置決めモデルを用いて、処理対象の内視鏡画像に対してポリープ位置検出を行い、前記内視鏡画像からポリープ画像ブロックを位置決めするステップであって、前記ポリープ画像ブロックは、前記内視鏡画像におけるポリープの位置領域を含む、ステップと、
前記結腸ポリープ画像の処理装置が、ポリープ性質認識モデルを用いて、前記ポリープ画像ブロック上でポリープタイプの分類検出を行い、認識結果を出力するステップと、を含み、
前記結腸ポリープ画像の処理装置が、ポリープ位置決めモデルを用いて、処理対象の内視鏡画像に対してポリープ位置検出を行う前に、
前記結腸ポリープ画像の処理装置が、前記内視鏡画像に対してピクチャタイプ認識を行い、前記内視鏡画像が白色光タイプのピクチャであるか、又は内視鏡狭帯域光観察（ＮＢＩ）タイプのピクチャであるかを決定するステップをさらに含む、方法。
前記結腸ポリープ画像の処理装置が、ポリープ位置決めモデルを用いて、処理対象の内視鏡画像に対してポリープ位置検出を行う前に、
前記結腸ポリープ画像の処理装置が、前記内視鏡画像から、色特徴、勾配変化特徴及び輝度異常特徴を抽出するステップと、
前記結腸ポリープ画像の処理装置が、前記色特徴、前記勾配変化特徴及び前記輝度異常特徴に基づいて、前記内視鏡画像が低品質ピクチャであるか否かを判断するステップであって、前記低品質ピクチャは、ぼやけたピクチャ、色調異常及び露出過度や露出不足ピクチャ、低解像度ピクチャを含む、ステップと、
前記内視鏡画像が前記低品質ピクチャでない場合、前記結腸ポリープ画像の処理装置が、ポリープ位置決めモデルを用いて、処理対象の内視鏡画像に対してポリープ位置検出を行うステップを実行するようにトリガーするステップと、をさらに含む、請求項１に記載の方法。
前記結腸ポリープ画像の処理装置が、前記内視鏡画像に対してピクチャタイプ認識を行い、前記内視鏡画像が白色光タイプのピクチャであるか、又は内視鏡狭帯域光観察（ＮＢＩ）タイプのピクチャであるかを決定する前記ステップは、
ニューラルネットワークアルゴリズムを用いて、白色光タイプのピクチャトレーニングデータ及びＮＢＩタイプのピクチャトレーニングデータにより元の画像分類モデルに対して分類トレーニングを行い、トレーニング済みの画像分類モデルを得るステップと、
前記トレーニング済みの画像分類モデルを用いて、前記内視鏡画像から血管色特徴を抽出するステップと、
前記トレーニング済みの画像分類モデルを用いて、前記血管色特徴の値を分類し、前記内視鏡画像を前記白色光タイプのピクチャ、又は前記ＮＢＩタイプのピクチャとして得るステップと、を含む、請求項１に記載の方法。
前記ポリープ位置決めモデルは、白色光ポリープ位置決めモデルとＮＢＩポリープ位置決めモデルを含み、
前記白色光ポリープ位置決めモデルは、前記結腸ポリープ画像の処理装置が、ニューラルネットワークアルゴリズムを用いて、前記白色光タイプのピクチャトレーニングデータにより元のポリープ位置決めモデルに対してポリープ位置トレーニングを行うことにより得られ、
前記ＮＢＩポリープ位置決めモデルは、前記結腸ポリープ画像の処理装置が、ニューラルネットワークアルゴリズムを用いて、前記ＮＢＩタイプのピクチャトレーニングデータにより元のポリープ位置決めモデルに対してポリープ位置トレーニングを行うことにより得られる、請求項１又は３に記載の方法。
前記結腸ポリープ画像の処理装置が、ポリープ位置決めモデルを用いて、処理対象の内視鏡画像に対してポリープ位置検出を行い、前記内視鏡画像からポリープ画像ブロックを位置決めする前記ステップは、
前記内視鏡画像が前記白色光タイプのピクチャである場合、前記白色光ポリープ位置決めモデルを用いて、ポリープ位置決めを行い、前記内視鏡画像から白色光ポリープ画像ブロックを位置決めするステップと、
前記内視鏡画像が前記ＮＢＩタイプのピクチャである場合、前記ＮＢＩポリープ位置決めモデルを用いて、ポリープ位置決めを行い、前記内視鏡画像からＮＢＩポリープ画像ブロックを位置決めするステップと、を含む、請求項４に記載の方法。
前記結腸ポリープ画像の処理装置が、ポリープ性質認識モデルを用いて、前記ポリープ画像ブロック上でポリープタイプの分類検出を行い、認識結果を出力する前記ステップは、
ニューラルネットワークアルゴリズムを用いて、異なるポリープタイプのポリープピクチャトレーニングデータにより元のポリープ性質認識モデルに対してポリープタイプの分類検出トレーニングを行い、トレーニング済みのポリープ性質認識モデルを得るステップと、
前記トレーニング済みのポリープ性質認識モデルを用いて、前記ポリープ画像ブロックからポリープタイプ特徴を抽出するステップと、
前記トレーニング済みのポリープ性質認識モデルを用いて、前記ポリープタイプ特徴の値を分類し、認識結果を出力するステップと、を含む、請求項１に記載の方法。
前記内視鏡画像からポリープ画像ブロックを位置決めする前記ステップの後、
前記結腸ポリープ画像の処理装置が、予め設定された画像拡張比率に従って、前記内視鏡画像において前記ポリープ画像ブロックの占めるポリープ領域を上下左右方向に拡張し、拡張後のポリープ画像ブロックを得るステップと、
前記結腸ポリープ画像の処理装置が、前記拡張後のポリープ画像ブロックを前記ポリープ性質認識モデルに入力するステップと、をさらに含む、請求項１乃至３のいずれか一項、又は請求項６に記載の方法。
１つ以上のプロセッサと、プログラムユニットを記憶する１つ以上のメモリと、を含む結腸ポリープ画像の処理装置であって、前記プログラムユニットは、前記プロセッサにより実行され、前記プログラムユニットは、
ポリープ位置決めモデルを用いて、処理対象の内視鏡画像に対してポリープ位置検出を行い、前記内視鏡画像からポリープ画像ブロックを位置決めするように構成される位置検出モジュールであって、前記ポリープ画像ブロックは、前記内視鏡画像におけるポリープの位置領域を含む、位置検出モジュールと、
ポリープ性質認識モデルを用いて、前記ポリープ画像ブロック上でポリープタイプの分類検出を行い、認識結果を出力するように構成されるポリープ分類モジュールと、
前記位置検出モジュールが、前記ポリープ位置決めモデルを用いて、処理対象の前記内視鏡画像に対してポリープ位置検出を行う前に、前記内視鏡画像に対してピクチャタイプ認識を行い、前記内視鏡画像が白色光タイプのピクチャであるか、又は内視鏡狭帯域光観察（ＮＢＩ）タイプのピクチャであるかを決定するよう構成されるピクチャタイプ認識モジュールと、を含む装置。
コンピュータに請求項１乃至７のいずれか一項に記載の方法を実行させるコンピュータプログラム。
内視鏡装置と、結腸ポリープ画像の処理装置とを含み、前記内視鏡装置と前記結腸ポリープ画像の処理装置との間に通信接続が確立され、
前記内視鏡装置は、内視鏡ビデオストリームを生成し、前記内視鏡ビデオストリームを前記結腸ポリープ画像の処理装置に送信するように構成され、
前記結腸ポリープ画像の処理装置は、前記内視鏡装置から前記内視鏡ビデオストリームを受信し、前記内視鏡ビデオストリームから処理対象の内視鏡画像を取得し、請求項１乃至７のいずれか一項に記載の方法を実行するように構成される、医療システム。
画像の処理方法であって、
画像の処理装置が、目標対象位置決めモデルを用いて、処理対象の画像に対して目標対象位置検出を行い、前記画像から目標対象画像ブロックを位置決めするステップであって、前記目標対象画像ブロックは、前記画像における前記目標対象の位置領域を含む、ステップと、
前記画像の処理装置が、目標対象性質認識モデルを用いて、前記目標対象画像ブロック上で目標対象タイプの分類検出を行い、認識結果を出力するステップと、を含み、
前記画像の処理装置が、目標対象位置決めモデルを用いて、処理対象の画像に対して目標対象位置検出を行う前に、
前記画像の処理装置が、前記画像に対してピクチャタイプ認識を行い、前記画像が白色光タイプのピクチャであるか、又は内視鏡狭帯域光観察（ＮＢＩ）タイプのピクチャであるかを決定するステップをさらに含む、方法。
前記画像の処理装置が、目標対象位置決めモデルを用いて、処理対象の画像に対して目標対象位置検出を行う前に、
前記画像の処理装置が、前記画像から、色特徴、勾配変化特徴及び輝度異常特徴を抽出するステップと、
前記画像の処理装置が、前記色特徴、前記勾配変化特徴及び前記輝度異常特徴に基づいて、前記画像が低品質ピクチャであるか否かを判断するステップであって、前記低品質ピクチャは、ぼやけたピクチャ、色調異常及び露出過度や露出不足ピクチャ、低解像度ピクチャを含む、ステップと、
前記画像が前記低品質ピクチャでない場合、前記画像の処理装置が、目標対象位置決めモデルを用いて、処理対象の画像に対して目標対象位置検出を行うステップを実行するようにトリガーするステップと、をさらに含む、請求項１１に記載の方法。
前記画像の処理装置が、前記画像に対してピクチャタイプ認識を行い、前記画像が白色光タイプのピクチャであるか、又は内視鏡狭帯域光観察（ＮＢＩ）タイプのピクチャであるかを決定する前記ステップは、
ニューラルネットワークアルゴリズムを用いて、白色光タイプのピクチャトレーニングデータ及びＮＢＩタイプのピクチャトレーニングデータにより元の画像分類モデルに対して分類トレーニングを行い、トレーニング済みの画像分類モデルを得るステップと、
前記トレーニング済みの画像分類モデルを用いて、前記画像から指定対象色特徴を抽出するステップと、
前記トレーニング済みの画像分類モデルを用いて、前記指定対象色特徴の値を分類し、前記画像を前記白色光タイプのピクチャ、又は前記ＮＢＩタイプのピクチャとして得るステップと、を含む、請求項１１に記載の方法。
前記目標対象位置決めモデルは、
前記画像の処理装置が、ニューラルネットワークアルゴリズムを用いて、前記白色光タイプのピクチャトレーニングデータにより元の目標対象位置決めモデルに対して目標対象位置トレーニングを行うことにより得られる白色光目標対象位置決めモデルと、
前記画像の処理装置が、ニューラルネットワークアルゴリズムを用いて、前記ＮＢＩタイプのピクチャトレーニングデータにより元の目標対象位置決めモデルに対して目標対象位置トレーニングを行うことにより得られるＮＢＩ目標対象位置決めモデルと、を含む、請求項１１又は１３に記載の方法。
前記画像の処理装置が、目標対象位置決めモデルを用いて、処理対象の画像に対して目標対象位置検出を行い、前記画像から目標対象画像ブロックを位置決めする前記ステップは、
前記画像が前記白色光タイプのピクチャである場合、前記白色光目標対象位置決めモデルを用いて、目標対象位置決めを行い、前記画像から白色光目標対象画像ブロックを位置決めするステップと、
前記画像が前記ＮＢＩタイプのピクチャである場合、前記ＮＢＩ目標対象位置決めモデルを用いて、目標対象位置決めを行い、前記画像からＮＢＩ目標対象画像ブロックを位置決めするステップと、を含む、請求項１４に記載の方法。
前記画像の処理装置が、目標対象性質認識モデルを用いて、前記目標対象画像ブロック上で目標対象タイプの分類検出を行い、認識結果を出力する前記ステップは、
ニューラルネットワークアルゴリズムを用いて、異なる目標対象タイプの目標対象ピクチャトレーニングデータにより元の目標対象性質認識モデルに対して目標対象タイプの分類検出トレーニングを行い、トレーニング済みの目標対象性質認識モデルを得るステップと、
前記トレーニング済みの目標対象性質認識モデルを用いて、前記目標対象画像ブロックから目標対象タイプ特徴を抽出するステップと、
前記トレーニング済みの目標対象性質認識モデルを用いて、前記目標対象タイプ特徴の値を分類し、認識結果を出力するステップと、を含む、請求項１１に記載の方法。
前記画像から目標対象画像ブロックを位置決めする前記ステップの後、
前記画像の処理装置が、予め設定された画像拡張比率に従って、前記画像において前記目標対象画像ブロックの占める目標対象領域を上下左右方向に拡張し、拡張後の目標対象画像ブロックを得るステップと、
前記画像の処理装置が、前記拡張後の目標対象画像ブロックを前記目標対象性質認識モデルに入力するステップと、をさらに含む、請求項１１乃至１３のいずれか一項、又は請求項１６に記載の方法。