JP7350878B2

JP7350878B2 - 画像解析方法、装置、プログラム

Info

Publication number: JP7350878B2
Application number: JP2021555530A
Authority: JP
Inventors: 拓矢後藤; 宏毅中野; 正治阪本
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2019-03-28
Filing date: 2020-03-13
Publication date: 2023-09-26
Anticipated expiration: 2040-03-13
Also published as: US11074479B2; DE112020000279T5; CN113614780A; US20200311479A1; GB202114744D0; US11120305B2; GB2596751A; JP2022524878A; US20200311483A1; GB2596751B; WO2020194111A1

Description

本発明は、画像解析に関し特に検出モデルの学習に関連している。

画像の解析は、多くの分野で重要である。１つの非限定的な例は、腫瘍を識別するためのＸ線画像の解析であり、そのような解析において、Ｘ線画像から肺腫瘍などの病気を検出する効率的な検出モデルを有することは、有用である。

したがって、当技術分野において、前述の問題に対処する必要がある。

第１の態様から見ると、本発明は、入力画像を取得することと、入力画像内の対象領域を指定する注釈付き画像を取得することと、入力画像を、ターゲット領域を表示する出力画像を入力画像から生成する検出モデルに入力することと、対象領域外の誤差よりも重く、対象領域内の誤差に重み付けする損失関数を使用して、出力画像と注釈付き画像の間の誤差を計算することと、誤差を減らすような方法で検出モデルを更新することとを含む、コンピュータ実装方法を提供する。

さらに別の態様から見ると、本発明は、プロセッサまたはプログラム可能な回路と、命令を集合的に含んでいる１つまたは複数のコンピュータ可読媒体とを備えている装置を提供し、これらの命令は、プロセッサまたはプログラム可能な回路によって実行されることに応答して、プロセッサまたはプログラム可能な回路に、入力画像を取得することと、入力画像内の対象領域を指定する注釈付き画像を取得することと、入力画像を、ターゲット領域を表示する出力画像を入力画像から生成する検出モデルに入力することと、対象領域外の誤差よりも重く、対象領域内の誤差に重み付けする損失関数を使用して、出力画像と注釈付き画像の間の誤差を計算することと、誤差を減らすような方法で検出モデルを更新することとを実行させる。

さらに別の態様から見ると、本発明は、画像解析のためのコンピュータ・プログラム製品を提供し、このコンピュータ・プログラム製品は、処理回路によって読み取り可能な、本発明のステップを実行する方法を実行するために処理回路によって実行される命令を格納する、コンピュータ可読ストレージ媒体を備える。

さらに別の態様から見ると、本発明は、コンピュータ可読媒体に格納された、デジタル・コンピュータの内部メモリに読み込み可能なコンピュータ・プログラムを提供し、このコンピュータ・プログラムは、コンピュータ上で実行された場合に本発明のステップを実行するためのソフトウェア・コード部分を含む。

さらに別の態様から見ると、本発明は、プログラム命令を集合的に格納している１つまたは複数のコンピュータ可読ストレージ媒体を含んでいるコンピュータ・プログラム製品を提供し、これらのプログラム命令は、プロセッサまたはプログラム可能な回路に、入力画像を取得することと、入力画像内の対象領域を指定する注釈付き画像を取得することと、入力画像を、ターゲット領域を表示する出力画像を入力画像から生成する検出モデルに入力することと、注釈付き画像によって指定された対象領域外の誤差よりも重く、指定された対象領域内の誤差に重み付けする損失関数を使用して、出力画像と注釈付き画像の間の誤差を計算することと、誤差を減らすような方法で検出モデルを更新することとを含んでいる動作を実行させるように、プロセッサまたはプログラム可能な回路によって実行可能である。

さらに別の態様から見ると、本発明は、プロセッサまたはプログラム可能な回路と、命令を集合的に含んでいる１つまたは複数のコンピュータ可読媒体とを備えている装置を提供し、これらの命令は、プロセッサまたはプログラム可能な回路によって実行されることに応答して、プロセッサまたはプログラム可能な回路に、ターゲット領域を表示する出力画像を入力画像から生成するためのニューラル・ネットワークを実現することを実行させ、このニューラル・ネットワークは、入力と出力の間に、複数の畳み込み層と、複数のプーリング層と、複数の逆畳み込み層と、複数のバッチ正規化層とを含み、複数のバッチ正規化層は、複数の畳み込み層および複数のプーリング層の一部を含んでいる第１の経路と、その他の複数の畳み込み層および複数の逆畳み込み層を含んでいる第２の経路とのうちの少なくとも１つに含まれている既定の数の層ごとに、それぞれ配置される。

さらに別の態様から見ると、本発明は、プログラム命令を集合的に格納している１つまたは複数のコンピュータ可読ストレージ媒体を含んでいるコンピュータ・プログラム製品を提供し、これらのプログラム命令は、プロセッサまたはプログラム可能な回路に、ターゲット領域を表示する出力画像を入力画像から生成するためのニューラル・ネットワークを実現することを含んでいる動作を実行させるように、プロセッサまたはプログラム可能な回路によって実行可能であり、このニューラル・ネットワークは、入力と出力の間に、複数の畳み込み層と、複数のプーリング層と、複数の逆畳み込み層と、複数のバッチ正規化層とを含み、複数のバッチ正規化層は、複数の畳み込み層および複数のプーリング層の一部を含んでいる第１の経路と、その他の複数の畳み込み層および複数の逆畳み込み層を含んでいる第２の経路とのうちの少なくとも１つに含まれている既定の数の層ごとに、それぞれ配置される。

本発明の実施形態に従って、入力画像を取得することと、入力画像内の対象領域を指定する注釈付き画像を取得することと、入力画像を、ターゲット領域を表示する出力画像を入力画像から生成する検出モデルに入力することと、対象領域外の誤差よりも重く、対象領域内の誤差に重み付けする損失関数を使用して、出力画像と注釈付き画像の間の誤差を計算することと、誤差を減らすような方法で検出モデルを更新することとを含む、コンピュータ実装方法が提供される。

重み付き交差エントロピーが損失関数として使用される。このようにして、重み付き交差エントロピーを使用して誤差が重み付けされ得る。

検出モデルは、入力と出力の間に、１つまたは複数の畳み込み層と、１つまたは複数のプーリング層と、１つまたは複数の逆畳み込み層と、１つまたは複数のバッチ正規化層とを含んでよい。このようにして、一部の実施形態では、検出モデルは、学習の収束を加速し、過剰学習を制限する。

コンピュータ実装方法は、入力画像内の少なくとも１つの座標を取得することと、少なくとも１つの座標に従って対象領域を指定することとをさらに含んでよい。このようにして、少なくとも１つの座標から対象領域を概略的に指定することができる。

本発明の別の実施形態によれば、プロセッサまたはプログラム可能な回路と、命令を集合的に含んでいる１つまたは複数のコンピュータ可読媒体とを備えている装置が提供され、これらの命令は、プロセッサまたはプログラム可能な回路によって実行されることに応答して、プロセッサまたはプログラム可能な回路に、入力画像を取得することと、入力画像内の対象領域を指定する注釈付き画像を取得することと、入力画像を、ターゲット領域を表示する出力画像を入力画像から生成する検出モデルに入力することと、対象領域外の誤差よりも重く、対象領域内の誤差に重み付けする損失関数を使用して、出力画像と注釈付き画像の間の誤差を計算することと、誤差を減らすような方法で検出モデルを更新することとを実行させる。このようにして、プロセッサまたはプログラム可能な回路は、入力画像を取得し、検出モデルを正確に学習する。

本発明の別の実施形態によれば、プログラム命令を集合的に格納している１つまたは複数のコンピュータ可読ストレージ媒体を含んでいるコンピュータ・プログラム製品が提供され、これらのプログラム命令は、プロセッサまたはプログラム可能な回路に、入力画像を取得することと、入力画像内の対象領域を指定する注釈付き画像を取得することと、入力画像を、ターゲット領域を表示する出力画像を入力画像から生成する検出モデルに入力することと、注釈付き画像によって指定された対象領域外の誤差よりも重く、指定された対象領域内の誤差に重み付けする損失関数を使用して、出力画像と注釈付き画像の間の誤差を計算することと、誤差を減らすような方法で検出モデルを更新することとを含んでいる動作を実行させるように、プロセッサまたはプログラム可能な回路によって実行可能である。このようにして、検出モデルの機械学習に関連する精度を向上させることができる。

本発明の別の実施形態によれば、プロセッサまたはプログラム可能な回路と、命令を集合的に含んでいる１つまたは複数のコンピュータ可読媒体とを備えている装置が提供され、これらの命令は、プロセッサまたはプログラム可能な回路によって実行されることに応答して、プロセッサまたはプログラム可能な回路に、ターゲット領域を表示する出力画像を入力画像から生成するためのニューラル・ネットワークを実現することを実行させ、このニューラル・ネットワークは、入力と出力の間に、複数の畳み込み層と、複数のプーリング層と、複数の逆畳み込み層と、複数のバッチ正規化層とを含み、複数のバッチ正規化層は、複数の畳み込み層および複数のプーリング層の一部を含んでいる第１の経路と、その他の複数の畳み込み層および複数の逆畳み込み層を含んでいる第２の経路とのうちの少なくとも１つに含まれている既定の数の層ごとに、それらの既定の数の層の後に、それぞれ配置される。

本発明の別の実施形態によれば、プログラム命令を集合的に格納している１つまたは複数のコンピュータ可読ストレージ媒体を含んでいるコンピュータ・プログラム製品が提供され、これらのプログラム命令は、プロセッサまたはプログラム可能な回路に、ターゲット領域を表示する出力画像を入力画像から生成するためのニューラル・ネットワークを実現することを含んでいる動作を実行させるように、プロセッサまたはプログラム可能な回路によって実行可能であり、このニューラル・ネットワークは、入力と出力の間に、複数の畳み込み層と、複数のプーリング層と、複数の逆畳み込み層と、複数のバッチ正規化層とを含み、複数のバッチ正規化層は、複数の畳み込み層および複数のプーリング層の一部を含んでいる第１の経路と、その他の複数の畳み込み層および複数の逆畳み込み層を含んでいる第２の経路とのうちの少なくとも１つに含まれている既定の数の層ごとに、それらの既定の数の層の後に、それぞれ配置される。このようにして、一部の実施形態では、検出モデルは、学習の収束を加速し、過剰学習を制限する。

発明の概要の節は、本発明の実施形態のすべての必要な特徴を必ずしも説明していない。本発明は、前述した特徴の部分的組み合わせであってもよい。本発明の上記およびその他の特徴および利点が、添付の図面と併用される以下の実施形態の説明から、さらに明らかになるであろう。

以下では、次の図に示された好ましい実施形態を単に例として参照し、本発明が説明される。

本発明の例示的な実施形態に従って、検出モデルを学習するためのシステムが損失関数を利用するコンピューティング環境を示す機能ブロック図である。本発明の少なくとも１つの実施形態に従って、図１の環境内の検出モデルの例示的なネットワークを示す図である。本発明の少なくとも１つの実施形態に従って、図１の環境内のコンピューティング・デバイス上で実行される検出モデルの動作プロセスを示す図である。本実施形態に従う出力画像と従来方法によって取得された出力画像の間の比較の例を示す図である。本発明の少なくとも１つの実施形態に従って、損失関数を利用して検出モデルを学習するためのシステムに対する変更が行われた、コンピューティング環境を示す機能ブロック図である。本変更に従って、装置１００による対象領域の指定の例を示す図である。本発明の少なくとも１つの実施形態に従って、損失関数を利用して検出モデルを学習するためのシステムに対するさらに別の変更が行われた、コンピューティング環境を示す機能ブロック図である。本発明の少なくとも１つの実施形態に従って、図１に示されたコンピューティング環境内の１つまたは複数のコンピューティング・デバイスのコンポーネントのブロック図である。

以下では、本発明のいくつかの実施形態について説明する。これらの実施形態は、特許請求の範囲に従う本発明を制限せず、実施形態に記載された特徴のすべての組み合わせは、本明細書において開示された特徴によって提供される実施形態を含むことができるが、これらの実施形態に限定されない。

図１は、本実施形態に従う、装置１００の機能ブロック図である。装置１００は、ＰＣ（Personal Computer：パーソナル・コンピュータ）、タブレット・コンピュータ、スマートフォン、ワーク・ステーション、サーバ・コンピュータ、または汎用コンピュータなどのコンピュータ、複数のコンピュータが接続されたコンピュータ・システム、あるいは損失関数を利用して検出モデルを学習するためのシステムを実行できる任意のプログラム可能な電子デバイスまたはプログラム可能な電子デバイスの組み合わせであってよい。そのようなコンピュータ・システムは、広い定義ではコンピュータでもある。さらに、装置１００は、コンピュータ・システム内で実行できる１つまたは複数の仮想コンピュータ環境によって実装される。代わりに、装置１００は、検出モデルを更新するように設計された特殊なコンピュータであってよく、または特殊な回路によって利用される特殊なハードウェアを含んでよい。さらに、装置１００はインターネットに接続することができる場合、装置１００はクラウド・コンピューティングにおいて利用される。

装置１００は、損失関数を使用して、注釈付き画像と、入力画像を検出モデルに入力することによって生成された出力画像との間の誤差を計算し、この誤差を減らすような方法で検出モデルを更新する。そのような実行において、本実施形態に従う装置１００は、損失関数として、対象領域（ＲＯＩ：region of interest）外の誤差よりも重く、対象領域（ＲＯＩ）内の誤差に重み付けすることによって、検出モデルを学習する。本実施形態では、装置１００が、動物のＸ線画像から肺腫瘍などの病気を検出する検出モデルを学習する事例が、一例として示される。しかし、検出モデルは、この例を含むが、例えば動物内の腫瘍などの組織構造を認識する特徴の範囲に限定されない。装置１００は、さまざまな画像からさまざまな領域を検出する検出モデルを学習してよい。装置１００は、入力画像取得セクション１１０、注釈付き画像取得セクション１２０、検出モデル１３０、誤差計算セクション１４０、重み格納セクション１５０、および更新セクション１６０を含む。

入力画像取得セクション１１０は、複数の入力画像を取り出し、これらの入力画像は、理解を明確にする目的で、特定の実施形態によって「元の」画像であると考えられる。例えば、１つの実施形態では、入力画像取得セクション１１０は、動物の複数のＸ線画像を取り出す。入力画像取得セクション１１０は、検出モデル１３０に複数の取得された入力画像が提供されるように、検出モデル１３０と通信する。

注釈付き画像取得セクション１２０は、複数の入力画像の各々について、入力画像内の対象領域を指定する注釈付き画像を取り出す。例えば、注釈付き画像取得セクション１２０は、各注釈付き画像を取り出してよく、注釈付き画像では、ある領域が他の領域と異なるということを示すラベルが、入力画像内の対象領域に付けられる。注釈付き画像取得セクション１２０は、取得された注釈付き画像を誤差計算セクション１４０に伝達する。

検出モデル１３０は、入力画像取得セクション１１０から取り出された複数の入力画像を受信し、ターゲット領域を表示する各出力画像をこれらの入力画像から生成する。本実施形態では、下でさらに説明される多層ニューラル・ネットワークが、検出モデル１３０のアルゴリズムとして使用される。ただし、検出モデル１３０は本実施形態に限定されない。代わりに、下で説明されるモデルに加えて、ＣＮＮ、ＦＣＮ、ＳｅｇＮｅｔ、およびＵ－Ｎｅｔなどのニューラル・ネットワーク、またはターゲット領域を検出できる任意のアルゴリズム（サポート・ベクター・マシン（ＳＶＭ：support vector machine）および決定木など）が、検出モデル１３０として使用される。検出モデル１３０は、生成された出力画像を誤差計算セクション１４０に伝達する。

誤差計算セクション１４０は、損失関数を使用して、検出モデル１３０から供給された出力画像と、注釈付き画像取得セクション１２０から供給された注釈付き画像との間の各誤差を計算する。これを実行するときに、誤差計算セクション１４０は、重み付き交差エントロピーを損失関数として使用して、対象領域外の誤差よりも重く、対象領域内の誤差に重み付けする。言い換えると、一例として、誤差計算セクション１４０は、医師によって肺腫瘍として指定された領域外の誤差よりも重く、この領域内の誤差に重み付けする。このことが、以下でさらに詳細に説明される。

重み格納セクション１５０は、前もって重みを格納し、それらの重みを誤差計算セクション１４０に供給する。誤差計算セクション１４０は、重み付き交差エントロピーと共に重みを活用して誤差を計算する。

誤差計算セクション１４０は、重み格納セクション１５０から供給された重みを重み付き交差エントロピーに適用して、出力画像と注釈付き画像の間の誤差を計算し、これらの誤差を更新セクション１６０に供給する。

更新セクション１６０は、誤差計算セクション１４０から供給された誤差を減らすような方法で検出モデル１３０を更新する。例えば、更新セクション１６０は、誤差逆伝播手法を使用して、誤差を最小限に抑えるような方法で検出モデルの各パラメータを更新する。当業者は、誤差逆伝播手法自体が、検出モデルを学習する際に使用されるアルゴリズムとして広く受け入れられているということを認識するであろう。

図２は、本実施形態に従って、検出モデル１３０の例示的なネットワークを示している。一例として、検出モデル１３０は、入力と出力の間に、１つまたは複数の畳み込み層と、１つまたは複数のプーリング層と、１つまたは複数の逆畳み込み層と、１つまたは複数のバッチ正規化層とを含む。この図では、一例として、検出モデル１３０は、入力層２１０と出力層２６０の間に、複数の畳み込み層２２０ａ～２２０ｗ（集合的に「畳み込み層２２０」と呼ばれる）、複数のプーリング層２３０ａ～２３０ｅ（集合的に「プーリング層２３０」と呼ばれる）、複数の逆畳み込み層２４０ａ～２４０ｅ（集合的に「逆畳み込み層２４０」と呼ばれる）、および複数のバッチ正規化層２５０ａ～２５０ｉ（集合的に「バッチ正規化層２５０」と呼ばれる）を含む。

畳み込み層２２０はそれぞれ、既定の大きさを有するカーネル（フィルタ）をスライドさせながら、入力画像に適用される畳み込み演算を実行することによって、特徴マップを出力する。

プーリング層２３０はそれぞれ、入力画像をより処理しやすい形状に変形させるために、情報を圧縮してダウンサンプリングする。この場合、各プーリング層２３０は、例えば、各範囲の最大値を選択して圧縮するために、最大プーリングを使用してよく、または各範囲の平均値を計算して圧縮するために、平均プーリングを使用してもよい。

逆畳み込み層２４０はそれぞれ、それらに入力された特徴マップ内の各要素の周囲または間あるいはその両方に空白を追加することによって、サイズを拡張し、その後、既定の大きさを有するカーネル（フィルタ）をスライドさせながら適用される逆畳み込み演算を実行する。

バッチ正規化層２５０はそれぞれ、各ユニットの出力を、ミニ・バッチごとに正規化された新しい値に置き換える。言い換えると、各バッチ正規化層２５０は、複数の画像の各々の要素が正規化された分布を有するように、正規化を実行する。

本実施形態に従う検出モデル１３０は、例えば、複数の畳み込み層２２０ａ～２２０ｌおよび複数のプーリング層２３０ａ～２３０ｅを含むエンコーディング経路である第１の経路と、複数の畳み込み層２２０ｍ～２２０ｗおよび複数の逆畳み込み層２４０ａ～２４０ｅを含むデコーディング経路である第２の経路とを含む。エンコーディング経路およびデコーディング経路はそれぞれ、同じ寸法を有している特徴マップを接続する。

さらに、本実施形態に従う検出モデル１３０では、複数のバッチ正規化層２５０が、複数の畳み込み層２２０および複数のプーリング層２３０の一部を含む第１の経路と、その他の複数の畳み込み層２２０および複数の逆畳み込み層２４０を含む第２の経路とのうちの少なくとも１つに含まれている既定の数の層ごとに、それぞれ配置される。

一例として、複数のバッチ正規化層２５０ａ～２５０ｄが、エンコーディング経路内の既定の数の層ごとに、それぞれ配置され、複数のバッチ正規化層２５０ｅ～２５０ｉが、デコーディング経路内の既定の数の層ごとに、それぞれ配置される。より詳細には、この図に示されているように、エンコーディング経路内で、複数のバッチ正規化層２５０ａ～２５０ｄが、デコーディング経路に接続された畳み込み層２２０ｄ、２２０ｆ、２２０ｈ、および２２０ｊの後にそれぞれ配置されている。さらに、デコーディング経路内で、複数のバッチ正規化層２５０ｅ～２５０ｈが、畳み込み層２２０ｎ、２２０ｐ、２２０ｒ、２２０ｔ、および２２０ｖの後にそれぞれ配置されている。

このようにして、本実施形態の検出モデル１３０に従って、少なくとも１つのバッチ正規化層２５０が、エンコーディング経路およびデコーディング経路のうちの少なくとも１つに配置され、したがって、内部変数の分布の大きい変化（内部共変量シフト）を防ぎ、学習の収束を加速することができ、過剰学習を制限することもできる。さらに、そのような検出モデル１３０を使用することによって、本実施形態に従う装置１００は、誤差を含むラベルから正しいラベル分類を学習するときに、検出モデル１３０をより効率的に学習することができる。

図３は、装置１００が本実施形態に従って検出モデル１３０を学習する動作プロセスを示している。

ステップ３１０で、装置１００が複数の入力画像を取得する。例えば、入力画像取得セクション１１０は、動物の複数のＸ線画像を取得する。画像のサイズが互いに異なっている場合、入力画像取得セクション１１０は、入力画像として、それぞれ前処理（例えば、ピクセル値の正規化、既定の形状へのトリミング、および既定のサイズへのサイズ変更）が適用された画像を取得してよい。この時点で、入力画像取得セクション１１０は、例えば、インターネットを介して、ユーザ入力を介して、またはデータを格納できるメモリ・デバイスなどを介して、複数の入力画像を取得してよい。入力画像取得セクション１１０は、複数の取得された入力画像と共に検出モデル１３０を供給する。

ステップ３２０で、装置１００は、複数の入力画像の各々について、入力画像内の対象領域を指定する注釈付き画像を取得する。例えば、注釈付き画像取得セクション１２０は、各注釈付き画像を取得し、注釈付き画像では、例えば、医師によって肺腫瘍として指定された領域内のピクセルがクラスｃ＝１でラベル付けされ、この領域外のピクセルがクラスｃ＝０でラベル付けされる。上記の説明では、肺腫瘍として指定された領域の内側または外側のいずれにピクセルが存在するかに基づいて、２つのクラス（例えば、ｃ＝０およびｃ＝１）に従って各ピクセルがラベル付けされる例が示されたが、本実施形態はこれに限定されない。例えば、注釈付き画像取得セクション１２０は、各注釈付き画像を取得してよく、注釈付き画像では、肺領域内にあり、かつ肺腫瘍領域内にあるピクセルがクラスｃ＝２でラベル付けされ、肺領域内にあるが、肺腫瘍領域外にあるピクセルがクラスｃ＝１でラベル付けされ、肺領域外にあり、肺腫瘍領域外にあるピクセルがクラスｃ＝０でラベル付けされる。言い換えると、注釈付き画像取得セクション１２０は、３つ以上のクラス（例えば、ｃ＝０、ｃ＝１、およびｃ＝２）に従ってラベル付けされた各注釈付き画像を取得してよい。この時点で、注釈付き画像取得セクション１２０は、ネットワークを介して、ユーザ入力を介して、またはデータを格納できるメモリ・デバイスなどを介して、各注釈付き画像を取得してよい。注釈付き画像取得セクション１２０は、取得された注釈付き画像を誤差計算セクション１４０に供給する。

ステップ３３０で、装置１００が、ステップ３１０で取得された複数の入力画像の各々を検出モデル１３０に入力し、検出モデル１３０が、ターゲット領域の出力画像を入力画像から生成する。例えば、複数の入力画像の各々について、検出モデル１３０は出力画像を生成し、これらの出力画像では、入力画像内のターゲット領域（すなわち、肺腫瘍領域）であると予測された領域内のピクセルが、クラスｃ＝１でラベル付けされ、この領域外のピクセルがクラスｃ＝０でラベル付けされる。次に、検出モデル１３０は、生成された出力画像の各々を誤差計算セクション１４０に供給する。上記の説明では、装置１００が注釈付き画像の取得後に出力画像を生成する例が示されたが、装置１００はこれに限定されない。装置１００は、出力画像の生成後に注釈付き画像を取得してよい。言い換えると、ステップ３３０の後にステップ３２０が実行される。

ステップ３４０で、装置１００が、損失関数を使用して、ステップ３３０で取得された出力画像と、ステップ３２０で取得された注釈付き画像との間の各誤差を計算する。このとき、誤差計算セクション１４０は、交差エントロピーを損失関数として使用する。通常、交差エントロピーは、確率分布および参照固定確率分布（reference fixed probability distribution）という２つの確率分布の間で定義される尺度であり、確率分布および参照固定確率分布が同じである場合に最小値を有し、確率分布と参照固定確率分布の差異が大きいほど、大きい値を有する。ここで、出力画像と注釈付き画像の間の誤差を計算するときに、この交差エントロピーが、入力画像内のピクセルのいずれにも重み付けしないで使用される場合、誤差は、広い面積を有するピクセル・グループによる影響を強く受ける。これが発生すると、例えば、注釈付き画像に誤差が含まれている場合、この誤差を最小限に抑えるように検出モデルが更新された場合でも、ターゲット領域を検出するための検出モデルを正確に学習できなくなることがある。

したがって、本実施形態では、誤差を計算するために誤差計算セクション１４０によって使用される損失関数が、対象領域外の誤差よりも重く、対象領域内の誤差に重み付けする。このとき、誤差計算セクション１４０は、重み付き交差エントロピーを損失関数として使用してよい。例えば、重み格納セクション１５０は、この重み付き交差エントロピーに適用される重みを前もって格納し、これらの重みを誤差計算セクション１４０に供給する。誤差計算セクション１４０は、重み格納セクション１５０から供給された重みを重み付き交差エントロピーに適用して、出力画像と注釈付き画像の間の誤差を計算する。ここで、対象領域外の誤差よりも重く、対象領域内の誤差に重み付けするときに、重み付き交差エントロピーにおいて、ターゲット領域内の重みが、ターゲット領域外の重みよりも大きい値になるように設定される。代わりに、重み付き交差エントロピーにおいて、対象領域内の重みが、対象領域外の重みよりも大きい値になるように設定される。これが、数式を使用して説明される。

誤差計算セクション１４０は、例えば、次式で示された重み付き交差エントロピーを損失関数として使用する。Ｘが入力画像内のすべてのピクセル「ｉ」の集合であり、Ｃがすべてのクラスｃの集合であり、Ｗ_ｃがクラスｃの重みであり、ｐ_ｉ ^ｃが注釈付き画像内のピクセル「ｉ」でのクラスｃの値であり、ｑ_ｉ ^ｃが出力画像内のピクセル「ｉ」でのクラスｃの値であるということに、注意するべきである。
式１：

ここで例が説明され、この例では、注釈付き画像取得セクション１２０は、医師によって肺腫瘍として指定された対象領域（ＲＯＩ）内のピクセルがクラスｃ＝１としてラベル付けされ、対象領域外のピクセルがクラスｃ＝０としてラベル付けされる、注釈付き画像を取得し、検出モデル１３０は、入力画像内の肺腫瘍領域であると予測されたターゲット領域内のピクセルにクラスｃ＝１が与えられ、ターゲット領域外のピクセルにクラスｃ＝０が与えられる、出力画像を生成する。

この場合、式１は、以下に示す式に展開される。具体的には、交差エントロピーが４つの構成要素の和として展開され、それらの構成要素は、（１）対象領域内のピクセルがｃ＝１でラベル付けされ、ターゲット領域内にあると予測された構成要素、（２）対象領域内のピクセルがｃ＝０でラベル付けされ、ターゲット領域外にあると予測された構成要素、（３）対象領域外のピクセルがｃ＝１でラベル付けされ、ターゲット領域内にあると予測された構成要素、および（４）対象領域外のピクセルがｃ＝０でラベル付けされ、ターゲット領域外にあると予測された構成要素である。
式２：

しかし、前述した事例では、対象領域内のピクセルがｃ＝０でラベル付けされる確率は０であり、したがって、式２内の第２の項の構成要素は０である。同様に、対象領域外のピクセルがｃ＝１でラベル付けされる確率は０であり、したがって、式２内の第３の項の構成要素は０である。対象領域内のピクセルがｃ＝１でラベル付けされる確率および対象領域外のピクセルがｃ＝０でラベル付けされる確率は、両方とも１であり、したがって式２は、以下の式のように示され得る。具体的には、交差エントロピーが２つの構成要素の和として示され、それらの構成要素は、対象領域内のピクセルがターゲット領域内にあると予測された構成要素、および対象領域外のピクセルがターゲット領域外にあると予測された構成要素である。
式３：

本実施形態では、損失関数が、対象領域外の誤差よりも重く、対象領域内の誤差に重み付けする。言い換えると、式３では、第１の項の構成要素の重みＷｃが、第２の項の構成要素の重みＷｃよりも大きい値に設定される。ここで、重み付き交差エントロピーでは、ターゲット領域外の重みよりも大きい値になるようにターゲット領域内の重みを設定することによって、対象領域内の誤差が、対象領域外の誤差よりも重く重み付けされる。言い換えると、式２内の第２の項の構成要素および第４の項の構成要素の重みよりも大きい値になるように、式２内の第１の項の構成要素および第３の項の構成要素の重みを設定することによって、式３内の第２の構成要素の重みよりも大きい値になるように、式３内の第１の構成要素の重みが設定される。代わりに、重み付き交差エントロピーでは、対象領域外の重みよりも大きい値になるように対象領域内の重みを設定することによって、対象領域内の誤差が、対象領域外の誤差よりも重く重み付けされる。言い換えると、式２内の第３の項の構成要素および第４の項の構成要素の重みよりも大きい値になるように、式２内の第１の項の構成要素および第２の項の構成要素の重みを設定することによって、式３内の第２の項の構成要素の重みよりも大きい値になるように、式３内の第１の項の構成要素の重みが設定される。次に、誤差計算セクション１４０は、この方法で計算された出力画像と注釈付き画像の間の誤差を更新セクション１６０に供給する。

ステップ３５０で、装置１００が、ステップ３４０で計算された誤差を減らすような方法で、検出モデル１３０を更新する。例えば、更新セクション１６０は、誤差逆伝播手法を使用して、この誤差を最小限に抑えるような方法で検出モデル１３０の各パラメータを更新し、その後、プロセスを終了する。

装置１００は、バッチ学習、ミニ・バッチ学習、およびオンライン学習などのさまざまな学習方法に従って、ステップ３３０からステップ３５０までのプロセスを繰り返し実行することができる。

図４は、本実施形態に従う出力画像と従来方法によって取得された出力画像の間の比較の例を示している。この図では、入力画像、従来方法によって取得された出力画像、本実施形態に従って取得された出力画像、および本実施形態に従って取得された出力画像が入力画像に重ね合わせられたオーバーレイ画像が、左から右へ、述べられた順序で示されている。この図に示されているように、従来方法に従う検出モデルでは、入力画像をクラスに分割し、肺腫瘍領域と他の領域の間の予測を行うことは不可能だった。これに対して、本実施形態に従って装置１００によって学習された検出モデル１３０では、肺腫瘍領域（図に白色で示された領域）および他の領域（図に黒色で示された領域）がクラスに従って分割された出力を取得することが可能になった。この出力が入力画像に重ね合わせられた画像を見ると、検出モデル１３０によって予測されたターゲット領域が、実際の肺腫瘍領域にほとんど一致しており、検出モデル１３０の信頼性を確認することができる。

このようにして、本実施形態の装置１００に従って、損失関数を使用して出力画像と注釈付き画像の間の誤差を計算する場合、損失関数は、対象領域外の誤差よりも重く、対象領域内の誤差に重み付けする。このため、装置１００は、（ｉ）対象領域内のピクセルに起因する影響を強め、（ｉｉ）出力画像と注釈付き画像の間の誤差を計算することができる。次に検出モデルは、この方法で計算された誤差を最小限に抑えるような方法で更新され、したがって、例えば誤差が注釈付き画像に含まれている場合でも、装置１００は、ターゲット領域を検出するための検出モデル１３０を正確に学習することができる。言い換えると、装置１００は、誤差を含むラベルから正しいラベル分類を学習する弱教師あり学習によって検出モデル１３０を学習することができる。

図５は、本実施形態の変更に従う、装置１００の機能ブロック図である。この図では、図１のコンポーネントと同じ機能および構成を有しているコンポーネントに、同じ参照番号が与えられ、以下の説明は異なる点のみを含む。本変更に従う装置１００は、座標取得セクション５１０および対象領域指定セクション５２０をさらに含む。

座標取得セクション５１０は、入力画像内の少なくとも１つの座標を取得する。座標取得セクション５１０は、少なくとも１つの取得された座標を対象領域指定セクション５２０に供給する。ここで座標取得セクション５１０は、入力画像内の単一の点のみの座標を取得してよく、または入力画像内の複数の座標のセットを取得してもよい。

対象領域指定セクション５２０は、座標取得セクション５１０から供給された少なくとも１つの座標に従って対象領域を指定する。ここで対象領域指定セクション５２０は、少なくとも１つの座標を参照として使用して、既定の範囲を対象領域として指定してよい。これの代わりに、または追加として、対象領域指定セクション５２０は、少なくとも１つの座標でのテクスチャに類似するテクスチャを有する範囲を対象領域として指定してよい。これの代わりに、または追加として、対象領域指定セクション５２０は、複数の座標のセットによって囲まれた領域を対象領域として指定してよい。対象領域指定セクション５２０は、指定された対象領域に関する情報を注釈付き画像取得セクション１２０に供給する。注釈付き画像取得セクション１２０は、対象領域指定セクション５２０によって指定された対象領域に従って注釈付き画像を取り出す。

図６は、本変更に従って、装置１００による対象領域の指定の例を示している。例えば、装置１００は、入力画像を画面に表示し、ユーザ（例えば、医師、獣医師、検査技師、または学生、ただしこれらに限定されない）による操作によって生じた入力を受信する。座標取得セクション５１０は、ユーザ入力に基づいて、入力画像内の少なくとも１つの座標（例えば、この図の左側の画像に示されている十字マークによって示された位置の座標）を取り出す。次に、対象領域指定セクション５２０は、少なくとも１つの座標を参照として使用して、既定の範囲になる対象領域を指定し、例えば既定の範囲は、この図の右側の画像に示されているような、十字マークによって示された位置の座標を中心とする、既定のサイズを有する楕円形の範囲（この図では、白色で示された領域）である。

しかし、対象領域を指定するための方法は、これに限定されない。前述したように、対象領域指定セクション５２０は、例えば、十字マークによって示された位置のテクスチャに類似するテクスチャを有する範囲を対象領域として指定してよい。別の例として、ユーザは、マウス操作などを使用して入力画像内の部分的領域を囲むなどの操作を実行してよく、座標取得セクション５１０は、この領域を囲む複数の座標のセットを取得してよい。次に、対象領域指定セクション５２０は、複数の座標のこのセットによって囲まれた領域を対象領域として指定してよい。さらに、対象領域指定セクション５２０は、前述した複数の指定方法の組み合わせを使用してよい。言い換えると、対象領域指定セクション５２０は、少なくとも１つの座標を参照として使用して、既定の範囲内の少なくとも１つの座標のテクスチャに類似するテクスチャを有する範囲を対象領域として指定してよい。代替として、対象領域指定セクション５２０は、複数の座標のセットによって囲まれた領域内の類似するテクスチャを含む範囲を対象領域として指定してよい。

このようにして、本変更に従う装置１００は、入力画像内の少なくとも１つの座標にユーザ入力を有することによって、対象領域を概略的に指定する。次に、本変更の装置１００に従って、このようにして概略的に指定された対象領域に従う注釈付き画像（すなわち、誤差を含む注釈付き画像）が取得された場合でも、誤差を含むラベルから正しいラベル分類が学習され、したがって、ターゲット領域を検出するための検出モデル１３０を正確に学習することができる。

図７は、本実施形態の別の変更に従って、装置１００の例示的なブロック図を示している。この図では、図５のコンポーネントと同じ機能および構成を有しているコンポーネントに、同じ参照番号が与えられ、以下の説明は異なる点のみを含む。本変更に従う装置１００は、対象領域表示セクション７１０および変更セクション７２０をさらに含む。

対象領域表示セクション７１０は、例えば、対象領域指定セクション５２０によって指定された対象領域をモニタなどに表示する。

変更セクション７２０は、対象領域表示セクション７１０が対象領域を表示している間に、ユーザ入力を受信し、対象領域指定セクション５２０によって指定された対象領域を変更する。

このようにして、本変更に従う装置１００は、対象領域指定セクション５２０によって概略的に指定された対象領域を表示し、この対象領域をユーザに変更させるための機能を有する。このようにして、本変更の装置１００に従って、機械的に指定された対象領域内のユーザの操作に基づいて変更を反映し、誤差の少ない注釈付き画像を取得することができる。

一例として、前述した実施形態は、次の方法で変更され得る。例えば、装置１００は、複数の検出モデルを含み、同じ入力画像の対象領域が異なる範囲を有するように設定された、複数の注釈付き画像を取り出す。次に、装置１００は、複数の注釈付き画像を使用して複数の検出モデルの各々を学習し、各検出モデルによって出力されたターゲット領域が検出モデル１３０によって出力されたターゲット領域として重なる領域を使用してよい。例えば、装置１００は、２つの検出モデルを含み、同じ入力画像について、相対的に広い範囲を有するように対象領域が設定された注釈付き画像、および相対的に狭い範囲を有するように対象領域が設定された注釈付き画像を取り出す。次に、装置１００は、相対的に広い範囲を有するように対象領域が設定された注釈付き画像を使用して検出モデルのうちの１つを学習し、相対的に狭い範囲を有するように対象領域が設定された注釈付き画像を使用して他の検出モデルを学習する。その後、２つの検出モデルの両方によってターゲット領域として予測された領域が、検出モデル１３０によって出力されたターゲット領域として使用される。

別の例として、前述した実施形態は、次の方法で変更され得る。例えば、対象領域指定セクション５２０が、少なくとも１つの座標に従って対象領域を指定する場合、注釈付き画像取得セクション１２０は、少なくとも１つの座標に対応する注釈付き画像を設定してよい。上記の説明は、注釈付き画像取得セクション１２０が、対象領域内のピクセルがクラスｃ＝１でラベル付けされ、対象領域外のピクセルがクラスｃ＝０でラベル付けされた注釈付き画像を取得する場合の例である。言い換えると、注釈付き画像取得セクション１２０は、対象領域内のすべてのピクセルが同じクラスでラベル付けされた注釈付き画像を取得する。しかし、注釈付き画像取得セクション１２０は、対象領域内のピクセルが、これらのピクセルの位置に対応するクラスでラベル付けされた注釈付き画像を取得してよい。言い換えると、一例として、対象領域指定セクション５２０が、少なくとも１つの座標を中心とする対象領域を指定した場合、注釈付き画像取得セクション１２０は、少なくとも１つの座標でのピクセルがクラスｃ＝１でラベル付けされ、他のピクセルが、これらのピクセルが少なくとも１つの座標から遠いほど０により近いクラスでラベル付けされた注釈付き画像を取得してよい。このようにして、装置１００は、検出モデルを学習するために、対象領域内でも、ユーザによって指定された位置に近いピクセルの影響をさらに強めることができる。

本発明の種々の実施形態は、（１）動作が実行されるプロセスのステップ、および（２）動作を実行する役割を担う装置のセクションを表すことができるブロックを含む、フローチャートおよびブロック図を参照して説明される。特定のステップおよびセクションは、専用回路、コンピュータ可読媒体に格納されたコンピュータ可読命令と共に提供されるプログラム可能な回路、またはコンピュータ可読媒体に格納されたコンピュータ可読命令と共に提供されるプロセッサ、あるいはその組み合わせによって実装される。専用回路は、デジタル・ハードウェア回路またはアナログ・ハードウェア回路あるいはその両方を含んでよく、集積回路（ＩＣ：integrated circuits）または個別の回路あるいはその両方を含んでよい。プログラム可能な回路は、論理ＡＮＤ、ＯＲ、ＸＯＲ、ＮＡＮＤ、ＮＯＲ、およびその他の論理演算、フリップフロップ、レジスタ、記憶素子などを備える、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ：field-programmable gate arrays）、プログラマブル・ロジック・アレイ（ＰＬＡ：programmable logic arrays）などの、再構成可能なハードウェア回路を含んでよい。

本発明は、システム、方法、またはコンピュータ・プログラム製品、あるいはその組み合わせであってよい。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読ストレージ媒体を含んでよい。

コンピュータ可読ストレージ媒体は、命令実行デバイスによって使用するための命令を保持および格納できる有形のデバイスであることができる。コンピュータ可読ストレージ媒体は、例えば、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、またはこれらの任意の適切な組み合わせであってよいが、これらに限定されない。コンピュータ可読ストレージ媒体のさらに具体的な例の非網羅的リストは、ポータブル・コンピュータ・ディスク、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ：random access memory）、読み取り専用メモリ（ＲＯＭ：read-only memory）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ：erasable programmable read-only memoryまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ：static random access memory）、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ：compact disc read-only memory）、デジタル多用途ディスク（ＤＶＤ：digital versatile disk）、メモリ・スティック、フロッピー（Ｒ）・ディスク、パンチカードまたは命令が記録されている溝の中の隆起構造などの機械的にエンコードされるデバイス、およびこれらの任意の適切な組み合わせを含む。本明細書において使用されるとき、コンピュータ可読ストレージ媒体は、それ自体が、電波またはその他の自由に伝搬する電磁波、導波管またはその他の送信媒体を伝搬する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、あるいはワイヤを介して送信される電気信号などの一過性の信号であると解釈されるべきではない。

本明細書に記載されたコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体から各コンピューティング・デバイス／処理デバイスへ、またはネットワーク（例えば、インターネット、ローカル・エリア・ネットワーク、広域ネットワーク、または無線ネットワーク、あるいはその組み合わせ）を介して外部コンピュータまたは外部ストレージ・デバイスへダウンロードされ得る。このネットワークは、銅伝送ケーブル、光伝送ファイバ、無線送信、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組み合わせを備えてよい。各コンピューティング・デバイス／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェイスは、コンピュータ可読プログラム命令をネットワークから受信し、それらのコンピュータ可読プログラム命令を各コンピューティング・デバイス／処理デバイス内のコンピュータ可読ストレージ媒体に格納するために転送する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ：instruction-set-architecture）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、あるいは、Ｓｍａｌｌｔａｌｋ（Ｒ)、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む１つまたは複数のプログラミング言語の任意の組み合わせで記述されたソース・コードまたはオブジェクト・コードであってよい。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で全体的に実行すること、ユーザのコンピュータ上でスタンドアロン・ソフトウェア・パッケージとして部分的に実行すること、ユーザのコンピュータ上およびリモート・コンピュータ上でそれぞれ部分的に実行すること、あるいはリモート・コンピュータ上またはサーバ上で全体的に実行することができる。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ：local area network）または広域ネットワーク（ＷＡＮ：wide area network）を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてよく、または接続は、（例えば、インターネット・サービス・プロバイダを使用してインターネットを介して）外部コンピュータに対して行われてよい。一部の実施形態では、本発明の態様を実行するために、例えばプログラマブル論理回路、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路は、コンピュータ可読プログラム命令の状態情報を利用することによって、電子回路を個別化するためのコンピュータ可読プログラム命令を実行してよい。

本発明の態様は、本明細書において、本発明の実施形態に従って、方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して説明される。フローチャート図またはブロック図あるいはその両方の各ブロック、ならびにフローチャート図またはブロック図あるいはその両方に含まれるブロックの組み合わせが、コンピュータ可読プログラム命令によって実装され得るということが理解されるであろう。

これらのコンピュータ可読プログラム命令は、コンピュータまたはその他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方のブロックに指定される機能／動作を実装する手段を作り出すべく、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されてマシンを作り出すものであってよい。これらのコンピュータ可読プログラム命令は、命令が格納されたコンピュータ可読ストレージ媒体がフローチャートまたはブロック図あるいはその両方のブロックに指定される機能／動作の態様を実装する命令を含む製品を備えるように、コンピュータ可読ストレージ媒体に格納され、コンピュータ、プログラム可能なデータ処理装置、または他のデバイス、あるいはその組み合わせに特定の方式で機能するように指示できるものであってもよい。

コンピュータ可読プログラム命令は、コンピュータ上、その他のプログラム可能な装置上、またはその他のデバイス上で実行される命令が、フローチャートまたはブロック図あるいはその両方のブロックに指定される機能／動作を実装するように、コンピュータ、その他のプログラム可能なデータ処理装置、またはその他のデバイスに読み込まれてもよく、それによって、一連の動作可能なステップを、コンピュータ上、その他のプログラム可能な装置上、またはコンピュータ実装プロセスを生成するその他のデバイス上で実行させる。

図内のフローチャートおよびブロック図は、本発明のさまざまな実施形態に従って、システム、方法、およびコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能、および動作を示す。これに関連して、フローチャートまたはブロック図内の各ブロックは、指定された論理機能を実装するための１つまたは複数の実行可能な命令を備える、命令のモジュール、セグメント、または部分を表してよい。一部の代替の実装では、ブロックに示された機能は、図に示された順序とは異なる順序で発生してよい。例えば、連続して示された２つのブロックは、実際には、含まれている機能に応じて、実質的に同時に実行されるか、または場合によっては逆の順序で実行される。ブロック図またはフローチャート図あるいはその両方の各ブロック、ならびにブロック図またはフローチャート図あるいはその両方に含まれるブロックの組み合わせは、指定された機能または動作を実行するか、または専用ハードウェアとコンピュータ命令の組み合わせを実行する専用ハードウェアベースのシステムによって実装され得るということにも注意する。

本発明の実施形態が説明されたが、本発明の技術的範囲は、前述した実施形態に限定されない。種々の変更および改良が前述した実施形態に追加され得るということは、当業者にとって明らかである。そのような変更または改良が追加された実施形態が本発明の技術的範囲に含まれ得るということも、特許請求の範囲から明らかである。

特許請求の範囲、実施形態、または図に示された装置、システム、プログラム、および方法によって実行される各プロセスの動作、手順、ステップ、および段階は、順序が「の前に（prior to）」、「前に（before）」などによって示されない限り、かつ前のプロセスからの出力が後のプロセスで使用されない限り、任意の順序で実行され得る。特許請求の範囲、実施形態、または図において「最初に」または「次に」などの語句を使用してプロセス・フローが説明される場合でも、プロセスがこの順序で実行されなければならないということを必ずしも意味していない。

図８は、本発明の実施形態に従って、前述の動作を実行するように構成されたコンピュータの例示的なハードウェア構成を示している。コンピュータ７００にインストールされているプログラムは、コンピュータ７００に、本発明の実施形態の装置もしくはその１つまたは複数のセクション（モジュール、コンポーネント、要素などを含む）として機能させるか、または本発明の実施形態の装置もしくはその１つまたは複数のセクションに関連付けられた動作を実行させることができ、またはコンピュータ７００に、本発明の実施形態のプロセスもしくはそのステップを実行させることができ、あるいはその両方を実行させることができる。そのようなプログラムは、コンピュータ７００に、本明細書に記載されたフローチャートおよびブロック図のブロックの一部またはすべてに関連付けられた特定の動作を実行させるように、ＣＰＵ７００－１２によって実行される。

本実施形態に従うコンピュータ７００は、ホスト・コントローラ７００－１０によって相互に接続されたＣＰＵ７００－１２、ＲＡＭ７００－１４、グラフィック・コントローラ７００－１６、およびディスプレイ・デバイス７００－１８を含む。コンピュータ７００は、入出力コントローラ７００－２０を介してホスト・コントローラ７００－１０に接続された、通信インターフェイス７００－２２、ハード・ディスク・ドライブ７００－２４、ＤＶＤドライブ７００－２６、およびＩＣカード・ドライブなどの、入出力ユニットも含む。コンピュータは、入出力チップ７００－４０を介して入出力コントローラ７００－２０に接続されたＲＯＭ７００－３０およびキーボード７００－４２などの従来の入出力ユニットも含む。

ＣＰＵ７００－１２は、ＲＯＭ７００－３０およびＲＡＭ７００－１４に格納されたプログラムに従って動作し、それによって各ユニットを制御する。グラフィック・コントローラ７００－１６は、ＲＡＭ７００－１４内またはグラフィック・コントローラ７００－１６自体の内部で提供されたフレーム・バッファ上などで、ＣＰＵ７００－１２によって生成された画像データを取得し、画像データをディスプレイ・デバイス７００－１８に表示させる。

通信インターフェイス７００－２２は、ネットワーク７００－５０を介して他の電子デバイスと通信する。ハード・ディスク・ドライブ７００－２４は、コンピュータ７００内のＣＰＵ７００－１２によって使用されるプログラムおよびデータを格納する。ＤＶＤドライブ７００－２６は、ＤＶＤ－ＲＯＭ７００－０１からプログラムまたはデータを読み取り、ＲＡＭ７００－１４を介してプログラムまたはデータをハード・ディスク・ドライブ７００－２４に提供する。ＩＣカード・ドライブは、プログラムおよびデータをＩＣカードから読み取るか、またはプログラムおよびデータをＩＣカードに書き込むか、あるいはその両方を実行する。

ＲＯＭ７００－３０は、有効化時にコンピュータ７００によって実行される起動プログラムなど、またはコンピュータ７００のハードウェアに依存するプログラム、あるいはその両方を格納する。入出力チップ７００－４０は、パラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポートなどを介して、さまざまな入出力ユニットを入出力コントローラ７００－２０に接続してもよい。

ＤＶＤ－ＲＯＭ７００－０１またはＩＣカードなどのコンピュータ可読媒体によって、プログラムが提供される。このプログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハード・ディスク・ドライブ７００－２４、ＲＡＭ７００－１４、またはＲＯＭ７００－３０にインストールされ、ＣＰＵ７００－１２によって実行される。これらのプログラムに記述された情報処理がコンピュータ７００に読み取られ、その結果、プログラムと前述のさまざまな種類のハードウェア・リソースの間の連携が生じる。装置または方法は、記録媒体上で提供された受信バッファ領域などに対するコンピュータ７００－５０の使用法に従って、情報の操作または処理を実現することによって構成される。

例えば、コンピュータ７００と外部デバイスの間で通信が実行される場合、ＣＰＵ７００－１２は、ＲＡＭ７００－１４に読み込まれた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェイス７００－２２に対して通信処理を指示してよい。通信インターフェイス７００－２２は、ＣＰＵ７００－１２の制御下で、ＲＡＭ７００－１４、ハード・ディスク・ドライブ７００－２４、ＤＶＤ－ＲＯＭ７００－０１、またはＩＣカードなどの記録媒体内で提供された送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワーク７００－５０に送信するか、またはネットワーク７００－５０から受信された受信データを、記録媒体上で提供された受信バッファ領域などに書き込む。

加えて、ＣＰＵ７００－１２は、ファイルまたはデータベースのすべてまたは必要な部分がＲＡＭ７００－１４に読み取られることを引き起こしてよく、ファイルまたはデータベースは、ハード・ディスク・ドライブ７００－２４、ＤＶＤドライブ７００－２６（ＤＶＤ－ＲＯＭ７００－０１）、ＩＣカードなどの外部記録媒体に格納されており、ＣＰＵ７００－１２は、ＲＡＭ７００－１４上のデータに対してさまざまな種類の処理を実行してよい。次にＣＰＵ７００－１２は、処理されたデータを外部記録媒体に書き戻してよい。

さまざまな種類のプログラム、データ、テーブル、およびデータベースなどのさまざまな種類の情報が、記録媒体に格納され、情報処理が適用される。ＣＰＵ７００－１２は、ＲＡＭ７００－１４から読み取られたデータに対してさまざまな種類の処理を実行してよく、それらの処理は、本開示全体を通じて説明され、プログラムの命令シーケンスによって指定される、さまざまな種類の動作、情報の処理、条件の判定、条件付き分岐、無条件分岐、情報の検索／置換などを含み、その結果をＲＡＭ７００－１４に書き戻す。加えて、ＣＰＵ７００－１２は、記録媒体内のファイル、データベースなどに含まれる情報を検索してよい。例えば、第１の属性の属性値をそれぞれ含んでいる複数のエントリが、第２の属性の属性値に関連付けられ、記録媒体に格納されている場合、ＣＰＵ７００－１２は、複数のエントリの中から、指定された第１の属性の属性値を含む条件に一致するエントリを検索してよく、このエントリに格納されている第２の属性の属性値を読み取ることによって、既定の条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得する。

上で説明されたプログラムまたはソフトウェア・モジュールは、コンピュータ７００上または、コンピュータ７００の近くのコンピュータ可読媒体に格納される。加えて、専用通信ネットワークまたはインターネットに接続されたサーバ・システム内で提供されるハード・ディスクまたはＲＡＭなどの記録媒体をコンピュータ可読媒体として使用することによって、ネットワークを介してプログラムをコンピュータ７００に提供することができる。

本発明は、システム、方法、またはコンピュータ・プログラム製品、あるいはその組み合わせであってよい。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を含むコンピュータ可読ストレージ媒体を含んでよい。

コンピュータ可読ストレージ媒体は、命令実行デバイスによって使用するための命令を保持および格納できる有形のデバイスであることができる。コンピュータ可読ストレージ媒体は、例えば、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、またはこれらの任意の適切な組み合わせであってよいが、これらに限定されない。コンピュータ可読ストレージ媒体のさらに具体的な例の非網羅的リストは、ポータブル・コンピュータ・ディスク、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピー（Ｒ）・ディスク、パンチカードまたは命令が記録されている溝の中の隆起構造などの機械的にエンコードされるデバイス、およびこれらの任意の適切な組み合わせを含む。本明細書において使用されるとき、コンピュータ可読ストレージ媒体は、それ自体が、電波またはその他の自由に伝搬する電磁波、導波管またはその他の送信媒体を伝搬する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、あるいはワイヤを介して送信される電気信号などの一過性の信号であると解釈されるべきではない。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、あるいは、Ｓｍａｌｌｔａｌｋ（Ｒ)、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む１つまたは複数のプログラミング言語の任意の組み合わせで記述されたソース・コードまたはオブジェクト・コードであってよい。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で全体的に実行すること、ユーザのコンピュータ上でスタンドアロン・ソフトウェア・パッケージとして部分的に実行すること、ユーザのコンピュータ上およびリモート・コンピュータ上でそれぞれ部分的に実行すること、あるいはリモート・コンピュータ上またはサーバ上で全体的に実行することができる。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてよく、または接続は、（例えば、インターネット・サービス・プロバイダを使用してインターネットを介して）外部コンピュータに対して行われてよい。一部の実施形態では、本発明の態様を実行するために、例えばプログラマブル論理回路、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路は、コンピュータ可読プログラム命令の状態情報を利用することによって、電子回路を個別化するためのコンピュータ可読プログラム命令を実行してよい。

図内のフローチャートおよびブロック図は、本発明の種々の実施形態に従って、システム、方法、およびコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能、および動作を示す。これに関連して、フローチャートまたはブロック図内の各ブロックは、指定された論理機能を実装するための１つまたは複数の実行可能な命令を備える、命令のモジュール、セグメント、または部分を表してよい。一部の代替の実装では、ブロックに示された機能は、図に示された順序とは異なる順序で発生してよい。例えば、連続して示された２つのブロックは、実際には、含まれている機能に応じて、実質的に同時に実行されるか、または場合によっては逆の順序で実行される。ブロック図またはフローチャート図あるいはその両方の各ブロック、ならびにブロック図またはフローチャート図あるいはその両方に含まれるブロックの組み合わせは、指定された機能または動作を実行するか、または専用ハードウェアとコンピュータ命令の組み合わせを実行する専用ハードウェアベースのシステムによって実装され得るということにも注意する。

本発明の実施形態が説明されたが、本発明の技術的範囲は、前述した実施形態に限定されない。さまざまな変更および改良が前述した実施形態に追加され得るということは、当業者にとって明らかである。そのような変更または改良が追加された実施形態が本発明の技術的範囲に含まれ得るということも、特許請求の範囲から明らかである。

Claims

コンピュータの情報処理により画像を解析する方法であって、前記方法が、
入力画像を取得することと、
前記入力画像内の対象領域（ＲＯＩ：region of interest）を指定する注釈付き画像を取得することと、
前記入力画像を、ターゲット領域を表示する出力画像を前記入力画像から生成する検出モデルに入力することと、
重み付き交差エントロピーによる損失関数を使用して、前記出力画像と前記注釈付き画像の間の誤差を計算することであって、前記ターゲット領域内の前記重み付き交差エントロピーの重みが、前記ターゲット領域外の重みよりも大きい値を有するように設定され、前記対象領域内の前記重み付き交差エントロピーの重みが、前記対象領域外の重みよりも大きい値を有するように設定される、前記計算することと、
前記誤差を減らすように前記検出モデルを更新することを含む、方法。
前記重み付き交差エントロピーが、
式１：

によって示され、Ｘが前記入力画像内のすべてのピクセルｉの集合であり、Ｃがすべてのクラスｃの集合であり、Ｗｃが前記クラスｃの重みであり、ｐｉｃが前記注釈付き画像内の前記ピクセルｉでの前記クラスｃの値であり、ｑｉｃが前記出力画像内の前記ピクセルｉでの前記クラスｃの前記値である、請求項１に記載の方法。
前記検出モデルが、入力と出力の間に、１つまたは複数の畳み込み層、１つまたは複数のプーリング層、１つまたは複数の逆畳み込み層、および１つまたは複数のバッチ正規化層を含む、請求項１～２の何れか１項に記載の方法。
前記複数のバッチ正規化層が、前記複数の畳み込み層および前記複数のプーリング層の一部を含む第１の経路と、その他の前記複数の畳み込み層および前記複数の逆畳み込み層を含む第２の経路とのうちの少なくとも１つに含まれている既定の数の層ごとに、それぞれ配置される、請求項３に記載の方法。
前記入力画像内の少なくとも１つの座標を取得することと、
前記少なくとも１つの座標に従って前記対象領域を指定することをさらに含む、請求項１～４の何れか１項に記載の方法。
前記少なくとも１つの座標に従って前記対象領域を前記指定することが、前記少なくとも１つの座標を参照として使用して、既定の範囲を前記対象領域として指定することを含む、請求項５に記載の方法。
前記少なくとも１つの座標に従って前記対象領域を前記指定することが、前記少なくとも１つの座標でのテクスチャに類似するテクスチャを有する範囲を前記対象領域として指定することを含む、請求項５～６の何れかに１項に記載の方法。
前記少なくとも１つの座標に従って前記対象領域を前記指定することが、複数の座標のセットによって囲まれた範囲を前記対象領域として指定することを含む、請求項５～７の何れか１項に記載の方法。
前記指定された対象領域を表示することと、
前記対象領域が表示されている間に、ユーザ入力を受信し、前記対象領域を変更するとこをさらに含む、請求項５～８の何れか１項に記載の方法。
請求項１～９の何れか１項に記載の方法をコンピュータ・ハードウェアによる手段として構成した装置。
請求項１～９の何れか１項に記載の方法をコンピュータに実行させる、コンピュータ・プログラム。
請求項１１に記載の前記コンピュータ・プログラムをコンピュータ可読ストレージ媒体に記録した、ストレージ媒体。