JP7341310B2

JP7341310B2 - 皮膚分析のための画像処理、皮膚分析を視覚化するためのシステム及び方法

Info

Publication number: JP7341310B2
Application number: JP2022502098A
Authority: JP
Inventors: ジャン・ルオウェイ; ケゼル・イリーナ; ユ・チ; サイテ・ソフィー; フラマン・フレデリック・アントニン・レイモンド・サージ; アーラビ・パラム; ペロット・マシュー; デスポア・ジュリアン
Original assignee: Individual
Current assignee: Individual
Priority date: 2019-07-10
Filing date: 2020-07-09
Publication date: 2023-09-08
Anticipated expiration: 2040-07-09
Also published as: EP3981012A1; US11908128B2; EP3981012A4; US20210012493A1; JP2022540487A; KR20220158218A

Description

＜クロスリファレンス＞
米国に関して、本出願が以下の先行出願の優先権を主張する：１）２０１９年７月１０日に出願された米国仮特許出願第６２／８７２，３４７号および２）２０１９年７月２５日に出願された米国仮特許出願第６２／８７８，４６４号。各先行出願の全内容は、適用可能な場合、参照により本明細書に組み込まれる。

本出願は、ニューラルネットワークを用いた画像処理および皮膚科学に関する。より詳細には、本出願が皮膚状態重症度分析を決定し、皮膚分析を視覚化するように画像を処理するシステム及び方法に関する。

＜バックグラウンド＞
正確な皮膚分析は、医療および化粧品分野の両方において重要な分野である。尋常性ざ瘡は、一般的な皮膚疾患であり、人口の８５％が生涯のある時期に罹患する［１５］。患者の画像をスコア化することにより、ざ瘡の重症度を体系的に評価する努力がなされている。ＧｌｏｂａｌＡｃｎｅＳｅｖｅｒｉｔｙＳｃａｌｅなどの標準システムは、病変の大きさ、密度、種類および分布に基づいて整数で各患者または画像のざ瘡スコアを評価することが確立されている。

顔の画像のような画像は、その画像のピクセルによって提示される尋常性ざ瘡（皮膚状態）をエンコードする仕方で提示する。画像から尋常性ざ瘡のプレゼンス及び／又は重症度をデコードするために、ディープラーニングを用いて自動画像ベースの診断を実行するか、又は実行することを可能にするコンピュータ実装方法、コンピューティングデバイス及び他の態様を提供することが望まれている。また、このような画像を処理して、皮膚分析を（例えば、ソース画像を修正することによって）視覚化することが望まれている。

皮膚分析に関連して画像を処理するためのシステム及び方法が提供される。一実施形態によれば、学習ベースのモデルは、ディープニューラルネットワーク（例えば、畳み込みニューラルネットワーク（ＣＮＮ））を用いることによって皮膚科学的評価を実行する。一実施形態によれば、ＣＮＮモデルは問題が整数のみのラベルを有する回帰タスクとして定式化されたときに、トレーニングされ、評価された。一実施形態では、補助分類タスク（例えば、性別および民族性予測を備える）がパフォーマンスを改善するために導入される。一実施形態では、元の画像上の結果を視覚化するために、トレーニングされたディープニューラルネットワークモデルに関連して他の画像処理技法が用いられる。皮膚状態（例えば、ざ瘡）に冒された領域を強調する結果の視覚化はまた、モデルについての明白な説明を提供し得ることが実証される。一実施形態では、処理するために複数（ｋ）のデータ拡張がｋ個の拡張画像を生成するようにソース画像に対して行われる。ｋ個の拡張画像を処理して作り出されたアクティベーションマスク（例えば、ヒートマップ）は、皮膚分析を視覚化するための最終マップを定義するように用いられる。

一実施形態によれば、記憶ユニットに結合された処理ユニットを提供する回路を備える皮膚診断デバイスが提供される：皮膚診断デバイスは、皮膚状態の皮膚診断を生成するために、画像分類用の回帰および分類を備えるディープニューラルネットワークを用いて画像のピクセルを分類する皮膚分析ユニットを提供するように構成される。

一実施形態では、処理ユニット及び記憶ユニットが皮膚診断を視覚化するために画像に注釈を付ける視覚化ユニットを提供するように皮膚診断デバイスをさらに構成する。

一実施形態では、処理ユニット及び記憶ユニットが皮膚診断に応答して皮膚状態のための製品を推奨する推奨ユニットを提供するように皮膚診断デバイスをさらに構成する。

一実施形態では、処理ユニット及び記憶ユニットが皮膚状態のための製品を購入する電子商取引インターフェースを提供するように皮膚診断デバイスをさらに構成する。

一実施形態では、皮膚診断は、画像上の皮膚状態の重症度を分類するスケールの整数値を備える。一実施形態では、ディープニューラルネットワークは、入力として正規化された顔画像を受信し、スケールの全ての可能な整数値にわたる確率分布を表すベクトルを出力し、アクティベーション関数を適用して皮膚診断の整数値を決定するように構成される。

一実施形態では、ディープニューラルネットワークは、民族性予測および性別予測の一方または両方を決定するための補助タスクによってさらに構成される。

一実施形態では、ディープニューラルネットワークは、皮膚診断を生成するように適合された画像分類のための適合ネットワークを備える。

一実施形態では、ディープニューラルネットワークは、画像処理のための畳み込みニューラルネットワーク（ＣＮＮ）を備える。一実施形態では、ＣＮＮは、回帰および分類の出力を生成するように構成された最終的な完全に接続されたレイヤの前にグローバルプーリングオペレーションを有するエンコーダとしての残差ネットワークを備える。

一実施形態では、ディープニューラルネットワークは、回帰損失関数と分類損失関数とを組み合わせた複合損失関数によってトレーニングされる。一実施形態では、複合損失関数は、数式２に従い：

ここで、Ｌ_ｍｓｅ、Ｌ_ｃｅ、Ｌ_{ｇｅｎｄｅｒ}及びＬ_{ｅｔｈｎｉｃｉｔｙ}は、それぞれ平均二乗誤差（ＭＳＥ）、クロスエントロピー誤差（ＣＥ）、性別予測および民族性予測関数であり、λ_ｍｓｅ、λ_ｃｅ、λ_{ｇｅｎｄｅｒ}及びλ_{ｅｔｈｎｉｃｉｔｙ}は、重み係数である。

一実施形態では、ディープニューラルネットワークは、ユーザモバイルデバイスからのセルフィー画像を備える顔画像データのデータセットを用いてトレーニングされる。

一実施形態では、ディープニューラルネットワークは、画像に関連して皮膚診断を視覚化するためのヒートマップを生成するように構成される。一実施形態では、ディープニューラルネットワークは、ヒートマップを生成するためにクラスアクティベーションマッピング（ＣＡＭ）技法を適用するように構成される。

一実施形態では、画像は、ユーザモバイルデバイスからのセルフィー画像を備える。

一実施形態では、診断デバイスは、パーソナルユースのためのコンピューティングデバイスと、通信ネットワークを介して皮膚診断サービスを提供するサーバとのうちの１つを備える。一実施形態では、パーソナルユースのためのコンピューティングデバイスがスマートフォン、タブレット、ラップトップ、パーソナルコンピュータ、又はカメラを有するか、カメラに結合された他のコンピューティングデバイスのうちの１つを備える。

一実施形態では、推奨ユニットは、皮膚診断に応答して、製品推奨および治療計画推奨のうちの少なくとも１つを取得する治療製品セレクタを提供する。

一実施形態では、処理ユニット及び記憶ユニットは、画像を受信するための画像獲得機能を提供するように皮膚診断デバイスを構成する。

一実施形態では、皮膚状態は、尋常性ざ瘡である。

一実施形態では、画像を受信することと、皮膚状態についての皮膚診断を決定するために画像ピクセルを分類するように構成されたディープニューラルネットワークを用いて画像を処理することと、を備え、ディープニューラル（ネットワーク）は、皮膚診断を決定するための回帰および分類として構成され；画像に関連して皮膚診断を視覚化する皮膚診断のコンピュータ実装方法が提供される。

一実施形態では、皮膚の画像を受信することと、皮膚分析結果およびアクティベーションマスクを作り出して、画像に関連して皮膚分析結果を視覚化するように構成されたディープニューラルネットワークによって画像を処理することと、アクティベーションマスク及び画像を提示するために提供することと、を備えるコンピュータ実装方法が提供される。一実施形態では、画像を処理することは、ディープニューラルネットワークによる処理のためにｋ個の拡張画像を作り出すように画像に複数（ｋ）のデータ拡張を実行することと、ｋ個のアクティベーションマスクを作り出すようにディープニューラルネットワークによってｋ個の拡張画像を処理することと、そこから最終アクティベーションマスクを定義することと、を備える。一実施形態では、ｋ個のアクティベーションマスク及び最終アクティベーションマスクは、ヒートマップを備える。一実施形態では、ディープニューラルネットワークは、Ｇｒａｄ－ＣＡＭ技法を用いて、それぞれのｋ個のアクティベーションマスクを作り出す。一実施形態では、最終アクティベーションマスクは、平均化を用いてｋ個のアクティベーションマスクから定義される。一実施形態では、閾値は、平均化されたｋ個のアクティベーションマスクからの除去値に適用される。一実施形態では、ｋの値が２以上２０以下（２≦ｋ≦２０）の範囲に設定される。一実施形態では、この方法がｋ個のデータ拡張を実行する前に、皮膚の画像を正規化することを備える。一実施形態では、ｋ個のデータ拡張のそれぞれは、アフィン変換からランダムに選択された１つの拡張と、水平フリップオペレーションとを備える。一実施形態では、本方法が皮膚分析結果に応答する製品推奨を提供することを備える。一実施形態では、本方法が１つ以上の製品を購入するための電子商取引インターフェースを提供することを備え、その電子商取引インターフェースは製品推奨に応答する。一実施形態では、製品推奨は、推奨製品を用いるための治療計画に関連付けられる。一実施形態では、ディープニューラルネットワークは、皮膚状態について画像を分析するように構成される。一実施形態では、皮膚状態は、尋常性ざ瘡である。一実施形態では、ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）を備える。一実施形態では、任意の実施形態で前述の方法を実行するようにコンピューティングデバイスを構成する回路を備えるコンピューティングデバイスが提供される。

一実施形態では、皮膚診断を決定するために画像のピクセルを分類するように構成された畳み込みニューラルネットワーク（ＣＮＮ）をトレーニングすることを備える方法が提供され、ＣＮＮは皮膚診断を生成するように構成された画像分類のためのディープニューラルネットワークを備え、ＣＮＮは、皮膚診断を決定するための回帰および分類として構成され、ＣＮＮは、ユーザモバイルデバイスからのセルフィー画像を備える顔画像データのデータセットを用いてトレーニングされる。

これら及び他の態様は、当業者には明らかであろう。任意のコンピューティングデバイス関連の態様について、対応する方法の態様および対応するコンピュータプログラム製品の態様が提供され、（非一時的）記憶デバイスはコンピューティングデバイスの処理ユニットによって実行されるときに、その方法の態様を実行するようにコンピューティングデバイスを構成する命令を格納する。

本明細書の一例による、ＣＮＮの構成要素及び出力を備えるコンピューティングデバイスの記憶デバイスの概略図である。顔ブロックを有する画像である。実施例による、尋常性ざ瘡診断スコアによる、ＣＮＮモデルの精度を示すグラフである。一例による、ヒートマップを用いた尋常性ざ瘡診断の視覚化を示した図である。図５Ａ及び図５Ｂは、一例による、各画像のアクティベーション値と予測スコアとの間の関係を示すグラフ５００及びグラフ５０２である。本明細書の実施形態による様々な態様のための環境を提供するコンピュータネットワークを表した図である。図６のコンピュータネットワークの一例によるコンピューティングデバイスのブロック図である。図８Ａ及び図８Ｂは、本明細書の一実施形態によるコンピューティングデバイスのオペレーションのフローチャートである。本明細書の一実施形態によるコンピューティングデバイスのオペレーションのフローチャートである。図１０Ａ及び１０Ｂは、一例による、それぞれのソース画像および皮膚分析の視覚化を示した図である。

図面に示される顔の例では、目の領域が本明細書での例示のみを目的として、黒い長方形でマスクされている。

本発明の概念は、添付の図面を参照して本明細書で説明される、その特定の実施形態を通して最もよく説明され、ここで、同一の付番は全体を通して同一の特徴を指す。本明細書で使用されるとき、「発明」という単語は、単に実施形態自体ではなく、以下に記載される実施形態の基礎をなす発明概念を暗示することが意図されることを理解されたい。さらに、本発明の一般的な概念は、以下に記載される例示的な実施形態に限定されず、以下の説明はそのような観点から読まれるべきであることが理解されるべきである。

尋常性ざ瘡は一般的な皮膚疾患（皮膚状態）であり、人口の８５％、特に１０代が時々ざ瘡を経験している。ざ瘡の重症度を評価するには、皮膚科医および臨床医を訪問し、この領域の専門知識に頼る必要がある。医師は患者を手で診察し、病変数、罹患部位およびその他の関連因子に基づいておおよその悪性度分類を行う必要がある。この方法は多くの場合、時間がかかり、労働集約的であり、これはまた、妥当なヒューマンエラーが起こるために、信頼できない不正確な結果をもたらし得る。また、長期にわたって常に繰り返し検査が必要な場合には、医師の過剰な努力が必要である。

この作業に必要な人間の労力を最小限に抑えるために、多くの研究が、ざ瘡の重症度を評価するためのコンピュータ支援技法を探求してきた。［１，７］のようなこの領域における多くの作業は高標準医療画像がアルゴリズムによって処理されることを必要とし、これは、モバイルシステムで展開することが困難であり得る。［８，２］を含む後の研究では、多数の異なったステップを有する携帯電話によって撮影された画像を扱う方法が紹介されている。しかし、これらの研究はすべて、ざ瘡の局在診断と病変の計数に焦点を当ててきた［８，１，２，７］。これは、病変のマスク又は領域位置を出力するために、ブロブ検出および特徴抽出のような従来の画像処理技法の長い経路を伴う。次に、ざ瘡の重症度（すなわち、ざ瘡スコア）を、局在結果および検出された病変の数字に基づく公式を通して演算する。このタイプの方法の１つの主要な限界は、ざ瘡スコアリングの精度がざ瘡局在化および病変の計数のパフォーマンスとグループ化されることである。場合によっては、照明状態および皮膚の色合い（ｓｋｉｎｔｏｎｅ）が経路の様々な段階でエラー率を増加させ、したがって、最終結果に著しく影響を及ぼす。

ざ瘡の評価に関する最近の研究［９］では、著者らはニューラルネットワークを用いることにより、病変の計数なしに注目すべき結果を得ている。それらは、ニューラルネットワークが与えられた画像データのみを非常に正確に実行できることを示している。

しかしながら、それらの方法は特定のタイプの医療画像を必要とし、これは、ユーザがカメラデバイスの前に座ることを強制し、トレーニング及びテスト中に５つの特定のポーズを作る。このタイプの評価はまた、モバイルデバイスでの使用を制限する。別の研究［１６］は携帯電話によって撮影された画像に適合されており、人間による補正を複数回繰り返す必要がある。

一例によれば、畳み込みニューラルネットワーク（ＣＮＮ）のトレーニング技法が拡張される。例に従って、この等級付け問題の性質に適合する方法、すなわち整数のみのラベルをもつ回帰タスクが導出された。したがって、一例によれば、システムは、トレーニング中に１つの回帰目的および別の補助分類目的を有するように設計される。一例によれば、２つの追加の補助タスクとして、性別予測および民族性予測が追加される。これらのタスクに関する実験は、これらのタスクを導入することにより改善されたパフォーマンスを示す。さらに、一例によれば、医療撮像に関する多くの他の研究とは異なり、モデルはモバイルデバイスによって撮られた顔画像からなるセルフィー画像データセット上でトレーニングされ、テストされ、モデルはこのエンドツーエンドモデルが自然のままのセルフィー画像上で正確に機能することを実証する。一例によれば、モデルは、単一の画像のみをアップロードすることによってモバイルデバイス上で使用される。一例によれば、モデルは、ざ瘡の等級付け精度に関して３％だけ類似の研究［１６］を上回った。最後に、一例によれば、ＣＮＮモデルの解釈可能性を示すための視覚化ツールとしてＧｒａｄ－ＣＡＭ［１３］が用いられる。

＜データセット＞
一実施形態によれば、元のデータセットは５つの異なる民族の１０５１人の被験者から収集された５９７１個の画像からなり、３つの画像が、各被験者について携帯電話によって、すなわち正面および２つのプロファイルビューからキャプチャされている。各被験者に、ＧＥＡ標準［３］を用いて、３人の皮膚科医が、対応する画像に対する専門家の評価に基づいて、０～５の整数スコアを割り当てた。このスコアリングモデルでは、１８７７個の正面画像のデータセットが使用される。グランドトゥルースは、３名の皮膚科医のスコアの大部分のスコアと定義される。データセットは、トレーニング（８０％）、テスト（１０％）及び検証（１０％）サブセットに無作為に分割される。

＜モデル構造＞
以前の研究［５、１１］では、ＲｅｓＮｅｔ［４］及びＭｏｂｉｌｅＮｅｔＶ２［１２］などの現代のディープラーニングアーキテクチャが詳細な皮膚の特徴を学習する際に優れた能力を実証した。このための典型的なアプローチは適切な目的関数に関して分類または回帰するために、いくつかの完全に接続されたレイヤを追加することによる、プレトレーニングされた特徴ネットワーク（例えば、ＲｅｓＮｅｔ）に基づく伝達学習である。しかし、ざ瘡スコアは連続する整数によって表されるので、回帰損失と共に補助分類損失を導入する。このアイデアは、同様の状況が適用される年齢回帰タスクに関する研究［１１，１０］によって着想された。一実施形態によれば、図１は、ディープラーニングシステムを提供するコンピューティングデバイスの記憶デバイス１００の概略図である。記憶デバイスは処理ユニットに命令を提供するなどのメモリ（ＲＡＭ／ＲＯＭ）などを備え、処理ユニットの一例は、グラフィック処理ユニット又はモバイルデバイスやサーバなどの処理ユニットである。

処理のための顔を備えるピクセル（図示せず）の画像を受け取るように、顔およびランドマーク検出器１０２が提供される。また、正規化された顔画像を出力する顔正規化構成要素１０４も提供される。構成要素１０２及び１０４は、画像を前処理して、正規化された顔画像をＣＮＮ１０６に提供する。ＣＮＮ１０６は、エンコーダ構成要素１０８（例によれば、残差ネットワーク（例えば、ＲｅｓＮｅｔ）エンコーダを備える）、グローバルプーリングオペレーション構成要素１１０、及びデコーダ又は予測構成要素１１２，１１４及び１１６を備える。完全に接続されたレイヤ１１２は、それぞれの回帰および分類出力１１８を提供する。性別予測構成要素１１４は、性別出力１２０を作り出し、民族性予測構成要素１１６は、民族性出力１２２を作り出す。点線１２４及び１２６はそれぞれ、回帰オペレーション（線１２４は平均二乗誤差回帰損失関数を表す）及び分類オペレーション（線１２２がクロスエントロピー分類損失関数を表す）のための損失関数の、エンコーダ１０８のＣＮＮ入力レイヤへのバックプロパゲーションを概略的に示す。

したがって、テスト時に、ＣＮＮモデル（“モデル”と呼ばれることもある）は正規化された顔画像を入力として取り込み、尋常性ざ瘡診断スケールの可能性のあるすべての整数スコアにわたる確率分布を表すベクトルｙ＝ｆθ（ｘ）を出力する。次いで、最終スコアはｓｏｆｔｍａｘ期待値として計算される（後に、出力整数に丸められる）：

ここで、ａ，ｂはスコアレンジ（例えば、スケール）の下限および上限である。

ネットワークを構築し、トレーニングするために、この例によれば、特徴抽出器は、既存のトレーニングされた画像処理ネットワークを適合させることによって構築された。より具体的には、残差ネットワーク技法を用いて定義された一般的なＣＮＮが適合された。特徴抽出器は、ＣＮＮエンコーダ１０８を定義するその平均プーリングレイヤで、ＲｅｓＮｅｔ５０を切り取ることによって定義された。ＣＮＮグローバルプーリング構成要素１１０を定義するグローバル最大プーリングレイヤは、ＣＮＮエンコーダ１０８の最後の畳み込みブロックの後に追加された。これらの構成要素を用いて特徴が抽出された後、特徴は、完全に接続されたレイヤ１１２を画定する２つのより完全に接続されたレイヤ（その間にＬｅａｋｙＲｅＬＵが追加されている）を用いてさらに処理される。これに加えて、２つの追加のブランチ、すなわち、出力１２０を有する性別予測ブロック１１４と、出力１２２を有する民族性予測ブロック１１６とが追加され、ネットワークがこの民族間および性別間のデータセットにおいてよりよく学習するのを助ける。さらに、２つのブランチを加えることによる実験結果を論じた。図示されていない例によれば、ＲｅｓＮｅｔ５０以外の（例えば、画像処理のための）基本ＣＮＮモデルが使用されることが理解されるであろう。例えば、ＭｏｂｉｌｅＮｅｔバリアント等が適用される。一例によれば、商業的ニーズに適合するようにモバイルデバイス用に構成されたＣＮＮモデルを用いることが望ましい。メトリックを含む本明細書の例は、適合されたＲｅｓＮｅｔ５０‘ｎｅｔに関連することを理解されたい。

＜学習＞
一例によれば、ＣＮＮ１０６は、４つのタスク、すなわち、ざ瘡スコア回帰、ざ瘡スコア分類、性別予測および民族性予測でトレーニングされる。ＣＮＮ１０６（そのフレームワーク）は、以下の目的（複合損失関数によって定義される）を最適化することによってトレーニングされる：

特に、

ここで、Ｎはトレーニングバッチサイズであり、ｙ＾はグランドトゥルースラベルである。

この例によれば、スコア分類損失は、スコアクラス確率出力上のクロスエントロピー誤差を最小化することによって、ネットワークがより良好な確率分布を学習するのに役立つ。具体的には、この損失はモデルが期待値を計算する前に正しいスコアクラスを出力することを促す。図１に示されるように、回帰損失は最終出力からＣＮＮエンコーダ１０８の入力レイヤ（具体的には図示せず）にバックプロパゲーションされ（線１２４として示される）、一方、分類損失は確率分布から入力レイヤにバックプロパゲーションされる（線１２６として示される）。

一例によれば、性別および民族性予測損失は両方とも、この性別および民族間データセットにおける正則化項として作用するクロスエントロピー誤差によって計算される。２つの損失はまた、線１２６と同様に、予測レイヤから入力レイヤにそれぞれバックプロパゲーションされる（図示せず）。

＜実験＞
＜実施内容＞
一例によれば、各画像について、６０点顔トラッカー（輪郭点なし）を用いることなどによってランドマークが検出され、顔領域の矩形が、トレーニング時にある程度のランダム性をもって入力画像から切り取られる。各顔ボックス（顔の切り抜き）について、トレーニングデータセットにおいて、一意の画像のランダム性が適用されて、例えば、［０．０８，０．１）＊高さ、［０．２，０．３）＊幅、［０．０８，０．１）＊高さ、［０．０７，０．０８］＊底のランダム値によって、各対応する方向に左端、最上端、右端、最下端点の各々を移動させることによって、さらなる画像を生成する。したがって、顔ボックスは、拡張後に切り取られることになる（図２に示される例が入力画像および顔ボックス２０２を示す。本開示の目的のために、プライバシーマスク２０４が、ユーザの身元を不明瞭にするために提供される）。

ソースデータをさらに拡張するために、一例によれば、確率０．５でスケール［０．８，１．０］、ランダム水平フリップでランダムリスケーリングが実行される。それぞれ切り取られた画像は、３３４×４４８にサイズ変更され、拡張画像は、ＲＧＢチャネル上の［０．２２９，０．２２４，０．２２５］の標準偏差を有する［０．４８５，０．４５６，０．４０６］に中心が置かれる。一例によれば、ＣＮＮは、学習レート０．０００１でＡｄａｍ［６］を用いて最適化される。一例によれば、最良のパフォーマンスは、バックボーンフィーチャネット（すなわち、ＣＮＮエンコーダ１０８を定義する構成要素）として、λ_ｍｓｅ＝１．０、λ_ｃｅ＝１．０、λ_{ｇｅｎｄｅｒ}＝０．００１、λ_{ｅｔｈｎｉｃｉｔｙ}＝０．００１及びＲｅｓＮｅｔ５０である数式２の損失関数を用いて達成された。

＜評価＞
前述のように、臨床的には、ざ瘡評価が整数のみのラベルを用いた回帰タスクである。したがって、平均絶対誤差および誤差のある閾値内のテストサンプルのパーセンテージが報告される。例えば、０．５以内の誤差も分類精度である。その結果、一例によれば、モデルは、平均絶対誤差０．３５を達成し、分類誤差は７１％であった。表１に、ざ瘡評価の同じデータセットについての以前の研究と比較した結果を示す。平均絶対誤差は、回帰結果の概観を与えるために報告され、分類精度のレベルを示すために０．５及び１．０以内の誤差パーセンテージを報告する。その結果、提案されたＣＮＮは一例によれば、全体的な分類精度に関する従来の研究の方法よりも上回っている。［１６］では、専門家のパフォーマンスがベースラインを確立するための専門家の合意に関しても６７％であると報告された。

一般的に直面する課題の１つは、異なるクラス間で正しいバランスをとることである。全体的な精度は、大多数のクラスのパフォーマンスと強い相関を有することが多い。ざ瘡評価では共通のスケールを用いて、整数スコア１及びスコア２が典型的にはこの種の問題の大多数のクラスである。一方、スコア０（ざ瘡なし）は、データのサイズ及び元のスコア定義を考慮すると、スコア１（ざ瘡なし）と区別することも困難であった。図３は一例による、スコア（例えば、ラベル対予測）による精度を示すグラフ３００である。グラフ３００では、本開示の方法がスコア１から４に対してバランスのとれた精度分布を達成するが、クラス０は、時に誤って分類されたことが示されている。

＜アブレーション研究＞
上述したように、一例によれば、ざ瘡評価において整数ラベルを有する回帰タスクの精度を改善するために、回帰と分類学習とを組み合わせる学習方法が採用される。このセクションは、以下の方法の議論および比較を含む：１）ＭＳＥ損失（ＲＥＧと表記）によってトレーニングされたスコアの直接出力を有する回帰ブランチを用いること；２）クロスエントロピー損失（ＣＬＳと表記）によってトレーニングされた分類ブランチを用いること；３）ＭＳＥ損失（ＣＬＳを介するＲＥＧと表記）によってトレーニングされた分類結果からの確率出力に基づいて出力を計算すること；４）セクション２（ＲＥＧ＋ＣＬＳと表記）で議論され提案された方法。

表２には、一例による、４つの異なるトレーニング目的についての平均絶対誤差（ＭＡＥ）および分類精度が示されている。純粋な回帰タスクとして皮膚分析問題を処理することは、スコア分類において６８％の結果を達成し、これは問題が純粋な分類タスクとして定式化される場合よりも高いことが分かる。一例によれば、提案されたトレーニング技法は、最小のＭＡＥ及び最高の分類精度で、他のすべてのトレーニング手法を上回った。表２の全ての結果は、性別および民族性ブランチを用いてトレーニングされる。

＜ヘルパーブランチの追加＞
一例によれば、民族間および性別間のデータセットにおいて、皮膚の特徴は、性別および民族ごとに異なる。一例によれば、補助タスクとして性別予測および民族性予測を追加することによって、全体的なパフォーマンスが改善されることが示される。表３において、ベースラインの方法は分類タスク及び回帰タスクを伴うが、性別および民族性予測ブランチを追加しないトレーニングを指す。他の３つの列は、実施例による対応するブランチを追加した結果である。これらの補助タスクを導入することにより、モデルのパフォーマンスが大幅に向上し、分類精度が７．２％向上し、平均絶対誤差が０．０３減少した。

＜視覚化＞
ＣＮＮは、多くの視覚タスクにおいて著しい進歩を達成したが、そのようなネットワークは多くの場合、予測のための直接的な視覚的説明を与えない。クラスアクティベーションマップ（ＣＡＭ）［１４、参照により本明細書に組み込まれる］及びＧｒａｄ－Ｇｒａｄｉｅｎｔ－重みクラスアクティベーションマッピング（Ｇｒａｄ－ＣＡＭ）［１３、参照により本明細書に組み込まれる］などの最近の研究は、各予測結果のそのような説明を視覚化するやり方を提案している。解釈可能性、特に産業での使用を対象とした調査作業は、システムとユーザとの間の信頼を確立するための重要な要因の１つである。

図４は例えば、各ユーザに対して１つのセルでそれぞれのセルを定義する２つのそれぞれの列および４つの行における８つのユーザ画像についての、視覚化オペレーションによる結果４００を示す。それぞれの入力画像は、尋常性ざ瘡診断に応答して修正される。図４は、ＣＮＮ１０６（モデル）からＧｒａｄ－ＣＡＭ［１３］を用いて生成されたアクティベーションマップ（ヒートマップ）を示す。図４は、第１行または最上段の行のクラス１（軽度）から最下段の行または第４行のクラス４（重度）までの異なるクラスアクティベーションマップをそれぞれ示す。さらに、各セルは、元の顔画像（左画像）、Ｇｒａｄ－ＣＡＭを用いて生成された第１の修正された顔画像（中間画像）およびＧｒａｄ－ＣＡＭを用いて生成された第２の修正された顔画像（右画像）を示す。第１の修正された顔画像および第２の修正された顔画像のそれぞれは、それぞれのＧｒａｄ－ＣＡＭ生成ヒートマップでカバーされた（例えば、オーバーレイされた）元の顔画像を含み、第１の修正された顔画像は、ｎ画像内で正規化されたクラスアクティベーションマップ（ＣＡＭ）を局所的に正規化させて示し、第２の修正された顔画像は、データセット内で正規化されたＣＡＭを全体的に正規化させて示す。ＣＮＮによって分析された元の画像のピクセルは、検出されたざ瘡の重症度に応じて元の画像の領域を視覚化または強調提示するためにヒートマップを用いて修正される（例えば、ＲＧＢチャネル値が調整される）ことが理解される。一例では、重症度が元の画像内で局所的に正規化される。一例では、データセット内の画像間で重症度が正規化される。例えば、視覚化は、トレーニングされたネットワークの最後の畳み込みレイヤにおいて定義／決定された勾配に基づいてヒートマップ重みを生成するように構成される。次いで、最終ヒートマップは、画像またはデータセット内で正規化される。図４は、複数の異なる顔のための画像のアレイを示すが、一実施形態では視覚化が単一の（ユーザの）顔の１つ以上の画像を提示する。

Ｇｒａｄ－ＣＡＭは、視覚化方法の一例に過ぎない。それぞれの実施形態では、ガイドバックプロパゲーションなどの他の視覚化方法もこのモデルに適用される。

この回帰タスクに適応するために、一実施形態では特徴マップＡに対するクラス０（ざ瘡なし）の勾配を打ち消して、カウンターファクチュアル説明［１３］（数式４に示される）を取得する。α_ｋ ^０はクラス０に対する対応するピクセルのヒートマップ値として表され、Ｗは幅として表され、Ｈは高さとして表され、ｙ^０はクラス０の出力値として表される。この方程式に基づいて、アクティベーションマップのより高い値を下げることは、より高い確率でクラス０確率の増加をもたらす。

図４に示すように、ざ瘡罹患部位は健常（非罹患）皮膚と比較してアクティベーション値がはるかに高い。さらに、世界的に比較すると、重症例（例えばクラス４）の方が軽症例（例えばクラス１）よりもアクティベーション値がはるかに高くなる傾向がある。一例では、ＣＮＮがスコアと、スコアが関連する領域（例えば、顔の）とを備える尋常性ざ瘡診断を作り出す。

図５Ａ及び５Ｂは、一実施形態による、各画像のアクティベーション値と予測スコアとの間の関係を示すグラフ５００及び５０２である。興味深いことに、“影響を受けた領域”と最終出力との間には正の相関が見られる。この結果画像は、ざ瘡評価モデルのための明確かつ説明可能な視覚化を与える。

一例によれば、Ｇｒａｄ－ＣＡＭを用いる結果の視覚化は、それぞれのソース画像について平均化技法を用いて実行される。方法は例えば、コンピューティングデバイスによって実行され、分析のためのソース画像を受信し、分析のためのｋ個の拡張画像を作りだすように、ソース画像をそれぞれ用いて複数のｋ個のランダムデータ拡張を実行し、ｋ個のアクティベーションマスク／マップを作り出すために記載されたようにＧｒａｄ－ＣＡＭ技法を用いて適合されたＣＮＮを用いて、それぞれのｋ個の拡張画像を分析し、次いで、ｋ個のアクティベーションマップを平均して、最終マスクを作り出す（例えば、加算および除算によって）。一実施形態では、最終マスクは閾値が設定される。例えば、値が閾値（例えば、０．４）未満である領域は、ヒートマップから除去／削除される。

一例によれば、拡張は、アフィン変換（回転、スケーリング、平行移動など）およびランダム水平フリップを含む。一例によれば、拡張は色拡張を備える。実験から、改善はｋ＝２で始まり、ｋ＝２０で安定する。一例によれば、ソース画像はｋ個の拡張画像（例えば、ヌル拡張）のうちの１つとして、拡張なしで分析される。

明らかなように、ＣＮＮモデルはまた、一例によれば、処理されるｋ個の拡張画像の各々について、スコアのみならず、性別および民族性ベクトルを出力するように構成されるが、そのような（スコア、性別および民族性ベクトル）出力はｋ個の拡張画像のうちの１つを処理することから取得され、用いられる。データ拡張および平均化は、マスクを精緻化するのに役立つが、スコア、出力（一例として）の変動は予想されない。ｋ個の拡張画像（又は、例えば、他のクラス出力）の各々を処理することからのスコアの平均化は、省略され、そこからの単一の値が用いられる。

一例によれば、マスク精度は、ざ瘡病変のグラウンドトゥルース座標を用いて計算されたマスクと比較することによってテストされる。例えば、ざ瘡病変の座標を中心とする全ての円を集約してマスクを出力する。

図６は、ユーザ６０４によって操作されるパーソナルユースのためのコンピューティングデバイス６０２が遠隔に配置されたサーバコンピューティングデバイス、即ちサーバ６０６及びサーバ６０８と通信ネットワーク６０４とを介して通信する一例であるコンピュータネットワーク６００のブロック図である。ユーザ６０４は、一例によれば、皮膚科医の消費者および／又は患者である。また、通信ネットワーク６０４を介して通信するように構成された第２のユーザ６１０及び第２のコンピューティングデバイス６１２も示されている。第２のユーザ６１０は、一例によれば、皮膚科医である。コンピューティングデバイス６０２は、ユーザによるパーソナルユースのためのものであり、公衆が利用することはできない。ただし、サーバからのサービスは公衆に利用できる。ここで、公衆とは、登録されたユーザ及び／又は消費者等を含んでいる。

コンピューティングデバイス６０２は、一例によれば、本明細書に記載されるような皮膚診断、即ち、尋常性ざ瘡診断を提供するなどのざ瘡重症度を評価することを実行するように構成される。一例によれば、ＣＮＮ１０６は、ボードコンピューティングデバイス６０２上に格納され、利用される。一例によれば、ＣＮＮ１０６は、コンピューティングデバイス６０２から受信した画像からクラウドサービス、ウェブサービス等を介して、サーバ６０６から提供される。

一例によれば、コンピューティングデバイス６０２は、例えば、ざ瘡診断情報を提供し、皮膚診断および／又はユーザに関する他の情報（例えば、年齢、性別など）に応答して、製品／治療推奨を受信するために、サーバ６０８と通信するように構成される。一例によれば、コンピューティングデバイス６０２は、例えば、データストア（図示せず）に記憶するために、皮膚診断情報（画像データを備えることができる）をサーバ６０６及び６０８のいずれか、又は両方に通信するように構成される。一例によれば、サーバ６０８（又は別のサービス（図示せず））は、推奨製品を販売するための電子商取引サービスを提供する。

コンピューティングデバイス６０２は、図６の例では手持モバイルデバイス（例えば、スマートフォン又はタブレット）として示されている。しかしながら、一例によれば、コンピューティングデバイス６０２は、ラップトップ、デスクトップ、ワークステーション等の別の形態またはタイプのコンピューティングデバイスである（例えば、より大きな処理リソースを有する）。一例によれば、本明細書で説明する皮膚診断は、他のコンピューティングデバイスタイプで実装される。一例に従って、コンピューティングデバイス６０２は、例えば、１つ以上のネイティブアプリケーション又はブラウザベースのアプリケーションを用いて構成される。

一例によれば、コンピューティングデバイス６０２は、例えば、皮膚、特に顔の写真などの１つ以上の画像を取得し、その画像を処理して皮膚診断を提供するためのユーザデバイスを備える。一例によれば、皮膚診断は、皮膚治療計画に関連して（皮膚治療計画のアクティビティを実行することに関連して）実行され、ここで、画像は周期的に取得され、上述のように、ざ瘡などの皮膚スコアを決定するために分析される。スコアは（ローカルに、リモートに、又はその両方で）記憶され、例えば傾向、改善などを示すためにセッション間で比較される。一例によれば、皮膚スコア及び／又は皮膚画像は、コンピューティングデバイス６０２のユーザ６０４にアクセス可能である。一例によれば、皮膚スコア及び／又は皮膚画像は、皮膚科医などのコンピュータシステム６００の別のユーザ（例えば、第２のユーザ６１０）に（例えば、サーバ６０６を介して、又は通信ネットワーク６０４を介して別の方法で（電子的に）通信されて）利用可能にされる。一例によれば、第２のコンピューティングデバイス６１２は、説明したように皮膚診断を実行するように構成される。第２のコンピューティングデバイス６１２は、リモートソース（例えば、コンピューティングデバイス６０２、サーバ６０６、サーバ６０８など）から画像を受信し、及び／又はそれに結合された光学センサ（例えば、カメラ）を介して、又は任意の他の仕方で画像をキャプチャする。ＣＮＮ１０６は上述のように、第２のコンピューティングデバイス６１２又はサーバ６０６から記憶され、用いられる。

一例によれば、皮膚診断を実行し、１つ以上の製品を提案し、ある期間にわたる製品の１つ以上の適用（治療計画において１つ以上の治療セッションを定義する）後の皮膚変化をモニタリングするためのアプリケーションが提供される。例に従って、コンピュータ・アプリケーションは以下のアクティビティのいずれかを実行するために、一連の指示的なグラフィカルユーザインターフェース（ＧＵＩ）及び／又は他のユーザ・インターフェース（通常は対話的であり、ユーザ入力を受信する）などのワークフローを提供する：

・ざ瘡などの皮膚診断；

・治療計画などの製品推奨事項；

・製品の購入やその他の獲得；

・治療セッションごとの製品リマインド、教育および／又は記録（例えば、ログ記録）；

・その後の（例えば、１回以上の追跡）皮膚診断；及び

・結果（例えば、比較結果）を提示する；

例えば、皮膚治療計画の進行をモニタリングするための治療計画スケジュールに従って。一例によれば、これらのアクティビティのいずれかは、例えば、レビューするユーザ６１０、レビューする別の個人、治療計画の有効性を測定する他のユーザのデータとの集約などのために、リモートに格納されるデータを生成する。

一例によれば、比較結果（例えば、結果の前後）は、治療計画の最中および／又は完了時などにかかわらず、コンピューティングデバイス６０２を介して提示される。上述のように、一例によれば、皮膚診断の態様はコンピューティングデバイス６００上で、又はリモート結合されたデバイス（例えば、クラウド内のサーバ又は別の構成）によって実行される。

図７は、本開示の１つ以上の態様による、コンピューティングデバイス６０２のブロック図である。コンピューティングデバイス６０２は、１つ以上の処理装置７０２と、１つ以上の入力デバイス７０４と、ジェスチャベースのＩ／Ｏデバイス７０６と、１つ以上の通信ユニット７０８と、１つ以上の出力デバイス７１０とを備える。コンピューティングデバイス６０２は、また、１つ以上のモジュール及び／又はデータを記憶する１つ以上の記憶デバイス７１２を含む。一例によれば、モジュールは（例えば、ＣＮＮ１０６からの）ディープニューラルネットワークモデル７１４、グラフィカルユーザインターフェース（ＧＵＩ７１８）のための構成要素を有するアプリケーション７１６及び／又は治療モニタリングのためのワークフロー（例えば、治療モニタ７２０）、画像獲得７２２（例えば、インターフェース）および治療／製品セレクタ７３０（例えば、インターフェース）を含む。一例によれば、データは処理するための１つ以上の画像（例えば、画像７２４）、皮膚診断データ（例えば、それぞれのスコア、民族性、性別または他のユーザデータ）、特定の治療に関するロギングデータなどの治療データ７２８、リマインダなどのスケジュールを伴う治療計画などを含む。

一例によれば、アプリケーション７１６は、ビデオなどの１つ以上の画像を取得し、その画像を処理して、ニューラルネットワークモデル７１４によって提供されるディープニューラルネットワークの皮膚診断を決定する機能を提供する。一例によれば、ニューラルネットワークモデル７１４は、前述のように図１に示すモデルとして構成される。別の例では、ニューラルネットワークモデル７１４は、リモートに配置され、コンピューティングデバイス６０２は、アプリケーション７１６を介して、皮膚診断データの処理および返送のために画像を通信する。一例によれば、アプリケーション７１６は、これらの前述のアクティビティを実行するように構成される。

一例に従って、記憶デバイス７１２は、通信モジュール、グラフィックス処理モジュール（例えば、処理装置７０２のＧＰＵ用）、マップモジュール、接触モジュール、カレンダーモジュール、写真／ギャラリーモジュール、写真（画像／メディア）エディタ、メディアプレーヤ及び／又はストリーミングモジュール、ソーシャルメディアアプリケーション、ブラウザモジュールなどを含む、オペレーティングシステム７３２及びその他のモジュール（図示せず）などの追加モジュールを記憶する。記憶デバイスは、本明細書では記憶ユニットと呼ばれることがある。

一例によれば、通信チャネル７３８は、構成要素７０２，７０４，７０６，７０８，７１０，７１２のそれぞれと、構成要素間通信のための任意のモジュール７１４，７１６，及び７３２とを、通信可能、物理的および／又は動作可能に結合する。いくつかの例では、通信チャネル７３８がシステムバス、ネットワーク接続、プロセス間通信データ構造またはデータを通信するための他の任意の方法を含む。

一例に従って、１つ以上の処理装置７０２は、コンピューティングデバイス６０２内で機能性を実装し、及び／又は命令を実行する。例えば、処理装置７０２は、図５に示すモジュールの機能性（例えば、オペレーティングシステム、アプリケーションなど）を実行するために、記憶デバイス７１２から命令および／又はデータを受信するように構成されている。コンピューティングデバイス６０２は、データ／情報を記憶デバイス７１２に記憶する。機能のいくつかは、本明細書において以下にさらに記載される。例によれば、オペレーションは１つのモジュールが別のモジュールの機能を支援するように、図５のモジュール７１４，７１６及び７３２内に正確には含まれないことを理解されたい。

一例によれば、オペレーションを実行するためのコンピュータプログラムコードは、１つ以上のプログラミング言語、例えば、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラミング言語または“Ｃ”プログラミング言語や同様のプログラミング言語等の従来の手続き型プログラミング言語の任意の組み合わせで書かれる。

一例によれば、コンピューティングデバイス６０２は、ジェスチャベースのＩ／Ｏデバイス７０６の画面上に提示するための出力、又はいくつかの例ではプロジェクタ、モニタ、又は他のディスプレイデバイスによる提示のための出力を生成する。一例によれば、ジェスチャベースのＩ／Ｏデバイス７０６は、様々な技術（例えば、抵抗性タッチスクリーン、表面弾性波タッチスクリーン、容量性タッチスクリーン、投影キャパシタンスタッチスクリーン、感圧スクリーン、音響パルス認識タッチスクリーン又は別のプレゼンスセンシティブスクリーン技術などの入力能力に関連して、及び出力能力に関連して、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、ドットマトリクスディスプレイ、ｅインク又は同様のモノクロ又はカラーディスプレイ）を用いて構成されることが理解されるのであろう。

本明細書で説明される例のうちの少なくともいくつかでは、ジェスチャベースのＩ／Ｏデバイス７０６がタッチスクリーンと対話するユーザからの触覚対話またはジェスチャを入力として受信することができるタッチスクリーンデバイスを含む。一例によれば、そのようなジェスチャはタップジェスチャ、ドラッグジェスチャ又はスワイプジェスチャ、フリックジェスチャ、ジェスチャの一時停止（例えば、ユーザが少なくとも閾値期間にわたって画面の同じ位置にタッチする場合）を含み、ユーザはジェスチャベースのＩ／Ｏデバイス７０６の１つ以上の位置にタッチ又はポイントする。一例によれば、ジェスチャベースのＩ／Ｏデバイス７０６は、非タップジェスチャも受信する。一例によれば、ジェスチャベースのＩ／Ｏデバイス７０６は、グラフィカルユーザインターフェースなどの情報をユーザに出力または提示する。ジェスチャベースのＩ／Ｏデバイス７０６はとりわけ、例えば、画像を取得し、画像を閲覧し、画像を処理し、新しい画像を提示するためのアプリケーション７１６、メッセージングアプリケーション、電話通信、連絡先およびカレンダアプリケーション、ウェブブラウジングアプリケーション、ゲームアプリケーション、電子書籍アプリケーション及び金融、支払い、並びに他のアプリケーション又は機能を含む、コンピューティングデバイス６０２の様々なアプリケーション、機能および能力を提示する。

本開示は主にＩ／Ｏ能力を有するディスプレイスクリーンデバイス（例えば、タッチスクリーン）の形態のジェスチャベースのＩ／Ｏデバイス７０６を示し、説明するが、ジェスチャベースのＩ／Ｏデバイスの他の例が、動きを検出するために想定される。一例によれば、このようなものは、スクリーン自体を含まない。そのような場合、コンピューティングデバイス６０２は、ディスプレイスクリーンを含むか、又はアプリケーション７１６の新しい画像およびＧＵＩを提示するためにディスプレイデバイスに結合される。一例によれば、コンピューティングデバイス６０２は、トラックパッド／タッチパッド、１つ以上のカメラ、又は別のプレゼンス又はジェスチャ感知入力デバイスからジェスチャベースの入力を受信し、ここで、プレゼンスは、例えば、ユーザの全部または一部の動きを含むユーザの存在態様を意味する。

一例によれば、１つ以上の通信ユニット７０８は、１つ以上のネットワーク上でネットワーク信号を送信および／又は受信することによって、通信ネットワーク６０４を介してなど、説明した目的および／又は他の目的（たとえば、印刷）などのために、外部デバイス（たとえば、サーバ６０６、サーバ６０８、第２のコンピューティングデバイス６１２）と通信する。一例によれば、通信ユニットは、無線および／又は有線通信のための様々なアンテナ及び／又はネットワークインターフェースカード、チップ（例えば、全地球測位衛星（ＧＰＳ））などを含む。

一例によれば、入力デバイス７０４及び出力デバイス７１０は、１つ以上のボタン、スイッチ、ポインティングデバイス、カメラ、キーボード、マイクロフォン、１つ以上のセンサ（たとえば、バイオメトリックなど）、スピーカ、ベル、１つ以上のライト、触覚（振動）デバイスなどのいずれかを含む。１つ以上の同じものが、ユニバーサルシリアルバス（ＵＳＢ）又はその他の通信チャネル（７３８など）を介して結合されている。一例によれば、カメラ（入力デバイス８０４）は、ユーザがジェスチャベースのＩ／Ｏデバイス７０６を見ながらカメラを用いて画像をキャプチャして“セルフィー”を撮ることを可能にするように、前方に向けられている（すなわち、同じ側にある）。

例によれば、１つ以上の記憶デバイス７１２は、例えば、短期メモリ又は長期メモリとして、異なる形式および／又は構成をとる。一例によれば、記憶デバイス７１２は、揮発性メモリとしての情報の短期記憶のために構成され、電力が除去されたときに記憶された内容を保持しない。揮発性メモリの例としては、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）などがある。記憶デバイス７１２は、いくつかの例では例えば、揮発性メモリよりも大量の情報を記憶し、及び／又は電力が除去されたときに情報を保持しながら長期間そのような情報を記憶するために、１つ以上のコンピュータ可読記憶媒体も含む。不揮発性メモリの例には、磁気ハードディスク、光ディスク、フロッピーディスク、フラッシュメモリ、又は電気的にプログラム可能なメモリ（ＥＰＲＯＭ）又は電気的に消去およびプログラム可能なメモリ（ＥＥＰＲＯＭ）の形態が含まれる。

図示されていないが、一例によれば、コンピューティングデバイスは例えば、適切なトレーニング及び／又はテストデータと共に図４に示されるようなネットワークを用いてニューラルネットワークモデル７１４をトレーニングするためのトレーニング環境として構成される。

一例によれば、ＣＮＮ１０６／ニューラルネットワークモデル７１４はラップトップ、デスクトップ、ワークステーション、サーバ又は他の同等世代コンピューティングデバイスなどの“より大きい”デバイスよりも少ない処理リソースを有するモバイルデバイス（例えば、スマートフォン又はタブレット）であるコンピューティングデバイスのための軽いアーキテクチャに適合される。

一例によれば、第２のコンピューティングデバイス６１２は、コンピューティングデバイス６０２と同様に構成される。第２のコンピューティングデバイス６１２は、異なるユーザのためにサーバ６０６に記憶されたデータから画像およびざ瘡診断を要求し見せるようにＧＵＩを提示する。

一例によれば、図８Ａ及び図８Ｂは、一例によるコンピューティングデバイス６０２（又は６１０）などのための、それぞれオペレーション８００及び８１０のフローチャートである。オペレーション８００は、ざ瘡重症度の皮膚診断を実行するためにユーザの顔の画像を備えるセルフィーを取得するためにアプリケーション７１６などのアプリケーションを用いるコンピューティングデバイス６０２のユーザに関する。８０１において、画像は、カメラ又は他の仕方（例えば、メッセージ添付から）を介して、処理装置で受信される。

８０２で、画像は、ＣＮＮに提示する正規化画像を定義するために前処理される。画像は様々に、中心に置かれ、特定のサイズ（解像度）に切り取られて、そのトレーニングに従ってＣＮＮに同じサイズの画像を提示する。８０３において、正規化された画像はＣＮＮ１０６（ニューラルネットワークモデル７１４）を用いて処理され、尋常性ざ瘡診断（例えば、整数スコア）を生成する。性別および民族性出力も生成される。ざ瘡診断、性別および民族性ベクトル（又はその単一値）は、８０４において、例えばＧＵＩを介して提示される。一例によれば、ＧＵＩは、説明したようなヒートマップを用いて、画像および／又は正規化画像と、ざ瘡を視覚化する適合画像とを提示する。一例によれば、ＧＵＩは画像を提示し、次いで、一旦利用可能になると、ざ瘡を視覚化する適合画像を提示するように遷移する。

図８Ｂは、オペレーション８１０を示す。８１１において、ＧＵＩが提示され（一例によれば、オペレーション８００，８１０のいずれかに対してＧＵＩが提示され）、製品および／又は治療推奨が開始される。パフォーマンスを引き出すための入力が受信される。８１２において、推奨が取得される。推奨を取得するために、一例によれば、デバイス６０２のオペレーションは、ざ瘡診断情報（例えば、スコア、民族性ベクトル、性別ベクトル、画像、ユーザ情報など）をサーバ６０８などのリモートサーバに通信して推奨を受信することを備える。一例によれば、推奨は、１つ以上の製品と、皮膚の領域への適用の体制と、スケジュールを有する治療計画に関連するものとを含む。８１３において、推奨は、例えばＧＵＩを介して提示される。一例によれば、２つ以上の推奨が受信され、提示される。８１４において、推奨の受け入れを示す選択が行われる。一例によれば、選択は記憶され（記録され）、例えば、コンピューティングデバイス６０２の治療モニタリング特徴または機能（図示せず）が開始される。一例によれば、８１５において、サーバ６０８又は別のサーバを介するなどして、製品購入が促進される。

図示されていないが、一例に従って、モニタリングはコンピューティングデバイス６０２によって受信されるか、又はブラウザなどを介してアクセス可能な治療計画（例えば、データに記載されるよう）に応答する。一例によれば、治療計画は１週間に１回の第２の製品の適用などのスケジュール（例えば、製品の朝および夕方の適用）を有する。一例によれば、ユーザは、固有のアプリケーションベースである通知を介して、又はカレンダアプリケーションなどの別の手段を介してなど、予定をリマインドされる。一例によれば、ＧＵＩは、治療アクティビティを容易にするために提供され、例えば、その発生を記録するために、及び／又はアクティビティを実行するための命令を提供する。アクティビティが実行されたことの確認などの入力が受信される。一例によれば、アクティビティを記録するために画像が含まれる。例に従って、それぞれのデータが（ローカル及び／又はリモートで）ログに記録される。一例によれば、モニタリングは、治療計画がどの程度厳密に追従されるかを測定する。一例によれば、製品の買戻しが容易になる。例えば、一例によれば、治療モニタリングに応答して、手元の製品量がなくなっていることが決定される。

図示されていないが、一例によれば、比較アクティビティが実行される（例えば、モニタリングアクティビティとして実行される）。比較用のＧＵＩは、ユーザ等に提供するために設けられる。（例えば、６０１で受信された初期画像と比較された）新しい画像が受信され、（任意選択で）記憶される。その後の尋常性ざ瘡診断は新しい画像上のＣＮＮ１０６を用いて（例えば、オペレーション６００と同様に、正規化されたものなどとして）実行される。ＧＵＩは、初期およびその後のざ瘡診断を用いて、任意選択で第１及び新しい画像と、任意選択でヒートマップを用いて修正されたそのような１つ以上の画像との、治療結果の比較を提示する。

図示されていないが、例に従って、オペレーション８００，８１０及びモニタリング及び／又は比較アクティビティのために受信または生成されたデータは、サーバ６０６などのリモート記憶デバイスのために通信される。

一例によれば、ざ瘡の診断およびその後の診断（任意選択で他のモニタリングを伴う）並びに集約のためのデータの提供は、製品の有効性および／又は製品および治療の不正請求調査を可能にする。一例によれば、データが収集され、分析され、皮膚科医および／又は他の専門家および／又はユーザに提示される。したがって、本明細書の様々な実施例の技法および／又は方法論は、ざ瘡皮膚治療などのための分散研究モデルを容易にする。

図９は、一例による、コンピューティングデバイス６０２（又は６１０）などのためのオペレーション９００のフローチャートである。オペレーション９００は、オペレーション８００と同様であり、アプリケーション７１６などのアプリケーションを用いて、ユーザの顔の画像を備えるセルフィーを取得し、ざ瘡の重症度についての皮膚診断を実行するコンピューティングデバイス６０２のユーザに関する。本オペレーション９００では、ｋ個のデータ拡張が実行され、ｋ個の画像が解析されて視覚化が作り出される。

この例におけるオペレーション９００は同様であるので、オペレーション８００からの参照は図９において繰り返される。８０１において、画像はカメラ又は他の仕方（例えば、メッセージ添付から）を介して、処理装置で受信される。

８０２で、画像は、ＣＮＮに提示する正規化画像を定義するために前処理される。画像は様々に、中心に置かれ、特定のサイズ（解像度）に切り取られて、そのトレーニングに従ってＣＮＮに同じサイズの画像を提示する。９０２において、ｋ個のランダムなデータ拡張が分析のためにｋ個の拡張画像を定義するためにそれぞれ適用されるように、データ拡張が、正規化された画像に対して実行される。一例では、オペレーション８０２及び９０２が順番に逆にされる。ソース画像は拡張され、次いで正規化されるが、これは特定のオペレーションを繰り返すことができる。

９０４において、ｋ個の拡張画像の各々は、ＣＮＮ１０６（ニューラルネットワークモデル７１４）を用いて処理され、尋常性ざ瘡診断（例えば、整数スコア）およびｋ個のアクティベーションマスク（例えば、Ｇｒａｄ－ＣＡＭを用いて記載されるようなヒートマップ）を生成する。性別および民族性出力も生成される。９０６において、ｋ個のアクティベーションマスクから最終マスクが画定される。この例では、ｋ個のアクティベーションマスクが平均化され、上述のように閾値が適用されて、皮膚分析の視覚化として最終マスク／ヒートマップが生成される。９０８において、ざ瘡診断は例えば、ＧＵＩを介して、元の画像に対する視覚化と共に提示される。この例では、ヒートマップが分析／診断を視覚化するために元の画像上にオーバーレイされる。任意選択で、性別および民族性ベクトル（又はその単一値）が視覚化と共に提示される。

図１０Ａ及び１０Ｂは、一例による、それぞれのソース画像１０００，１００２並びに皮膚分析の視覚化１００４，１００６，１００８及び１０１０を示す。第１の修正された顔画像１００４及び１００６の各々、並びに第２の修正された顔画像１００８及び１０１０の各々は、平均化技法を用いて作り出されたそれぞれのＧｒａｄ－ＣＡＭ生成ヒートマップで覆われた（例えば、オーバーレイされた）それぞれの元の顔画像１０００，１００２を備える。第１の修正された顔画像１００４及び１００６は、画像内で正規化されたクラスアクティベーションマップ（ＣＡＭ）を局所的に正規化させて示し、第２の修正された顔画像１００８及び１０１０は、同じ数の拡張のすべての画像内で全体的に正規化されたＣＡＭを示す。図１０Ｂを参照すると、元の画像１００２において提示される皮膚状態は、中央額領域において最も厳しく、口および上顎の周りではそれほど厳しくなく、鼻の上ではそれほど厳しくない。視覚化１００６及び１０１０は、元の画像１００２の皮膚の詳細をぼかして、ヒートマップを用いて皮膚領域を強調する。一実施形態では、カラーオーバーレイが用いられる。色および／又は勾配などは、重症度結果（例えば、皮膚分析整数値）と整列される。視覚化１００６及び１０１０のヒートマップはそれぞれ、皮膚状態がプレゼンスする領域を強調し、皮膚状態が元の画像１００２にプレゼンスしない皮膚の他の領域（例えば、頬、下顎）を最小化する。例えば、頬領域は暗くされ、皮膚状態がプレゼンスする領域は局所的または全体的なデータを用いて正規化されるように、そのためのスコアに対して強調されて提示される。図１０Ａは、額領域において最も切断されている皮膚状態についての同様の視覚化を示す。強調提示は、皮膚状態を示すセクション内で様々に粒状であってもよい。例えば、１００４及び１００８、又は、１００６及び１０１０の額領域において、皮膚状態が検出される領域の部分は、その重症度に対して強調提示される。

本開示では、１つ以上の例において、整数のみのラベルを用いて、ざ瘡重症度評価回帰タスク上でＣＮＮをトレーニングする方法が記載される。以前の研究はしばしば、複雑な経路および画像に対する特定の要件を有するが、ざ瘡評価のための記載されたエンドツーエンドモデルは、モバイルデバイスによってキャプチャされた画像で機能することができ、モバイル又はウェブアプリケーションを介してリアルタイムで使用することができる。良好に適合された損失関数およびトレーニング技法を用いて、同様の作業と比較して３％良好な結果が達成された。

１つ以上の例に示されるコンピューティングデバイスの態様に加えて、通常の当業者はコンピュータプログラム製品の態様が開示され、ここで命令が非一時的記憶デバイス（例えば、メモリ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ディスクなど）に記憶されて、本明細書に記載する方法の態様のいずれかを実行するようにコンピューティングデバイスを構成することを理解するのであろう。

コンピューティングデバイスは、記憶ユニットに結合された処理ユニットなどの回路を備えることが理解されよう。そのような回路は様々な特徴および機能を提供するように、及び／又は適用可能な方法を実行するように演算をデバイスに構成する。回路は、それぞれの機能ユニットを規定するように（少なくとも論理的に）考慮されてもよい。機能ユニットの一例は、本明細書に記載の特徴を有する皮膚分析ユニット及び／又は視覚化ユニットなどである。他のものは明らかであろう。一実施形態では、皮膚状態の皮膚診断を生成するために、画像分類のための回帰および分類を備えるディープニューラルネットワークを用いて画像のピクセルを分類する皮膚分析ユニットが提供される。

実際の実施は、本明細書に記載された特徴のいずれか又は全てを含むことができる。これら及び他の態様、特徴、ならびに様々な組み合わせは、本明細書で説明される特徴を組み合わせる、機能、プログラム製品を実行するための方法、機器、システム、手段として、及び他のやり方で表現され得る。多数の実施形態が記載されている。それにもかかわらず、本明細書で説明されるプロセス及び技法的思想および範囲から逸脱することなく、様々な修正を行うことができることが理解されるのであろう。加えて、記載された処理から、他のステップを提供することができ、又はステップを排除することができ、記載されたシステムに他の構成要素を加えるか、又はそこから除去することができる。したがって、他の実施形態は特許請求の範囲の範囲内にある。

本明細書の記載および特許請求の範囲を通して、単語“備える（ｃｏｍｐｒｉｓｅ）”及び“含む（ｃｏｎｔａｉｎ）”及びそれらの変形は“含むがこれに限定されない”を意味し、他の構成要素、整数またはステップを排除することを意図しない（及び排除しない）。本明細書全体を通して、単数形は文脈が沿わないことを要求しない限り、複数形を包含する。特に、不定冠詞が使用される場合は本明細書がその状況が他のことを要求していない限り、単数だけでなく複数も意図していると理解されたい。

本発明の特定の局面、実施形態または例に関連して記載される特徴、整数特性、化合物、化学部分または基はそれらと適合しない限り、任意の他の局面、実施形態または例に適用可能であると理解されるべきである。本明細書に開示された特徴（任意の添付の特許請求の範囲、要約書および図面を含む）のすべて、及び／又はそのように開示された任意の方法または処理のステップのすべては、そのような特徴および／又はステップの少なくともいくつかが相互に排他的である組み合わせを除いて、任意の組合せで組み合わせることができる。本発明は、前述の例または実施形態の詳細に限定されない。本明細書（添付の特許請求の範囲、要約書および図面を含む）に開示された特徴の任意の新規なもの、又は任意の新規な組み合わせ、又は開示された任意の方法または処理のステップの任意の新規なもの、又は任意の新規な組み合わせに拡張される。
＜参考文献（Ｒｅｆｅｒｅｎｃｅｓ）＞
［１］Ａｂａｓ，Ｆ．Ｓ．，Ｋａｆｆｅｎｂｅｒｇｅｒ，Ｂ．，Ｂｉｋｏｗｓｋｉ，Ｊ．，Ｇｕｒｃａｎ，Ｍ．Ｎ．：Ａｃｎｅｉｍａｇｅａｎａｌｙｓｉｓ：ｌｅｓｉｏｎｌｏｃａｌｉｚａｔｉｏｎａｎｄｃｌａｓｓｉｆｉｃａｔｉｏｎ．Ｉｎ：ＭｅｄｉｃａｌＩｍａｇｉｎｇ２０１６：Ｃｏｍｐｕｔｅｒ－ＡｉｄｅｄＤｉａｇｎｏｓｉｓ．ｖｏｌ．９７８５，ｐ．９７８５０Ｂ．ＩｎｔｅｒｎａｔｉｏｎａｌＳｏｃｉｅｔｙｆｏｒＯｐｔｉｃｓａｎｄＰｈｏｔｏｎｉｃｓ（２０１６）
［２］Ａｌａｍｄａｒｉ，Ｎ．，Ｔａｖａｋｏｌｉａｎ，Ｋ．，Ａｌｈａｓｈｉｍ，Ｍ．，Ｆａｚｅｌ－Ｒｅｚａｉ，Ｒ．：Ｄｅｔｅｃｔｉｏｎａｎｄｃｌａｓｓｉｆｉｃａｔｉｏｎｏｆａｃｎｅｌｅｓｉｏｎｓｉｎａｃｎｅｐａｔｉｅｎｔｓ：Ａｍｏｂｉｌｅａｐｐｌｉｃａｔｉｏｎ．Ｉｎ：２０１６ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＥｌｅｃｔｒｏＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ（ＥＩＴ）．ｐｐ．０７３９－０７４３．ＩＥＥＥ（２０１６）
［３］Ｄｒｎｏ，Ｂ．，Ｐｏｌｉ，Ｆ．，Ｐａｗｉｎ，Ｈ．，Ｂｅｙｌｏｔ，Ｃ．，Ｆａｕｒｅ，Ｍ．，Ｃｈｉｖｏｔ，Ｍ．，Ａｕｆｆｒｅｔ，Ｎ．，Ｍｏｙｓｅ，Ｄ．，Ｂａｌｌａｎｇｅｒ，Ｆ．，Ｒｅｖｕｚ，Ｊ．：Ｄｅｖｅｌｏｐｍｅｎｔａｎｄｅｖａｌｕａｔｉｏｎｏｆａｇｌｏｂａｌａｃｎｅｓｅｖｅｒｉｔｙｓｃａｌｅ（ｇｅａｓｃａｌｅ）ｓｕｉｔａｂｌｅｆｏｒＦｒａｎｃｅａｎｄＥｕｒｏｐｅ：Ｇｌｏｂａｌａｃｎｅａｓｓｅｓｓｍｅｎｔｓｃａｌｅ．ＪｏｕｒｎａｌｏｆｔｈｅＥｕｒｏｐｅａｎＡｃａｄｅｍｙｏｆＤｅｒｍａｔｏｌｏｇｙａｎｄＶｅｎｅｒｅｏｌｏｇｙ：ＪＥＡＤＶ２５，４３－８（０４２０１０）．ＵＲＬｄｏｉ．ｏｒｇ／１０．１１１１／ｊ．１４６８－３０８３．２０１０．０３６８５．ｘ
［４］Ｈｅ，Ｋ．，Ｚｈａｎｇ，Ｘ．，Ｒｅｎ，Ｓ．，Ｓｕｎ，Ｊ．：Ｄｅｅｐｒｅｓｉｄｕａｌｌｅａｒｎｉｎｇｆｏｒｉｍａｇｅｒｅｃｏｇｎｉｔｉｏｎ．Ｉｎ：ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥｃｏｎｆｅｒｅｎｃｅｏｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎａｎｄｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎ．ｐｐ．７７０－７７８（２０１６）
［５］Ｊｉａｎｇ，Ｒ．，Ｋｅｚｅｌｅ，Ｉ．，Ｌｅｖｉｎｓｈｔｅｉｎ，Ａ．，Ｆｌａｍｅｎｔ，Ｆ．，Ｚｈａｎｇ，Ｊ．，Ｅｌｍｏｚｎｉｎｏ，Ｅ．，Ｍａ，Ｊ．，Ｍａ，Ｈ．，Ｃｏｑｕｉｄｅ，Ｊ．，Ａｒｃｉｎ，Ｖ．，Ｏｍｏｙｕｒｉ，Ｅ．，Ａａｒａｂｉ，Ｐ．：Ａｎｅｗｐｒｏｃｅｄｕｒｅ，ｆｒｅｅｆｒｏｍｈｕｍａｎａｓｓｅｓｓｍｅｎｔ，ｔｈａｔａｕｔｏｍａｔｉｃａｌｌｙｇｒａｄｅｓｓｏｍｅｆａｃｉａｌｓｋｉｎｓｔｒｕｃｔｕｒａｌｓｉｇｎｓ．Ｃｏｍｐａｒｉｓｏｎｗｉｔｈａｓｓｅｓｓｍｅｎｔｓｂｙｅｘｐｅｒｔｓ，ｕｓｉｎｇｒｅｆｅｒｅｎｔｉａｌａｔｌａｓｅｓｏｆｓｋｉｎａｇｉｎｇ．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｓｍｅｔｉｃＳｃｉｅｎｃｅ４１（０１２０１９）．ＵＲＬｄｏｉ．ｏｒｇ／１０．１１１１／ｉｃｓ．１２５１２．
［６］Ｋｉｎｇｍａ，Ｄ．Ｐ．，Ｂａ，Ｊ．：Ａｄａｍ：Ａｍｅｔｈｏｄｆｏｒｓｔｏｃｈａｓｔｉｃｏｐｔｉｍｉｚａｔｉｏｎ．ＣｏＲＲａｂｓ／１４１２．６９８０（２０１４），ＵＲＬａｒｘｉｖ．ｏｒｇ／ａｂｓ／１４１２．６９８０
［７］Ｍａｌｉｋ，Ａ．Ｓ．，Ｒａｍｌｉ，Ｒ．，Ｈａｎｉ，Ａ．Ｆ．Ｍ．，Ｓａｌｉｈ，Ｙ．，Ｙａｐ，Ｆ．Ｂ．Ｂ．，Ｎｉｓａｒ，Ｈ．：Ｄｉｇｉｔａｌａｓｓｅｓｓｍｅｎｔｏｆｆａｃｉａｌａｃｎｅｖｕｌｇａｒｉｓ．Ｉｎ：２０１４ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＩｎｓｔｒｕｍｅｎｔａｔｉｏｎａｎｄＭｅａｓｕｒｅｍｅｎｔＴｅｃｈｎｏｌｏｇｙＣｏｎｆｅｒｅｎｃｅ（Ｉ２ＭＴＣ）Ｐｒｏｃｅｅｄｉｎｇｓ．ｐｐ．５４６－５５０．ＩＥＥＥ（２０１４）
［８］Ｍａｒｏｎｉ，Ｇ．，Ｅｒｍｉｄｏｒｏ，Ｍ．，Ｐｒｅｖｉｄｉ，Ｆ．，Ｂｉｇｉｎｉ，Ｇ．：Ａｕｔｏｍａｔｅｄｄｅｔｅｃｔｉｏｎ，ｅｘｔｒａｃｔｉｏｎａｎｄｃｏｕｎｔｉｎｇｏｆａｃｎｅｌｅｓｉｏｎｓｆｏｒａｕｔｏｍａｔｉｃｅｖａｌｕａｔｉｏｎａｎｄｔｒａｃｋｉｎｇｏｆａｃｎｅｓｅｖｅｒｉｔｙ．Ｉｎ：２０１７ＩＥＥＥＳｙｍｐｏｓｉｕｍＳｅｒｉｅｓｏｎＣｏｍｐｕｔａｔｉｏｎａｌＩｎｔｅｌｌｉｇｅｎｃｅ（ＳＳＣＩ）．ｐｐ．１－６．ＩＥＥＥ（２０１７）
［９］Ｍｅｌｉｎａ，Ａ．，Ｄｉｎｈ，Ｎ．Ｎ．，Ｔａｆｕｒｉ，Ｂ．，Ｓｃｈｉｐａｎｉ，Ｇ．，Ｎｉｓｔｉｃ＿ｏ，Ｓ．，Ｃｏｓｅｎｔｉｎｏ，Ｃ．，Ａｍａｔｏ，Ｆ．，Ｔｈｉｂｏｕｔｏｔ，Ｄ．，Ｃｈｅｒｕｂｉｎｉ，Ａ．：Ａｒｔｉ＿ｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅｆｏｒｔｈｅｏｂｊｅｃｔｉｖｅｅｖａｌｕａｔｉｏｎｏｆａｃｎｅｉｎｖｅｓｔｉｇａｔｏｒｇｌｏｂａｌａｓｓｅｓｓｍｅｎｔ．Ｊｏｕｒｎａｌｏｆｄｒｕｇｓｉｎｄｅｒｍａｔｏｌｏｇｙ：ＪＤＤ１７（９），１００６－１００９（２０１８）
［１０］Ｐａｎ，Ｈ．，Ｈａｎ，Ｈ．，Ｓｈａｎ，Ｓ．，Ｃｈｅｎ，Ｘ．：Ｍｅａｎ－ｖａｒｉａｎｃｅｌｏｓｓｆｏｒｄｅｅｐａｇｅｅｓｔｉｍａｔｉｏｎｆｒｏｍａｆａｃｅ．Ｉｎ：ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．ｐｐ．５２８５－５２９４（２０１８）
［１１］Ｒｏｔｈｅ，Ｒ．，Ｔｉｍｏｆｔｅ，Ｒ．，ＶａｎＧｏｏｌ，Ｌ．：Ｄｅｘ：Ｄｅｅｐｅｘｐｅｃｔａｔｉｏｎｏｆａｐｐａｒｅｎｔａｇｅｆｒｏｍａｓｉｎｇｌｅｉｍａｇｅ．Ｉｎ：ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎＷｏｒｋｓｈｏｐｓ．ｐｐ．１０－１５（２０１５）
［１２］Ｓａｎｄｌｅｒ，Ｍ．，Ｈｏｗａｒｄ，Ａ．，Ｚｈｕ，Ｍ．，Ｚｈｍｏｇｉｎｏｖ，Ａ．，Ｃｈｅｎ，Ｌ．Ｃ．：Ｍｏｂｉｌｅｎｅｔｖ２：Ｉｎｖｅｒｔｅｄｒｅｓｉｄｕａｌｓａｎｄｌｉｎｅａｒｂｏｔｔｌｅｎｅｃｋｓ．Ｉｎ：ＴｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）（Ｊｕｎｅ２０１８）
［１３］Ｓｅｌｖａｒａｊｕ，Ｒ．Ｒ．，Ｃｏｇｓｗｅｌｌ，Ｍ．，Ｄａｓ，Ａ．，Ｖｅｄａｎｔａｍ，Ｒ．，Ｐａｒｉｋｈ，Ｄ．，Ｂａｔｒａ，Ｄ．：Ｇｒａｄ－ｃａｍ：Ｖｉｓｕａｌｅｘｐｌａｎａｔｉｏｎｓｆｒｏｍｄｅｅｐｎｅｔｗｏｒｋｓｖｉａｇｒａｄｉｅｎｔ－ｂａｓｅｄｌｏｃａｌｉｚａｔｉｏｎ．Ｉｎ：ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ．ｐｐ．６１８－６２６（２０１７）
［１４］Ｚｈｏｕ，Ｂ．，Ｋｈｏｓｌａ，Ａ．，Ｌａｐｅｄｒｉｚａ，Ａ．，Ｏｌｉｖａ，Ａ．，Ｔｏｒｒａｌｂａ，Ａ．：Ｌｅａｒｎｉｎｇｄｅｅｐｆｅａｔｕｒｅｓｆｏｒｄｉｓｃｒｉｍｉｎａｔｉｖｅｌｏｃａｌｉｚａｔｉｏｎ．Ｉｎ：ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥｃｏｎｆｅｒｅｎｃｅｏｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎａｎｄｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎ．ｐｐ．２９２１－２９２９（２０１６）
［１５］Ｊ．Ｐ．－Ｏ．Ｎ．Ｖ．－Ａ．Ａ．Ｒ．－Ａ．Ｊ．Ｄ．－Ｃ．Ｊ．ＡｌｆｒｅｄｏＰａｄｉｌｌａ－Ｍｅｄｉｎａ，ＦｒａｎｃｉｓｃｏＬｅｎ－Ｏｒｄｏｅｚ，Ａｓｓｅｓｓｍｅｎｔｔｅｃｈｎｉｑｕｅｆｏｒａｃｎｅｔｒｅａｔｍｅｎｔｓｂａｓｅｄｏｎｓｔａｔｉｓｔｉｃａｌｐａｒａｍｅｔｅｒｓｏｆｓｋｉｎｔｈｅｒｍａｌｉｍａｇｅｓ，ＪｏｕｒｎａｌｏｆＢｉｏｍｅｄｉｃａｌＯｐｔｉｃｓ１９（４）（２０１４）１－８－８．ｄｏｉ：１０．１１１７／１．ＪＢＯ．１９．４．０４６０１９．ＵＲＬｄｏｉ．ｏｒｇ／１０．１１１７／１．ＪＢＯ．１９．４．０４６０１９
［１６］ＬａＲｏｃｈｅＰｏｓａｙ：Ｗｈａｔｉｓｅｆｆａｃｌａｒｓｐｏｔｓｃａｎ？（２０１９），ＵＲＬｗｗｗ．ｌａｒｏｃｈｅ－ｐｏｓａｙ．ｃｏ．ｕｋ／ｗｈａｔ－ｉｓ－ｅｆｆａｃｌａｒ－ｓｐｏｔｓｃａｎ，ｌａｓｔａｃｃｅｓｓｅｄ＝２０１９－０６－２５
＜その他＞
＜手段＞
技術的思想１の皮膚診断デバイスは、記憶ユニットに結合された処理ユニットを提供する回路を備える皮膚診断デバイスであって、皮膚状態の皮膚診断を生成するために、画像分類のための回帰および分類を備えるディープニューラルネットワークを用いて画像のピクセルを分類する皮膚分析ユニットを提供するように構成される。
技術的思想２の皮膚診断デバイスは、技術的思想１記載の皮膚診断デバイスにおいて、前記処理ユニット及び前記記憶ユニットが前記皮膚診断を視覚化するために前記画像に注釈を付ける視覚化ユニットを提供するようにさらに構成される。
技術的思想３の皮膚診断デバイスは、技術的思想１又は２に記載の皮膚診断デバイスにおいて、前記処理ユニット及び前記記憶ユニットが前記皮膚診断に応答して、前記皮膚状態のための製品を推奨する推奨ユニットを提供するようにさらに構成される。
技術的思想４の皮膚診断デバイスは、技術的思想１から３のいずれかに記載の皮膚診断デバイスにおいて、前記処理ユニット及び前記記憶ユニットが前記皮膚状態のための製品を購入する電子商取引インターフェースを提供するようにさらに構成される。
技術的思想５の皮膚診断デバイスは、技術的思想１から４のいずれかに記載の皮膚診断デバイスにおいて、前記皮膚診断は、前記画像上の前記皮膚状態の重症度を分類するスケールの整数値を備える。
技術的思想６の皮膚診断デバイスは、技術的思想５記載の皮膚診断デバイスにおいて、前記ディープニューラルネットワークは、入力として正規化された顔画像を受信し、前記スケールの全ての可能な整数値にわたる確率分布を表すベクトルを出力し、アクティベーション関数を適用して前記皮膚診断の整数値を決定するように構成される。
技術的思想７の皮膚診断デバイスは、技術的思想１から６のいずれかに記載の皮膚診断デバイスにおいて、前記ディープニューラルネットワークは、民族性予測および性別予測の一方または両方を決定するための補助タスクによってさらに構成される。
技術的思想８の皮膚診断デバイスは、技術的思想１から７のいずれかに記載の皮膚診断デバイスにおいて、前記ディープニューラルネットワークは、前記皮膚診断を生成するように適合された画像分類のための適合ネットワークを備える。
技術的思想９の皮膚診断デバイスは、技術的思想１から８のいずれかに記載の皮膚診断デバイスにおいて、前記ディープニューラルネットワークは、画像処理のための畳み込みニューラルネットワーク（ＣＮＮ）を備える。
技術的思想１０の皮膚診断デバイスは、技術的思想９記載の皮膚診断デバイスにおいて、前記ＣＮＮは、回帰および分類の出力を生成するように構成された最終的な完全に接続されたレイヤの前にグローバルプーリングオペレーションを有するエンコーダとしての残差ネットワークを備える。
技術的思想１１の皮膚診断デバイスは、技術的思想１から１０のいずれかに記載の皮膚診断デバイスにおいて、前記ディープニューラルネットワークは、回帰損失関数と分類損失関数とを組み合わせた複合損失関数でトレーニングされる。
技術的思想１２の皮膚診断デバイスは、技術的思想１１記載の皮膚診断デバイスにおいて、前記複合損失関数は、数式２に従い、

ここで、Ｌ _ｍｓｅ、Ｌ _ｃｅ、Ｌ _{ｇｅｎｄｅｒ} 及びＬ _{ｅｔｈｎｉｃｉｔｙ} は、それぞれ平均二乗誤差（ＭＳＥ）、クロスエントロピー誤差（ＣＥ）、性別予測および民族性予測関数であり、λ _ｍｓｅ、λ _ｃｅ、λ _{ｇｅｎｄｅｒ} 及びλ _{ｅｔｈｎｉｃｉｔｙ} は、重み係数である。
技術的思想１３の皮膚診断デバイスは、技術的思想１から１２のいずれかに記載の皮膚診断デバイスにおいて、前記ディープニューラルネットワークは、ユーザモバイルデバイスからのセルフィー画像を備える顔画像データのデータセットを用いてトレーニングされる。
技術的思想１４の皮膚診断デバイスは、技術的思想２から１３のいずれかに記載の皮膚診断装置であって、そのうち技術的思想３から１３は技術的思想２に従属する皮膚診断デバイスにおいて、前記ディープニューラルネットワークは、前記画像に関連して皮膚診断を視覚化するためのヒートマップを生成するように構成される。
技術的思想１５の皮膚診断デバイスは、技術的思想１４記載の皮膚診断デバイスにおいて、前記ディープニューラルネットワークは、前記ヒートマップを生成するためにクラスアクティベーションマッピング（ＣＡＭ）技法を適用するように構成される。
技術的思想１６の皮膚診断デバイスは、技術的思想１から１５のいずれかに記載の皮膚診断デバイスにおいて、前記画像は、ユーザモバイルデバイスからのセルフィー画像を備える。
技術的思想１７の皮膚診断デバイスは、技術的思想１から１６のいずれかに記載の皮膚診断デバイスにおいて、パーソナルユースのためのコンピューティングデバイスと、通信ネットワークを介して皮膚診断サービスを提供するサーバとのうちの１つを備える。
技術的思想１８の皮膚診断デバイスは、技術的思想１７記載の皮膚診断デバイスにおいて、パーソナルユースのための前記コンピューティングデバイスは、スマートフォン、タブレット、ラップトップ、パーソナルコンピュータ、又はカメラを有するか、カメラに結合された他のコンピューティングデバイスのうちの１つを備える。
技術的思想１９の皮膚診断デバイスは、技術的思想３から１８のいずれかに記載の皮膚診断デバイスであって、そのうち技術的思想４から１８は技術的思想３に従属する皮膚診断デバイスにおいて、前記推奨ユニットは、前記皮膚診断に応答して、製品推奨および治療計画推奨のうちの少なくとも１つを取得する治療製品セレクタを提供する。
技術的思想２０の皮膚診断デバイスは、技術的思想１から１９のいずれかに記載の皮膚診断デバイスにおいて、前記処理ユニット及び前記記憶ユニットが前記画像を受信するための画像獲得機能を提供するように構成される。
技術的思想２１の皮膚診断デバイスは、技術的思想１から２０のいずれかに記載の皮膚診断デバイスにおいて、前記皮膚状態は、尋常性ざ瘡である。
技術的思想２２の皮膚診断のコンピュータ実装方法は、皮膚診断のコンピュータ実装方法であって、画像を受信することと、皮膚状態についての皮膚診断を決定するために画像ピクセルを分類するように構成されたディープニューラルネットワークを用いて前記画像を処理することと、を備え、前記ディープニューラルネットワークは、前記皮膚診断を決定するための回帰および分類として構成され、前記画像に関連して前記皮膚診断を視覚化することを備える。
技術的思想２３のコンピュータ実装方法は、コンピュータ実装方法であって、皮膚の画像の受信をすることと、皮膚分析結果およびアクティベーションマスクを作り出して、前記画像に関連して皮膚分析結果を視覚化するように構成されたディープニューラルネットワークによって前記画像を処理することと、前記アクティベーションマスク及び前記画像を提示するために提供することと、を備える。
技術的思想２４のコンピュータ実装方法は、技術的思想２３記載のコンピュータ実装方法において、前記画像を処理することは、前記ディープニューラルネットワークによる処理のためのｋ個の拡張画像を作り出すように前記画像に複数（ｋ）のデータ拡張を実行することと、ｋ個のアクティベーションマスクを作り出すように前記ディープニューラルネットワークによって前記ｋ個の拡張画像を処理することと、そこから最終アクティベーションマスクを定義することと、を備える。
技術的思想２５のコンピュータ実装方法は、技術的思想２４記載のコンピュータ実装方法において、前記ｋ個のアクティベーションマスク及び前記最終アクティベーションマスクは、ヒートマップを備える。
技術的思想２６のコンピュータ実装方法は、技術的思想２５記載のコンピュータ実装方法において、前記ディープニューラルネットワークは、Ｇｒａｄ－ＣＡＭ技法を用いて、それぞれのｋ個のアクティベーションマスクを作り出す。
技術的思想２７のコンピュータ実装方法は、技術的思想２４から２６のいずれかに記載のコンピュータ実装方法において、前記最終アクティベーションマスクは、平均化を用いて前記ｋ個のアクティベーションマスクから定義される。
技術的思想２８のコンピュータ実装方法は、技術的思想２７記載のコンピュータ実装方法において、閾値は、平均化された前記ｋ個のアクティベーションマスクからの除去値に適用される。
技術的思想２９のコンピュータ実装方法は、技術的思想２４から２８のいずれかに記載のコンピュータ実装方法において、ｋの値が２以上２０以下（２≦ｋ≦２０）の範囲に設定される。
技術的思想３０のコンピュータ実装方法は、技術的思想２４から２９のいずれかに記載のコンピュータ実装方法において、前記ｋ個のデータ拡張を実行する前に、前記皮膚の前記画像を正規化することを備える。
技術的思想３１のコンピュータ実装方法は、技術的思想２４から３０のいずれかに記載のコンピュータ実装方法において、前記ｋ個のデータ拡張のそれぞれは、アフィン変換からランダムに選択された１つの拡張と、水平フリップオペレーションと、を備える。
技術的思想３２のコンピュータ実装方法は、技術的思想２３から３０のいずれかに記載のコンピュータ実装方法において、前記皮膚分析結果に応答する製品推奨を提供することを備える。
技術的思想３３のコンピュータ実装方法は、技術的思想３２記載のコンピュータ実装方法において、１つ以上の製品を購入するための電子商取引インターフェースを提供することを備え、前記電子商取引インターフェースは、前記製品推奨に応答する。
技術的思想３４のコンピュータ実装方法は、技術的思想３３記載のコンピュータ実装方法において、前記製品推奨は、推奨製品を用いるための治療計画に関連付けられる。
技術的思想３５のコンピュータ実装方法は、技術的思想２３から３４のいずれかに記載のコンピュータ実装方法において、前記ディープニューラルネットワークは、皮膚状態について前記画像を分析するように構成される。
技術的思想３６のコンピュータ実装方法は、技術的思想３５記載のコンピュータ実装方法において、前記皮膚状態は、尋常性ざ瘡である。
技術的思想３７のコンピュータ実装方法は、技術的思想２３から３６のいずれかに記載のコンピュータ実装方法において、前記ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）を備える。
技術的思想３８のコンピューティングデバイスは、技術的思想２３から３７のいずれかに記載のコンピュータ実装方法を実行するように構成する回路を備える。
技術的思想３９の方法は、方法であって、皮膚診断を決定するために画像のピクセルを分類するように構成された畳み込みニューラルネットワーク（ＣＮＮ）をトレーニングすることを備え、前記ＣＮＮは、前記皮膚診断を生成するように構成された画像分類のためのディープニューラルネットワークを備え、前記ＣＮＮは、前記皮膚診断を決定するための回帰および分類として構成され、前記ＣＮＮは、ユーザモバイルデバイスからのセルフィー画像を備える顔画像データのデータセットを用いてトレーニングされる。

Claims

記憶ユニットに結合された処理ユニットを提供する回路を備える皮膚診断デバイスであって、
皮膚状態の皮膚診断を生成するために、画像分類のための回帰および分類を備えるディープニューラルネットワークを用いて画像のピクセルを分類する皮膚分析ユニットを提供するように構成され、
前記処理ユニットは、
前記画像を受信し、
前記皮膚診断およびアクティベーションマスクを作り出して、前記画像に関連して前記皮膚診断を視覚化するように構成された前記ディープニューラルネットワークによって前記画像を処理し、
前記アクティベーションマスク及び前記画像を提示するために提供するように構成され、
前記ディープニューラルネットワークによる前記画像の処理は、
前記画像から顔領域の矩形を切り取り、顔画像を生成し、
前記ディープニューラルネットワークによる処理のためのｋ個の拡張画像を作り出すように前記顔画像に複数（ｋ）のデータ拡張を実行し、
ｋ個のアクティベーションマスクを作り出すように前記ディープニューラルネットワークによって前記ｋ個の拡張画像を処理し、そこから最終アクティベーションマスクを定義するように構成され、
前記ｋ個のアクティベーションマスク及び前記最終アクティベーションマスクは、ヒートマップを備え、
前記ヒートマップは、前記顔画像にオーバーレイされ、前記顔画像の前記皮膚状態の重症度をその重症度のレベルに合わせて段階的に強調させるために前記顔画像を修正するように構成される皮膚診断デバイス。
前記処理ユニット及び前記記憶ユニットが前記皮膚診断を視覚化するために前記画像に注釈を付ける視覚化ユニットを提供するようにさらに構成される請求項１記載の皮膚診断デバイス。
前記処理ユニット及び前記記憶ユニットが前記皮膚診断に応答して、前記皮膚状態のための製品を推奨する推奨ユニットを提供するようにさらに構成される請求項１又は２に記載の皮膚診断デバイス。
前記処理ユニット及び前記記憶ユニットが前記皮膚状態のための製品を購入する電子商取引インターフェースを提供するようにさらに構成される請求項１から３のいずれかに記載の皮膚診断デバイス。
前記皮膚診断は、前記画像上の前記皮膚状態の重症度を分類するスケールの整数値を備える請求項１から４のいずれかに記載の皮膚診断デバイス。
前記ディープニューラルネットワークは、入力として正規化された前記顔画像を受信し、前記スケールの全ての可能な整数値にわたる確率分布を表すベクトルを出力し、アクティベーション関数を適用して前記皮膚診断の整数値を決定するように構成される請求項５記載の皮膚診断デバイス。
前記ディープニューラルネットワークは、民族性予測および性別予測の一方または両方を決定するための補助タスクによってさらに構成される請求項１から６のいずれかに記載の皮膚診断デバイス。
前記ディープニューラルネットワークは、前記皮膚診断を生成するように適合された画像分類のための適合ネットワークを備える請求項１から７のいずれかに記載の皮膚診断デバイス。
前記ディープニューラルネットワークは、画像処理のための畳み込みニューラルネットワーク（ＣＮＮ）を備える請求項１から８のいずれかに記載の皮膚診断デバイス。
前記ＣＮＮは、回帰および分類の出力を生成するように構成された最終的な完全に接続されたレイヤの前にグローバルプーリングオペレーションを有するエンコーダとしての残差ネットワークを備える請求項９記載の皮膚診断デバイス。
前記ディープニューラルネットワークは、回帰損失関数と分類損失関数とを組み合わせた複合損失関数でトレーニングされる請求項１から１０のいずれかに記載の皮膚診断デバイス。
前記複合損失関数は、数式２に従い、

ここで、Ｌ_ｍｓｅ、Ｌ_ｃｅ、Ｌ_{ｇｅｎｄｅｒ}及びＬ_{ｅｔｈｎｉｃｉｔｙ}は、それぞれ平均二乗誤差（ＭＳＥ）、クロスエントロピー誤差（ＣＥ）、性別予測および民族性予測関数であり、
λ_ｍｓｅ、λ_ｃｅ、λ_{ｇｅｎｄｅｒ}及びλ_{ｅｔｈｎｉｃｉｔｙ}は、重み係数である請求項１１記載の皮膚診断デバイス。
前記ディープニューラルネットワークは、ユーザモバイルデバイスからのセルフィー画像を備える顔画像データのデータセットを用いてトレーニングされる請求項１から１２のいずれかに記載の皮膚診断デバイス。
前記ディープニューラルネットワークは、前記ヒートマップを生成するためにクラスアクティベーションマッピング（ＣＡＭ）技法を適用するように構成される請求項２から１３のいずれかに記載の皮膚診断デバイスであって、そのうち請求項３から１３は請求項２に従属する皮膚診断デバイス。
前記画像は、ユーザモバイルデバイスからのセルフィー画像を備える請求項１から１４のいずれかに記載の皮膚診断デバイス。
パーソナルユースのためのコンピューティングデバイスと、通信ネットワークを介して皮膚診断サービスを提供するサーバとのうちの１つを備える請求項１から１５のいずれかに記載の皮膚診断デバイス。
パーソナルユースのための前記コンピューティングデバイスは、スマートフォン、タブレット、ラップトップ、パーソナルコンピュータ、又はカメラを有するか、カメラに結合された他のコンピューティングデバイスのうちの１つを備える請求項１６記載の皮膚診断デバイス。
前記推奨ユニットは、前記皮膚診断に応答して、製品推奨および治療計画推奨のうちの少なくとも１つを取得する治療製品セレクタを提供する請求項３から１７のいずれかに記載の皮膚診断デバイスであって、そのうち請求項４から１７は請求項３に従属する皮膚診断デバイス。
前記処理ユニット及び前記記憶ユニットが前記画像を受信するための画像獲得機能を提供するように構成される請求項１から１８のいずれかに記載の皮膚診断デバイス。
前記皮膚状態は、尋常性ざ瘡である請求項１から１９のいずれかに記載の皮膚診断デバイス。
コンピュータ実装方法であって、
皮膚の画像の受信をすることと、
皮膚状態の皮膚診断およびアクティベーションマスクを作り出して、前記画像に関連して前記皮膚診断を視覚化するように構成されたディープニューラルネットワークによって前記画像を処理することと、
前記アクティベーションマスク及び前記画像を提示するために提供することと、を備え、
前記画像を処理することは、
前記画像から顔領域の矩形を切り取り、顔画像を生成することと、
前記ディープニューラルネットワークによる処理のためのｋ個の拡張画像を作り出すように前記顔画像に複数（ｋ）のデータ拡張を実行することと、
ｋ個のアクティベーションマスクを作り出すように前記ディープニューラルネットワークによって前記ｋ個の拡張画像を処理することと、そこから最終アクティベーションマスクを定義することと、を備え、
前記ｋ個のアクティベーションマスク及び前記最終アクティベーションマスクは、ヒートマップを備え、
前記ヒートマップは、前記顔画像にオーバーレイされ、前記顔画像の前記皮膚状態の重症度をその重症度のレベルに合わせて段階的に強調させるために前記顔画像を修正するコンピュータ実装方法。
前記ディープニューラルネットワークは、Ｇｒａｄ－ＣＡＭ技法を用いて、それぞれのｋ個のアクティベーションマスクを作り出す請求項２１記載のコンピュータ実装方法。
前記最終アクティベーションマスクは、平均化を用いて前記ｋ個のアクティベーションマスクから定義される請求項２１又は２２に記載のコンピュータ実装方法。
閾値は、平均化された前記ｋ個のアクティベーションマスクからの除去値に適用される請求項２３記載のコンピュータ実装方法。
ｋの値が２以上２０以下（２≦ｋ≦２０）の範囲に設定される請求項２１から２４のいずれかに記載のコンピュータ実装方法。
前記ｋ個のデータ拡張を実行する前に、前記皮膚の前記画像を正規化することを備える請求項２１から２５のいずれかに記載のコンピュータ実装方法。
前記ｋ個のデータ拡張のそれぞれは、アフィン変換からランダムに選択された１つの拡張と、水平フリップオペレーションと、を備える請求項２１から２６のいずれかに記載のコンピュータ実装方法。
前記皮膚診断に応答する製品推奨を提供することを備える請求項２１から２６のいずれかに記載のコンピュータ実装方法。
１つ以上の製品を購入するための電子商取引インターフェースを提供することを備え、前記電子商取引インターフェースは、前記製品推奨に応答する請求項２８記載のコンピュータ実装方法。
前記製品推奨は、推奨製品を用いるための治療計画に関連付けられる請求項２９記載のコンピュータ実装方法。
前記ディープニューラルネットワークは、前記皮膚状態について前記画像を分析するように構成される請求項２１から３０のいずれかに記載のコンピュータ実装方法。
前記皮膚状態は、尋常性ざ瘡である請求項３１記載のコンピュータ実装方法。
前記ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）を備える請求項２１から３２のいずれかに記載のコンピュータ実装方法。
請求項２１から３３のいずれかに記載のコンピュータ実装方法を実行するように構成する回路を備えるコンピューティングデバイス。