WO2022176813A1 - 学習装置、学習方法、学習装置の作動プログラム、教師データ生成装置、機械学習モデル及び医療用撮影装置 - Google Patents

Abstract

学習装置は、医療用撮影装置に対してポジショニングされた状態の被検者を光学カメラで撮影したカメラ画像を入力として、仮想カセッテカメラ画像に写る仮想カセッテ被検者の撮影部位及び撮影方向を導出する機械学習モデルを学習させる学習装置であって、プロセッサと仮想カセッテプロセッサに接続又は内蔵されたメモリとを有し、仮想カセッテプロセッサは、三次元のコンピュータグラフィックスデータによって構成される人体モデルに基づいて生成された人体の疑似画像であって、仮想カセッテ医療用撮影装置に対してポジショニングされた状態の仮想カセッテ被検者を模した疑似画像を、仮想カセッテ撮影部位及び撮影方向の組み合わせ毎に複数生成し、生成された仮想カセッテ疑似画像と、仮想カセッテ組み合わせの正解データとで構成される複数の教師データを用い、仮想カセッテ機械学習モデルを学習させる。

Description

学習装置、学習方法、学習装置の作動プログラム、教師データ生成装置、機械学習モデル及び医療用撮影装置

　　本開示の技術は、学習装置、学習方法、学習装置の作動プログラム、教師データ生成装置、機械学習モデル及び医療用撮影装置に関する。

　医療用撮影装置として、例えば放射線撮影装置が知られている。放射線撮影の際には、撮影の依頼元の医師によって取得した撮影オーダに基づいて、技師は、放射線撮影装置と被検者との相対的な位置関係を調整するポジショニングを行う（例えば特開２０２０－１９２４４０号公報）。撮影オーダにおいては、胸部又は腹部といった撮影部位と、正面又は背面といった撮影方向とが規定される。技師は、撮影オーダの内容に基づいて被検者のポジショニングを行う。

　特開２０２０－１９２４４０号公報には、放射線撮影装置に対してポジショニングされた状態の被検者を光学カメラで撮影し、撮影したカメラ画像と理想的なポジショニングの状態を示すマークとを合成した合成画像を技師に確認させることにより、適切なポジショニングのアシストを行う技術が開示されている。

　上記のようなカメラ画像を、被検者の撮影部位及び撮影方向が撮影オーダの内容に適合しているか否かの確認に利用することが検討されている。具体的には、カメラ画像を入力として、カメラ画像に写る被検者の撮影部位及び撮影方向を機械学習モデルに導出させることが検討されている。これによれば、撮影オーダで指定された撮影部位と異なる撮影部位を撮影してしまうといった間違いを抑制することができる。医療用撮影の場合、被写体となる被検者は体の自由が利かない場合も多く、再撮影の負担が大きい場合があるため、他の用途と比較して、再撮影を抑制する必要性が高い。そのため、こうした機械学習モデルを医療用撮影で利用する場合は、カメラ画像に写る被検者の撮影部位及び撮影方向の認識精度が高い機械学習モデルが望まれる。

　機械学習モデルの認識精度を向上させるには、カメラ画像と撮影部位及び撮影方向の組み合わせの正解データとで構成される教師データの数は多いほどよい。特に、撮影部位及び撮影方向の組み合わせ毎に、教師データのカメラ画像が多様であるほど、機械学習モデルの認識精度は向上する。同じ撮影部位及び撮影方向の組み合わせであっても、カメラ画像に写る被検者の姿勢又は被検者の外見などは多様である。被検者の姿勢又は外見が異なる場合でも、機械学習モデルには、同じ撮影部位及び撮影方向の組み合わせであると認識させる必要がある。そのためには、教師データに用いるカメラ画像としては、撮影部位及び撮影方向の組み合わせ毎に、被検者の姿勢及び外見などが異なる多様なカメラ画像を数多く収集する必要がある。

　しかしながら、こうしたカメラ画像を数多く収集するのは、非常に手間が掛かるので、機械学習モデルの認識精度を効率的に向上させる方法が要望されていた。

　本開示に係る技術は、カメラ画像に写る被検者の撮影部位及び撮影方向を導出する機械学習モデルを、カメラ画像のみを教師データとして用いる場合と比較して、効率的に学習させることが可能な学習装置、学習方法、学習プログラム、教師データ生成装置、及び機械学習モデルを提供する。

　上記目的を達成するために、本開示の学習装置は、医療用撮影装置に対してポジショニングされた状態の被検者を光学カメラで撮影したカメラ画像を入力として、カメラ画像に写る被検者の撮影部位及び撮影方向を導出する機械学習モデルを学習させる学習装置であって、プロセッサとプロセッサに接続又は内蔵されたメモリとを有し、プロセッサは、三次元のコンピュータグラフィックスデータによって構成される人体モデルに基づいて生成された人体の疑似画像であって、医療用撮影装置に対してポジショニングされた状態の被検者を模した疑似画像を、撮影部位及び撮影方向の組み合わせ毎に複数生成し、生成された疑似画像と、組み合わせの正解データとで構成される複数の教師データを用い、機械学習モデルを学習させる。

　三次元のコンピュータグラフィックスデータには、人体モデルの姿勢及び外見のうちの少なくとも一方を変更するためのモデリングパラメータが付帯されていてもよい。

　モデリングパラメータは、人体モデルの体格を表す体格情報、性別、姿勢情報、皮膚の色、髪の色、髪型、及び服装のうちの少なくとも１つを含んでいてもよい。

　プロセッサは、設定された視点から人体モデルをレンダリングすることにより疑似画像を生成することが可能であり、視点はレンダリングパラメータによって変更可能であってもよい。

　視点を設定するための視点情報には、視点に仮想的に設置される仮想カメラの焦点距離と仮想カメラから人体モデルまでの距離である撮影距離とが含まれていてもよい。

　疑似画像と正解データとで構成される教師データを第１教師データとした場合において、プロセッサは、第１教師データに加えて、光学カメラで撮影したカメラ画像と正解データとで構成される第２教師データを用いて、機械学習モデルを学習させてもよい。

　さらに、疑似画像と人体モデルの体格を表す体格情報の正解データとで構成される複数の体格出力用教師データを用いて、カメラ画像を入力として被検者の体格を表す体格情報を導出する体格出力用機械学習モデルを学習させてもよい。

　医療用撮影装置は、放射線撮影装置及び超音波撮影装置のうちの少なくとも１つを含んでもよい。

　本開示の学習方法は、医療用撮影装置に対してポジショニングされた状態の被検者を光学カメラで撮影したカメラ画像を入力として、カメラ画像に写る被検者の撮影部位及び撮影方向を導出する機械学習モデルを、コンピュータを用いて学習させる学習方法であって、三次元のコンピュータグラフィックスデータによって構成される人体モデルに基づいて生成された人体の疑似画像であって、医療用撮影装置に対してポジショニングされた状態の被検者を模した疑似画像を、撮影部位及び撮影方向の組み合わせ毎に複数生成し、生成された疑似画像と、組み合わせの正解データとで構成される複数の教師データを用い、機械学習モデルを学習させる。

　学習装置の作動プログラムは、医療用撮影装置に対してポジショニングされた状態の被検者を光学カメラで撮影したカメラ画像を入力として、カメラ画像に写る被検者の撮影部位及び撮影方向を導出する機械学習モデルを学習させる学習装置として、コンピュータを機能させる学習装置の作動プログラムであって、三次元のコンピュータグラフィックスデータによって構成される人体モデルに基づいて生成された人体の疑似画像であって、医療用撮影装置に対してポジショニングされた状態の被検者を模した疑似画像を、撮影部位及び撮影方向の組み合わせ毎に複数生成し、生成された疑似画像と、組み合わせの正解データとで構成される複数の教師データを用い、機械学習モデルを学習させる学習装置として、コンピュータを機能させる学習装置の作動プログラム。

　本開示の教師データ生成装置は、医療用撮影装置に対してポジショニングされた状態の被検者を光学カメラで撮影したカメラ画像を入力として、カメラ画像に写る被検者の撮影部位及び撮影方向を導出する機械学習モデルを学習させるために用いる教師データを生成する教師データ生成装置であって、プロセッサとプロセッサに接続又は内蔵されたメモリとを有し、プロセッサは、人体の疑似画像を生成するための人体モデルを構成する三次元のコンピュータグラフィックスデータであって、人体モデルの姿勢及び外見のうちの少なくとも一方を変更するためのパラメータが付帯されている三次元のコンピュータグラフィックスデータを用い、パラメータを変化させることにより、人体モデルの姿勢及び外見のうちの少なくとも一方が異なる複数の疑似画像を撮影部位及び撮影方向の組み合わせ毎に生成し、生成した複数の疑似画像と組み合わせの正解データとで構成される複数の教師データを生成する。

　本開示の機械学習モデルは、医療用撮影装置に対してポジショニングされた状態の被検者を光学カメラで撮影したカメラ画像を入力として、カメラ画像に写る被検者の撮影部位及び撮影方向を導出する機械学習モデルであって、三次元のコンピュータグラフィックスデータによって構成される人体モデルに基づいて生成された人体の疑似画像であって、医療用撮影装置に対してポジショニングされた状態の被検者を模した疑似画像と、撮影部位及び撮影方向の組み合わせの正解データとで構成され、組み合わせ毎に生成される複数の教師データ用いて学習されている。

　本開示の医療用撮影装置は、機械学習モデルを備えている。

　本開示の技術によれば、カメラ画像に写る被検者の撮影部位及び撮影方向を導出する機械学習モデルを、カメラ画像のみを教師データとして用いる場合と比較して、効率的に学習させることができる。

学習装置及び放射線撮影システムの概略構成を示す図である。 撮影オーダを説明する図である。 照射条件の決定方法を説明する図である。 コンソールの機能を説明する図である。 学習済みモデルを説明する図である。 学習装置のハードウェア構成を示す図である。 学習装置の機能を説明する図である。 ３ＤＣＧデータの一例を示す図である。 教師データ生成部の機能を示す図である。 疑似画像の一例を示す図である。 疑似画像の一例を示す図である。 疑似画像の一例を示す図である。 疑似画像の一例を示す図である。 疑似画像の一例を示す図である。 疑似画像の一例を示す図である。 学習装置の処理手順を示すメインフローチャートである。 教師データ生成手順を示すフローチャートである。 学習手順を示すフローチャートである。 教師データとして疑似画像とカメラ画像とが混在する変形例を示す図である。 照合部を追加した変形例を示す図である。 体格出力用学習済みモデルを説明する図である。 体格出力用機械学習モデルの学習に用いる教師データを説明する図である。 超音波撮影装置に適用した教師データ生成部を説明する図である。

　図１は、本開示の学習装置４０と放射線撮影システム１０の全体構成の概略を示す図である。放射線撮影システム１０は、本開示の技術に係る医療用撮影装置の一例であり、かつ、放射線撮影装置の一例である。放射線撮影システム１０は、放射線Ｒを用いて被検者Ｈを撮影することにより、被検者Ｈの放射線画像ＸＰを得る。また、放射線撮影システム１０を用いて放射線撮影を行う場合は、オペレータである放射線技師（以下、単に技師という）ＲＧが、被検者Ｈを放射線撮影システム１０に対してポジショニングを行う。

　本例の放射線撮影システム１０は、被検者Ｈが撮影オーダ３１に応じて適切にポジショニングされているかを技師ＲＧが確認する確認作業を支援する撮影支援機能を有している。詳細は後述するが、撮影支援機能は、機械学習モデルＬＭ０を学習させることにより生成された学習済みモデルＬＭを用いて行われる。学習装置４０は、機械学習モデルＬＭ０を学習させる学習部５２を有している。学習部５２は、放射線撮影システム１０に提供される学習済みモデルＬＭを生成するために、機械学習モデルＬＭ０を学習させるために用いられる。

　ここで、学習済みモデルＬＭも機械学習モデルであるが、学習装置４０による学習の対象となる機械学習モデルＬＭ０と便宜上区別し、学習装置４０による学習が少なくとも１回行われ、放射線撮影システム１０において運用に供される機械学習モデルを学習済みモデルＬＭと呼ぶ。なお、機械学習モデルＬＭ０は、未学習の機械学習モデルでもよいし、追加学習の対象となる学習済みモデルＬＭであってもよい。以下において、放射線撮影システム１０の概略を説明した後、学習装置４０を説明する。

　図１に示すように、放射線撮影システム１０は、放射線源１１と、線源制御装置１２と、電子カセッテ１３と、コンソール１４とを備えている。電子カセッテ１３は、被検者Ｈを透過した放射線Ｒを受けることにより、被検者Ｈの放射線画像ＸＰを検出する放射線画像検出器の一例であり、可搬型の放射線画像検出器である。また、本例の放射線撮影システム１０は、光学カメラ１５を有している。上述の撮影支援機能を実現するための構成であり、光学カメラ１５は、放射線撮影システム１０に対してポジショニングされた被検者Ｈの状態を撮影するために用いられる。

　放射線撮影を行う場合のポジショニングは、被検者Ｈと、電子カセッテ１３及び放射線源１１との相対的な位置を調整する作業であり、一例として次のように行われる。技師ＲＧは、まず、電子カセッテ１３の位置を被検者Ｈの撮影部位に合わせる。図１の例では、電子カセッテ１３は、被検者Ｈの胸部と対向した状態で配置されている。そして、被検者Ｈの撮影部位に位置決めされた状態の電子カセッテ１３と放射線源１１とが対向するように放射線源１１の位置を調整する。また、図１の例では、放射線源１１は被検者Ｈの胸部の背面と対向しており、放射線Ｒを照射する向きである撮影方向が被検者Ｈの背面となっている。胸部を正面から撮影する場合は、技師ＲＧは、被検者Ｈの胸部の正面と放射線源１１とを対向させる。このようなポジショニングを行うことにより、放射線Ｒを被検者Ｈの背面から照射することにより、被検者Ｈの胸部の放射線画像ＸＰを撮影することができる。

　図１の例では、電子カセッテ１３は、被検者Ｈを立位姿勢で撮影するための立位撮影台２５にセットされている。電子カセッテ１３は、被検者Ｈを臥位姿勢で撮影するための臥位撮影台などにセットされてもよい。また、電子カセッテ１３は、可搬型であるため、撮影台から取り外して単体で使用することも可能である。

　放射線源１１は、放射線Ｒを発生する放射線管１１Ａと、放射線Ｒが照射される領域である照射野を限定する照射野限定器１１Ｂとを備える。放射線管１１Ａは、例えば、熱電子を放出するフィラメントと、フィラメントから放出された熱電子が衝突して放射線を放射するターゲットとを有している。照射野限定器１１Ｂは、例えば、放射線Ｒを遮蔽する４枚の鉛板を四角形の各辺上に配置することにより、放射線Ｒを透過させる四角形の照射開口が中央に形成されたものである。照射野限定器１１Ｂにおいて、鉛板の位置が移動されることで照射開口の大きさが変化する。これにより照射野の大きさが調節される。放射線源１１は、放射線管１１Ａに加えて、照射開口を通じて可視光を被検者Ｈに投影することによって、照射野を可視化するための照射野表示光源（図示せず）を内蔵していてもよい。

　放射線源１１は、図１の例では天井吊り下げ型であり、伸縮可能な支柱２２に取り付けられている。放射線源１１は、支柱２２を伸縮させることにより、放射線源１１の垂直方向の高さを調節することが可能である。また、支柱２２は、天井に配置されたレール上を走行する天井走行装置（図示せず）に取り付けられており、レールに沿って水平方向に移動可能である。さらに、放射線源１１は、放射線管１１Ａの焦点を回転中心として、回転が可能である。放射線源１１は、こうした各種の変位機構によって放射線Ｒを照射する向きを調節することが可能である。

　線源制御装置１２は、放射線源１１を制御する。線源制御装置１２には、図示しない操作パネルが設けられている。技師ＲＧが操作パネルを操作することにより、放射線の照射条件及び照射野限定器１１Ｂの照射開口の大きさが設定される。放射線の照射条件には、放射線源１１に印加する管電圧（単位：ｋｖ）、管電流（単位：ｍＡ）、及び放射線の照射時間（単位：ｍＳ）が含まれる。

　線源制御装置１２は、放射線管１１Ａに印加する電圧を発生する電圧発生部と、タイマとを有している。線源制御装置１２は、電圧発生部及びタイマを制御することにより、照射条件に応じた放射線Ｒを発生するように放射線源１１を動作させる。また、線源制御装置１２には、照射スイッチ１６がケーブル等を介して接続されている。照射スイッチ１６は、放射線の照射を開始する際に技師ＲＧによって操作される。照射スイッチ１６が操作されると、線源制御装置１２は、放射線管１１Ａに放射線を発生させる。これにより、照射野に向けて放射線Ｒが照射される。

　電子カセッテ１３は、上述したとおり、放射線源１１から照射されて被検者Ｈの撮影部位を透過した放射線Ｒに基づく放射線画像ＸＰを検出する。電子カセッテ１３は、一例として、無線通信部及びバッテリを有し、ワイヤレスで動作することが可能である。電子カセッテ１３は、検出した放射線画像ＸＰをコンソール１４に無線送信する。

　光学カメラ１５は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ又はＣＣＤ（Charge Coupled Device）型イメージセンサなどを含んで構成された光学式のデジタルカメラであって、一例として可視光に基づく撮影を行う。光学カメラ１５は、一例として、静止画撮影及び動画撮影が可能である。

　光学カメラ１５は、電子カセッテ１３及び放射線源１１に対してポジショニングされた状態の被検者Ｈを撮影するためのものである。そのため、一例として、光学カメラ１５は、例えば放射線源１１の照射野限定器１１Ｂの外周部に取り付けられており、照射開口の近くに配置されている。また、光学カメラ１５は、光学カメラ１５の光軸と、放射線源１１の放射線Ｒの照射軸とが平行になる姿勢で取り付けられている。光学カメラ１５は、放射線Ｒの照射野を含む領域を光学的に撮影することにより、可視光による光学画像であるカメラ画像ＣＰを生成する。放射線源１１は、被検者Ｈの撮影部位に位置決めされるため、その状態で撮影されたカメラ画像ＣＰには、被検者Ｈの撮影部位が描出される。本例において、カメラ画像ＣＰは、例えばカラーの静止画である。

　本例では、光学カメラ１５は、照射野限定器１１Ｂの外周部に取り付けられているが、光学カメラ１５は、放射線源１１の外周部に取り付けられていなくてもよく、放射線源１１に内蔵されていてもよい。

　光学カメラ１５は、有線又は無線によりコンソール１４に接続されている。コンソール１４は、光学カメラ１５の制御装置として機能することにより、撮影タイミングなど光学カメラ１５の撮影動作を制御する。技師ＲＧは、例えば、被検者Ｈのポジショニングを行った状態で光学カメラ１５による撮影指示をコンソール１４に入力する。

　コンソール１４には、ネットワークＮを介して、放射線撮影システム１０に設けられたＲＩＳ（Radiology Information System）及びＰＡＣＳ（Picture Archiving and Communication System）に接続されている。

　ＲＩＳは、放射線撮影システム１０に対する撮影オーダ３１を管理する装置である。例えば、医療施設において、内科及び外科などの診療科の医師は、放射線撮影を担当する放射線科に対して放射線撮影を依頼する。撮影オーダ３１は、診療科の医師から放射線科に向けて発行される。ＲＩＳは、診療科の医師からの撮影オーダ３１を管理する。放射線撮影システム１０が複数有る場合には、ＲＩＳが管理する複数の撮影オーダ３１は、撮影オーダの内容及び放射線撮影システム１０の稼働状態などに応じて、複数の放射線撮影システム１０に割り当てられる。コンソール１４は、ＲＩＳから送信される撮影オーダ３１を受け付ける。

　図２に撮影オーダ３１の一例を示す。撮影オーダ３１の内容には、オーダ毎に発行されるオーダＩＤ（Identification Data）、被検者Ｈ毎に発行される被検者ＩＤ、撮影手技、及び撮影目的（図示せず）などが含まれる。ここで、撮影手技とは、少なくとも撮影部位と撮影方向の組み合わせによって規定された撮影方法である。医師は、撮影オーダ３１において、被検者Ｈの検査目的に応じて、撮影部位及び撮影方向を含む撮影手技を指定する。例えば、検査目的が肺がんの診断の場合は、撮影部位が胸部で、撮影方向が背面又は正面の撮影手技が指定される。図２において、オーダＩＤが「Ｎ０００１」の撮影オーダ３１では、撮影手技として「胸部／背面」が指定されている。オーダＩＤが「Ｎ０００２」の撮影オーダ３１では、撮影手技として「胸部／正面」が指定されている。オーダＩＤが「Ｎ０００３」の撮影オーダ３１では、撮影手技として「腹部／正面」が指定されている。オーダＩＤが「Ｎ０００４」の撮影オーダ３１では、撮影手技として「両膝／正面」が指定されている。オーダＩＤが「Ｎ０００５」の撮影オーダ３１では、撮影手技として「右膝／側面」が指定されている。

　また、図３に示すように、撮影手技の情報は、被検者Ｈの体格情報とともに、放射線源１１の照射条件を技師ＲＧが決定するために用いられる。例えば、技師ＲＧは、撮影手技が「胸部／背面」である場合は、被検者Ｈの体格情報（主として体厚）を考慮して、胸部の体厚を推定し、管電圧、管電流、及び照射時間を決定する。一般に体厚が厚いほど、放射線Ｒの透過率は低下するため、放射線Ｒの照射量は多く設定される。照射量は、管電流及び照射時間の積であるｍＡｓ値によって規定される。

　図１に戻って、ＰＡＣＳは、放射線撮影システム１０によって撮影された放射線画像ＸＰを保存する。コンソール１４は、電子カセッテ１３から受信した放射線画像ＸＰを撮影オーダ３１と関連付けた状態でＰＡＣＳに送信する。ＰＡＣＳにおいて、放射線画像ＸＰは、例えばＤＩＣＯＭ（Digital Imaging and Communication in Medicine）規格に準拠した形式の画像ファイルに変換された状態で保存される。ＰＡＣＳに保存された放射線画像ＸＰは、撮影オーダ３１を発行した依頼元の診療科の医師などの閲覧に供される。

　コンソール１４は、例えばパーソナルコンピュータ又はワークステーションなどのコンピュータで構成される。コンソール１４は、撮影オーダ３１を受け付けるオーダ受付機能、電子カセッテ１３の各種の設定を行う設定機能、及び電子カセッテ１３から受信した放射線画像ＸＰをディスプレイ１４Ｃに表示する機能を備えている。コンソール１４は、こうした基本機能に加えて、コンソール１４は、上述の撮影支援機能を備えている。

　図１に加えて図４にも拡大して示すように、撮影支援機能に関連する構成として、コンソール１４は、撮影オーダ受付部１４Ａと撮影手技判定部１４Ｂとを備えている。撮影オーダ受付部１４Ａは、ＲＩＳから受け付けた撮影オーダ３１をディスプレイ１４Ｃに表示する。撮影手技判定部１４Ｂは、学習済みモデルＬＭを用いてカメラ画像ＣＰを画像解析することにより、ポジショニングされた被検者Ｈの撮影手技を導出する。撮影手技判定部１４Ｂは、学習済みモデルＬＭが導出した撮影手技を含む判定結果３２を出力する。コンソール１４は、撮影オーダ受付部１４Ａが受け付けた撮影オーダ３１と、撮影手技判定部１４Ｂによる判定結果３２とを含むポジショニング確認画面３６をディスプレイ１４Ｃに表示する。

　ポジショニング確認画面３６において、一例として、撮影オーダ３１と、判定結果３２とは比較しやすいように並べて表示される。撮影オーダ３１については、撮影手技に関する部分だけ抜き出して、例えば、「撮影オーダは「胸部／背面」です」、といったメッセージ３１Ａが表示される。また、判定結果３２には、撮影手技判定部１４Ｂが判定した撮影手技（図４の例では「胸部／背面」とカメラ画像ＣＰとが含まれている。判定結果３２において、撮影手技は、一例として、「カメラ画像から判定された撮影手技は「胸部／背面」です。」といったメッセージの形態で表示される。

　ポジショニング確認画面３６を通じて、技師ＲＧは、撮影オーダ３１と判定結果３２に含まれる撮影手技とを目視で照合することにより、被検者Ｈのポジショニングの状態が撮影オーダ３１に適合しているかを確認することができる。

　図５に示すように、学習済みモデルＬＭとしては、例えば、画像解析に適した畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）が用いられる。学習済みモデルＬＭは、例えば、エンコーダ３７と、分類部３８とを有する。

　エンコーダ３７は、ＣＮＮで構成されており、カメラ画像ＣＰに対して畳み込み処理とプーリング処理とを行うことにより、カメラ画像ＣＰの特徴を表す複数種類の特徴マップを抽出する。周知のように、ＣＮＮにおいて、畳み込みは、例えば、３×３などのサイズを有するフィルタを複数種類用いた空間フィルタリング処理である。３×３のフィルタの場合、９マスのそれぞれにフィルタ係数が割り当てられている。畳み込みにおいては、こうしたフィルタの中心のマスをカメラ画像ＣＰの注目画素に合わせて、注目画素とその周囲を囲む８画素の合計９画素の画素値の積和が出力される。出力された積和は、フィルタを適用した注目領域の特徴量を表す。そして、例えば注目画素を１画素ずつずらしながらフィルタをカメラ画像ＣＰの全画素に適用していくことで、カメラ画像ＣＰの画素数と同等の特徴量を有する特徴マップが出力される。フィルタ係数が異なる複数種類のフィルタを適用することで、複数種類の特徴マップが出力される。フィルタの数に応じた特徴マップの数はチャンネル数とも呼ばれる。

　こうした畳み込みは、カメラ画像ＣＰのサイズを縮小しながら繰り返される。カメラ画像ＣＰを縮小する処理はプーリング処理と呼ばれる。プーリング処理は、隣接画素の間引き処理及び平均処理などを施すことによって行われる。プーリング処理によって、カメラ画像ＣＰのサイズが、１／２、１／４、及び１／８というように段階的に縮小される。カメラ画像ＣＰのサイズ毎に複数チャンネルの特徴マップが出力される。カメラ画像ＣＰのサイズが大きい場合は、カメラ画像ＣＰには被写体の細かな形態的特徴が描出されるのに対して、カメラ画像ＣＰのサイズが小さい場合（すなわち解像度が低い場合）は、カメラ画像ＣＰから細かな形態的特徴は捨象され、カメラ画像ＣＰには被写体の大まかな形態的特徴のみが描出される。そのため、カメラ画像ＣＰが大きい場合の特徴マップは、カメラ画像ＣＰに描出される被写体のミクロ的な特徴を表し、サイズが小さい場合の特徴マップは、カメラ画像ＣＰに描出される被写体のマクロ的な特徴を表す。エンコーダ３７は、カメラ画像ＣＰに対してこのような畳み込み処理とプーリング処理とを施すことにより、カメラ画像ＣＰのマクロ的及びミクロ的な特徴を表す複数チャンネルの特徴マップを抽出する。

　学習済みモデルＬＭは、一例として、複数の撮影手技の中からカメラ画像ＣＰが示す撮影手技として最も可能性の高い１つの撮影手技を導出する分類モデルである。そのため、エンコーダ３７が抽出したカメラ画像ＣＰの特徴量に基づいて、１つの撮影手技を導出する構成として、分類部３８が設けられる。分類部３８は、例えば、複数の入力ノードに対して１つの出力ノードを持つパーセプトロンを複数備えている。また、パーセプトロンには、複数の入力ノードの重要度を示す重みが割り当てられている。各パーセプトロンにおいて、複数の入力ノードに入力された入力値のそれぞれに重みを乗じた値の和である積和が出力ノードから出力値として出力される。こうしたパーセプトロンは一例としてシグモイド関数などの活性化関数によって定式化される。

　出力部において、複数のパーセプトロンの出力と入力とが結合されることにより、入力層と出力層との間に複数の中間層を有する複数階層のニューラルネットワークが形成される。階層間の複数のパーセプトロンの結合方法としては、例えば、次の階層の１つの入力ノードに前の階層のすべての出力ノードが結合する全結合が採用される。

　分類部３８の入力層においては、カメラ画像ＣＰの特徴マップに含まれるすべての特徴量が入力される。分類部３８の各階層を構成するパーセプトロンにおいて、入力ノードに特徴量が入力値として入力される。そして、入力ノード毎に特徴量に重みを乗じた値の和である積和が出力ノードから出力値として出力され、出力値が次の階層のパーセプトロンの入力ノードに引き渡される。分類部３８において、最終階層の出力層では、複数のパーセプトロンの出力値に基づいて、ソフトマックス関数などを用いて複数種類の撮影手技のそれぞれの確率を出力する。そして、この確率に基づいて最も可能性の高い１つの撮影手技が導出される。図５においては、カメラ画像ＣＰに基づいて、「胸部／背面」という撮影手技が導出される例を示している。

　本例は一例であり、学習済みモデルＬＭとしては、カメラ画像ＣＰに基づいて撮影手技を導出可能な分類モデルであれば、別の態様でもよい。

　次に、図６及び図７を用いて学習装置４０について説明する。図６において、学習装置４０のハードウェア構成を示す。学習装置４０は、パーソナルコンピュータ又はワークステーションなどのコンピュータによって構成される。学習装置４０は、ディスプレイ４１と、入力デバイス４２と、ＣＰＵ４３と、メモリ４４と、ストレージデバイス４６と、通信部４７とを備えている。これらはデータバス４８を介して相互に接続されている。

　ディスプレイ４１は、ＧＵＩ（Graphical User Interface)による操作機能が備えられた各種操作画面を表示する表示部である。入力デバイス４２は、タッチパネル又はキーボード等を含む入力操作部である。

　ストレージデバイス４６は、例えばＨＤＤ（Hard Disk Drive）及びＳＳＤ（Solid State Drive）で構成され、学習装置４０に内蔵されるか、あるいは、学習装置４０に外部接続されている。外部接続は、ケーブルあるいはネットワークを通じて接続される。ストレージデバイス４６には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、及びこれらのプログラムに付随する各種データ等が記憶されている。各種アプリケーションプログラムの１つには、コンピュータを学習装置４０として機能させる作動プログラムＡＰが含まれる。各種データには、学習処理の対象となる機械学習モデルＬＭ０、学習処理が終了した学習済みモデルＬＭ、及び学習に使用する教師データＴＤ、三次元のコンピュータグラフィックスデータ（以下、３ＤＣＧデータという）５６、及びパラメータ指定情報６１が含まれる。

　メモリ４４は、ＣＰＵ４３が処理を実行するためのワークメモリである。ＣＰＵ４３は、ストレージデバイス４６に記憶されたプログラムをメモリ４４へロードし、プログラムにしたがって処理を実行することにより、学習装置４０の各部を統括的に制御する。

　通信部４７は、コンソール１４とネットワークＮを介して通信を行う。通信部４７は、例えば、学習装置４０からコンソール１４への学習済みモデルＬＭの送信、及びコンソール１４の学習済みモデルＬＭを追加学習させるためにコンソール１４から学習装置４０への学習済みモデルＬＭの送信など、学習済みモデルＬＭの受け渡しに使用される。

　なお、図６において、学習装置４０を実現するためのコンピュータのハードウェア構成を示したが、上述したコンソール１４のハードウェア構成も同様である。すなわち、コンソール１４の撮影オーダ受付部１４Ａ及び撮影手技判定部１４Ｂといった構成は、ＣＰＵ４３などのプロセッサと、メモリ４４などのＣＰＵ４３に内蔵又は接続されたメモリと、ＣＰＵ４３によって実行されるプログラムとの協働によって実現される。

　図７に示すように、学習装置４０は、教師データ生成部５１と学習部５２とを有する。これらの各処理部は、ＣＰＵ４３によって実現される。教師データ生成部５１は、３ＤＣＧデータ５６によって構成される人体モデル５６Ａに基づいて生成された人体の疑似画像ＳＰを、撮影部位及び撮影方向の組み合わせである撮影手技毎に複数生成する。疑似画像ＳＰは、医療用撮影装置の一例である放射線撮影システム１０に対してポジショニングされた状態の被検者Ｈを模した二次元画像である。

　より具体的には、教師データ生成部５１は、三次元のコンピュータグラフィックスデータ（以下、３ＤＣＧデータという）５６と、パラメータ指定情報６１とに基づいて、疑似画像ＳＰを生成する。パラメータ指定情報６１には、人体を模した三次元の人体モデル５６Ａをモデリングする際に指定されるモデリングパラメータ（以下、Ｍ－パラメータという）指定情報６１Ｍと、視点を設定して人体モデル５６Ａをレンダリングする際に指定されるレンダリングパラメータ（以下、Ｒ－パラメータという）指定情報６１Ｒとが含まれる。人体モデル５６Ａのモデリングと、人体モデル５６Ａのレンダリングによる疑似画像ＳＰの生成方法の詳細については後述する。

　そして、教師データ生成部５１は、生成された疑似画像ＳＰと、撮影部位と撮影方向の組み合わせの正解データＡＤとで構成される教師データＴＤを生成する。図７に示す教師データＴＤは、撮影部位と撮影方向の組み合わせである撮影手技が「胸部／背面」の場合の例である。すなわち、図７に示す教師データＴＤにおいて、疑似画像ＳＰは人体の胸部の背面を示しており、撮影手技として「胸部／背面」を示す画像であり、これに対応して正解データＡＤの撮影手技も「胸部／背面」となっている。

　また、学習部５２は、本処理部５２Ａ、評価部５２Ｂ、及び更新部５２Ｃを有する。本処理部５２Ａは、学習処理の対象となる機械学習モデルＬＭ０をストレージデバイス４６から読み込み、読み込んだ機械学習モデルＬＭ０に対して疑似画像ＳＰを入力する。そして、機械学習モデルＬＭ０に対して、入力した疑似画像ＳＰが示す撮影手技を導出する処理を実行させる。機械学習モデルＬＭ０の基本構成は、図５において説明した学習済みモデルＬＭと同様であるが、機械学習モデルＬＭ０が学習前の状態では、エンコーダ３７におけるフィルタ係数及び分類部３８におけるパーセプトロンの重みなどの値が学習済みモデルＬＭと異なっている。

　本処理部５２Ａは、機械学習モデルＬＭ０が導出した撮影手技を出力データＯＤとして、評価部５２Ｂに出力する。評価部５２Ｂは、出力データＯＤと、教師データＴＤに含まれる正解データＡＤとを比較し、損失関数を用いて両者の差を損失として評価する。上述した学習済みモデルＬＭと同様に、本例の機械学習モデルＬＭ０においては、疑似画像ＳＰが示す複数の撮影手技は、それぞれ確率として出力される。そのため、出力データＯＤの撮影手技が不正解の場合の損失はもちろん、正解している場合でも、その確率として出力される出力値が目標値に対して低い場合は、目標値と出力値との差は損失と評価される。評価部５２Ｂは、評価した損失を評価結果として更新部５２Ｃに出力する。

　更新部５２Ｃは、評価結果に含まれる損失が小さくなるように、エンコーダ３７におけるフィルタ係数及び分類部３８におけるパーセプトロンの重みなどの値を更新する。教師データＴＤの入力から更新へ至る一連の処理は、終了タイミングが到来するまで繰り返される。終了タイミングとしては、例えば、予定されている数の教師データＴＤの学習がすべて終了した場合、損失が目標値を下回った場合などである。

　以下、図８～図１５を用いて教師データ生成部５１が実行する疑似画像ＳＰの生成方法について詳細に説明する。まず、図８を用いて３ＤＣＧデータ５６の構成を説明する。本例の３ＤＣＧデータ５６は、人体モデル５６Ａを構成するためのデータである。３ＤＣＧデータ５６には、人体モデル５６Ａの構成データに加えて、モデリングパラメータ（Ｍ－パラメータという）５６Ｂが付帯されている。人体モデル５６Ａは、人体を模した三次元（Ｘ方向、Ｙ方向及びＺ方向）のデータである。Ｍ－パラメータ５６Ｂは、人体モデル５６Ａをモデリングする際に変更可能なパラメータであり、人体モデル５６Ａの姿勢及び外見のうちの少なくとも一方を変更するためのパラメータである。Ｍ－パラメータ５６Ｂは、Ｍ－パラメータ指定情報６１Ｍによって指定されるパラメータである。

　具体的には、Ｍ－パラメータ５６Ｂは、一例として、体格情報、性別、姿勢情報、皮膚の色、髪の色、髪型、及び服装といった各種の項目を有する。体格情報は、身長、体重、座高、股下長さ、頭囲、首囲、肩幅、胸囲、胴囲、及び手の長さ、手首囲、手幅、足長、足幅、太もも囲、及びふくらはぎ囲などの各種の項目を有する。姿勢情報には、立位、臥位、及び座位などの基本姿勢を示す項目の他に、手足の屈曲の有無といった項目が含まれている。手足の屈曲については、例えば、右手、左手、右膝、左膝、及び両膝などの屈曲させる部位と、屈曲方向及び屈曲角などが指定される。またＭ－パラメータ５６Ｂにおいて、膝関節の内旋又は外旋を指定できるようにしてもよい。この場合は、さらに、内側又は外側の旋回方向と、旋回角を指定できるようにしてもよい。

　図４に示すように、人体モデル５６Ａにおいて、屈曲可能な関節５７は予め設定されており、関節５７が設定されている箇所は屈曲させることが可能である。こうしたＭ－パラメータ５６Ｂを指定することによって、人体モデル５６Ａのモデリングの際に人体の姿勢及び外見を変更することが可能である。関節５７を細かく設定することで、同じ撮影部位であっても、姿勢が僅かに異なる疑似画像ＳＰを生成することが可能である。なお、人体モデル５６Ａにおいて、関節５７の数及び場所を任意に変更できるようにしてもよい。これにより、人体モデル５６Ａの関節５７の数を多く設定することで、人体モデル５６Ａに複雑な姿勢をとらせることが可能となる。一方、関節５７の数を少なく設定することで、Ｍ－パラメータ５６Ｂの数を減らすことが可能となり、モデリングの処理速度を速くすることが可能となる。

　図９に示すように、教師データ生成部５１は、モデリング部５１Ａとレンダリング部５１Ｂとを有している。モデリング部５１Ａは、３ＤＣＧデータ５６とＭ－パラメータ指定情報６１Ｍとに基づいて、Ｍ－パラメータ指定情報６１Ｍによって指定された人体の姿勢及び外見を有する人体モデル５６Ａをモデリングする。図９において、Ｍ－パラメータ指定情報６１Ｍには、複数のＭ－パラメータセットＭＰＳが含まれている。各Ｍ－パラメータセットＭＰＳ毎に、姿勢及び外見が異なる人体モデル５６Ａが生成される。

　図１０にも示すように、一例として、Ｍ－パラメータセットＭＰＳ１においては、体格情報として、身長が１７０ｃｍ、体重が７０ｋｇと指定され、性別として男性が指定されている。姿勢情報としては、立位で、かつ、手足の屈曲は無と指定されている。こうしたＭ－パラメータセットＭＰＳ１に基づいて、モデリング部５１Ａは、Ｍ－パラメータセットＭＰＳ１によって指定された姿勢と外見を有する人体モデル５６Ａ_ＭＰＳ１を有する３ＤＣＧデータ５６を生成する。

　また、図８において示したＭ－パラメータ５６Ｂにおいて示したとおり、Ｍ-パラメータセットＭＰＳにおいて、肌の色、髪型及び髪の色などを指定することにより、人体モデル５６Ａの肌の色、髪型及び髪の色などを変更することも可能である。また、Ｍ-パラメータセットＭＰＳにおいて、服装を指定することにより、人体モデル５６Ａの服装を変更することも可能である。このようにＭ－パラメータ５６Ｂには、体格情報及び肌の色といった外見に関わる情報と、姿勢情報とが含まれている。そのため、姿勢情報を変更することなく体格情報又は肌の色など外見に関わる情報を変更することで、姿勢は同じだが外見が異なる複数の人体モデル５６Ａを生成したり、外見に関わる情報を変更することなく姿勢が異なる人体モデル５６Ａを生成することが可能である。また、撮影部位が胸部の場合は、髪型及び髪の色は、胸部のカメラ画像ＣＰに写らない場合が多いが、撮影部位が頭部の場合は、頭部のカメラ画像ＣＰには写る。そのため、頭部の疑似画像ＳＰを生成する場合に、髪型及び髪の色を変更できることは有効である。

　レンダリング部５１Ｂは、モデリング部５１Ａがモデリングした人体モデル５６Ａ（図９及び図１０の例では人体モデル５６Ａ_ＭＰＳ１）を用いて、設定された視点から人体モデル５６Ａをレンダリングすることにより二次元の疑似画像ＳＰを生成することが可能である。本例に即して言えば、レンダリングは、光学カメラ１５を用いて被検者Ｈのカメラ画像ＣＰを取得する処理を、３ＤＣＧデータ５６を用いて仮想的に行う処理である。すなわち、光学カメラ１５に対応する仮想的な仮想カメラ１５Ｖを、人体モデル５６Ａが配置される三次元空間内に設定して、被検者Ｈを模した人体モデル５６Ａを仮想的に撮影することにより疑似画像ＳＰを取得する。

　図９においては、Ｒ－パラメータ指定情報６１Ｒには、複数のＲ－パラメータセットＲＰＳが含まれている。各Ｒ－パラメータセットＲＰＳ毎に、疑似画像ＳＰが生成される。Ｒ－パラメータセットＲＰＳは、人体モデル５６Ａをレンダリング部５１Ｂがレンダリングする際の視点位置等を指定する情報である。

　図９及び図１０に示すＲ－パラメータセットＲＰＳ１には、一例として、撮影手技情報と仮想カメラ情報とが含まれる。撮影手技情報には、撮影部位と撮影方向が含まれている。撮影手技情報として、「胸部／背面」が指定されている場合は、人体モデル５６Ａの胸部を背面から撮影可能な位置に仮想カメラ１５Ｖの位置がおおまかに設定される。

　仮想カメラ情報は、仮想カメラ１５Ｖの位置等をより詳細に規定する情報であり、撮影距離、焦点距離、設置高さ、及び視点方向などが設定される。撮影距離は、仮想カメラ１５Ｖから人体モデル５６Ａまでの距離である。仮想カメラ１５Ｖは、放射線源１１に取り付けられる光学カメラ１５を仮想したものであるため、撮影距離は、放射線源１１と電子カセッテ１３との間の距離であるＳＩＤ（Source to image receptor distance）に対応して設定される。ＳＩＤは撮影手技等に応じて適宜変更される値であり、図９の例の撮影距離は９０ｃｍｍに設定されている。焦点距離は、仮想カメラ１５Ｖの画角を規定するための情報である。撮影距離と焦点距離とを規定することにより仮想カメラ１５Ｖの撮影範囲ＳＲ（図１１及び図１２等を参照）が規定される。撮影範囲ＳＲは、放射線源１１の照射野を含む大きさに設定される。本例では一例として焦点距離は４０ｍｍに設定される。設置高さは、仮想カメラ１５Ｖが設置されるＺ方向の位置であり、撮影部位に応じて設定される。本例では、撮影部位が胸部であるため、立位の人体モデル５６Ａの胸部に位置する高さに設定される。視点方向は、人体モデル５６Ａの姿勢と撮影手技の撮影方向とに応じて設定される。図１０に示す例では、人体モデル５６Ａが立位であり、かつ、撮影方向が背面であるため、－Ｙ方向に設定される。このように、レンダリング部５１Ｂは、疑似画像ＳＰを生成する視点をＲ－パラメータセットＲＰＳに応じて変更可能である。

　レンダリング部５１Ｂは、Ｒ-パラメータセットＲＰＳに基づいて人体モデル５６Ａをレンダリングする。これによって疑似画像ＳＰが生成される。図１０の例では、モデリング部５１ＡがＭ－パラメータセットＭＰＳ１の指定に基づいてモデリングした人体モデル５６Ａ＿ＭＰＳ１を、レンダリング部５１ＢがＲ-パラメータセットＲＰＳ１の指定に基づいてレンダリングすることにより疑似画像ＳＰ１－１が生成される。

　また、図１０において、人体モデル５６Ａが配された三次元空間内には、仮想的な電子カセッテ１３である仮想カセッテ１３Ｖが配置されている。これは撮影部位の位置を明瞭にするために便宜上図示したものである。しかし、モデリングの際に人体モデル５６Ａに加えて仮想カセッテ１３Ｖのモデリングも行って、モデリングされた仮想カセッテ１３Ｖを含めてレンダリングを行ってもよい。

　図１１は、撮影手技が「胸部／正面」の疑似画像ＳＰを生成する例を示す。図１１のＭ－パラメータセットＭＰＳ１は図１０の例と同様であり、人体モデル５６Ａ＿ＭＰＳ１は、図１０の例と同様である。図１１のＲ－パラメータセットＲＰＳ２は、図１０のＲ－パラメータセットＲＰＳ１と異なり、撮影方向が「背面」から「正面」に変更されている。撮影方向の変更に伴って仮想カメラ情報の視点方向が「Ｙ方向」に変更されている。図１１のＲ－パラメータセットＲＰＳ２において、その他の点は図１０のＲ-パラメータセットＲＰＳ１と同様である。

　このようなＲ－パラメータセットＲＰＳ２に基づいて、仮想カメラ１５Ｖの位置等が設定されて、レンダリングが行われる。これにより、人体モデル５６Ａ＿ＭＰＳ１の「胸部」を「正面」から撮影し、「胸部／正面」の撮影手技に対応した疑似画像ＳＰ１－２が生成される。

　図１２は、撮影手技が「腹部／正面」の疑似画像ＳＰを生成する例を示す。図１２のＭ－パラメータセットＭＰＳ１は図１０及び図１１の例と同様であり、人体モデル５６Ａ＿ＭＰＳ１は、図１０及び図１１の例と同様である。図１２のＲ－パラメータセットＲＰＳ３は、図１０のＲ－パラメータセットＲＰＳ１と異なり、撮影部位が「胸部」から「腹部」に変更されている。撮影方向は「正面」であり、図１０の「背面」とは異なるが、図１１の例と同様である。図１２のＲ－パラメータセットＲＰＳ３において、その他の点は図１１のＲ-パラメータセットＲＰＳ２と同様である。

　このようなＲ－パラメータセットＲＰＳ３に基づいて、仮想カメラ１５Ｖの位置等が設定されて、人体モデル５６Ａ＿ＭＰＳ１のレンダリングが行われる。これにより、人体モデル５６Ａ＿ＭＰＳ１の「胸部／正面」の撮影手技に対応した疑似画像ＳＰ１－３が生成される。

　図１３は、撮影手技が「両膝／正面」の疑似画像ＳＰを生成する例を示す。図１３のＭ－パラメータセットＭＰＳ２は図１０～図１３の例と異なり、姿勢情報として「座位」と「両足屈曲有」が指定されている。これにより、人体モデル５６Ａ＿ＭＰＳ２は、座位で、両足が屈曲した姿勢にモデリングされる。図１３のＲ－パラメータセットＲＰＳ４は、撮影手技情報において、撮影部位は「両膝」に、撮影方向は「正面」と指定されている。仮想カメラ情報においては、座位姿勢の人体モデル５６Ａ＿ＭＰＳ２の両膝を正面から撮影可能な高さとして、設置高さは１５０ｃｍが指定され、撮影方向は、Ｚ方向の下向き、すなわち「－Ｚ方向」が指定されている。

　このようなＲ－パラメータセットＲＰＳ４に基づいて、仮想カメラ１５Ｖの位置等が設定されて、人体モデル５６Ａ＿ＭＰＳ２のレンダリングが行われる。これにより、人体モデル５６Ａ＿ＭＰＳ２の「両膝／正面」の撮影手技に対応した疑似画像ＳＰ２－４が生成される。

　図１４は、図１１と同様に、撮影手技が「胸部／正面」の疑似画像ＳＰを生成する例を示す。図１４の例はＲ－パラメータセットＲＰＳ２が図１１の例と同様である。相違点は、図１４のＭ－パラメータセットＭＰＳ４の体格情報であり、図１１のＭパラメータセットＭＰＳ１と比較して、体重の他、図示しないが胸囲及び胴囲等の値が大きくなっている。つまり、図１４のＭ－パラメータセットＭＰＳ４に基づいてモデリングされた人体モデル５６Ａ＿ＭＰＳ４は、図１１の人体モデル５６Ａ＿ＭＰＳ１と比較して太っている。その他の点は図１１の例と同様である。これにより、太った体格の人体モデル５６Ａ＿ＭＰＳ４について、「胸部／正面」の撮影手技に対応した疑似画像ＳＰ４－２が生成される。

　図１５は、図１３と同様に、撮影手技が「両膝／正面」の疑似画像ＳＰを生成する例を示す。図１３の例と異なる点は、Ｍ－パラメータセットＭＰＳ５において、皮膚の色が褐色に指定されている点である。その他の点は、図１３の例と同様である。これにより、皮膚の色が褐色の人体モデル５６Ａ＿ＭＰＳ５について、「両膝／正面」の疑似画像ＳＰ５－４が生成される。

　教師データ生成部５１は、パラメータ指定情報６１に基づいて、疑似画像ＳＰを撮影部位及び撮影方向の組み合わせ毎に複数生成する。例えば、教師データ生成部５１は、「胸部／正面」及び「胸部／背面」などの撮影手技毎に、異なるパラメータセット（Ｍ－パラメータセットＭＰＳ及びＲ－パラメータセットＲＰＳ）を使用して疑似画像ＳＰを複数生成する。

　次に、図１６～図１８に示すフローチャートを用いて上記構成の学習装置４０の作用について説明する。図１６のメインフローチャートに示すように、学習装置４０は、３ＤＣＧデータに基づいて教師データＴＤを生成し（ステップＳ１００）、生成した教師データＴＤを用いて機械学習モデルＬＭ０を学習させる（ステップＳ２００）。

　図１７は、教師データＴＤを生成するステップＳ１００の詳細を示す。図１７に示すように、ステップＳ１００においては、まず、学習装置４０の教師データ生成部５１は、３ＤＣＧデータ５６を取得する（ステップＳ１０１）。次に教師データ生成部５１は、パラメータ指定情報６１を取得する。本例では、ステップＳ１０１及びステップＳ１０２において、教師データ生成部５１は、ストレージデバイス４６内に格納された３ＤＣＧデータ５６及びパラメータ指定情報６１をストレージデバイス４６から読み出す。

　パラメータ指定情報６１には、例えば、複数のＭ－パラメータセットＭＰＳと複数のＲ－パラメータセットＲＰＳが記録されている。教師データ生成部５１は、図１０～図１５において例示されているように、１つのＭ－パラメータセットＭＰＳと１つのＲ－パラメータセットＲＰＳの組み合わせ毎にモデリングとレンダリングとを行って、１枚の疑似画像ＳＰを生成する（ステップＳ１０３）。教師データ生成部５１は、生成した疑似画像ＳＰと正解データＡＤとを組み合わせることにより教師データＴＤを生成する（ステップＳ１０４）。生成された教師データＴＤはストレージデバイス４６に格納される。

　ステップＳ１０５において、教師データ生成部５１は、取得したパラメータ指定情報６１に含まれるパラメータセット（Ｍ－パラメータセットＭＰＳ及びＲ－パラメータセットＲＰＳの組み合わせ）のうち、未入力のパラメータセットがある場合は（ステップＳ１０５においてＹＥＳ）、ステップＳ１０３及びステップＳ１０４の処理を実行する。教師データ生成部５１は、「胸部／正面」及び「胸部／背面」などの撮影手技毎に、異なるパラメータセット（Ｍ－パラメータセットＭＰＳ及びＲ－パラメータセットＲＰＳ）を使用して疑似画像ＳＰを複数生成する。未入力のパラメータセットが無い場合は（ステップＳ１０５においてＮＯ）は、教師データ生成処理を終了する。

　図１８は、生成した教師データＴＤを用いて機械学習モデルＬＭ０を学習させるステップＳ２００の詳細を示す。図１８に示すように、ステップＳ２００においては、まず、学習装置４０の学習部５２において、本処理部５２Ａは、ストレージデバイス４６から機械学習モデルＬＭ０を取得する（ステップＳ２０１）。そして、本処理部５２Ａは、教師データ生成部５１によって生成された教師データＴＤをストレージデバイス４６から取得し、教師データＴＤに含まれる疑似画像ＳＰを機械学習モデルＬＭ０に１枚ずつ入力する（ステップＳ２０２）。そして、本処理部５２Ａは、機械学習モデルＬＭ０に撮影手技を含む出力データＯＤを導出させる（ステップＳ２０３）。次に、評価部５２Ｂは、正解データＡＤと出力データＯＤとを比較して、出力データＯＤを評価する（ステップＳ２０４）。更新部５２Ｃは、出力データＯＤの評価結果に基づいて機械学習モデルＬＭ０のフィルタ係数及びパーセプトロンの重みなどの値を更新する（ステップＳ２０５）。終了タイミングが到来するまでの間（ステップＳ２０６でＹＥＳ）、学習部５２はステップＳ２０２～ステップＳ２０５までの一連の処理を繰り返す。予定されている数の教師データＴＤの学習がすべて終了した場合、損失が目標値を下回った場合などの終了タイミングが到来した場合は（ステップＳ２０６でＮＯ）、学習部５２は、学習を終了し、学習済みモデルＬＭを出力する（ステップＳ２０７）。

　以上のように、本実施形態に係る学習装置４０は、３ＤＣＧデータによって構成される人体モデル５６Ａに基づいて生成された人体の疑似画像ＳＰであって、医療用撮影装置の一例としての放射線撮影システム１０に対してポジショニングされた状態の被検者Ｈを模した疑似画像ＳＰを、撮影部位及び撮影方向の組み合わせ毎に複数生成する。そして、生成された疑似画像ＳＰと、組み合わせの正解データＡＤとで構成される複数の教師データＴＤを用い、機械学習モデルＬＭ０を学習させる。教師データＴＤを構成する疑似画像ＳＰは、３ＤＣＧデータによって構成される人体モデル５６Ａに基づいて生成される。そのため、撮影部位及び撮影方向の組み合わせである撮影手技を示すカメラ画像ＣＰを、光学カメラ１５によって取得する場合と比較して、撮影手技を示す教師データＴＤの数を増やしやすい。そのため、カメラ画像ＣＰに写る被検者Ｈの撮影部位及び撮影方向を導出する学習済みモデルＬＭを、カメラ画像ＣＰのみを教師データＴＤとして用いる場合と比較して、効率的に学習させることができる。

　また、上記例の３ＤＣＧデータには、人体モデル５６Ａの姿勢及び外見のうちの少なくとも一方を変更するためのＭ－パラメータ５６Ｂが付帯されている。そのため、例えば、パラメータ指定情報６１によってＭ－パラメータ５６Ｂを変更するだけで、人体モデル５６Ａの姿勢及び外見のうちの少なくとも一方が異なる複数の疑似画像ＳＰを生成することができる。そのため、人体モデル５６Ａの姿勢又は外見のうちの少なくとも一方が異なる多様な疑似画像ＳＰを生成しやすい。実際の被検者Ｈの姿勢又は外見も個人差がある。多様な被検者Ｈのカメラ画像ＣＰ又は様々な姿勢の被検者Ｈのカメラ画像ＣＰを収集するには非常に手間がかかる。こうした実情に鑑みれば、Ｍ－パラメータ５６Ｂの変更により簡便に人体モデル５６Ａの姿勢又は外見を変化させる方法は、非常に有効である。

　また、Ｍ－パラメータ５６Ｂには、人体モデル５６Ａの体格情報、性別、姿勢情報、皮膚の色、髪の色、髪型、及び服装のうちの少なくとも１つを含む。本開示の技術においては、外見に関わる情報及び姿勢情報を細かく指定可能にすることで、実際のカメラ画像ＣＰでは収集しにくい外見又は姿勢の人体の画像を簡便に収集することができる。そのため、例えば、撮影部位及び撮影方向が同じ場合でも、多種多様な外見の被検者Ｈを模した人体モデル５６Ａの疑似画像ＳＰを教師データＴＤとして、機械学習モデルＬＭ０を学習させることができる。これにより、体格情報などの指定が不可能な場合と比較して、学習済みモデルＬＭにおいて、カメラ画像ＣＰから撮影部位及び撮影方向を導出する精度を向上させることができる。

　上記例において、体格情報には、身長、体重、座高、股下長さ、頭囲、頭幅、首囲、肩幅、胸囲（バスト）、胴囲（ウエスト）、手の長さ、及び手首囲、手幅、足長、足幅、太もも囲、ふくらはぎ囲などが含まれる例で説明したが、これらのうちの少なくとも１つが含まれていればよい。もちろん、体格情報の項目が増えるほど、人体モデル５６Ａの多様性を確保できるため、好ましい。また、身長及び体重などを数値で規定する例で説明したが、数値の他に、細目、標準、及び太目などの評価情報でもよい。

　また、本実施形態において、レンダリング部５１Ｂは、設定された視点から人体モデル５６Ａをレンダリングすることにより疑似画像ＳＰを生成することが可能であり、視点はレンダリングパラメータを規定するＲ－パラメータセットＲＰＳによって変更可能である。そのため、こうしたレンダリングパラメータが無い場合と比べて、視点変更が容易になり、多様な疑似画像ＳＰを生成しやすい。

　視点を設定するための視点情報には、視点に仮想的に設置される仮想カメラ１５Ｖの焦点距離と仮想カメラ１５Ｖから人体モデル５６Ａまでの距離である撮影距離とが含まれる。撮影距離と焦点距離が変更可能であることにより、仮想カメラ１５Ｖの撮影範囲ＳＲを変更しやすい。

　上記実施形態において、医療撮影装置及び放射線撮影装置の一例である放射線撮影システム１０に本開示の技術を適用した例で説明した。放射線撮影においては、「胸部／正面」、「腹部／正面」及び「両足／正面」など、撮影部位及び撮影方向の組み合わせを指定する撮影オーダの種類が多い。このように撮影オーダの種類が多い医療用撮影装置に用いる場合に本件は特に有効である。

　上記例において、図９に示したパラメータ指定情報６１を用い、複数の疑似画像ＳＰを連続的に生成するバッチ処理を実行してもよい。パラメータ指定情報９１には、Ｍ－パラメータ指定情報６１ＭとＲ－パラメータ指定情報６１Ｒとを有する。そして、図９に示したとおり、Ｍ－パラメータ指定情報６１Ｍには、複数のＭ－パラメータセットＭＰＳを指定することが可能であり、Ｒ－パラメータ指定情報６１Ｒには、複数のＲ－パラメータセットＲＰＳを指定することが可能である。Ｍ－パラメータセットＭＰＳとＲ－パラメータセットＲＰＳの組が指定されることで、１枚の疑似画像ＳＰが生成される。そのため、パラメータ指定情報９１を用いることで、複数の疑似画像ＳＰを連続的に生成するバッチ処理を実行することが可能である。３ＤＣＧデータ５６を用いて疑似画像ＳＰを生成する場合には、このようなバッチ処理が可能となる。バッチ処理を行うことで効率的に複数の疑似画像ＳＰを生成することが可能となる。

　また、上記例では、光学カメラ１５が静止画撮影をする例で説明したが、動画撮影をしてもよい。光学カメラ１５に動画撮影をさせる場合は、被検者Ｈのポジショニングを開始する前に技師ＲＧが撮影指示を入力することにより、光学カメラ１５に動画撮影を開始させ、光学カメラ１５が撮影した動画をリアルタイムでコンソール１４に送信させてもよい。この場合は、例えば、動画を構成するフレーム画像が学習済みモデルＬＭに対する入力データとして用いられる。

　「変形例１」
　上記例では、疑似画像ＳＰのみを教師データＴＤとして用いる例で説明したが、図１９に示すように、疑似画像ＳＰに加えて、カメラ画像ＣＰを混在させて機械学習モデルＬＭ０を学習させてもよい。ここで、疑似画像ＳＰと正解データＡＤとで構成される教師データＴＤを第１教師データとした場合において、カメラ画像ＣＰと正解データＡＤとで構成される教師データを第２教師データＴＤ２とする。学習部５２は、第１教師データＴＤと第２教師データＴＤ２の両方を用いて機械学習モデルＬＭ０を学習させる。学習済みモデルＬＭの運用時に用いられるカメラ画像ＣＰを用いて学習させることにより、疑似画像ＳＰのみを用いる場合と比較して、撮影部位及び撮影方向を導出する精度が向上する。

　「変形例２」
　上記例では、図４に示したように、学習済みモデルＬＭの運用フェーズにおいて、撮影手技判定部１４Ｂは、撮影オーダ３１に含まれる撮影手技（「胸部／背面」など）と、学習済みモデルＬＭが導出した撮影手技（「胸部／背面」など）とをそのままディスプレイ１４Ｃに出力する。しかし、図２０に示すように、撮影手技判定部１４Ｂに照合部１４Ｄを設け、撮影オーダ３１に含まれる撮影手技と学習済みモデルＬＭが導出する撮影手技とを照合部１４Ｄが照合するようにしてもよい。この場合、照合部１４Ｄは、両者の撮影手技が一致するか否かの照合結果を出力し、ポジショニング確認画面３６に照合結果を表示してもよい。照合結果は、図２０の例では、「判定された撮影手技は撮影オーダと一致しています」などのメッセージの形態で表示される。また、照合結果が、両者の撮影手技が一致しないという照合結果の場合は、ポジショニング確認画面３６に、「判定された撮影手技は撮影オーダと一致していません」といったメッセージ（図示せず）が照合結果として表示される。このようなメッセージは、技師ＲＧに対して、ポジショニングミスを気付かせるアラートとして機能する。さらに、アラートとして、音声、警告音、及び警告ランプなどを用いてもよい。

　上記実施形態においては、学習装置４０が教師データ生成部５１を有しており、学習装置４０が教師データ生成装置としても機能しているが、教師データ生成部５１を学習装置４０から切り離して独立した装置としてもよい。

　「第２実施形態」
　図２１及び図２２に示す第２実施形態は、カメラ画像ＣＰを入力として、カメラ画像ＣＰに写る被検者Ｈの体格を表す体格情報を導出する体格出力用学習済みモデルＬＭＴを考える。第２実施形態は、こうした体格出力用学習済みモデルＬＭＴを生成するために、体格出力学習済みモデルＬＭＴのベースとなる体格出力用機械学習モデルＬＭＴ０の学習に、疑似画像ＳＰを用いる例である。図２１に示すように、体格出力用学習済みモデルＬＭＴは、例えば、エンコーダ３７と、回帰部６８とを備える。エンコーダ３７は、図５で示した撮影手技を導出する学習済みモデルＬＭと同様である。体格出力用学習済みモデルＬＭＴは、カメラ画像ＣＰの特徴マップから、カメラ画像ＣＰに写る被検者Ｈの体格情報として、例えば体厚の数値を推定する回帰モデルである。回帰部６８としては、例えば、線形回帰モデル、サポートベクターマシンなどが用いられる。

　図２２に示すように、学習部５２は、疑似画像ＳＰを用いた複数の体格出力用教師データＴＤＴを用いて体格出力用機械学習モデルＬＭＴ０を学習させる。体格出力用教師データＴＤＴは、疑似画像ＳＰと人体モデル５６Ａの体格を表す体格情報の正解データＡＤＴとで構成される。

　図３において示したように、被検者Ｈの体厚は、照射条件を決定する際の基礎情報として利用される。そのため、カメラ画像ＣＰから体厚を導出できれば放射線撮影において利便性が向上する。

　「第３実施形態」
　図２３に示す第３実施形態は、医療用撮影装置として超音波撮影装置に本開示の技術を適用した例である。超音波撮影装置は、超音波の発信部と受信部とを備えたプローブ７１を有している。超音波撮影は、プローブ７１を被検者Ｈの撮影部位に接触させることにより行われる。超音波撮影においても、撮影オーダによって撮影部位が指定されており、また、撮影方向（プローブ７１の向き）も撮影目的に応じて定まる場合がある。撮影部位及び撮影方向が不適切な場合は、適切な超音波画像を取得できない場合もある。

　特に、超音波撮影は、放射線撮影と異なり、医師の他、看護師及び介護士によっても可能であり、将来的には、撮影に不慣れな被検者Ｈ自身がプローブ７１を操作して超音波撮影を行うケースも想定されつつある。この場合において、撮影ガイダンスのためにカメラ画像ＣＰを利用することも検討されている。その場合には、カメラ画像ＣＰを入力として撮影部位及び撮影方向を導出する学習済みモデルＬＭが利用される場面も多くなると考えられる。すなわち、超音波撮影において、カメラ画像ＣＰは、被検者Ｈの撮影部位にプローブ７１が当てられた状態、すなわち、プローブ７１に対してポジショニングされた被検者Ｈの状態を、光学カメラ１５を用いて撮影された画像である。こうした学習済みモデルＬＭの導出精度として、撮影ガイダンスの利用に耐えうる精度を確保するには、多種多様な教師データＴＤを用いて学習済みモデルＬＭを学習させることが重要である。本開示の技術を用いることで、多種多様な疑似画像ＳＰの教師データＴＤによる学習を効率的に行うことが可能となる。

　図２３に示すように、本開示の技術を超音波撮影に用いる場合においても、教師データ生成部５１は、人体モデル５６Ａと仮想的なプローブ７１とをポジショニングした状態を、仮想カメラ１５Ｖによって設定された視点でレンダリングすることにより、疑似画像ＳＰを生成する。図７に示すように、生成された疑似画像ＳＰの教師データＴＤを用いて機械学習モデルＬＭが学習される。

　上記各実施形態において、例えば、教師データ生成部５１及び学習部５２といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。

　各種のプロセッサには、ＣＰＵ、プログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、専用電気回路等が含まれる。ＣＰＵは、周知のとおりソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサである。ＰＬＤは、ＦＰＧＡ(Field Programmable Gate Array) 等の、製造後に回路構成を変更可能なプロセッサである。専用電気回路は、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成
してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。

　本開示の技術は、上記各実施形態に限らず、本開示の技術の要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する、コンピュータで読み取り可能な記憶媒体にもおよぶ。

　以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

Claims (13)

1. 　医療用撮影装置に対してポジショニングされた状態の被検者を光学カメラで撮影したカメラ画像を入力として、前記カメラ画像に写る前記被検者の撮影部位及び撮影方向を導出する機械学習モデルを学習させる学習装置であって、
   　プロセッサと前記プロセッサに接続又は内蔵されたメモリとを有し、
   　前記プロセッサは、
   　三次元のコンピュータグラフィックスデータによって構成される人体モデルに基づいて生成された人体の疑似画像であって、前記医療用撮影装置に対してポジショニングされた状態の前記被検者を模した疑似画像を、前記撮影部位及び撮影方向の組み合わせ毎に複数生成し、
   　生成された前記疑似画像と、前記組み合わせの正解データとで構成される複数の教師データを用い、前記機械学習モデルを学習させる学習装置。
2. 　前記三次元のコンピュータグラフィックスデータには、前記人体モデルの姿勢及び外見のうちの少なくとも一方を変更するためのモデリングパラメータが付帯されている、請求項１に記載の学習装置。
3. 　前記モデリングパラメータは、前記人体モデルの体格を表す体格情報、性別、姿勢情報、皮膚の色、髪の色、髪型、及び服装のうちの少なくとも１つを含む、請求項２に記載の学習装置。
4. 　前記プロセッサは、設定された視点から前記人体モデルをレンダリングすることにより前記疑似画像を生成することが可能であり、前記視点はレンダリングパラメータによって変更可能である請求項１から請求項３のうちのいずれか１項に記載の学習装置。
5. 　前記視点を設定するための視点情報には、前記視点に仮想的に設置される仮想カメラの焦点距離と前記仮想カメラから前記人体モデルまでの距離である撮影距離とが含まれる請求項４に記載の学習装置。
6. 　前記疑似画像と前記正解データとで構成される教師データを第１教師データとした場合において、
   　前記プロセッサは、
   　前記第１教師データに加えて、光学カメラで撮影したカメラ画像と前記正解データとで構成される第２教師データを用いて、前記機械学習モデルを学習させる、請求項１から請求項５のうちのいずれか１項に記載の学習装置。
7. 　さらに、前記疑似画像と前記人体モデルの体格を表す体格情報の正解データとで構成される複数の体格出力用教師データを用いて、前記カメラ画像を入力として前記被検者の体格を表す体格情報を導出する体格出力用機械学習モデルを学習させる請求項１から請求項６のうちのいずれか１項に記載の学習装置。
8. 　前記医療用撮影装置は、放射線撮影装置及び超音波撮影装置のうちの少なくとも１つを含む、請求項１から請求項７のうちのいずれか１項に記載の学習装置。
9. 　医療用撮影装置に対してポジショニングされた状態の被検者を光学カメラで撮影したカメラ画像を入力として、前記カメラ画像に写る前記被検者の撮影部位及び撮影方向を導出する機械学習モデルを、コンピュータを用いて学習させる学習方法であって、
   　三次元のコンピュータグラフィックスデータによって構成される人体モデルに基づいて生成された人体の疑似画像であって、前記医療用撮影装置に対してポジショニングされた状態の前記被検者を模した疑似画像を、前記撮影部位及び撮影方向の組み合わせ毎に複数生成し、
   　生成された前記疑似画像と、前記組み合わせの正解データとで構成される複数の教師データを用い、前記機械学習モデルを学習させる学習方法。
10. 　医療用撮影装置に対してポジショニングされた状態の被検者を光学カメラで撮影したカメラ画像を入力として、前記カメラ画像に写る前記被検者の撮影部位及び撮影方向を導出する機械学習モデルを学習させる学習装置として、コンピュータを機能させる学習装置の作動プログラムであって、
    　三次元のコンピュータグラフィックスデータによって構成される人体モデルに基づいて生成された人体の疑似画像であって、前記医療用撮影装置に対してポジショニングされた状態の前記被検者を模した疑似画像を、前記撮影部位及び撮影方向の組み合わせ毎に複数生成し、
    　生成された前記疑似画像と、前記組み合わせの正解データとで構成される複数の教師データを用い、前記機械学習モデルを学習させる学習装置として、コンピュータを機能させる学習装置の作動プログラム。
11. 　医療用撮影装置に対してポジショニングされた状態の被検者を光学カメラで撮影したカメラ画像を入力として、前記カメラ画像に写る前記被検者の撮影部位及び撮影方向を導出する機械学習モデルを学習させるために用いる教師データを生成する教師データ生成装置であって、
    　プロセッサと前記プロセッサに接続又は内蔵されたメモリとを有し、
    　前記プロセッサは、
    　人体の疑似画像を生成するための人体モデルを構成する三次元のコンピュータグラフィックスデータであって、前記人体モデルの姿勢及び外見のうちの少なくとも一方を変更するためのパラメータが付帯されている三次元のコンピュータグラフィックスデータを用い、
    　前記パラメータを変化させることにより、前記人体モデルの姿勢及び外見のうちの少なくとも一方が異なる複数の前記疑似画像を前記撮影部位及び撮影方向の組み合わせ毎に生成し、
    　生成した複数の前記疑似画像と前記組み合わせの正解データとで構成される複数の教師データを生成する、教師データ生成装置。
12. 　医療用撮影装置に対してポジショニングされた状態の被検者を光学カメラで撮影したカメラ画像を入力として、前記カメラ画像に写る前記被検者の撮影部位及び撮影方向を導出する機械学習モデルであって、
    　三次元のコンピュータグラフィックスデータによって構成される人体モデルに基づいて生成された人体の疑似画像であって、前記医療用撮影装置に対してポジショニングされた状態の前記被検者を模した疑似画像と、前記撮影部位及び撮影方向の組み合わせの正解データとで構成され、前記組み合わせ毎に生成される複数の教師データ用いて学習された機械学習モデル。
13. 　請求項１２に記載の機械学習モデルを備えた医療用撮影装置。

Images