WO2024117042A1

WO2024117042A1 - 画像処理装置、放射線撮影システム、画像処理方法、及びプログラム

Info

Publication number: WO2024117042A1
Application number: PCT/JP2023/042206
Authority: WO
Inventors: 悠真細谷
Original assignee: キヤノン株式会社
Priority date: 2022-11-30
Filing date: 2023-11-24
Publication date: 2024-06-06
Also published as: JP2024078582A

Abstract

被写体を光学撮影した光学画像と、該被写体を放射線撮影した放射線画像とを取得する取得部と、光学画像及び放射線画像が互いに対応するように、光学画像及び放射線画像の少なくとも一方に対して、回転処理、抽出処理、及び拡縮処理のうち少なくとも一つを含む画像処理を実行する画像処理部とを備える画像処理装置が提供される。

Description

画像処理装置、放射線撮影システム、画像処理方法、及びプログラム

　本開示は、画像処理装置、放射線撮影システム、画像処理方法、及びプログラムに関する。

　医療分野において、放射線を撮影に利用した放射線撮影システムが知られている。近年、放射線撮影システムのデジタル化により、放射線発生装置が放射線を照射し、放射線撮影装置が被写体を介して入射した放射線を検知し、検知した放射線に基づいてデジタル放射線画像が生成され、表示されるシステムが普及している。このようなシステムでは、ユーザは表示された放射線画像を確認することで、放射線撮影直後の画像確認を行うことができる。このため、デジタル化された放射線撮影システムを用いることで、従来のフィルムを用いた撮影方法に比べワークフローが改善され、早いサイクルで撮影を行うことができる。

　このような放射線撮影システムによる撮影では、予め放射線撮影システムに設定した撮影条件（撮影部位や、Ｘ線管球と検出器との距離等）に合わせて、患者の姿勢の指示を含む、患者と放射線撮影装置の位置決めを行う必要がある。具体的には、患者を放射線発生装置及び放射線撮影装置間に移動させ、放射線が照射される領域（照射野）に患者の撮影部位が含まれるように位置決めが行われる。位置決めが完了すると、医師や放射線技師等のユーザは、患者から一旦離れて、操作室でＸ線の曝射の操作を行う。

　しかしながら、ユーザが操作室で操作を行う際には、ユーザは患者から離れているため、位置決めが維持された状態であるかを容易に確認することができないという問題があった。これに対し、特許文献１では、Ｘ線ＣＴ装置の架台にテレビカメラを取り付け、Ｘ線ＣＴ装置の撮影時にカメラで撮影したカメラ映像をモニタ上に表示する技術が開示されている。

特開２００９－１１９２８１号公報

　一般に、放射線撮影装置により出力される放射線画像は向きが一定となるよう設定されており、医師や放射線技師等のユーザは出力される放射線画像の向きを想定し、患者の位置決めを行っている。しかしながら、光学式カメラで得られる光学画像は、患者の向きや位置によって見え方が変化するため、ユーザからは確認しにくい画像になってしまう場合がある。このような場合には、患者に動いてもらうか、画像を調整する等の作業が生じてしまう。

　そこで、本開示の一実施態様では、光学画像及び放射線画像が互いに対応するように、光学画像及び放射線画像の少なくとも一方に画像処理を行うことを目的の一つとする。

　本開示の一実施態様に係る画像処理装置は、被写体を光学撮影した光学画像と、該被写体を放射線撮影した放射線画像とを取得する取得部と、前記光学画像及び前記放射線画像が互いに対応するように、前記光学画像及び前記放射線画像の少なくとも一方に対して、回転処理、抽出処理、及び拡縮処理のうち少なくとも一つを含む画像処理を実行する画像処理部とを備える。

　本開示のさらなる特徴が、添付の図面を参照して以下の例示的な実施形態の説明から明らかになる。

第１の実施形態に係る放射線撮影システムの概略構成の一例を示す。第１の実施形態に係る撮影プロトコルの設定画面の一例を示す。第１の実施形態に係る画像処理を示すフローチャートである。第１の実施形態に係る画像処理を説明するための図である。第１の実施形態に係る撮影処理を示すフローチャートである。第２の実施形態に係る放射線撮影システムの概略構成の一例を示す。第２の実施形態に係る撮影処理を示すフローチャートである。第３の実施形態に係る放射線撮影システムの概略構成の一例を示す。第３の実施形態に係る光学画像の撮影プロトコル設定画面の一例を示す。第３の実施形態に係る放射線画像の撮影プロトコル設定画面の一例を示す。第３の実施形態に係る光学画像の撮影準備処理を示すフローチャートである。第３の実施形態に係る放射線画像の撮影準備処理を示すフローチャートである。第３の実施形態に係る撮影処理を示すフローチャートである。第４の実施形態に係る表示画面の一例を示す。第４の実施形態に係る撮影処理を示すフローチャートである。

　以下、本開示を実施するための例示的な実施形態を、図面を参照して詳細に説明する。ただし、以下の実施形態で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本開示が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。

　なお、以下において、放射線という用語は、例えば、Ｘ線及びγ線等の電磁放射線、並びにα線、β線、粒子線、陽子線、重イオン線、及び中間子線等の粒子放射線を含むことができる。

　また、機械学習モデルとは、機械学習アルゴリズムによる学習モデルをいう。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。また、決定木を用いたアルゴリズムとして、ＬｉｇｈｔＧＢＭやＸＧＢｏｏｓｔのように勾配ブースティングを用いた手法も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて以下の実施形態及び変形例に適用することができる。また、教師データとは、学習データのことをいい、入力データ及び出力データのペアで構成される。また、学習データの出力データのことを正解データともいう。

　さらに、学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な教師データ（学習データ）を用いてトレーニング（学習）を行ったモデルをいう。ただし、学習済モデルは、事前に適切な学習データを用いて得ているが、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。追加学習は、装置が使用先に設置された後も行われることができる。

（第１の実施形態）
　以下、図１乃至図５を参照して、本開示の第１の実施形態に係る、医用画像を撮影して表示する放射線撮影システム、画像処理装置、及び画像処理方法について説明する。

＜放射線撮影システムの構成＞
　図１は、撮影室内に設けられた、本実施形態に係る放射線撮影システムの概略構成の一例を示す。本実施形態に係る放射線撮影システムには、制御装置１００、放射線撮影装置１１０、放射線発生装置１２０、管球１２１、カメラ１３０、表示部１５０、及び操作部１６０が設けられている。制御装置１００、放射線撮影装置１１０、放射線発生装置１２０、及びカメラ１３０は、任意のネットワーク１４０を介して、互いに接続されている。

　ここで、ネットワーク１４０は、例えば、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等で構成されてよい。なお、ネットワーク１４０は、有線ネットワークでも無線ネットワークでもよい。また、これらの装置は、ネットワーク１４０を介さず直接接続されていてもよい。なお、制御装置１００、表示部１５０、及び操作部１６０は、撮影室内で区画分けされた操作室や撮影室とは別に設けられた操作室に配置されてもよい。

　制御装置１００は、コンピュータなどの情報処理装置で構築されることができ、各種撮影の制御及び撮影された画像の画像処理等を行うことができる画像処理装置の一例として機能することができる。コンピュータには、例えば、ＣＰＵ等の主制御部、並びにＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の記憶部が具備される。

　制御装置１００は、放射線撮影装置１１０と通信して放射線撮影を制御するとともに、放射線撮影装置１１０が撮影した放射線画像を取得することができる。また、制御装置１００は、放射線発生装置１２０と通信し、放射線発生装置１２０を制御するとともに、放射線を照射した際の情報を放射線発生装置１２０から取得することができる。さらに、制御装置１００は、カメラ１３０と通信し、カメラ１３０を制御するとともに、カメラ１３０が撮影した画像を取得することができる。

　放射線撮影装置１１０は、制御装置１００からの指示により撮影可能状態へと遷移し、放射線発生装置１２０と同期を取りながら放射線撮影を実施し、線源の一例である管球１２１から照射された放射線に基づき画像を生成することができる。放射線撮影装置１１０は、放射線を検出して、対応する信号を出力する任意の放射線検出器を含むことができ、放射線検出器は、例えば、ＦＰＤ（Ｆｌａｔ　Ｐａｎｅｌ　Ｄｅｔｅｃｔｏｒ）等を用いて構成されることができる。また、放射線検出器は、シンチレータ等を用いて放射線を一旦可視光に変換し、光センサ等により可視光を電気信号に変換するような間接変換型の検出器であってもよいし、入射した放射線を電気信号に直接変換する直接変換型の検出器であってもよい。なお、放射線撮影装置１１０の台数は一台に限定されるものではなく、複数台の放射線撮影装置が用いられてもよい。

　放射線発生装置１２０は、ユーザによる放射線照射指示を検知し、操作パネルなどのユーザ操作を受け付けるユーザ入力装置（不図示）により設定された照射条件を元に、管球１２１より放射線を発生させる装置である。管球１２１から照射された放射線は、被写体を減衰しながら透過し、放射線撮影装置１１０に入射する。

　カメラ１３０は、制御装置１００からの指示により撮影を行い、光学画像を取得する光学撮影装置の一例として機能する。なお、本実施形態では、カメラ１３０は管球１２１に取り付けられ、管球１２１の放射線発生方向の撮影を行い、放射線画像と同等の撮影範囲を持つものとする。なお、管球１２１は線源の一例である管球自体を含む装置であってよく、カメラ１３０は当該装置に取り付けられてもよい、

　表示部１５０及び操作部１６０は、制御装置１００に接続されている。表示部１５０は、例えば、液晶ディスプレイ等の任意のディスプレイを含み、制御装置１００の制御に従い、被写体に関する被写体情報や撮影プロトコル等の各種情報、及び放射線画像や光学画像等の各種画像等を表示する。操作部１６０は、制御装置１００を操作する操作情報を入力するための入力機器を含み、例えばキーボードとマウスを含む。なお、表示部１５０はタッチパネル式のディスプレイにより構成されてもよく、この場合には表示部１５０は操作部１６０として兼用されることができる。

　次に、制御装置１００の構成について説明する。制御装置１００には、取得部１０１、選択部１０２、画像処理部１０３、制御部１０４、表示制御部１０５、及び記憶部１０６が設けられている。

　取得部１０１は、カメラ１３０により被写体を光学撮影した光学画像及び放射線撮影装置１１０により被写体を放射線撮影した放射線画像を取得することができる。また、取得部１０１は、操作部１６０を介して入力された、ユーザによる操作情報や被写体情報、撮影に関する撮影プロトコル等を取得することができる。なお、取得部１０１は、制御装置１００に任意のネットワークを介して接続された不図示の撮影装置やサーバ等からこれら画像や情報等を取得してもよい。また、取得部１０１は、記憶部１０６に記憶されたこれら画像や情報等を取得してもよい。

　選択部１０２は、取得部１０１によって取得されたユーザによる操作情報に基づいて、記憶部１０６に記憶される複数の撮影プロトコルから、被写体の撮影に関する撮影プロトコルを選択することができる。ここで、撮影プロトコルは、例えば、撮影部位毎に設定されていてもよいし、撮影部位及び撮影条件等の組み合わせ毎に設定されていてもよい。本実施形態では、説明の簡略化のため、撮影部位毎に設定された撮影プロトコルを例として説明する。

　画像処理部１０３は、取得部１０１により取得された光学画像及び放射線画像に対して、光学画像及び放射線画像が互いに対応するように、画像処理を行うことができる。ここで、画像処理としては、例えば、画像の回転処理、抽出処理（切り出し処理）、及び拡縮処理等が含まれてよい。なお、光学画像及び放射線画像が互いに対応するとは、光学画像及び放射線画像における被写体の方向や角度、サイズ等が同一である態様に限られず、ユーザが光学画像及び放射線画像における被写体を対応付けて確認しやすい態様であればよい。そのため、ユーザが光学画像及び放射線画像における被写体を対応付けて確認しやすい態様であれば、光学画像及び放射線画像における被写体の方向や角度、サイズ等は互いに異なっていてもよい。画像処理部１０３による画像処理の詳細については後述する。

　制御部１０４は、放射線撮影装置１１０、放射線発生装置１２０、カメラ１３０、及びネットワーク１４０に接続する不図示のネットワーク装置等を制御する。また、制御部１０４は、制御装置１００の全体的な動作を制御することができる。

　表示制御部１０５は、表示部１５０の表示を制御することができる。表示制御部１０５は、例えば、被写体情報、撮影条件、ユーザによって設定されたパラメータ、光学画像、放射線画像、撮影プロトコル、及び画像処理に関する設定等を表示部１５０に表示させることができる。また、表示制御部１０５は、所望の構成に応じて、ユーザの操作を受け付けるためのボタンやスライダ等の任意の表示やＧＵＩ等を表示部１５０に表示させることができる。

　記憶部１０６は、制御装置１００により処理された光学画像及び放射線画像、並びに各種データ等を記憶することができる。また、記憶部１０６は、被写体情報、撮影条件、及びユーザによって設定されたパラメータ等を記憶することができる。さらに、記憶部１０６は、制御装置１００における各機能を実現するための各種制御プログラム等を記憶することもできる。記憶部１０６は、例えば、光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。

　なお、制御装置１００は、一般的なコンピュータによって構成されてもよいし、放射線撮影システム専用のコンピュータによって構成されてもよい。また、制御装置１００は、例えば、パーソナルコンピュータ（ＰＣ）であってもよく、デスクトップＰＣ、ノート型ＰＣ、又はタブレット型ＰＣ（携帯型の情報端末）等が用いられてもよい。さらに、制御装置１００は、一部の構成要素が外部装置に配置されるようなクラウド型のコンピュータとして構成されてもよい。

　また、取得部１０１、選択部１０２、画像処理部１０３、制御部１０４、及び表示制御部１０５は、制御装置１００のプロセッサにより実行されるソフトウェアモジュールで構成されてよい。さらに、これら各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。

　なお、図１に示す構成は、あくまで一例であり、所望の構成に応じて適宜変更されてよい。例えば、図１では、制御装置１００に対してネットワーク１４０を介して各種装置が接続されているが、制御装置１００は、このような装置と接続される必要はなく、制御装置１００は各種画像を不図示のサーバ等から取得してもよい。また、各装置はネットワーク上に複数存在してもよい。

　次に、図２乃至図５を参照して、本実施形態に係る放射線撮影システムによる検査の流れに沿って、本実施形態に係る撮影準備処理及び撮影処理について説明する。本実施形態では、撮影処理を行う前の準備段階として、撮影準備処理を行うものとする。ただし、撮影準備処理は検査毎に行われる必要はなく、過去の検査の設定等を用いる場合には適宜省略されてもよい。

＜撮影準備処理＞
　まず、図２乃至図４を参照して、本実施形態に係る撮影準備処理及び画像処理について説明する。図２は、本実施形態に係る撮影プロトコル設定画面２００の一例を示す。撮影プロトコル設定画面２００は、表示制御部１０５の制御に従って表示部１５０によって表示されることができる。本実施形態に係る撮影準備処理では、ユーザは操作部１６０を操作し、図２に示すような撮影プロトコル設定画面２００で撮影プロトコルの設定を行う。

　ここでは、説明の便宜上、左手の撮影プロトコルの設定を行う例について説明する。左手の撮影プロトコル設定画面２００では、光学画像と放射線画像を表示部１５０に表示する際の、光学画像及び放射線画像における被写体の向きを設定することができる。ユーザは、操作部１６０を介して、表示する被写体の向き２０２に対応するラジオボタン２０１を指定し、ＯＫボタン２０３を押下することで、光学画像及び放射線画像における被写体の向きを設定することができる。このように設定された撮影プロトコルは、記憶部１０６に記憶される。

　本実施形態に係る撮影処理では、このように設定された撮影プロトコルに基づいて、画像処理部１０３が、設定された向きに対応するように、光学画像及び放射線画像に画像処理を施す。以下、本実施形態に係る画像処理について説明する。

［光学画像の画像処理］
　ここでは、図３及び図４を参照して、光学画像の画像処理について説明する。図３は、本実施形態に係る光学画像の画像処理の手順の一例を示すフローチャートである。本実施形態に係る光学画像の画像処理では、画像処理部１０３は、光学画像における被写体の向きを認識し、光学画像における被写体が、撮影プロトコルに関連付けて設定された被写体の向きを向くように光学画像に画像処理を施す。以下、撮影プロトコルの設定と同様に、被写体が左手である例について説明する。

　まず、ステップＳ３００において、画像処理部１０３は、カメラ１３０により取得された光学画像における被写体である左手の指先、指の付け根、及び手首の位置を推定する。例えば、図４に示すような左手４００の光学画像が取得された場合、画像処理部１０３は、指先（４０３，４０５，４０７，４０９，４１１）、指の付け根（４０２，４０４，４０６，４０８，４１０）、及び手首（４０１）の位置を推定する。なお、これらの位置に関する座標系はスクリーン座標系とし、図４の例では、光学画像が表示されるスクリーンの左上を座標系の原点とする。なお、座標系に関しては所望の構成に応じて任意に設定されてよい。

　ここで、画像処理部１０３は、光学画像に対して、被写体の構造に関する規則性等に基づいたルールベースの処理により指先等の位置を推定してよい。例えば、画像処理部１０３は、光学画像に対して公知のエッジ抽出処理等を行って特徴点を抽出し、当該特徴点及び手の構造に関する規則性等に基づいて指先等の位置を推定してよい。

　また、画像処理部１０３は、機械学習により得られた学習済モデルを用いて、光学画像から指先等の位置を推定してもよい。なお、この場合の学習済モデルは、光学画像を入力データとし、光学画像における指先、指の付け根、及び手首の位置を示す情報を出力データとして含む学習データを用いて得られてよい。光学画像における指先、指の付け根、及び手首の位置を示す情報は、例えば、医師等によって光学画像に対応付けて生成されてよく、例えば、各部位の位置を示す座標や光学画像における各部位を示すラベルが付されたラベル画像として生成されてよい。

　学習済モデルを用いる場合には、制御装置１００が、指先の位置等の認識処理に用いる学習済モデルの学習を行う学習部の一例として機能するが、画像処理部１０３は、他の学習装置等により学習が行われた学習済モデルを用いてもよい。なお、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような機械学習アルゴリズムを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本実施形態では、学習部の一例として機能する制御装置１００による処理には、ＣＰＵに加えてＧＰＵを用いてもよい。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行うことができる。なお、学習部の処理では、ＣＰＵ又はＧＰＵのみにより演算が行われてもよい。また、本実施形態に係る推定処理についても、学習部と同様にＧＰＵを用いて実現してもよい。なお、学習済モデルが外部装置に設けられている場合には、制御装置１００は学習部として機能しなくてもよい。

　また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

　なお、本実施形態に係る機械学習モデルとしては、例えば、ＦＣＮ（Ｆｕｌｌｙ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることもできる。また、物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ　ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、ＹＯＬＯ（Ｙｏｕ　Ｏｎｌｙ　Ｌｏｏｋ　Ｏｎｃｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ　Ｓｈｏｔ　Ｄｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅ　Ｓｈｏｔ　ＭｕｌｔｉＢｏｘ　Ｄｅｔｅｃｔｏｒ）を用いることもできる。

　次に、ステップＳ３０１において、画像処理部１０３は、手首４０１の位置から最も離れている指先の位置を取得する。具体的には、画像処理部１０３は、指先４０３，４０５，４０７，４０９，４１１と手首４０１の２点間の距離を求め、最も値が大きい指先の位置を取得する。図４に示す例では、画像処理部１０３は、手首４０１の位置から最も離れている指先の位置として、指先４０７の位置を取得する。

　ステップＳ３０２において、画像処理部１０３は、ステップＳ３０１で取得した指先４０７の位置と手首４０１の位置との中点の位置を求める。具体的には、画像処理部１０３は、手首４０１のＸ座標と指先４０７のＸ座標を加算し、加算結果を２で割った値を中点のＸ座標とする。また、画像処理部１０３は、手首４０１のＹ座標と指先４０７のＹ座標を加算し、加算結果を２で割った値を中点のＹ座標とする。図４に示す例では、画像処理部１０３は、ステップＳ３０１で取得した指先４０７の位置と手首４０１の位置との中点の位置として、中点４１２の位置を取得する。

　ステップＳ３０３において、画像処理部１０３は、ステップＳ３０２で求めた中点４１２の位置から最も近い指の付け根の位置を取得する。具体的には、画像処理部１０３は、中点４１２と指の付け根４０２，４０４，４０６，４０８，４１０との２点間の距離を求め、距離の値が最も小さい指の付け根の位置を取得する。図４に示す例では、画像処理部１０３は、ステップＳ３０２で求めた中点４１２の位置から最も近い指の付け根の位置として、指の付け根４０６の位置を取得する。

　ステップＳ３０４では、画像処理部１０３は、ステップＳ３０３で取得した指の付け根４０６の位置と手首４０１の位置との中点の位置を求める。具体的には、画像処理部１０３は、手首４０１のＸ座標と指の付け根４０６のＸ座標を加算し、加算結果を２で割った値を中点のＸ座標とする。また、手首４０１のＹ座標と指の付け根４０６のＹ座標を加算し、加算結果を２で割った値を中点のＹ座標とする。図４に示す例では、画像処理部１０３は、ステップＳ３０３で取得した指の付け根４０６の位置と手首４０１の位置との中点の位置として、中点４１３の位置を取得する。

　ステップＳ３０５では、ステップＳ３０４で取得した中点４１３の位置を軸として、前述の撮影準備処理において設定された被写体の向きに従って光学画像を回転させる。なお、光学画像を回転させるときには、ステップＳ３０１で取得した指先４０７のＹ座標が最も０に近くなる（最も小さくなる）被写体の向きを「指の方向が上」の向きとし、Ｙ座標が最も大きくなる被写体の向きを「指の方向が下」の向きとすることができる。また、ステップＳ３０１で取得した指先４０７のＸ座標が最も０に近くなる（最も小さくなる）被写体の向きを「指の方向が左」、Ｘ座標が最も大きくなる被写体の向きを「指の方向が右」とすることができる。画像処理部１０３は、ステップＳ３０５における処理が終了したら、画像処理を終了する。

［放射線画像の画像処理］
　本実施形態に係る放射線画像の画像処理は、光学画像の画像処理と同様の処理であってよい。そのため、処理対象が光学画像から放射線画像となる点を除き、上記ステップＳ３００～ステップＳ３０５の処理と同様の処理を画像処理部１０３が放射線画像に対して行う。より具体的には、画像処理部１０３は、放射線画像における被写体の向きを認識し、放射線画像における被写体が、撮影プロトコルに関連付けて設定された被写体の向きを向くように放射線画像に画像処理を施す。なお、各ステップの詳細は、上記ステップＳ３００～ステップＳ３０５と同様であるため説明を省略する。

　なお、画像処理部１０３が機械学習により得られた学習済モデルを用いて放射線画像から指先等の位置を推定する場合の学習済モデルは、放射線画像を学習データに用いて生成されることができる。具体的には、この場合の学習済モデルは、放射線画像を入力データとし、放射線画像における指先、指の付け根、及び手首の位置を示す情報を出力データとして含む学習データを用いて得られてよい。放射線画像における指先、指の付け根、及び手首の位置を示す情報は、例えば、医師等によって放射線画像に対応付けて生成されてよく、例えば、各部位の位置を示す座標や放射線画像における各部位を示すラベルが付されたラベル画像として生成されてよい。なお、この場合も、制御装置１００が、被写体の指先等の位置を推定するための学習済モデルの学習を行う学習部の一例として機能するが、画像処理部１０３は、他の学習装置等により学習が行われた学習済モデルを用いてもよい。

　なお、本実施形態に係る被写体の向きを推定・認識する処理の具体的な方法は上記の方法に限られず、公知の任意の方法が用いられてよい。例えば、画像処理部１０３は、光学画像を入力データとし、光学画像における被写体の向きを示す情報を出力データとして含む学習データを用いた学習済モデルを用いて、光学画像から被写体の向きを認識してもよい。同様に、画像処理部１０３は、放射線画像を入力データとし、放射線画像における被写体の向きを示す情報を出力データとして含む学習データを用いた学習済モデルを用いて、放射線画像から被写体の向きを認識してもよい。なお、これらの場合も、制御装置１００が、被写体の向きを認識するための学習済モデルの学習を行う学習部の一例として機能するが、画像処理部１０３は、他の学習装置等により学習が行われた学習済モデルを用いてもよい。

　また、画像の回転軸を決定する方法も上記の方法に限られない。例えば、画像処理部１０３は、画像の中心を画像の回転軸として決定してもよい。

　なお、画像処理とは、上記で説明したように被写体の向きを識別し、画像内の被写体の向きが指定した向きとなるように画像を回転させるようなものや、予め回転角度を数値指定し回転させるもの、画像の一部の抽出を行うものであってもよい。また、画像処理には、画像の拡縮を行う処理が含まれてもよい。

　なお、光学画像と放射線画像に施す画像処理は同一の内容でなくてもよい。例えば、光学画像の画像処理として回転処理と拡大処理を設定しておき、放射線画像の画像処理として回転処理のみを設定してもよい。ただし、光学画像に対する画像処理と放射線画像に対する画像処理は、画像処理が施された光学画像及び放射線画像の見え方を互いに対応させるような処理とすることができる。

＜撮影処理＞
　以下、図５を参照して、本実施形態に係る撮影処理を行う手順を説明する。図５は、本実施形態の撮影処理の手順の一例を示すフローチャートである。まず、ステップＳ５００において、取得部１０１は、操作部１６０を介して入力されたユーザからの操作情報を取得し、操作情報に基づいて撮影プロトコルを選択する。以下では、左手用の撮影プロトコルが選択された例について説明する。本実施形態では、撮影プロトコルが選択されることで、被写体の検査が開始される。

　続いて、ステップＳ５０１において、ユーザは、被写体である患者の左手が光学画像及び放射線画像に写るように、被写体のポジショニングを行う。なお、被写体のポジショニングは、所望の撮影条件に応じた立位、臥位、又は座位等の撮影体位で行われてよい。

　ステップＳ５０２では、制御部１０４がカメラ１３０による撮影を制御し、取得部１０１がカメラ１３０から被写体を含む光学画像を取得する。当該説明の例では、取得部１０１は、ポジショニングされた患者の左手を撮影した光学画像を取得する。

　ステップＳ５０３では、画像処理部１０３は、光学画像に対して行う画像処理を、ステップＳ５００で選択された撮影プロトコルに基づいて決定する。具体的には、画像処理部１０３は、記憶部１０６に記憶されている、撮影準備処理において設定された撮影プロトコルに基づく画像処理を、光学画像に対して実行する画像処理として決定する。当該説明の例では、画像処理部１０３は、左手の撮影プロトコルの設定に基づいて、光学画像における左手の指先が上を向くように、光学画像を回転させる画像処理を決定する。

　ステップＳ５０４では、画像処理部１０３は、ステップＳ５０２で取得された光学画像に対して、ステップＳ５０３で決定された画像処理を施す。当該説明の例では、画像処理部１０３は、ステップＳ３００～ステップＳ３０５で説明した手順により、光学画像における左手の指先が上を向くように、光学画像を回転させる画像処理を実行する。

　ステップＳ５０５において、表示制御部１０５は、画像処理が施された光学画像を表示部１５０に表示させる。これにより、ユーザは被写体のポジショニングに問題がないかを確認することができる。ユーザは、被写体のポジショニングに問題が無ければ、放射線照射スイッチ（不図示）の押下等により、放射線撮影の指示を制御装置１００に入力することができる。

　ステップＳ５０６では、制御部１０４は、入力された放射線撮影の指示に従い、放射線発生装置１２０を制御し、管球１２１により被写体に向けて放射線を照射させ、放射線撮影装置１１０により当該被写体を透過した放射線を検出させる。その後、取得部１０１は、放射線撮影装置１１０により撮影された、被写体を含む放射線画像を取得する。当該説明の例では、取得部１０１は、患者の左手を撮影した放射線画像を取得する。

　ステップＳ５０７では、画像処理部１０３は、ステップＳ５０３と同様に、放射線画像に対して行う画像処理を、ステップＳ５００で選択された撮影プロトコルに基づいて決定する。具体的には、画像処理部１０３は、記憶部１０６に記憶されている、撮影準備処理において設定された撮影プロトコルに基づく画像処理を、放射線画像に対して実行する画像処理として決定する。当該説明の例では、画像処理部１０３は、左手の撮影プロトコルの設定に基づいて、放射線画像における左手の指先が上を向くように、放射線画像を回転させる画像処理を決定する。

　ステップＳ５０８では、画像処理部１０３は、ステップＳ５０６で取得された放射線画像に対して、ステップＳ５０７で決定された画像処理を施す。当該説明の例では、画像処理部１０３は、ステップＳ３００～ステップＳ３０５で説明した手順と同様の手順により、放射線画像における左手の指先が上を向くように、放射線画像を回転させる画像処理を実行する。

　ステップＳ５０９では、表示制御部１０５が、画像処理を施された放射線画像を表示部１５０に表示させる。これにより、ユーザは、光学画像及び放射線画像が互いに対応する態様で光学画像及び放射線画像を確認し、放射線撮影時の被写体の位置決めが適切に行われていたかを容易に判断することができる。制御装置１００は、ステップＳ５０９における処理が終了したら撮影処理を終了する。

　ここでは、左手用の撮影プロトコルを例に説明したが、選択される撮影プロトコルは、これに限定されない。例えば、右手、左足、右足、胸部、頭部、又は腹部などの撮影プロトコルが選択されてもよい。これらの撮影プロトコルについても、撮影準備処理により、光学画像と放射線画像を表示部１５０に表示する際の、光学画像及び放射線画像における被写体の向きを設定することができる。なお、被写体の向きや被写体の部位を認識するための学習済モデルは、撮影部位毎や撮影プロトコル毎に用意されてもよい。この場合、画像処理部１０３は、撮影部位や撮影プロトコルに応じて学習済モデルを選択して画像処理に用いることができる。

　上記のように、本実施形態に係る放射線撮影システムは、被写体を光学撮影する光学撮影装置の一例として機能するカメラ１３０と、被写体を放射線撮影する放射線撮影装置１１０と、画像処理装置の一例として機能する制御装置１００とを備える。制御装置１００は、取得部１０１と、画像処理部１０３とを備える。取得部１０１は、被写体を光学撮影した光学画像と、該被写体を放射線撮影した放射線画像とを取得する。画像処理部１０３は、光学画像及び放射線画像が互いに対応するように、光学画像及び放射線画像に対して、回転処理、抽出処理、及び拡縮処理のうち少なくとも一つを含む画像処理を実行する。

　このような構成により、本実施形態に係る制御装置１００は、光学画像及び放射線画像が互いに対応するように、光学画像及び放射線画像に画像処理を行うことができる。そのため、制御装置１００は、光学画像と放射線画像の見え方を対応させることができ、ユーザが確認しやすい画像を提供して、患者に動いてもらう必要性や画像を調整する等の作業の必要性を低減させ、患者とユーザの負担を軽減することができる。

　また、制御装置１００は、被写体の撮影に関する撮影プロトコルを選択する選択部１０２を更に備える。画像処理部１０３は、光学画像及び放射線画像が互いに対応するように、光学画像及び放射線画像に対して、撮影プロトコルに応じた画像処理を実行することができる。この場合には、制御装置１００は、撮影プロトコルに応じた画像処理を行うことで、より撮影の目的や手順に即した画像処理を行うことができ、ユーザがより確認し易い画像を提供することができる。

　さらに、画像処理部１０３は、光学画像における被写体の向きを認識し、光学画像における被写体が所定の向きを向くように、光学画像に対して画像処理を実行することができる。また、画像処理部１０３は、放射線画像における被写体の向きを認識し、放射線画像における被写体が所定の向きを向くように、放射線画像に対して画像処理を実行することができる。このような構成によれば、制御装置１００は、患者の向きによらず画像における被写体が所望の向きを向くように画像処理を行うことができる。そのため、制御装置１００は、被写体の位置決めの際に光学画像が確認しづらいことに起因した、患者に動いてもらう必要性や画像を調整する等の作業の必要性を低減させ、患者とユーザの負担を軽減することができる。また、制御装置１００は、被写体が所望の向きを向くように画像処理を行うことができるため、放射線撮影システムの利便性を向上させることができる。

　また、画像処理部１０３は、被写体が人の手である場合には、光学画像及び放射線画像における被写体の指先及び手首の位置を推定することができる。この場合、画像処理部１０３は、光学画像における被写体の指先及び手首の位置に基づいて、光学画像における被写体の向きを認識することができる。さらに、画像処理部１０３は、放射線画像における被写体の指先及び手首の位置に基づいて、放射線画像における被写体の向きを認識することができる。このような構成により、画像処理部１０３は、光学画像や放射線画像における被写体の向きを認識することができる。

　さらに、画像処理部１０３は、被写体が人の手である場合には、光学画像及び放射線画像における被写体の指の付け根の位置を更に推定することができる。この場合には、画像処理部１０３は、光学画像における被写体の指先、指の付け根、及び手首の位置に基づいて、光学画像の回転軸を取得し、該回転軸を中心として光学画像に対して回転処理を行うことができる。また、画像処理部１０３は、放射線画像における被写体の指先、指の付け根、及び手首の位置に基づいて、放射線画像の回転軸を取得し、該回転軸を中心として放射線画像に対して回転処理を行うことができる。このような構成によれば、制御装置１００は、手を写す画像についてより適切な回転軸を決定し、回転処理を行うことができる。

　また、画像処理部１０３は、光学画像と、光学画像における被写体の向きを示す情報とを含む学習データを用いて得た学習済モデルに取得した光学画像を入力して得た該学習済モデルからの出力を用いて、取得した光学画像における被写体の向きを認識できる。さらに、画像処理部１０３は、放射線画像と、放射線画像における被写体の向きを示す情報とを含む学習データを用いて得た学習済モデルに取得した放射線画像を入力して得た該学習済モデルからの出力を用いて、取得した放射線画像における被写体の向きを認識できる。このような構成でも、画像処理部１０３は、光学画像や放射線画像における被写体の向きを認識することができる。

　なお、本実施形態では、取得部１０１が、光学画像及び放射線画像を取得した。これに対し、光学画像を取得する光学画像取得部と、放射線画像を取得する放射線画像取得部を別々に設けてもよい。この場合、取得部１０１は、光学画像取得部及び放射線画像取得部を包括する構成要素として設けられてよい。同様に、画像処理部１０３は、光学画像及び放射線画像に対して画像処理を行った。これに対し、光学画像に対して画像処理を行う光学画像処理部と、放射線画像に対して画像処理を行う放射線画像処理部とを別々に設けてもよい。この場合、画像処理部１０３は、光学画像処理部及び放射線画像処理部を包括する構成要素として設けられてよい。

　また、本実施形態では、取得部１０１は、放射線撮影装置１１０やカメラ１３０から放射線画像や光学画像を取得した。これに対し、取得部１０１は、制御装置１００に任意のネットワークを介して接続された不図示の撮影装置やサーバ等からこれら画像等を取得してもよい。この場合、放射線画像及び光学画像は、被写体が同じ撮影姿勢をとっている限り、それぞれ取得時間が前後してもよい。

　なお、本実施形態では、画像処理部１０３は、撮影プロトコルに関連付けられた被写体の向きの設定に基づいて、光学画像及び放射線画像の回転処理を行った。これに対して、画像処理部１０３は、光学画像における被写体の向き及び放射線画像における被写体の向きのうち一方の向きが他方の向きを向くように、光学画像及び放射線画像の少なくとも一方に対して画像処理を行ってもよい。ここで、当該他方の画像は、画像処理が行われていない画像であってもよいし、撮影プロトコルに関連付けられた被写体の向きの設定に基づいて回転処理等の画像処理が行われた画像であってもよい。

　例えば、画像処理部１０３は、光学画像及び放射線画像における被写体の向きを認識し、放射線画像における被写体の向きが光学画像における被写体の向きを向くように、放射線画像に対して回転処理等の画像処理を行ってもよい。同様に、画像処理部１０３は、光学画像及び放射線画像における被写体の向きを認識し、光学画像における被写体の向きが放射線画像における被写体の向きを向くように、光学画像に対して回転処理等の画像処理を行ってもよい。この場合、光学画像の画像処理及び画像処理後の光学画像の表示処理は、放射線画像の取得後に行われてよい。

　上記のような構成でも、制御装置１００は、光学画像と放射線画像の見え方を対応させることができ、ユーザが確認しやすい画像を提供して、患者に動いてもらう必要性や画像を調整する等の作業の必要性を低減させ、患者とユーザの負担を軽減することができる。なお、光学画像及び放射線画像における被写体の向きの認識方法は、上述した方法と同様の方法であってよい。

（第２の実施形態）
　第１の実施形態では、光学画像及び放射線画像に対して画像処理を常に適用していた。これに対し、本開示の第２の実施形態では、特定の条件に基づいて画像処理を行う例について説明する。以下、図６及び図７を参照して、本実施形態に係る放射線撮影システム、画像処理装置、及び画像処理方法について説明する。なお、第１の実施形態と同様の構成、機能、及び動作についての説明は省略し、主に本実施形態と第１の実施形態の差異について説明する。

＜放射線撮影システムの構成＞
　図６は、本実施形態に係る放射線撮影システムの概略構成の一例を示す。本実施形態に係る制御装置６００には、第１の実施形態に係る制御装置１００の構成に加えて、部位認識部６０７及び部位比較部６０８が設けられている。

　部位認識部６０７は、カメラ１３０により取得された光学画像に写る撮影部位を認識する。部位認識部６０７は、公知の任意の方法により光学画像に写る撮影部位を認識してよい。例えば、部位認識部６０７は、被写体の構造に関する規則性等に基づいたルールベースの処理により、光学画像に写る撮影部位を認識してよい。この場合、部位認識部６０７は、例えば、光学画像に対して公知のエッジ抽出処理等を行って特徴点を抽出し、当該特徴点及び各撮影部位の構造に関する規則性等に基づいて撮影部位を認識してよい。

　また、部位認識部６０７は、機械学習により得られた学習済モデルを用いて、光学画像に写る撮影部位を認識してよい。この場合の学習済モデルは、光学画像を入力データとし、光学画像に写る撮影部位を示す情報を出力データとして含む学習データを用いて得られてよい。光学画像における撮影部位を示す情報は、例えば、医師等によって光学画像に対応付けて生成されてよい。なお、学習済モデルを用いる場合には、制御装置６００が、撮影部位の認識処理に用いる学習済モデルの学習を行う学習部の一例として機能するが、部位認識部６０７は、他の学習装置等により学習が行われた学習済モデルを用いてもよい。

　部位比較部６０８は、部位認識部６０７で認識した撮影部位と、撮影プロトコルに関連付けられた撮影部位を示す部位情報とを比較する。

＜撮影処理＞
　次に、図７を参照して、本実施形態に係る撮影処理の手順について説明する。図７は本実施形態の撮影処理の手順の一例を示すフローチャートである。なお、本実施形態に係る撮影準備処理は、第１の実施形態に係る撮影準備処理と同様であるため、説明を省略する。

　本実施形態に係るステップＳ７００～ステップＳ７０２の処理は、第１の実施形態に係るステップＳ５００～ステップＳ５０２の処理と同様であるため、説明を省略する。ステップＳ７０２において、取得部１０１が光学画像を取得すると、処理はステップＳ７０３に移行する。ステップＳ７０３では、部位認識部６０７が、光学画像に写る被写体の撮影部位を認識し、認識結果を部位比較部６０８に出力する。

　ステップＳ７０４において、部位比較部６０８は、ステップＳ７００で選択された撮影プロトコルに関連付けられた部位情報を記憶部１０６から取得する。なお、部位比較部６０８は、撮影プロトコルに関連付けられた部位情報を、制御装置６００に接続された不図示のサーバ等の外部記憶装置から取得してもよい。

　ステップＳ７０５において、部位比較部６０８は、ステップＳ７０３で認識された撮影部位と、ステップＳ７０４で取得した部位情報を比較し、これらが一致するか否かを判定する。ステップＳ７０５において、撮影部位と部位情報が一致すると判定された場合には、処理はステップＳ７０６に移行する。ステップＳ７０６～ステップＳ７１２の処理は、第１の実施形態に係るステップＳ５０３～ステップＳ５０９の処理と同様であるため、説明を省略する。

　一方で、ステップＳ７０５において、撮影部位と部位情報が一致しないと判定された場合には、処理はステップＳ７１３に移行する。ステップＳ７１３では、表示制御部１０５が、表示部１５０に撮影部位と撮影プロトコルの部位情報が一致しない旨を伝えるダイアログ等の警告を表示させる。警告には、例えば、被写体の姿勢の修正や撮影部位の変更を促す旨が含まれてよい。ステップＳ７１３で警告が表示されると、本実施形態に係る撮影処理が終了する。そのため、本実施形態では、撮影部位と部位情報が一致していない場合には、画像処理部１０３が光学画像に対して画像処理を実行せずに、撮影処理が終了する。また、この場合には、取得部１０１が放射線画像を取得せずに、撮影処理が終了する。

　上記のように、本実施形態に係る制御装置６００は、部位認識部６０７と、部位比較部６０８とを備える。部位認識部６０７は、光学画像から被写体の撮影部位を認識する認識部の一例として機能する。部位比較部６０８は、認識された撮影部位と撮影プロトコルに関連付けられた被写体の撮影部位を示す部位情報とが一致するかを判定する判定部の一例として機能する。画像処理部１０３は、認識された撮影部位と部位情報が一致しないと判定された場合に、光学画像に対して、画像処理を実行しない。

　このような構成によれば、制御装置６００は、光学画像に写っている撮影部位が、撮影対象となる撮影部位と異なる場合に、画像処理を行わないことで、処理の負荷を低減させることができる。また、認識された撮影部位と部位情報が一致しないと判定された場合に、取得部１０１は放射線画像を取得しない。このような構成によれば、光学画像に写っている撮影部位が、撮影対象となる撮影部位と異なる場合には、放射線撮影を行わないことで、被写体の不必要な放射線被ばくを防止することができる。

　また、制御装置６００は、認識された撮影部位と部位情報とが一致しないと判定された場合に、表示部１５０に警告を表示させる表示制御部１０５を更に備える。この場合、ユーザは警告に基づいて、被写体の位置合わせを再度行うことができ、ワークフローを改善できる。

　なお、部位認識部６０７は、光学画像と、光学画像における被写体の撮影部位を示す情報とを含む学習データを用いて得た学習済モデルに取得した光学画像を入力して得た該学習済モデルからの出力を用いて、取得した光学画像における被写体の撮影部位を認識することができる。この場合には、制御装置６００は、精度の高い認識結果を取得することができ、より正確な撮影部位に関する判定処理を行うことができる。

　なお、撮影部位の認識処理に関しては、光学画像に含まれる特徴部を多くすることで、認識処理の精度を高められると期待できる。そのため、部位認識部６０７は撮影部位の認識処理の精度を上げるために被写体の全体像が写った光学画像を用いることができる。これに対し、ユーザが光学画像を確認する際には、撮影部位にフォーカスした光学画像が望まれる場合がある。このため、部位認識部６０７で用いる光学画像と、画像処理部１０３で処理し、表示制御部１０５が表示部１５０に表示させる光学画像とで別々の光学画像を用いてもよい。また、画像処理部１０３が、部位認識部６０７で用いた光学画像に対して、光学画像における撮影部位の領域を抽出する画像処理を行ってもよい。

（第３の実施形態）
　第１の実施形態では、カメラ１３０及び放射線撮影装置１１０により取得された画像の解析結果に基づいて、光学画像及び放射線画像に対して画像処理を実行した。これに対して、本開示の第３の実施形態では、画像を解析することなく、予め設定された見え方となるように光学画像及び放射線画像に対して画像処理を実行する例について説明する。なお、本実施形態では、光学撮影装置は、撮影準備処理から撮影処理まで同じ状態を維持するものとする。一方で、放射線撮影装置は、撮影準備処理から撮影処理までの間で角度を変えた配置が行われてもよいものとし、放射線画像については、放射線撮影装置の角度情報に基づく画像処理を行うものとする。

　以下、図８乃至図１３を参照して、本実施形態に係る放射線撮影システム、画像処理装置、及び画像処理方法について説明する。なお、第１の実施形態と同様の構成、機能、及び動作についての説明は省略し、主に本実施形態と第１の実施形態との差異について説明する。

＜放射線撮影システムの構成＞
　図８は、本実施形態に係る放射線撮影システムの概略構成の一例を示す。本実施形態に係る放射線撮影装置１１０には、角度検知部１１１が追加で設けられている。角度検知部１１１は、放射線撮影装置１１０のロール・ピッチ・ヨーの角度を計測でき、ネットワーク１４０を介して計測結果を制御装置８００等に送信することができる。角度検知部１１１は、角度センサ、加速度センサ又はその他手段を含むことができる。また、角度検知部１１１は、それらを組み合わせたものを含んでもよい。

　本実施形態に係る制御装置８００には、第１の実施形態に係る制御装置１００の構成に加えて、角度比較部８０７が設けられている。角度比較部８０７は、角度検知部１１１によって検知された検知角度と、撮影プロトコルに関連付けられた放射線撮影装置１１０の設定角度とを比較することができる。

＜撮影準備処理＞
　図９は、本実施形態に係る光学画像に関する撮影プロトコルの設定画面の一例を示す。図１０は、本実施形態に係る放射線画像に関する撮影プロトコルの設定画面の一例を示す。また、図１１は、本実施形態に係る光学画像に関する撮影準備処理の手順の一例を示すフローチャートである。図１２は、本実施形態に係る放射線画像に関する撮影準備処理の手順の一例を示すフローチャートである。以下、各設定画面及びフローチャートを参照し、本実施形態に係る撮影準備処理について説明を行う。

　まず、図９及び図１１を参照して、光学画像の撮影プロトコルに関する設定を行う撮影準備処理について説明する。ステップＳ１１００では、取得部１０１が、操作部１６０を介して入力されたユーザによる操作情報を取得し、表示制御部１０５が、操作情報に基づいて、光学画像の撮影プロトコル設定画面９００を表示部１５０に表示させる。ここでは、説明の便宜上、左手の撮影プロトコルの設定を例に挙げる。光学画像の撮影プロトコル設定画面９００では、撮影プロトコルを選択し検査を開始した際に、カメラ１３０を用いて取得された光学画像に施す画像処理を予め設定することができる。

　ステップＳ１１０１では、ユーザが、光学画像に被写体のファントム（模型）が写るように、ファントムのポジショニングを行う。当該説明の例では、ユーザは左手のファントムのポジショニングを行う。

　ステップＳ１１０２では、制御部１０４がカメラ１３０による撮影を制御し、取得部１０１がカメラ１３０からファントムを含む光学画像を取得する。当該説明の例では、取得部１０１は、ポジショニングされた左手のファントムを撮影した光学画像を取得する。

　ステップＳ１１０３では、表示制御部１０５が、取得された光学画像を表示部１５０に表示させる。この際、表示制御部１０５は、撮影プロトコル設定画面９００における光学画像表示領域９０１に、取得された光学画像を表示させる。

　ステップＳ１１０４では、ユーザが光学画像表示領域９０１に表示された光学画像を確認し、光学画像に写ったファントムの像を見ながら、所望の表示になるように右回転ボタン９０２又は左回転ボタン９０３を押す。取得部１０１は、当該ユーザによる操作情報を取得し、画像処理部１０３は操作情報に基づいて光学画像に対して回転処理を行い、光学画像の角度調整を行う。表示制御部１０５は、操作情報に基づいて随時更新される光学画像を光学画像表示領域９０１に表示させる。

　ステップＳ１１０５では、制御装置８００は、角度調整が完了したか否かを判定する。制御装置８００は、取得部１０１によって、ＯＫボタン９０４が押下されたことを示す操作情報が取得されたら、角度調整が完了したと判定する。ステップＳ１１０５において、角度調整が完了したと判定された場合には、処理はステップＳ１１０６に移行する。一方で、ステップＳ１１０５において、取得部１０１によって、ＯＫボタン９０４が押下されたことを示す操作情報が取得されない場合には、制御装置８００は、角度調整が完了していないと判定して、処理をステップＳ１１０４に戻す。

　ステップＳ１１０６では、制御装置８００は、角度調整が完了した際の光学画像の回転角度を撮影プロトコルと関連付けて記憶部１０６に記憶させる。制御装置８００は、ステップＳ１１０６における処理が終了したら、撮影準備処理である光学画像の撮影プロトコルの設定処理を終了する。

　次に、図１０及び図１２を参照して、放射線画像の撮影プロトコルに関する設定を行う撮影準備処理について説明する。ステップＳ１２００では、取得部１０１が、操作部１６０を介して入力されたユーザによる操作情報を取得し、表示制御部１０５が、操作情報に基づいて、放射線画像の撮影プロトコル設定画面１０００を表示部１５０に表示させる。ここでは、説明の便宜上、左手の撮影プロトコルの設定を例に挙げる。放射線画像の撮影プロトコル設定画面１０００では、撮影プロトコルを選択し検査を開始した際に、放射線撮影装置１１０を用いて取得された放射線画像に施す放射線画像処理を予め設定することができる。なお、当該設定された放射線画像処理は、前述の光学画像処理と対応づけて記憶部１０６に記憶させることができる。

　ステップＳ１２０１では、ユーザが、放射線画像に被写体のファントムが写るように、ファントムのポジショニングを行う。当該説明の例では、ユーザは左手のファントムのポジショニングを行う。

　ステップＳ１２０２では、制御部１０４は、入力された放射線撮影の指示に従い、放射線発生装置１２０を制御して、管球１２１により被写体に向けて放射線を照射させ、放射線撮影装置１１０により当該被写体を透過した放射線を検出させる。その後、取得部１０１は、放射線撮影装置１１０により撮影された、ファントムを含む放射線画像を取得する。当該説明の例では、取得部１０１は、左手のファントムを撮影した放射線画像を取得する。

　ステップＳ１２０３では、表示制御部１０５が、取得された放射線画像を表示部１５０に表示させる。この際、表示制御部１０５は、撮影プロトコル設定画面１０００における放射線画像表示領域１００１に、取得された放射線画像を表示させる。

　ステップＳ１２０４では、ユーザが放射線画像表示領域１００１に表示された放射線画像を確認し、放射線画像に写ったファントムの像を見ながら、所望の表示になるように右回転ボタン１００２又は左回転ボタン１００３を押す。取得部１０１は、当該ユーザによる操作情報を取得し、画像処理部１０３は操作情報に基づいて放射線画像に対して回転処理を行い、放射線画像の角度調整を行う。表示制御部１０５は、操作情報に基づいて随時更新される放射線画像を放射線画像表示領域１００１に表示させる。

　ステップＳ１２０５では、制御装置８００は、角度調整が完了したか否かを判定する。制御装置８００は、取得部１０１によって、ＯＫボタン１００４が押下されたことを示す操作情報が取得されたら、角度調整が完了したと判定する。ステップＳ１２０５において、角度調整が完了したと判定された場合には、処理はステップＳ１２０６に移行する。一方で、ステップＳ１２０５において、取得部１０１によって、ＯＫボタン１００４が押下されたことを示す操作情報が取得されない場合には、制御装置８００は、角度調整が完了していないと判定して、処理をステップＳ１２０４に戻す。

　ステップＳ１２０６において、制御装置８００は、角度調整が完了した際の放射線画像の回転角度を撮影プロトコルと関連付けて記憶部１０６に記憶させる。これにより、放射線画像の画像処理は、光学画像の画像処理と対応付けて記憶部１０６に記憶されることができる。

　ステップＳ１２０７において、角度検知部１１１は、角度調整が完了した際に検知した放射線撮影装置１１０の角度（ヨー・ピッチ・ロール角）を撮影プロトコルと関連付けて記憶部１０６に記憶させる。制御装置８００は、ステップＳ１２０７における処理が終了したら、撮影準備処理である放射線画像の撮影プロトコルの設定処理を終了する。

＜撮影処理＞
　次に、図１３を参照して、本実施形態に係る撮影処理の手順について説明する。図１３は本実施形態の撮影処理の手順の一例を示すフローチャートである。

　本実施形態に係るステップＳ１３００～ステップＳ１３０２の処理は、第１の実施形態に係るステップＳ５００～ステップＳ５０２の処理と同様であるため、説明を省略する。ステップＳ１３０２において、取得部１０１が光学画像を取得すると、処理はステップＳ１３０３に移行する。

　ステップＳ１３０３では、画像処理部１０３は、光学画像に対して行う画像処理を、ステップＳ１３００で選択された撮影プロトコルに基づいて決定する。具体的には、画像処理部１０３は、記憶部１０６に記憶されている、撮影準備処理において設定された光学画像の撮影プロトコルに基づく画像処理を、光学画像に対して実行する画像処理として決定する。当該説明の例では、画像処理部１０３は、左手の撮影プロトコルの設定に基づいて、撮影準備処理において調整され、撮影プロトコルに関連付けて記憶された回転角度だけ、光学画像を回転させる画像処理を決定する。

　ステップＳ１３０４では、画像処理部１０３は、ステップＳ１３０２で取得された光学画像に対して、ステップＳ１３０３で決定された画像処理を施す。当該説明の例では、撮影準備処理において調整された回転角度だけ、光学画像を回転させる画像処理を実行する。

　ステップＳ１３０５及びステップＳ１３０６の処理は、第１の実施形態に係るステップＳ５０５及びステップＳ５０６の処理と同様であるため、説明を省略する。ステップＳ１３０６において、取得部１０１が放射線画像を取得すると、処理はステップＳ１３０７に移行する。

　ステップＳ１３０７では、取得部１０１が、放射線撮影装置１１０の角度検知部１１１から、ステップＳ１３０６で取得された放射線画像を撮影した際に検知した放射線撮影装置１１０の検知角度（ヨー・ピッチ・ロール角）を取得する。

　ステップＳ１３０８では、角度比較部８０７が、撮影準備処理におけるステップＳ１２０７において角度検知部１１１から取得され、撮影プロトコルに関連付けて記憶された、放射線撮影装置１１０の角度（設定角度）を取得する。

　ステップＳ１３０９では、角度比較部８０７が、ステップＳ１３０７で取得された検知角度とステップＳ１３０８で取得した設定角度とを比較する。より具体的には、角度比較部８０７は、撮影処理において取得された放射線画像の撮影時の放射線撮影装置１１０の角度と、撮影準備処理において角度調整が完了した際の放射線撮影装置１１０の角度とを比較する。

　ステップＳ１３１０では、画像処理部１０３は、放射線画像に対して行う画像処理を、ステップＳ１３００で選択された撮影プロトコルと、ステップＳ１３０９で得られた角度の比較結果とに基づいて決定する。具体的には、画像処理部１０３は、記憶部１０６に記憶されている、撮影準備処理において設定された放射線画像の撮影プロトコルに基づく画像処理を、上記角度の比較結果に応じて調整し、放射線画像に対して実行する画像処理として決定する。当該説明の例では、画像処理部１０３は、左手の撮影プロトコルの設定に基づいて、撮影準備処理において調整され、撮影プロトコルに関連付けて記憶された回転角度を、ステップＳ１３０９で得られた角度の比較結果に応じて調整する。その後、画像処理部１０３は、角度の比較結果に応じて調整された回転角度だけ、放射線画像を回転させる画像処理を放射線画像に対して実行する画像処理として決定する。

　ここで、本実施形態に係る画像処理に関する回転角度の調整処理について説明する。まず、例えば臥位撮影において、ロール軸をｘ軸、ピッチ軸をｙ軸、ヨー軸をｚ軸とした場合のヨー角を例に挙げる。ここで、ｚ軸は下方向を正とし、ヨー角の時計回りの方向を正方向とする。また、撮影準備処理において記憶部１０６に記憶された放射線撮影装置１１０の角度を基準点である０度とし、撮影処理において放射線画像を取得した際に角度検知部１１１により検知された放射線撮影装置１１０のヨー角が＋９０度とする。この場合、放射線撮影装置１１０は、撮影準備処理（基準点）の状態から放射線画像取得時には時計回りの方向に９０度だけ回転していることになる。

　この場合には、ステップＳ１３０９において、角度比較部８０７は比較結果としてヨー角について＋９０度回転しているという情報を得る。そのため、ステップＳ１３１０において、画像処理部１０３は、放射線撮影装置１１０の基準点からの変化を補償するために、撮影準備処理において設定された回転角度のヨー角について、更に－９０度だけ回転させるように調整する。その後、画像処理部１０３は、調整した回転角度だけ放射線画像を回転させる画像処理を放射線画像に対する画像処理として決定する。ここでは、ヨー角を例に挙げたが、例えば立位撮影や臥位撮影といった撮影方法に応じてヨー角、ロール角、及びピッチ角のいずれかを利用してもよい。

　なお、ステップＳ１３０９における角度の比較結果で、角度に変化がない場合には、画像処理部１０３は、撮影準備処理において調整され、撮影プロトコルに関連付けて記憶された回転角度だけ、放射線画像を回転させる画像処理を決定してよい。

　ステップＳ１３１１において、画像処理部１０３は、ステップＳ１３０６で取得された放射線画像に対して、ステップＳ１３１０で決定された画像処理を施す。当該説明の例では、ステップＳ１３１０で決定・調整された回転角度だけ、放射線画像を回転させる画像処理を実行する。

　ステップＳ１３１２では、表示制御部１０５が、画像処理を施された放射線画像を表示部１５０に表示させる。制御装置８００は、ステップＳ１３１２における処理が終了したら撮影処理を終了する。

　なお、本実施形態では、画像処理部１０３は、ステップＳ１３１０において、角度比較部８０７による角度の比較結果に基づいて、放射線画像の画像処理を決定し、ステップＳ１３１１において、決定された画像処理を放射線画像に対して施した。これに対して、ステップＳ１３１０では、撮影プロトコルに関連付けて記憶された回転角度だけ放射線画像を回転させる画像処理を決定してもよい。この場合、画像処理部１０３は、ステップＳ１３１１で、撮影プロトコルに関連付けて記憶された回転角度だけ回転させた放射線画像に対して、更に角度の比較結果に基づいた回転処理を施すことができる。

　上記のように、本実施形態に係る取得部１０１は、放射線画像を撮影する放射線撮影装置１１０の向きを示す向き情報の一例である検知角度を取得する。また、画像処理部１０３は、向き情報に基づいて、放射線画像に対する画像処理を調整する。より具体的には、画像処理部１０３は、取得した向き情報と、放射線画像に対する画像処理に関する放射線撮影装置１１０の向きを示す情報の一例である設定角度との比較結果に応じて、放射線画像に対する画像処理を調整する。

　このような構成により、本実施形態に係る制御装置８００は、放射線画像の撮影時の放射線撮影装置１１０の物理的な角度が、画像処理を設定した際に記憶した放射線撮影装置１１０の角度と異なっている場合であっても、画像処理を調整することができる。そのため、制御装置８００は、このような放射線撮影装置１１０の角度の差を補償して、光学画像及び放射線画像が互いに対応する態様で、光学画像と放射線画像を提供することができる。

（第４の実施形態）
　第１の実施形態では、撮影時に光学画像及び放射線画像に施す画像処理を、予め設定した内容に従い実施していた。これに対して、本開示の第４の実施形態では、撮影時にユーザが手動で行った画像操作の操作情報を取得し、取得した操作情報に基づいて画像処理を行う例を説明する。以下、図１４及び図１５を参照して、本実施形態に係る放射線撮影システム、画像処理装置、及び画像処理方法について説明する。なお、第１の実施形態と同様の構成、機能、及び動作についての説明は省略し、主に本実施形態と第１の実施形態との差異について説明する。

＜放射線撮影システムの構成＞
　本実施形態に係る放射線撮影システムの構成は、第１の実施形態に係る放射線撮影システムと同様である。ただし、取得部１０１は、光学画像及び放射線画像の画像処理について、操作部１６０を介して入力されたユーザからの操作情報を取得することができる。また、画像処理部１０３は、取得部１０１が取得した操作情報に基づいて、光学画像及び放射線画像に対して、任意の画像処理を行うことができる。

＜撮影処理＞
　次に、図１４及び図１５を参照して、本実施形態に係る撮影処理について説明する。なお、本実施形態では、撮影時に画像処理に関する操作情報を取得するため、第１の実施形態で実施したような撮影準備処理を実施しない。図１４は、本実施形態に係る撮影表示画面の一例を示す。また、図１５は、本実施形態に係る撮影処理の手順の一例を示すフローチャートである。

　本実施態様に係るステップＳ１５００～ステップＳ１５０２の処理は、第１の実施形態に係るステップＳ５００～ステップＳ５０２の処理と同様であるため、説明を省略する。ステップＳ１５０２において、取得部１０１が光学画像を取得すると、処理はステップＳ１５０３に移行する。ここでは、説明の便宜上、左手の撮影プロトコルを選択する例について説明する。

　ステップＳ１５０３では、表示制御部１０５が、取得部１０１で取得された光学画像を表示部１５０の表示画面１４００に表示させる。この際、表示制御部１０５は、表示画面１４００における画像表示領域１４０１に、取得された光学画像を表示させる。

　ステップＳ１５０４において、取得部１０１は、ユーザが画像表示領域１４０１に表示された光学画像を確認しながら、所望の画像表示になるように右回転ボタン１４０２又は左回転ボタン１４０３を押して光学画像の回転角度を調節した操作情報を取得する。また、取得部１０１は、光学画像の表示が所望の画像表示になった後に、ユーザが操作確定ボタン１４０４を押下した際の、光学画像の回転角度の操作情報を最終的な操作情報として取得する。取得部１０１は、最終的な操作情報に対応する調節された回転角度を記憶部１０６に記憶させる。

　ステップＳ１５０５では、取得部１０１が、第１の実施形態に係るステップＳ５０６と同様に、放射線画像を取得する。ステップＳ１５０５において、取得部１０１が放射線画像を取得すると、処理はステップＳ１５０６に移行する。

　ステップＳ１５０６では、画像処理部１０３が、ステップＳ１５０４で記憶部１０６に記憶させた回転角度に基づいて、光学画像と放射線画像が互いに対応するように、放射線画像に対して放射線画像を回転させる画像処理を施す。ここで、画像処理部１０３は、ステップＳ１５０４において光学画像に対して施した画像処理と同様の画像処理を放射線画像に対して施してもよい。なお、放射線システムで取得される光学画像と放射線画像の見え方のずれ、例えば、互いの撮影範囲の角度ずれが既知である場合、画像処理部１０３は、放射線画像の回転処理を行う際に、当該ずれを補償するように回転角度を調整して、回転処理を行ってもよい。

　ステップＳ１５０７において、表示制御部１０５は、画像処理が施された放射線画像を表示部１５０に表示させる。制御装置１００は、ステップＳ１５０７における処理が終了したら撮影処理を終了する。

　なお、本実施形態では、画像処理部１０３は、操作情報に対応する回転角度に基づいて、放射線画像の回転処理を行った。しかしながら、本実施形態に係る画像処理はこれに限られない。例えば、画像処理部１０３は、ステップＳ１５０４において、回転角度を調節した光学画像から、第１の実施形態と同様の処理により、光学画像における被写体の向きを認識し、当該被写体の向きを記憶部１０６に記憶させてもよい。この場合、画像処理部１０３は、ステップＳ１５０６において、第１の実施形態と同様の処理により、放射線画像における被写体の向きを認識する。その後、画像処理部１０３は、放射線画像の被写体がステップＳ１５０４で記憶部１０６に記憶させた被写体の向きを向くように、放射線画像に対して回転処理を行うことができる。

　また、本実施形態では、光学画像に対する画像処理に基づく画像処理を放射線画像に適用した。これに対し、画像処理部１０３が、放射線画像に対する画像処理内容に基づく画像処理を光学画像に適用してもよい。この場合には、画像処理部１０３は、ユーザが放射線画像を確認しながら放射線画像について回転角度を調節した際の操作情報を取得し、当該操作情報に対応する回転角度に基づく回転処理を光学画像に適用することができる。また、上記のように、画像処理部１０３は、回転角度を調節した放射線画像から被写体の向きを認識し、光学画像における被写体が当該向きを向くように光学画像の回転処理を行ってもよい。

　上記のように、本実施形態に係る取得部１０１は、光学画像の画像処理及び放射線画像の画像処理の一方に関する操作情報を取得する。また、画像処理部１０３は、操作情報に基づいて、光学画像の画像処理及び放射線画像の画像処理の一方を決定する。また、画像処理部１０３は、操作情報に基づいて決定された光学画像の画像処理及び放射線画像の画像処理の一方に基づいて、光学画像の画像処理及び放射線画像の画像処理の他方を決定する。このような構成であっても、制御装置１００は、光学画像と放射線画像の見え方を対応させることができる。そのため、制御装置１００は、ユーザが確認しやすい画像を提供して、患者に動いてもらう必要性や画像を調整する等の作業の必要性を低減させ、患者とユーザの負担を軽減することができる。

　なお、本実施形態では、取得部１０１が、光学画像及び放射線画像の画像処理について、操作部１６０を介して入力されたユーザからの操作情報を取得した。これに対して、光学画像の画像処理についてユーザからの操作情報を取得する取得部と、放射線画像の画像処理についてユーザからの操作情報を取得する取得部とを別々に設けてもよい。この場合、取得部１０１は、これら取得部を包括する構成要素として設けられてよい。

　同様に、本実施形態では、画像処理部１０３が、取得部１０１が取得した操作情報に基づいて、光学画像及び放射線画像に対して、画像処理を行った。これに対して、光学画像の画像処理に関する操作情報に基づいて、光学画像に対して画像処理を行う画像処理部と、放射線画像の画像処理に関する操作情報に基づいて、放射線画像に対して画像処理を行う画像処理部とを別々に設けてもよい。この場合、画像処理部１０３は、これら画像処理部を包括する構成要素として設けられてよい。

（変形例）
　ステップＳ１５０４で調節された回転角度は、画像処理を示す情報として、ステップＳ１５００で選択した撮影プロトコルに関連付けて記憶部１０６に記憶されることができる。この場合には、画像処理部１０３は、画像処理を示す情報が関連付けられた撮影プロトコルで撮影処理を行う際には、以降の撮影処理で得られる光学画像及び放射線画像に対して記憶部１０６に記憶された画像処理を示す情報に基づいて画像処理を適用してもよい。その際、画像処理を適用する前に、表示制御部１０５が表示部１５０に前に実行された画像処理を適用する旨を伝えるダイアログ等の警告を表示させてもよい。なお、上述のように、回転角度が調節された画像における被写体の向きが、画像処理を示す情報として、ステップＳ１５００で選択した撮影プロトコルに関連付けて記憶部１０６に記憶されてもよい。

　上記のように、本変形例に係る制御装置１００は、決定された光学画像の画像処理及び放射線画像の画像処理を示す情報を記憶する記憶部１０６を更に備える。また、画像処理部１０３は、記憶された情報に基づいて、取得された光学画像及び放射線画像よりも後に取得された光学画像及び放射線画像に対して、画像処理を行う。このような場合には、一度調節した画像処理を以降の画像処理に適用することができ、制御装置１００の利便性を向上させることができる。

　なお、上記実施形態１乃至４で述べた設定画面や表示画面は一例である。そのため、表示部１５０に表示される設定画面や表示画面における各種画像やボタン等の配置や表示態様は任意であってよい。例えば、表示制御部１０５は、光学画像及び放射線画像を表示部１５０に表示させることができる。この場合には、制御装置１００は、ユーザが光学画像及び放射線画像の両方を確認し、被写体の位置合わせの適否を判断することをより効率的に支援することができる。

　上記実施態様１乃至４によれば、光学画像及び放射線画像が互いに対応するように、光学画像及び放射線画像の少なくとも一方に画像処理を行うことができる。

　なお、上述した被写体の向き等の認識用の学習済モデルや撮影部位の認識用の学習済モデル等は、入力データの画像の輝度値の大小、明部と暗部の順番や傾き、位置、分布、連続性等を特徴量の一部として抽出して、推論処理に用いているものと考えらえる。

　また、上述した被写体の向き等の認識用の学習済モデルや撮影部位の認識用の学習済モデル等は制御装置１００に設けられることができる。学習済モデルは、例えば、ＣＰＵや、ＭＰＵ、ＧＰＵ、ＦＰＧＡ等のプロセッサによって実行されるソフトウェアモジュール等で構成されてもよいし、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。また、推論器は、制御装置１００と接続される別のサーバ等の装置に設けられてもよい。この場合には、制御装置１００は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバ等に接続することで、学習済モデルを用いることができる。ここで、学習済モデルを備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。

　（その他の実施例）
　本開示は、上述の実施形態及び変形例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。コンピュータは、１つ又は複数のプロセッサ若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサ若しくは回路のネットワークを含みうる。

　プロセッサ又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサ又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

　本開示は上記実施の形態に制限されるものではなく、本開示の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本開示の範囲を公にするために以下の請求項を添付する。

　本願は、２０２２年１１月３０日提出の日本国特許出願特願２０２２－１９１０２８を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims

　被写体を光学撮影した光学画像と、該被写体を放射線撮影した放射線画像とを取得する取得部と、
　前記光学画像及び前記放射線画像が互いに対応するように、前記光学画像及び前記放射線画像の少なくとも一方に対して、回転処理、抽出処理、及び拡縮処理のうち少なくとも一つを含む画像処理を実行する画像処理部と、
を備える画像処理装置。
　前記被写体の撮影に関する撮影プロトコルを選択する選択部を更に備え、
　前記画像処理部は、前記光学画像及び前記放射線画像が互いに対応するように、前記光学画像及び前記放射線画像に対して、前記撮影プロトコルに応じた前記画像処理を実行する、請求項１に記載の画像処理装置。
　前記光学画像を用いて前記被写体の撮影部位を認識する認識部と、
　前記認識された撮影部位と前記撮影プロトコルに関連付けられた前記被写体の撮影部位を示す部位情報とが一致するかを判定する判定部と、を更に備え、
　前記認識された撮影部位と前記部位情報とが一致しないと判定された場合に、前記画像処理部は、前記光学画像に対して、前記画像処理を実行しない、請求項２に記載の画像処理装置。
　前記認識された撮影部位と前記部位情報とが一致しないと判定された場合に、前記取得部は前記放射線画像を取得しない、請求項３に記載の画像処理装置。
　前記認識された撮影部位と前記部位情報とが一致しないと判定された場合に、表示部に警告を表示させる表示制御部を更に備える、請求項３に記載の画像処理装置。
　前記認識部は、前記画像処理が実行された光学画像の撮影範囲よりも広い撮影範囲を有する光学画像を用いて前記被写体の撮影部位を認識する、請求項３に記載の画像処理装置。
　前記認識部は、光学画像と、光学画像における被写体の撮影部位を示す情報とを含む学習データを用いて得た学習済モデルに前記取得した光学画像を入力して得た該学習済モデルからの出力を用いて、前記取得した光学画像における前記被写体の撮影部位を認識する、請求項３に記載の画像処理装置。
　前記画像処理部は、
　　前記光学画像における前記被写体の向きを認識し、前記光学画像における被写体が所定の向きを向くように、前記光学画像に対して前記画像処理を実行し、
　　前記放射線画像における前記被写体の向きを認識し、前記放射線画像における被写体が所定の向きを向くように、前記放射線画像に対して前記画像処理を実行する、請求項１に記載の画像処理装置。
　前記画像処理部は、前記被写体が人の手である場合には、
　　前記光学画像及び前記放射線画像における前記被写体の指先及び手首の位置を推定し、
　　前記光学画像における前記被写体の指先及び手首の位置に基づいて、前記光学画像における前記被写体の向きを認識し、
　　前記放射線画像における前記被写体の指先及び手首の位置に基づいて、前記放射線画像における前記被写体の向きを認識する、請求項８に記載の画像処理装置。
　前記画像処理部は、前記被写体が人の手である場合には、
　　前記光学画像及び前記放射線画像における前記被写体の指の付け根の位置を更に推定し、
　　前記光学画像における前記被写体の指先、指の付け根、及び手首の位置に基づいて、前記光学画像の回転軸を取得し、該回転軸を中心として前記光学画像に対して前記回転処理を行い、
　　前記放射線画像における前記被写体の指先、指の付け根、及び手首の位置に基づいて、前記放射線画像の回転軸を取得し、該回転軸を中心として前記放射線画像に対して前記回転処理を行う、請求項９に記載の画像処理装置。
　前記画像処理部は、
　　光学画像と、光学画像における被写体の向きを示す情報とを含む学習データを用いて得た学習済モデルに前記取得した光学画像を入力して得た該学習済モデルからの出力を用いて、前記取得した光学画像における前記被写体の向きを認識し、
　　放射線画像と、放射線画像における被写体の向きを示す情報とを含む学習データを用いて得た学習済モデルに前記取得した放射線画像を入力して得た該学習済モデルからの出力を用いて、前記取得した放射線画像における前記被写体の向きを認識する、請求項８に記載の画像処理装置。
　前記取得部は、前記光学画像の画像処理及び前記放射線画像の画像処理の一方に関する操作情報を取得し、
　前記画像処理部は、前記操作情報に基づいて、前記光学画像の画像処理及び前記放射線画像の画像処理の一方を決定する、請求項１に記載の画像処理装置。
　前記画像処理部は、前記操作情報に基づいて決定された前記光学画像の画像処理及び前記放射線画像の画像処理の一方に基づいて、前記光学画像の画像処理及び前記放射線画像の画像処理の他方を決定する、請求項１２に記載の画像処理装置。
　前記決定された光学画像の画像処理及び放射線画像の画像処理を示す情報を記憶する記憶部を更に備え、
　前記画像処理部は、前記記憶された情報に基づいて、前記取得された光学画像及び放射線画像よりも後に取得された光学画像及び放射線画像に対して、前記画像処理を行う、請求項１３に記載の画像処理装置。
　前記取得部は、前記放射線画像を撮影する放射線撮影装置の向きを示す向き情報を取得し、
　前記画像処理部は、前記向き情報に基づいて、前記放射線画像に対する前記画像処理を調整する、請求項１に記載の画像処理装置。
　前記画像処理部は、前記取得した向き情報と、前記放射線画像に対する画像処理に関する前記放射線撮影装置の向きを示す情報との比較結果に応じて、前記放射線画像に対する前記画像処理を調整する、請求項１５に記載の画像処理装置。
　前記画像処理部は、前記光学画像における前記被写体の向き及び前記放射線画像における前記被写体の向きのうち一方の向きが他方の向きを向くように、前記光学画像及び前記放射線画像の少なくとも一方に対して前記画像処理を実行する、請求項１に記載の画像処理装置。
　被写体を光学撮影する光学撮影装置と、
　前記被写体を放射線撮影する放射線撮影装置と、
　請求項１乃至１７のいずれか一項に記載の画像処理装置と、
を備える、放射線撮影システム。
　被写体を光学撮影した光学画像と、該被写体を放射線撮影した放射線画像とを取得することと、
　前記光学画像及び前記放射線画像が互いに対応するように、前記光学画像及び前記放射線画像の少なくとも一方に対して、回転処理、抽出処理、及び拡縮処理のうち少なくとも一つを含む画像処理を実行することと、
を含む画像処理方法。
　コンピュータによって実行されると、該コンピュータに請求項１９に記載の画像処理方法の各工程を実行させるプログラム。