JP7328861B2 - 医用情報処理装置、医用情報処理システム、医用情報処理プログラム、および医用画像撮像装置 - Google Patents

医用情報処理装置、医用情報処理システム、医用情報処理プログラム、および医用画像撮像装置 Download PDF

Info

Publication number
JP7328861B2
JP7328861B2 JP2019186320A JP2019186320A JP7328861B2 JP 7328861 B2 JP7328861 B2 JP 7328861B2 JP 2019186320 A JP2019186320 A JP 2019186320A JP 2019186320 A JP2019186320 A JP 2019186320A JP 7328861 B2 JP7328861 B2 JP 7328861B2
Authority
JP
Japan
Prior art keywords
examination room
shape data
identification information
function
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019186320A
Other languages
English (en)
Other versions
JP2021058530A (ja
Inventor
毅 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2019186320A priority Critical patent/JP7328861B2/ja
Priority to US17/064,246 priority patent/US11717243B2/en
Publication of JP2021058530A publication Critical patent/JP2021058530A/ja
Application granted granted Critical
Publication of JP7328861B2 publication Critical patent/JP7328861B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/08—Auxiliary means for directing the radiation beam to a particular spot, e.g. using light beams
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4464—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit or the detector unit being mounted to ceiling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4476—Constructional features of apparatus for radiation diagnosis related to motor-assisted motion of the source unit
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54—Control of apparatus or devices for radiation diagnosis
    • A61B6/547—Control of apparatus or devices for radiation diagnosis involving tracking of position of the device or parts of the device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/04—Positioning of patients; Tiltable beds or the like
    • A61B6/0407—Supports, e.g. tables or beds, for the body or parts of the body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態は、医用情報処理装置、医用情報処理システム、医用情報処理プログラム、および医用画像撮像装置に関する。
従来、血管や心臓等の循環器系の撮像において、可動のＣアームや可動の寝台を備えたＸ線アンギオ（Angio）装置等の医用画像撮像装置が用いられている。このような医用画像撮像装置においては、医用画像撮像装置を構成するＣアームや寝台等のユニットの位置情報を管理することにより、ユニット間の接触を回避するように制御する技術が知られている。
また、カメラによって検査室内を撮像した画像に基づいて医用画像撮像装置の周辺に位置する機器または作業者を検出し、検出された機器または作業者とＣアームや寝台等との接触を回避する技術も知られている。しかしながら、従来技術においては、撮像画像に描出された回避対象物の外形と、予め記憶された立体形状モデルとをマッチングすることにより、回避対象物の立体形状を特定していた。このような形状対形状のマッチング処理には、処理時間を要する場合があった。
特開２０１４－１７６４９５号公報
本発明が解決しようとする課題は、検査室内に存在する回避対象物の立体形状を迅速に特定することである。
実施形態に係る医用情報処理装置は、取得部と、第１の特定部と、第２の特定部と、第３の特定部とを備える。取得部は、可動機構を有する医用画像撮像装置が設置された検査室内が撮像された検査室画像を取得する。第１の特定部は、検査室画像と、検査室画像に描出された対象物の識別情報との対応関係を示す第１の対応情報とに基づいて、検査室画像に描出された対象物の識別情報を特定する。第２の特定部は、対象物の識別情報と該対象物の外形を表す３次元形状データとの対応関係を示す第２の対応情報に基づいて、第１の特定部によって特定された対象物の識別情報に対応する３次元形状データを特定する。第３の特定部は、検査室画像を撮像した検査室撮像装置から検査室画像に描出された対象物までの距離を示す深度情報に基づいて、検査室内の空間を表す仮想３次元空間内における３次元形状データの位置を特定する。
図１は、第１の実施形態に係る医用画像撮像装置が設置された検査室の外観の一例を示す図である。 図２は、第１の実施形態に係る医用情報処理システムの全体構成の一例を示すブロック図である。 図３は、第１の実施形態に係る学習済モデルの一例を示す図である。 図４は、第１の実施形態に係るバウンディングボックスの一例を示す図である。 図５は、第１の実施形態に係る対象物情報の一例を示す図である。 図６は、第１の実施形態に係る３次元形状データおよび回避領域の一例を示す図である。 図７は、第１の実施形態に係る対象物特定処理の流れの一例を示すフローチャートである。 図８は、第２の実施形態に係る可動部位を有する対象物の一例を示す図である。 図９は、第２の実施形態に係る拡張後の回避領域８１の一例を示す図である。 図１０は、第３の実施形態に係る第２の学習済モデルの一例を示す図である。 図１１は、第４の実施形態に係る医用情報処理システムの全体構成の一例を示すブロック図である。 図１２は、第４の実施形態に係る学習処理について説明する図である。
以下、図面を参照しながら、医用情報処理装置、医用情報処理システム、医用情報処理プログラム、および医用画像撮像装置の実施形態について詳細に説明する。
（第１の実施形態）
図１は、本実施形態に係るＸ線診断装置１０が設置された検査室Ｒの一例を示す図である。図１に示すように、Ｘ線診断装置１０は、Ｘ線管およびＸ線検出器等を保持するＣアーム１０５ａ，１０５ｂ（以下、特に区別しない場合は単にＣアーム１０５という）と、寝台１０４とを備える。Ｃアーム１０５、および寝台１０４は、移動可能なユニットであり、本実施形態における可動機構の一例である。
Ｃアーム１０５、および寝台１０４は、後述のＣアーム・寝台制御回路による制御の下、上下方向の移動、左右方向（鉛直方向）の移動、傾斜、または回転が可能である。本実施形態においては、上下方向の移動、左右方向（鉛直方向）の移動、傾斜、または回転を総称して単に「移動」という場合がある。また、Ｃアーム１０５ａとＣアーム１０５ｂとは、それぞれ別個に移動可能である。また、寝台１０４は、被検体Ｐ１を載置する天板１０４ａと、天板１０４ａを支持する基台１０４ｂとを備える。天板１０４ａと基台１０４ｂとの両方が移動可能であるものとしても良いし、天板１０４ａのみが移動する構成であっても良い。
また、Ｘ線診断装置１０は、本実施形態における医用画像撮像装置の一例である。
なお、図１では、Ｘ線診断装置１０が２本のＣアーム１０５を備えるバイプレーンの例を図示するが、Ｘ線診断装置１０は、１本のＣアーム１０５を備えるシングルプレーンの構成であっても良い。また、天井から懸下されたＣアーム１０５ａは、Ω（オメガ）アームともいう。
検査室Ｒ内には、Ｘ線診断装置１０以外にも物または人が存在する。例えば、図１に示す例では、検査室Ｒ内には、Ｘ線診断装置１０の操作を行う医師または技師等の操作者Ｐ２、超音波診断装置５０、バケツ５１等が検査室Ｒ内に存在する。本実施形態においては、検査室Ｒ内に存在するＸ線診断装置１０以外の物または人を、対象物または回避対象物という。
また、対象物は、Ｃアーム１０５、または寝台１０４等の可動機構の移動の障害となる可能性がある物または人であり、可動機構の移動の障害とならない物体は対象物に含まれない。可動機構の移動の障害とならない物体は、例えば、検査室の壁に貼られたポスターやカレンダー等であるが、これらに限定されるものではない。
なお、図１に示す被検体Ｐ１、操作者Ｐ２、超音波診断装置５０、バケツ５１は、Ｘ線診断装置１０には含まれない。また、検査室Ｒ内には、複数の操作者Ｐ２が存在する場合もある。
また、検査室Ｒ内には、ステレオカメラ２０が設置されている。ステレオカメラ２０は、検査室Ｒ内を撮像する。ステレオカメラ２０は、本実施形態における検査室撮像装置の一例である。
ステレオカメラ２０が検査室Ｒ内を撮像した画像は、本実施形態における検査室画像の一例である。ステレオカメラ２０は、例えば、２眼レンズにより、視差のある２枚の検査室画像を同時に撮像する。
また、ステレオカメラ２０は、撮像した検査室画像を、ネットワークを介して医用情報処理装置３０に送信する。
医用情報処理装置３０は、例えば、病院内に設置されたサーバ装置またはＰＣ（Personal Computer）等である。図１では、医用情報処理装置３０は、検査室Ｒ外に設置されているが、検査室Ｒ内に設置されても良い。
次に、図２を用いて本実施形態に係る医用情報処理システムについて説明する。
図２は、本実施形態に係る医用情報処理システムＳの全体構成の一例を示すブロック図である。図２に示すように、医用情報処理システムＳは、Ｘ線診断装置１０と、ステレオカメラ２０と、医用情報処理装置３０とを備える。Ｘ線診断装置１０と、ステレオカメラ２０と、医用情報処理装置３０とは、病院内に設置された院内ＬＡＮ（Local Area Network）等のネットワークＮによって接続している。
Ｘ線診断装置１０は、Ｘ線高電圧装置１０１と、Ｘ線管１０２と、Ｘ線絞り１０３と、寝台１０４（天板１０４ａおよび基台１０４ｂを備える）と、Ｃアーム１０５と、Ｘ線検出器１０６と、Ｃアーム回転・移動機構１０７と、天板・寝台移動機構１０８と、Ｃアーム・天板機構制御回路１０９と、処理回路１２０と、入力インターフェース１１０と、ディスプレイ１３０と、記憶回路１４０と、通信インターフェース１５０とを有する。なお、図２では寝台１０４の基台１０４ｂを省略している。また、図２では、２本のＣアーム１０５を１本に省略して記載している。
Ｘ線高電圧装置１０１は、高電圧を発生し、発生した高電圧をＸ線管１０２に供給する高電圧電源である。
Ｘ線管１０２は、Ｘ線高電圧装置１０１から供給される高電圧を用いて、Ｘ線を発生する。Ｘ線絞り１０３は、Ｘ線管１０２が発生したＸ線を、被検体Ｐ１の関心領域（Region Of Interest：ＲＯＩ）に対して選択的に照射されるように絞り込む。Ｘ線検出器１０６は、被検体Ｐを透過したＸ線を検出し、検出結果を処理回路１２０に送信する。
Ｃアーム１０５は、Ｘ線管１０２、Ｘ線絞り１０３、およびＸ線検出器１０６を保持する。また、Ｃアーム１０５は、Ｃアーム回転・移動機構１０７によって、上下左右方向の移動、または回転移動する。
Ｃアーム回転・移動機構１０７は、Ｃアーム１０５を移動させる駆動機構であり、モータおよびアクチュエータ等を含む。また、Ｃアーム回転・移動機構１０７は、Ｃアーム・天板機構制御回路１０９による制御の下、Ｃアーム１０５を移動させる。
寝台１０４は、天板１０４ａと、基台１０４ｂとを備える。天板１０４ａは、被検体Ｐ１が載置されるベッドであり、基台１０４ｂの上に配置される。天板１０４ａは、上下方向または水平方向の移動、または傾斜（チルト）が可能である。また、基台１０４ｂは、上下左右方向の移動、または回転移動が可能である。
天板・寝台移動機構１０８は、Ｃアーム・天板機構制御回路１０９の制御の下、被検体Ｐが載置された天板１０４ａを、水平方向および上下方向に移動する駆動機構であり、モータおよびアクチュエータ等を含む。また、天板・寝台移動機構１０８は、基台１０４ｂを、水平方向および上下方向に移動する。天板・寝台移動機構１０８は、例えば、基台１０４ｂの内部に設置される。また、天板・寝台移動機構１０８は、天板１０４ａおよび基台１０４ｂの位置を検出するセンサを備える。天板・寝台移動機構１０８は、検出した位置をＣアーム・天板機構制御回路１０９に送出する。
Ｃアーム・天板機構制御回路１０９は、処理回路１２０による制御の下、Ｃアーム回転・移動機構１０７および天板・寝台移動機構１０８を制御することで、Ｃアーム１０５、天板１０４ａ、または基台１０４ｂを移動させる。また、Ｃアーム・天板機構制御回路１０９は、天板・寝台移動機構１０８から天板１０４ａおよび基台１０４ｂの位置を取得して処理回路１２０に送信する。Ｃアーム・天板機構制御回路１０９は、例えば、後述の記憶回路１４０に記憶されたプログラムを読み出して実行するプロセッサである。なお、Ｃアーム制御回路と、天板機構制御回路とが別個に設けられても良い。
入力インターフェース１１０は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路１２０に出力する。例えば、入力インターフェース１１０は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行なうタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路、Ｘ線の照射などを行うためのフットスイッチ等により実現される。
なお、入力インターフェース１１０は、Ｘ線診断装置１０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インターフェース１１０は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、Ｘ線診断装置１０とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路１２０へ出力する電気信号の処理回路も入力インターフェース１１０の例に含まれる。
ディスプレイ１３０は、液晶ディスプレイまたはＣＲＴ（Cathode Ray Tube）ディスプレイ等であり、各種の情報を表示する。ディスプレイ１３０は、例えば、入力インターフェース３３を介して操作者Ｐ２から各種指示や各種設定等を受け付けるためのＧＵＩ（Graphical User Interface）を表示する。ディスプレイ１３０は、デスクトップ型でもよいし、Ｘ線診断装置１０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。
記憶回路１４０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、記憶回路１４０は、Ｘ線診断装置１０に含まれる回路で実行されるプログラムを記憶する。
通信インターフェース１５０は、処理回路１２０に接続され、ネットワークＮを介して接続された医用情報処理装置３０との間で行われる各種データの伝送および通信を制御する。例えば、通信インターフェース１５０は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現される。なお、記憶回路１４０は、クラウドによって実現されても良い。
処理回路１２０は、Ｘ線診断装置１０全体を制御し、被検体Ｐ１を撮像する撮像処理を実行する。また、処理回路１２０は、通信インターフェース１５０を介して医用情報処理装置３０から送信された検査室Ｒを示す仮想３次元空間内における対象物を示す３次元形状データの位置および向きと、該３次元形状データに対応付けられた回避領域および回避動作とを受信（取得）する。処理回路１２０は、医用情報処理装置３０から送信されたこれらの情報に基づいて、可動機構が対象物を回避するように可動機構の移動を制御する。
例えば、処理回路１２０は、医用情報処理装置３０から送信された情報に基づいて、Ｃアーム・天板機構制御回路１０９に対して、Ｃアーム１０５、天板１０４ａ、または基台１０４ｂを移動させる位置、角度、および移動速度を指示する。また、処理回路１２０は、医用情報処理装置３０から送信された情報に基づいて、Ｃアーム・天板機構制御回路１０９に対して、Ｃアーム１０５、天板１０４ａ、または基台１０４ｂの移動の停止を指示する。また、これらの制御は、Ｃアーム・天板機構制御回路１０９によって実行されても良い。
医用情報処理装置３０から送信される仮想３次元空間内における３次元形状データの位置および向きと、該３次元形状データに対応付けられた回避領域および回避動作の詳細については、後述する。
処理回路１２０は、例えば、記憶回路１４０に記憶されたプログラムを読み出して実行するプロセッサである。処理回路１２０は、本実施形態における制御部の一例である。また、Ｃアーム・天板機構制御回路１０９を本実施形態における制御部の一例としても良い。また、処理回路１２０とＣアーム・天板機構制御回路１０９の両方を制御部の一例としても良い。
医用情報処理装置３０は、通信インターフェース３１と、記憶回路３２と、入力インターフェース３３と、ディスプレイ３４と、処理回路３５とを備える。
通信インターフェース３１は、処理回路１２０に接続され、ネットワークＮを介して接続されたＸ線診断装置１０、またはステレオカメラ２０との間で行われる各種データの伝送および通信を制御する。
記憶回路３２は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現され、処理回路３５で実行されるプログラムを記憶する。また、記憶回路３２は、学習済モデルと、対象物情報と、検査室Ｒ内の空間を表す仮想３次元空間を示す３次元空間データを記憶する。学習済モデル、対象物情報、および３次元空間データについては後述する。記憶回路３２は、本実施形態における記憶部の一例である。なお、記憶回路３２は、クラウドによって実現されても良い。
入力インターフェース３３は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路３５に出力する。ディスプレイ３４は、液晶ディスプレイまたはＣＲＴディスプレイ等であり、各種の情報を表示する。
処理回路３５は、記憶回路３２からプログラムを読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。処理回路３５は、取得機能３５１と、第１の算出機能３５２と、認識機能３５３と、第１の特定機能３５４と、第２の算出機能３５５と、第２の特定機能３５６と、第３の特定機能３５７と、送信機能３５８とを備える。取得機能３５１は、取得部の一例である。第１の算出機能３５２は、第１の算出部の一例である。認識機能３５３は、認識部の一例である。第１の特定機能３５４は、第１の特定部の一例である。第２の算出機能３５５は、第２の算出部の一例である。なお、第１の算出機能３５２と第２の算出機能３５５とを総称して、算出部の一例としても良い。第２の特定機能３５６は、第２の特定部の一例である。第３の特定機能３５７は、第３の特定部の一例である。送信機能３５８は、送信部の一例である。
ここで、例えば、処理回路３５の構成要素である取得機能３５１と、第１の算出機能３５２と、認識機能３５３と、第１の特定機能３５４と、第２の算出機能３５５と、第２の特定機能３５６と、第３の特定機能３５７と、送信機能３５８とは、コンピュータによって実行可能なプログラムの形態で記憶回路３２に記憶されている。処理回路３５は、各プログラムを記憶回路３２から読み出し、読み出した各プログラムを実行することで、各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路３５は、図２の処理回路３５内に示された各機能を有することとなる。なお、図２においては、単一の処理回路３５にて、取得機能３５１、第１の算出機能３５２、認識機能３５３、第１の特定機能３５４、第２の算出機能３５５、第２の特定機能３５６、第３の特定機能３５７、および送信機能３５８の各処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路３５を構成し、各プロセッサが各プログラムを実行することにより各処理機能を実現するものとしても良い。
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ(Graphics Processing Unit)、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、およびフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。なお、記憶回路１４０または記憶回路３２にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。
取得機能３５１は、通信インターフェース３１を介して、ステレオカメラ２０から、視差のある複数の検査室画像を取得する。取得機能３５１は、取得した検査室画像を、第１の算出機能３５２と、認識機能３５３と、第３の特定機能３５７とに送出する。
第１の算出機能３５２は、取得機能３５１によって取得された視差のある２枚の検査室画像を画像処理することにより、深度情報を算出する。深度情報は、検査室画像に描出される被写体とステレオカメラ２０との距離である。第１の算出機能３５２は、算出した深度情報を、認識機能３５３に送出する。
認識機能３５３は、画像処理によって、検査室画像における回避対象外の物体を認識する。回避対象外の物体は、対象物以外の物体であり、例えば、検査室の壁に貼られたポスターやカレンダー等である。回避対象外の物体は、予め定められて記憶回路３２に記憶されても良い。また、認識機能３５３は、認識した回避対象外の物体を、検査室画像から削除する。
認識機能３５３は、例えば、Ｒ－ＣＮＮ（Ｒｅａｇｉｏｎｓ ｗｉｔｈ ＣＮＮ Ｆｅａｔｕｒｅｓ）等のディープラーニング（深層学習）による画像認識モデルを用いて回避対象外の物体を認識するものとする。また、認識機能３５３は、パターン認識等のその他の画像認識の手法を用いても良い。
また、認識機能３５３は、第１の算出機能３５２によって算出された深度情報に基づいて、検査室画像における可動機構の動作範囲外の画像領域を認識する。可動機構の動作範囲は、例えば、予め記憶回路３２に保存されても良いし、Ｘ線診断装置１０から取得されても良い。認識機能３５３は、認識結果に基づいて、検査室画像における可動機構の動作範囲外の画像領域を、回避対象外の画像領域と判定する。なお、本実施形態において認識機能３５３が検査室画像に施す画像処理は一例であり、認識機能３５３は、補正等のその他の画像処理を検査室画像に施しても良い。
認識機能３５３は、回避対象外の物体の削除、回避対象外の画像領域を示す情報、またはその他の画像処理を施した検査室画像を、第１の特定機能３５４に送出する。回避対象外の画像領域を示す情報は、例えば、検査室画像上の回避対象外の画像領域を示す座標情報である。
第１の特定機能３５４は、認識機能３５３によって画像処理された検査室画像と、学習済モデルとに基づいて、検査室画像に描出された対象物の識別情報と、検査室画像における対象物が描出された領域とを特定する。第１の特定機能３５４が検査室画像に描出された対象物の識別情報を特定することを、対象物の認識、対象物の判定、または対象物の検出ともいう。また、本実施形態においては、第１の特定機能３５４は、認識機能３５３によって回避対象外の画像領域と判定された範囲を、対象物の認識処理の対象から除外する。
なお、第１の特定機能３５４は、取得機能３５１によって取得された視差のある２枚の検査室画像のうちのいずれかを対象物の認識処理に使用しても良いし、両方を用いて対象物の認識処理を行っても良い。
学習済モデルは、検査室画像と、検査室画像に描出された対象物の識別情報と、検査室画像における対象物が描出された領域との対応関係を示すモデルである。学習済モデルは、本実施形態における第１の対応情報の一例である。
図３は、本実施形態に係る学習済モデルＭ１の一例を示す図である。学習済モデルＭ１においては、検査室画像２０１と、検査室画像２０１において対象物が描出された領域を示すバウンディングボックスと、検査室画像２０１に描出された対象物および対象物の部位の名称を示すラベルとが対応付けられている。図３に示すように、学習済モデルＭ１は、入力データとして検査室画像２０１が入力された場合に、検査室画像２０１において対象物が描出された領域を示すバウンディングボックスと、対象物および対象物の部位の名称を示すラベルとを出力データ９００として出力する。
対象物の名称は、本実施形態における対象物の識別情報の一例である。なお、学習済モデルＭ１には、対象物の識別情報として、対象物のＩＤ等が対応付けられても良い。なお、本実施形態の学習済モデルＭ１を、第１の学習済モデルともいう。
図４は、本実施形態に係るバウンディングボックス９０ａ～９０ｅの一例を示す図である。以下、バウンディングボックス９０ａ～９０ｅを特に区別しない場合は単にバウンディングボックス９０という。
図４に示す例では、検査室画像２０１中に描出された対象物は、バケツ５１と、超音波診断装置５０と、操作者Ｐ２と、被検体Ｐ１である。バウンディングボックス９０ａは、検査室画像２０１中のバケツ５１が描出された領域を示す。また、バウンディングボックス９０ｂは、検査室画像２０１中の超音波診断装置５０が描出された領域を示す。バウンディングボックス９０ｃは、検査室画像２０１中の操作者Ｐ２が描出された領域を示す。バウンディングボックス９０ｄは、検査室画像２０１中の被検体Ｐ１が描出された領域を示す。
また、学習済モデルＭ１は、対象物全体だけではなく、対象物の部位が描出された領域を示すバウンディングボックス９０を出力しても良い。図４に示す例では、バウンディングボックス９０ｅは、超音波診断装置５０のディスプレイ５０１が描出された領域を示す。超音波診断装置５０のディスプレイ５０１は、対象物の部位の一例である。
本実施形態においては、学習済モデルＭ１は、ニューラルネットワークと、学習済みパラメータデータとによって構成されるものとする。
学習済モデルＭ１は、例えば、Ｒ－ＣＮＮ等のディープラーニング（深層学習）による画像認識モデルである。また、学習済モデルＭ１は、その他のディープラーニングの手法によって生成されたものでも良い。ディープラーニングの手法としては、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）や、畳み込みニューラルネットワーク（ＣＤＢＮ：Convolutional Deep Belief Neural Network）などの多層のニューラルネットワークを適用することができる。また、学習済モデルＭ１は、サポートベクターマシン（ＳＶＭ：Support Vector Machine）等の他の機械学習の手法で生成されたものであっても良い。
本実施形態においては、学習済モデルＭ１は、医用情報処理システムＳ外の他の情報処理装置によって生成され、医用情報処理装置３０の記憶回路３２に保存されるものとする。
学習済モデルＭ１による対象物の物体認識においては、検査室画像２０１に対象物の外形の全体が描出されていなくとも良い。例えば第１の特定機能３５４は、学習済モデルＭ１によって、検査室画像２０１に描出された対象物の外形の一部の形状または色等に基づいて、対象物の位置を示すバウンディングボックス、対象物の名称、対象物の部位の名称を特定する。
第１の特定機能３５４は、対象物の位置を示すバウンディングボックス、対象物の名称、対象物の部位の名称を、第２の算出機能３５５と、第２の特定機能３５６および第３の特定機能３５７に送出する。また、第１の特定機能３５４は、検査室画像２０１に、対象物の名称が特定できない対象物が存在するか否かを判定し、判定結果を第２の算出機能３５５と、第３の特定機能３５７に送出する。
図２に戻り、第２の算出機能３５５は、取得機能３５１によって取得された視差のある２枚の検査室画像と、第１の特定機能３５４によって特定された対象物とに基づいて、該対象物の深度情報、すなわち、該対象物とステレオカメラ２０との距離を算出する。なお、前述の第１の算出機能３５２が、検査室画像全体を範囲として、検査室画像に描出された被写体の深度情報を算出するのに対して、第２の算出機能３５５は、深度情報の算出対象を第１の特定機能３５４によって特定された対象物に限定し、より高精度な深度情報を算出するものとする。第２の算出機能３５５は、算出した対象物ごとの深度情報を、第３の特定機能３５７に送出する。
第２の特定機能３５６は、対象物の名称と、対象物情報とに基づいて、対象物の３次元形状データと、対象物の１または複数の回避領域と、該１または複数の回避領域の各々における回避動作と、を特定する。
図５は、本実施形態に係る対象物情報３２０１の一例を示す図である。対象物情報３２０１は、対象物の識別情報と該対象物の外形を表す３次元形状データとの対応関係を示す情報であり、本実施形態における第２の対応情報の一例である。
本実施形態においては、図５に示すように、対象物情報３２０１は、複数の対象物の名称と、該複数の対象物の各々の３次元形状データと、該複数の対象物の１または複数の回避領域と、該１または複数の回避領域の各々における回避動作と、が対応付けられている。なお、対象物の名称は対象物の識別情報の一例であり、対象物の名称の代わりにＩＤ等が用いられても良い。対象物情報３２０１において、複数の対象物の識別情報と、該複数の対象物の外形を表す複数の３次元形状データとは、１対１で対応付けられている。
３次元形状データは、対象物の外形を示す情報である。３次元形状データは、３次元モデルまたは立体モデルともいう。３次元形状データは、例えば、検査室Ｒ内に設置される可能性のある医療機器等の設計データに基づいて作成される。また、３次元形状データは、メジャー等で手動で計測された寸法情報に基づいて作成されても良いし、ステレオカメラや３Ｄカメラ等によって複数の角度から撮像された撮像結果に基づいて作成されても良い。
図６は、本実施形態に係る３次元形状データ８０および回避領域８１ａ，８１ｂの一例を示す図である。例えば、対象物が四角柱形状の“Ａ装置”である場合、Ａ装置の３次元形状データ８０は、Ａ装置の縦、横、奥行の寸法を示す。
回避領域８１ａ，８１ｂ（以下、第１の回避領域８１ａと第２の回避領域８１ｂとを特に区別しない場合は、単に回避領域８１という）は、３次元形状データ８０の外形を拡大した３次元の領域である。対象物と３次元形状データ８０とは、１対１で対応付けられる。また、本実施形態の対象物情報３２０１においては、１つの対象物および３次元形状データ８０に対して、大きさの異なる複数の回避領域８１が対応付けられる。
例えば、図６に示すように、Ａ装置の第１の回避領域８１ａは、Ａ装置の３次元形状データ８０に距離ｄ１を加えた３次元の領域である。また、Ａ装置の第２の回避領域８１ｂは、第１の回避領域８１ａよりも小さい領域であり、Ａ装置の３次元形状データ８０に距離ｄ２を加えた３次元の領域である。距離ｄ２は距離ｄ１よりも短いものとする。なお、各対象物に対応付けられる回避領域８１の数は２つよりも多くても良い。
また、回避動作は、対象物を回避するためのＸ線診断装置１０の可動機構（Ｃアーム１０５、寝台１０４等）の動作である。対象物情報３２０１においては、複数の回避領域８１の各々に、異なる回避動作が対応付けられる。１つの対象物における回避領域８１と、回避動作とは、１対１で対応付けられる。例えば、図５，６に示す例では、Ａ装置の第１の回避領域８１ａにおいては回避動作は“減速”であり、第２の回避領域８１ｂにおいては回避動作は“停止”である。１つの対象物に対して複数の回避領域８１が設けられている場合、複数の回避領域８１のうち、小さい回避領域８１ほど、可動機構の速度が遅くなるように回避動作が定められるものとする。つまり、可動機構と対象物の距離が近くなるほど、可動機構の速度が遅くなるように、回避動作が定められる。
第２の特定機能３５６は、特定した３次元形状データ８０、回避領域８１、および回避動作を、第３の特定機能３５７に送出する。
図２に戻り、第３の特定機能３５７は、深度情報に基づいて、検査室Ｒ内の空間を表す仮想３次元空間内における３次元形状データ８０の位置および向きを特定する。
例えば、第３の特定機能３５７は、第２の算出機能３５５によって算出された対象物の深度情報と、第１の特定機能３５４によって検査室画像２０１における対象物が描出された領域として特定されたバウンディングボックスとに基づいて、検査室Ｒにおける対象物の位置および向きを特定する。第３の特定機能３５７は、特定した検査室Ｒにおける対象物の位置および向きに基づいて、仮想３次元空間に、第２の特定機能３５６によって特定された３次元形状データ８０を配置する。仮想３次元空間を示す３次元空間データについては、記憶回路３２に記憶されているものとする。
例えば、深度情報は、ステレオカメラ２０と、検査室画像２０１に描出された対象物との間の距離を示すため、第３の特定機能３５７は、深度情報に基づいて、対象物の位置と、対象物のステレオカメラ２０側を向いている面の角度と、を特定する。第３の特定機能３５７は、特定した位置および対象物のステレオカメラ２０側を向いている面の角度に合わせて、対象物の３次元形状データ８０の位置および向きを特定する。これにより、第３の特定機能３５７は、対象物のステレオカメラ２０側を向いていない面や、対象物のうち検査室画像２０１の撮像範囲からはみ出した部分についても３次元形状データ８０によって仮想３次元空間内に再現する。
第３の特定機能３５７は、Ｘ線診断装置１０の可動機構の可動範囲内に対象物が存在すると判断した場合、仮想３次元空間内における３次元形状データ８０の位置および向きの特定結果と、該３次元形状データ８０に対応付けられた回避領域８１および回避動作とを、送信機能３５８に送出する。仮想３次元空間内の３次元形状データ８０の位置および向きは、例えば、３次元の空間座標によって表される。
また、第３の特定機能３５７は、第１の特定機能３５４によって対象物の名称が特定できない対象物が検査室画像２０１に存在すると判定されている場合には、深度情報に基づいて、当該対象物の位置および向きを特定し、仮想３次元空間に配置しても良い。
送信機能３５８は、第３の特定機能３５７によって特定された仮想３次元空間内における３次元形状データ８０の位置および向きと、該３次元形状データ８０に対応付けられた回避領域８１および回避動作とを、Ｘ線診断装置１０に送信する。
次に、以上のように構成された本実施形態の医用情報処理装置３０で実行される対象物認識処理の流れについて説明する。
図７は、本実施形態に係る対象物特定処理の流れの一例を示すフローチャートである。このフローチャートの処理は、操作者Ｐ２等による開始操作の入力を受けた場合に開始しても良いし、Ｘ線診断装置１０から、撮像開始の通知を受けて開始しても良い。
まず、取得機能３５１は、通信インターフェース３１を介して、ステレオカメラ２０から、検査室画像２０１を取得する（Ｓ１）。
次に、第１の算出機能３５２は、取得機能３５１によって取得された視差のある２枚の検査室画像を画像処理することにより、深度情報を算出する。当該処理を、第１の深度算出処理という（Ｓ２）。
次に、認識機能３５３は、画像処理によって、検査室画像における回避対象外の物体を認識し、認識した回避対象外の物体を、検査室画像２０１から削除する（Ｓ３）。
次に、第１の特定機能３５４は、認識機能３５３によって画像処理された検査室画像２０１と、学習済モデルＭ１とに基づいて、対象物が描出された領域を示すバウンディングボックス、対象物の名称、および対象物の部位の名称を特定する（Ｓ４）。具体的には、第１の特定機能３５４は、検査室画像２０１を学習済モデルＭ１に入力し、出力結果として、バウンディングボックス、対象物の名称、および対象物の部位の名称を得る。
次に、第２の算出機能３５５は、取得機能３５１によって取得された視差のある２枚の検査室画像と、第１の特定機能３５４によって特定された対象物とに基づいて、該対象物の深度情報を算出する。当該処理を、第２の深度算出処理という（Ｓ５）。
次に、第２の特定機能３５６は、対象物の名称と、対象物情報３２０１とに基づいて、対象物の３次元形状データ８０と、対象物の１または複数の回避領域８１と、該１または複数の回避領域の各々における回避動作と、を特定する（Ｓ６）。
次に、第３の特定機能３５７は、第２の算出機能３５５によって算出された深度情報と、第１の特定機能３５４によって特定されたバウンディングボックスとに基づいて、仮想３次元空間における３次元形状データ８０の位置および向きを特定する（Ｓ７）。
次に、送信機能３５８は、第３の特定機能３５７によって特定された仮想３次元空間内における３次元形状データ８０の位置および向きと、該３次元形状データ８０に対応付けられた回避領域８１および回避動作とを、Ｘ線診断装置１０に送信する（Ｓ８）。
Ｘ線診断装置１０の処理回路１２０は、通信インターフェース１５０を介して医用情報処理装置３０から送信された情報を受信し、医用情報処理装置３０から送信されたこれらの情報に基づいて、可動機構が対象物を回避するように可動機構の移動を制御する。
例えば、Ｘ線診断装置１０の処理回路１２０は、医用情報処理装置３０から送信された情報に基づいて、Ｃアーム１０５または寝台１０４の可動範囲内に存在する対象物の有無を判断する。処理回路１２０は、Ｃアーム１０５または寝台１０４の可動範囲内に対象物が存在すると判断した場合、当該対象物を回避するように、Ｃアーム１０５または寝台１０４の動作を制御する。
例えば、処理回路１２０は、可動機構の移動ルート上に対象物の３次元形状データ８０の回避領域８１が存在する場合には、回避領域８１を回避して目的位置に到達可能な回避ルートを探索または生成する。また、処理回路１２０は、回避領域８１に対応付けられた回避動作に応じて、可動機構の速度の変更や、可動機構の停止等の制御を実行する。
また、Ｘ線診断装置１０の処理回路１２０は、回避ルートでは可動機構の移動に時間を要する場合や、対象物を回避可能な回避ルートが存在しない場合は、ディスプレイ１３０に、対象物の移動等を提案するメッセージを表示させても良い。
また、医用情報処理装置３０の取得機能３５１は、入力インターフェース３３を介して操作者からの検査の終了の指示を取得したか否かを判断する（Ｓ９）。取得機能３５１は、操作者からの検査の終了の指示を取得していないと判断した場合（Ｓ９“Ｎｏ”）、Ｓ１の処理に戻り、対象物認識処理を継続する。本実施形態においては、医用情報処理装置３０で実行される対象物認識処理は、Ｘ線診断装置１０がＣアーム１０５を移動させる時だけではなく、Ｘ線診断装置１０による被検体Ｐ１の検査の終了まで継続し、新たな対象物を検出したり、検出済みの対象物の位置または姿勢の変化が検出したりした場合には、検出結果をＸ線診断装置１０に送信する。
また、取得機能３５１が操作者からの検査の終了の指示を取得したと判断した場合（Ｓ９“Ｎｏ”）、このフローチャートの処理は終了する。なお、検査の終了の指示は、Ｘ線診断装置１０から送信されても良い。
このように、本実施形態の医用情報処理装置３０は、ステレオカメラ２０から取得した検査室画像２０１と、検査室画像２０１と検査室画像２０１に描出された対象物の識別情報との対応関係を示す第１の対応情報（学習済モデルＭ）とに基づいて、検査室画像２０１に描出された対象物の識別情報を特定し、特定した対象物の識別情報に対応する３次元形状データ８０を、第２の対応情報（対象物情報３２０１）に基づいて特定する。また、医用情報処理装置３０は、特定した３次元形状データ８０の位置を、ステレオカメラ２０から対象物までの距離を示す深度情報に基づいて特定する。このように、本実施形態の医用情報処理装置３０によれば、検査室画像２０１上の対象物の外形と３次元形状データ８０とのマッチング処理をせずに、検査室画像２０１に描出された対象物に対応する３次元形状データ８０を特定するため、迅速に対象物の立体形状を特定することができる。
例えば、比較例として、検査室画像に描出された対象物の形状と、予め記憶された３次元形状データとの形状対形状のマッチング処理により、対象物に相当する３次元形状データを特定する技術がある。このような技術においては、対象物の立体形状を特定するための処理負荷が重くなり、処理に時間を要する場合がある。これに対して、本実施形態の医用情報処理装置３０によれば、検査室画像２０１上の対象物の外形と３次元形状データ８０とのマッチング処理をしなくとも、対象物の立体形状を特定することができるため、処理時間を低減することができる。
また、本実施形態の対象物情報３２０１は、複数の対象物の識別情報と、該複数の対象物の各々の外形を示す複数の３次元形状データ８０と、該複数の対象物の１または複数の回避領域８１と、該１または複数の回避領域８１の各々における回避動作と、が対応付けられた情報である。また、医用情報処理装置３０は、仮想３次元空間内における３次元形状データ８０の位置および向きと、３次元形状データ８０に対応付けられた１または複数の回避領域８１と、１または複数の回避領域８１の各々における回避動作とを、Ｘ線診断装置１０に送信する。このため、本実施形態の医用情報処理装置３０によれば、Ｘ線診断装置１０に、特定された対象物の回避領域８１に対応付けられた回避動作に応じた可動機構の制御を、実行させることができる。
また、本実施形態の回避領域は、３次元形状データ８０の外形を拡大した３次元の領域である。また、対象物情報３２０１においては、１つの３次元形状データ８０に対して、大きさの異なる複数の回避領域が対応付けられ、複数の回避領域の各々に、異なる回避動作が対応付けられる。このため、本実施形態の医用情報処理装置３０によれば、Ｘ線診断装置１０に、対象物との接近の度合に応じて、適切な回避動作を実行させることができる。
また、本実施形態の第１の対応情報は、検査室画像２０１と、検査室画像２０１に描出された前記対象物の識別情報とが対応付けられた学習済モデルＭ１である。このため、本実施形態の医用情報処理装置３０によれば、検査室画像２０１に描出された対象物を高精度に認識することができる。例えば、上述の比較例のように、検査室画像に描出された対象物の形状と、予め記憶された３次元形状データとをマッチングする技術においては、対象物の外形のうち、検査室画像に映り込んだ範囲が小さい場合には、対応する３次元形状データの特定が困難な場合がある。また、対象物の撮像角度によっては、検査室画像から立体形状を特定することが困難な場合がある。これに対して、本実施形態の医用情報処理装置３０は、検査室画像２０１に対象物の外形の全体が描出されていない場合においても、学習済モデルＭ１を用いることにより、検査室画像２０１に描出された対象物の外形の一部の形状または色等に基づいて、対象物の識別情報を特定することができる。
また、本実施形態のＸ線診断装置１０は、医用情報処理装置３０から送信された仮想３次元空間内における対象物を示す３次元形状データ８０の位置に基づいて、可動機構が検査室Ｒ内に存在する対象物を回避するように、可動機構の移動を制御する。このため、本実施形態のＸ線診断装置１０によれば、対象物を高精度に回避することができる。
なお、本実施形態では、Ｘ線診断装置１０を、被検体Ｐ１を撮像可能な医用画像撮像装置の一例としたが、医用画像撮像装置はこれに限定されるものではない。例えば、医用画像撮像装置は、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、Ｘ線診断装置１０とＸ線ＣＴ装置とが一体となったシステム等であっても良い。
また、本実施形態では、ステレオカメラ２０を検査室撮像装置の一例としたが、検査室撮像装置はこれに限定されるものではない。例えば、検査室撮像装置は、ＴｏＦ（Time of Flight）方式、パターン照射方式、または光切断方式等により対象物との距離測定が可能なセンサまたはカメラであっても良い。また、検査室撮像装置は、その他の公知の技術により対象物との距離測定が可能な３Ｄカメラ（Ｄｅｐｔｈカメラ）であっても良い。なお、各種の検査室撮像装置によって撮像される検査室画像は、静止画でも良いし、動画でも良い。
検査室Ｒ内を撮像すると共に深度情報を取得する３Ｄカメラ等を検査室撮像装置として採用する場合は、取得機能３５１は、検査室撮像装置から、検査室画像と、深度情報とを取得する。当該構成を採用する場合、処理回路３５内で深度情報を算出しなくとも良いため、処理回路３５は、第１の算出機能３５２および第２の算出機能３５５を備え無くとも良い。
また、３Ｄカメラは画素ごとの深度を検出するため、当該構成を採用する場合、第３の特定機能３５７は、３Ｄカメラから取得した深度情報と、第１の特定機能３５４によって検査室画像２０１における対象物が描出された領域として特定されたバウンディングボックスとを照合し、検査室画像２０１における対象物が描出された領域の画素ごとの深度（奥行）を特定する。そして、第３の特定機能３５７は、特定した画素ごとの深度に基づいて、検査室Ｒにおける対象物の位置および向きを特定するものとする。
また、本実施形態においては、第１の特定機能３５４は、検査室画像２０１と、学習済モデルＭ１に基づいて、対象物の名称と、バウンディングボックス９０とを特定するとしたが、第１の特定機能３５４は、対象物の名称と、バウンディングボックス９０とを特定するために、さらに深度情報を用いても良い。また、この場合、学習済モデルＭ１は、検査室画像と、深度情報と、検査室画像に描出された対象物の識別情報と、検査室画像における対象物が描出された領域との対応関係を示すモデルであっても良い。すなわち、学習済モデルＭ１は、検査室画像と対象物の名称と、バウンディングボックス９０だけではなく、深度情報、検査室画像に描出された対象物の識別情報、検査室画像における対象物が描出された領域を示す情報等の入力に基づいて、対象物の３次元形状を学習したモデルであっても良い。
また、本実施形態においては、学習済モデルＭ１は記憶回路３２に保存されるものとしたが、学習済モデルＭ１に含まれるニューラルネットワークと学習済みパラメータデータとのうち、学習済みパラメータデータのみが記憶回路３２に保存されるものとしても良い。この場合、第１の特定機能３５４が学習済モデルＭ１のニューラルネットワークを含むものとする。
また、学習済モデルＭ１は、検査室画像における対象物の特定結果に対する操作者Ｐ２等のフィードバックを取得することにより、学習済モデルＭ１の内部アルゴリズムを更新する「自己学習するモデル」を含むものであってもよい。
また、本実施形態においては、学習済モデルＭ１を第１の対応情報の一例としたが、第１の対応情報は、少なくとも検査室画像と、検査室画像に描出された対象物の識別情報との対応関係を示す情報であれば良く、学習済モデルＭ１に限定されるものではない。例えば、第１の対応情報は、数式モデル、ルックアップテーブル、またはデータベース等であっても良い。
また、本実施形態では、第１の特定機能３５４は、認識機能３５３によって画像処理された検査室画像に基づいて特定処理を行うものとしたが、第１の特定機能３５４は、取得機能３５１によって取得された検査室画像に基づいて特定処理を行っても良い。
また、本実施形態では、医用情報処理装置３０は、Ｘ線診断装置１０の可動機構の可動範囲内に対象物が存在する場合、仮想３次元空間内における３次元形状データ８０の位置および向きの特定結果と、回避領域８１および回避動作とを、Ｘ線診断装置１０に送信するものとしたが、可動範囲内の対象物の有無に関わらず、これらの情報をＸ線診断装置１０に送信しても良い。
（第２の実施形態）
この第２の実施形態では、医用情報処理装置３０は、さらに、検査室画像２０１に描出された対象物の可動部位を認識し、認識結果に応じて回避領域を変更する。
本実施形態の医用情報処理システムＳの全体構成は、第１の実施形態と同様である。また、本実施形態のＸ線診断装置１０、ステレオカメラ２０、および医用情報処理装置３０の構成は、第１の実施形態と同様である。
本実施形態の医用情報処理装置３０の処理回路３５は、第１の実施形態と同様に、取得機能３５１と、第１の算出機能３５２と、認識機能３５３と、第１の特定機能３５４と、第２の算出機能３５５と、第２の特定機能３５６と、第３の特定機能３５７と、送信機能３５８とを備える。取得機能３５１と、第１の算出機能３５２と、第１の特定機能３５４と、第２の算出機能３５５と、第３の特定機能３５７と、送信機能３５８とは、第１の実施形態と同様の機能を備える。
本実施形態の認識機能３５３は、第１の実施形態と同様の機能を備えた上で、検査室画像に描出された対象物の可動部位を認識する。可動部位は、屈折、回転、または伸縮等の変形が可能な部位であり、例えばアームの関節（ジョイント）部等である。可動部位は、モータ等の機構によって自動的に変形するものであっても良いし、操作者Ｐ２等が手動で変形させるものであっても良い。
図８は、本実施形態に係る可動部位７０ａ～７０ｃを有する対象物の一例を示す図である。図８には、対象物の一例としてインジェクタ５２を記載する。インジェクタ５２は、可動のアーム５２１ａと、アーム５２１ａの先端に取り付けられたヘッド５２１ｂとを有する。
可動のアーム５２１ａは、可動部位７０ａ～７０ｃを有する。以下、可動部位７０ａ～７０ｃを特に区別しない場合は単に可動部位７０という。例えば、インジェクタ５２は、可動部位７０が変形することにより、図８の左側に示す状態から、図８の右側に示す状態に形状が変化する。また、インジェクタ５２の形状は、図８の右側に示す状態から図８の左側に示すにも変化する。
認識機能３５３は、パターン認識等の画像認識の手法によって、検査室画像２０１から、可動部位７０を認識する。
また、認識機能３５３は、さらに、エッジ検出等の画像認識の手法によって、検査室画像２０１から、対象物の端部７１ａ～７１ｄを認識する。以下、端部７１ａ～７１ｄを特に区別しない場合は単に端部７１という。図８においては、認識機能３５３は、位置が可変なヘッド５２１ｂの端部７１のみを認識しているが、他の部位の端部７１も認識しても良い。なお、可動部位７０の認識の手法、および端部７１の認識の手法は上述の例に限定されるものではなく、ディープラーニング等の手法が採用されても良い。
認識機能３５３は、可動部位７０および端部７１の認識結果を、第２の特定機能３５６に送出する。
また、本実施形態の第２の特定機能３５６は、第１の実施形態と同様の機能を備えた上で、対象物情報３２０１から特定した３次元形状データ８０に対応付けられた１または複数の回避領域８１における可動部位７０の近傍の箇所を拡張する、
図９は、本実施形態に係る拡張後の回避領域８１の一例を示す図である。図９に示す例では、第２の特定機能３５６は、インジェクタ５２の３次元形状データ８０ａの回避領域８１ｃの、可動部位７０近傍の箇所を拡張している。図９に示す距離ｄ４は、拡張前の回避領域８１における３次元形状データ８０ａと回避領域８１ｃの外周との距離である。第２の特定機能３５６は、可動部位７０の近傍については、３次元形状データ８０ａと回避領域８１ｃの外周との距離を、距離ｄ４よりも長い距離ｄ３に拡張している。
なお、第２の特定機能３５６は、可動部位７０を含むアーム５２１ａの全体の近傍について、回避領域８１ｃを拡張しても良い。
このように、本実施形態の医用情報処理装置３０は、検査室画像２０１に描出された対象物の可動部位７０を認識し、対象物の３次元形状データ８０に対応付けられた１または複数の回避領域８１における可動部位７０の近傍の箇所を拡張する。このため、本実施形態の医用情報処理装置３０によれば、第１の実施形態の効果を備えた上で、対象物の形状が変形しても、回避領域８１を確保することができる。
また、本実施形態の第２の特定機能３５６は、記憶回路３２に記憶された３次元形状データ８０を、可動部位７０および端部７１の認識結果に基づいて、検査室画像２０１に描出された対象物の形状に合わせるように変形しても良い。この場合、変形パターン分の３次元形状データ８０が予め用意されていなくとも、対象物の形状の変更を３次元形状データ８０に反映可能であるため、予め記憶される３次元形状データ８０のパターンの数を削減することができる。
（第３の実施形態）
この第３の実施形態では、医用情報処理装置３０は、検査室画像２０１に対象物の全体が描出されていない場合に、検査プロトコルに基づいて、該対象物を検出する。
本実施形態の医用情報処理システムＳの全体構成は、第１の実施形態と同様である。また、本実施形態のＸ線診断装置１０、ステレオカメラ２０、および医用情報処理装置３０の構成は、第１の実施形態と同様である。
本実施形態の医用情報処理装置３０の記憶回路３２は、第１の実施形態と同様の内容に加えて、第２の学習済モデルを記憶する。第２の学習済モデルの詳細については後述する。
本実施形態の医用情報処理装置３０の処理回路３５は、第１の実施形態と同様に、取得機能３５１と、第１の算出機能３５２と、認識機能３５３と、第１の特定機能３５４と、
第２の算出機能３５５と、第２の特定機能３５６と、第３の特定機能３５７と、送信機能３５８とを備える。取得機能３５１と、第１の算出機能３５２と、認識機能３５３と、第２の算出機能３５５と、第２の特定機能３５６と、第３の特定機能３５７と、送信機能３５８とは、第１の実施形態と同様の機能を備える。
本実施形態の第１の特定機能３５４は、第１の実施形態と同様の機能を備えた上で、Ｘ線診断装置１０で実行される検査プロトコルに基づいて、検査室Ｒ内に存在する対象物の識別情報（例えば名称）および位置を推定する。
検査プロトコルは、Ｘ線診断装置１０における検査の手順を示す情報であり、スキャン対象部位や、各種のスキャンの実行順が定義されている。
より詳細には、本実施形態の第１の特定機能３５４は、Ｘ線診断装置１０で実行される検査プロトコルと、第２の学習済モデルと、に基づいて、検査室Ｒ内に存在する対象物の識別情報および位置を推定する。そして、本実施形態の第１の特定機能３５４は、対象物の識別情報および位置を推定結果に基づいて、検査室画像から対象物を認識する。例えば、第１の特定機能３５４は、検査室画像に映り込んだ部分が少ない対象物や、他の対象物に遮られて検査室画像に描出されていない対象物を特定する際に、検査プロトコルと、第２の学習済モデルとに基づく推定結果を採用することにより、対象物の認識率を向上させる。
第２の学習済モデルは、複数の検査プロトコルごとに、検査室Ｒ内に存在する対象物の識別情報と、該対象物の位置とが対応付けられたモデルである。
検査室Ｒに設置される医療機器または操作者Ｐ２等の対象物は、検査プロトコルによって配置が決まっている場合がある。本実施形態の第２の学習済モデルは、検査プロトコルごとの対象物の配置の学習によって生成される。
図１０は、本実施形態に係る第２の学習済モデルＭ２の一例を示す図である。図１０に示すように、第２の学習済モデルＭ２は、入力データとして検査プロトコルデータ３２０２が入力された場合に、検査室Ｒ内に存在する対象物の識別情報と、該対象物の位置とを出力する。
Ｘ線診断装置１０で実行される検査プロトコルは、例えば、取得機能３５１が、通信インターフェース３１を介してＸ線診断装置１０から取得しても良いし、入力インターフェース３３から、操作者Ｐ２によって入力されても良い。
このように、本実施形態の医用情報処理装置３０は、Ｘ線診断装置１０で実行される検査プロトコルに基づいて、検査室Ｒ内に存在する対象物の識別情報と、該対象物の位置とを推定することにより、第１の実施形態の効果を備えた上で、対象物の認識率を向上させることができる。
なお、本実施形態では、第２の学習済モデルＭ２は学習済モデルＭ１とは別個のモデルとしたが、学習済モデルＭ１に、第２の学習済モデルＭ２が統合されても良い。
また、Ｘ線診断装置１０を操作する操作者Ｐ２によって、検査室Ｒ内の医療機器または操作者Ｐ２等の配置が決まっている場合がある。このため、第１の特定機能３５４は、Ｘ線診断装置１０の操作者Ｐ２に基づいて、検査室Ｒ内の対象物の識別情報および位置を推定しても良い。
例えば、第２の学習済モデルＭ２は、複数の操作者Ｐ２ごとに、検査室Ｒ内に存在する対象物の識別情報と、該対象物の位置とが対応付けられたモデルであっても良い。
当該構成を採用する場合、例えば、Ｘ線診断装置１０を操作する操作者Ｐ２を特定可能な識別情報が入力インターフェース３３から、操作者Ｐ２によって入力されるものとする。
当該構成を採用する場合においても、本実施形態の医用情報処理装置３０は、Ｘ線診断装置１０を操作する操作者Ｐ２に基づいて、検査室Ｒ内に存在する対象物の識別情報と、該対象物の位置とを推定することにより、対象物の認識率を向上させることができる。
（第４の実施形態）
上述の第１から第３の実施形態では、第１の学習済モデルＭ１または第２の学習済モデルＭ２は、医用情報処理システムＳ外の他の情報処理装置によって生成され、医用情報処理装置３０の記憶回路３２に保存されるものとしたが、この第４の実施形態では、医用情報処理装置３０は、第１の学習済モデルＭ１または第２の学習済モデルＭ２を生成する学習機能を有する。
図１１は、本実施形態に係る医用情報処理システムＳの全体構成の一例を示すブロック図である。本実施形態の医用情報処理システムＳの全体構成は、第１の実施形態と同様である。また、本実施形態のＸ線診断装置１０、およびステレオカメラ２０の構成は、第１の実施形態と同様である。
本実施形態の医用情報処理装置３０の処理回路３５は、取得機能３５１と、第１の算出機能３５２と、認識機能３５３と、第１の特定機能３５４と、第２の算出機能３５５と、第２の特定機能３５６と、第３の特定機能３５７と、送信機能３５８と、学習機能３５９と、表示制御機能３６０とを備える。取得機能３５１と、第１の算出機能３５２と、認識機能３５３と、第１の特定機能３５４と、第２の算出機能３５５と、第２の特定機能３５６と、第３の特定機能３５７と、送信機能３５８とは、第１の実施形態と同様の機能を備える。
図１２は、本実施形態に係る学習処理について説明する図である。
図１２に示すように、学習機能３５９は、例えば、学習データとしての複数の検査室画像２０１ａ～２０１ｎと、複数の検査室画像２０１ａ～２０１ｎの各々に対応する教師データ９００１ａ～９００１ｎとに基づいて、検査室画像２０１と、検査室画像２０１に描出された対象物の識別情報と、検査室画像２０１における対象物が描出された領域（バウンディングボックス９０）との対応関係を学習することによって、第１の学習済モデルＭ１を生成する。
教師データ９００１は、例えば、検査室画像２０１に描出された対象物の識別情報（例えば名称）と、検査室画像２０１における対象物が描出された領域（バウンディングボックス９０）である。教師データ９００１は、例えば、通信インターフェース３１を介して外部から取得されても良い。また、後述の表示制御機能３６０によって検査室画像２０１がディスプレイ３４に表示される場合に、表示された検査室画像２０１に体操する教師データ９００１が、入力インターフェース３３から、操作者Ｐ２によって入力されても良い。
検査室画像２０１は、例えば、静止中または動作中のＸ線診断装置１０が描出された検査室画像である。
また、学習機能３５９は、Ｘ線診断装置１０の写真、Ｘ線診断装置１０の３Ｄグラフィックス画像、検査室Ｒで用いられる医療機器の写真、検査室Ｒで用いられる医療機器の３Ｄグラフィックス画像、または、Ｘ線診断装置１０および検査室Ｒで用いられる医療機器を含む３Ｄグラフィックス画像等を、学習データとして使用しても良い。
学習の手法としては、第１の実施形態で説明したように、Ｒ－ＣＮＮ、畳み込みニューラルネットワーク（ＣＮＮ）や、畳み込みニューラルネットワーク（ＣＤＢＮ）などの多層のニューラルネットワーク等のディープラーニングの手法や、サポートベクターマシン（ＳＶＭ）等の他の機械学習の手法を採用しても良い。
また、学習機能３５９は、さらに第２の学習済モデルＭ２を生成しても良い。この場合、学習データは、検査プロトコルデータ３２０２または操作者Ｐ２の識別情報となる。また、教師データ９００１は、仮想３次元空間内の対象物の３次元形状データ８０の位置および向きと、対象物の識別情報となる。
学習機能３５９は、学習データと、教師データ９００１とに基づいて、検査プロトコルデータ３２０２または操作者Ｐ２の識別情報と、仮想３次元空間内の対象物の３次元形状データ８０の位置および向きと、対象物の識別情報との対応関係を学習することによって、第２の学習済モデルＭ２を生成しても良い。
図１１に戻り、表示制御機能３６０は、学習データとしての検査室画像２０１をディスプレイ３４に表示させる。
本実施形態の医用情報処理装置３０によれば、医用情報処理装置３０内で第１の学習済モデルＭ１または第２の学習済モデルＭ２を生成することにより、第１の実施形態の効果を備えた上で、検査室Ｒで使用される医療機器や、検査プロトロコル等が新規に追加された場合にも、迅速に第１の学習済モデルＭ１または第２の学習済モデルＭ２の生成または更新をすることができる。
（変形例１）
上述の各実施形態では、医用情報処理装置３０は、最新の検査室画像２０１に基づいて対象物の３次元形状データ８０の位置および向きを特定していたが、医用情報処理装置３０は、過去に対象物が認識された位置に基づいて、仮想３次元空間内における対象物の３次元形状データ８０の位置および向きを特定しても良い。
例えば、Ｘ線診断装置１０の可動機構や、検査室Ｒ内の医療機器の移動によって、対象物が陰に隠れることにより、ステレオカメラ２０で撮影できなくなってしまう場合がある。このような場合に、本変形例の医用情報処理装置３０は、例えば、対象物が最後に検出された位置を記憶し、当該位置に物体がある可能性を踏まえて、想定される対象物の３次元形状データ８０の位置および向きをＸ線診断装置１０に送信しても良い。また、Ｘ線診断装置１０側で、対象物が最後に検出された位置を記憶し、当該位置に物体がある可能性を踏まえて、可動機構を制御しても良い。
また、医用情報処理装置３０の第１の特定機能３５４は、時系列に撮像された複数の検査室画像２０１に基づいて、検査室Ｒ内を移動する対象物を認識しても良い。例えば、第１の特定機能３５４は、検査室画像２０１における対象物の認識結果を、次に撮像された検査室画像２０１における対象物の認識処理に利用することで、検査室Ｒ内を移動する対象物を、複数の検査室画像２０１に渡って追跡しても良い。当該構成を採用すると、医用情報処理装置３０は、対象物が時間の経過と共に他の物体の背後に移動して隠れてしまう場合に、該対象物の全体像のうち、検査室画像２０１に映り込む割合が時間の経過ともに減少しても、該対象物を継続して認識することができる。
（変形例２）
上述の各実施形態における医用情報処理装置３０の機能は、Ｘ線診断装置１０の機能として構成されても良い。例えば、Ｘ線診断装置１０の処理回路１２０は、取得機能と、第１の算出機能と、認識機能と、第１の特定機能と、第２の算出機能と、第２の特定機能と、第３の特定機能とを備えるものとしても良い。
また、上述の各実施形態における医用情報処理装置３０の機能は、ステレオカメラ２０等の検査室撮像装置の機能として構成されても良い。例えば、ステレオカメラ２０は、取得機能と、第１の算出機能と、認識機能と、第１の特定機能と、第２の特定機能と、第２の算出機能と、第３の特定機能と、送信機能とを備えるものとしても良い。当該構成を採用する場合、取得機能は、撮像機能ともいう。また、当該構成を採用する場合、検査室撮像装置を医用情報処理装置の一例としても良い。
（変形例３）
上述の各実施形態では、対象物の３次元形状データ８０は予め生成されて記憶回路３２または記憶回路１４０に記憶されているものとしたが、医用情報処理装置３０の処理回路３５またはＸ線診断装置１０の処理回路１２０が、３次元形状データ８０を生成する構成を採用しても良い。
例えば、医用情報処理装置３０の処理回路３５またはＸ線診断装置１０の処理回路１２０は、検査室撮像装置による撮像画像および深度情報に基づいて、対象物の外形を計測し、計測結果を３次元形状データ８０として記憶回路３２または記憶回路１４０に登録する登録機能を備えても良い。
例えば、登録機能は、学習済モデルＭ１，Ｍ２および対象物情報３２０１に基づいて特定できない対象物が検査室画像２０１上に存在すると判定された場合に、当該対象物の３次元形状データ８０を生成し、生成結果に基づいて学習済モデルＭ１，Ｍ２および対象物情報３２０１を更新する。
また、上述の各実施形態では、図５で説明したように、回避領域８１は、対象物の名称および３次元形状データ８０に対応付けられて、記憶回路３２または記憶回路１４０に予め保存されているものとしたが、医用情報処理装置３０の処理回路３５またはＸ線診断装置１０の処理回路１２０が、回避領域８１を算出する構成を採用しても良い。例えば、当該構成を採用する場合、大きさの異なる複数の回避領域８１ごとに、３次元形状データ８０から回避領域８１の外縁までの距離（例えば、図６の距離ｄ１、および距離ｄ２）が記憶回路３２または記憶回路１４０に予め保存されるものとする。そして、第２の特定機能３５６は、第１の特定機能３５４による対象物の認識結果と、３次元形状データ８０と、距離ｄ１，ｄ２とに基づいて、回避領域８１を算出しても良い。
以上説明した少なくとも１つの実施形態によれば、検査室内に存在する回避対象物の位置および向きを高精度に把握することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１０ Ｘ線診断装置
２０ ステレオカメラ
３０ 医用情報処理装置
３１ 通信インターフェース
３２ 記憶回路
３３ 入力インターフェース
３４ ディスプレイ
３５ 処理回路
７０，７０ａ～７０ｃ 可動部位
７１，７１ａ～７１ｄ 端部
８０，８０ａ ３次元形状データ
８１，８１ａ，８１ｂ 回避領域
９０，９０ａ～９０ｅ バウンディングボックス
１０４ 寝台
１０４ａ 天板
１０４ｂ 基台
１０５，１０５ａ，１０５ｂ Ｃアーム
１０６ Ｘ線検出器
１０７ Ｃアーム回転・移動機構
１０８ 天板・寝台移動機構
１０９ Ｃアーム・天板機構制御回路
１１０ 入力インターフェース
１２０ 処理回路
１３０ ディスプレイ
１４０ 記憶回路
１５０ 通信インターフェース
２０１，２０１ａ～２０１ｎ 検査室画像
３５１ 取得機能
３５２ 第１の算出機能
３５３ 認識機能
３５４ 第１の特定機能
３５５ 第２の算出機能
３５６ 第２の特定機能
３５７ 第３の特定機能
３５８ 送信機能
３５９ 学習機能
３６０ 表示制御機能
３２０１ 対象物情報
３２０２ 検査プロトコルデータ
Ｍ１ 学習済モデル（第１の学習済モデル）
Ｍ２ 第２の学習済モデル
Ｐ１ 被検体
Ｐ２ 操作者
Ｒ 検査室
Ｓ 医用情報処理システム

Claims (11)

  1. 可動機構を有する医用画像撮像装置が設置された検査室内が撮像された検査室画像を取得する取得部と、
    前記検査室画像と、前記検査室画像に描出された対象物の識別情報との対応関係を示す第１の対応情報とに基づいて、前記検査室画像に描出された前記対象物の識別情報を特定する第１の特定部と、
    前記対象物の識別情報と該対象物の外形を表す３次元形状データとの対応関係を示す第２の対応情報に基づいて、前記第１の特定部によって特定された前記対象物の識別情報に対応する前記３次元形状データを特定する第２の特定部と、
    前記検査室画像を撮像した検査室撮像装置から前記検査室画像に描出された前記対象物までの距離を示す深度情報に基づいて、前記検査室内の空間を表す仮想３次元空間内における前記３次元形状データの位置を特定する第３の特定部と、
    を備える医用情報処理装置。
  2. 前記第２の対応情報は、複数の対象物の識別情報と、該複数の対象物の各々の外形を示す複数の３次元形状データと、該複数の対象物の１または複数の回避領域と、該１または複数の回避領域の各々における回避動作と、が対応付けられた情報であり、
    前記第３の特定部によって特定された前記仮想３次元空間内における前記３次元形状データの位置および向きと、前記３次元形状データに対応付けられた前記１または複数の回避領域と、前記１または複数の回避領域の各々における回避動作とを前記医用画像撮像装置に送信する送信部、をさらに備える、
    請求項１に記載の医用情報処理装置。
  3. 前記１または複数の回避領域は、前記３次元形状データの外形を拡大した３次元の領域であり、
    前記第２の対応情報においては、１つの前記３次元形状データに対して、大きさの異なる複数の回避領域が対応付けられ、複数の回避領域の各々に、異なる回避動作が対応付けられる、
    請求項２に記載の医用情報処理装置。
  4. 前記第１の対応情報は、前記検査室画像と、前記検査室画像に描出された前記対象物の前記識別情報とが対応付けられた学習済モデルである、
    請求項１から３のいずれか１項に記載の医用情報処理装置。
  5. 前記検査室画像に描出された前記対象物の可動部位を認識する認識部、をさらに備え、
    前記第２の特定部は、前記対象物の前記３次元形状データに対応付けられた前記１または複数の回避領域における前記可動部位の近傍の箇所を拡張する、
    請求項２または３に記載の医用情報処理装置。
  6. 前記第１の特定部は、さらに、前記医用画像撮像装置で実行される検査プロトコルまたは前記医用画像撮像装置の操作者に基づいて、前記検査室内に存在する前記対象物の識別情報および位置を推定し、推定結果に基づいて、前記検査室画像に描出された前記対象物の識別情報を特定する、
    請求項１から５のいずれか１項に記載の医用情報処理装置。
  7. 前記第１の特定部は、前記医用画像撮像装置で実行される検査プロトコルと、複数の検査プロトコルごとに前記検査室内に存在する前記対象物の前記識別情報および位置とが対応付けられた学習済モデルと、に基づいて、前記検査室内に存在する前記対象物の識別情報および位置を推定する、
    請求項６に記載の医用情報処理装置。
  8. 前記第１の特定部は、前記医用画像撮像装置の操作者と、複数の操作者ごとに前記検査室内に存在する前記対象物の前記識別情報および位置とが対応付けられた学習済モデルと、に基づいて、前記対象物の識別情報と、前記検査室内に存在する前記対象物の識別情報および位置を推定する、
    請求項６に記載の医用情報処理装置。
  9. 被検体を撮像可能な医用画像撮像装置と、検査室撮像装置と、医用情報処理装置とを備え、
    前記医用画像撮像装置は、
    移動可能な可動機構と、
    前記医用画像撮像装置から送信された検査室内の空間を表す仮想３次元空間内における対象物を示す３次元形状データの位置に基づいて、前記可動機構が前記対象物を回避するように前記可動機構の移動を制御する制御部と、を備え、
    前記検査室撮像装置は、前記医用画像撮像装置が設置された検査室内を撮像し、
    前記医用情報処理装置は、
    前記検査室撮像装置によって撮像された検査室画像と、前記検査室画像に描出された対象物の識別情報との対応関係を示す第１の対応情報とに基づいて、前記検査室画像に描出された前記対象物の識別情報を特定する第１の特定部と、
    前記対象物の識別情報と該対象物の外形を表す３次元形状データとの対応関係を示す第２の対応情報に基づいて、前記第１の特定部によって特定された前記対象物の識別情報に対応する前記３次元形状データを特定する第２の特定部と、
    前記検査室撮像装置から前記検査室画像に描出された前記対象物までの距離を示す深度情報に基づいて、前記検査室内の空間を表す仮想３次元空間内における前記３次元形状データの位置を特定する第３の特定部と、
    前記第３の特定部によって特定された前記仮想３次元空間内における前記３次元形状データの位置を、前記医用画像撮像装置に送信する送信部と、
    を備える、医用情報処理システム。
  10. 可動機構を有する医用画像撮像装置が設置された検査室内が撮像された検査室画像を取得し、
    前記検査室画像と、前記検査室画像に描出された対象物の識別情報との対応関係を示す第１の対応情報とに基づいて、前記検査室画像に描出された前記対象物の識別情報を特定し、
    前記対象物の識別情報と該対象物の外形を表す３次元形状データとの対応関係を示す第２の対応情報に基づいて、前記対象物の識別情報に対応する前記３次元形状データを特定し、
    前記検査室画像を撮像した検査室撮像装置から前記検査室画像に描出された前記対象物までの距離を示す深度情報に基づいて、前記検査室内の空間を表す仮想３次元空間内における前記３次元形状データの位置を特定する、
    各処理をコンピュータに実行させる医用情報処理プログラム。
  11. 検査室内に設置され、被検体を撮像可能な医用画像撮像装置であって、
    移動可能な可動機構と、
    前記検査室内が撮像された検査室画像を取得する取得部と、
    前記検査室画像と、前記検査室画像に描出された対象物の識別情報との対応関係を示す第１の対応情報とに基づいて、前記検査室画像に描出された前記対象物の識別情報を特定する第１の特定部と、
    前記対象物の識別情報と該対象物の外形を表す３次元形状データとの対応関係を示す第２の対応情報に基づいて、前記第１の特定部によって特定された前記対象物の識別情報に対応する前記３次元形状データを特定する第２の特定部と、
    前記検査室画像を撮像した検査室撮像装置から前記検査室画像に描出された前記対象物までの距離を示す深度情報に基づいて、前記検査室内の空間を表す仮想３次元空間内における前記３次元形状データの位置を特定する第３の特定部と、
    前記３次元形状データの位置に基づいて、前記可動機構が検査室内に存在する前記対象物を回避するように、前記可動機構の移動を制御する制御部と、
    を備える医用画像撮像装置。
JP2019186320A 2019-10-09 2019-10-09 医用情報処理装置、医用情報処理システム、医用情報処理プログラム、および医用画像撮像装置 Active JP7328861B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019186320A JP7328861B2 (ja) 2019-10-09 2019-10-09 医用情報処理装置、医用情報処理システム、医用情報処理プログラム、および医用画像撮像装置
US17/064,246 US11717243B2 (en) 2019-10-09 2020-10-06 Medical information processing apparatus, medical diagnostic apparatus, medical information processing system, medical information processing method, medical imaging apparatus, and medical treatment apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019186320A JP7328861B2 (ja) 2019-10-09 2019-10-09 医用情報処理装置、医用情報処理システム、医用情報処理プログラム、および医用画像撮像装置

Publications (2)

Publication Number Publication Date
JP2021058530A JP2021058530A (ja) 2021-04-15
JP7328861B2 true JP7328861B2 (ja) 2023-08-17

Family

ID=75380918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019186320A Active JP7328861B2 (ja) 2019-10-09 2019-10-09 医用情報処理装置、医用情報処理システム、医用情報処理プログラム、および医用画像撮像装置

Country Status (2)

Country Link
US (1) US11717243B2 (ja)
JP (1) JP7328861B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3671641A1 (en) * 2018-12-20 2020-06-24 Koninklijke Philips N.V. Automated detection of abnormal subject configuration for medical imaging
WO2022036261A1 (en) * 2020-08-13 2022-02-17 Opsis Health, Inc. Object-recognition training

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009022602A (ja) 2007-07-20 2009-02-05 Canon Inc 放射線画像取得装置及びその方法
US20130083894A1 (en) 2011-09-30 2013-04-04 Siemens Aktiengesellschaft Method for controlling the movement of an x-ray apparatus and x-ray system
JP2018506352A (ja) 2015-02-25 2018-03-08 マコ サージカル コーポレーション 外科手術中の追跡中断を低減するナビゲーションシステム及び方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19743500A1 (de) 1997-10-01 1999-04-29 Siemens Ag Medizinische Einrichtung mit einer Vorrichtung zum Erfassen der Position zumindest eines sich in einem Raum befindenden Objektes
JP2014176495A (ja) 2013-03-14 2014-09-25 Toshiba Corp ベッドの移動制御装置、その移動制御方法及びその移動制御プログラム
WO2014192960A1 (ja) 2013-05-31 2014-12-04 株式会社 東芝 Ｘ線診断装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009022602A (ja) 2007-07-20 2009-02-05 Canon Inc 放射線画像取得装置及びその方法
US20130083894A1 (en) 2011-09-30 2013-04-04 Siemens Aktiengesellschaft Method for controlling the movement of an x-ray apparatus and x-ray system
JP2018506352A (ja) 2015-02-25 2018-03-08 マコ サージカル コーポレーション 外科手術中の追跡中断を低減するナビゲーションシステム及び方法

Also Published As

Publication number Publication date
US11717243B2 (en) 2023-08-08
US20210106303A1 (en) 2021-04-15
JP2021058530A (ja) 2021-04-15

Similar Documents

Publication Publication Date Title
CN107016717B (zh) 用于患者的透视视图的系统和方法
US10881353B2 (en) Machine-guided imaging techniques
JP5430203B2 (ja) 画像処理装置、画像処理方法
JP6983482B2 (ja) 医用イメージングシステムにおいて対象３ｄポイントクラウドを生成するための方法及びシステム
US20160074004A1 (en) Positioning of an examination table relative to a medical imaging apparatus
US20140171799A1 (en) Systems and methods for providing ultrasound probe location and image information
JP2012213558A (ja) 画像処理装置、画像処理方法およびプログラム
JP2011125570A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5631453B2 (ja) 画像処理装置、画像処理方法
JP2008018172A (ja) 手術支援装置
JP2015071032A (ja) 画像処理装置、画像処理方法
US20140369583A1 (en) Ultrasound diagnostic device, ultrasound diagnostic method, and computer-readable medium having recorded program therein
CN113287158A (zh) 用于远程医疗的方法和装置
JP7328861B2 (ja) 医用情報処理装置、医用情報処理システム、医用情報処理プログラム、および医用画像撮像装置
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
JP6329953B2 (ja) カテーテルのためのｘ線撮像システム
JP6493877B2 (ja) 基準点評価装置、方法およびプログラム、並びに位置合せ装置、方法およびプログラム
JP6714097B2 (ja) マルチモーダルｘ線撮像における光学カメラ選択
US20240054745A1 (en) Systems and methods for registering a 3d representation of a patient with a medical device for patient alignment
CN115998311A (zh) 一种移动医学影像扫描系统、方法、装置和介质
JP2012147939A (ja) 画像処理装置
JP2017042423A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US11672612B2 (en) Optical coherence tomography guided robotic ophthalmic procedures
US20210298854A1 (en) Robotically-assisted surgical device, robotically-assisted surgical method, and system
WO2024064111A1 (en) Systems and methods of aligning a patient with a medical device leveraging outside-in tracking

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230804

R150 Certificate of patent or registration of utility model

Ref document number: 7328861

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150