JP6982978B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP6982978B2
JP6982978B2 JP2017087593A JP2017087593A JP6982978B2 JP 6982978 B2 JP6982978 B2 JP 6982978B2 JP 2017087593 A JP2017087593 A JP 2017087593A JP 2017087593 A JP2017087593 A JP 2017087593A JP 6982978 B2 JP6982978 B2 JP 6982978B2
Authority
JP
Japan
Prior art keywords
imaging
information
imaging device
image pickup
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017087593A
Other languages
English (en)
Other versions
JP2018183448A (ja
Inventor
吉宏 永縄
裕之 山本
隆明 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017087593A priority Critical patent/JP6982978B2/ja
Priority to US15/958,022 priority patent/US11224404B2/en
Publication of JP2018183448A publication Critical patent/JP2018183448A/ja
Application granted granted Critical
Publication of JP6982978B2 publication Critical patent/JP6982978B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/40Positioning of patients, e.g. means for holding or immobilising parts of the patient's body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • A61B8/5276Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts due to motion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00Measuring inclination, e.g. by clinometers, by levels
    • G01C9/02Details
    • G01C9/06Electric or photoelectric indication or reading means

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

情報処理装置、情報処理方法、およびプログラムに関する。
医療の現場において、医師は、超音波診断装置、光音響撮像装置(以下、PAT(PhotoAcoustic Tomography)装置と呼ぶ)、磁気共鳴映像装置(以下、MRI(Magnetic Resonance Imaging)装置と呼ぶ)、コンピュータ断層撮像装置(以下、X線CT(Computed Tomography)装置と呼ぶ)、光干渉断層計(以下、OCT(Optical Coherence Tomography)装置と呼ぶ)等の様々なモダリティ(撮像装置)によって撮像された医用画像を用いて診断を行うことがある。このような場合に、医用画像に関する情報に基づいて、医用画像が被検体の何れの臓器(部位)を撮像したものであるか、あるいは、左右にある臓器の何れを撮像したものであるかを判別することは有用であり、従来様々な手法が提案されている。
例えば特許文献1では、左右複数回の撮像が左→右→左→右と左右交互に行われる特性を利用して、ある回の撮像部位が被検体の左右の何れであるかを判定することにより、残りの回における左右を自動的に判定する手法が記載されている。また、特許文献2では、撮像する側の乳房の乳頭の位置を位置センサ付きの超音波プローブで登録すると、当該位置情報に基づいて、撮像部位が左右の乳房の何れであるかを判定する手法が記載されている。
特許第5480472号公報 特許第5015580号公報
しかしながら、特許文献1に記載の手法では、最初に何れかの回の左右判定を別途行わなければならないという課題がある。また、特許文献2に記載の手法では、乳頭などの基点の位置を計測する手段を用意しなければならないという課題や、ベッドの決められた位置に患者が存在していなければならないという課題がある。
本発明は上述した課題を解決するためになされたものであり、被検体の撮像部位を簡便に判定する仕組みを提供することを目的とする。
上記目的を達成するための一手段として、本発明の情報処理装置は以下の構成を有する。すなわち、被検体の臓器を撮像している撮像デバイスの姿勢に関する情報を、前記撮像デバイスに取り付けられた姿勢センサから取得する取得手段と、前記取得手段により取得された前記撮像デバイスの複数の姿勢に関する情報を集計して前記撮像デバイスの姿勢の分布を示す分布情報を生成する集計手段と、前記分布情報に基づいて、前記撮像デバイスにより撮像された撮像臓器複数の臓器のいずれであるかを判定する判定手段と、を有する。
以上の構成からなる本発明によれば、被検体の撮像部位を簡便に判定する仕組みを提供することができる。
第1の実施形態における情報処理装置の機能構成を示す図である。 本発明の実施形態における情報処理装置のハードウェア構成の一例を示す図である。 第1の実施形態における撮像環境の一例を説明する図である。 第1の実施形態における情報処理装置の処理を示すフローチャートである。 被検体撮像時の撮像デバイスの動きを例示する図である。 姿第1の実施形態における勢情報の集計結果の例を示す図である。 第1の実施形態の変形例において判定される撮像部位について説明する図である。 第1の実施形態の変形例における姿勢情報の集計結果の例を示す図である。 第1の実施形態の変形例における撮像部位判定結果に基づく表示の一例について説明する図である。 第2の実施形態における情報処理装置の機能構成を示す図である。 第2の実施形態における情報処理装置の処理を示すフローチャートである。 第2の実施形態における傾斜角の記録について説明する図である。 第3の実施形態における情報処理装置の機能構成を示す図である。 第4の実施形態における超音波診断装置の処理を示すフローチャートである
以下、添付の図面を参照して、本発明をその実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
<第1の実施形態>
第1の実施形態における情報処理装置は、被検体の撮像部位を、撮像デバイスの姿勢情報の集計値に基づいて判定する。本実施形態では、撮像デバイスは超音波診断装置における超音波プローブであり、被検体の特定の部位(例えば、乳房)を撮像し、撮影部位は被検体の左右の何れに存在するものか(撮影部位が乳房であれば、当該乳房が胸部の左右の何れであるか)を判別するものとして、以下の説明を行う。
図1は、第1の実施形態における情報処理装置101の機能構成の一例を示す図である。取得部111は、姿勢センサ103によって計測された、撮像デバイス(例えば、超音波プローブ)102の傾きや方向などの状態を表す情報(以下、姿勢情報)を取得する。例えば取得部111は、姿勢情報として、図3で後述するような、撮像デバイス102の左右方向および頭尾方向に対する傾き(ピッチまたはロール)に関する情報を取得する。本実施形態では、撮像デバイスの傾きに関する情報は、傾斜角の情報であるとする。ただし、これに限らず、取得部111は、姿勢情報として、撮像デバイス102の左右方向および頭尾方向の傾斜角がプラスであるかマイナスであるかを示す二値を取得してもよい。撮像デバイス102の姿勢情報(本実施形態では、傾斜角の情報)は、例えばジャイロセンサ、位置姿勢センサ、傾斜センサなどの各種センサを姿勢センサ103として撮像デバイス102に取り付けることによって取得される。なお、撮像デバイス102を操作者が把持して操作する場合には、当該各種センサを撮像デバイス102に取り付ける代わりに、操作者の手や腕に取り付けるなど、必ずしも一体化の必要はない。
記録部112は、取得部111により逐次取得された姿勢情報を後述の記憶装置203に逐次記録する。集計部113は、記録部112により記憶装置203に記録された情報の集計を行う。判定部114は、集計部113により集計された情報に基づいて、撮像デバイス102により撮像された部位が胸部の左右の何れであるかの判定を行う。また、判定部114は、判定結果に基づいて、操作者に提示するための情報を撮像部位判定処理結果として作成し、出力装置205(図2)を介して出力(表示)するための表示制御も行うことができる。
図2は、本実施形態における情報処理装置101のハードウェア構成の一例を示す図である。情報処理装置101は、CPU(Central Processing Unit)201、メモリ202、記憶装置203、入力装置204を備え、各々はバス207により相互に接続されている。
CPU201は、記憶装置203に記憶されているプログラム208を実行することにより、後述する各種機能を実行する。メモリ202は、CPU201が記憶装置203から読み出したプログラムやデータを一時的に記憶する。また、メモリ202は、CPU201が各種のプログラムを実行するための領域としても利用される。
記憶装置203は、オペレーティングシステム(OS)や各種プログラムや制御プログラム、データ等を記憶する。なお、制御用のプログラム208は記憶装置203の一部データとして格納されている。プログラムとしては、姿勢情報の集計などの演算処理、演算結果からの撮像部位判定処理などが挙げられる。情報処理装置101の機能や処理は、CPU201が記憶装置203に格納されているプログラムを読み出し、このプログラムを実行することにより実現され得る。
入力装置204は、操作者等による入力を介して、撮像デバイス102の姿勢情報を取得するための指示や、撮像デバイス102への撮像の開始や停止などの指示を受け付ける。
出力装置205は、例えば表示部として機能し、判定部114により撮像デバイス102の姿勢情報に基づいて作成された撮像部位判定処理結果を出力(表示)する。
図3は、撮像デバイス102を使って撮像を行う場合の撮像環境の一例を示す図である。図3に示す撮像環境において、被検体301はベッド302に仰臥位で横たわり、例えば操作者が撮像デバイス102を被検体301に当てることで撮像を行う。このとき、撮像デバイス102により、左右ある胸部の片側のみの撮像が行われることとする。
撮像空間として、X軸をベッド302における被検体の頭尾方向(頭側をプラス)、Y軸をベッド302における被検体を横切る左右方向(仰臥位で横たわる被検体301の足側から見た右側をプラス)、Z軸をベッド面に対する鉛直方向(仰臥位で横たわる被検体301の上側をプラス)とする装置座標系303を定義する。なお、撮像デバイス102の姿勢情報は、例えば、撮像デバイス102の不図示の撮像面の鉛直軸の傾きによって定義されており、装置座標系303において姿勢センサ103により計測される。例えば、姿勢センサ103は、撮像デバイス102が装置座標系303のZ軸(鉛直軸)に対してY軸(左右軸)の正の方向寄りに傾いている場合には、傾斜角を「左右方向のプラスの値」として記録し、Y軸の負の方向寄りに傾いている場合には、傾斜角を「左右方向のマイナスの値」として記録する。同様に、例えば、姿勢センサ103は、撮像デバイス102がZ軸に対してX軸(頭尾軸)の正の方向寄りに傾いている場合には、傾斜角を頭尾方向のプラスの値として記録し、その逆をマイナスの値として記録する。以下の説明では、上記の装置座標系303に基づいて説明する。なお、一般的にはベッド面は水平であるため傾斜角は重力軸に対して定義されるが、ベッド面が水平面に対して傾いている場合には、ベッド面に対する傾斜角を計測するようにしてもよい。
図4は、情報処理装置101による、撮像部位判定処理を示すフローチャートである。ステップS401において、取得部111は、撮像デバイス102の撮像の開始を認識すると(ステップS401でYes)、撮像デバイス102の姿勢情報の取得を開始し、処理をステップS402へ進める。例えば、撮像デバイス102に具備されている撮像開始ボタン(不図示)が操作者によって操作されたことに応答して、取得部111は撮像デバイス102の撮像を認識し、その後、操作者が入力装置204に対して撮像デバイス102の姿勢情報を取得するための指示を行ったことに応答して、取得部111は、撮像デバイス102の姿勢情報の取得を開始する。また、例えば、操作者が入力装置204に対して撮像デバイス102の姿勢情報を取得するための指示を行った後に、撮像デバイス102が被検体301に触れたタイミングで、取得部は撮像デバイス102の姿勢情報の取得を開始してもよい。なお、上述したように、本実施形態において、撮像デバイス102の姿勢情報は、撮像デバイス102の装置座標系303における傾斜角であるとする。一方、取得部111が撮像デバイス102の撮像の開始を認識するまで、処理を待機する(ステップS401でNo)。
ステップS402において、記録部112は、姿勢センサ103によって逐次計測され、取得部111により取得された撮像デバイス102の姿勢情報(本実施形態では傾斜角)を、記憶装置203に記録する。ここで、撮像デバイス102の傾斜角について、図5を参照して説明する。
図5は、被検体301を撮像している撮像デバイス102の動きを例示する図である。図5における被検体301は、図3においてDで示すラインにおける被検体301の断面を、被検体301の足側から見ている像を示す。操作者は、被検体301の胸部の片側(左側または右側)の体表に沿って撮像デバイス102を当てていく。ここで、操作者が図5に示す胸部の左側(L側)に撮像デバイス102を当てる場合、すなわち、例えば被検体の左乳房を撮像する場合を考える。このとき、撮像デバイス102が胸部の中央付近(胸骨付近)に位置する場合には、左右方向の傾斜角は小さなマイナスの値となる。そして、撮像デバイス102の位置が胸部の中央付近から外側(体側部付近)に向かうにつれて、撮像デバイスの傾きが大きくなるため、左右方向の傾斜角は大きなプラスの値となる。反対に、胸部の右側(R側)に撮像デバイス102を当てる場合、すなわち、例えば右乳房を撮像する場合を考える。このとき、撮像デバイス102が胸部の中央付近に位置する時は左右方向の傾斜角は小さなプラスの値をとり、体側側に向かうにつれて大きなマイナスの値をとる。
図4に戻り、ステップS403において、取得部111は、撮像デバイス102の撮像の終了を認識した場合(ステップS403でYes)、撮像デバイス102の姿勢情報の取得を終了し、処理をステップS404へ進める。例えば、取得部111は、入力装置204を介した操作者による指示により、撮像デバイス102の姿勢情報の取得終了が指示された場合に、撮像デバイス102の撮像の終了を認識するようにしてもよい。また、例えば、撮像デバイス102に具備されている撮像終了ボタン(不図示)が操作者によって操作されたことに応答して、取得部111は撮像デバイス102の撮像の終了を認識しても良い。一方、取得部111は、撮像デバイス102の撮像の終了を認識するまで(ステップS403でNo)、ステップS402の処理を継続する。また、取得部111と撮像デバイス102が連携して動作するように構成される場合、撮像デバイス102が撮像を行っている間、取得部111は、撮像デバイス102の姿勢情報を取得し続けてもよい。
ステップS404において、集計部113は、ステップS403で記録部112により記憶装置203に記録された複数の姿勢情報の集計計算を行う。例えば、集計部113は、記憶装置203に記憶された撮像デバイス102の姿勢情報を集計して、集計結果として、姿勢情報の分布情報を生成する。本実施形態では、一例として、集計部113は、記録部112が記録した左右方向の傾斜角の範囲(すなわち、最大値と最小値)を特定し、当該範囲を分布情報として生成する。ここで、集計部113により生成される、姿勢情報としての傾斜角の分布情報を、図6を参照して説明する。
図6は、集計部113により生成される姿勢情報の集計結果(すなわち傾斜角の分布情報)の例を示す。図6(a)は、図5に示す胸部の左側(L側)に撮像デバイス102を当てた時の、左右方向に対する傾斜角の分布情報の例を示す。また、図6(b)は、図5に示す胸部の右側(R側)に撮像デバイス102を当てた時の、左右方向に対する傾斜角の分布情報の例を示す。なお、図6(a)と図6(b)は、傾斜角の分布情報として、左右方向の傾斜角の最大値や最小値を示すが、集計部113は、左右方向の傾斜角の平均値や中央値を、傾斜角の分布情報として生成してもよい。また、集計部113は、左右方向の傾斜角のヒストグラムを、傾斜角の分布情報として生成してもよい。
図4に戻り、ステップS405において、判定部114は、ステップS404で生成された集計結果に基づいて、撮像デバイス102で撮像された部位(撮像部位)が胸部の左右の何れであるかを判定する。例えば、判定部114は、撮像デバイス102の傾斜角の最大値によって判定を行う。ここで、左側の胸部(例えば左乳房)を撮像する場合には、撮像デバイス102を左側の体側部に沿うように傾けることがあるため、左右方向の傾斜角の最大値は大きな値となる。一方、右側の胸部(例えば右乳房)を撮像する場合には、撮像デバイス102を左側に大きく傾けることがないため、左右方向の傾斜角の最大値は小さな値となる。したがって、判定部114は、左右方向の傾斜角の最大値が所定の閾値よりも大きい場合には、撮像部位は左側と判定し、それ以外の場合には撮像部位は右側と判定することができる。
なお、判定部114は、左右方向の傾斜角の平均値や中央値が正なら、撮像部位は左側、負なら撮像部位は右側のように判定してもよい。また、判定部114は、単一の値ではなく、複数の値を複合した値(例えば最大値と最小値の平均値など)に基づいて撮像部位の左右を判定してもよい。また、判定部114は、ヒストグラムで集計した場合、ヒストグラムの頻度が最大となる左右方向の傾斜角や、左右方向の傾斜角の正負の割合に基づいて、撮像部位の左右を判定してもよい。また、判定部114は、ヒストグラムに所定の分布モデル(例えば正規分布モデル)を当てはめて、その中心となる左右方向の傾斜角に基づいて、撮像部位の左右を判定してもよい。
以上説明したとおり、第1の実施形態における情報処理装置は、撮像デバイスの姿勢情報の集計値に基づいて、被検体の撮像部位を簡便に判定することが可能となる。
(第1の実施形態の変形例1)
第1の実施形態では、胸部の右側と左側(例えば右乳房と左乳房)のどちらの撮像を行ったかを、撮像デバイス102の傾斜角に基づいて判定する場合を例に説明した。しかし、胸部に限らず撮像時の撮像デバイス102の傾斜角を用いて撮像部位が被検体のどの部位に対応するかを判定できるのであれば部位は問わない。例えば、頭部、頬部、臀部などの左右判定や、腹部の左右上下判定に対して第1の実施形態に示した手法を適用してもよい。また、部位に関係なく、被検体が側臥位の体勢で腹部から腰、そして背部にわたる腹部回りを撮像する場合に、第1の実施形態に示した手法を適用することにより、腹部側の撮像なのか、背部側の撮像なのかを判定することができる。また、被検体は、人体に限らず動物や機器類など適用範囲も問わない。
(第1の実施形態の変形例2)
第1の実施形態は、左右方向の1次元(左右方向)の傾斜角情報を使って撮像部位を判別する例であった。しかし、左右方向と頭尾方向といった2次元以上の次元(一以上の方向)の傾斜角情報を使って撮像部位を判別することもできる。例えば、撮像対象が左右乳房のいずれかはわかっている場合に、撮像時の撮像デバイス102の傾斜角に応じて、乳房のどの領域を撮像しているかを判定できる。図7は、本変形例において判定される撮影部位について説明する図である。図7では、左乳房701におけるA、B、C、D領域が図示されている。この乳房に対して撮像を行った撮像デバイス102の姿勢情報の集計結果(すなわち傾斜角の分布情報)の例を図8に示す。図8では、撮像デバイス102の傾斜角の左右方向と頭尾方向の傾斜角がプロットされている。
図7と図8を参照すると、乳房701に対して上側(A,C領域)を撮像した場合は、撮像デバイス102の傾斜角はX軸(頭尾方向)の正側に値をとり、左側(C,D領域)を撮像した場合は、撮像デバイス102の傾斜角はY軸(左右方向)の正側に値をとることがわかる。同様に、下側(B,D領域)の撮像時に傾斜角はX軸の負側に、右側(A,B側)の撮像時に傾斜角はY軸の負側に値をとることがわかる。これらの傾向から、判定部114は、撮像デバイス102がどの領域を撮像したのかを判定することができる。例えば、判定部114は、どの象限にプロットが多いかによって撮影部位がどの領域かを判定できる。図8の例の場合、X,Yともに正の値に多くプロットされているため、判定部114は、撮影部位はC領域であると判定できる。
図9は、図8のような集計結果に基づいて判定部114により作成され、出力装置205により出力(表示)された撮像部位判定処理結果を示す。図9では、ボディマークの該当する領域の位置にプローブマークを重畳して表示されている。また、撮像中に姿勢センサ103により撮像デバイス102の回転角も計測されるため、多く計測した回転角も表したプローブマーク902がC領域に表示される。
<第2の実施形態>
第1の実施形態では、被検体の左側または右側に対する1回の(一続きの)撮像を行った時の姿勢情報の集計値に基づいて撮像部位を判定する場合の例について説明した。これに対し、本実施形態では、被検体の左側または右側に対する複数回の撮像における姿勢情報の集計値に基づいて、より確実かつ簡便に撮像部位を判定する場合の例について説明する。以下、被検体の左側の撮像と右側の撮像の切り替わりを、所定の条件に基づいて自動で判別する場合について説明する。
図10は、第2の実施形態における情報処理装置101の機能構成の一例を示す図である。第1の実施形態において説明した図1と共通する機能の説明は省略する。時間計測部115は、撮像デバイス102が撮像していない時間の長さを計測する。そして、集計部113は、時間計測部115で計測された時間が所定の値より長くなるまで、記録部112が記憶装置203に記録した情報の集計を行う。
図11は、第2の実施形態における情報処理装置101による、撮像部位判定処理を示すフローチャートである。ステップS1101において、取得部111は、撮像デバイス102の撮像の開始を認識すると(ステップS1101でYes)、撮像デバイス102の姿勢情報の取得を開始し、処理をステップS1102へ進める。撮像開始の認識については、第1の実施形態において説明した図4のステップS401と同じであるため、説明を省略する。一方、取得部111が撮像の開始を認識できなかった場合は(ステップS1101でNo)、処理をステップS1104へ進める。
ステップS1102の処理は、第1の実施形態において説明した図4のステップS402の処理と同じであるため、説明を省略する。
ステップS1103において、取得部111は、撮像デバイス102の撮像の終了を認識した場合は(ステップS1103でYes)、ステップS1101に戻り処理を繰り返す。撮像終了の認識については、第1の実施形態において説明した図4のステップS403と同じであるため、説明を省略する。また、取得部111は、撮像の終了を認識できなかった場合は(ステップS1103でNo)、ステップS1102の処理を継続する。
ステップS1104において、集計部113は、既に記録部112により撮像デバイス102の姿勢情報が記憶装置203に記録されており、かつ、前回の撮像が終了してから一定時間が経過したか、という条件を満たしているか否かを判定する。第1の実施形態において、図3を参照して説明したように、片側の胸部の撮像が完了するまでは、あまり時間を空けずに連続で撮像が行われることが多い。すなわち、左右ある胸部に対して、片側の胸部の撮像が完了するまでは反対側の撮像に切り替わらないことが多い。したがって、左右の胸部のいずれか一方の胸部に対する撮像について、ある一続きの撮像が終了してから次の撮像が開始されるまでの時間間隔は短い傾向にある。一方、片側の胸部の撮像が完了して、反対側の胸部の撮像に切り替える場合には、一方の胸部に対する一続きの撮像が終了してから、他方の胸部に対する撮像が開始されるまでの時間間隔が長くなる傾向にある。したがって、集計部113は、撮像部位が胸部の一方から他方に切り替わっているか否かを時間間隔によって判断することができる。
このような背景を考慮し、上記条件を満たしている場合は(ステップS1104でYes)、集計部113は、片側の撮像が完了したと判定して、処理をステップS1105へ進める。一方、上記条件を満たしていない場合は(ステップS1104でNo)、ステップS1101に戻り処理を繰り返す。
ステップS1105において、集計部113は、ステップS1103で記憶装置203に記録された姿勢情報の集計計算を行う。例えば、集計部113は、記憶装置203に記憶された撮像デバイス102の傾斜角を集計して、姿勢情報の集計結果として、傾斜角の分布情報を生成する。
図12は、集計部113により集計される姿勢情報の集計結果(すなわち傾斜角の分布情報)の例を示す。図12では、縦軸に傾斜角、横軸に時間をとり、1回(一続き)の撮像で取得された傾斜角の範囲を帯状で表している。帯1つ分が1回の撮像開始から撮像終了までを意味し、帯と帯の間隔は撮影終了から次の撮影開始までの時間間隔Δを表している。
続いて、ステップS1106において、判定部114は、ステップS404で生成された集計結果に基づいて、撮像デバイス102で撮像された部位(撮像部位)が胸部の左右の何れであるかを判定する。本実施形態では、判定部114は、傾斜角が所定の角度を超えた回数に基づいて、撮像部位が胸部の左右の何れかであるかを判定するものとする。
例えば、傾斜角が所定の角度(例えば、プラス80度)を所定の回数(例えば、3回)以上超えている場合には、判定部114は、撮像部位は左側と判定する。または、判定部114は、全撮像回数に対する、所定の角度を超える傾斜角の回数の割合に基づいて、撮影部位が胸部の左右の何れかであるかを判定してもよい。この場合、例えば、判定部114は、図12の時間間隔Δから撮像回数を求め、傾斜角が所定の角を超えている撮像回数が所定の割合(例えば、30%)を超えている場合は、撮像部位は左側と判定すればよい。これに限らず、第1の実施形態と同様に、判定部114は、撮像デバイス102の傾斜角の平均値や中央値や最大値などの単一の値や、複数の値を複合した値に基づいて、撮影部位が胸部の左右の何れかであるかを判定してもよい。また、判定部114は、1回の撮像ごとに左右の傾斜角に正と負の何れの比率が多いか(正寄りか負寄りか)を判別し、正寄りの撮像回数が多い場合は、撮影部位は左側、負寄りの撮像回数が多い場合は、撮影部位は右側と判定してもよい。なお、このときに、1回の撮像における正と負の比率が所定の割合を超えてない撮像イベントについては、正寄りか負寄りかの判別が困難な撮像イベントとして上記の集計から除外してもよい。これによると、あいまいな情報を除いてより高い精度で左右を判別することが可能となる。
以上説明したとおり、第2の実施形態における情報処理装置は、複数回の撮像における撮像デバイスの姿勢情報の集計値に基づいて、被検体の撮像部位を、より確実かつ簡便に判定する仕組みを提供することができる。
<第3の実施形態>
第1の実施形態および第2の実施形態では、撮像終了後に傾斜角を集計した上で撮像部位を判定する場合の例を説明した。本実施形態では、撮像前や撮像中に撮像部位を判定する場合の例を示す。
図13は、第3の実施形態における情報処理装置101の機能構成の一例を示す図である。図1と共通する機能の説明は省略する。指示受付部116は、入力装置204を介して操作者から指示を受け付けたタイミングを取得部111に通知する。取得部111は、指示受付部116から通知されたタイミングで撮像デバイス102の傾斜角を取得し、判定部114は、そのタイミングでの撮像デバイスの傾斜角に基づいて、撮像部位が被検体のどの部位に対応するかを判定する(撮影部位が胸部であれば、当該撮像部位が胸部の左側か右側かを判定する)。
本実施形態における情報処理装置101の使用例を説明する。撮像前に操作者は、撮像デバイス102を傾け、そこで、入力装置204(本実施形態ではボタンやGUI等)を介して指示受付部116に判定指示を与える。また、操作者が撮像デバイス102を所定の条件を満たす姿勢で操作した場合(例えば撮像デバイス102の傾斜角が所定の角度以上になった場合)や、所定の角度以上で所定の時間以上静止した場合に、指示受付部116は判定指示を受けたと判断してもよい。
本実施形態における情報処理装置101の判定部114は、指示受付部116が判定指示を受け付けたタイミングにおける撮像デバイス102の姿勢(傾斜角)に基づいて撮像部位を判定する。例えば、左側の胸部の撮像を行う場合は、操作者は、撮像前に撮像デバイス102をZ軸(動軸)に対してY軸(左右軸)の正の方向寄りに傾けたうえで、指示受付部116に判定指示を与える。右側の胸部の撮像を行う場合は、操作者は負の方向寄りに撮像デバイス102を傾けたうえで同様の操作を行う。そして、判定指示を与えたタイミングでの撮像デバイス102の傾斜角がプラスであるかマイナスであるかによって、判定部114は、撮像部位が胸部の左右の何れであるかを判定する。誤判定を避けるために、傾斜角がプラス30度以上、またはマイナス30度以下の時に判定をするなどの条件を与えてもよい。また、撮像前に限らず、撮像中や撮像後に明示的な判定指示を与えて判定処理を行うようにしてもよい。
以上説明したとおり、第3の実施形態における情報処理装置は、被検体の撮像部位を、撮像後に限らず簡便に判定する仕組みを提供することができる。
<第4の実施形態>
本実施形態では、以上の実施形態において説明した、情報処理装置101、撮像デバイス102、および姿勢センサ103を具備する超音波診断装置の動作について説明する。超音波診断装置のハードウェア構成は、第1の実施形態において説明した図2と同様である。なお、本実施形態では出力装置205としてモニタを用いるものとする。
図14は、第4の実施形態における超音波診断装置が行う処理を示すフローチャートである。ステップS1401において、超音波診断装置は、撮像デバイス102による超音波断層画像の撮像を開始する。ステップS1402において、超音波診断装置は、ステップS1401で撮像した超音波断層画像をモニタ(出力装置205)で表示する。
ステップS1403において、超音波診断装置は、撮像デバイス102が被検体を撮像しているかを判定する。判定方法は第1の実施形態と同様(図4のステップS401)であるため説明を省略する。被検体を撮像している場合(ステップS1403でYes)、処理をステップS1404へ進める。一方、撮像していない場合(ステップS1403でNo)、処理をステップS1401に戻って処理を繰り返す。ステップS1404において、超音波診断装置は、姿勢センサ103によって計測される撮像デバイス102の姿勢情報(例えば傾斜角)を、記憶装置203に記録する。
ステップS1405において、超音波診断装置は、これまでに記録された姿勢情報から部位の判定が実行可能か否かを判断する。例えば、被検体の撮像開始直後のように、姿勢情報としての傾斜角の計測回数が規定値を超えていない場合には、超音波診断装置は、部位の判定は不能と判断する。部位の判定を行うと判断した場合、超音波診断装置はさらに、その時点までに記録された、複数の姿勢情報に基づき撮像部位を判定する。この判定方法は第1または第2の実施形態(図4のステップS405、図11のステップS1106)と同様である。ただし、被検体の撮像を開始してから現時点までの計測に基づいて判定する点が、上記の実施形態とは異なっている。ここで、例えば、左右方向の傾斜角が正側にも負側にも特徴的な分布を見せない場合には、超音波診断装置は、部位の判定は不能と判断する。
ステップS1406において、超音波診断装置は、ステップS1405の処理で撮像部位が判定できたか否かを確認する。撮像部位が判定できた場合(ステップS1406でYes)、処理をステップS1407へ進める。一方、判定できなかった場合(ステップS1406でNo)、処理をステップS1408へ進める。
ステップS1407において、超音波診断装置は、判定した左右情報に基づく情報をモニタ(出力装置205)に表示する。例えば、超音波診断装置は、計測対象が乳房である場合に、左右いずれか判別した側のボディマークを超音波画像と並べて表示する。なお、表示位置に関しては、特定の表示欄に表示する場合やオーバーレイ表示など、表示形態は問わない。ステップS1408において、超音波診断装置は、撮像部位判定ができていない状態を示すために、モニタ(出力装置205)に例えば「判定中」「Unknown」などの表示をする。
ステップS1409において、超音波診断装置は、撮像を終了したかの確認を行う。撮像を終了した場合(S1409でYes)、処理をステップS1410へ進める。撮像を継続する場合(S1409でNo)、処理をステップS1401に戻り処理を繰り返す。ステップS1410において、超音波診断装置は、撮像して判定された部位をモニタ(出力装置205)に表示する。これは、操作者が撮像部位の誤認識や未認識を確認するものであり、必要に応じて操作者は修正や撮像部位の入力を行う。
以上説明したとおり、第4の実施形態における超音波診断装置は、被検体の撮像部位を、撮像撮像中に判定し表示することが可能となる。
以上、本発明の実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 情報処理装置、102 撮像デバイス、103 姿勢センサ、104 モニタ、201 CPU、202 メモリ、203 記憶装置、204 入力装置

Claims (11)

  1. 被検体の臓器を撮像している撮像デバイスの姿勢に関する情報を、前記撮像デバイスに取り付けられた姿勢センサから取得する取得手段と、
    前記取得手段により取得された前記撮像デバイスの複数の姿勢に関する情報を集計して前記撮像デバイスの姿勢の分布を示す分布情報を生成する集計手段と、
    前記分布情報に基づいて、前記撮像デバイスにより撮像された撮像臓器複数の臓器のいずれであるかを判定する判定手段と、
    を有することを特徴とする情報処理装置。
  2. 前記集計手段は、前記撮像デバイスによる1回の連続た撮像が終了した時点で、前記取得手段により取得された前記撮像デバイスの姿勢に関する情報を集計することを特徴とする請求項に記載の情報処理装置。
  3. 前記集計手段は、前記撮像デバイスによる1回の連続た撮像が終了し、かつ、次の撮像が開始されずに所定の時間が経過した時点で、前記取得手段により取得された前記撮像デバイスの姿勢に関する情報を集計することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記取得手段は、前記撮像デバイスの姿勢に関する情報として、所定の空間の座標系における所定の一以上の方向に対する、前記撮像デバイスの傾斜角を取得することを特徴とする請求項1からのいずれか1項に記載の情報処理装置。
  5. 前記撮像デバイスは前記情報処理装置に含まれることを特徴とする請求項1からのいずれか1項に記載の情報処理装置。
  6. 前記判定手段による前記判定の結果を表示部に表示する表示制御手段を更に有することを特徴とする請求項1からのいずれか1項に記載の情報処理装置。
  7. 前記被検体の臓器は人体の乳房であり、前記判定手段は、前記撮像デバイスにより撮像された撮像臓器が前記被検体の右側の乳房であるか左側の乳房であるかを判定することを特徴とする請求項1からのいずれか1項に記載の情報処理装置。
  8. 被検体の臓器を撮像している撮像デバイスの姿勢に関する情報を、前記撮像デバイスに取り付けられた姿勢センサから取得する取得手段と、
    前記取得手段により取得された前記撮像デバイスの姿勢に関する情報に基づいて、前記撮像デバイスにより撮像された撮像臓器複数の臓器のいずれであるかを判定する判定手段とを有し、
    前記判定手段は、前記撮像デバイスの姿勢が所定の角度条件を満たすタイミングにおいて取得された前記姿勢に関する情報に基づいて、前記判定を行うことを特徴とする情報処理装置。
  9. 被検体の臓器を撮像している撮像デバイスの姿勢に関する情報を、前記撮像デバイスに取り付けられた姿勢センサから取得する取得工程と、
    前記取得工程により取得された前記撮像デバイスの複数の姿勢に関する情報を集計して前記撮像デバイスの姿勢の分布を示す分布情報を生成する集計工程と、
    前記分布情報に基づいて、前記撮像デバイスにより撮像された撮像臓器複数の臓器のいずれであるかを判定する判定工程と、
    を有することを特徴とする情報処理方法。
  10. 被検体の臓器を撮像している撮像デバイスの姿勢に関する情報を、前記撮像デバイスに取り付けられた姿勢センサから取得する取得工程と、
    前記取得工程により取得された前記撮像デバイスの姿勢に関する情報に基づいて、前記撮像デバイスにより撮像された撮像臓器複数の臓器のいずれであるかを判定する判定工程とを有し、
    前記判定工程では、前記撮像デバイスの姿勢が所定の角度条件を満たすタイミングにおいて取得された前記姿勢に関する情報に基づいて、前記判定を行うことを特徴とする情報処理方法
  11. コンピュータを、請求項1からのいずれか1項に記載の情報処理装置として機能させるためのプログラム。
JP2017087593A 2017-04-26 2017-04-26 情報処理装置、情報処理方法、およびプログラム Active JP6982978B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017087593A JP6982978B2 (ja) 2017-04-26 2017-04-26 情報処理装置、情報処理方法、およびプログラム
US15/958,022 US11224404B2 (en) 2017-04-26 2018-04-20 Information processing apparatus, information processing method, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017087593A JP6982978B2 (ja) 2017-04-26 2017-04-26 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2018183448A JP2018183448A (ja) 2018-11-22
JP6982978B2 true JP6982978B2 (ja) 2021-12-17

Family

ID=63916287

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017087593A Active JP6982978B2 (ja) 2017-04-26 2017-04-26 情報処理装置、情報処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US11224404B2 (ja)
JP (1) JP6982978B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109310400B (zh) * 2016-06-07 2021-06-29 皇家飞利浦有限公司 用于乳房组织成像和注释乳房超声图像的超声系统和方法
JP7262340B2 (ja) * 2019-07-31 2023-04-21 富士フイルムヘルスケア株式会社 超音波ct装置、画像処理装置、および、画像処理プログラム
JPWO2022196090A1 (ja) 2021-03-17 2022-09-22
EP4309588A1 (en) 2021-03-17 2024-01-24 FUJIFILM Corporation Ultrasonic diagnosis device and method for controlling ultrasonic diagnosis device

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0684585B1 (en) 1994-04-22 2003-02-05 Canon Kabushiki Kaisha Image forming method and apparatus
US5969725A (en) 1995-03-17 1999-10-19 Canon Kabushiki Kaisha Unification of three-dimensional image data having plural surface shapes
US20040109608A1 (en) * 2002-07-12 2004-06-10 Love Patrick B. Systems and methods for analyzing two-dimensional images
US20040267165A1 (en) * 2003-06-12 2004-12-30 Sarvazyan Armen P. Tactile breast imager and method for use
US20070064987A1 (en) * 2005-04-04 2007-03-22 Esham Matthew P System for processing imaging device data and associated imaging report information
JP5480472B2 (ja) 2005-05-25 2014-04-23 コニカミノルタ株式会社 乳房部位の左右判別方法
US9084556B2 (en) * 2006-01-19 2015-07-21 Toshiba Medical Systems Corporation Apparatus for indicating locus of an ultrasonic probe, ultrasonic diagnostic apparatus
JP5738507B2 (ja) * 2006-01-19 2015-06-24 東芝メディカルシステムズ株式会社 超音波プローブの軌跡表現装置及び超音波診断装置
US8460190B2 (en) * 2006-12-21 2013-06-11 Siemens Medical Solutions Usa, Inc. Automated image interpretation with transducer position or orientation sensing for medical ultrasound
JP5015580B2 (ja) * 2006-12-25 2012-08-29 日立アロカメディカル株式会社 超音波診断装置及びレポート画像作成方法
JP2009225905A (ja) * 2008-03-21 2009-10-08 Gifu Univ 超音波診断支援システム
WO2010125489A1 (en) * 2009-04-29 2010-11-04 Koninklijke Philips Electronics N.V. Method of selecting an optimal viewing angle position for a camera
JP2012143356A (ja) * 2011-01-11 2012-08-02 Toshiba Corp 超音波診断装置及びプログラム
JP6139052B2 (ja) * 2011-11-30 2017-05-31 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置及びその制御プログラム
JP6039903B2 (ja) * 2012-01-27 2016-12-07 キヤノン株式会社 画像処理装置、及びその作動方法
EP2991557A1 (en) * 2013-04-30 2016-03-09 Tractus Corporation Hand-held imaging devices with position and/or orientation sensors for complete examination of tissue
JP2015112410A (ja) * 2013-12-13 2015-06-22 日立アロカメディカル株式会社 超音波診断装置及びプログラム
JP6346445B2 (ja) 2014-01-10 2018-06-20 キヤノン株式会社 処理装置、処理装置の制御方法、およびプログラム
US10765402B2 (en) * 2015-11-23 2020-09-08 QT Ultrasound LLC Automatic laterality identification for ultrasound tomography systems
US20180271484A1 (en) * 2017-03-21 2018-09-27 General Electric Company Method and systems for a hand-held automated breast ultrasound device

Also Published As

Publication number Publication date
US20180310909A1 (en) 2018-11-01
US11224404B2 (en) 2022-01-18
JP2018183448A (ja) 2018-11-22

Similar Documents

Publication Publication Date Title
US9480456B2 (en) Image processing apparatus that simultaneously displays two regions of interest on a body mark, processing method thereof and storage medium
JP6982978B2 (ja) 情報処理装置、情報処理方法、およびプログラム
EP2769676B1 (en) Method and apparatus for performing registration of medical images
US10789707B2 (en) Medical imaging apparatus and method of operating same
KR101504162B1 (ko) 의료 화상용 정보처리장치, 의료 화상용 촬영 시스템 및 의료 화상용 정보처리방법
US20120321161A1 (en) Image processing apparatus, image processing method, image pickup system, and program
KR102273020B1 (ko) 의료 영상 정합 방법 및 그 장치
JP7247280B2 (ja) 情報処理装置、検査システム及び情報処理方法
KR20140127635A (ko) 영상 정합 방법 및 장치
KR102233966B1 (ko) 의료 영상 정합 방법 및 그 장치
US9747686B2 (en) Method and apparatus for changing at least one of direction and position of plane selection line based on pattern
CN117392109A (zh) 一种乳腺病灶三维重建方法及系统
JPH0567286B2 (ja)
KR20150131881A (ko) 의료 영상 정합 방법, 이를 포함하는 장치 및 컴퓨터 기록 매체
JP3219280B2 (ja) Spect断層像撮影装置
JP2006288869A (ja) 内視鏡画像表示装置
KR101501520B1 (ko) 초음파 영상에서 관심 영역을 검출하기 위한 방법 및 장치
JP6584231B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US10722142B2 (en) Medical apparatus for the introduction of catheters into the human body
CN103908293B (zh) 用于测量医学图像的医学成像系统和方法
TW202110404A (zh) 超音波影像系統
JP7321386B2 (ja) 超音波撮影装置、方法およびプログラム
TW202322766A (zh) 超音波影像系統
JP2023122622A (ja) 医療デバイスを追跡および可視化するための方法およびシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200401

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210312

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210607

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211122

R151 Written notification of patent or utility model registration

Ref document number: 6982978

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151