JP5410629B1 - 超音波診断システム、画像処理装置およびその制御方法と制御プログラム - Google Patents
超音波診断システム、画像処理装置およびその制御方法と制御プログラム Download PDFInfo
- Publication number
- JP5410629B1 JP5410629B1 JP2013102615A JP2013102615A JP5410629B1 JP 5410629 B1 JP5410629 B1 JP 5410629B1 JP 2013102615 A JP2013102615 A JP 2013102615A JP 2013102615 A JP2013102615 A JP 2013102615A JP 5410629 B1 JP5410629 B1 JP 5410629B1
- Authority
- JP
- Japan
- Prior art keywords
- blood vessel
- dimensional
- image data
- display
- vessel region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
【課題】より簡易で的確な超音波画像診断装置を提供する。
【解決手段】第1マーカが固定された超音波プローブ111を用いて取得した超音波信号に基づいて、第1マーカとの相対位置関係を含む、3次元超音波画像データを生成する超音波画像生成部110と、超音波プローブの観察部位を内部に有する生体の外観を撮像すると共に、超音波プローブに固定された第1マーカを撮像する撮像部130と、3次元超音波画像データを用いて、撮像された第1マーカの位置および向きに基づいた位置、形状および大きさの表示用超音波画像データを生成する表示用画像生成部120と、生体の外観を撮像して取得した表示用生体画像141に、表示用超音波画像データによる表示用超音波画像142を重畳して表示する表示部140と、を備える。
【選択図】図1
【解決手段】第1マーカが固定された超音波プローブ111を用いて取得した超音波信号に基づいて、第1マーカとの相対位置関係を含む、3次元超音波画像データを生成する超音波画像生成部110と、超音波プローブの観察部位を内部に有する生体の外観を撮像すると共に、超音波プローブに固定された第1マーカを撮像する撮像部130と、3次元超音波画像データを用いて、撮像された第1マーカの位置および向きに基づいた位置、形状および大きさの表示用超音波画像データを生成する表示用画像生成部120と、生体の外観を撮像して取得した表示用生体画像141に、表示用超音波画像データによる表示用超音波画像142を重畳して表示する表示部140と、を備える。
【選択図】図1
Description
本発明は、超音波画像を用いて医療を支援する技術に関する。
上記技術分野において、特許文献1には、超音波プローブから得た超音波画像と、2つのシーンカメラから得た実画像とを、トラッカーカメラから得たカメラ視点座標系を使用してフリーズおよび追加処理により重ね合わせて、ステレオHMDに表示する技術が開示されている。また、非特許文献1には、超音波プローブから得た超音波画像と、1つのカメラで得た超音波プローブのARマーカの画像とから、シースルーで実空間に見える患者に重なるように、両眼式のオプティカル・シースルーHMDに対して超音波画像を表示する技術が記載されている。
Shinichi Tano et al.,"Simple Augmented Reality System for 3D Ultrasonic Image by See-through HMD and Simple Camera and Marker Combination,"IEEE-EMBS International Conference Biomedical and Health Informatics, Hong Kong, China 2-7 Jan. 2012, p464-467
しかしながら、上記特許文献1に記載の技術では、トラッカーカメラの映像による超音波画像や実空間画像の座標変換処理を必要とする。一方、上記非特許文献1に記載の技術では、複数の超音波画像から血管を抽出しているが、治療対象とする血管を選定して、患部と血管との関係から血管および患部に関する情報を医師が容易に取得することができず、的確な超音波画像診断を行なうことが難しかった。
本発明の目的は、上述の課題を解決する技術を提供することにある。
上記目的を達成するため、本発明に係る超音波診断システムは、
撮像手段が、超音波プローブの観察部位を内部に有する生体の外観と共に撮像した、前記超音波プローブに固定された第1マーカと前記生体の表面に固定された第2マーカとの画像に基づいて、前記第1マーカの位置および向きと前記第2マーカの位置および向きとを取得するマーカ情報取得手段と、
前記超音波プローブを用いて取得した複数の超音波信号に基づいて、複数の2次元超音波画像データを時系列に生成する2次元超音波画像データ生成手段と、
前記複数の超音波信号のそれぞれの取得時における前記第1マーカの位置および向きと前記第2マーカの位置および向き、および、前記複数の2次元超音波画像データに基づいて、前記第2マーカを基準とする3次元座標で表わした複数の3次元超音波画像データを生成する3次元超音波画像データ生成手段と、
前記複数の3次元超音波画像データを蓄積する超音波画像データ蓄積手段と、
前記複数の3次元超音波画像データの各々から、前記第2マーカを基準とする3次元座標で表わした複数の3次元血管領域データを抽出する3次元血管領域データ抽出手段と、
血管輪郭の連続性に基づいて前記複数の3次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の3次元血管領域データを蓄積する血管領域データ蓄積手段と、
前記超音波画像データ蓄積手段から前記複数の3次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の3次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の3次元超音波画像データおよび前記複数の3次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成手段と、
前記複数の表示用画像を表示することにより、生体と観察部位と複数の血管領域とを識別可能に重畳して表示する表示手段と、
前記表示手段に表示された前記複数の血管領域から少なくとも1つの血管領域を選定する血管選定手段と、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する3次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない3次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御手段と、
を備えた。
撮像手段が、超音波プローブの観察部位を内部に有する生体の外観と共に撮像した、前記超音波プローブに固定された第1マーカと前記生体の表面に固定された第2マーカとの画像に基づいて、前記第1マーカの位置および向きと前記第2マーカの位置および向きとを取得するマーカ情報取得手段と、
前記超音波プローブを用いて取得した複数の超音波信号に基づいて、複数の2次元超音波画像データを時系列に生成する2次元超音波画像データ生成手段と、
前記複数の超音波信号のそれぞれの取得時における前記第1マーカの位置および向きと前記第2マーカの位置および向き、および、前記複数の2次元超音波画像データに基づいて、前記第2マーカを基準とする3次元座標で表わした複数の3次元超音波画像データを生成する3次元超音波画像データ生成手段と、
前記複数の3次元超音波画像データを蓄積する超音波画像データ蓄積手段と、
前記複数の3次元超音波画像データの各々から、前記第2マーカを基準とする3次元座標で表わした複数の3次元血管領域データを抽出する3次元血管領域データ抽出手段と、
血管輪郭の連続性に基づいて前記複数の3次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の3次元血管領域データを蓄積する血管領域データ蓄積手段と、
前記超音波画像データ蓄積手段から前記複数の3次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の3次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の3次元超音波画像データおよび前記複数の3次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成手段と、
前記複数の表示用画像を表示することにより、生体と観察部位と複数の血管領域とを識別可能に重畳して表示する表示手段と、
前記表示手段に表示された前記複数の血管領域から少なくとも1つの血管領域を選定する血管選定手段と、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する3次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない3次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御手段と、
を備えた。
上記目的を達成するため、本発明に係る画像処理装置は、
撮像手段から、超音波プローブの観察部位を内部に有する生体の外観の画像と共に、前記超音波プローブに固定された第1マーカと前記生体の表面に固定された第2マーカとの画像を受信して、前記第1マーカの位置および向きと前記第2マーカの位置および向きとを取得するマーカ情報取得手段と、
前記超音波プローブを用いて時系列に取得した超音波信号に基づいて生成された、複数の2次元超音波画像データを時系列に受信する2次元超音波画像データ受信手段と、
前記複数の超音波信号のそれぞれの取得時における前記第1マーカの位置および向きと前記第2マーカの位置および向き、および、前記複数の2次元超音波画像データに基づいて、前記第2マーカを基準とする3次元座標で表わした複数の3次元超音波画像データを生成する3次元超音波画像データ生成手段と、
前記複数の3次元超音波画像データを蓄積する超音波画像データ蓄積手段と、
前記複数の3次元超音波画像データの各々から、前記第2マーカを基準とする3次元座標で表わした複数の3次元血管領域データを抽出する3次元血管領域データ抽出手段と、
血管輪郭の連続性に基づいて前記複数の3次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の3次元血管領域データを蓄積する血管領域データ蓄積手段と、
前記超音波画像データ蓄積手段から前記複数の3次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の3次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の3次元超音波画像データおよび前記複数の3次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成手段と、
前記複数の表示用画像を表示手段に送信することにより、前記表示手段に生体と観察部位と複数の血管領域とを識別可能に重畳して表示させる表示画像送信手段と、
前記表示手段に表示された前記複数の血管領域から少なくとも1つの血管領域を選定するよう制御する血管選定制御手段と、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する3次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない3次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御手段と、
を備える。
撮像手段から、超音波プローブの観察部位を内部に有する生体の外観の画像と共に、前記超音波プローブに固定された第1マーカと前記生体の表面に固定された第2マーカとの画像を受信して、前記第1マーカの位置および向きと前記第2マーカの位置および向きとを取得するマーカ情報取得手段と、
前記超音波プローブを用いて時系列に取得した超音波信号に基づいて生成された、複数の2次元超音波画像データを時系列に受信する2次元超音波画像データ受信手段と、
前記複数の超音波信号のそれぞれの取得時における前記第1マーカの位置および向きと前記第2マーカの位置および向き、および、前記複数の2次元超音波画像データに基づいて、前記第2マーカを基準とする3次元座標で表わした複数の3次元超音波画像データを生成する3次元超音波画像データ生成手段と、
前記複数の3次元超音波画像データを蓄積する超音波画像データ蓄積手段と、
前記複数の3次元超音波画像データの各々から、前記第2マーカを基準とする3次元座標で表わした複数の3次元血管領域データを抽出する3次元血管領域データ抽出手段と、
血管輪郭の連続性に基づいて前記複数の3次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の3次元血管領域データを蓄積する血管領域データ蓄積手段と、
前記超音波画像データ蓄積手段から前記複数の3次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の3次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の3次元超音波画像データおよび前記複数の3次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成手段と、
前記複数の表示用画像を表示手段に送信することにより、前記表示手段に生体と観察部位と複数の血管領域とを識別可能に重畳して表示させる表示画像送信手段と、
前記表示手段に表示された前記複数の血管領域から少なくとも1つの血管領域を選定するよう制御する血管選定制御手段と、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する3次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない3次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御手段と、
を備える。
上記目的を達成するため、本発明に係る画像処理装置の作動方法は、
撮像手段から、超音波プローブの観察部位を内部に有する生体の外観の画像と共に、前記超音波プローブに固定された第1マーカと前記生体の表面に固定された第2マーカとの画像を受信して、前記第1マーカの位置および向きと前記第2マーカの位置および向きとを取得するマーカ情報取得ステップと、
前記超音波プローブを用いて時系列に取得した超音波信号に基づいて生成された、複数の2次元超音波画像データを時系列に受信する2次元超音波画像データ受信ステップと、
前記複数の超音波信号のそれぞれの取得時における前記第1マーカの位置および向きと前記第2マーカの位置および向き、および、前記複数の2次元超音波画像データに基づいて、前記第2マーカを基準とする3次元座標で表わした複数の3次元超音波画像データを生成する3次元超音波画像データ生成ステップと、
前記複数の3次元超音波画像データを超音波画像データ蓄積手段に蓄積する超音波画像データ蓄積ステップと、
前記複数の3次元超音波画像データの各々から、前記第2マーカを基準とする3次元座標で表わした複数の3次元血管領域データを抽出する3次元血管領域データ抽出ステップと、
血管輪郭の連続性に基づいて前記複数の3次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の3次元血管領域データを血管領域データ蓄積手段に蓄積する血管領域データ蓄積ステップと、
前記超音波画像データ蓄積手段から前記複数の3次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の3次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の3次元超音波画像データおよび前記複数の3次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成ステップと、
前記複数の表示用画像を表示手段に送信することにより、前記表示手段に生体と観察部位と複数の血管領域とを識別可能に重畳して表示させる表示画像送信ステップと、
前記表示手段に表示された前記複数の血管領域から少なくとも1つの血管領域を選定するよう制御する血管選定制御ステップと、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する3次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない3次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御ステップと、
を含む。
撮像手段から、超音波プローブの観察部位を内部に有する生体の外観の画像と共に、前記超音波プローブに固定された第1マーカと前記生体の表面に固定された第2マーカとの画像を受信して、前記第1マーカの位置および向きと前記第2マーカの位置および向きとを取得するマーカ情報取得ステップと、
前記超音波プローブを用いて時系列に取得した超音波信号に基づいて生成された、複数の2次元超音波画像データを時系列に受信する2次元超音波画像データ受信ステップと、
前記複数の超音波信号のそれぞれの取得時における前記第1マーカの位置および向きと前記第2マーカの位置および向き、および、前記複数の2次元超音波画像データに基づいて、前記第2マーカを基準とする3次元座標で表わした複数の3次元超音波画像データを生成する3次元超音波画像データ生成ステップと、
前記複数の3次元超音波画像データを超音波画像データ蓄積手段に蓄積する超音波画像データ蓄積ステップと、
前記複数の3次元超音波画像データの各々から、前記第2マーカを基準とする3次元座標で表わした複数の3次元血管領域データを抽出する3次元血管領域データ抽出ステップと、
血管輪郭の連続性に基づいて前記複数の3次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の3次元血管領域データを血管領域データ蓄積手段に蓄積する血管領域データ蓄積ステップと、
前記超音波画像データ蓄積手段から前記複数の3次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の3次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の3次元超音波画像データおよび前記複数の3次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成ステップと、
前記複数の表示用画像を表示手段に送信することにより、前記表示手段に生体と観察部位と複数の血管領域とを識別可能に重畳して表示させる表示画像送信ステップと、
前記表示手段に表示された前記複数の血管領域から少なくとも1つの血管領域を選定するよう制御する血管選定制御ステップと、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する3次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない3次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御ステップと、
を含む。
上記目的を達成するため、本発明に係る画像処理装置の制御プログラムは、
撮像手段から、超音波プローブの観察部位を内部に有する生体の外観の画像と共に、前記超音波プローブに固定された第1マーカと前記生体の表面に固定された第2マーカとの画像を受信して、前記第1マーカの位置および向きと前記第2マーカの位置および向きとを取得するマーカ情報取得と、
前記超音波プローブを用いて時系列に取得した超音波信号に基づいて生成された、複数の2次元超音波画像データを時系列に受信する2次元超音波画像データ受信ステップと、
前記複数の超音波信号のそれぞれの取得時における前記第1マーカの位置および向きと前記第2マーカの位置および向き、および、前記複数の2次元超音波画像データに基づいて、前記第2マーカを基準とする3次元座標で表わした複数の3次元超音波画像データを生成する3次元超音波画像データ生成ステップと、
前記複数の3次元超音波画像データを超音波画像データ蓄積手段に蓄積する超音波画像データ蓄積ステップと、
前記複数の3次元超音波画像データの各々から、前記第2マーカを基準とする3次元座標で表わした複数の3次元血管領域データを抽出する3次元血管領域データ抽出ステップと、
血管輪郭の連続性に基づいて前記複数の3次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の3次元血管領域データを血管領域データ蓄積手段に蓄積する血管領域データ蓄積ステップと、
前記超音波画像データ蓄積手段から前記複数の3次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の3次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の3次元超音波画像データおよび前記複数の3次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成ステップと、
前記複数の表示用画像を表示手段に送信することにより、前記表示手段に生体と観察部位と複数の血管領域とを識別可能に重畳して表示させる表示画像送信ステップと、
前記表示手段に表示された前記複数の血管領域から少なくとも1つの血管領域を選定するよう制御する血管選定制御ステップと、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する3次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない3次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御ステップと、
をコンピュータに実行させる。
撮像手段から、超音波プローブの観察部位を内部に有する生体の外観の画像と共に、前記超音波プローブに固定された第1マーカと前記生体の表面に固定された第2マーカとの画像を受信して、前記第1マーカの位置および向きと前記第2マーカの位置および向きとを取得するマーカ情報取得と、
前記超音波プローブを用いて時系列に取得した超音波信号に基づいて生成された、複数の2次元超音波画像データを時系列に受信する2次元超音波画像データ受信ステップと、
前記複数の超音波信号のそれぞれの取得時における前記第1マーカの位置および向きと前記第2マーカの位置および向き、および、前記複数の2次元超音波画像データに基づいて、前記第2マーカを基準とする3次元座標で表わした複数の3次元超音波画像データを生成する3次元超音波画像データ生成ステップと、
前記複数の3次元超音波画像データを超音波画像データ蓄積手段に蓄積する超音波画像データ蓄積ステップと、
前記複数の3次元超音波画像データの各々から、前記第2マーカを基準とする3次元座標で表わした複数の3次元血管領域データを抽出する3次元血管領域データ抽出ステップと、
血管輪郭の連続性に基づいて前記複数の3次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の3次元血管領域データを血管領域データ蓄積手段に蓄積する血管領域データ蓄積ステップと、
前記超音波画像データ蓄積手段から前記複数の3次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の3次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の3次元超音波画像データおよび前記複数の3次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成ステップと、
前記複数の表示用画像を表示手段に送信することにより、前記表示手段に生体と観察部位と複数の血管領域とを識別可能に重畳して表示させる表示画像送信ステップと、
前記表示手段に表示された前記複数の血管領域から少なくとも1つの血管領域を選定するよう制御する血管選定制御ステップと、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する3次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない3次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御ステップと、
をコンピュータに実行させる。
本発明によれば、より簡易に的確な超音波画像診断を実現することができる。
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
[第1実施形態]
本発明の第1実施形態としての超音波診断システム100について、図1を用いて説明する。超音波診断システム100は、超音波画像を用いて医療を支援するシステムである。
本発明の第1実施形態としての超音波診断システム100について、図1を用いて説明する。超音波診断システム100は、超音波画像を用いて医療を支援するシステムである。
超音波診断システム100は、超音波画像生成部110と、撮像部130と、表示用画像生成部120と、表示部140と、を含む。超音波画像生成部110は、マーカ131が固定された超音波プローブ111を用いて取得した超音波信号に基づいて、マーカ131との相対位置関係を含む、3次元超音波画像データを生成する。撮像部130は、超音波プローブ111の観察部位を内部に有する生体の外観133を撮像すると共に、超音波プローブ111に固定されたマーカ131を撮像する。表示用画像生成部120は、3次元超音波画像データを用いて、撮像されたマーカ131の位置および向きに基づいた位置、形状および大きさの表示用超音波画像データを生成する。表示部140は、生体の外観133を撮像して取得した表示用生体画像141に、表示用超音波画像データによる表示用超音波画像142を重畳して表示する。
本実施形態によれば、超音波画像と生体の外観との重ね合わせ表示を実現することにより、より簡易に的確な超音波画像診断を実現することができる。
[第2実施形態]
次に、本発明の第2実施形態に係る超音波診断システムについて説明する。本実施形態の超音波診断システムは、実空間の患者をステレオWEBカメラで撮影した実空間画像に、超音波診断装置で取得した超音波画像を3次元に重ね合わせて、医師が掛けている両眼式ビデオシースルー型ヘッドマウントディスプレイに3次元表示する。両画像の重ね合わせは、ステレオWEBカメラで撮影した実空間画像中の、超音波プローブに貼り付けた2次元コードからなる光学マーカの画像により、超音波プローブの位置および方向を抽出することで実現する。なお、本実施形態においては、超音波プローブに貼り付けた2次元コードと、患者の生体表面に固定した2次元コードとの2つのマーカを配置した例を示す。しかしながら、超音波プローブに貼り付けた2次元コードのマーカのみであっても、カメラと超音波プローブとの相対的位置関係から重ね合わせ表示が可能である。
次に、本発明の第2実施形態に係る超音波診断システムについて説明する。本実施形態の超音波診断システムは、実空間の患者をステレオWEBカメラで撮影した実空間画像に、超音波診断装置で取得した超音波画像を3次元に重ね合わせて、医師が掛けている両眼式ビデオシースルー型ヘッドマウントディスプレイに3次元表示する。両画像の重ね合わせは、ステレオWEBカメラで撮影した実空間画像中の、超音波プローブに貼り付けた2次元コードからなる光学マーカの画像により、超音波プローブの位置および方向を抽出することで実現する。なお、本実施形態においては、超音波プローブに貼り付けた2次元コードと、患者の生体表面に固定した2次元コードとの2つのマーカを配置した例を示す。しかしながら、超音波プローブに貼り付けた2次元コードのマーカのみであっても、カメラと超音波プローブとの相対的位置関係から重ね合わせ表示が可能である。
本実施形態によれば、2つの2次元光学マーカを2つのWEBカメラで撮像して両眼式ビデオシースルー型ヘッドマウントディスプレイに表示するので、簡単な構成でかつ処理の負荷を低減して、実時間における超音波画像と患者を撮像した実空間画像との重ね合わせ表示を実現することができる。一方、上記非特許文献1に記載の技術では、オプティカル・シースルーHMDにおいて実空間と超音波画像とがすぐにずれるため、的確な超音波画像診断を行なうことが難しかった。
《超音波診断システム》
図2〜図4を参照して、本実施形態の超音波診断システムを説明する。
図2〜図4を参照して、本実施形態の超音波診断システムを説明する。
(動作概念)
図2は、本実施形態に係る超音波診断システムの動作概念を示す図である。図2は、本実施形態の超音波診断システムにおいて、両眼式ビデオシースルー型ヘッドマウントディスプレイ(以下、HMD)260に表示される画像を図示している。
図2は、本実施形態に係る超音波診断システムの動作概念を示す図である。図2は、本実施形態の超音波診断システムにおいて、両眼式ビデオシースルー型ヘッドマウントディスプレイ(以下、HMD)260に表示される画像を図示している。
HMD260には、超音波プローブ画像261の移動に伴って、実時間の患者の撮像画像に重ね合わせて超音波画像262および263が表示されている。HMD260を掛けた医師は、超音波プローブを動かすことによって、所望の患者内部の深さ方向の画像を患者の画像に合わせて観察することができる。
(構成)
図3は、本実施形態に係る超音波診断システム300の構成を示すブロック図である。
図3は、本実施形態に係る超音波診断システム300の構成を示すブロック図である。
超音波診断システム300は、超音波診断装置310と、HMD260と、HMD260に設置された2つのウェブカメラ(以下、WEBカメラ)330と、ビデオキャプチャボード(以下、VCB)340と、表示用画像生成部としての画像処理装置350と、を有する。
超音波診断装置310は、2次元マーカ331を貼り付けた超音波プローブ(深触子)311により取得した患者内部の観察部位からの超音波反射信号に基づき、超音波プローブ311の先端から深さ方向の画像を取得する。そして、超音波診断装置310が取得した画像信号は、VCB340でデジタル画像データに変換されて画像処理装置350に送られる。なお、本実施形態においては、既存の超音波診断装置310を使用する例を示すが、デジタル画像データを出力する超音波画像取得装置であってもよい。
WEBカメラ330は、医師302が掛けたHMD260の両眼部前面に設置されて、患者301の超音波プローブ311を含む生体の外観である患部表面をステレオ撮像して表示用生体画像を取得する。左右2つのWEBカメラ330からの撮像画像は、VCB340を経由して画像処理装置350に送られる。撮像画像には、超音波プローブ311の2次元マーカ331および患者301に固定された2次元マーカ332が映っている。なお、WEBカメラ330はデジタル画像データを生成するので、VCB340によるデジタル画像データへの変換は行なわれない。
VCB340は、アナログ画像信号をデジタル画像データに変換して画像処理装置350に送り、一方、画像処理装置350からのデジタル画像データを必要であればアナログ画像信号に変換して、HMD260などの表示部に送る。また、VCB340は、各装置および機器間の制御信号も経由する。
画像処理装置350の実空間画像生成部352は、VCB340を経由して取得した、実時間の患者の患部表面画像から2つの2次元マーカを抽出して、医師の視点(すなわち、カメラ座標系)と超音波プローブ311の位置および方向とを決定する。医師の視点に基づいて、患部表面画像は絶対座標系に変換される。同時に、画像処理装置350の超音波画像生成部351は、VCB340を経由して実時間の患者患部の超音波画像を取得する。超音波画像は、超音波プローブ311の位置および方向に基づいて、絶対座標系に変換される。そして、画像処理装置350の画像処理部353は、同じ絶対座標系において、患部表面画像に超音波画像が重ね合わされて、さらに、HMD表示座標系に変換されてHMD260に送信される。なお、本実施形態の画像処理装置350の詳細な機能構成は、図5に示される。
(動作手順)
図4は、本実施形態に係る超音波診断システム300の動作手順を示すシーケンス図である。
図4は、本実施形態に係る超音波診断システム300の動作手順を示すシーケンス図である。
ステップS401において、超音波プローブ311は超音波信号を取得し、超音波診断装置310は生成した超音波ビデオ信号をVCB340に送信する。ステップS403において、VCB340は、超音波ビデオ信号をデジタル画像データに変換して、画像処理装置350に入力する。ステップS405において、画像処理装置350は、入力された超音波画像を記憶する。
ステップS407において、左右のWEBカメラ330は、2つのマーカおよび患者の患部表面を撮像して、デジタル画像データでVCB340にパケット送信する。ステップS409において、画像処理装置350は、受信した撮像画像を記憶する。
画像処理装置は、ステップS411において、受信した撮像画像から絶対座標系の実空間画像を生成する。画像処理装置は、ステップS413において、撮像画像から2次元マーカを抽出して、2次元マーカの画像データに基づいて超音波プローブ311の絶対座標系での位置および方向を算出する。画像処理装置は、ステップS415において、超音波プローブ311の絶対座標系での位置および方向に基づいて、超音波画像を3次元の絶対座標系に変換する。画像処理装置は、ステップS417において、同じ絶対座標系の患者の患部表面画像に超音波画像を重ね合わせる。
ステップS419において、画像処理装置350は、重ね合わせた画像をHMD260のHMD表示座標系、本実施形態では左右に対応するステレオ座標系、に変換して、表示画像データを、VCB340を経由してHMD260に送信する。ステップS421において、HMD260は、患者の患部表面画像に超音波画像が重ね合わせた3次元画像を出力する。
《画像処理装置の機能構成》
図5は、本実施形態に係る画像処理装置350の機能構成を示すブロック図である。
図5は、本実施形態に係る画像処理装置350の機能構成を示すブロック図である。
画像処理装置350は、超音波診断装置310やHMD260、WEBカメラ330などとのインタフェースを行なう有線通信インタフェース501を有する。有線通信インタフェース501には、例えば、USB,DVI,HDMI(登録商標),RS232Cなどが含まれる。なお、本例では診断あるいは治療室内であるためシールドされた有線による通信を示すが、電波による医療機器への影響が回避できれば無線による通信であってもよい。
画像処理装置350の超音波画像生成部351は、超音波画像データ受信部502と、3次元絶対座標系超音波画像データ生成部503と、超音波プローブ位置および方向算出部504と、2次元マーカ抽出部505と、を含む。超音波画像データ受信部502は、有線通信インタフェース501を介して超音波診断装置310からの超音波画像信号を受信する。3次元絶対座標系超音波画像データ生成部503は、超音波プローブ位置および方向に基づいて、受信した超音波画像信号から絶対座標系の超音波画像データを生成する。超音波プローブ位置および方向算出部504は、患者の患部表面の撮像画像に含まれる超音波プローブに貼られた2次元マーカから超音波プローブの位置および方向を算出する。2次元マーカ抽出部505は、撮像画像データ受信部506からの患者の患部表面の撮像画像に含まれる2次元マーカを抽出する。
画像処理装置350の実空間画像生成部352は、撮像画像データ受信部506と、3次元絶対座標系撮像画像データ生成部507と、を含む。撮像画像データ受信部506は、有線通信インタフェース501を介して2つのWEBカメラ330からの撮像画像データを受信する。3次元絶対座標系撮像画像データ生成部507は、2次元マーカ抽出部505が抽出した患者に固定した2次元マーカに基づいて、撮像画像デーから絶対座標系の3次元実空間画像データを生成する。
画像処理装置350の画像処理部353は、画像重ね合わせ部508と、座標系変換部509と、HMD表示画像データ送信部510と、を含む。画像重ね合わせ部508は、同じ3次元絶対座標系の撮像画像データと超音波画像データとを重ね合わせる。座標系変換部509は、画像重ね合わせ部508の重ね合わせ画像データを絶対座標系からHMD座標系に変換する。この場合に、3次元表示となるように、左右眼用のHMD座標系に変換される。HMD表示画像データ送信部510は、生成されたHMD用の画像データを、有線通信インタフェース501を介してHMD260に送信する。
《超音波診断装置の機能構成》
図6は、本実施形態に係る超音波診断装置310の機能構成を示すブロック図である。なお、図6の超音波診断装置310は標準の構成であり、図6に限定されない。なお、図6の各回路はハードウェア構成であっても、プログラムを実行することで実現するソフトウェア構成であってもよい。
図6は、本実施形態に係る超音波診断装置310の機能構成を示すブロック図である。なお、図6の超音波診断装置310は標準の構成であり、図6に限定されない。なお、図6の各回路はハードウェア構成であっても、プログラムを実行することで実現するソフトウェア構成であってもよい。
送信回路601は、超音波プローブ311から超音波発信するための電気信号を超音波プローブ311に送信する。受信回路602は、超音波プローブ311が受信した超音波に対応する電気信号を受信する。制御回路603は、送信回路601、受信回路602および画像処理部606を制御する。
カラードプラ回路604は、例えば、血管内の血流方向をドプラ効果に基づいて認識して、色分けして識別可能にする。スペクトラルドプラ回路は、例えば、FFT解析などにより特定部位を識別する。画像処理部606は、取得した超音波画像信号のデジタル変換や画像処理(補正や補間など)を行なうと共に、記憶あるいは送信用データに変換する。
モニタ607は、生成された超音波画像を表示する。LSR(ラインスキャンレコーダ)608は、生成された超音波画像をラインスキャンデータで保持する。記録装置609は、生成された超音波画像を種々の形式で記憶媒体に記憶する。DICOM(Digital Imaging Communications in Medicine)610は、生成された超音波画像を送信するための通信制御部である。なお、通信規格は本例に限定されず、アナログデータの送信も含まれる。
《WEBカメラの機能構成》
図7は、本実施形態に係るWEBカメラ330の機能構成を示すブロック図である。なお、図7にはWEBカメラ330の一構成例が示されており、これに限定されない。また、図7では、WEBカメラ330が撮像した画像をパケット通信する構成を有することを示し、各構成要素の詳細な説明は省略する。
図7は、本実施形態に係るWEBカメラ330の機能構成を示すブロック図である。なお、図7にはWEBカメラ330の一構成例が示されており、これに限定されない。また、図7では、WEBカメラ330が撮像した画像をパケット通信する構成を有することを示し、各構成要素の詳細な説明は省略する。
WEBカメラ330の基盤回路には、CCDカメラ702と、撮像した画像データを画像処理装置350に送信するための制御回路701とが装備されている。
《HMDの構成》
WEBカメラを両眼前方に配置したHMD260については、既存のHDMが使用可能であり、説明は省略する。
WEBカメラを両眼前方に配置したHMD260については、既存のHDMが使用可能であり、説明は省略する。
《ビデオキャプチャボード(VCB)の機能構成》
図8は、本実施形態に係るビデオキャプチャボード(VCB)340の機能構成を示すブロック図である。なお、図8のVCB340の構成は一例であって、これに限定されない。
図8は、本実施形態に係るビデオキャプチャボード(VCB)340の機能構成を示すブロック図である。なお、図8のVCB340の構成は一例であって、これに限定されない。
VCB340は、デジタルテレビ信号やアナログビデオ信号、あるいは通信データを受信する入出力コネクタ801と、外部に通信出力する補助入出力コネクタ802とを有する。また、VCB340は、デジタルテレビ信号をデコードするビデオデコーダ803と、アナログビデオ信号をデジタル変換するADコンバータおよびシンクセパレータ804とを有する。
FPGA(Field Programmable Gate Array)805は、ハードウェアの制御部であり、CPUとプログラムメモリからなるソフトウェアの制御部であってもよい。フレームメモリ806は、デジタル画像データを一時保持する。通信インタフェース807は、画像処理装置350に画像データを送信するインタフェースであり、USB,DVI,HDMI(登録商標),RS232Cなどであってよい。
(超音波画像データ)
図9は、本実施形態に係る超音波画像データ900の構成を示す図である。超音波画像データ900は、超音波画像生成部351が超音波診断装置310から受信した画像データを記憶する構成である。
図9は、本実施形態に係る超音波画像データ900の構成を示す図である。超音波画像データ900は、超音波画像生成部351が超音波診断装置310から受信した画像データを記憶する構成である。
超音波画像データ900は、超音波画像データID901に対応付けて、患者ID902と、患部903と、超音波画像の取得日時(タイムスタンプ)904と、超音波画像取得時のパラメータ905と、受信した超音波画像データ906と、を記憶する。
(撮像データ)
図10は、本実施形態に係る撮像データ1000の構成を示す図である。撮像データ1000は、超音波画像生成部351の2次元マーカ抽出部505や実空間画像生成部352がWEBカメラ330から受信した画像データを記憶する構成である。
図10は、本実施形態に係る撮像データ1000の構成を示す図である。撮像データ1000は、超音波画像生成部351の2次元マーカ抽出部505や実空間画像生成部352がWEBカメラ330から受信した画像データを記憶する構成である。
撮像データ1000は、撮像画像データID1001に対応付けて、患者ID1002と、患部1003と、撮像画像の取得日時(タイムスタンプ)1004と、WEBカメラ330で撮像した時点のパラメータ1005と、WEBカメラ330から受信した撮像画像データ1006と、を記憶する。
さらに、撮像データ1000は、2次元マーカ抽出部505における2次元マーカ位置1007と2次元マーカ画像データ1008とを記憶する。
(画像重ね合わせテーブル)
図11は、本実施形態に係る画像重ね合わせテーブルの構成を示す図である。画像重ね合わせテーブルは、画像重ね合わせ部508における画像データの重ね合わせに使用される。画像重ね合わせテーブルとしては、重ね合わせのための座標変換パラメータを記憶するパラメータテーブル1110と、画像データの重ね合わせに使用される画像データテーブル1120とを有する。画像重ね合わせテーブルは、3次元超音波画像データとマーカとの相対位置関係を保持する。
図11は、本実施形態に係る画像重ね合わせテーブルの構成を示す図である。画像重ね合わせテーブルは、画像重ね合わせ部508における画像データの重ね合わせに使用される。画像重ね合わせテーブルとしては、重ね合わせのための座標変換パラメータを記憶するパラメータテーブル1110と、画像データの重ね合わせに使用される画像データテーブル1120とを有する。画像重ね合わせテーブルは、3次元超音波画像データとマーカとの相対位置関係を保持する。
パラメータテーブル1110は、超音波プローブ311に貼り付けた2次元マーカ331と固定の2次元マーカ332とのそれぞれの、2次元コードID1111、2次元コードの位置1112および方向1113に対応付けて、画像データの座標変換パラメータを記憶する。座標変換パラメータは、撮像画像を絶対座標系に変換する座標変換パラメータ1114と、超音波画像を絶対座標系に変換する座標変換パラメータ1115とを含む。
画像データテーブル1120は、受信した超音波画像データ1121と、座標変換パラメータ1115と、画像データの調整パラメータ1123とに基づいて生成した、絶対座標系の3次元超音波画像データ1124を記憶する。また、画像データテーブル1120は、同じタイムスタンプの、受信した撮像画像データ1125と、座標変換パラメータ1114と、画像データの調整パラメータ1127とに基づいて生成した、絶対座標系の3次元撮像画像データ1128を記憶する。
そして、画像データテーブル1120は、3次元撮像画像データ1128に3次元超音波画像データ1124を重ねた、絶対座標系の3次元重ね合わせ画像データ1129を記憶する。
(3次元画像表示データ)
図12は、本実施形態に係る3次元画像表示データ1200の構成を示す図である。3次元画像表示データ1200は、HMD260に表示するための表示データを生成するために使用される。
図12は、本実施形態に係る3次元画像表示データ1200の構成を示す図である。3次元画像表示データ1200は、HMD260に表示するための表示データを生成するために使用される。
3次元画像表示データ1200は、3次元重ね合わせ画像データ1201に対応付けて、画像取得の日時(タイムスタンプ)1202と、絶対座標系からHMD座標系に変換するための座標変換パラメータ1203と、変換されたHMD座標系画像データ1204と、を含む。さらに、3次元画像表示データ1200は、HMD260に3次元表示するため、右目用HMD画像データ1205と左目用HMD画像データ1206とを含む。
《画像処理装置のハードウェア構成》
図13は、本実施形態に係る画像処理装置350のハードウェア構成を示すブロック図である。
図13は、本実施形態に係る画像処理装置350のハードウェア構成を示すブロック図である。
図13で、CPU1310は演算制御用のプロセッサであり、プログラムを実行することで図4の画像処理装置350の機能構成部を実現する。ROM(Read Only Memory)1320は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、無線通信インタフェース1330は、ネットワークを介して他の機器や通信端末やサーバと通信する。なお、CPU1310は1つに限定されず、複数のCPUであっても、あるいは画像処理用のGPUを含んでもよい。また、RAM1340とストレージ1350との間でデータを転送するDMACを設けるのが望ましい(図示なし)。さらに、入出力インタフェース1360は、CPU1310とは独立したCPUを有して、RAM1340の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、CPU1310は、RAM1340にデータが受信あるいは転送されたことを認識してデータを処理する。また、CPU1310は、処理結果をRAM1340に準備し、後の送信あるいは転送は無線通信インタフェース1330やDMAC、あるいは入出力インタフェース1360や有線通信インタフェース501に任せる。
RAM1340は、CPU1310が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM1340には、本実施形態の実現に必要なデータを記憶する領域が確保されている。超音波画像データ1341は、本画像処理装置350が超音波診断装置310から受信した画像データである。3次元超音波画像データ1342は、絶対座標系に変換された超音波画像データである。撮像画像データ1343は、本画像処理装置350がWEBカメラ330から受信した画像データである。3次元撮像画像データ1344は、絶対座標系に変換された撮像画像データである。2次元マーカ画像データ1345は、撮像画像データ1343から抽出された2次元マーカの画像データである。2次元マーカの位置および方向1346は、2次元マーカ画像データ1345から算出された2次元マーカの位置と方向とである。超音波プローブ311に貼られた2次元マーカ331の位置と方向とから超音波プローブ311の位置と方向を知ることができる。重ね合わせ画像データ1347は、3次元撮像画像データ1344に3次元超音波画像データ1342を重ねた画像データである。HMD表示画像データ1348は、重ね合わせ画像データ1347からHMD座標系に変換された画像データである。本実施形態においては、右目用HMD表示画像データと左目用HMD表示画像データとを含む。入出力データ1349は、入出力インタフェース760を介して入出力されるデータである。
ストレージ1350には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。超音波画像DB1351は、超音波診断装置310から受信した超音波画像を蓄積するデータベースであり、後述の第3実施形態以降において蓄積された超音波画像が使用される。
ストレージ1350には、以下のプログラムが格納される。画像処理装置制御プログラム1352は、本画像処理装置350の全体を制御する制御プログラムである。超音波画像生成モジュール1353は、超音波診断装置310から受信した超音波画像データから絶対座標系の3次元超音波画像データを生成するモジュールである。撮像画像生成モジュール1354は、WEBカメラ330から受信した撮像画像データから絶対座標系の3次元撮像画像データを生成するモジュールである。超音波プローブ位置・方向算出モジュール1355は、WEBカメラ330から受信した撮像画像データから2次元マーカを抽出して、超音波プローブ311に貼られた2次元マーカ331の位置および方向から超音波プローブ311の位置と方向を算出するモジュールである。画像重ね合わせモジュール1356は、生成された絶対座標系の3次元撮像画像データに3次元超音波画像データを重ね合わせるモジュールである。HMD画像表示モジュール1357は、重ね合わせた画像データをHMD座標系の両目用画像データに変換して、HMD260に表示させるモジュールである。
入出力インタフェース1360は、入出力機器との入出力データをインタフェースする。入出力インタフェース1360には、表示部1361、タッチパネル/キーボードなどの操作部1362、スピーカやマイクなどの音声入出力部1363が接続される。さらに、超音波診断装置310やHMD260、WEBカメラ330が接続する有線通信インタフェース501が接続される。なお、有線通信インタフェース501は、無線通信インタフェース1330と兼用されてもよい。
なお、図13のRAM1340やストレージ1350には、画像処理装置350が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。
《画像処理装置の処理手順》
図14は、本実施形態に係る画像処理装置350の処理手順を示すフローチャートである。このフローチャートは、図13のCPU1310がRAM1340を使用して実行し、図5の機能構成部を実現する。
図14は、本実施形態に係る画像処理装置350の処理手順を示すフローチャートである。このフローチャートは、図13のCPU1310がRAM1340を使用して実行し、図5の機能構成部を実現する。
画像処理装置350は、ステップS1401において、超音波診断装置310から超音波画像データを受信する。次に、画像処理装置350は、ステップS1403において、WEBカメラ330から実空間の撮像画像データを受信する。
画像処理装置350は、ステップS1405において、受信した撮像画像データに含まれる2次元マークの画像データに基づいて、超音波プローブ311の位置および方向を算出する(図15A参照)。画像処理装置350は、ステップS1407において、撮影画像データと超音波画像データとの座標系を一致させて、画像データを重ね合わせる(図15B参照)。そして、画像処理装置350は、ステップS1409において、重ね合わせた画像データをHMD座標系に変換してHMD260に送信する(図15C参照)。
画像処理装置350は、ステップS1411において、処理の終了か否かを判定し、終了でなければステップS1401に戻って、画像データの取得、画像データの重ね合わせ、画像データの3次元表示を繰り返す。
(超音波プローブ位置および方向検出処理)
図15Aは、本実施形態に係る超音波プローブ位置および方向検出処理(S1405)の手順を示すフローチャートである。
図15Aは、本実施形態に係る超音波プローブ位置および方向検出処理(S1405)の手順を示すフローチャートである。
画像処理装置350は、ステップS1511において、撮像画像データから2次元マーカの枠を抽出する。次に、画像処理装置350は、ステップS1513において、2次元コード枠内の画像データを抽出する。次に、画像処理装置350は、ステップS1515において、患者に固定した固定マーカの位置および形状による向きを算出して、絶対座標系を取得する。そして、画像処理装置350は、ステップS1517において、超音波プローブ311に貼ったマーカの絶対座標系における位置および方向を算出する。
(画像重ね合わせ処理)
図15Bは、本実施形態に係る画像重ね合わせ処理(S1407)の手順を示すフローチャートである。
図15Bは、本実施形態に係る画像重ね合わせ処理(S1407)の手順を示すフローチャートである。
画像処理装置350は、ステップS1521において、撮像画像データを絶対座標系に変換する。次に、画像処理装置350は、ステップS1523において、超音波画像データを絶対座標系に変換する。そして、画像処理装置350は、ステップS1525において、絶対座標系の撮像画像データに超音波画像データを重ね合わせて、重ね合わせ画像データを生成する。
(表示画像データ生成処理)
図15Cは、本実施形態に係る表示画像データ生成処理(S1409)の手順を示すフローチャートである。
図15Cは、本実施形態に係る表示画像データ生成処理(S1409)の手順を示すフローチャートである。
画像処理装置350は、ステップS1531において、重ね合わせ画像データをHMD座標系に変換する。そして、画像処理装置350は、ステップS1533において、右目用HMD表示画像データを生成し、ステップS1535において、左目用HMD表示画像データを生成する。そして、生成された左右HMD表示画像データをHMD260に送信する。
本実施形態によれば、2つの2次元光学マーカを2つのWEBカメラで撮像して両眼式ビデオシースルー型ヘッドマウントディスプレイに表示するので、簡単な構成でかつ処理の負荷を低減して、実時間における超音波画像と患者を撮像した実空間画像との重ね合わせ表示を実現することができる。
[第3実施形態]
次に、本発明の第3実施形態に係る超音波診断システムについて説明する。本実施形態に係る超音波診断システムは、上記第2実施形態と比べると、蓄積した複数の超音波画像を重ね合わせる点で異なる。その他の構成および動作は、第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第3実施形態に係る超音波診断システムについて説明する。本実施形態に係る超音波診断システムは、上記第2実施形態と比べると、蓄積した複数の超音波画像を重ね合わせる点で異なる。その他の構成および動作は、第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
《超音波診断システムの動作概念》
図16は、本実施形態に係る超音波診断システムの動作概念を示す図である。なお、図16において、第2実施形態の図2と同様の要素には同じ参照番号を付して、説明は省略する。
図16は、本実施形態に係る超音波診断システムの動作概念を示す図である。なお、図16において、第2実施形態の図2と同様の要素には同じ参照番号を付して、説明は省略する。
本実施形態においては、複数の超音波画像データを蓄積して、複数の超音波画像表示1601−1〜1601−nにより、各超音波画像の深さ方向ばかりでなく、左右方向に連続した超音波画像1601を患部表面画像に重ね合わせて表示する。
かかる重ね合わせ表示により、擬似的に患者内部の3次元画像を観察することができる。また、次元列に超音波画像データを蓄積して、超音波診断の動作を再現することにより、超音波診断装置の操作の教育にも使用することが可能となる。
《画像処理装置の機能構成》
図17は、本実施形態に係る画像処理装置1750の機能構成を示すブロック図である。なお、図17において、第2実施形態の図5と同様の機能構成部には同じ参照番号を付して、説明は省略する。
図17は、本実施形態に係る画像処理装置1750の機能構成を示すブロック図である。なお、図17において、第2実施形態の図5と同様の機能構成部には同じ参照番号を付して、説明は省略する。
超音波画像DB1751は、超音波診断装置310から受信した複数の超音波画像データを次元列に蓄積する。画像重ね合わせ部1708は、実時間で受信した超音波画像データを重ね合わせるばかりでなく、超音波画像DB1751に蓄積された、時系列の複数の超音波画像データを重ね合わせたり、画像処理装置1750あるいは医師により選択された複数の超音波画像データを重ね合わせたりする。
(超音波画像DB)
図18は、本実施形態に係る超音波画像DB1751の構成を示す図である。なお、超音波画像DB1751の構成は図18に限定されない。
図18は、本実施形態に係る超音波画像DB1751の構成を示す図である。なお、超音波画像DB1751の構成は図18に限定されない。
超音波画像DB1751は、超音波画像ID1801に対応付けて、患者ID1802と、患部1803と、超音波画像の取得日時(タイムスタンプ)1804と、超音波診断装置310から受信した超音波画像データ1805と、を格納する。また、超音波画像DB1751は、画像処理装置1750で得られた、絶対座標系1806と、超音波プローブ位置および方向1807と、生成された3次元超音波画像データ1808と、を格納する。さらに、超音波画像DB1751は、HMD座標系に変換されたHMD表示画像データ1809を格納してもよい。
(3次元画像表示データ)
図19は、本実施形態に係る3次元画像表示データ1900の構成を示す図である。3次元画像表示データ1900は、本実施形態の複数の超音波画像の重ね合わせを実現するための構成である。
図19は、本実施形態に係る3次元画像表示データ1900の構成を示す図である。3次元画像表示データ1900は、本実施形態の複数の超音波画像の重ね合わせを実現するための構成である。
3次元画像表示データ1900は、1つの絶対座標系撮像データ1901に対応して複数の重ね合わせ超音波画像データ1902を記憶する。そして、複数の超音波画像データ1902を重ね合わせた、絶対座標系の重ね合わせ画像データ1903と、HMD座標系表示》画像データ1904と、右目用HMD表示画像データ1905と、左目用HMD表示画像データ1906と、を記憶する。
(画像重ね合わせ処理)
図20は、本実施形態に係る画像重ね合わせ処理(S1407)の手順を示すフローチャートである。図20のフローチャートは、図14のステップS1407において図15Bと置き換わる。なお、図20において、図15Bと同じステップには同じステップ番号を付して、説明を省略する。
図20は、本実施形態に係る画像重ね合わせ処理(S1407)の手順を示すフローチャートである。図20のフローチャートは、図14のステップS1407において図15Bと置き換わる。なお、図20において、図15Bと同じステップには同じステップ番号を付して、説明を省略する。
画像処理装置1750は、ステップS2025において、絶対座標系の超音波画像データを超音波画像DB1751に格納する。次に、画像処理装置1750は、ステップS2027において、撮像画像データに重ね合わせるべき超音波画像データを超音波画像DB1751から取得する。そして、画像処理装置1750は、ステップS2029において、撮像画像データに重ね合わせるべき超音波画像データを重ね合わせて、重ね合わせ画像データを生成する。
本実施形態によれば、蓄積した複数の超音波画像を撮像した実空間の患者画像に重ね合わせて表示することにより、実時間における身体内部の状態を3次元的に観察することができる。
[第4実施形態]
次に、本発明の第4実施形態に係る超音波診断システムについて説明する。本実施形態に係る超音波診断システムは、上記第2実施形態および第3実施形態と比べると、複数の超音波画像から血管領域を抽出し、患部と血管との関係から治療において対象とする血管を選定する点で異なる。その他の構成および動作は、第2実施形態あるいは第3実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、血管領域の抽出を説明するが、超音波画像の特定の明度部分あるいは特定の色部分を抽出する部分抽出部を設け、超音波画像の抽出した部分を3次元実空間画像と重ね合わせてもよい。なお、本実施形態においては、患部として肝臓を対象に説明するが、患部は肝臓に限定されない。
次に、本発明の第4実施形態に係る超音波診断システムについて説明する。本実施形態に係る超音波診断システムは、上記第2実施形態および第3実施形態と比べると、複数の超音波画像から血管領域を抽出し、患部と血管との関係から治療において対象とする血管を選定する点で異なる。その他の構成および動作は、第2実施形態あるいは第3実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、血管領域の抽出を説明するが、超音波画像の特定の明度部分あるいは特定の色部分を抽出する部分抽出部を設け、超音波画像の抽出した部分を3次元実空間画像と重ね合わせてもよい。なお、本実施形態においては、患部として肝臓を対象に説明するが、患部は肝臓に限定されない。
《超音波診断システムの動作概念》
図21は、本実施形態に係る超音波診断システムの動作概念を示す図である。
図21は、本実施形態に係る超音波診断システムの動作概念を示す図である。
HMD260の表示2110は、各超音波画像データから、例えばカラードプラ処理などにより、血流をその方向と共に抽出すると共に血管輪郭を抽出して、複数の超音波画像データの血管輪郭の連続性に基づき同方向の血流を合体することで血管を抽出した表示画面である。表示2110には、肝臓画像2111と、肝臓中の門脈2112と静脈2113とを色分けして表示している。
HMD260の表示2120は、肝臓画像2121と、肝臓中の血管である門脈2122と静脈2123とに加えて、患部(病巣)2124を表示している。
HMD260の表示2130は、肝臓画像2131に、患部(病巣)2124および患部(病巣)2124に繋がる門脈2133を選定して、色付けして表示している。
これらのHMD260の表示2110〜2130から、医師の対象とする患部や血管を医師が容易に判断できる。
《画像処理装置の機能構成》
図22は、本実施形態に係る画像処理装置2250の機能構成を示すブロック図である。なお、図22において、図5または図17と同様の機能構成部には同じ参照番号を付して、説明は省略する。また、図22には、患部(病巣)の画像生成や血管選定処理の機能構成部は、煩雑さを避けるため図示していない。
図22は、本実施形態に係る画像処理装置2250の機能構成を示すブロック図である。なお、図22において、図5または図17と同様の機能構成部には同じ参照番号を付して、説明は省略する。また、図22には、患部(病巣)の画像生成や血管選定処理の機能構成部は、煩雑さを避けるため図示していない。
血管画像生成部2251は、血管抽出部2252と血管選定部2253とを有し、実空間画像に重ね合わせる血管画像データを生成する。血管抽出部2252は、超音波画像DB1751に蓄積された複数の超音波画像データのカラードプラ処理による血流情報と血管輪郭の連続性とを使用して、複数の超音波画像データの血管輪郭をつなぎ合わせることによって、血管を抽出する。なお、血管抽出部2252による血管の抽出は、超音波画像DB1751に蓄積された画像データでなく、実時間に超音波診断装置310で取得した画像データにより行なわれてもよい。血管選定部2253は、血管抽出部2252により抽出された血管の中から、特に医師がマーキングした血管の末梢側を支配領域として抽出して色付けする。血管画像DB2254は、血管抽出部2252が抽出した血管画像、あるいは血管選定部2253が選定した支配領域の血管画像を、患者や患部、血管名などにより検索可能に蓄積して、以降に参照される。画像重ね合わせ部2208は、撮像データに血管画像データや支配領域を重ね合わせて、重ね合わせ画像データを生成する。なお、さらに超音波画像データを重ね合わせてもよい。すなわち、画像処理装置2250は、複数の超音波画像データより、血管の連続性を判断して、医師の必要とする支配領域の血管を抽出し、他の血管と区別して違う色付けなどを行って、撮像データに重ね合わせて、両眼式ビデオシースルー型HMDに表示させる(図22の最下図参照)。
(血管抽出および色分け)
まず、超音波画像の血流表示から血管を抽出する処理を説明する。まず、超音波画像の色の抽出などから血管画像を抽出して、2値化画像を生成する。そして、2値化画像に基づいて血管を抽出する。1枚の超音波画像から複数の血管断面が抽出されるので、抽出した血管にそれぞれラベリングを行い、輪郭を保存する。次の超音波画像に対しても同じ操作を行い、血管のラベリングと輪郭の抽出とを行ない保存する。連続性のある部分を判定し、連続した血管はグループ分けして、1つのグループとする。複数の超音波画像についてこの処理を繰り返すと、グループ同士がまとまって大きなグループとなっていき、1つの連続する血管の抽出となる。
まず、超音波画像の血流表示から血管を抽出する処理を説明する。まず、超音波画像の色の抽出などから血管画像を抽出して、2値化画像を生成する。そして、2値化画像に基づいて血管を抽出する。1枚の超音波画像から複数の血管断面が抽出されるので、抽出した血管にそれぞれラベリングを行い、輪郭を保存する。次の超音波画像に対しても同じ操作を行い、血管のラベリングと輪郭の抽出とを行ない保存する。連続性のある部分を判定し、連続した血管はグループ分けして、1つのグループとする。複数の超音波画像についてこの処理を繰り返すと、グループ同士がまとまって大きなグループとなっていき、1つの連続する血管の抽出となる。
次に、患部(病巣:切除予定部)につながる血管に基づいて患部を抽出して色付けする処理を説明する。最初に、表示画面上において、必要と思われる血管(門脈)にマーキングする。マーキングは、ポインティングデバイスを用いて、指定した部分より末梢側か中枢側かもわかるように、ベクトルなども用いて行なう。マーキングした末梢部分とつながったグループを、例えば赤い色で表示する。他のグループの血管であってそれが門脈であれば、結局、中枢部分と連続するはずなので、それを青い色で表示する。肝静脈は、門脈と連続性がないのでマーキングした中枢側とも末梢側ともつながらないので、これは緑色などで表示する。また、小さなグループで連続性がはっきりしないものについては、アーチファクトの可能性があるので、削除して表示しない。このようにして、赤、青、緑で、それぞれ切除予定門脈、残存予定門脈、肝静脈の順に色付けして表示する。その結果、超音波画像から、必要な血管を色分けして表示できることになる。なお、上記説明では、3色に色分けしたが、切除予定門脈を赤などの目立つ色に色付けするのみでもよい。
(血管画像DB)
図23Aは、本実施形態に係る血管画像DB2254の構成を示す図である。血管画像DB2254の構成は、図23Aに限定されない。
図23Aは、本実施形態に係る血管画像DB2254の構成を示す図である。血管画像DB2254の構成は、図23Aに限定されない。
血管画像DB2254は、患者名2311に対応付けて患部2312を記憶する。なお、図23Aでは、患部2312として肝臓のみを図示しているが、複数の患部であってもよい。
血管画像DB2254は、各患部に対応して関連する血管名2313を記憶する。そして、各血管を示す複数の血管部位画像データ(血流情報)として、超音波画像の取得日時2314と3次元絶対座標系の血管部位画像データ2315と、血管部位輪郭画像データ2316と、各血管画像に対しラベリングしたラベル2317とを記憶する。
そして、血管画像DB2254は、各超音波画像の血管部位の輪郭の連続性に基づいて抽出したグループ2318と、各グループに色付けする場合にそのグループに対して割り当てた表示色2319とを記憶する。なお、表示色2319が指定されてない場合は、白黒画像で表示される。あるいは、白黒が指定されてもよい。
(患部血管関連テーブル)
図23Bは、本実施形態に係る患部血管関連テーブル2320の構成を示す図である。患部血管関連テーブル2320は、患部と血管とを関連付けた情報に基づく医師による血管のマーキングにより、患部(病巣)に繋がる血管を選定するために使用される。なお、図23Bには、患部として肝臓のみを示すが、他の患部に付いても同様のテーブルが作成される。
図23Bは、本実施形態に係る患部血管関連テーブル2320の構成を示す図である。患部血管関連テーブル2320は、患部と血管とを関連付けた情報に基づく医師による血管のマーキングにより、患部(病巣)に繋がる血管を選定するために使用される。なお、図23Bには、患部として肝臓のみを示すが、他の患部に付いても同様のテーブルが作成される。
患部血管関連テーブル2320は、患部2321に対応して、複数の区域(肝臓では8つの区域)2322を記憶する。そして、各区域2322に繋がる血管2323を記憶する。そして、その血管2323を示す3次元絶対座標系の血管部位画像データ2324のグループと、血管部位輪郭画像データ2325と、各血管画像に対しラベリングしたラベル2326とを記憶する。
そして、患部血管関連テーブル2320は、ユーザによる表示画面上のマーキングとのつながりに基づいて選別した、同一グループであることを示すマーク2327と、各マークに対応する表示画面上の表示色2328とを記憶する。なお、実際にマーキングするのは、患部(病巣)につながる血管のみであり、表示色2328が記憶されるのはマーキングされた血管およびその領域である。他の血管あるいは肝臓組織の表示色2328は指定無しでは白黒画像で表示されるので、患部(病巣)が医師に明瞭に認知される。
《画像処理装置の処理手順》
図24Aは、本実施形態に係る画像処理装置2250の処理手順を示すフローチャートである。このフローチャートは、図13のCPU1310がRAM1340を使用して実行し、図22の機能構成部を実現する。なお、図24Aにおいては、超音波画像からの血管抽出処理と、患部(病巣)につながる血管選定処理とを一連の処理として説明するが、血管抽出処理と血管選定処理とはそれぞれ独立した処理として実行されてもよい。
図24Aは、本実施形態に係る画像処理装置2250の処理手順を示すフローチャートである。このフローチャートは、図13のCPU1310がRAM1340を使用して実行し、図22の機能構成部を実現する。なお、図24Aにおいては、超音波画像からの血管抽出処理と、患部(病巣)につながる血管選定処理とを一連の処理として説明するが、血管抽出処理と血管選定処理とはそれぞれ独立した処理として実行されてもよい。
画像処理装置2250は、ステップS2401において、複数の超音波画像からドプラ処理により血流を見付け、繋ぎ合わせた血管部分を抽出する(図24B参照)。次に、画像処理装置2250は、ステップS2403において、患部(病巣)につながる血管の選定処理を行なうか否かを判定する。血管選定処理を行なう場合、画像処理装置2250は、ステップS2405において、患部(病巣)につながる血管選定処理(図24C参照)を実行する。そして、画像処理装置2250は、ステップS2407において、撮像画像データに血管画像データを重ね合わせる。血管選定処理を行なわない場合は、撮像画像データに血管部位の画像データを重ね合わせる。なお、重ね合わせ処理は、超音波画像データが血管画像データに変わるのみで、図15Bと同様であるので、図示および説明は省略する。
(血管抽出処理)
図24Bは、本実施形態に係る血管抽出処理(S2401)の手順を示すフローチャートである。
図24Bは、本実施形態に係る血管抽出処理(S2401)の手順を示すフローチャートである。
画像処理装置2250は、ステップS2421において、1枚の超音波画像から色などにより血管画像を抽出する。例えば、超音波診断装置においてカラードプラ処理を行なうと、血流が赤と青で表わされる。次に、画像処理装置2250は、ステップS2423において、抽出した血管画像を2値化して血管輪郭を得てラベリングして保存する。画像処理装置2250は、ステップS2425において、関連する部位の一連の複数の超音波画像について、ステップS2421およびS2423の処理が終了したかを判定し、全ての超音波画像について処理が終了するまで繰り返す。
全ての超音波画像について処理が終了すると、画像処理装置2250は、ステップS2427において、ラベルが付されて保存された複数の血管輪郭からその連続性に基づいて、血管画像をグループ分けする。なお、血管輪郭の連続性の判断は、例えば、その輪郭点座標の距離の平均値が閾値より小さい場合、あるいは、輪郭点座標の距離の最大値が閾値より小さい場合、などを条件として行なう。輪郭点座標の距離は、例えば、最小2乗値により求めてよい。そして、画像処理装置2250は、ステップS2429において、グループ分けされた各グループを1つのつながった血管として記憶する。
(血管選定処理)
図24Cは、本実施形態に係る血管選定処理(S2405)の手順を示すフローチャートである。
図24Cは、本実施形態に係る血管選定処理(S2405)の手順を示すフローチャートである。
画像処理装置2250は、ステップS2431において、血管抽出処理のグループ分けの結果、閾値以下の小さなグループであればアーチファクトやノイズなどの可能性が高いので、血管選定処理の対象から削除する。そして、画像処理装置2250は、ステップS2433において、血管抽出処理の結果から血管が重ね合わせ表示された表示画面上における医師のポインティングに対応して、必要な血管にマーキングを行なう。なお、両眼式ビデオシースルー型ヘッドマウントディスプレイを使用する場合、医師の血管へのマーキングは、マーカを付したペンなどの棒状の指示具による実空間におけるポインティングによって行なわれる。指示具の3次元絶対座標上の位置および方向から、3次元空間でその延長線上に表示された血管がマーキングされてその情報が記憶される。かかる血管のマーキング情報は、経時的に超音波画像内の血管の変動があっても、血管輪郭画像の動きを追跡することにより同じ血管を指示するよう維持される。
画像処理装置2250は、ステップS2435において、マーキングした血管位置の末梢側につながるグループを抽出して、これら抽出したグループを第1色に色付けする。また、画像処理装置2250は、ステップS2437において、マーキングした血管位置の中枢側につながるグループを抽出して、これら抽出したグループを第2色に色付けする。また、画像処理装置2250は、ステップS2439において、マーキングした血管位置とつながらないグループを抽出して、これら抽出したグループを第3色に色付けする。そして、画像処理装置2250は、ステップS2441において、色分けしたグループを記憶する。なお、図24Cでは、3つの色に色分けしたが、色分けの数は3つに限定されない。煩雑にならずに医師の適切な判断を支援する色数を選択すればよい。例えば、病巣を切除する場合、病巣区域の血管およびその領域のみを色付けして、医師に認知させるのが望ましい。かかる血管および病巣の色付け情報も、経時的に超音波画像内の血管の変動があっても、血管輪郭画像の動きを追跡することにより同じ血管および病巣を指示するよう維持される。
本実施形態によれば、生検・穿刺・治療時に必要な実時間における血管および患部に関する情報を医師が容易に取得することができる。
[第5実施形態]
次に、本発明の第5実施形態に係る超音波診断システムについて説明する。本実施形態に係る超音波診断システムは、上記第2実施形態乃至第4実施形態と比べると、生検・穿刺・治療時の医師に対し、針などの医療器具の進路のナビゲーションを行なう点で異なる。その他の構成および動作は、第2実施形態、第3実施形態または第4実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、超音波プローブに貼り付けた2次元コードと、患者の患部表面に固定した2次元コードの2つのマーカを配置した例を示す。しかしながら、超音波プローブに貼り付けた2次元コードのマーカのみであっても、カメラと超音波プローブとの相対的位置関係から重ね合わせ表示および針などの医療器具の進路推定が可能である。
次に、本発明の第5実施形態に係る超音波診断システムについて説明する。本実施形態に係る超音波診断システムは、上記第2実施形態乃至第4実施形態と比べると、生検・穿刺・治療時の医師に対し、針などの医療器具の進路のナビゲーションを行なう点で異なる。その他の構成および動作は、第2実施形態、第3実施形態または第4実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、超音波プローブに貼り付けた2次元コードと、患者の患部表面に固定した2次元コードの2つのマーカを配置した例を示す。しかしながら、超音波プローブに貼り付けた2次元コードのマーカのみであっても、カメラと超音波プローブとの相対的位置関係から重ね合わせ表示および針などの医療器具の進路推定が可能である。
《超音波診断システムの動作概念》
図25Aおよび図25Bを参照して、本実施形態の超音波診断システムの動作概念を説明する。なお、図25Aおよび図25Bにおいて、図2と同様の要素には同じ参照番号を付す。
図25Aおよび図25Bを参照して、本実施形態の超音波診断システムの動作概念を説明する。なお、図25Aおよび図25Bにおいて、図2と同様の要素には同じ参照番号を付す。
(生検時の動作概念)
図25Aは、本実施形態に係る超音波診断システムの動作概念を示す図である。
図25Aは、本実施形態に係る超音波診断システムの動作概念を示す図である。
HMD260の表示2510には、乳房のしこり部位2511から針生検で組織を吸引器2512により取得する例が示されている。針2512aの位置と方向が、本実施形態の2つのWEBカメラにより算出できる。針2512aの位置と方向から針2512aの先端の到達位置を推定可能である(2512b参照)。一方、組織吸引対象のしこり部位2511は、超音波プローブ311(HMD画面では261)による超音波画像から取得できる。HMD260の表示2510には、針2512aの先端の到達推定位置と生検対象部位とが重なり表示される。なお、針2512aの特定は、2つのWEBカメラの3次元映像を参照画像と比較することによっても可能であるが、術前にマーカを付した吸引器2512および針2512aを撮像することにより、特定がより確実となる。
したがって、現在の針2512aの位置と方向が目標部位である乳房のしこり部位2511に向かっているか/いないかが観察できるので、生検時の医師の操作をナビゲーション可能である。
(穿刺・治療時の動作概念)
図25Bは、本実施形態に係る超音波診断システムの動作概念を示す図である。
図25Bは、本実施形態に係る超音波診断システムの動作概念を示す図である。
HMD260の表示2520には、内頸静脈2522からカテーテルを心臓に導入する例が示されている。カテーテルの前には内頸静脈穿刺が行なわれる。この場合に、注射器2521に接続した針2521aの位置と方向が、本実施形態の2つのWEBカメラにより算出できる。針2521aの位置と方向から針2521aの先端の到達位置2521bを推定可能である。一方、内頸静脈2522の穿刺ターゲット2522aは、超音波プローブ311(HMD画面では261)による超音波画像から取得できる。HMD260の表示2520には、針2521の先端の到達推定位置と内頸静脈2522とが重なり表示される。
したがって、現在の針2521aの位置と方向が内頸静脈2522に向かっているか/いないかが観察できるので、内頸静脈穿刺時の医師の操作をナビゲーション可能である。なお、針2521aの特定は、2つのWEBカメラの3次元映像を参照画像と比較することによっても可能であるが、術前にマーカを付した注射器2521および針2512aを撮像することにより、特定がより確実となる。
《画像処理装置の機能構成》
図26は、本実施形態に係る画像処理装置2650の機能構成を示すブロック図である。なお、図26において、図5、図17または図22と同様の機能構成部には同じ参照番号を付して、説明は省略する。
図26は、本実施形態に係る画像処理装置2650の機能構成を示すブロック図である。なお、図26において、図5、図17または図22と同様の機能構成部には同じ参照番号を付して、説明は省略する。
医療器具(針)の位置および方向算出部2654は、2つのWEBカメラ330の撮像画像から、医療器具(針)の位置および方向を算出する。先端到達推定位置画像データ生成部2655は、算出された医療器具(針)の位置および方向から、その延長として、先端到達位置を推定して、重ね合わせ画像データを生成する。画像重ね合わせ部2608は、撮像画像データに血管画像データを重ね合わせ、さらに、医療器具(針)の先端到達推定位置を示す画像データを重ね合わせる。
(ナビゲーション情報テーブル)
図27は、本実施形態に係るナビゲーション情報テーブル2700の構成を示す図である。ナビゲーション情報テーブル2700は、生検・穿刺・治療に関連して必要なデータを記憶し、ナビゲーションに使用される。
図27は、本実施形態に係るナビゲーション情報テーブル2700の構成を示す図である。ナビゲーション情報テーブル2700は、生検・穿刺・治療に関連して必要なデータを記憶し、ナビゲーションに使用される。
ナビゲーション情報テーブル2700は、針生検などの検査あるいは穿刺による治療部位座標2701に対応付けて、使用する医療器具画像データ2702と、撮像画像から算出された医療器具の位置および方向2703と、医療器具の位置および方向2703に基づいて推定された到達推定位置画像データ2704と、を記憶する。そして、ナビゲーション情報テーブル2700は、検査・治療部位座標2701と到達推定位置とのマッチング結果2705と、マッチング結果の医師への通知2706とを記憶する。なお、マッチング結果2705は、例えば、検査・治療部位あるいはその近傍に識別可能に表示するのが望ましい。また、医師への通知2706は、音声や警報で通知するのが望ましい。
《画像処理装置の処理手順》
図28は、本実施形態に係る画像処理装置2650の処理手順を示すフローチャートである。このフローチャートは、図13のCPU1310がRAM1340を使用して実行し、図26の機能構成部を実現する。なお、図28において、図14または図24と同様のステップには同じテップ番号を付して、説明を省略する。
図28は、本実施形態に係る画像処理装置2650の処理手順を示すフローチャートである。このフローチャートは、図13のCPU1310がRAM1340を使用して実行し、図26の機能構成部を実現する。なお、図28において、図14または図24と同様のステップには同じテップ番号を付して、説明を省略する。
画像処理装置2650は、ステップS2806において、医療器具ナビゲーション処理を実行する(図29参照)。
(ナビゲーション処理)
図29は、本実施形態に係るナビゲーション処理(S2806)の手順を示すフローチャートである。
図29は、本実施形態に係るナビゲーション処理(S2806)の手順を示すフローチャートである。
画像処理装置2650は、ステップS2901において、撮像画像から医療器具(本例では針)を抽出する。次に、画像処理装置2650は、ステップS2903において、2つのWEBカメラ330からの画像データに基づき、医療器具の位置および方向を算出する。次に、画像処理装置2650は、ステップS2905において、医療器具の位置および方向を延長して、医療器具の到達推定位置を挿入予測位置とする。そして、画像処理装置2650は、ステップS2907において、医療器具の到達推定位置を識別可能に表示するための画像データを生成する。
本実施形態によれば、実時間における生検・穿刺・治療時に必要な情報を医師に報知することにより、医師をナビゲーションすることができる。
[第6実施形態]
次に、本発明の第6実施形態に係る超音波診断システムについて説明する。本実施形態に係る超音波診断システムは、上記第2実施形態と比べると、超音波診断システムを構成する装置および器具、あるいは処理の調整を医師が足で行なえる点で異なる。その他の構成および動作は、第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第6実施形態に係る超音波診断システムについて説明する。本実施形態に係る超音波診断システムは、上記第2実施形態と比べると、超音波診断システムを構成する装置および器具、あるいは処理の調整を医師が足で行なえる点で異なる。その他の構成および動作は、第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
《超音波診断システムの構成》
図30は、本実施形態に係る超音波診断システム3000の構成を示すブロック図である。図30において、図3と同様の構成要素には同じ参照番号を付して、説明を省略する。
図30は、本実施形態に係る超音波診断システム3000の構成を示すブロック図である。図30において、図3と同様の構成要素には同じ参照番号を付して、説明を省略する。
画像処理装置3050は、各構成要素、例えば超音波診断装置310、HMD260、WEBカメラ330などを調整する画像処理調整部3054を有する。画像処理調整部3054の動作は、調整パラメータを各構成要素の送信する処理も含む。フットスイッチ3060は、手術室における各構成要素の調整を医師の足によって行なうためのスイッチ群を有する。フットスイッチ3060への医師の操作は、画像処理調整部3054に伝達される。
なお、図30においては、フットスイッチ3060には3つのスイッチ3061〜3063が設けられている。ここで、スイッチ3061は、調整対象あるいは調整パラメータをスクローリングして選択するためのスイッチである。スイッチ3062は、調整を強くあるいは調整パラメータを高くするスイッチである。スイッチ3063は、調整を弱くあるいは調整パラメータを低くするスイッチである。例えば、調整対象として表示のコントラストを選択した場合には、スイッチ3062によりコントラストを強く、スイッチ3063によりコントラストを弱くする。また、WEBカメラのセンサゲインを選択した場合は、スイッチ3062によりゲインを高く、スイッチ3063によりゲインを低くする。また、超音波プローブからの超音波周波数を選択した場合は、スイッチ3062により周波数を高く、スイッチ3063により周波数を低くする。なお、スイッチ3061〜3063の配置は図30に限定されず、スイッチ3061〜3063を左から右に並べてもよい。また、フットスイッチ3060に配置するスイッチ数も3つに限定されるものではない。
(調整パラメータ)
図31は、本実施形態に係る超音波診断システム3000の調整パラメータ3054aを示す図である。調整パラメータ3054aは、調整必要なパラメータとその設定値の一覧である。なお、フットスイッチ3060におけるスイッチ3061による選択が階層的に構成され、調整対象の機器の選択→調整対象項目→調整パラメータの順に分岐して選択されてもよい。
図31は、本実施形態に係る超音波診断システム3000の調整パラメータ3054aを示す図である。調整パラメータ3054aは、調整必要なパラメータとその設定値の一覧である。なお、フットスイッチ3060におけるスイッチ3061による選択が階層的に構成され、調整対象の機器の選択→調整対象項目→調整パラメータの順に分岐して選択されてもよい。
調整パラメータ3054aは、装置および機器など調整対象部3101に対応して、複数の機種がある場合は機種3102を記憶する。そして、調整パラメータ3054aは、各調整対象部3101の各機種3102に対応付けて、調整対象パラメータ3103と、設定されたパラメータ値3104とを記憶する。さらに、過去の設定パラメータの履歴とその評価3105を記憶してもよい。
例えば、調整パラメータには、WEBカメラの撮像パラメータや、超音波診断装置のモードや使用周波数、HMDの明度やコントラスト、VCBの通信速度、画像処理装置の各種パラメータが含まれる。
(パラメータ調整部)
図32は、本実施形態に係るフットスイッチ3060による調整時のHMD表示を示す図である。図32には、調整対象としてスイッチ3061で「WEBカメラの焦点」が選択され、スイッチ3062が「焦点を遠くに」調整し、スイッチ3063が「焦点を近くに」調整する例を示す。なお、実時間の処理で必須な調整パラメータを除いて、他のパラメータはあらかじめ設定されることが望ましい。
図32は、本実施形態に係るフットスイッチ3060による調整時のHMD表示を示す図である。図32には、調整対象としてスイッチ3061で「WEBカメラの焦点」が選択され、スイッチ3062が「焦点を遠くに」調整し、スイッチ3063が「焦点を近くに」調整する例を示す。なお、実時間の処理で必須な調整パラメータを除いて、他のパラメータはあらかじめ設定されることが望ましい。
HMD260の表示画面3210には、WEBカメラ330が撮像した患者画像に重ねて、超音波プローブ画像261と超音波画像とが表示される。そして、フットスイッチ3060の各スイッチ3061〜3063に対応する操作内容が表示されている。左表示3201は、スイッチ3061によって調整対象が「焦点」であることを表示している。中表示3202は、スイッチ3062によって焦点が「遠く」なることを表示している。右表示3203は、スイッチ3063によって焦点が「近く」なることを表示している。なお、「焦点」の表示には、現在の焦点距離の数値が含まれてもよい。
本実施形態によれば、医師が手を使用せずに足により超音波診断システムの調整パラメータを設定できるので、超音波診断システムの調整が容易となる。
[第7実施形態]
次に、本発明の第7実施形態に係る超音波診断システムについて説明する。本実施形態に係る超音波診断システムは、上記第2実施形態乃至第6実施形態と比べると、超音波画像の表示がヘッドマウントディスプレイでなくハーフミラーである点で異なる。その他の構成および動作は、第2実施形態乃至第6実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第7実施形態に係る超音波診断システムについて説明する。本実施形態に係る超音波診断システムは、上記第2実施形態乃至第6実施形態と比べると、超音波画像の表示がヘッドマウントディスプレイでなくハーフミラーである点で異なる。その他の構成および動作は、第2実施形態乃至第6実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
《超音波診断システムの動作概念》
図33は、本実施形態に係る超音波診断システム3300の動作概念を示す図である。なお、図33において、図3または図30と同様の機能構成部には同じ参照番号を付して、説明を省略する。なお、本実施形態においては、患者の患部に固定する絶対座標系用の2次元マーカ332は必要でない。
図33は、本実施形態に係る超音波診断システム3300の動作概念を示す図である。なお、図33において、図3または図30と同様の機能構成部には同じ参照番号を付して、説明を省略する。なお、本実施形態においては、患者の患部に固定する絶対座標系用の2次元マーカ332は必要でない。
画像処理装置3350は、患者および2次元マーカを撮像するカメラの画像データに基づく表示画像データを生成する実空間画像生成部を有しない。患者の実空間画像への超音波画像の重ね合わせは、重ね合わせ観察機器3370によって実現される。重ね合わせ観察機器3370は、カメラ3371および3374と、表示画面3372と、ハーフミラー3373とを有する。カメラ3371は、患者および2次元マーカを撮像する。カメラ3374は、医師の視線を認識するために医師の顔を撮像する。表示画面3372は、カメラ3371の撮像画像から算出した医師302の視線座標系に反射画像が一致するように、超音波画像を表示する。ハーフミラー3373は、表示画面3372の超音波画像を反射すると共に、患者を透過して観察可能である。すなわち、カメラ3371が撮像した顔画像から視点の座標を求め、超音波プローブにつけた2次元マーカの画像から超音波プローブの位置を計測し、視点の位置と超音波プローブの位置との、ハーフミラーからの位置関係で超音波画像を表示する
本実施形態によれば、医師がヘッドマウントディスプレイを掛けることなく実時間における超音波画像と患者とを重ね合わせて観察することができる。
[他の実施形態]
なお、上記実施形態においては、両眼式ヘッドマウントディスプレイの場合に、WEBカメラも両眼に2個配置したが、1個のWEBカメラをヘッドマウントディスプレイに、1個のカメラを患者撮影用カメラとして配置しても、その動作および効果は同様である。この場合には、患者画像は2次元画像であり、その2次元患者画像のマーク位置に表示用超音波画像データによる表示用超音波画像を重畳して表示することになる。
なお、上記実施形態においては、両眼式ヘッドマウントディスプレイの場合に、WEBカメラも両眼に2個配置したが、1個のWEBカメラをヘッドマウントディスプレイに、1個のカメラを患者撮影用カメラとして配置しても、その動作および効果は同様である。この場合には、患者画像は2次元画像であり、その2次元患者画像のマーク位置に表示用超音波画像データによる表示用超音波画像を重畳して表示することになる。
また、上記実施形態においては、右眼用表示データと左眼用表示データとを生成して、両眼式ヘッドマウントディスプレイに3次元表示を行なう例を示したが、両眼用の分離をせずに2次元表示を行なってもよい。特に、1個の患者撮影用カメラで患者を撮影する場合は、患者画像は2次元画像なので、2次元表示とすれば処理の負荷が軽減され、迅速な処理が可能となる。しかしながら、実時間に実際の患者体内の状態を観察するのであれば、3次元の患者画像に3次元の超音波画像、あるいは、複数の超音波画像から生成された臓器や血管などの3次元画像を重畳するのが望ましい。この場合には、さらに、医師による表示座標系の変更指示に対応して、容易に患者画像および重畳した臓器や血管などの3次元画像を、相対位置関係を維持しながら仮想視点に表示座標系を変更することが可能である。すなわち、実際には医師が観察していない角度からの重畳画像、例えば、患者真上からの画像や、医師の位置の反対側からの画像を観察することもできる。さらに、超音波画像を焦点深度を変えて収集することにより、患者体内の深度の異なる画像も生成できる。
また、上記実施形態においては、既存の超音波診断装置に新規な画像処理装置を接続した超音波診断システムについて説明した。しかしながら、本発明に係る超音波診断システムは、上記実施形態の超音波診断装置を超音波画像取得部とし、画像処理装置を画像処理部とする、1つの装置として実現することもできる。その場合には、異なる画像信号を収集するためのVCBは、あらかじめ画像信号を統一すれば必須の構成要素ではない。例えば、スマートフォンやタブレットなどの携帯機器にソフトウェアを搭載し、超音波プローブをUSBなどで接続し、タブレット表示画面に表示する構成も可能である。スマートフォンの場合は、他の拡大表示部を必要とする。
なお、超音波診断システムでは、大量の演算処理が必要になる。例えば、カメラからの画像データの取得、マーカ抽出とマーカ座標系取得、超音波画像データの取得、各座標系のマーカ座標系への変換、絶対座標系を使用する場合は絶対座標系への変化、表示座標系への変換、3次元表示であれば右眼用座標変換および左眼用座標変換など。したがって、実時間表示をするには、それぞれの機能構成部が独立したプロセッサを有して分散処理する構成が望ましい。例えば、超音波画像取得部と、カメラからの画像取得部(特に、3次元画像取得)と、患者画像と超音波画像とを重畳した表示データ生成部と、表示部(特に、HMD)と、が処理を分散実行する構成が考えられる。
また、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させる制御プログラムを格納した非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の範疇に含まれる。
Claims (9)
- 撮像手段が、超音波プローブの観察部位を内部に有する生体の外観と共に撮像した、前記超音波プローブに固定された第1マーカと前記生体の表面に固定された第2マーカとの画像に基づいて、前記第1マーカの位置および向きと前記第2マーカの位置および向きとを取得するマーカ情報取得手段と、
前記超音波プローブを用いて取得した複数の超音波信号に基づいて、複数の2次元超音波画像データを時系列に生成する2次元超音波画像データ生成手段と、
前記複数の超音波信号のそれぞれの取得時における前記第1マーカの位置および向きと前記第2マーカの位置および向き、および、前記複数の2次元超音波画像データに基づいて、前記第2マーカを基準とする3次元座標で表わした複数の3次元超音波画像データを生成する3次元超音波画像データ生成手段と、
前記複数の3次元超音波画像データを蓄積する超音波画像データ蓄積手段と、
前記複数の3次元超音波画像データの各々から、前記第2マーカを基準とする3次元座標で表わした複数の3次元血管領域データを抽出する3次元血管領域データ抽出手段と、
血管輪郭の連続性に基づいて前記複数の3次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の3次元血管領域データを蓄積する血管領域データ蓄積手段と、
前記超音波画像データ蓄積手段から前記複数の3次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の3次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の3次元超音波画像データおよび前記複数の3次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成手段と、
前記複数の表示用画像を表示することにより、生体と観察部位と複数の血管領域とを識別可能に重畳して表示する表示手段と、
前記表示手段に表示された前記複数の血管領域から少なくとも1つの血管領域を選定する血管選定手段と、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する3次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない3次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御手段と、
を備えた超音波診断システム。 - 前記撮像手段は、さらに、棒状の器具を撮像し、
前記器具の撮像画像から前記器具の位置および向きを認識して、前記器具の挿入予測位置を示す表示用挿入位置画像を生成する表示用挿入位置画像生成手段を、さらに備え、
前記表示手段は、前記表示用画像にさらに前記表示用挿入位置画像を重畳して表示する請求項1に記載の超音波診断システム。 - 前記表示手段は、両眼式ビデオシースルー型ヘッドマウントディスプレイであり、
前記撮像手段は、前記両眼式ビデオシースルー型ヘッドマウントディスプレイに設けられた2個のカメラを含む請求項1または2に記載の超音波診断システム。 - 前記表示手段は、両眼式ビデオシースルー型ヘッドマウントディスプレイであり、
前記撮像手段は、前記両眼式ビデオシースルー型ヘッドマウントディスプレイに設けられた1個のカメラと、患者を撮影するための患者撮影用カメラとを含む請求項1または2に記載の超音波診断システム。 - 前記表示用画像生成手段は、医師による表示座標系の変更指示に対応して、前記複数の3次元超音波画像データおよび前記複数の3次元血管領域データと、前記生体画像データとの相対位置関係を維持しながら表示座標系を変更する請求項1乃至4のいずれか1項に記載の超音波診断システム。
- 前記超音波画像データ蓄積手段は、前記超音波信号の取得タイミングを付加して、前記複数の3次元超音波画像データを蓄積し、
前記血管領域データ蓄積手段は、前記超音波信号の取得タイミングを付加して、前記複数の3次元血管領域データを蓄積し、
前記表示用画像生成手段は、前記超音波信号の取得タイミングを用いて、前記生体画像データに前記複数の3次元超音波画像データおよび前記複数の3次元血管領域データを重畳する、請求項1乃至5のいずれか1項に記載の超音波診断システム。 - 撮像手段から、超音波プローブの観察部位を内部に有する生体の外観の画像と共に、前記超音波プローブに固定された第1マーカと前記生体の表面に固定された第2マーカとの画像を受信して、前記第1マーカの位置および向きと前記第2マーカの位置および向きとを取得するマーカ情報取得手段と、
前記超音波プローブを用いて時系列に取得した超音波信号に基づいて生成された、複数の2次元超音波画像データを時系列に受信する2次元超音波画像データ受信手段と、
前記複数の超音波信号のそれぞれの取得時における前記第1マーカの位置および向きと前記第2マーカの位置および向き、および、前記複数の2次元超音波画像データに基づいて、前記第2マーカを基準とする3次元座標で表わした複数の3次元超音波画像データを生成する3次元超音波画像データ生成手段と、
前記複数の3次元超音波画像データを蓄積する超音波画像データ蓄積手段と、
前記複数の3次元超音波画像データの各々から、前記第2マーカを基準とする3次元座標で表わした複数の3次元血管領域データを抽出する3次元血管領域データ抽出手段と、
血管輪郭の連続性に基づいて前記複数の3次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の3次元血管領域データを蓄積する血管領域データ蓄積手段と、
前記超音波画像データ蓄積手段から前記複数の3次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の3次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の3次元超音波画像データおよび前記複数の3次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成手段と、
前記複数の表示用画像を表示手段に送信することにより、前記表示手段に生体と観察部位と複数の血管領域とを識別可能に重畳して表示させる表示画像送信手段と、
前記表示手段に表示された前記複数の血管領域から少なくとも1つの血管領域を選定するよう制御する血管選定制御手段と、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する3次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない3次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御手段と、
を備える画像処理装置。 - 撮像手段から、超音波プローブの観察部位を内部に有する生体の外観の画像と共に、前記超音波プローブに固定された第1マーカと前記生体の表面に固定された第2マーカとの画像を受信して、前記第1マーカの位置および向きと前記第2マーカの位置および向きとを取得するマーカ情報取得ステップと、
前記超音波プローブを用いて時系列に取得した超音波信号に基づいて生成された、複数の2次元超音波画像データを時系列に受信する2次元超音波画像データ受信ステップと、
前記複数の超音波信号のそれぞれの取得時における前記第1マーカの位置および向きと前記第2マーカの位置および向き、および、前記複数の2次元超音波画像データに基づいて、前記第2マーカを基準とする3次元座標で表わした複数の3次元超音波画像データを生成する3次元超音波画像データ生成ステップと、
前記複数の3次元超音波画像データを超音波画像データ蓄積手段に蓄積する超音波画像データ蓄積ステップと、
前記複数の3次元超音波画像データの各々から、前記第2マーカを基準とする3次元座標で表わした複数の3次元血管領域データを抽出する3次元血管領域データ抽出ステップと、
血管輪郭の連続性に基づいて前記複数の3次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の3次元血管領域データを血管領域データ蓄積手段に蓄積する血管領域データ蓄積ステップと、
前記超音波画像データ蓄積手段から前記複数の3次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の3次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の3次元超音波画像データおよび前記複数の3次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成ステップと、
前記複数の表示用画像を表示手段に送信することにより、前記表示手段に生体と観察部位と複数の血管領域とを識別可能に重畳して表示させる表示画像送信ステップと、
前記表示手段に表示された前記複数の血管領域から少なくとも1つの血管領域を選定するよう制御する血管選定制御ステップと、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する3次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない3次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御ステップと、
を含む画像処理装置の作動方法。 - 撮像手段から、超音波プローブの観察部位を内部に有する生体の外観の画像と共に、前記超音波プローブに固定された第1マーカと前記生体の表面に固定された第2マーカとの画像を受信して、前記第1マーカの位置および向きと前記第2マーカの位置および向きとを取得するマーカ情報取得と、
前記超音波プローブを用いて時系列に取得した超音波信号に基づいて生成された、複数の2次元超音波画像データを時系列に受信する2次元超音波画像データ受信ステップと、
前記複数の超音波信号のそれぞれの取得時における前記第1マーカの位置および向きと前記第2マーカの位置および向き、および、前記複数の2次元超音波画像データに基づいて、前記第2マーカを基準とする3次元座標で表わした複数の3次元超音波画像データを生成する3次元超音波画像データ生成ステップと、
前記複数の3次元超音波画像データを超音波画像データ蓄積手段に蓄積する超音波画像データ蓄積ステップと、
前記複数の3次元超音波画像データの各々から、前記第2マーカを基準とする3次元座標で表わした複数の3次元血管領域データを抽出する3次元血管領域データ抽出手段と、
血管輪郭の連続性に基づいて前記複数の3次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の3次元血管領域データを血管領域データ蓄積手段に蓄積する血管領域データ蓄積ステップと、
前記超音波画像データ蓄積手段から前記複数の3次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の3次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の3次元超音波画像データおよび前記複数の3次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成ステップと、
前記複数の表示用画像を表示手段に送信することにより、前記表示手段に生体と観察部位と複数の血管領域とを識別可能に重畳して表示させる表示画像送信ステップと、
前記表示手段に表示された前記複数の血管領域から少なくとも1つの血管領域を選定するよう制御する血管選定制御ステップと、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する3次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない3次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御ステップと、
をコンピュータに実行させる画像処理装置の制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013102615A JP5410629B1 (ja) | 2013-05-14 | 2013-05-14 | 超音波診断システム、画像処理装置およびその制御方法と制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013102615A JP5410629B1 (ja) | 2013-05-14 | 2013-05-14 | 超音波診断システム、画像処理装置およびその制御方法と制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5410629B1 true JP5410629B1 (ja) | 2014-02-05 |
JP2014221175A JP2014221175A (ja) | 2014-11-27 |
Family
ID=50202683
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013102615A Expired - Fee Related JP5410629B1 (ja) | 2013-05-14 | 2013-05-14 | 超音波診断システム、画像処理装置およびその制御方法と制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5410629B1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101492940B1 (ko) | 2012-04-27 | 2015-02-12 | 재단법인대구경북과학기술원 | 피부마커와 체내 특징점을 이용한 고정확도 영상정합 장치 및 방법 |
WO2016032298A1 (en) * | 2014-08-28 | 2016-03-03 | Samsung Electronics Co., Ltd. | Ultrasound diagnosis apparatus for self-diagnosis and remote-diagnosis, and method of operating the ultrasound diagnosis apparatus |
US11055873B2 (en) | 2019-02-01 | 2021-07-06 | Tcc Media Lab Co., Ltd | Composite image generation system and position information correction system |
US11123041B2 (en) | 2014-08-28 | 2021-09-21 | Samsung Electronics Co., Ltd. | Ultrasound diagnosis apparatus for self-diagnosis and remote-diagnosis, and method of operating the ultrasound diagnosis apparatus |
CN113768527A (zh) * | 2021-08-25 | 2021-12-10 | 中山大学 | 基于ct与超声影像融合的实时三维重建方法、装置及介质 |
US11207142B2 (en) | 2019-02-01 | 2021-12-28 | Tcc Media Lab Co., Ltd | Composite image generation system and initial condition resetting system |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6510301B2 (ja) * | 2015-04-17 | 2019-05-08 | 株式会社日本未来医療研究所 | 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム |
JP6112689B1 (ja) * | 2016-02-17 | 2017-04-12 | 株式会社菊池製作所 | 重畳画像表示システム |
JP6095032B1 (ja) * | 2016-03-03 | 2017-03-15 | 株式会社菊池製作所 | 合成画像提示システム |
CA3026162A1 (en) | 2016-06-20 | 2017-12-28 | Butterfly Network, Inc. | Automated image acquisition for assisting a user to operate an ultrasound device |
CN110072467B (zh) | 2016-12-16 | 2022-05-24 | 皇家飞利浦有限公司 | 提供引导手术的图像的系统 |
JP6510570B2 (ja) * | 2017-01-19 | 2019-05-08 | 医療法人社団皓有会 | 画像処理装置 |
KR20180096342A (ko) * | 2017-02-21 | 2018-08-29 | 삼성메디슨 주식회사 | 초음파 영상장치 및 그 제어방법 |
KR102576422B1 (ko) * | 2018-10-18 | 2023-09-08 | 주식회사 메디씽큐 | 헤드마운트 디스플레이 장치에 디스플레이하는 방법 및 이를 이용한 장치 |
JP7333338B2 (ja) * | 2018-12-27 | 2023-08-24 | 富士フイルム株式会社 | 超音波診断装置および超音波診断装置の制御方法 |
WO2020166143A1 (ja) * | 2019-02-15 | 2020-08-20 | 富士フイルム株式会社 | 超音波診断装置および超音波診断装置の制御方法 |
KR102285007B1 (ko) * | 2019-06-21 | 2021-08-03 | 주식회사 데카사이트 | 초음파 스캐너의 탐촉자의 위치 및 자세 추적을 이용한 초음파 영상 제공 장치 및 방법 |
JP7267160B2 (ja) * | 2019-09-17 | 2023-05-01 | 株式会社菊池製作所 | 鍼刺用エコーガイドシステム |
US11246569B2 (en) * | 2020-03-09 | 2022-02-15 | Verdure Imaging, Inc. | Apparatus and method for automatic ultrasound segmentation for visualization and measurement |
US20220160332A1 (en) | 2020-03-09 | 2022-05-26 | Christopher Schlenger | Apparatus and method for automatic ultrasound segmentation for visualization and measurement |
WO2023027733A1 (en) * | 2021-08-27 | 2023-03-02 | Exo Imaging, Inc. | System for automated real-time detection, outlining, tracking and characterization of blood vessels in ultrasound imaging |
JP7300657B2 (ja) * | 2021-11-05 | 2023-06-30 | ビフレステック株式会社 | 超音波プローブの距離・傾き情報遠隔送信システム |
CN114886461A (zh) * | 2022-03-28 | 2022-08-12 | 东莞市滨海湾中心医院(东莞市太平人民医院、东莞市第五人民医院) | 基于增强现实的超声显示系统及方法 |
JP2024048667A (ja) | 2022-09-28 | 2024-04-09 | 富士フイルム株式会社 | 超音波診断装置および超音波診断装置の制御方法 |
JP2024060247A (ja) | 2022-10-19 | 2024-05-02 | 富士フイルム株式会社 | 超音波診断装置および超音波診断装置の制御方法 |
JP2024060296A (ja) | 2022-10-19 | 2024-05-02 | 富士フイルム株式会社 | 超音波診断装置および超音波診断装置の制御方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09511430A (ja) * | 1994-09-01 | 1997-11-18 | マサチューセッツ インスティチュート オブ テクノロジー | 三次元データ組の登録システムおよび登録方法 |
JP2007209531A (ja) * | 2006-02-09 | 2007-08-23 | Hamamatsu Univ School Of Medicine | 手術支援装置、方法及びプログラム |
JP2011183056A (ja) * | 2010-03-10 | 2011-09-22 | Fujifilm Corp | 超音波診断装置 |
-
2013
- 2013-05-14 JP JP2013102615A patent/JP5410629B1/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09511430A (ja) * | 1994-09-01 | 1997-11-18 | マサチューセッツ インスティチュート オブ テクノロジー | 三次元データ組の登録システムおよび登録方法 |
JP2007209531A (ja) * | 2006-02-09 | 2007-08-23 | Hamamatsu Univ School Of Medicine | 手術支援装置、方法及びプログラム |
JP2011183056A (ja) * | 2010-03-10 | 2011-09-22 | Fujifilm Corp | 超音波診断装置 |
Non-Patent Citations (1)
Title |
---|
JPN6013041197; Shun'ichi Tano et al: 'Simple Augmented Reality System for 3D Ultrasonic Image by See-through HMD and Single Camera and Mar' Proceedings of the IEEE-EMBS International Conference on Biomedical and Health Informatics , 201201, pp.464-467 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101492940B1 (ko) | 2012-04-27 | 2015-02-12 | 재단법인대구경북과학기술원 | 피부마커와 체내 특징점을 이용한 고정확도 영상정합 장치 및 방법 |
WO2016032298A1 (en) * | 2014-08-28 | 2016-03-03 | Samsung Electronics Co., Ltd. | Ultrasound diagnosis apparatus for self-diagnosis and remote-diagnosis, and method of operating the ultrasound diagnosis apparatus |
US10660607B2 (en) | 2014-08-28 | 2020-05-26 | Samsung Electronics Co., Ltd. | Ultrasound diagnosis apparatus for self-diagnosis and remote-diagnosis, and method of operating the ultrasound diagnosis apparatus |
US11123041B2 (en) | 2014-08-28 | 2021-09-21 | Samsung Electronics Co., Ltd. | Ultrasound diagnosis apparatus for self-diagnosis and remote-diagnosis, and method of operating the ultrasound diagnosis apparatus |
US11055873B2 (en) | 2019-02-01 | 2021-07-06 | Tcc Media Lab Co., Ltd | Composite image generation system and position information correction system |
US11207142B2 (en) | 2019-02-01 | 2021-12-28 | Tcc Media Lab Co., Ltd | Composite image generation system and initial condition resetting system |
CN113768527A (zh) * | 2021-08-25 | 2021-12-10 | 中山大学 | 基于ct与超声影像融合的实时三维重建方法、装置及介质 |
CN113768527B (zh) * | 2021-08-25 | 2023-10-13 | 中山大学 | 基于ct与超声影像融合的实时三维重建装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2014221175A (ja) | 2014-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5410629B1 (ja) | 超音波診断システム、画像処理装置およびその制御方法と制御プログラム | |
JP7124011B2 (ja) | システム、及び出血検出システムの作動方法 | |
US20220192611A1 (en) | Medical device approaches | |
EP3422297B1 (en) | System and method for glass state view in real-time three-dimensional (3d) cardiac imaging | |
EP3505133A1 (en) | Use of augmented reality to assist navigation during medical procedures | |
JP5421828B2 (ja) | 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム | |
JP5380348B2 (ja) | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム | |
WO2011122037A1 (ja) | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム | |
WO2018012080A1 (ja) | 画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム | |
WO2013111535A1 (ja) | 内視鏡画像診断支援装置および方法並びにプログラム | |
JP2019514476A (ja) | 超音波イメージングプローブの位置決め | |
JP5486432B2 (ja) | 画像処理装置、その作動方法およびプログラム | |
JP2015531271A (ja) | 外科用画像処理システム、外科用画像処理方法、プログラム、コンピュータ可読記録媒体、医用画像処理装置、および画像処理検査装置 | |
JP6254053B2 (ja) | 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法 | |
CN107854142B (zh) | 医用超声增强现实成像系统 | |
JP6510301B2 (ja) | 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム | |
WO2014076931A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2011212301A (ja) | 投影画像生成装置および方法、並びにプログラム | |
JP2020527374A (ja) | 医用イメージングシステム、方法およびコンピュータプログラム製品 | |
JP5934070B2 (ja) | 仮想内視鏡画像生成装置およびその作動方法並びにプログラム | |
CN111801704A (zh) | 用于使用血管特征检测异常组织的系统和方法 | |
JP2023022123A (ja) | ガイダンス信号の決定及び手持ち式超音波トランスデューサのためのガイダンスを提供するためのシステム | |
EP3075342B1 (en) | Microscope image processing device and medical microscope system | |
JP2017164075A (ja) | 画像位置合せ装置、方法およびプログラム | |
US10854005B2 (en) | Visualization of ultrasound images in physical space |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5410629 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |