JP5410629B1 - 超音波診断システム、画像処理装置およびその制御方法と制御プログラム - Google Patents
超音波診断システム、画像処理装置およびその制御方法と制御プログラム Download PDFInfo
- Publication number
- JP5410629B1 JP5410629B1 JP2013102615A JP2013102615A JP5410629B1 JP 5410629 B1 JP5410629 B1 JP 5410629B1 JP 2013102615 A JP2013102615 A JP 2013102615A JP 2013102615 A JP2013102615 A JP 2013102615A JP 5410629 B1 JP5410629 B1 JP 5410629B1
- Authority
- JP
- Japan
- Prior art keywords
- blood vessel
- dimensional
- image data
- display
- vessel region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
【課題】より簡易で的確な超音波画像診断装置を提供する。
【解決手段】第１マーカが固定された超音波プローブ１１１を用いて取得した超音波信号に基づいて、第１マーカとの相対位置関係を含む、３次元超音波画像データを生成する超音波画像生成部１１０と、超音波プローブの観察部位を内部に有する生体の外観を撮像すると共に、超音波プローブに固定された第１マーカを撮像する撮像部１３０と、３次元超音波画像データを用いて、撮像された第１マーカの位置および向きに基づいた位置、形状および大きさの表示用超音波画像データを生成する表示用画像生成部１２０と、生体の外観を撮像して取得した表示用生体画像１４１に、表示用超音波画像データによる表示用超音波画像１４２を重畳して表示する表示部１４０と、を備える。
【選択図】図１
【解決手段】第１マーカが固定された超音波プローブ１１１を用いて取得した超音波信号に基づいて、第１マーカとの相対位置関係を含む、３次元超音波画像データを生成する超音波画像生成部１１０と、超音波プローブの観察部位を内部に有する生体の外観を撮像すると共に、超音波プローブに固定された第１マーカを撮像する撮像部１３０と、３次元超音波画像データを用いて、撮像された第１マーカの位置および向きに基づいた位置、形状および大きさの表示用超音波画像データを生成する表示用画像生成部１２０と、生体の外観を撮像して取得した表示用生体画像１４１に、表示用超音波画像データによる表示用超音波画像１４２を重畳して表示する表示部１４０と、を備える。
【選択図】図１
Description
本発明は、超音波画像を用いて医療を支援する技術に関する。
上記技術分野において、特許文献１には、超音波プローブから得た超音波画像と、２つのシーンカメラから得た実画像とを、トラッカーカメラから得たカメラ視点座標系を使用してフリーズおよび追加処理により重ね合わせて、ステレオＨＭＤに表示する技術が開示されている。また、非特許文献１には、超音波プローブから得た超音波画像と、１つのカメラで得た超音波プローブのＡＲマーカの画像とから、シースルーで実空間に見える患者に重なるように、両眼式のオプティカル・シースルーＨＭＤに対して超音波画像を表示する技術が記載されている。
Shinichi Tano et al.,"Simple Augmented Reality System for 3D Ultrasonic Image by See-through HMD and Simple Camera and Marker Combination,"IEEE-EMBS International Conference Biomedical and Health Informatics, Hong Kong, China 2-7 Jan. 2012, p464-467
しかしながら、上記特許文献１に記載の技術では、トラッカーカメラの映像による超音波画像や実空間画像の座標変換処理を必要とする。一方、上記非特許文献１に記載の技術では、複数の超音波画像から血管を抽出しているが、治療対象とする血管を選定して、患部と血管との関係から血管および患部に関する情報を医師が容易に取得することができず、的確な超音波画像診断を行なうことが難しかった。
本発明の目的は、上述の課題を解決する技術を提供することにある。
上記目的を達成するため、本発明に係る超音波診断システムは、
撮像手段が、超音波プローブの観察部位を内部に有する生体の外観と共に撮像した、前記超音波プローブに固定された第１マーカと前記生体の表面に固定された第２マーカとの画像に基づいて、前記第１マーカの位置および向きと前記第２マーカの位置および向きとを取得するマーカ情報取得手段と、
前記超音波プローブを用いて取得した複数の超音波信号に基づいて、複数の２次元超音波画像データを時系列に生成する２次元超音波画像データ生成手段と、
前記複数の超音波信号のそれぞれの取得時における前記第１マーカの位置および向きと前記第２マーカの位置および向き、および、前記複数の２次元超音波画像データに基づいて、前記第２マーカを基準とする３次元座標で表わした複数の３次元超音波画像データを生成する３次元超音波画像データ生成手段と、
前記複数の３次元超音波画像データを蓄積する超音波画像データ蓄積手段と、
前記複数の３次元超音波画像データの各々から、前記第２マーカを基準とする３次元座標で表わした複数の３次元血管領域データを抽出する３次元血管領域データ抽出手段と、
血管輪郭の連続性に基づいて前記複数の３次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の３次元血管領域データを蓄積する血管領域データ蓄積手段と、
前記超音波画像データ蓄積手段から前記複数の３次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の３次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の３次元超音波画像データおよび前記複数の３次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成手段と、
前記複数の表示用画像を表示することにより、生体と観察部位と複数の血管領域とを識別可能に重畳して表示する表示手段と、
前記表示手段に表示された前記複数の血管領域から少なくとも１つの血管領域を選定する血管選定手段と、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する３次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない３次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御手段と、
を備えた。
撮像手段が、超音波プローブの観察部位を内部に有する生体の外観と共に撮像した、前記超音波プローブに固定された第１マーカと前記生体の表面に固定された第２マーカとの画像に基づいて、前記第１マーカの位置および向きと前記第２マーカの位置および向きとを取得するマーカ情報取得手段と、
前記超音波プローブを用いて取得した複数の超音波信号に基づいて、複数の２次元超音波画像データを時系列に生成する２次元超音波画像データ生成手段と、
前記複数の超音波信号のそれぞれの取得時における前記第１マーカの位置および向きと前記第２マーカの位置および向き、および、前記複数の２次元超音波画像データに基づいて、前記第２マーカを基準とする３次元座標で表わした複数の３次元超音波画像データを生成する３次元超音波画像データ生成手段と、
前記複数の３次元超音波画像データを蓄積する超音波画像データ蓄積手段と、
前記複数の３次元超音波画像データの各々から、前記第２マーカを基準とする３次元座標で表わした複数の３次元血管領域データを抽出する３次元血管領域データ抽出手段と、
血管輪郭の連続性に基づいて前記複数の３次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の３次元血管領域データを蓄積する血管領域データ蓄積手段と、
前記超音波画像データ蓄積手段から前記複数の３次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の３次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の３次元超音波画像データおよび前記複数の３次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成手段と、
前記複数の表示用画像を表示することにより、生体と観察部位と複数の血管領域とを識別可能に重畳して表示する表示手段と、
前記表示手段に表示された前記複数の血管領域から少なくとも１つの血管領域を選定する血管選定手段と、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する３次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない３次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御手段と、
を備えた。
上記目的を達成するため、本発明に係る画像処理装置は、
撮像手段から、超音波プローブの観察部位を内部に有する生体の外観の画像と共に、前記超音波プローブに固定された第１マーカと前記生体の表面に固定された第２マーカとの画像を受信して、前記第１マーカの位置および向きと前記第２マーカの位置および向きとを取得するマーカ情報取得手段と、
前記超音波プローブを用いて時系列に取得した超音波信号に基づいて生成された、複数の２次元超音波画像データを時系列に受信する２次元超音波画像データ受信手段と、
前記複数の超音波信号のそれぞれの取得時における前記第１マーカの位置および向きと前記第２マーカの位置および向き、および、前記複数の２次元超音波画像データに基づいて、前記第２マーカを基準とする３次元座標で表わした複数の３次元超音波画像データを生成する３次元超音波画像データ生成手段と、
前記複数の３次元超音波画像データを蓄積する超音波画像データ蓄積手段と、
前記複数の３次元超音波画像データの各々から、前記第２マーカを基準とする３次元座標で表わした複数の３次元血管領域データを抽出する３次元血管領域データ抽出手段と、
血管輪郭の連続性に基づいて前記複数の３次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の３次元血管領域データを蓄積する血管領域データ蓄積手段と、
前記超音波画像データ蓄積手段から前記複数の３次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の３次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の３次元超音波画像データおよび前記複数の３次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成手段と、
前記複数の表示用画像を表示手段に送信することにより、前記表示手段に生体と観察部位と複数の血管領域とを識別可能に重畳して表示させる表示画像送信手段と、
前記表示手段に表示された前記複数の血管領域から少なくとも１つの血管領域を選定するよう制御する血管選定制御手段と、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する３次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない３次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御手段と、
を備える。
撮像手段から、超音波プローブの観察部位を内部に有する生体の外観の画像と共に、前記超音波プローブに固定された第１マーカと前記生体の表面に固定された第２マーカとの画像を受信して、前記第１マーカの位置および向きと前記第２マーカの位置および向きとを取得するマーカ情報取得手段と、
前記超音波プローブを用いて時系列に取得した超音波信号に基づいて生成された、複数の２次元超音波画像データを時系列に受信する２次元超音波画像データ受信手段と、
前記複数の超音波信号のそれぞれの取得時における前記第１マーカの位置および向きと前記第２マーカの位置および向き、および、前記複数の２次元超音波画像データに基づいて、前記第２マーカを基準とする３次元座標で表わした複数の３次元超音波画像データを生成する３次元超音波画像データ生成手段と、
前記複数の３次元超音波画像データを蓄積する超音波画像データ蓄積手段と、
前記複数の３次元超音波画像データの各々から、前記第２マーカを基準とする３次元座標で表わした複数の３次元血管領域データを抽出する３次元血管領域データ抽出手段と、
血管輪郭の連続性に基づいて前記複数の３次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の３次元血管領域データを蓄積する血管領域データ蓄積手段と、
前記超音波画像データ蓄積手段から前記複数の３次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の３次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の３次元超音波画像データおよび前記複数の３次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成手段と、
前記複数の表示用画像を表示手段に送信することにより、前記表示手段に生体と観察部位と複数の血管領域とを識別可能に重畳して表示させる表示画像送信手段と、
前記表示手段に表示された前記複数の血管領域から少なくとも１つの血管領域を選定するよう制御する血管選定制御手段と、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する３次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない３次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御手段と、
を備える。
上記目的を達成するため、本発明に係る画像処理装置の作動方法は、
撮像手段から、超音波プローブの観察部位を内部に有する生体の外観の画像と共に、前記超音波プローブに固定された第１マーカと前記生体の表面に固定された第２マーカとの画像を受信して、前記第１マーカの位置および向きと前記第２マーカの位置および向きとを取得するマーカ情報取得ステップと、
前記超音波プローブを用いて時系列に取得した超音波信号に基づいて生成された、複数の２次元超音波画像データを時系列に受信する２次元超音波画像データ受信ステップと、
前記複数の超音波信号のそれぞれの取得時における前記第１マーカの位置および向きと前記第２マーカの位置および向き、および、前記複数の２次元超音波画像データに基づいて、前記第２マーカを基準とする３次元座標で表わした複数の３次元超音波画像データを生成する３次元超音波画像データ生成ステップと、
前記複数の３次元超音波画像データを超音波画像データ蓄積手段に蓄積する超音波画像データ蓄積ステップと、
前記複数の３次元超音波画像データの各々から、前記第２マーカを基準とする３次元座標で表わした複数の３次元血管領域データを抽出する３次元血管領域データ抽出ステップと、
血管輪郭の連続性に基づいて前記複数の３次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の３次元血管領域データを血管領域データ蓄積手段に蓄積する血管領域データ蓄積ステップと、
前記超音波画像データ蓄積手段から前記複数の３次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の３次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の３次元超音波画像データおよび前記複数の３次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成ステップと、
前記複数の表示用画像を表示手段に送信することにより、前記表示手段に生体と観察部位と複数の血管領域とを識別可能に重畳して表示させる表示画像送信ステップと、
前記表示手段に表示された前記複数の血管領域から少なくとも１つの血管領域を選定するよう制御する血管選定制御ステップと、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する３次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない３次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御ステップと、
を含む。
撮像手段から、超音波プローブの観察部位を内部に有する生体の外観の画像と共に、前記超音波プローブに固定された第１マーカと前記生体の表面に固定された第２マーカとの画像を受信して、前記第１マーカの位置および向きと前記第２マーカの位置および向きとを取得するマーカ情報取得ステップと、
前記超音波プローブを用いて時系列に取得した超音波信号に基づいて生成された、複数の２次元超音波画像データを時系列に受信する２次元超音波画像データ受信ステップと、
前記複数の超音波信号のそれぞれの取得時における前記第１マーカの位置および向きと前記第２マーカの位置および向き、および、前記複数の２次元超音波画像データに基づいて、前記第２マーカを基準とする３次元座標で表わした複数の３次元超音波画像データを生成する３次元超音波画像データ生成ステップと、
前記複数の３次元超音波画像データを超音波画像データ蓄積手段に蓄積する超音波画像データ蓄積ステップと、
前記複数の３次元超音波画像データの各々から、前記第２マーカを基準とする３次元座標で表わした複数の３次元血管領域データを抽出する３次元血管領域データ抽出ステップと、
血管輪郭の連続性に基づいて前記複数の３次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の３次元血管領域データを血管領域データ蓄積手段に蓄積する血管領域データ蓄積ステップと、
前記超音波画像データ蓄積手段から前記複数の３次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の３次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の３次元超音波画像データおよび前記複数の３次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成ステップと、
前記複数の表示用画像を表示手段に送信することにより、前記表示手段に生体と観察部位と複数の血管領域とを識別可能に重畳して表示させる表示画像送信ステップと、
前記表示手段に表示された前記複数の血管領域から少なくとも１つの血管領域を選定するよう制御する血管選定制御ステップと、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する３次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない３次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御ステップと、
を含む。
上記目的を達成するため、本発明に係る画像処理装置の制御プログラムは、
撮像手段から、超音波プローブの観察部位を内部に有する生体の外観の画像と共に、前記超音波プローブに固定された第１マーカと前記生体の表面に固定された第２マーカとの画像を受信して、前記第１マーカの位置および向きと前記第２マーカの位置および向きとを取得するマーカ情報取得と、
前記超音波プローブを用いて時系列に取得した超音波信号に基づいて生成された、複数の２次元超音波画像データを時系列に受信する２次元超音波画像データ受信ステップと、
前記複数の超音波信号のそれぞれの取得時における前記第１マーカの位置および向きと前記第２マーカの位置および向き、および、前記複数の２次元超音波画像データに基づいて、前記第２マーカを基準とする３次元座標で表わした複数の３次元超音波画像データを生成する３次元超音波画像データ生成ステップと、
前記複数の３次元超音波画像データを超音波画像データ蓄積手段に蓄積する超音波画像データ蓄積ステップと、
前記複数の３次元超音波画像データの各々から、前記第２マーカを基準とする３次元座標で表わした複数の３次元血管領域データを抽出する３次元血管領域データ抽出ステップと、
血管輪郭の連続性に基づいて前記複数の３次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の３次元血管領域データを血管領域データ蓄積手段に蓄積する血管領域データ蓄積ステップと、
前記超音波画像データ蓄積手段から前記複数の３次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の３次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の３次元超音波画像データおよび前記複数の３次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成ステップと、
前記複数の表示用画像を表示手段に送信することにより、前記表示手段に生体と観察部位と複数の血管領域とを識別可能に重畳して表示させる表示画像送信ステップと、
前記表示手段に表示された前記複数の血管領域から少なくとも１つの血管領域を選定するよう制御する血管選定制御ステップと、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する３次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない３次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御ステップと、
をコンピュータに実行させる。
撮像手段から、超音波プローブの観察部位を内部に有する生体の外観の画像と共に、前記超音波プローブに固定された第１マーカと前記生体の表面に固定された第２マーカとの画像を受信して、前記第１マーカの位置および向きと前記第２マーカの位置および向きとを取得するマーカ情報取得と、
前記超音波プローブを用いて時系列に取得した超音波信号に基づいて生成された、複数の２次元超音波画像データを時系列に受信する２次元超音波画像データ受信ステップと、
前記複数の超音波信号のそれぞれの取得時における前記第１マーカの位置および向きと前記第２マーカの位置および向き、および、前記複数の２次元超音波画像データに基づいて、前記第２マーカを基準とする３次元座標で表わした複数の３次元超音波画像データを生成する３次元超音波画像データ生成ステップと、
前記複数の３次元超音波画像データを超音波画像データ蓄積手段に蓄積する超音波画像データ蓄積ステップと、
前記複数の３次元超音波画像データの各々から、前記第２マーカを基準とする３次元座標で表わした複数の３次元血管領域データを抽出する３次元血管領域データ抽出ステップと、
血管輪郭の連続性に基づいて前記複数の３次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の３次元血管領域データを血管領域データ蓄積手段に蓄積する血管領域データ蓄積ステップと、
前記超音波画像データ蓄積手段から前記複数の３次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の３次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の３次元超音波画像データおよび前記複数の３次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成ステップと、
前記複数の表示用画像を表示手段に送信することにより、前記表示手段に生体と観察部位と複数の血管領域とを識別可能に重畳して表示させる表示画像送信ステップと、
前記表示手段に表示された前記複数の血管領域から少なくとも１つの血管領域を選定するよう制御する血管選定制御ステップと、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する３次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない３次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御ステップと、
をコンピュータに実行させる。
本発明によれば、より簡易に的確な超音波画像診断を実現することができる。
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
［第１実施形態］
本発明の第１実施形態としての超音波診断システム１００について、図１を用いて説明する。超音波診断システム１００は、超音波画像を用いて医療を支援するシステムである。
本発明の第１実施形態としての超音波診断システム１００について、図１を用いて説明する。超音波診断システム１００は、超音波画像を用いて医療を支援するシステムである。
超音波診断システム１００は、超音波画像生成部１１０と、撮像部１３０と、表示用画像生成部１２０と、表示部１４０と、を含む。超音波画像生成部１１０は、マーカ１３１が固定された超音波プローブ１１１を用いて取得した超音波信号に基づいて、マーカ１３１との相対位置関係を含む、３次元超音波画像データを生成する。撮像部１３０は、超音波プローブ１１１の観察部位を内部に有する生体の外観１３３を撮像すると共に、超音波プローブ１１１に固定されたマーカ１３１を撮像する。表示用画像生成部１２０は、３次元超音波画像データを用いて、撮像されたマーカ１３１の位置および向きに基づいた位置、形状および大きさの表示用超音波画像データを生成する。表示部１４０は、生体の外観１３３を撮像して取得した表示用生体画像１４１に、表示用超音波画像データによる表示用超音波画像１４２を重畳して表示する。
本実施形態によれば、超音波画像と生体の外観との重ね合わせ表示を実現することにより、より簡易に的確な超音波画像診断を実現することができる。
［第２実施形態］
次に、本発明の第２実施形態に係る超音波診断システムについて説明する。本実施形態の超音波診断システムは、実空間の患者をステレオＷＥＢカメラで撮影した実空間画像に、超音波診断装置で取得した超音波画像を３次元に重ね合わせて、医師が掛けている両眼式ビデオシースルー型ヘッドマウントディスプレイに３次元表示する。両画像の重ね合わせは、ステレオＷＥＢカメラで撮影した実空間画像中の、超音波プローブに貼り付けた２次元コードからなる光学マーカの画像により、超音波プローブの位置および方向を抽出することで実現する。なお、本実施形態においては、超音波プローブに貼り付けた２次元コードと、患者の生体表面に固定した２次元コードとの２つのマーカを配置した例を示す。しかしながら、超音波プローブに貼り付けた２次元コードのマーカのみであっても、カメラと超音波プローブとの相対的位置関係から重ね合わせ表示が可能である。
次に、本発明の第２実施形態に係る超音波診断システムについて説明する。本実施形態の超音波診断システムは、実空間の患者をステレオＷＥＢカメラで撮影した実空間画像に、超音波診断装置で取得した超音波画像を３次元に重ね合わせて、医師が掛けている両眼式ビデオシースルー型ヘッドマウントディスプレイに３次元表示する。両画像の重ね合わせは、ステレオＷＥＢカメラで撮影した実空間画像中の、超音波プローブに貼り付けた２次元コードからなる光学マーカの画像により、超音波プローブの位置および方向を抽出することで実現する。なお、本実施形態においては、超音波プローブに貼り付けた２次元コードと、患者の生体表面に固定した２次元コードとの２つのマーカを配置した例を示す。しかしながら、超音波プローブに貼り付けた２次元コードのマーカのみであっても、カメラと超音波プローブとの相対的位置関係から重ね合わせ表示が可能である。
本実施形態によれば、２つの２次元光学マーカを２つのＷＥＢカメラで撮像して両眼式ビデオシースルー型ヘッドマウントディスプレイに表示するので、簡単な構成でかつ処理の負荷を低減して、実時間における超音波画像と患者を撮像した実空間画像との重ね合わせ表示を実現することができる。一方、上記非特許文献１に記載の技術では、オプティカル・シースルーＨＭＤにおいて実空間と超音波画像とがすぐにずれるため、的確な超音波画像診断を行なうことが難しかった。
《超音波診断システム》
図２〜図４を参照して、本実施形態の超音波診断システムを説明する。
図２〜図４を参照して、本実施形態の超音波診断システムを説明する。
（動作概念）
図２は、本実施形態に係る超音波診断システムの動作概念を示す図である。図２は、本実施形態の超音波診断システムにおいて、両眼式ビデオシースルー型ヘッドマウントディスプレイ（以下、ＨＭＤ）２６０に表示される画像を図示している。
図２は、本実施形態に係る超音波診断システムの動作概念を示す図である。図２は、本実施形態の超音波診断システムにおいて、両眼式ビデオシースルー型ヘッドマウントディスプレイ（以下、ＨＭＤ）２６０に表示される画像を図示している。
ＨＭＤ２６０には、超音波プローブ画像２６１の移動に伴って、実時間の患者の撮像画像に重ね合わせて超音波画像２６２および２６３が表示されている。ＨＭＤ２６０を掛けた医師は、超音波プローブを動かすことによって、所望の患者内部の深さ方向の画像を患者の画像に合わせて観察することができる。
（構成）
図３は、本実施形態に係る超音波診断システム３００の構成を示すブロック図である。
図３は、本実施形態に係る超音波診断システム３００の構成を示すブロック図である。
超音波診断システム３００は、超音波診断装置３１０と、ＨＭＤ２６０と、ＨＭＤ２６０に設置された２つのウェブカメラ（以下、ＷＥＢカメラ）３３０と、ビデオキャプチャボード（以下、ＶＣＢ）３４０と、表示用画像生成部としての画像処理装置３５０と、を有する。
超音波診断装置３１０は、２次元マーカ３３１を貼り付けた超音波プローブ（深触子）３１１により取得した患者内部の観察部位からの超音波反射信号に基づき、超音波プローブ３１１の先端から深さ方向の画像を取得する。そして、超音波診断装置３１０が取得した画像信号は、ＶＣＢ３４０でデジタル画像データに変換されて画像処理装置３５０に送られる。なお、本実施形態においては、既存の超音波診断装置３１０を使用する例を示すが、デジタル画像データを出力する超音波画像取得装置であってもよい。
ＷＥＢカメラ３３０は、医師３０２が掛けたＨＭＤ２６０の両眼部前面に設置されて、患者３０１の超音波プローブ３１１を含む生体の外観である患部表面をステレオ撮像して表示用生体画像を取得する。左右２つのＷＥＢカメラ３３０からの撮像画像は、ＶＣＢ３４０を経由して画像処理装置３５０に送られる。撮像画像には、超音波プローブ３１１の２次元マーカ３３１および患者３０１に固定された２次元マーカ３３２が映っている。なお、ＷＥＢカメラ３３０はデジタル画像データを生成するので、ＶＣＢ３４０によるデジタル画像データへの変換は行なわれない。
ＶＣＢ３４０は、アナログ画像信号をデジタル画像データに変換して画像処理装置３５０に送り、一方、画像処理装置３５０からのデジタル画像データを必要であればアナログ画像信号に変換して、ＨＭＤ２６０などの表示部に送る。また、ＶＣＢ３４０は、各装置および機器間の制御信号も経由する。
画像処理装置３５０の実空間画像生成部３５２は、ＶＣＢ３４０を経由して取得した、実時間の患者の患部表面画像から２つの２次元マーカを抽出して、医師の視点（すなわち、カメラ座標系）と超音波プローブ３１１の位置および方向とを決定する。医師の視点に基づいて、患部表面画像は絶対座標系に変換される。同時に、画像処理装置３５０の超音波画像生成部３５１は、ＶＣＢ３４０を経由して実時間の患者患部の超音波画像を取得する。超音波画像は、超音波プローブ３１１の位置および方向に基づいて、絶対座標系に変換される。そして、画像処理装置３５０の画像処理部３５３は、同じ絶対座標系において、患部表面画像に超音波画像が重ね合わされて、さらに、ＨＭＤ表示座標系に変換されてＨＭＤ２６０に送信される。なお、本実施形態の画像処理装置３５０の詳細な機能構成は、図５に示される。
（動作手順）
図４は、本実施形態に係る超音波診断システム３００の動作手順を示すシーケンス図である。
図４は、本実施形態に係る超音波診断システム３００の動作手順を示すシーケンス図である。
ステップＳ４０１において、超音波プローブ３１１は超音波信号を取得し、超音波診断装置３１０は生成した超音波ビデオ信号をＶＣＢ３４０に送信する。ステップＳ４０３において、ＶＣＢ３４０は、超音波ビデオ信号をデジタル画像データに変換して、画像処理装置３５０に入力する。ステップＳ４０５において、画像処理装置３５０は、入力された超音波画像を記憶する。
ステップＳ４０７において、左右のＷＥＢカメラ３３０は、２つのマーカおよび患者の患部表面を撮像して、デジタル画像データでＶＣＢ３４０にパケット送信する。ステップＳ４０９において、画像処理装置３５０は、受信した撮像画像を記憶する。
画像処理装置は、ステップＳ４１１において、受信した撮像画像から絶対座標系の実空間画像を生成する。画像処理装置は、ステップＳ４１３において、撮像画像から２次元マーカを抽出して、２次元マーカの画像データに基づいて超音波プローブ３１１の絶対座標系での位置および方向を算出する。画像処理装置は、ステップＳ４１５において、超音波プローブ３１１の絶対座標系での位置および方向に基づいて、超音波画像を３次元の絶対座標系に変換する。画像処理装置は、ステップＳ４１７において、同じ絶対座標系の患者の患部表面画像に超音波画像を重ね合わせる。
ステップＳ４１９において、画像処理装置３５０は、重ね合わせた画像をＨＭＤ２６０のＨＭＤ表示座標系、本実施形態では左右に対応するステレオ座標系、に変換して、表示画像データを、ＶＣＢ３４０を経由してＨＭＤ２６０に送信する。ステップＳ４２１において、ＨＭＤ２６０は、患者の患部表面画像に超音波画像が重ね合わせた３次元画像を出力する。
《画像処理装置の機能構成》
図５は、本実施形態に係る画像処理装置３５０の機能構成を示すブロック図である。
図５は、本実施形態に係る画像処理装置３５０の機能構成を示すブロック図である。
画像処理装置３５０は、超音波診断装置３１０やＨＭＤ２６０、ＷＥＢカメラ３３０などとのインタフェースを行なう有線通信インタフェース５０１を有する。有線通信インタフェース５０１には、例えば、ＵＳＢ，ＤＶＩ，ＨＤＭＩ（登録商標），ＲＳ２３２Ｃなどが含まれる。なお、本例では診断あるいは治療室内であるためシールドされた有線による通信を示すが、電波による医療機器への影響が回避できれば無線による通信であってもよい。
画像処理装置３５０の超音波画像生成部３５１は、超音波画像データ受信部５０２と、３次元絶対座標系超音波画像データ生成部５０３と、超音波プローブ位置および方向算出部５０４と、２次元マーカ抽出部５０５と、を含む。超音波画像データ受信部５０２は、有線通信インタフェース５０１を介して超音波診断装置３１０からの超音波画像信号を受信する。３次元絶対座標系超音波画像データ生成部５０３は、超音波プローブ位置および方向に基づいて、受信した超音波画像信号から絶対座標系の超音波画像データを生成する。超音波プローブ位置および方向算出部５０４は、患者の患部表面の撮像画像に含まれる超音波プローブに貼られた２次元マーカから超音波プローブの位置および方向を算出する。２次元マーカ抽出部５０５は、撮像画像データ受信部５０６からの患者の患部表面の撮像画像に含まれる２次元マーカを抽出する。
画像処理装置３５０の実空間画像生成部３５２は、撮像画像データ受信部５０６と、３次元絶対座標系撮像画像データ生成部５０７と、を含む。撮像画像データ受信部５０６は、有線通信インタフェース５０１を介して２つのＷＥＢカメラ３３０からの撮像画像データを受信する。３次元絶対座標系撮像画像データ生成部５０７は、２次元マーカ抽出部５０５が抽出した患者に固定した２次元マーカに基づいて、撮像画像デーから絶対座標系の３次元実空間画像データを生成する。
画像処理装置３５０の画像処理部３５３は、画像重ね合わせ部５０８と、座標系変換部５０９と、ＨＭＤ表示画像データ送信部５１０と、を含む。画像重ね合わせ部５０８は、同じ３次元絶対座標系の撮像画像データと超音波画像データとを重ね合わせる。座標系変換部５０９は、画像重ね合わせ部５０８の重ね合わせ画像データを絶対座標系からＨＭＤ座標系に変換する。この場合に、３次元表示となるように、左右眼用のＨＭＤ座標系に変換される。ＨＭＤ表示画像データ送信部５１０は、生成されたＨＭＤ用の画像データを、有線通信インタフェース５０１を介してＨＭＤ２６０に送信する。
《超音波診断装置の機能構成》
図６は、本実施形態に係る超音波診断装置３１０の機能構成を示すブロック図である。なお、図６の超音波診断装置３１０は標準の構成であり、図６に限定されない。なお、図６の各回路はハードウェア構成であっても、プログラムを実行することで実現するソフトウェア構成であってもよい。
図６は、本実施形態に係る超音波診断装置３１０の機能構成を示すブロック図である。なお、図６の超音波診断装置３１０は標準の構成であり、図６に限定されない。なお、図６の各回路はハードウェア構成であっても、プログラムを実行することで実現するソフトウェア構成であってもよい。
送信回路６０１は、超音波プローブ３１１から超音波発信するための電気信号を超音波プローブ３１１に送信する。受信回路６０２は、超音波プローブ３１１が受信した超音波に対応する電気信号を受信する。制御回路６０３は、送信回路６０１、受信回路６０２および画像処理部６０６を制御する。
カラードプラ回路６０４は、例えば、血管内の血流方向をドプラ効果に基づいて認識して、色分けして識別可能にする。スペクトラルドプラ回路は、例えば、ＦＦＴ解析などにより特定部位を識別する。画像処理部６０６は、取得した超音波画像信号のデジタル変換や画像処理（補正や補間など）を行なうと共に、記憶あるいは送信用データに変換する。
モニタ６０７は、生成された超音波画像を表示する。ＬＳＲ（ラインスキャンレコーダ）６０８は、生成された超音波画像をラインスキャンデータで保持する。記録装置６０９は、生成された超音波画像を種々の形式で記憶媒体に記憶する。ＤＩＣＯＭ（Digital Imaging Communications in Medicine)６１０は、生成された超音波画像を送信するための通信制御部である。なお、通信規格は本例に限定されず、アナログデータの送信も含まれる。
《ＷＥＢカメラの機能構成》
図７は、本実施形態に係るＷＥＢカメラ３３０の機能構成を示すブロック図である。なお、図７にはＷＥＢカメラ３３０の一構成例が示されており、これに限定されない。また、図７では、ＷＥＢカメラ３３０が撮像した画像をパケット通信する構成を有することを示し、各構成要素の詳細な説明は省略する。
図７は、本実施形態に係るＷＥＢカメラ３３０の機能構成を示すブロック図である。なお、図７にはＷＥＢカメラ３３０の一構成例が示されており、これに限定されない。また、図７では、ＷＥＢカメラ３３０が撮像した画像をパケット通信する構成を有することを示し、各構成要素の詳細な説明は省略する。
ＷＥＢカメラ３３０の基盤回路には、ＣＣＤカメラ７０２と、撮像した画像データを画像処理装置３５０に送信するための制御回路７０１とが装備されている。
《ＨＭＤの構成》
ＷＥＢカメラを両眼前方に配置したＨＭＤ２６０については、既存のＨＤＭが使用可能であり、説明は省略する。
ＷＥＢカメラを両眼前方に配置したＨＭＤ２６０については、既存のＨＤＭが使用可能であり、説明は省略する。
《ビデオキャプチャボード（ＶＣＢ）の機能構成》
図８は、本実施形態に係るビデオキャプチャボード（ＶＣＢ）３４０の機能構成を示すブロック図である。なお、図８のＶＣＢ３４０の構成は一例であって、これに限定されない。
図８は、本実施形態に係るビデオキャプチャボード（ＶＣＢ）３４０の機能構成を示すブロック図である。なお、図８のＶＣＢ３４０の構成は一例であって、これに限定されない。
ＶＣＢ３４０は、デジタルテレビ信号やアナログビデオ信号、あるいは通信データを受信する入出力コネクタ８０１と、外部に通信出力する補助入出力コネクタ８０２とを有する。また、ＶＣＢ３４０は、デジタルテレビ信号をデコードするビデオデコーダ８０３と、アナログビデオ信号をデジタル変換するＡＤコンバータおよびシンクセパレータ８０４とを有する。
ＦＰＧＡ(Field Programmable Gate Array)８０５は、ハードウェアの制御部であり、ＣＰＵとプログラムメモリからなるソフトウェアの制御部であってもよい。フレームメモリ８０６は、デジタル画像データを一時保持する。通信インタフェース８０７は、画像処理装置３５０に画像データを送信するインタフェースであり、ＵＳＢ，ＤＶＩ，ＨＤＭＩ（登録商標），ＲＳ２３２Ｃなどであってよい。
（超音波画像データ）
図９は、本実施形態に係る超音波画像データ９００の構成を示す図である。超音波画像データ９００は、超音波画像生成部３５１が超音波診断装置３１０から受信した画像データを記憶する構成である。
図９は、本実施形態に係る超音波画像データ９００の構成を示す図である。超音波画像データ９００は、超音波画像生成部３５１が超音波診断装置３１０から受信した画像データを記憶する構成である。
超音波画像データ９００は、超音波画像データＩＤ９０１に対応付けて、患者ＩＤ９０２と、患部９０３と、超音波画像の取得日時（タイムスタンプ）９０４と、超音波画像取得時のパラメータ９０５と、受信した超音波画像データ９０６と、を記憶する。
（撮像データ）
図１０は、本実施形態に係る撮像データ１０００の構成を示す図である。撮像データ１０００は、超音波画像生成部３５１の２次元マーカ抽出部５０５や実空間画像生成部３５２がＷＥＢカメラ３３０から受信した画像データを記憶する構成である。
図１０は、本実施形態に係る撮像データ１０００の構成を示す図である。撮像データ１０００は、超音波画像生成部３５１の２次元マーカ抽出部５０５や実空間画像生成部３５２がＷＥＢカメラ３３０から受信した画像データを記憶する構成である。
撮像データ１０００は、撮像画像データＩＤ１００１に対応付けて、患者ＩＤ１００２と、患部１００３と、撮像画像の取得日時（タイムスタンプ）１００４と、ＷＥＢカメラ３３０で撮像した時点のパラメータ１００５と、ＷＥＢカメラ３３０から受信した撮像画像データ１００６と、を記憶する。
さらに、撮像データ１０００は、２次元マーカ抽出部５０５における２次元マーカ位置１００７と２次元マーカ画像データ１００８とを記憶する。
（画像重ね合わせテーブル）
図１１は、本実施形態に係る画像重ね合わせテーブルの構成を示す図である。画像重ね合わせテーブルは、画像重ね合わせ部５０８における画像データの重ね合わせに使用される。画像重ね合わせテーブルとしては、重ね合わせのための座標変換パラメータを記憶するパラメータテーブル１１１０と、画像データの重ね合わせに使用される画像データテーブル１１２０とを有する。画像重ね合わせテーブルは、３次元超音波画像データとマーカとの相対位置関係を保持する。
図１１は、本実施形態に係る画像重ね合わせテーブルの構成を示す図である。画像重ね合わせテーブルは、画像重ね合わせ部５０８における画像データの重ね合わせに使用される。画像重ね合わせテーブルとしては、重ね合わせのための座標変換パラメータを記憶するパラメータテーブル１１１０と、画像データの重ね合わせに使用される画像データテーブル１１２０とを有する。画像重ね合わせテーブルは、３次元超音波画像データとマーカとの相対位置関係を保持する。
パラメータテーブル１１１０は、超音波プローブ３１１に貼り付けた２次元マーカ３３１と固定の２次元マーカ３３２とのそれぞれの、２次元コードＩＤ１１１１、２次元コードの位置１１１２および方向１１１３に対応付けて、画像データの座標変換パラメータを記憶する。座標変換パラメータは、撮像画像を絶対座標系に変換する座標変換パラメータ１１１４と、超音波画像を絶対座標系に変換する座標変換パラメータ１１１５とを含む。
画像データテーブル１１２０は、受信した超音波画像データ１１２１と、座標変換パラメータ１１１５と、画像データの調整パラメータ１１２３とに基づいて生成した、絶対座標系の３次元超音波画像データ１１２４を記憶する。また、画像データテーブル１１２０は、同じタイムスタンプの、受信した撮像画像データ１１２５と、座標変換パラメータ１１１４と、画像データの調整パラメータ１１２７とに基づいて生成した、絶対座標系の３次元撮像画像データ１１２８を記憶する。
そして、画像データテーブル１１２０は、３次元撮像画像データ１１２８に３次元超音波画像データ１１２４を重ねた、絶対座標系の３次元重ね合わせ画像データ１１２９を記憶する。
（３次元画像表示データ）
図１２は、本実施形態に係る３次元画像表示データ１２００の構成を示す図である。３次元画像表示データ１２００は、ＨＭＤ２６０に表示するための表示データを生成するために使用される。
図１２は、本実施形態に係る３次元画像表示データ１２００の構成を示す図である。３次元画像表示データ１２００は、ＨＭＤ２６０に表示するための表示データを生成するために使用される。
３次元画像表示データ１２００は、３次元重ね合わせ画像データ１２０１に対応付けて、画像取得の日時（タイムスタンプ）１２０２と、絶対座標系からＨＭＤ座標系に変換するための座標変換パラメータ１２０３と、変換されたＨＭＤ座標系画像データ１２０４と、を含む。さらに、３次元画像表示データ１２００は、ＨＭＤ２６０に３次元表示するため、右目用ＨＭＤ画像データ１２０５と左目用ＨＭＤ画像データ１２０６とを含む。
《画像処理装置のハードウェア構成》
図１３は、本実施形態に係る画像処理装置３５０のハードウェア構成を示すブロック図である。
図１３は、本実施形態に係る画像処理装置３５０のハードウェア構成を示すブロック図である。
図１３で、ＣＰＵ１３１０は演算制御用のプロセッサであり、プログラムを実行することで図４の画像処理装置３５０の機能構成部を実現する。ＲＯＭ(Read Only Memory)１３２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、無線通信インタフェース１３３０は、ネットワークを介して他の機器や通信端末やサーバと通信する。なお、ＣＰＵ１３１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵを含んでもよい。また、ＲＡＭ１３４０とストレージ１３５０との間でデータを転送するＤＭＡＣを設けるのが望ましい（図示なし）。さらに、入出力インタフェース１３６０は、ＣＰＵ１３１０とは独立したＣＰＵを有して、ＲＡＭ１３４０の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、ＣＰＵ１３１０は、ＲＡＭ１３４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ１３１０は、処理結果をＲＡＭ１３４０に準備し、後の送信あるいは転送は無線通信インタフェース１３３０やＤＭＡＣ、あるいは入出力インタフェース１３６０や有線通信インタフェース５０１に任せる。
ＲＡＭ１３４０は、ＣＰＵ１３１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１３４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。超音波画像データ１３４１は、本画像処理装置３５０が超音波診断装置３１０から受信した画像データである。３次元超音波画像データ１３４２は、絶対座標系に変換された超音波画像データである。撮像画像データ１３４３は、本画像処理装置３５０がＷＥＢカメラ３３０から受信した画像データである。３次元撮像画像データ１３４４は、絶対座標系に変換された撮像画像データである。２次元マーカ画像データ１３４５は、撮像画像データ１３４３から抽出された２次元マーカの画像データである。２次元マーカの位置および方向１３４６は、２次元マーカ画像データ１３４５から算出された２次元マーカの位置と方向とである。超音波プローブ３１１に貼られた２次元マーカ３３１の位置と方向とから超音波プローブ３１１の位置と方向を知ることができる。重ね合わせ画像データ１３４７は、３次元撮像画像データ１３４４に３次元超音波画像データ１３４２を重ねた画像データである。ＨＭＤ表示画像データ１３４８は、重ね合わせ画像データ１３４７からＨＭＤ座標系に変換された画像データである。本実施形態においては、右目用ＨＭＤ表示画像データと左目用ＨＭＤ表示画像データとを含む。入出力データ１３４９は、入出力インタフェース７６０を介して入出力されるデータである。
ストレージ１３５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。超音波画像ＤＢ１３５１は、超音波診断装置３１０から受信した超音波画像を蓄積するデータベースであり、後述の第３実施形態以降において蓄積された超音波画像が使用される。
ストレージ１３５０には、以下のプログラムが格納される。画像処理装置制御プログラム１３５２は、本画像処理装置３５０の全体を制御する制御プログラムである。超音波画像生成モジュール１３５３は、超音波診断装置３１０から受信した超音波画像データから絶対座標系の３次元超音波画像データを生成するモジュールである。撮像画像生成モジュール１３５４は、ＷＥＢカメラ３３０から受信した撮像画像データから絶対座標系の３次元撮像画像データを生成するモジュールである。超音波プローブ位置・方向算出モジュール１３５５は、ＷＥＢカメラ３３０から受信した撮像画像データから２次元マーカを抽出して、超音波プローブ３１１に貼られた２次元マーカ３３１の位置および方向から超音波プローブ３１１の位置と方向を算出するモジュールである。画像重ね合わせモジュール１３５６は、生成された絶対座標系の３次元撮像画像データに３次元超音波画像データを重ね合わせるモジュールである。ＨＭＤ画像表示モジュール１３５７は、重ね合わせた画像データをＨＭＤ座標系の両目用画像データに変換して、ＨＭＤ２６０に表示させるモジュールである。
入出力インタフェース１３６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース１３６０には、表示部１３６１、タッチパネル／キーボードなどの操作部１３６２、スピーカやマイクなどの音声入出力部１３６３が接続される。さらに、超音波診断装置３１０やＨＭＤ２６０、ＷＥＢカメラ３３０が接続する有線通信インタフェース５０１が接続される。なお、有線通信インタフェース５０１は、無線通信インタフェース１３３０と兼用されてもよい。
なお、図１３のＲＡＭ１３４０やストレージ１３５０には、画像処理装置３５０が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。
《画像処理装置の処理手順》
図１４は、本実施形態に係る画像処理装置３５０の処理手順を示すフローチャートである。このフローチャートは、図１３のＣＰＵ１３１０がＲＡＭ１３４０を使用して実行し、図５の機能構成部を実現する。
図１４は、本実施形態に係る画像処理装置３５０の処理手順を示すフローチャートである。このフローチャートは、図１３のＣＰＵ１３１０がＲＡＭ１３４０を使用して実行し、図５の機能構成部を実現する。
画像処理装置３５０は、ステップＳ１４０１において、超音波診断装置３１０から超音波画像データを受信する。次に、画像処理装置３５０は、ステップＳ１４０３において、ＷＥＢカメラ３３０から実空間の撮像画像データを受信する。
画像処理装置３５０は、ステップＳ１４０５において、受信した撮像画像データに含まれる２次元マークの画像データに基づいて、超音波プローブ３１１の位置および方向を算出する（図１５Ａ参照）。画像処理装置３５０は、ステップＳ１４０７において、撮影画像データと超音波画像データとの座標系を一致させて、画像データを重ね合わせる（図１５Ｂ参照）。そして、画像処理装置３５０は、ステップＳ１４０９において、重ね合わせた画像データをＨＭＤ座標系に変換してＨＭＤ２６０に送信する（図１５Ｃ参照）。
画像処理装置３５０は、ステップＳ１４１１において、処理の終了か否かを判定し、終了でなければステップＳ１４０１に戻って、画像データの取得、画像データの重ね合わせ、画像データの３次元表示を繰り返す。
（超音波プローブ位置および方向検出処理）
図１５Ａは、本実施形態に係る超音波プローブ位置および方向検出処理（Ｓ１４０５）の手順を示すフローチャートである。
図１５Ａは、本実施形態に係る超音波プローブ位置および方向検出処理（Ｓ１４０５）の手順を示すフローチャートである。
画像処理装置３５０は、ステップＳ１５１１において、撮像画像データから２次元マーカの枠を抽出する。次に、画像処理装置３５０は、ステップＳ１５１３において、２次元コード枠内の画像データを抽出する。次に、画像処理装置３５０は、ステップＳ１５１５において、患者に固定した固定マーカの位置および形状による向きを算出して、絶対座標系を取得する。そして、画像処理装置３５０は、ステップＳ１５１７において、超音波プローブ３１１に貼ったマーカの絶対座標系における位置および方向を算出する。
（画像重ね合わせ処理）
図１５Ｂは、本実施形態に係る画像重ね合わせ処理（Ｓ１４０７）の手順を示すフローチャートである。
図１５Ｂは、本実施形態に係る画像重ね合わせ処理（Ｓ１４０７）の手順を示すフローチャートである。
画像処理装置３５０は、ステップＳ１５２１において、撮像画像データを絶対座標系に変換する。次に、画像処理装置３５０は、ステップＳ１５２３において、超音波画像データを絶対座標系に変換する。そして、画像処理装置３５０は、ステップＳ１５２５において、絶対座標系の撮像画像データに超音波画像データを重ね合わせて、重ね合わせ画像データを生成する。
（表示画像データ生成処理）
図１５Ｃは、本実施形態に係る表示画像データ生成処理（Ｓ１４０９）の手順を示すフローチャートである。
図１５Ｃは、本実施形態に係る表示画像データ生成処理（Ｓ１４０９）の手順を示すフローチャートである。
画像処理装置３５０は、ステップＳ１５３１において、重ね合わせ画像データをＨＭＤ座標系に変換する。そして、画像処理装置３５０は、ステップＳ１５３３において、右目用ＨＭＤ表示画像データを生成し、ステップＳ１５３５において、左目用ＨＭＤ表示画像データを生成する。そして、生成された左右ＨＭＤ表示画像データをＨＭＤ２６０に送信する。
本実施形態によれば、２つの２次元光学マーカを２つのＷＥＢカメラで撮像して両眼式ビデオシースルー型ヘッドマウントディスプレイに表示するので、簡単な構成でかつ処理の負荷を低減して、実時間における超音波画像と患者を撮像した実空間画像との重ね合わせ表示を実現することができる。
［第３実施形態］
次に、本発明の第３実施形態に係る超音波診断システムについて説明する。本実施形態に係る超音波診断システムは、上記第２実施形態と比べると、蓄積した複数の超音波画像を重ね合わせる点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第３実施形態に係る超音波診断システムについて説明する。本実施形態に係る超音波診断システムは、上記第２実施形態と比べると、蓄積した複数の超音波画像を重ね合わせる点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
《超音波診断システムの動作概念》
図１６は、本実施形態に係る超音波診断システムの動作概念を示す図である。なお、図１６において、第２実施形態の図２と同様の要素には同じ参照番号を付して、説明は省略する。
図１６は、本実施形態に係る超音波診断システムの動作概念を示す図である。なお、図１６において、第２実施形態の図２と同様の要素には同じ参照番号を付して、説明は省略する。
本実施形態においては、複数の超音波画像データを蓄積して、複数の超音波画像表示１６０１−１〜１６０１−ｎにより、各超音波画像の深さ方向ばかりでなく、左右方向に連続した超音波画像１６０１を患部表面画像に重ね合わせて表示する。
かかる重ね合わせ表示により、擬似的に患者内部の３次元画像を観察することができる。また、次元列に超音波画像データを蓄積して、超音波診断の動作を再現することにより、超音波診断装置の操作の教育にも使用することが可能となる。
《画像処理装置の機能構成》
図１７は、本実施形態に係る画像処理装置１７５０の機能構成を示すブロック図である。なお、図１７において、第２実施形態の図５と同様の機能構成部には同じ参照番号を付して、説明は省略する。
図１７は、本実施形態に係る画像処理装置１７５０の機能構成を示すブロック図である。なお、図１７において、第２実施形態の図５と同様の機能構成部には同じ参照番号を付して、説明は省略する。
超音波画像ＤＢ１７５１は、超音波診断装置３１０から受信した複数の超音波画像データを次元列に蓄積する。画像重ね合わせ部１７０８は、実時間で受信した超音波画像データを重ね合わせるばかりでなく、超音波画像ＤＢ１７５１に蓄積された、時系列の複数の超音波画像データを重ね合わせたり、画像処理装置１７５０あるいは医師により選択された複数の超音波画像データを重ね合わせたりする。
（超音波画像ＤＢ）
図１８は、本実施形態に係る超音波画像ＤＢ１７５１の構成を示す図である。なお、超音波画像ＤＢ１７５１の構成は図１８に限定されない。
図１８は、本実施形態に係る超音波画像ＤＢ１７５１の構成を示す図である。なお、超音波画像ＤＢ１７５１の構成は図１８に限定されない。
超音波画像ＤＢ１７５１は、超音波画像ＩＤ１８０１に対応付けて、患者ＩＤ１８０２と、患部１８０３と、超音波画像の取得日時（タイムスタンプ）１８０４と、超音波診断装置３１０から受信した超音波画像データ１８０５と、を格納する。また、超音波画像ＤＢ１７５１は、画像処理装置１７５０で得られた、絶対座標系１８０６と、超音波プローブ位置および方向１８０７と、生成された３次元超音波画像データ１８０８と、を格納する。さらに、超音波画像ＤＢ１７５１は、ＨＭＤ座標系に変換されたＨＭＤ表示画像データ１８０９を格納してもよい。
（３次元画像表示データ）
図１９は、本実施形態に係る３次元画像表示データ１９００の構成を示す図である。３次元画像表示データ１９００は、本実施形態の複数の超音波画像の重ね合わせを実現するための構成である。
図１９は、本実施形態に係る３次元画像表示データ１９００の構成を示す図である。３次元画像表示データ１９００は、本実施形態の複数の超音波画像の重ね合わせを実現するための構成である。
３次元画像表示データ１９００は、１つの絶対座標系撮像データ１９０１に対応して複数の重ね合わせ超音波画像データ１９０２を記憶する。そして、複数の超音波画像データ１９０２を重ね合わせた、絶対座標系の重ね合わせ画像データ１９０３と、ＨＭＤ座標系表示》画像データ１９０４と、右目用ＨＭＤ表示画像データ１９０５と、左目用ＨＭＤ表示画像データ１９０６と、を記憶する。
（画像重ね合わせ処理）
図２０は、本実施形態に係る画像重ね合わせ処理（Ｓ１４０７）の手順を示すフローチャートである。図２０のフローチャートは、図１４のステップＳ１４０７において図１５Ｂと置き換わる。なお、図２０において、図１５Ｂと同じステップには同じステップ番号を付して、説明を省略する。
図２０は、本実施形態に係る画像重ね合わせ処理（Ｓ１４０７）の手順を示すフローチャートである。図２０のフローチャートは、図１４のステップＳ１４０７において図１５Ｂと置き換わる。なお、図２０において、図１５Ｂと同じステップには同じステップ番号を付して、説明を省略する。
画像処理装置１７５０は、ステップＳ２０２５において、絶対座標系の超音波画像データを超音波画像ＤＢ１７５１に格納する。次に、画像処理装置１７５０は、ステップＳ２０２７において、撮像画像データに重ね合わせるべき超音波画像データを超音波画像ＤＢ１７５１から取得する。そして、画像処理装置１７５０は、ステップＳ２０２９において、撮像画像データに重ね合わせるべき超音波画像データを重ね合わせて、重ね合わせ画像データを生成する。
本実施形態によれば、蓄積した複数の超音波画像を撮像した実空間の患者画像に重ね合わせて表示することにより、実時間における身体内部の状態を３次元的に観察することができる。
［第４実施形態］
次に、本発明の第４実施形態に係る超音波診断システムについて説明する。本実施形態に係る超音波診断システムは、上記第２実施形態および第３実施形態と比べると、複数の超音波画像から血管領域を抽出し、患部と血管との関係から治療において対象とする血管を選定する点で異なる。その他の構成および動作は、第２実施形態あるいは第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、血管領域の抽出を説明するが、超音波画像の特定の明度部分あるいは特定の色部分を抽出する部分抽出部を設け、超音波画像の抽出した部分を３次元実空間画像と重ね合わせてもよい。なお、本実施形態においては、患部として肝臓を対象に説明するが、患部は肝臓に限定されない。
次に、本発明の第４実施形態に係る超音波診断システムについて説明する。本実施形態に係る超音波診断システムは、上記第２実施形態および第３実施形態と比べると、複数の超音波画像から血管領域を抽出し、患部と血管との関係から治療において対象とする血管を選定する点で異なる。その他の構成および動作は、第２実施形態あるいは第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、血管領域の抽出を説明するが、超音波画像の特定の明度部分あるいは特定の色部分を抽出する部分抽出部を設け、超音波画像の抽出した部分を３次元実空間画像と重ね合わせてもよい。なお、本実施形態においては、患部として肝臓を対象に説明するが、患部は肝臓に限定されない。
《超音波診断システムの動作概念》
図２１は、本実施形態に係る超音波診断システムの動作概念を示す図である。
図２１は、本実施形態に係る超音波診断システムの動作概念を示す図である。
ＨＭＤ２６０の表示２１１０は、各超音波画像データから、例えばカラードプラ処理などにより、血流をその方向と共に抽出すると共に血管輪郭を抽出して、複数の超音波画像データの血管輪郭の連続性に基づき同方向の血流を合体することで血管を抽出した表示画面である。表示２１１０には、肝臓画像２１１１と、肝臓中の門脈２１１２と静脈２１１３とを色分けして表示している。
ＨＭＤ２６０の表示２１２０は、肝臓画像２１２１と、肝臓中の血管である門脈２１２２と静脈２１２３とに加えて、患部（病巣）２１２４を表示している。
ＨＭＤ２６０の表示２１３０は、肝臓画像２１３１に、患部（病巣）２１２４および患部（病巣）２１２４に繋がる門脈２１３３を選定して、色付けして表示している。
これらのＨＭＤ２６０の表示２１１０〜２１３０から、医師の対象とする患部や血管を医師が容易に判断できる。
《画像処理装置の機能構成》
図２２は、本実施形態に係る画像処理装置２２５０の機能構成を示すブロック図である。なお、図２２において、図５または図１７と同様の機能構成部には同じ参照番号を付して、説明は省略する。また、図２２には、患部（病巣）の画像生成や血管選定処理の機能構成部は、煩雑さを避けるため図示していない。
図２２は、本実施形態に係る画像処理装置２２５０の機能構成を示すブロック図である。なお、図２２において、図５または図１７と同様の機能構成部には同じ参照番号を付して、説明は省略する。また、図２２には、患部（病巣）の画像生成や血管選定処理の機能構成部は、煩雑さを避けるため図示していない。
血管画像生成部２２５１は、血管抽出部２２５２と血管選定部２２５３とを有し、実空間画像に重ね合わせる血管画像データを生成する。血管抽出部２２５２は、超音波画像ＤＢ１７５１に蓄積された複数の超音波画像データのカラードプラ処理による血流情報と血管輪郭の連続性とを使用して、複数の超音波画像データの血管輪郭をつなぎ合わせることによって、血管を抽出する。なお、血管抽出部２２５２による血管の抽出は、超音波画像ＤＢ１７５１に蓄積された画像データでなく、実時間に超音波診断装置３１０で取得した画像データにより行なわれてもよい。血管選定部２２５３は、血管抽出部２２５２により抽出された血管の中から、特に医師がマーキングした血管の末梢側を支配領域として抽出して色付けする。血管画像ＤＢ２２５４は、血管抽出部２２５２が抽出した血管画像、あるいは血管選定部２２５３が選定した支配領域の血管画像を、患者や患部、血管名などにより検索可能に蓄積して、以降に参照される。画像重ね合わせ部２２０８は、撮像データに血管画像データや支配領域を重ね合わせて、重ね合わせ画像データを生成する。なお、さらに超音波画像データを重ね合わせてもよい。すなわち、画像処理装置２２５０は、複数の超音波画像データより、血管の連続性を判断して、医師の必要とする支配領域の血管を抽出し、他の血管と区別して違う色付けなどを行って、撮像データに重ね合わせて、両眼式ビデオシースルー型ＨＭＤに表示させる（図２２の最下図参照）。
（血管抽出および色分け）
まず、超音波画像の血流表示から血管を抽出する処理を説明する。まず、超音波画像の色の抽出などから血管画像を抽出して、２値化画像を生成する。そして、２値化画像に基づいて血管を抽出する。１枚の超音波画像から複数の血管断面が抽出されるので、抽出した血管にそれぞれラベリングを行い、輪郭を保存する。次の超音波画像に対しても同じ操作を行い、血管のラベリングと輪郭の抽出とを行ない保存する。連続性のある部分を判定し、連続した血管はグループ分けして、１つのグループとする。複数の超音波画像についてこの処理を繰り返すと、グループ同士がまとまって大きなグループとなっていき、１つの連続する血管の抽出となる。
まず、超音波画像の血流表示から血管を抽出する処理を説明する。まず、超音波画像の色の抽出などから血管画像を抽出して、２値化画像を生成する。そして、２値化画像に基づいて血管を抽出する。１枚の超音波画像から複数の血管断面が抽出されるので、抽出した血管にそれぞれラベリングを行い、輪郭を保存する。次の超音波画像に対しても同じ操作を行い、血管のラベリングと輪郭の抽出とを行ない保存する。連続性のある部分を判定し、連続した血管はグループ分けして、１つのグループとする。複数の超音波画像についてこの処理を繰り返すと、グループ同士がまとまって大きなグループとなっていき、１つの連続する血管の抽出となる。
次に、患部（病巣：切除予定部）につながる血管に基づいて患部を抽出して色付けする処理を説明する。最初に、表示画面上において、必要と思われる血管（門脈）にマーキングする。マーキングは、ポインティングデバイスを用いて、指定した部分より末梢側か中枢側かもわかるように、ベクトルなども用いて行なう。マーキングした末梢部分とつながったグループを、例えば赤い色で表示する。他のグループの血管であってそれが門脈であれば、結局、中枢部分と連続するはずなので、それを青い色で表示する。肝静脈は、門脈と連続性がないのでマーキングした中枢側とも末梢側ともつながらないので、これは緑色などで表示する。また、小さなグループで連続性がはっきりしないものについては、アーチファクトの可能性があるので、削除して表示しない。このようにして、赤、青、緑で、それぞれ切除予定門脈、残存予定門脈、肝静脈の順に色付けして表示する。その結果、超音波画像から、必要な血管を色分けして表示できることになる。なお、上記説明では、３色に色分けしたが、切除予定門脈を赤などの目立つ色に色付けするのみでもよい。
（血管画像ＤＢ）
図２３Ａは、本実施形態に係る血管画像ＤＢ２２５４の構成を示す図である。血管画像ＤＢ２２５４の構成は、図２３Ａに限定されない。
図２３Ａは、本実施形態に係る血管画像ＤＢ２２５４の構成を示す図である。血管画像ＤＢ２２５４の構成は、図２３Ａに限定されない。
血管画像ＤＢ２２５４は、患者名２３１１に対応付けて患部２３１２を記憶する。なお、図２３Ａでは、患部２３１２として肝臓のみを図示しているが、複数の患部であってもよい。
血管画像ＤＢ２２５４は、各患部に対応して関連する血管名２３１３を記憶する。そして、各血管を示す複数の血管部位画像データ（血流情報）として、超音波画像の取得日時２３１４と３次元絶対座標系の血管部位画像データ２３１５と、血管部位輪郭画像データ２３１６と、各血管画像に対しラベリングしたラベル２３１７とを記憶する。
そして、血管画像ＤＢ２２５４は、各超音波画像の血管部位の輪郭の連続性に基づいて抽出したグループ２３１８と、各グループに色付けする場合にそのグループに対して割り当てた表示色２３１９とを記憶する。なお、表示色２３１９が指定されてない場合は、白黒画像で表示される。あるいは、白黒が指定されてもよい。
（患部血管関連テーブル）
図２３Ｂは、本実施形態に係る患部血管関連テーブル２３２０の構成を示す図である。患部血管関連テーブル２３２０は、患部と血管とを関連付けた情報に基づく医師による血管のマーキングにより、患部（病巣）に繋がる血管を選定するために使用される。なお、図２３Ｂには、患部として肝臓のみを示すが、他の患部に付いても同様のテーブルが作成される。
図２３Ｂは、本実施形態に係る患部血管関連テーブル２３２０の構成を示す図である。患部血管関連テーブル２３２０は、患部と血管とを関連付けた情報に基づく医師による血管のマーキングにより、患部（病巣）に繋がる血管を選定するために使用される。なお、図２３Ｂには、患部として肝臓のみを示すが、他の患部に付いても同様のテーブルが作成される。
患部血管関連テーブル２３２０は、患部２３２１に対応して、複数の区域（肝臓では８つの区域）２３２２を記憶する。そして、各区域２３２２に繋がる血管２３２３を記憶する。そして、その血管２３２３を示す３次元絶対座標系の血管部位画像データ２３２４のグループと、血管部位輪郭画像データ２３２５と、各血管画像に対しラベリングしたラベル２３２６とを記憶する。
そして、患部血管関連テーブル２３２０は、ユーザによる表示画面上のマーキングとのつながりに基づいて選別した、同一グループであることを示すマーク２３２７と、各マークに対応する表示画面上の表示色２３２８とを記憶する。なお、実際にマーキングするのは、患部（病巣）につながる血管のみであり、表示色２３２８が記憶されるのはマーキングされた血管およびその領域である。他の血管あるいは肝臓組織の表示色２３２８は指定無しでは白黒画像で表示されるので、患部（病巣）が医師に明瞭に認知される。
《画像処理装置の処理手順》
図２４Ａは、本実施形態に係る画像処理装置２２５０の処理手順を示すフローチャートである。このフローチャートは、図１３のＣＰＵ１３１０がＲＡＭ１３４０を使用して実行し、図２２の機能構成部を実現する。なお、図２４Ａにおいては、超音波画像からの血管抽出処理と、患部（病巣）につながる血管選定処理とを一連の処理として説明するが、血管抽出処理と血管選定処理とはそれぞれ独立した処理として実行されてもよい。
図２４Ａは、本実施形態に係る画像処理装置２２５０の処理手順を示すフローチャートである。このフローチャートは、図１３のＣＰＵ１３１０がＲＡＭ１３４０を使用して実行し、図２２の機能構成部を実現する。なお、図２４Ａにおいては、超音波画像からの血管抽出処理と、患部（病巣）につながる血管選定処理とを一連の処理として説明するが、血管抽出処理と血管選定処理とはそれぞれ独立した処理として実行されてもよい。
画像処理装置２２５０は、ステップＳ２４０１において、複数の超音波画像からドプラ処理により血流を見付け、繋ぎ合わせた血管部分を抽出する（図２４Ｂ参照）。次に、画像処理装置２２５０は、ステップＳ２４０３において、患部（病巣）につながる血管の選定処理を行なうか否かを判定する。血管選定処理を行なう場合、画像処理装置２２５０は、ステップＳ２４０５において、患部（病巣）につながる血管選定処理（図２４Ｃ参照）を実行する。そして、画像処理装置２２５０は、ステップＳ２４０７において、撮像画像データに血管画像データを重ね合わせる。血管選定処理を行なわない場合は、撮像画像データに血管部位の画像データを重ね合わせる。なお、重ね合わせ処理は、超音波画像データが血管画像データに変わるのみで、図１５Ｂと同様であるので、図示および説明は省略する。
（血管抽出処理）
図２４Ｂは、本実施形態に係る血管抽出処理（Ｓ２４０１）の手順を示すフローチャートである。
図２４Ｂは、本実施形態に係る血管抽出処理（Ｓ２４０１）の手順を示すフローチャートである。
画像処理装置２２５０は、ステップＳ２４２１において、１枚の超音波画像から色などにより血管画像を抽出する。例えば、超音波診断装置においてカラードプラ処理を行なうと、血流が赤と青で表わされる。次に、画像処理装置２２５０は、ステップＳ２４２３において、抽出した血管画像を２値化して血管輪郭を得てラベリングして保存する。画像処理装置２２５０は、ステップＳ２４２５において、関連する部位の一連の複数の超音波画像について、ステップＳ２４２１およびＳ２４２３の処理が終了したかを判定し、全ての超音波画像について処理が終了するまで繰り返す。
全ての超音波画像について処理が終了すると、画像処理装置２２５０は、ステップＳ２４２７において、ラベルが付されて保存された複数の血管輪郭からその連続性に基づいて、血管画像をグループ分けする。なお、血管輪郭の連続性の判断は、例えば、その輪郭点座標の距離の平均値が閾値より小さい場合、あるいは、輪郭点座標の距離の最大値が閾値より小さい場合、などを条件として行なう。輪郭点座標の距離は、例えば、最小２乗値により求めてよい。そして、画像処理装置２２５０は、ステップＳ２４２９において、グループ分けされた各グループを１つのつながった血管として記憶する。
（血管選定処理）
図２４Ｃは、本実施形態に係る血管選定処理（Ｓ２４０５）の手順を示すフローチャートである。
図２４Ｃは、本実施形態に係る血管選定処理（Ｓ２４０５）の手順を示すフローチャートである。
画像処理装置２２５０は、ステップＳ２４３１において、血管抽出処理のグループ分けの結果、閾値以下の小さなグループであればアーチファクトやノイズなどの可能性が高いので、血管選定処理の対象から削除する。そして、画像処理装置２２５０は、ステップＳ２４３３において、血管抽出処理の結果から血管が重ね合わせ表示された表示画面上における医師のポインティングに対応して、必要な血管にマーキングを行なう。なお、両眼式ビデオシースルー型ヘッドマウントディスプレイを使用する場合、医師の血管へのマーキングは、マーカを付したペンなどの棒状の指示具による実空間におけるポインティングによって行なわれる。指示具の３次元絶対座標上の位置および方向から、３次元空間でその延長線上に表示された血管がマーキングされてその情報が記憶される。かかる血管のマーキング情報は、経時的に超音波画像内の血管の変動があっても、血管輪郭画像の動きを追跡することにより同じ血管を指示するよう維持される。
画像処理装置２２５０は、ステップＳ２４３５において、マーキングした血管位置の末梢側につながるグループを抽出して、これら抽出したグループを第１色に色付けする。また、画像処理装置２２５０は、ステップＳ２４３７において、マーキングした血管位置の中枢側につながるグループを抽出して、これら抽出したグループを第２色に色付けする。また、画像処理装置２２５０は、ステップＳ２４３９において、マーキングした血管位置とつながらないグループを抽出して、これら抽出したグループを第３色に色付けする。そして、画像処理装置２２５０は、ステップＳ２４４１において、色分けしたグループを記憶する。なお、図２４Ｃでは、３つの色に色分けしたが、色分けの数は３つに限定されない。煩雑にならずに医師の適切な判断を支援する色数を選択すればよい。例えば、病巣を切除する場合、病巣区域の血管およびその領域のみを色付けして、医師に認知させるのが望ましい。かかる血管および病巣の色付け情報も、経時的に超音波画像内の血管の変動があっても、血管輪郭画像の動きを追跡することにより同じ血管および病巣を指示するよう維持される。
本実施形態によれば、生検・穿刺・治療時に必要な実時間における血管および患部に関する情報を医師が容易に取得することができる。
［第５実施形態］
次に、本発明の第５実施形態に係る超音波診断システムについて説明する。本実施形態に係る超音波診断システムは、上記第２実施形態乃至第４実施形態と比べると、生検・穿刺・治療時の医師に対し、針などの医療器具の進路のナビゲーションを行なう点で異なる。その他の構成および動作は、第２実施形態、第３実施形態または第４実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、超音波プローブに貼り付けた２次元コードと、患者の患部表面に固定した２次元コードの２つのマーカを配置した例を示す。しかしながら、超音波プローブに貼り付けた２次元コードのマーカのみであっても、カメラと超音波プローブとの相対的位置関係から重ね合わせ表示および針などの医療器具の進路推定が可能である。
次に、本発明の第５実施形態に係る超音波診断システムについて説明する。本実施形態に係る超音波診断システムは、上記第２実施形態乃至第４実施形態と比べると、生検・穿刺・治療時の医師に対し、針などの医療器具の進路のナビゲーションを行なう点で異なる。その他の構成および動作は、第２実施形態、第３実施形態または第４実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、超音波プローブに貼り付けた２次元コードと、患者の患部表面に固定した２次元コードの２つのマーカを配置した例を示す。しかしながら、超音波プローブに貼り付けた２次元コードのマーカのみであっても、カメラと超音波プローブとの相対的位置関係から重ね合わせ表示および針などの医療器具の進路推定が可能である。
《超音波診断システムの動作概念》
図２５Ａおよび図２５Ｂを参照して、本実施形態の超音波診断システムの動作概念を説明する。なお、図２５Ａおよび図２５Ｂにおいて、図２と同様の要素には同じ参照番号を付す。
図２５Ａおよび図２５Ｂを参照して、本実施形態の超音波診断システムの動作概念を説明する。なお、図２５Ａおよび図２５Ｂにおいて、図２と同様の要素には同じ参照番号を付す。
（生検時の動作概念）
図２５Ａは、本実施形態に係る超音波診断システムの動作概念を示す図である。
図２５Ａは、本実施形態に係る超音波診断システムの動作概念を示す図である。
ＨＭＤ２６０の表示２５１０には、乳房のしこり部位２５１１から針生検で組織を吸引器２５１２により取得する例が示されている。針２５１２ａの位置と方向が、本実施形態の２つのＷＥＢカメラにより算出できる。針２５１２ａの位置と方向から針２５１２ａの先端の到達位置を推定可能である（２５１２ｂ参照）。一方、組織吸引対象のしこり部位２５１１は、超音波プローブ３１１（ＨＭＤ画面では２６１）による超音波画像から取得できる。ＨＭＤ２６０の表示２５１０には、針２５１２ａの先端の到達推定位置と生検対象部位とが重なり表示される。なお、針２５１２ａの特定は、２つのＷＥＢカメラの３次元映像を参照画像と比較することによっても可能であるが、術前にマーカを付した吸引器２５１２および針２５１２ａを撮像することにより、特定がより確実となる。
したがって、現在の針２５１２ａの位置と方向が目標部位である乳房のしこり部位２５１１に向かっているか／いないかが観察できるので、生検時の医師の操作をナビゲーション可能である。
（穿刺・治療時の動作概念）
図２５Ｂは、本実施形態に係る超音波診断システムの動作概念を示す図である。
図２５Ｂは、本実施形態に係る超音波診断システムの動作概念を示す図である。
ＨＭＤ２６０の表示２５２０には、内頸静脈２５２２からカテーテルを心臓に導入する例が示されている。カテーテルの前には内頸静脈穿刺が行なわれる。この場合に、注射器２５２１に接続した針２５２１ａの位置と方向が、本実施形態の２つのＷＥＢカメラにより算出できる。針２５２１ａの位置と方向から針２５２１ａの先端の到達位置２５２１ｂを推定可能である。一方、内頸静脈２５２２の穿刺ターゲット２５２２ａは、超音波プローブ３１１（ＨＭＤ画面では２６１）による超音波画像から取得できる。ＨＭＤ２６０の表示２５２０には、針２５２１の先端の到達推定位置と内頸静脈２５２２とが重なり表示される。
したがって、現在の針２５２１ａの位置と方向が内頸静脈２５２２に向かっているか／いないかが観察できるので、内頸静脈穿刺時の医師の操作をナビゲーション可能である。なお、針２５２１ａの特定は、２つのＷＥＢカメラの３次元映像を参照画像と比較することによっても可能であるが、術前にマーカを付した注射器２５２１および針２５１２ａを撮像することにより、特定がより確実となる。
《画像処理装置の機能構成》
図２６は、本実施形態に係る画像処理装置２６５０の機能構成を示すブロック図である。なお、図２６において、図５、図１７または図２２と同様の機能構成部には同じ参照番号を付して、説明は省略する。
図２６は、本実施形態に係る画像処理装置２６５０の機能構成を示すブロック図である。なお、図２６において、図５、図１７または図２２と同様の機能構成部には同じ参照番号を付して、説明は省略する。
医療器具（針）の位置および方向算出部２６５４は、２つのＷＥＢカメラ３３０の撮像画像から、医療器具（針）の位置および方向を算出する。先端到達推定位置画像データ生成部２６５５は、算出された医療器具（針）の位置および方向から、その延長として、先端到達位置を推定して、重ね合わせ画像データを生成する。画像重ね合わせ部２６０８は、撮像画像データに血管画像データを重ね合わせ、さらに、医療器具（針）の先端到達推定位置を示す画像データを重ね合わせる。
（ナビゲーション情報テーブル）
図２７は、本実施形態に係るナビゲーション情報テーブル２７００の構成を示す図である。ナビゲーション情報テーブル２７００は、生検・穿刺・治療に関連して必要なデータを記憶し、ナビゲーションに使用される。
図２７は、本実施形態に係るナビゲーション情報テーブル２７００の構成を示す図である。ナビゲーション情報テーブル２７００は、生検・穿刺・治療に関連して必要なデータを記憶し、ナビゲーションに使用される。
ナビゲーション情報テーブル２７００は、針生検などの検査あるいは穿刺による治療部位座標２７０１に対応付けて、使用する医療器具画像データ２７０２と、撮像画像から算出された医療器具の位置および方向２７０３と、医療器具の位置および方向２７０３に基づいて推定された到達推定位置画像データ２７０４と、を記憶する。そして、ナビゲーション情報テーブル２７００は、検査・治療部位座標２７０１と到達推定位置とのマッチング結果２７０５と、マッチング結果の医師への通知２７０６とを記憶する。なお、マッチング結果２７０５は、例えば、検査・治療部位あるいはその近傍に識別可能に表示するのが望ましい。また、医師への通知２７０６は、音声や警報で通知するのが望ましい。
《画像処理装置の処理手順》
図２８は、本実施形態に係る画像処理装置２６５０の処理手順を示すフローチャートである。このフローチャートは、図１３のＣＰＵ１３１０がＲＡＭ１３４０を使用して実行し、図２６の機能構成部を実現する。なお、図２８において、図１４または図２４と同様のステップには同じテップ番号を付して、説明を省略する。
図２８は、本実施形態に係る画像処理装置２６５０の処理手順を示すフローチャートである。このフローチャートは、図１３のＣＰＵ１３１０がＲＡＭ１３４０を使用して実行し、図２６の機能構成部を実現する。なお、図２８において、図１４または図２４と同様のステップには同じテップ番号を付して、説明を省略する。
画像処理装置２６５０は、ステップＳ２８０６において、医療器具ナビゲーション処理を実行する（図２９参照）。
（ナビゲーション処理）
図２９は、本実施形態に係るナビゲーション処理（Ｓ２８０６）の手順を示すフローチャートである。
図２９は、本実施形態に係るナビゲーション処理（Ｓ２８０６）の手順を示すフローチャートである。
画像処理装置２６５０は、ステップＳ２９０１において、撮像画像から医療器具（本例では針）を抽出する。次に、画像処理装置２６５０は、ステップＳ２９０３において、２つのＷＥＢカメラ３３０からの画像データに基づき、医療器具の位置および方向を算出する。次に、画像処理装置２６５０は、ステップＳ２９０５において、医療器具の位置および方向を延長して、医療器具の到達推定位置を挿入予測位置とする。そして、画像処理装置２６５０は、ステップＳ２９０７において、医療器具の到達推定位置を識別可能に表示するための画像データを生成する。
本実施形態によれば、実時間における生検・穿刺・治療時に必要な情報を医師に報知することにより、医師をナビゲーションすることができる。
［第６実施形態］
次に、本発明の第６実施形態に係る超音波診断システムについて説明する。本実施形態に係る超音波診断システムは、上記第２実施形態と比べると、超音波診断システムを構成する装置および器具、あるいは処理の調整を医師が足で行なえる点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第６実施形態に係る超音波診断システムについて説明する。本実施形態に係る超音波診断システムは、上記第２実施形態と比べると、超音波診断システムを構成する装置および器具、あるいは処理の調整を医師が足で行なえる点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
《超音波診断システムの構成》
図３０は、本実施形態に係る超音波診断システム３０００の構成を示すブロック図である。図３０において、図３と同様の構成要素には同じ参照番号を付して、説明を省略する。
図３０は、本実施形態に係る超音波診断システム３０００の構成を示すブロック図である。図３０において、図３と同様の構成要素には同じ参照番号を付して、説明を省略する。
画像処理装置３０５０は、各構成要素、例えば超音波診断装置３１０、ＨＭＤ２６０、ＷＥＢカメラ３３０などを調整する画像処理調整部３０５４を有する。画像処理調整部３０５４の動作は、調整パラメータを各構成要素の送信する処理も含む。フットスイッチ３０６０は、手術室における各構成要素の調整を医師の足によって行なうためのスイッチ群を有する。フットスイッチ３０６０への医師の操作は、画像処理調整部３０５４に伝達される。
なお、図３０においては、フットスイッチ３０６０には３つのスイッチ３０６１〜３０６３が設けられている。ここで、スイッチ３０６１は、調整対象あるいは調整パラメータをスクローリングして選択するためのスイッチである。スイッチ３０６２は、調整を強くあるいは調整パラメータを高くするスイッチである。スイッチ３０６３は、調整を弱くあるいは調整パラメータを低くするスイッチである。例えば、調整対象として表示のコントラストを選択した場合には、スイッチ３０６２によりコントラストを強く、スイッチ３０６３によりコントラストを弱くする。また、ＷＥＢカメラのセンサゲインを選択した場合は、スイッチ３０６２によりゲインを高く、スイッチ３０６３によりゲインを低くする。また、超音波プローブからの超音波周波数を選択した場合は、スイッチ３０６２により周波数を高く、スイッチ３０６３により周波数を低くする。なお、スイッチ３０６１〜３０６３の配置は図３０に限定されず、スイッチ３０６１〜３０６３を左から右に並べてもよい。また、フットスイッチ３０６０に配置するスイッチ数も３つに限定されるものではない。
（調整パラメータ）
図３１は、本実施形態に係る超音波診断システム３０００の調整パラメータ３０５４ａを示す図である。調整パラメータ３０５４ａは、調整必要なパラメータとその設定値の一覧である。なお、フットスイッチ３０６０におけるスイッチ３０６１による選択が階層的に構成され、調整対象の機器の選択→調整対象項目→調整パラメータの順に分岐して選択されてもよい。
図３１は、本実施形態に係る超音波診断システム３０００の調整パラメータ３０５４ａを示す図である。調整パラメータ３０５４ａは、調整必要なパラメータとその設定値の一覧である。なお、フットスイッチ３０６０におけるスイッチ３０６１による選択が階層的に構成され、調整対象の機器の選択→調整対象項目→調整パラメータの順に分岐して選択されてもよい。
調整パラメータ３０５４ａは、装置および機器など調整対象部３１０１に対応して、複数の機種がある場合は機種３１０２を記憶する。そして、調整パラメータ３０５４ａは、各調整対象部３１０１の各機種３１０２に対応付けて、調整対象パラメータ３１０３と、設定されたパラメータ値３１０４とを記憶する。さらに、過去の設定パラメータの履歴とその評価３１０５を記憶してもよい。
例えば、調整パラメータには、ＷＥＢカメラの撮像パラメータや、超音波診断装置のモードや使用周波数、ＨＭＤの明度やコントラスト、ＶＣＢの通信速度、画像処理装置の各種パラメータが含まれる。
（パラメータ調整部）
図３２は、本実施形態に係るフットスイッチ３０６０による調整時のＨＭＤ表示を示す図である。図３２には、調整対象としてスイッチ３０６１で「ＷＥＢカメラの焦点」が選択され、スイッチ３０６２が「焦点を遠くに」調整し、スイッチ３０６３が「焦点を近くに」調整する例を示す。なお、実時間の処理で必須な調整パラメータを除いて、他のパラメータはあらかじめ設定されることが望ましい。
図３２は、本実施形態に係るフットスイッチ３０６０による調整時のＨＭＤ表示を示す図である。図３２には、調整対象としてスイッチ３０６１で「ＷＥＢカメラの焦点」が選択され、スイッチ３０６２が「焦点を遠くに」調整し、スイッチ３０６３が「焦点を近くに」調整する例を示す。なお、実時間の処理で必須な調整パラメータを除いて、他のパラメータはあらかじめ設定されることが望ましい。
ＨＭＤ２６０の表示画面３２１０には、ＷＥＢカメラ３３０が撮像した患者画像に重ねて、超音波プローブ画像２６１と超音波画像とが表示される。そして、フットスイッチ３０６０の各スイッチ３０６１〜３０６３に対応する操作内容が表示されている。左表示３２０１は、スイッチ３０６１によって調整対象が「焦点」であることを表示している。中表示３２０２は、スイッチ３０６２によって焦点が「遠く」なることを表示している。右表示３２０３は、スイッチ３０６３によって焦点が「近く」なることを表示している。なお、「焦点」の表示には、現在の焦点距離の数値が含まれてもよい。
本実施形態によれば、医師が手を使用せずに足により超音波診断システムの調整パラメータを設定できるので、超音波診断システムの調整が容易となる。
［第７実施形態］
次に、本発明の第７実施形態に係る超音波診断システムについて説明する。本実施形態に係る超音波診断システムは、上記第２実施形態乃至第６実施形態と比べると、超音波画像の表示がヘッドマウントディスプレイでなくハーフミラーである点で異なる。その他の構成および動作は、第２実施形態乃至第６実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第７実施形態に係る超音波診断システムについて説明する。本実施形態に係る超音波診断システムは、上記第２実施形態乃至第６実施形態と比べると、超音波画像の表示がヘッドマウントディスプレイでなくハーフミラーである点で異なる。その他の構成および動作は、第２実施形態乃至第６実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
《超音波診断システムの動作概念》
図３３は、本実施形態に係る超音波診断システム３３００の動作概念を示す図である。なお、図３３において、図３または図３０と同様の機能構成部には同じ参照番号を付して、説明を省略する。なお、本実施形態においては、患者の患部に固定する絶対座標系用の２次元マーカ３３２は必要でない。
図３３は、本実施形態に係る超音波診断システム３３００の動作概念を示す図である。なお、図３３において、図３または図３０と同様の機能構成部には同じ参照番号を付して、説明を省略する。なお、本実施形態においては、患者の患部に固定する絶対座標系用の２次元マーカ３３２は必要でない。
画像処理装置３３５０は、患者および２次元マーカを撮像するカメラの画像データに基づく表示画像データを生成する実空間画像生成部を有しない。患者の実空間画像への超音波画像の重ね合わせは、重ね合わせ観察機器３３７０によって実現される。重ね合わせ観察機器３３７０は、カメラ３３７１および３３７４と、表示画面３３７２と、ハーフミラー３３７３とを有する。カメラ３３７１は、患者および２次元マーカを撮像する。カメラ３３７４は、医師の視線を認識するために医師の顔を撮像する。表示画面３３７２は、カメラ３３７１の撮像画像から算出した医師３０２の視線座標系に反射画像が一致するように、超音波画像を表示する。ハーフミラー３３７３は、表示画面３３７２の超音波画像を反射すると共に、患者を透過して観察可能である。すなわち、カメラ３３７１が撮像した顔画像から視点の座標を求め、超音波プローブにつけた２次元マーカの画像から超音波プローブの位置を計測し、視点の位置と超音波プローブの位置との、ハーフミラーからの位置関係で超音波画像を表示する
本実施形態によれば、医師がヘッドマウントディスプレイを掛けることなく実時間における超音波画像と患者とを重ね合わせて観察することができる。
［他の実施形態］
なお、上記実施形態においては、両眼式ヘッドマウントディスプレイの場合に、ＷＥＢカメラも両眼に２個配置したが、１個のＷＥＢカメラをヘッドマウントディスプレイに、１個のカメラを患者撮影用カメラとして配置しても、その動作および効果は同様である。この場合には、患者画像は２次元画像であり、その２次元患者画像のマーク位置に表示用超音波画像データによる表示用超音波画像を重畳して表示することになる。
なお、上記実施形態においては、両眼式ヘッドマウントディスプレイの場合に、ＷＥＢカメラも両眼に２個配置したが、１個のＷＥＢカメラをヘッドマウントディスプレイに、１個のカメラを患者撮影用カメラとして配置しても、その動作および効果は同様である。この場合には、患者画像は２次元画像であり、その２次元患者画像のマーク位置に表示用超音波画像データによる表示用超音波画像を重畳して表示することになる。
また、上記実施形態においては、右眼用表示データと左眼用表示データとを生成して、両眼式ヘッドマウントディスプレイに３次元表示を行なう例を示したが、両眼用の分離をせずに２次元表示を行なってもよい。特に、１個の患者撮影用カメラで患者を撮影する場合は、患者画像は２次元画像なので、２次元表示とすれば処理の負荷が軽減され、迅速な処理が可能となる。しかしながら、実時間に実際の患者体内の状態を観察するのであれば、３次元の患者画像に３次元の超音波画像、あるいは、複数の超音波画像から生成された臓器や血管などの３次元画像を重畳するのが望ましい。この場合には、さらに、医師による表示座標系の変更指示に対応して、容易に患者画像および重畳した臓器や血管などの３次元画像を、相対位置関係を維持しながら仮想視点に表示座標系を変更することが可能である。すなわち、実際には医師が観察していない角度からの重畳画像、例えば、患者真上からの画像や、医師の位置の反対側からの画像を観察することもできる。さらに、超音波画像を焦点深度を変えて収集することにより、患者体内の深度の異なる画像も生成できる。
また、上記実施形態においては、既存の超音波診断装置に新規な画像処理装置を接続した超音波診断システムについて説明した。しかしながら、本発明に係る超音波診断システムは、上記実施形態の超音波診断装置を超音波画像取得部とし、画像処理装置を画像処理部とする、１つの装置として実現することもできる。その場合には、異なる画像信号を収集するためのＶＣＢは、あらかじめ画像信号を統一すれば必須の構成要素ではない。例えば、スマートフォンやタブレットなどの携帯機器にソフトウェアを搭載し、超音波プローブをＵＳＢなどで接続し、タブレット表示画面に表示する構成も可能である。スマートフォンの場合は、他の拡大表示部を必要とする。
なお、超音波診断システムでは、大量の演算処理が必要になる。例えば、カメラからの画像データの取得、マーカ抽出とマーカ座標系取得、超音波画像データの取得、各座標系のマーカ座標系への変換、絶対座標系を使用する場合は絶対座標系への変化、表示座標系への変換、３次元表示であれば右眼用座標変換および左眼用座標変換など。したがって、実時間表示をするには、それぞれの機能構成部が独立したプロセッサを有して分散処理する構成が望ましい。例えば、超音波画像取得部と、カメラからの画像取得部（特に、３次元画像取得）と、患者画像と超音波画像とを重畳した表示データ生成部と、表示部（特に、ＨＭＤ）と、が処理を分散実行する構成が考えられる。
また、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させる制御プログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
Claims (9)
- 撮像手段が、超音波プローブの観察部位を内部に有する生体の外観と共に撮像した、前記超音波プローブに固定された第１マーカと前記生体の表面に固定された第２マーカとの画像に基づいて、前記第１マーカの位置および向きと前記第２マーカの位置および向きとを取得するマーカ情報取得手段と、
前記超音波プローブを用いて取得した複数の超音波信号に基づいて、複数の２次元超音波画像データを時系列に生成する２次元超音波画像データ生成手段と、
前記複数の超音波信号のそれぞれの取得時における前記第１マーカの位置および向きと前記第２マーカの位置および向き、および、前記複数の２次元超音波画像データに基づいて、前記第２マーカを基準とする３次元座標で表わした複数の３次元超音波画像データを生成する３次元超音波画像データ生成手段と、
前記複数の３次元超音波画像データを蓄積する超音波画像データ蓄積手段と、
前記複数の３次元超音波画像データの各々から、前記第２マーカを基準とする３次元座標で表わした複数の３次元血管領域データを抽出する３次元血管領域データ抽出手段と、
血管輪郭の連続性に基づいて前記複数の３次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の３次元血管領域データを蓄積する血管領域データ蓄積手段と、
前記超音波画像データ蓄積手段から前記複数の３次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の３次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の３次元超音波画像データおよび前記複数の３次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成手段と、
前記複数の表示用画像を表示することにより、生体と観察部位と複数の血管領域とを識別可能に重畳して表示する表示手段と、
前記表示手段に表示された前記複数の血管領域から少なくとも１つの血管領域を選定する血管選定手段と、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する３次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない３次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御手段と、
を備えた超音波診断システム。 - 前記撮像手段は、さらに、棒状の器具を撮像し、
前記器具の撮像画像から前記器具の位置および向きを認識して、前記器具の挿入予測位置を示す表示用挿入位置画像を生成する表示用挿入位置画像生成手段を、さらに備え、
前記表示手段は、前記表示用画像にさらに前記表示用挿入位置画像を重畳して表示する請求項１に記載の超音波診断システム。 - 前記表示手段は、両眼式ビデオシースルー型ヘッドマウントディスプレイであり、
前記撮像手段は、前記両眼式ビデオシースルー型ヘッドマウントディスプレイに設けられた２個のカメラを含む請求項１または２に記載の超音波診断システム。 - 前記表示手段は、両眼式ビデオシースルー型ヘッドマウントディスプレイであり、
前記撮像手段は、前記両眼式ビデオシースルー型ヘッドマウントディスプレイに設けられた１個のカメラと、患者を撮影するための患者撮影用カメラとを含む請求項１または２に記載の超音波診断システム。 - 前記表示用画像生成手段は、医師による表示座標系の変更指示に対応して、前記複数の３次元超音波画像データおよび前記複数の３次元血管領域データと、前記生体画像データとの相対位置関係を維持しながら表示座標系を変更する請求項１乃至４のいずれか１項に記載の超音波診断システム。
- 前記超音波画像データ蓄積手段は、前記超音波信号の取得タイミングを付加して、前記複数の３次元超音波画像データを蓄積し、
前記血管領域データ蓄積手段は、前記超音波信号の取得タイミングを付加して、前記複数の３次元血管領域データを蓄積し、
前記表示用画像生成手段は、前記超音波信号の取得タイミングを用いて、前記生体画像データに前記複数の３次元超音波画像データおよび前記複数の３次元血管領域データを重畳する、請求項１乃至５のいずれか１項に記載の超音波診断システム。 - 撮像手段から、超音波プローブの観察部位を内部に有する生体の外観の画像と共に、前記超音波プローブに固定された第１マーカと前記生体の表面に固定された第２マーカとの画像を受信して、前記第１マーカの位置および向きと前記第２マーカの位置および向きとを取得するマーカ情報取得手段と、
前記超音波プローブを用いて時系列に取得した超音波信号に基づいて生成された、複数の２次元超音波画像データを時系列に受信する２次元超音波画像データ受信手段と、
前記複数の超音波信号のそれぞれの取得時における前記第１マーカの位置および向きと前記第２マーカの位置および向き、および、前記複数の２次元超音波画像データに基づいて、前記第２マーカを基準とする３次元座標で表わした複数の３次元超音波画像データを生成する３次元超音波画像データ生成手段と、
前記複数の３次元超音波画像データを蓄積する超音波画像データ蓄積手段と、
前記複数の３次元超音波画像データの各々から、前記第２マーカを基準とする３次元座標で表わした複数の３次元血管領域データを抽出する３次元血管領域データ抽出手段と、
血管輪郭の連続性に基づいて前記複数の３次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の３次元血管領域データを蓄積する血管領域データ蓄積手段と、
前記超音波画像データ蓄積手段から前記複数の３次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の３次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の３次元超音波画像データおよび前記複数の３次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成手段と、
前記複数の表示用画像を表示手段に送信することにより、前記表示手段に生体と観察部位と複数の血管領域とを識別可能に重畳して表示させる表示画像送信手段と、
前記表示手段に表示された前記複数の血管領域から少なくとも１つの血管領域を選定するよう制御する血管選定制御手段と、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する３次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない３次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御手段と、
を備える画像処理装置。 - 撮像手段から、超音波プローブの観察部位を内部に有する生体の外観の画像と共に、前記超音波プローブに固定された第１マーカと前記生体の表面に固定された第２マーカとの画像を受信して、前記第１マーカの位置および向きと前記第２マーカの位置および向きとを取得するマーカ情報取得ステップと、
前記超音波プローブを用いて時系列に取得した超音波信号に基づいて生成された、複数の２次元超音波画像データを時系列に受信する２次元超音波画像データ受信ステップと、
前記複数の超音波信号のそれぞれの取得時における前記第１マーカの位置および向きと前記第２マーカの位置および向き、および、前記複数の２次元超音波画像データに基づいて、前記第２マーカを基準とする３次元座標で表わした複数の３次元超音波画像データを生成する３次元超音波画像データ生成ステップと、
前記複数の３次元超音波画像データを超音波画像データ蓄積手段に蓄積する超音波画像データ蓄積ステップと、
前記複数の３次元超音波画像データの各々から、前記第２マーカを基準とする３次元座標で表わした複数の３次元血管領域データを抽出する３次元血管領域データ抽出ステップと、
血管輪郭の連続性に基づいて前記複数の３次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の３次元血管領域データを血管領域データ蓄積手段に蓄積する血管領域データ蓄積ステップと、
前記超音波画像データ蓄積手段から前記複数の３次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の３次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の３次元超音波画像データおよび前記複数の３次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成ステップと、
前記複数の表示用画像を表示手段に送信することにより、前記表示手段に生体と観察部位と複数の血管領域とを識別可能に重畳して表示させる表示画像送信ステップと、
前記表示手段に表示された前記複数の血管領域から少なくとも１つの血管領域を選定するよう制御する血管選定制御ステップと、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する３次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない３次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御ステップと、
を含む画像処理装置の作動方法。 - 撮像手段から、超音波プローブの観察部位を内部に有する生体の外観の画像と共に、前記超音波プローブに固定された第１マーカと前記生体の表面に固定された第２マーカとの画像を受信して、前記第１マーカの位置および向きと前記第２マーカの位置および向きとを取得するマーカ情報取得と、
前記超音波プローブを用いて時系列に取得した超音波信号に基づいて生成された、複数の２次元超音波画像データを時系列に受信する２次元超音波画像データ受信ステップと、
前記複数の超音波信号のそれぞれの取得時における前記第１マーカの位置および向きと前記第２マーカの位置および向き、および、前記複数の２次元超音波画像データに基づいて、前記第２マーカを基準とする３次元座標で表わした複数の３次元超音波画像データを生成する３次元超音波画像データ生成ステップと、
前記複数の３次元超音波画像データを超音波画像データ蓄積手段に蓄積する超音波画像データ蓄積ステップと、
前記複数の３次元超音波画像データの各々から、前記第２マーカを基準とする３次元座標で表わした複数の３次元血管領域データを抽出する３次元血管領域データ抽出手段と、
血管輪郭の連続性に基づいて前記複数の３次元血管領域データをグループ分けし、各グループに対して血管領域を識別するためのグループ識別データを付した前記複数の３次元血管領域データを血管領域データ蓄積手段に蓄積する血管領域データ蓄積ステップと、
前記超音波画像データ蓄積手段から前記複数の３次元超音波画像データを読み出し、前記血管領域データ蓄積手段から前記複数の３次元血管領域データを読み出して、複数の血管領域が生体画像および観測部位の超音波画像と識別可能となるように、前記生体の外観を撮像して取得した生体画像データに前記複数の３次元超音波画像データおよび前記複数の３次元血管領域データを重畳し、複数の表示用画像を生成する表示用画像生成ステップと、
前記複数の表示用画像を表示手段に送信することにより、前記表示手段に生体と観察部位と複数の血管領域とを識別可能に重畳して表示させる表示画像送信ステップと、
前記表示手段に表示された前記複数の血管領域から少なくとも１つの血管領域を選定するよう制御する血管選定制御ステップと、
前記グループ識別データに基づいて、前記表示手段が、前記選定された血管領域のグループに属する３次元血管領域データによる血管領域と前記選定された血管領域のグループに属さない３次元血管領域データによる血管領域とを識別可能に表示するよう制御する表示制御ステップと、
をコンピュータに実行させる画像処理装置の制御プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013102615A JP5410629B1 (ja) | 2013-05-14 | 2013-05-14 | 超音波診断システム、画像処理装置およびその制御方法と制御プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013102615A JP5410629B1 (ja) | 2013-05-14 | 2013-05-14 | 超音波診断システム、画像処理装置およびその制御方法と制御プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP5410629B1 true JP5410629B1 (ja) | 2014-02-05 |
| JP2014221175A JP2014221175A (ja) | 2014-11-27 |
Family
ID=50202683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013102615A Expired - Fee Related JP5410629B1 (ja) | 2013-05-14 | 2013-05-14 | 超音波診断システム、画像処理装置およびその制御方法と制御プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5410629B1 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101492940B1 (ko) | 2012-04-27 | 2015-02-12 | 재단법인대구경북과학기술원 | 피부마커와 체내 특징점을 이용한 고정확도 영상정합 장치 및 방법 |
| WO2016032298A1 (en) * | 2014-08-28 | 2016-03-03 | Samsung Electronics Co., Ltd. | Ultrasound diagnosis apparatus for self-diagnosis and remote-diagnosis, and method of operating the ultrasound diagnosis apparatus |
| US11055873B2 (en) | 2019-02-01 | 2021-07-06 | Tcc Media Lab Co., Ltd | Composite image generation system and position information correction system |
| US11123041B2 (en) | 2014-08-28 | 2021-09-21 | Samsung Electronics Co., Ltd. | Ultrasound diagnosis apparatus for self-diagnosis and remote-diagnosis, and method of operating the ultrasound diagnosis apparatus |
| CN113768527A (zh) * | 2021-08-25 | 2021-12-10 | 中山大学 | 基于ct与超声影像融合的实时三维重建方法、装置及介质 |
| US11207142B2 (en) | 2019-02-01 | 2021-12-28 | Tcc Media Lab Co., Ltd | Composite image generation system and initial condition resetting system |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6510301B2 (ja) * | 2015-04-17 | 2019-05-08 | 株式会社日本未来医療研究所 | 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム |
| JP6112689B1 (ja) * | 2016-02-17 | 2017-04-12 | 株式会社菊池製作所 | 重畳画像表示システム |
| JP6095032B1 (ja) * | 2016-03-03 | 2017-03-15 | 株式会社菊池製作所 | 合成画像提示システム |
| TWI765895B (zh) | 2016-06-20 | 2022-06-01 | 美商蝴蝶網路公司 | 用於協助使用者操作超音波裝置的自動化影像獲取之系統和方法 |
| EP3554383B1 (en) * | 2016-12-16 | 2020-04-22 | Koninklijke Philips N.V. | System for providing images for guiding surgery |
| JP6510570B2 (ja) * | 2017-01-19 | 2019-05-08 | 医療法人社団皓有会 | 画像処理装置 |
| KR20180096342A (ko) * | 2017-02-21 | 2018-08-29 | 삼성메디슨 주식회사 | 초음파 영상장치 및 그 제어방법 |
| KR102576422B1 (ko) * | 2018-10-18 | 2023-09-08 | 주식회사 메디씽큐 | 헤드마운트 디스플레이 장치에 디스플레이하는 방법 및 이를 이용한 장치 |
| JP7333338B2 (ja) * | 2018-12-27 | 2023-08-24 | 富士フイルム株式会社 | 超音波診断装置および超音波診断装置の制御方法 |
| JP7142115B2 (ja) * | 2019-02-15 | 2022-09-26 | 富士フイルム株式会社 | 超音波診断装置および超音波診断装置の制御方法 |
| KR102285007B1 (ko) * | 2019-06-21 | 2021-08-03 | 주식회사 데카사이트 | 초음파 스캐너의 탐촉자의 위치 및 자세 추적을 이용한 초음파 영상 제공 장치 및 방법 |
| JP7267160B2 (ja) * | 2019-09-17 | 2023-05-01 | 株式会社菊池製作所 | 鍼刺用エコーガイドシステム |
| US11246569B2 (en) * | 2020-03-09 | 2022-02-15 | Verdure Imaging, Inc. | Apparatus and method for automatic ultrasound segmentation for visualization and measurement |
| CA3230241A1 (en) * | 2021-08-27 | 2023-03-02 | Yongyi Yang | System for automated real-time detection, outlining, tracking and characterization of blood vessels in ultrasound imaging |
| JP7300657B2 (ja) * | 2021-11-05 | 2023-06-30 | ビフレステック株式会社 | 超音波プローブの距離・傾き情報遠隔送信システム |
| CN114886461A (zh) * | 2022-03-28 | 2022-08-12 | 东莞市滨海湾中心医院(东莞市太平人民医院、东莞市第五人民医院) | 基于增强现实的超声显示系统及方法 |
| JP2024048667A (ja) | 2022-09-28 | 2024-04-09 | 富士フイルム株式会社 | 超音波診断装置および超音波診断装置の制御方法 |
| JP2024060247A (ja) | 2022-10-19 | 2024-05-02 | 富士フイルム株式会社 | 超音波診断装置および超音波診断装置の制御方法 |
| JP2024060296A (ja) | 2022-10-19 | 2024-05-02 | 富士フイルム株式会社 | 超音波診断装置および超音波診断装置の制御方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09511430A (ja) * | 1994-09-01 | 1997-11-18 | マサチューセッツ インスティチュート オブ テクノロジー | 三次元データ組の登録システムおよび登録方法 |
| JP2007209531A (ja) * | 2006-02-09 | 2007-08-23 | Hamamatsu Univ School Of Medicine | 手術支援装置、方法及びプログラム |
| JP2011183056A (ja) * | 2010-03-10 | 2011-09-22 | Fujifilm Corp | 超音波診断装置 |
-
2013
- 2013-05-14 JP JP2013102615A patent/JP5410629B1/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09511430A (ja) * | 1994-09-01 | 1997-11-18 | マサチューセッツ インスティチュート オブ テクノロジー | 三次元データ組の登録システムおよび登録方法 |
| JP2007209531A (ja) * | 2006-02-09 | 2007-08-23 | Hamamatsu Univ School Of Medicine | 手術支援装置、方法及びプログラム |
| JP2011183056A (ja) * | 2010-03-10 | 2011-09-22 | Fujifilm Corp | 超音波診断装置 |
Non-Patent Citations (1)
| Title |
|---|
| JPN6013041197; Ｓｈｕｎ'ｉｃｈｉ Ｔａｎｏ ｅｔ ａｌ: 'Ｓｉｍｐｌｅ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｓｙｓｔｅｍ ｆｏｒ ３Ｄ Ｕｌｔｒａｓｏｎｉｃ Ｉｍａｇｅ ｂｙ Ｓｅｅ-ｔｈｒｏｕｇｈ ＨＭＤ ａｎｄ Ｓｉｎｇｌｅ Ｃａｍｅｒａ ａｎｄ Ｍａｒ' Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ-ＥＭＢＳ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｂｉｏｍｅｄｉｃａｌ ａｎｄ Ｈｅａｌｔｈ Ｉｎｆｏｒｍａｔｉｃｓ , 201201, ｐｐ．４６４-４６７ * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101492940B1 (ko) | 2012-04-27 | 2015-02-12 | 재단법인대구경북과학기술원 | 피부마커와 체내 특징점을 이용한 고정확도 영상정합 장치 및 방법 |
| WO2016032298A1 (en) * | 2014-08-28 | 2016-03-03 | Samsung Electronics Co., Ltd. | Ultrasound diagnosis apparatus for self-diagnosis and remote-diagnosis, and method of operating the ultrasound diagnosis apparatus |
| US10660607B2 (en) | 2014-08-28 | 2020-05-26 | Samsung Electronics Co., Ltd. | Ultrasound diagnosis apparatus for self-diagnosis and remote-diagnosis, and method of operating the ultrasound diagnosis apparatus |
| US11123041B2 (en) | 2014-08-28 | 2021-09-21 | Samsung Electronics Co., Ltd. | Ultrasound diagnosis apparatus for self-diagnosis and remote-diagnosis, and method of operating the ultrasound diagnosis apparatus |
| US11055873B2 (en) | 2019-02-01 | 2021-07-06 | Tcc Media Lab Co., Ltd | Composite image generation system and position information correction system |
| US11207142B2 (en) | 2019-02-01 | 2021-12-28 | Tcc Media Lab Co., Ltd | Composite image generation system and initial condition resetting system |
| CN113768527A (zh) * | 2021-08-25 | 2021-12-10 | 中山大学 | 基于ct与超声影像融合的实时三维重建方法、装置及介质 |
| CN113768527B (zh) * | 2021-08-25 | 2023-10-13 | 中山大学 | 基于ct与超声影像融合的实时三维重建装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014221175A (ja) | 2014-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5410629B1 (ja) | 超音波診断システム、画像処理装置およびその制御方法と制御プログラム | |
| JP7124011B2 (ja) | システム、及び出血検出システムの作動方法 | |
| JP7341660B2 (ja) | 医療手技におけるナビゲーションを補助するための拡張現実の使用 | |
| US11103200B2 (en) | Medical device approaches | |
| RU2740259C2 (ru) | Позиционирование датчика ультразвуковой визуализации | |
| JP5535725B2 (ja) | 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム | |
| EP3422297B1 (en) | System and method for glass state view in real-time three-dimensional (3d) cardiac imaging | |
| JP5421828B2 (ja) | 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム | |
| JP5380348B2 (ja) | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム | |
| WO2013111535A1 (ja) | 内視鏡画像診断支援装置および方法並びにプログラム | |
| JP6254053B2 (ja) | 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法 | |
| JP2015531271A (ja) | 外科用画像処理システム、外科用画像処理方法、プログラム、コンピュータ可読記録媒体、医用画像処理装置、および画像処理検査装置 | |
| JP6510301B2 (ja) | 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム | |
| CN107854142B (zh) | 医用超声增强现实成像系统 | |
| JP2011212301A (ja) | 投影画像生成装置および方法、並びにプログラム | |
| JP2012024509A (ja) | 画像処理装置、方法及びプログラム | |
| JP2020527374A (ja) | 医用イメージングシステム、方法およびコンピュータプログラム製品 | |
| EP2901935B1 (en) | Method and device for generating virtual endoscope image, and program | |
| JPWO2019155931A1 (ja) | 手術システム、画像処理装置及び画像処理方法 | |
| JP2023022123A (ja) | ガイダンス信号の決定及び手持ち式超音波トランスデューサのためのガイダンスを提供するためのシステム | |
| CN111801704A (zh) | 用于使用血管特征检测异常组织的系统和方法 | |
| JP6493885B2 (ja) | 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム | |
| EP3075342B1 (en) | Microscope image processing device and medical microscope system | |
| US10854005B2 (en) | Visualization of ultrasound images in physical space | |
| JP2021194268A (ja) | 血管観察システムおよび血管観察方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131106 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5410629 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |