JP6059789B1 - 超音波診断システム - Google Patents

Abstract

【課題】手術を行っている者に対して超音波診断に適する画像を提供し、操作を行っている者に対して操作に適する画像を提供する。【解決手段】超音波システムは、フロントエンド（ＦＥ）装置１２、バックエンド（ＢＥ）装置１４、及び、リモートコントロール（ＲＣ）装置１８により構成される。ＢＥ装置１４及びＲＣ装置１８はそれぞれタブレット端末である。ＢＥ装置１４には診断用画像が表示され、ＲＣ装置１８には操作用画像が表示される。診断用画像は、主画像としての超音波画像と副画像としての第１グラフィック画像とで構成される。操作用画像は、副画像としての超音波画像と主画像としての第２グラフィック画像とで構成される。操作用画像に対して入力操作が行われると、それに対応するコマンド又は座標データがＢＥ装置１４へ送信される。【選択図】図１

Description

本発明は超音波診断システムに関し、特に、遠隔操作技術に関する。

タブレット型の超音波診断装置が実用化されている。かかる超音波診断装置では、タッチパネルモニタ（入力表示器）に超音波画像の他に操作画像（仮想的スイッチ、仮想的スライドバー等）が表示され、超音波画像を観察しながら、操作画像に対する入力操作が行われる。フロントエンド装置とバックエンド装置とからなる超音波診断システムも知られている。そのような超音波診断システムでは、例えば、バックエンド装置がタブレット型端末によって構成される。

タブレット端末の利用によれば、ユーザーインターフェイスとしての自由度や拡張性を高められる。各シーンに応じて、最適なサイズでまた最適な位置に超音波画像を表示でき、操作画像のレイアウトも最適化できる。超音波画像に対してパンズーム、計測座標指定等の直接操作を行うことも可能である。

特開２００３−１５３９０３号公報

しかしながら、例えば、手術室において、タブレット端末を複数人が同時に観察しあるいは操作する場合、ある者が画面上にタッチすると、その物の手等によって他の者の画像観察が妨げられてしまうという問題が生じる。また、操作性向上のために操作画像エリアを拡大すると超音波画像エリアが縮小してしまい観察上の支障が生じる。一方、観察便宜のために超音波画像エリアを拡大すると操作画像エリアが縮小してしまい使い勝手が悪くなる。タブレット端末あるいはそれに類する表示デバイスを使用する場合、そのような問題が起こりやすい。

なお、特許文献１には、装置本体とは別に設けられた操作デバイスが開示されている。それはテレビ受信機のリモートコントローラのような形態を有しており、タッチパネルモニタのような入力表示デバイスを備えていないものである。よって、そのような操作デバイスを用いても上記問題を解決することはできない。

本発明の目的は、超音波画像の観察と操作画像に対する操作とを両立できる超音波診断システムを提供することにある。あるいは、本発明は、複数の者によって同時に利用（観察及び操作）される使い勝手のよい超音波診断システムを提供することにある。

本発明に係る超音波診断システムは、プローブに対して送信信号を供給し前記プローブからの受信信号を処理して受信データを生成するフロントエンド装置と、前記受信データに基づいて生成される超音波画像を含む診断用画像を生成する診断用画像生成手段と前記診断用画像を表示すると共に前記診断用画像に対する操作を受け付ける第１タッチパネルモニタとを含むバックエンド装置と、からなるシステム本体と、前記システム本体とは別体に構成され、前記システム本体を遠隔制御するためのリモートコントロール装置と、を含み、前記システム本体は、前記受信データ、超音波画像データ及び診断用画像データの内の少なくとも１つを前記リモートコントロール装置へ転送するデータ転送手段を含み、前記リモートコントロール装置は、前記システム本体から転送されてきたデータに基づいて前記診断用画像とは異なる操作用画像を生成する操作用画像生成手段と、前記操作用画像を表示すると共に前記操作用画像に対する操作を受け付ける第２タッチパネルモニタと、を含む、ことを特徴とする。

上記構成によれば、システム本体（フロントエンド装置及びバックエンド装置）とは別に、リモートコントロール装置が設けられており、そのリモートコントロール装置を用いて、システム本体の動作が遠隔制御される。リモートコントロール装置では、診断用画像とは異なる操作用画像、つまり操作のための特別な画像、が表示されるので、操作性を向上することが可能である。逆に言えば、診断用画像の内容を診断目的に適ったものにすることが可能である。診断用画像と操作用画像の両方に対して入力操作を行える場合、先に入力されたものを優先する制御を適用してもよい。

例えば、手術室において、第１タッチパネルモニタ（第１入力表示器）に表示された診断用画像を観察しながら、手術やプローブ操作が実施される。手術者が清潔領域内にいる場合、手術者自ら第１タッチパネルモニタへの入力操作を行うことはできない。その場合、手術者の他に操作者（オペレータ）がおかれる。しかし、操作者が第１タッチパネルモニタ上にタッチする際、その者のボディ、腕等によって第１タッチパネルモニタの表示面が覆われてしまう。これにより手術者の観察が妨げられてしまう。これに対して、第２タッチパネルモニタ（第２入力表示器）を備えたリモートコントロール装置を用意しておけば、それに対する操作者の入力操作によっても、第１タッチパネルモニタに表示された診断用画像の観察が妨げられることはない。別の観点から言えば、操作専用の画像を提供できるから操作性を向上できる。もっとも、リモートコントロール装置を利用している状況において、必要に応じて、第１タッチパネルモニタへの入力操作を許容してよい。そのような入力操作として、画面に近づいて観察している状況下でのズーム操作、画像を再生している状況下での再生ストップ操作、等があげられる。

近時、その利便性からタブレット端末が普及しつつあり、超音波診断の分野においても、汎用のタブレット端末装置又は専用のタブレット端末装置が普及しつつある。しかし、タブレット端末を利用する場合、タッチパネルモニタにおける入力表示エリアの有限性から、操作オブジェクト配置エリアのスペースが制限されてしまうという問題が生じる。上記構成では、第１タッチパネルモニタにおいて診断用画像を表示する場合に、操作オブジェクト配置エリアを小さくして（あるいは非表示として）超音波画像表示エリアを拡大することが可能である。これにより画像観察上の便宜を図れる。一方、上記構成によれば、第２タッチパネルモニタにおいて操作用画像を表示する場合に、操作オブジェクト配置エリアを拡大することが可能である。そこに比較的多数の操作オブジェクトを配置して操作性を向上できる。操作オブジェクト配置エリアの拡大に伴い、モニタ用超音波画像表示エリアが小さくなり、あるいは、その上に操作用オブジェクト配置エリアが部分的に重合した場合であっても、操作者は、通常、手術者の指示を受けて代理操作を行うものであり、しかも第１タッチパネルモニタを観察することも可能であるから、特に支障は生じない。

望ましくは、フロントエンド装置とバックエンド装置は別体として構成され、それらは相互に無線通信する。但し、フロントエンド装置とバックエンド装置が一体化されてもよい。

望ましくは、前記バックエンド装置と前記リモートコントロール装置とが無線で通信し、前記バックエンド装置が前記データ転送手段を含み、前記リモートコントロール装置により前記バックエンド装置の動作が制御され、且つ、前記リモートコントロール装置により前記バックエンド装置を介して前記フロントエンド装置の動作が制御される。通常、バックエンド装置内にシステム制御部が設けられ、リモートコントロール装置からバックエンド装置内のシステム制御部に対して命令が与えられる。その結果がバックエンド装置かリモートコントロール装置へ返される。リモートコントロール装置とフロントエンド装置との間で無線通信を行ってもよい。

望ましくは、前記バックエンド装置は、前記データの転送前に当該データを圧縮する圧縮手段を含み、前記リモートコントロール装置は、前記転送されてきたデータを伸長する伸長手段を含み、前記リモートコントロール装置において、伸長後のデータが前記操作用画像生成手段に送られる。この構成によれば、伝送するデータの量を削減できる。非可逆圧縮法を利用してもよい。操作用画像に含まれるモニタ用超音波画像の画質が少々低下してもあまり問題とならない。すなわち、診断用画像に含まれる正規の超音波画像の画質に比べて、操作用画像に含まれるモニタ用超音波画像の画質が低くてもよい。

望ましくは、前記データ転送手段は、前記受信データ、前記超音波画像データ及び前記診断用画像データの中から選択されたデータを転送する。受信データを転送する場合、通常、転送後においてスキャンコンバート処理が実施され、これにより超音波画像が構成される。診断用画像を転送する場合、それを構成する複数のレイヤのデータを同時に送るようにしてもよいし、それらの合成画像を送るようにしてもよい。診断用画像のレイアウトとは別のレイアウトをもって操作用画像を構成する場合、合成前の超音波画像データを転送するのが望ましい。

望ましくは、前記診断用画像は、診断用レイアウトに従って配置された前記超音波画像及び第１グラフック画像を含み、当該第１グラフィック画像は複数の操作オブジェクトを含み、前記操作用画像は、前記診断用レイアウトとは異なる操作用レイアウトに従って配置されたモニタ用超音波画像及び第２グラフィック画像を含み、当該第２グラフィック画像は前記第１グラフィック画像が有する操作オブジェクト数よりも多い複数の操作オブジェクトを含む。操作用画像は、操作専用の画像であるから、その中に、シーンに応じて、使用頻度が比較的に高い操作オブジェクト群を表示するのが望ましい。モニタ用超音波画像の両側に操作資源を配置してもよい。

望ましくは、前記リモートコントロール装置は、ユーザー入力に基づいて前記システム本体に対してコマンド及び入力座標データを送信する送信手段を含み、前記バックエンド装置は、前記コマンド及び前記入力座標データに基づいて当該システム本体の動作を制御するシステム制御手段を含む。

望ましくは、前記入力座標データは超音波画像上における相対座標を表すデータである。超音波画像上におけるパンズーム等の操作によって生成される座標情報を送信する場合において、表示画面上の絶対座標を送信する場合には、超音波画像との座標関係を示す情報も一緒に送信する必要がある。これに対して超音波画像自体を基準とする超音波画像上の座標（相対座標）を送れば、超音波画像のサイズや表示位置によらずに、それを受け取った側で超音波画像との関係で正確に操作座標を特定することが可能となる。

本発明に係る動作方法は、第１タブレット端末により構成されたバックエンド装置において、超音波の送受波により得られた受信データに基づいて超音波画像を形成し、第１レイアウトに従って配置された前記超音波画像及び第１グラフィック画像を含む診断用画像を表示する工程と、第２タブレット端末により構成され、前記バックエンド装置と無線で通信するリモートコントロール装置において、前記バックエンド装置を遠隔制御するための画像として、前記第１レイアウトとは異なる第２レイアウトに従って配置されたモニタ用超音波画像及び第２グラフィック画像を含む操作用画像を表示する工程と、前記診断用画像上において入力操作があった場合及び前記操作用画像上において入力操作があった場合にてシステム動作を制御する工程と、を含む。この方法を実現するプログラムが提供されてもよい。あるいは、それを記憶した記憶媒体が提供されてもよい。

本発明によれば、超音波画像の観察と操作画像に対する操作とを両立できる。あるいは、本発明によれば、複数の者によって同時に利用（観察及び操作）される使い勝手のよい超音波診断システムを提供できる。

本発明に係る超音波診断システムの全体構成を示す模式図である。 フロントエンド（ＦＥ）装置を示すブロック図である。 バックエンド（ＢＥ）装置を示すブロック図である。 リモートコントロール（ＲＣ）装置を示すブロック図である。 ＢＥ装置における画像プロセッサの詳細を示すブロック図である。 ＲＣ装置における画像プロセッサの詳細を示すブロック図である。 ＢＥ装置及びＲＣ装置における処理の流れを示す説明図である。 ＲＣ装置からＢＥ装置への情報の送信を示す図である。 ＦＥ装置及びＢＥ装置の配置例を示す図である。 診断用画像の他の例を示す図である。 操作用画像の第１例を示す図である。 操作用画像の第２例を示す図である。 操作用画像の第３例を示す図である。

以下、本発明の好適な実施形態を図面に基づいて説明する。

図１には、本発明に係る超音波診断システムの好適な実施形態が示されている。この超音波診断システムは、医療機関等に設置され、生体に対して超音波を送受波することにより超音波画像を形成するものである。図１に示す例では、手術室１０内に超音波診断システムが設置されている。

超音波診断システムは、フロントエンド（ＦＥ）装置１２、バックエンド（ＢＥ）装置１４及びリモートコントロール（ＲＣ）装置１８により構成されている。それぞれの装置は別体化されており、つまり、それらの装置は互いに物理的に独立した関係にある。図示の例において、各装置１２，１４及び１８は可搬型の装置である。

ＦＥ装置１２にはプローブ１６が接続されている。プローブ１６は、図１に示す例において、医師２０によって保持されている。医師２０は外科手術を行う者又はそれを補助する者である。プローブ１６は、ヘッド、ケーブル及びコネクタからなる。超音波診断時においては、ヘッドが患者２４の体表面又は臓器表面に当接される。ヘッド内には複数の振動素子からなる１Ｄアレイ振動子が設けられている。かかるアレイ振動子によって超音波ビームＢが形成され、それが電子的に走査される。これによりビーム走査面Ｓが形成される。電子走査方式として、電子リニア走査方式、電子セクタ走査方式、等が知られている。ヘッド内に２Ｄアレイ振動子を設け、それによってボリュームデータを取得するようにしてもよい。プローブ１６が無線によってＦＥ装置１２に接続されてもよい。

フロントエンド装置１２は、この例では、ボックス状の形態を有する筐体と、その内部に設けられた電子回路基板と、を有する。電子回路基板上には複数のデバイス（プロセッサ、回路等）が設けられている。その具体的な構成については後に図２を用いて説明する。ＦＥ装置１２は、超音波の送受波により得られた複数の受信信号を処理することにより受信データとしてのビームデータを順次生成する。なお、１回の超音波ビーム電子走査で、受信フレームデータを構成する複数のビームデータが生成される。

ＢＥ装置１４は、ＦＥ装置１２から送られて来た複数のビームデータに基づいて超音波画像を形成する。また、その超音波画像を含む診断用画像（表示用の画像）を生成してそれを表示する。ＢＥ装置１４は、後に示すようにシステム制御部を備えている。

本実施形態では、ＢＥ装置１４は、大型表示器に相当するタブレット端末によって構成されている。それは後に図３に示すようにタッチパネルモニタを有する。タッチパネルモニタ（第１タッチパネルモニタ）上に上記の診断用画像が表示される。タッチパネルモニタは、診断用画像に対する入力操作（指先接触等）を検知する。もっとも、通常の使用状況においては、ＢＥ装置１４のタッチパネルモニタはもっぱら表示器として機能する。ＢＥ装置１４が有するタッチパネルモニタに対する補助者による入力操作は、医師２０による超音波画像の観察を妨げる行為であるため、そのような問題が生じない状況において、タッチパネルモニタへの入力操作が行われるのが望ましい。図１においては、医師２０の視線が符号３０によって特定されている。ＢＥ装置１４は例えばスタンドによって比較的高い位置に固定的に設けられる。そのスタンドにＦＥ装置が保持されてもよい。

ＦＥ装置１２とＢＥ装置１４とで超音波診断システムの本体（システム本体、メインユニット）が構成される。それらの装置間では無線通信が実行される。それが符号２６で示されている。無線通信に代えて有線通信が行われてもよい。

本実施形態においては、システム本体の他に、システム本体を遠隔操作するためのリモートコントロール（ＲＣ）装置１８が設けられている。ＲＣ装置１８は、本実施形態において、ＢＥ装置１４と同様に、タブレット型端末によって構成されている。本実施形態では、ＲＣ装置１８は、ＢＥ装置１４よりも小さい。ＲＣ装置１８は第２タッチパネルモニタを有する。そこには、モニタ用超音波画像を含む操作用画像が表示される。操作用画像は、複数の操作用オブジェクト（アイコン等）を含む。ＲＣ装置１８は、操作者（オペレータ）２２によって操作される。典型的には、タッチパネルモニタに表示されたいずれかのオブジェクトに指先等を接触させる行為がなされる。ズーム操作においては、２つの指先が画面上に当接されたままそれらの間隔が広げられる。タブレット端末に対する一般的な操作方法が適用されてよい。

操作者２２は、医師２０による手術やプローブ操作を観察しながら（符号３２Ａ参照）、また必要に応じてＢＥ装置１４の表示内容を観察しながら（符号３２Ｂ参照）、ＲＣ装置１８に表示された操作用画像に対して各種の入力操作を行うことにより、超音波診断システムの動作を遠隔操作する。通常、医師２０からの口頭の指示に従って、その入力操作がなされる。本実施形態では、ＢＥ装置１４とＲＣ装置１８とが無線によって接続される。本実施形態では、ＲＣ装置１８とＦＥ装置１２とがＢＥ装置１４を介して間接的に接続されているが、それら３つの装置が無線によって相互に直接的に接続されてもよい。ＢＥ装置１４における正規の超音波画像の表示と同時進行で、つまりリアルタイムに、ＲＣ装置１８においてモニタ用超音波画像が表示される。２つの超音波画像は基本的に同一の内容を有するが、診断用の正規の超音波画像として、高精細な画像しかも大きな画像を表示するのが望ましい。モニタ用の超音波画像としては、そこまでの画質は要求されないし、そのサイズも相対的に小さくてもよい。基本ユニットとしてのシステム本体に対して、ＲＣ装置１８はオプションユニットとして位置付けられる。例えば、可動カート（又は可動テーブル）上にＲＣ装置１８が設置されてもよいし、ＲＣ装置１８が操作者２２の片手又は両手で保持されてもよい。

図２は、ＦＥ装置１２を示すブロック図である。同図に示された個々のブロックは、回路又はプロセッサに相当する（但しバッテリ４８を除く）。送受信回路３４は送信ビームフォーマー及び受信ビームフォーマーとして機能する。プローブとの間の信号経路が符号３５によって示されている。送信時において、送受信回路３４は、複数の振動素子に対して複数の送信信号を並列的に供給する。これにより送信ビームが形成される。受信時において、生体内からの反射波が複数の振動素子に送達すると、それらから複数の受信信号が並列的に出力され、それらが送受信回路３４に入力される。送受信回路３４では、複数の受信信号に対して整相加算処理を適用し、これによって受信ビームに相当するビームデータを生成する。ビームデータは受信ダイナミックフォーカス法の適用によって生成された深さ方向に並ぶ複数のエコーデータからなるものである。

個々のビームデータがビームデータ処理回路３６に送られる。ビームデータ処理回路３６は、検波回路、対数変換回路、等の公知の構成を備える。ビームデータ処理回路３６で処理されたビームデータが制御部３８を経由して無線通信部４４へ送られる。無線通信部４４は、ＦＥ装置１２とＢＥ装置との間で無線通信を行う場合に機能する。無線通信経路が符号２６で示されている。例えば、互いに異なる２種類の無線通信方式が併用される。その場合、一方の無線通信方式がデータ伝送で利用され、他方の無線通信方式が制御信号の伝送で利用される。無線通信に代えて有線通信を行うために、有線通信部４２が設けられている。有線通信経路が符号５０で示されている。制御部３８は、ＦＥ装置１２が有する個々の構成の動作を制御する。制御部３８には入力器４０が接続されている。それは例えば複数のスイッチからなる。

電源回路４６は、バッテリ４８からの電力をＦＥ装置１２内の各構成に供給する回路である。外部電力５２を得ている場合、及び、ＢＥ装置とのドッキング状態においてＢＥ装置から電力を得ている場合、電源回路４６はバッテリ充電回路として機能する。

図３は、ＢＥ装置１４を示すブロック図である。図３に示されている個々のブロックは、バッテリ８０を除き、回路、プロセッサ等により構成される。制御部６４の全体がＣＰＵ及びプログラムにより構成されてもよい。

制御部６４は、システム制御部６６、スキャンコンバータ（ＳＣ）６８、画像プロセッサ７０、及び、圧縮プロセッサ７２を有する。システム制御部６６は、ＦＥ装置及びＢＥ装置１４の動作を制御する。オプションユニットとしてのＲＣ装置が接続されている場合、その装置との間でデータを授受し、それに従って、システム動作を制御する。スキャンコンバータ６８は、複数のビームデータからなる受信フレームに基づいて、超音波画像を生成する変換器である。それは座標変換機能、画素補間機能、フレームレート変換機能等を有する。超音波画像のデータが画像プロセッサ７０に送られる。画像プロセッサ７０は、画像合成機能、転送機能等を有する。画像プロセッサ７０は、第１レイアウトに従って、画像超音波画像と第１グラフィック画像とを合成し、合成画像としての診断用画像を生成する。そのデータがタッチパネルモニタ７６へ送られる。タッチパネルモニタ７６の画面上には診断用画像が表示される。

タッチパネルモニタ７６は、入力器及び表示器としての機能を備えたものである。それは、例えば、静電式タッチパネルと、液晶表示器と、からなる。本実施形態のＢＥ装置１４には、物理的に独立した操作パネル（スイッチ、ボタン、トラックボール、キーボード等）は設けられておらず、タッチパネルモニタ７６上に表示された仮想的なスイッチ等（操作資源としての操作用オブジェクト）が必要に応じて操作される。上記の第１レイアウトは、かなり広いエリアとしての超音波画像表示エリアと、かなり狭いエリアとしての操作用オブジェクト表示エリアと、を定義するものである。操作用オブジェクト群が必要に応じて表示されてもよい。その表示例を後に図９を用いて説明する。

画像プロセッサ７０は、ＲＣ装置が接続されている場合に、超音波画像のデータをＲＣ装置へ転送する転送手段として機能する。転送されるデータは、圧縮プロセッサによって圧縮される。その場合、可逆圧縮方式又は非可逆圧縮方式が採用される。

無線通信部５６は、図示の例では、第１無線通信部５８と第２無線通信部６０とを有している。第１無線通信部５８は、ＢＥ装置１４とＦＥ装置との間で無線通信を行うためのモジュールである。そのための無線通信経路が符号２６で示されている。第２無線通信部６０は、ＢＥ装置１４とＲＣ装置との間で無線通信を行うためのモジュールである。そのための無線通信経路が符号２８で示されている。単一の無線通信デバイスによって上記の２つの通信が実施されてもよい。有線通信部６２は、ＢＥ装置１４とＦＥ装置との間で有線通信を行う場合に機能するものである。そのための無線通信経路が符号５０で示されている。

センサモジュール７４は、必要に応じて設けられるものでああり、それは、例えば、複数のセンサ及びＩ／Ｆ回路を含む。複数のセンサは例えば複数の照度センサ及び複数の近接センサである。環境光の大小によって液晶表示器のバックライトの輝度が設定されてもよい。その際、照度センサの前面が手等によって覆われていないことが物体センサによって確認されてもよい。

電源回路７８は、バッテリ８０からの電力をＢＥ装置１４内の各構成に供給する回路である。外部電力８２を得ている場合、電源回路７８はバッテリ充電回路として機能する。ＦＥ装置とＢＥ装置１４とがドッキング状態にある場合、電源回路７８はＦＥ装置への直流電力供給源として機能する。そのための電力供給経路が符号５４によって示されている。

図４はＲＣ装置１８のブロック図である。図示される各ブロックは、バッテリ１０２を除いて、回路又はプロセッサ等により構成される。制御部８８は、ＲＣ装置１８の動作を制御するものである。それがＣＰＵとプログラムとによって構成されてもよい。命令プロセッサ９６は、タッチパネルモニタ９８に対して入力操作があった場合にそれに対応するコマンドを生成し、そのコマンドをＢＥ装置（システム制御部）へ送信するものである。座標が入力された場合には、それを示す座標データが送信される。その座標は、タッチパネルモニタ９８における表示画面上の座標（絶対座標）であってもよいし、超音波画像上の座標（超音波画像に対する相対座標）であってもよい。ＢＥ装置側で超音波画像に対するズーム処理等を行う場合、ＲＣ装置１８からＢＥ装置へ相対座標データの送信が行われるのが望ましい。この構成によれば、ＢＥ装置において換算や再スケーリングを行う手間が省ける。また、ＢＥ装置において換算等を行うためにＲＣ装置１８からＢＥ装置へスケール情報等を送信する必要がなくなる。

画像プロセッサ９４は、操作用画像を生成する機能を有する。具体的には、ＢＥ装置から送られてきたデータに基づいてモニタ用の超音波画像を形成する機能、第２レイアウトに従って超音波画像と第２グラフィック画像とを合成する機能と、を有する。ＢＥ装置側から座標変換前のビームデータを受領した場合、画像プロセッサはそれに対してスキャンコンバート処理を適用することによりモニタ用超音波画像を生成する。伸長プロセッサ９２は、ＢＥ装置から圧縮されたデータが送られてきた場合に、そのデータを伸長して元データを復元する処理を実行する。復元後のデータが画像プロセッサ９４に送られる。

タッチパネルモニタ９８には操作用画像が表示される。操作用画像の内容を規定するのが上記第２レイアウトである。操作用画像においては、比較的に大きな操作オブジェクト配置エリアと、モニタ用超音波画像を表示するための適度のサイズをもった超音波画像表示エリアと、が画定されている。モニタ用超音波画像の右側及び左側に第１及び第２の操作オブジェクト表示エリアが設定されてもよい。

無線通信部８４は、ＲＣ装置１８とＢＥ装置との間で無線通信を行うためのものである。その際の無線通信経路が符号２８で示されている。有線通信部８６は、ＲＣ装置１８とＢＥ装置との間で有線通信を行うためのものである。ＲＣ装置１８は可搬型タブレット端末として構成されており、それは操作者の手によって保持され、あるいは、クレードル等によって保持される。

電源回路１００は、バッテリ１０２からの電力をＲＣ装置１８内の各構成に供給する回路である。外部電力１０４を得ている場合、電源回路１００はバッテリ充電回路として機能する。ＢＥ装置から得られる電力によってバッテリ１０２が充電されてもよい。そのための電力供給経路が符号１０６によって示されている。

ＲＣ装置１８に表示される超音波画像と、ＢＥ装置に表示される超音波画像は、いずれも同一内容をもったリアルタイム画像である。但し、両画像の目的の違いから、前者の画像として、一般に、比較的に大きなしかも高解像度の画像が表示され、後者の画像として、一般に、比較的に小さな一般的な解像度（又は低解像度）の画像が表示される。後者の画像が操作のための画像に部分的に覆われていてもよい。後者の画像サイズとして任意のサイズを選択できるように構成してもよい。両画像に対して２つの入力操作があった場合、先に入力されたものが優先する。但し、他の判定条件を採用してもよい。ＲＣ装置１８からＢＥ装置へコマンドを送信し、それに対応する結果が生じた場合、ＲＣ装置１８の表示内容にその結果が反映される。例えば、ＲＣ装置１８においてフリーズ操作を行った場合、システム本体がフリーズ状態となり、同時に、ＲＣ装置１８におけるモニタ用超音波画像がフリーズ状態となる。

図５には図３に示した画像プロセッサ７０の構成例が示されている。その内部に示される個々のブロックは回路又はプロセッサに相当する。図５には画像プロセッサ７０の他、スキャンコンバータ６８及び圧縮プロセッサ７２も表示されている。画像プロセッサ７０は、以下のような構成を有する。

第１グラフィック画像生成部１１２は、超音波画像に対して合成される第１グラフィック画像（超音波画像以外の画像）を生成するものである。第１グラフィック画像は、グレースケールバー、レンジ表示、マーカー、患者名や周波数等の文字情報、複数の操作オブジェクト、等を有する画像である。図３に示したシステム制御部６６からわたされる情報１１４に従って、第１グラフィック画像生成部１１２が第１グラフィック画像を生成する。その画像がシステム制御部６６で生成されてもよく、それを含む制御部の機能としてその画像が生成されてもよい。

画像合成部１１０は、第１レイアウトに従って、スキャンコンバータ６８から出力される超音波画像（典型的にはＢモード画像）１０８と、第１グラフィック画像と、を合成し、これにより診断用画像１１６を生成する。スキャンコンバータ６８には座標変換前の複数のビームデータ１０７が入力されている。

画像選択部１１８は、図示の例において、複数のビームデータ、超音波画像データ及び診断用画像データの内から、転送用のデータを選択する。複数のデータが同時に転送されてもよい。あるいは、転送する画像を構成する複数のレイヤを別々に転送するようにしてもよい。画像変換部１２０は、図示の例では、必要に応じて、転送データに対する解像度変換、間引き処理等を実行するものである。この処理はデータ量を削減するために必要に応じて実施される。圧縮プロセッサ７２は、転送用のデータを圧縮するものである。その場合における圧縮方式としては各種のものを採用可能である。

圧縮後のデータが無線通信によってＲＣ装置へ送信される。その場合にステータス等の情報を添付するのが望ましい。

図６には、図４に示した画像プロセッサの構成例が示されている。画像プロセッサ９４が有する個々の構成は例えば回路又はプロセッサにより構成される。その他、図６には、図４に示した伸長プロセッサ９２も示されている。それらの全部が単一のプロセッサによって実現されてもよい。伸長プロセッサ９２は、ＢＥ装置から送信されてきたデータを伸長する回路である。この場合、圧縮方式に対応する伸長方式が利用される。

画像プロセッサ９４内の第２グラフィック画像生成部１３０は、ＢＥ装置からわたされる情報に基づいて、超音波画像に対して合成される第２グラフィック画像（超音波画像以外の画像）を生成するものである。第２グラフィック画像は、第１グラフィック画像と同様に、グレースケールバー、レンジ表示、マーカー、患者名や周波数等の文字情報、複数の操作オブジェクト、等を有する画像である。但し、操作のために、より使いやすい操作オブジェクトレイアウトを有している。本実施形態においては、ＲＣ装置に対して入力操作が行われると、その意味が解釈されて、特定のコマンドがＢＥ装置へ送信されるが、第２グラフィック画像のレイアウト情報をＢＥ装置へ送信した上で（符号１３２参照）、ＲＣ装置に対する入力操作が行われた座標をＢＥ装置へ転送し、ＢＥ装置上において、その入力操作の意味を解釈するようにしてもよい。そのようなレイアウト情報の転送の負担を避けるためには、ＲＣ装置においてコマンドを生成するようにするのが望ましい。

ＢＥ装置から複数のビームデータが送信されてきた場合（符号１２３参照）、スキャンコンバータ１２２が機能する。すなわち、複数のビームデータに基づいて超音波画像（例えばＢモード画像）が生成される。そのデータが画像合成部１２６へ送られる。ＢＥ装置から超音波画像のデータが送られてきた場合にも（符号１２４参照）、そのデータが画像合成部１２６へ送られる。画像合成部１２６は、第２レイアウトに従って、超音波画像（モニタ用超音波画像）と第２グラフィック画像とを合成し、それにより操作用画像を生成する。操作用画像は、操作者の操作のための画像であり、そこには超音波画像は含まれるが、それは参照用であり、操作用画像を利用して各種の入力操作が行われる。ＢＥ装置から診断用画像が送られてきた場合（符号１２８参照）、それをそのままＲＣ装置の表示画面上に表示してもよいが、必要に応じて、その内容を加工して、例えば操作オブジェクトを追加して、つまり独自の画像に加工した上で、その画像を表示するのが望ましい。

図７には、ＢＥ装置１４とＲＣ装置１８とで行われる画像処理の内容が模式的に示されている。ＢＥ装置１４においては、システム制御部６６の制御の下、主画像としての超音波画像１３４と、副画像としての第１グラフィック画像１３６と、が合成されて、診断用画像１４０が生成される。その診断用画像１４０が表示される。超音波画像１３４は圧縮された上で（符号１４２参照）、ＲＣ装置１８へ転送される。超音波画像１３４は高画質又は高解像度をもった元画像として観念され得る。

ＲＣ装置１８では、転送されてきた画像が伸長処理される（符号１４４参照）。その後、副画像としての超音波画像１４６と、主画像としての第２グラフィック画像１４８と、が合成され、これにより操作用画像１５０が生成される。超音波画像１４６は低画質又は低解像度をもった派生画像として観念され得る。

操作用画像１５０には、複数の操作資源が含まれ、いずれかの操作資源に対して入力操作を行うと、それに対応するコマンドが生成され、それがＲＣ装置１８からＢＥ装置１４へ送信される。その場合には圧縮等の処理を施す必要はないが、それを行ってもよい。ＢＥ装置１４において、システム制御部６６は受領したコマンドに従ってシステム動作を制御する。コマンド実行結果が超音波画像１３４に反映され、及び/又は、第１グラフィック画像に反映される。更に、場合よっては、第１グラフィック画像にもその結果が反映される。例えば計測を実行する場合、コマンドと共に又はコマンドに代えて、超音波画像との関係で定まる相対座標のデータが送信されてもよい。そのデータもシステム制御部６６に送られる。相対座標は、例えば、超音波画像の送受信原点を座標原点とし、実寸法で定義される直交座標系に従う座標である。極座標系が利用されてもよい。

図８には、コマンドではなく座標データを送信する変形例が示されている。操作用画像１５２に含まれる特定の操作オブジェクトに対してタッチがなされると、その操作オブジェクトの意味内容を示すコマンドではなく、そのタッチをした座標を示すデータが座標出力部１５４からＢＥ装置１４に向けて送信される。

ＢＥ装置１４のシステム制御部６６Ａは、ＲＣ装置１８の操作用画像１５２におけるレイアウト情報及びオブジェクト定義に従って、タッチされた座標が意味する操作命令を解釈し、それに従って制御を実行する。その制御の結果が診断用画像１５６に反映される。例えば、操作用画像１５２と診断用画像１５６が同じ意味内容を有する操作オブジェクトを有している場合、前者の画像で特定の操作オブジェクトが操作されてそれがハイライト表示された場合、後者の画像上においても対応する操作オブジェクトがハイライト表示される。ＲＣ装置１８からＢＥ装置１４へ座標のデータを渡す場合、システム制御部６６Ａがその解釈を行えることを前提として、その座標は絶対座標であってもよい。

図９には、ＦＥ装置１２及びＢＥ装置１４の設置例が示されている。自立型スタンドの支柱１５８によってＦＥ装置１２が保持されている。そこにはプローブコネクタ１６０が接続されている。そこからプローブケーブル１６２が伸びている。支柱１５８の上部には旋回機構及びチルト機構が設けられ、それらによってＢＥ装置１４が保持されている。ＢＥ装置１４における表示画面７７を任意の方向に且つ任意の角度にすることが可能である。表示画面７７上には、第１レイアウトに従う構成を有する診断用画像１４０が表示されており、それは超音波画像１３４と第１グラフィック画像１３６とからなる。超音波画像１３４の下側には複数のアイコン１４９が表示されている。超音波画像の左右かつ上部にはテキスト情報１４７が表示されている。

図１０には診断用画像の他の例が示されている。この例では、ＲＣ装置を用いて、特定の操作（例えばゲイン可変）行うと、それに連動して、診断用画像１４０Ａ内に操作内容を示す参照画像１６４がポップアップ表示される。このような表示により、手術者をして、現在、動作パラメータ変更中（例えばゲイン可変中）であることを確実に認識することが可能である。なお、参照画像１６４の表示に代えて、ＲＣ装置での操作中にそれを示すマーク１６６を表示するようにしてもよい。このような情報提示により操作の干渉や競合を未然に防止することが可能である。

図１１には操作用画像の第１例が示されている。操作用画像１５０は、超音波画像１４６と、操作オブジェクト画像１５１と、からなる。操作オブジェクト画像１５１は、第１操作オブジェクト画像１６８と第２操作オブジェクト画像１７０とからなる。個々の操作オブジェクト画像１６８，１７０は複数の操作オブジェクトを含むものである。

このような操作用画像１５０を表示している最中において、必要であれば、図１２に示すように、仮想キーボード１７２を画面上に表示するようにしてもよい。仮想キーボード１７２によって超音波画像１４６が部分的に隠蔽されても操作者にとってはあまり問題とはならない。ＲＣ装置においては、一般に、操作を的確に行うことが優先され、超音波画像の全部を観察することが優先されるわけではないからである。寧ろ、操作性向上の観点からは、個々の操作用資源を大きく表示し、しかもそれを必要な個数表示することを優先するのが望ましい。

図１３には操作用画像の第３例が示されている。操作用画像１７４は、超音波画像１７６と、操作オブジェクト画像１７８と、を含むものである。操作オブジェクト画像１７８は、超音波画像１７６の右側に表示された第１操作オブジェクト画像１８０、及び、超音波画像１７６の下側に表示された第２操作オブジェクト画像１８２と、を含むものである。超音波画像１７６の左側にはサムネイル画像列１８４が表示されている。操作オブジェクト画像１７８は、診断用画像が有する操作用オブジェクトの個数よりも多い操作用オブジェクトを有するものである。これによって操作性を向上できる。サムネイル画像列１８４は過去にストア等された複数の画像をそれぞれ縮小画像として表現したものである。それをＢＥ装置において診断用画像内に表示すると、主画像としての超音波画像のサイズが縮小されてしまうが、操作用画像だけにそれを表示すれば、そのような縮小問題は生じない。

以上のように、本実施形態によれば、操作者による操作時において、手術者による超音波画像の観察を妨げないという利点を得られる。また、手術者に対して同人のニーズに適用した診断用画像を提供でき、操作者に対して同人のニーズに適合した操作用画像を提供できる。

１０ 手術室、１２ フロントエンド（ＦＥ）装置、１４ バックエンド（ＢＥ）装置、１８ リモートコントロール（ＲＣ）措置。

Claims (8)

1. プローブに対して送信信号を供給し前記プローブからの受信信号を処理して受信データを生成するフロントエンド装置と、前記受信データに基づいて生成される超音波画像を含む診断用画像を生成する診断用画像生成手段と前記診断用画像を表示すると共に前記診断用画像に対する操作を受け付ける第１タッチパネルモニタとを含むバックエンド装置と、からなるシステム本体と、
   前記システム本体とは別体に構成され、前記システム本体を遠隔制御するためのリモートコントロール装置と、
   を含み、
   前記システム本体は、前記受信データ、超音波画像データ及び診断用画像データの内の少なくとも１つを前記リモートコントロール装置へ転送するデータ転送手段を含み、
   前記リモートコントロール装置は、
   前記システム本体から転送されてきたデータに基づいて前記診断用画像とは異なる操作用画像を生成する操作用画像生成手段と、
   前記操作用画像を表示すると共に前記操作用画像に対する操作を受け付ける第２タッチパネルモニタと、
   を含む、ことを特徴とする超音波診断システム。
2. 請求項１記載のシステムにおいて、
   前記バックエンド装置と前記リモートコントロール装置とが無線で通信し、
   前記バックエンド装置が前記データ転送手段を含み、
   前記リモートコントロール装置により前記バックエンド装置の動作が制御され、且つ、前記リモートコントロール装置により前記バックエンド装置を介して前記フロントエンド装置の動作が制御される、
   ことを特徴とする超音波診断システム。
3. 請求項２記載のシステムにおいて、
   前記バックエンド装置は、前記データの転送前に当該データを圧縮する圧縮手段を含み、
   前記リモートコントロール装置は、前記転送されてきたデータを伸長する伸長手段を含み、前記リモートコントロール装置において、伸長後のデータが前記操作用画像生成手段に送られる、
   ことを特徴とする超音波診断システム。
4. 請求項１記載のシステムにおいて、
   前記データ転送手段は、前記受信データ、前記超音波画像データ及び前記診断用画像データの中から選択されたデータを転送する、
   ことを特徴とする超音波診断システム。
5. 請求項１記載のシステムにおいて、
   前記診断用画像は、診断用レイアウトに従って配置された前記超音波画像及び第１グラフック画像を含み、当該第１グラフィック画像は複数の操作オブジェクトを含み、
   前記操作用画像は、前記診断用レイアウトとは異なる操作用レイアウトに従って配置されたモニタ用超音波画像及び第２グラフィック画像を含み、当該第２グラフィック画像は前記第１グラフィック画像が有する操作オブジェクト数よりも多い複数の操作オブジェクトを含む、
   ことを特徴とする超音波診断システム。
6. 請求項１記載のシステムにおいて、
   前記リモートコントロール装置は、ユーザー入力に基づいて前記システム本体に対してコマンド及び入力座標データを送信する送信手段を含み、
   前記システム本体は、前記コマンド及び前記入力座標データに基づいて当該システム本体の動作を制御するシステム制御手段を含む、
   ことを特徴とする超音波診断システム。
7. 請求項６記載のシステムにおいて、
   前記入力座標データは超音波画像上における相対座標を表すデータである、
   ことを特徴とする超音波診断システム。
8. 第１タブレット端末により構成されたバックエンド装置において、超音波の送受波により得られた受信データに基づいて超音波画像を形成し、第１レイアウトに従って配置された前記超音波画像及び第１グラフィック画像を含む診断用画像を表示する工程と、
   第２タブレット端末により構成され、前記バックエンド装置と無線で通信するリモートコントロール装置において、前記バックエンド装置を遠隔制御するための画像として、前記第１レイアウトとは異なる第２レイアウトに従って配置されたモニタ用超音波画像及び第２グラフィック画像を含む操作用画像を表示する工程と、
   前記診断用画像上において入力操作があった場合及び前記操作用画像上において入力操作があった場合にシステム動作を制御する工程と、
   を含むことを特徴とする、超音波診断システムにおける動作方法。
   

Images