JP6254018B2 - 医用画像表示装置 - Google Patents

Description

本発明の実施形態は、医用画像表示装置に関する。

医用画像表示装置に関するもので、特に、表示範囲を移動させながら画像を観察する際に使用されるものである。まず、放射線撮影画像（原画像）を読影する際にはディスプレイの表示範囲に原画像をその全域で表示させる。その中から注目箇所が発見したとき、その注目箇所を含む拡大表示範囲をユーザは指定する。拡大表示範囲の拡大画像が作成され、表示される。さらにユーザは必要に応じてその拡大表示範囲を移動（変位）し、拡大画像の原画像に対する表示位置を調整しながら観察する。このユーザによる拡大表示範囲の移動操作から、それに呼応して移動後の拡大表示範囲に対応する拡大画像が表示されるまでの一連の動作を、ここでは”パン動作”と称する。

図１５，図１６には、従来のパン動作における装置側の処理手順を示している。原画像のデータは大容量で不揮発性の主記憶部として通常、ハードディスクドライブ（ＨＤＤ）に保管される。パン動作に際して、原画像はその全域にわたって拡大処理され、その拡大画像データは補助記憶部として読み書き動作の高速なＤＲＡＭ等の半導体メモリに一時的に記憶される。当該メモリの読み出し制御により、移動後の拡大表示範囲に対応する部分的な拡大画像のデータが読み出され、ディスプレイに表示される。なお、単純に画像を拡大すると画像が粗くなるので、拡大処理（補間処理）とともに平滑化処理が必須とされる。部分的な拡大画像が表示されると、メモリ残容量を確保するために当該部分的な拡大画像のデータ以外のデータは消去される。同様の処理がユーザによる拡大表示範囲の移動操作指示が入力される毎に繰り返される。

前記画像の平滑化処理には、ＣＰＵの性能に応じた処理時間がかかるため、ユーザによるパンの操作開始から画面に部分的な拡大画像が実際に表示されるまでにタイムラグが発生する。タイムラグを短縮するために拡大画像をメモリ上に常置させておくという手段も考えられるが、通常、拡大画像は原画像よりも大きなサイズとなるため、クライアントの資源を過剰に浪費してしまうことが考えられ、実現は難しい。

また、画像に対し拡大率やアノテーションなどを画像保管通信装置に保存した検査を異なるモニタ環境下で表示する場合、保存の際に表示されていたアノテーションが表示しきれないことがある。このような場合、保存時に意図されていた画像表示の範囲が適切に再現できないため、ユーザは画像表示の直後にパン操作を行うと考えられるが、タイムラグが操作者のストレスとなり、また読影時間の延長という事態も生じていた。

目的は、医用画像の一部分を例えば拡大表示し、その範囲を移動するためのパン動作に際してシステムへの負荷を抑えながら、ユーザによるパン操作から実際に表示されるまでのライムラグを短縮することにある。

本実施形態に係る医用画像表示装置は、医用画像のデータを記憶する第１の画像記憶部と、前記医用画像に対して画像処理を実行する画像処理部と、前記画像処理された処理画像のデータを記憶する、前記第１の画像記憶部より高速な第２の画像記憶部と、前記第２の画像記憶部から読み出された前記処理画像のデータを画面内の所定の表示範囲に画像として表示する表示部と、前記第１の画像記憶部、前記画像処理部及び前記第２の画像記憶部を制御する制御部とを具備し、前記制御部は、操作者による移動指示の方向に応じた、前記表示範囲よりも実質的に広い部分範囲に限定して前記医用画像の一部分に対して前記画像処理を実行させて前記部分範囲に関する部分的処理画像のデータを発生させるために前記第１の画像記憶部及び前記画像処理部を制御し、前記制御部は、前記部分的処理画像のデータを前記第２の画像記憶部に保持させ、前記部分範囲内の前記移動指示後の前記表示範囲に対応する範囲に限定して前記第２の画像記憶部から前記表示部に前記部分的処理画像の一部分のデータを読み出させるために前記第２の画像記憶部を制御することを特徴とする。

図１は本実施形態に係る医用画像表示装置と外部装置とを示す図である。 図２は本実施形態に係る医用画像表示装置の構成を示す図である。 図３は本実施形態による表示画面変化を示す図である。 図４は本実施形態による画像拡大表示処理の概要を示す図である。 図５は右方向にパン操作されたときの拡張された拡大処理範囲を示す図である。 図６は左方向にパン操作されたときの拡張された拡大処理範囲を示す図である。 図７は上方向にパン操作されたときの拡張された拡大処理範囲を示す図である。 図８は下方向にパン操作されたときの拡張された拡大処理範囲を示す図である。 図９は右上方向にパン操作されたときの拡張された拡大処理範囲を示す図である。 図１０は左上方向にパン操作されたときの拡張された拡大処理範囲を示す図である。 図１１は右下方向にパン操作されたときの拡張された拡大処理範囲を示す図である。 図１２は左下方向にパン操作されたときの拡張された拡大処理範囲を示す図である。 図１３は本実施形態による画像拡大表示処理の手順を詳細に示す図である。 図１４は本実施形態によるパン操作が繰り返されたときの画像拡大表示処理の手順を示す図である。 図１５は従来の画像拡大表示処理の概要を示す図である。 図１６は従来において、パン操作が繰り返されたときの画像拡大表示処理の手順を示す図である。

本実施形態に係る医用画像表示装置は、医用画像（原画像）のデータを第１の画像記憶部に記憶している。画像処理部は、原画像に対して拡大処理等の画像処理を実行する。第２の画像記憶部は、第１の画像記憶部より高速動作を有しており、画像処理された処理画像のデータを記憶する。表示部には、第２の画像記憶部から読み出されたデータが画面内の所定の表示範囲に画像として表示される。制御部は、操作者による移動指示（パン操作）の方向に応じた部分範囲に限定して原画像に対して画像処理を実行させる。部分範囲は表示範囲よりも実質的に広い。部分範囲に関する部分的処理画像のデータは第２の画像記憶部に保持される。移動指示に応じた表示範囲に限定して第２の画像記憶部から表示部に部分的処理画像の一部分のデータが読み出され表示される。

つまり、医用画像の一部分を例えば拡大表示し、その範囲を移動するためのパン動作に際してシステムへの負荷を抑えながら、ユーザによるパン操作から実際に表示されるまでのライムラグを短縮するために、医用画像（原画像）に対してその一部分（拡大処理範囲）でのみ拡大処理を実行する。この拡大処理範囲は相対的に表示画面の表示範囲よりも大きい。この拡大処理により生成された部分的拡大画像をメモリに蓄える。メモリに蓄えた部分的拡大画像の範囲（拡大処理範囲）を超えてパン操作が継続されるとき、その範囲を超える都度、その時点でのパン操作による移動方向に応じた拡大処理範囲の拡大画像のみを生成し、メモリに蓄える。作成する拡大表示範囲は、クライアントの性能ごとに事前に決定しておく。メモリに蓄えた画像はパン終了時に消去する。

また、表示する画像に表示状態（GSPS）が保存されている場合、そのGSPS内に関心箇所を示すアノテーションマークがあれば、その周辺領域の拡大画像を作成し、メモリに蓄える。メモリに蓄えた画像はGSPS適用が解除されるか拡大率が変更された時点で消去する。この際、特殊な操作を行わない限り、作成された拡大画像の範囲外まではパンできないような制限を設けても良い。

以下、図面を参照しながら本実施形態に係る医用画像表示装置を詳細に説明する。
図１に本実施形態に係る医用画像表示装置に対する外部装置の接続を示している。本実施形態に係る医用画像表示装置１は、構内通信網（ＬＡＮ）、広域通信網（ＷＡＮ）等のネットワーク２を介して、医用画像のデータの通信機能を備えた医用画像保管装置４と、大量の医用画像のデータを保管する機能を備えた医用画像保管庫５とに接続されている。なお、医用画像保管装置４と医用画像保管庫５又はそれらに相当する構成要素を備えた医用画像表示装置１がスタンドアロンで存在する構成であってもよい。

図２に示すように、医用画像表示装置１は、インタフェース２を介してネットワーク２に接続される。システム制御部１２は、医用画像表示装置１の制御中枢として機能する。操作部１３は、キーボード、マウス、タッチパッド等の操作デバイスを備える。操作部１３を介して、例えば読影対象の医用画像を特定又は検索する情報が入力され、またその情報と共に医用画像データの送信リクエスト（送信要求）のトリガが入力される。主記憶部１４は、医用画像保管装置４から送信された医用画像（原画像）のデータを保管するために設けられ、比較的大容量の典型的にはハードディスクドライブ装置（ＨＤＤ）からなる。補助記憶部１５は、主記憶部１４と表示部１６の間に介在され、表示画像データを所定の規則及び速度に従って表示部１６に送り出すために設けられる。補助記憶部１５は、主記憶部１４より記憶容量は少ないが、読み書き動作が高速な典型的にはＤＲＡＭ等の半導体メモリからなる。記憶制御部１７は、主記憶部１４に対する画像データの読み書きを制御する。画像処理部１８は、主記憶部１４から読み出された医用画像のデータに対して、拡大処理、階調処理、平滑化処理、エッジ強調処理等の画像処理を実行する。画像処理された画像データは補助記憶部１５に記憶される。表示制御部１９は、補助記憶部１５の画像データの読み書きを制御する。表示制御部１９の制御により補助記憶部１５から読み出された画像データ（表示画像データという）は、表示部１６に表示される。

図３には、本実施形態による表示部１６の画面変化を示している。まず、図３を参照して本実施形態における画像処理及び表示動作を概略的に説明する。医用画像（原画像という）を読影する際には、まず医用画像（原画像）を全体表示させ、その一部分を拡大表示させる。一部分の拡大された画像を、ここでは部分的拡大画像(partial enlarged image)という。なお、「拡大処理」とは、画像のマトリクスサイズを、表示部１６の画面内に設定されている画像表示領域のマトリクスサイズに一致させる画像処理として定義され、縮小処理も含むものとする。

操作者は適宜、表示されている一部分（部分的拡大画像）を移動（パン、またはスクロールという）させながら、その原画像の重要箇所を詳細に読影していくこととなる。典型的には、移動操作（パン操作）は、表示された部分的拡大画像上でマウス操作又はタッチパッド操作によりドラッグアンドドロップやスクロールにより行われる。

図４に示すように、本実施形態では、画像処理部１８の処理能力に応じて変動する、パン操作から移動後の部分的拡大画像が表示されるまでのタイムラグを短縮してスムーズなパン動作を実現するために、表示される部分的拡大画像の位置及び範囲を規定する拡大表示範囲を拡張(extend)した範囲（拡張された拡大処理範囲）に限定して原画像の一部分を拡大処理するとともに、それにより発生された部分的拡大画像（拡張された部分的拡大画像という）を補助記憶部１５に保持させておき、拡張された拡大処理範囲内でパン操作が行われる限りにおいて、拡大処理を不要にして、補助記憶部１５に記憶された「拡張された部分的拡大画像のデータ」からパン操作後の拡大処理範囲の部分的拡大画像のデータを補助記憶部１５から表示部１６に読み出し制御することで対応するものとしている。

「拡張された部分的拡大画像のデータ」は、少なくとも操作者により移動の終了が指示される時まで補助記憶部１５に保持される。または「拡張された部分的拡大画像のデータ」は、次の部分的処理画像が表示される時まで補助記憶部１５に保持される。「拡張された部分的拡大画像のデータ」は、補助記憶部１５に記憶された時から所定時間経過するまで補助記憶部１５に保持される。

ここで、拡大表示範囲に対する「拡張された拡大処理範囲」の拡張幅は、画像処理部１８の処理能力及び補助記憶部１５の記憶容量等に従って予め決められている。「拡張された拡大処理範囲」の拡張方向は、パン操作による移動方向に一致する方向に拡張される。例えば、パン操作により指示された移動方向が左右上下のいずれかであるとき、図５乃至図８に示すようにパン操作時点の拡大表示範囲を基準として移動方向に所定の拡張幅だけ拡張される。またパン操作により指示された移動方向が右上、左上、右上、右下のいずれかであるとき、図９乃至図１２に示すようにパン操作時点の拡大表示範囲を基準として移動方向に従って左又は右に所定の拡張幅だけ拡張され、かつ上又は下に所定の拡張幅だけ拡張される。この場合、左右の拡張幅と上下の拡張幅とは同一幅であっても良いし、異なっていても良い。また、移動方向によるタイムラグの変動を解消するために、移動方向が左右上下のいずれかであるときの拡張部分の面積に対して、移動方向が右上、左上、右上、右下のいずれかであるときの拡張部分の面積が同一になるように、移動方向が右上、左上、右上、右下のいずれかであるときの左又は右方向の拡張幅と上又は下方向の拡張幅とが、移動方向が左右上下のいずれかであるときの拡張幅よりも狭く調整されていても良い。

図１３、図１４に本実施形態による画像拡大表示処理の手順を示している。まず操作部１３を介して読影対象画像を特定する又は検索する情報が入力される。システム制御部１２により当該情報と共に画像要求がインタフェース１１を介して医用画像保管装置３に送信される。医用画像保管装置３から読影対象の医用画像（原画像Ｔ１という）のデータが供給され、主記憶部１４に記憶される（Ｓ１１）。そして原画像はその全域が表示部１６の画面の画像表示領域のマトリクスサイズに応じて画像処理部１８で拡大／縮小され、表示部１６に表示される（Ｓ１２）。

操作部１３を介して部分的拡大表示指示が入力されると、システム制御部１２及び表示制御部１９の制御により、全域表示された原画像上に拡大表示フレームが重畳される。操作者は操作部１３を介して拡大表示フレームの位置及び大きさを調整する。それにより原画像の全域に対する拡大表示範囲が設定される（Ｓ１３）。設定された拡大表示範囲に対応する範囲（拡大処理範囲Ｒ１）に限定して原画像の一部分のデータが主記憶部１４から読み出され、拡大処理される。それにより発生された部分的拡大画像Ｐ１のデータが補助記憶部１５を経由して表示部１６に表示される（Ｓ１４）。

この状態から操作者により操作部１３を介して例えば右方向への移動（パン操作）が入力されたとき（Ｓ１５）、システム制御部１２により、指示された移動方向が検知され（Ｓ１６）、また移動後の拡大表示範囲に対応する部分的拡大画像Ｐ２のデータが補助記憶部１５に保持されているか否かを判定される（Ｓ１７）。ここでは”否”と判定される（Ｓ１５でＮＯ）。システム制御部１２により、直前の拡大処理範囲Ｒ１が、パン操作で指示された右方向に所定の拡張幅で拡張される（Ｓ１８）。拡張された拡大処理範囲ＥＲ１に限定して拡大処理される（Ｓ１９）。それにより発生された、拡張された部分的拡大画像ＥＰ１のデータが補助記憶部１５に保持される（Ｓ２０）。そして表示制御部１９の読み出し制御により、補助記憶部１５に保持された、拡張された部分的拡大画像ＥＰ１の一部分を構成する、移動後の拡大表示範囲に対応する部分的拡大画像Ｐ２のデータが補助記憶部１５から表示部１６に読み出され（Ｓ２１）、表示される（Ｓ２２）。当該画像に関する読影が終了していないとき、工程Ｓ２３を経由してＳ１５に戻り、新たなパン操作の入力を待機する。

続いて、操作者により操作部１３を介して例えばさらに右方向への移動（パン操作）が入力されたとき（Ｓ１５）、システム制御部１２により、指示された移動方向が検知され（Ｓ１６）、また移動後の拡大表示範囲に対応する部分的拡大画像Ｐ３のデータが補助記憶部１５に保持されているか否かを判定される（Ｓ１７）。ここでは”可（保持されている）”と判定される（Ｓ１５でＹＥＳ）。このとき拡大処理は実行されない。システム制御部１２により、表示制御部１９の読み出し制御により、補助記憶部１５に保持された、拡張された部分的拡大画像ＥＰ１の一部分を構成する、更なる移動後の拡大表示範囲に対応する部分的拡大画像Ｐ３のデータが補助記憶部１５から表示部１６に読み出され（Ｓ２１）、表示される（Ｓ２２）。当該画像に関する読影が終了していないとき、工程Ｓ２３を経由してＳ１５に戻り、新たなパン操作の入力を待機する。

更に、操作者により操作部１３を介して例えばさらに下方向への移動（パン操作）が入力されたとき（Ｓ１５）、システム制御部１２により、指示された移動方向が検知され（Ｓ１６）、また移動後の拡大表示範囲に対応する部分的拡大画像Ｐ４のデータが補助記憶部１５に保持されているか否かを判定される（Ｓ１７）。ここでは”否”と判定される（Ｓ１５でＮＯ）。システム制御部１２により、直前の拡大処理範囲Ｒ１が、パン操作で指示された下方向に所定の拡張幅で拡張される（Ｓ１８）。拡張された拡大処理範囲ＥＲ２に限定して拡大処理される（Ｓ１９）。それにより発生された、拡張された部分的拡大画像ＥＰ２のデータが補助記憶部１５に保持される（Ｓ２０）。そして表示制御部１９の読み出し制御により、補助記憶部１５に保持された、拡張された部分的拡大画像ＥＰ２の一部分を構成する、移動後の拡大表示範囲に対応する部分的拡大画像Ｐ４のデータが補助記憶部１５から表示部１６に読み出され（Ｓ２１）、表示される（Ｓ２２）。

工程Ｓ１５−Ｓ２３の処理が当該画像に関する読影が終了するまで繰り返される。

以上のように原画像全域を対象として拡大処理をするのではなく、それより狭い範囲に限局して拡大処理をすることにより、拡大処理時間が短縮され、パン操作から部分的拡大画像が表示されるまでのライムラグを短縮することができる。また、拡大表示範囲に対応する拡大処理範囲よりも広い範囲（拡張された拡大処理範囲）について部分的拡大画像を発生し、それを主記憶部１４よりも高速な補助記憶部１５に保持させておくことにより、次のパン操作に対応する部分的拡大画像を、拡大処理を不要にして補助記憶部１５から表示部１６への読み出し制御により発生させることができ、ライムラグをさらに短縮することができる。そして”拡張された拡大処理範囲”の拡張方向をパン操作による移動方向に揃えることにより、さらに次のパン操作により必要になる部分的拡大画像が補助記憶部１５に保持されている可能性を高めることができ、ライムラグの長時間化の機会を減少させることができる。

なお、上述の説明では拡大処理を、拡張された拡大処理範囲に限局するよう説明したが、原画像を全域で拡大処理し、補助記憶部１５への保持範囲について、拡張された拡大処理範囲の部分的拡大画像のデータに限局するようにしても良い。

また上述の説明では、原画像を全域表示した直後であって、拡大表示範囲の設定の前段階では、表示に必要な最小限の範囲、つまり拡大表示範囲に等価な拡大処理範囲に限局して拡大処理し、その部分的拡大画像のデータを補助記憶部１５に保持するように説明したが、この前段階において、ＤＩＣＯＭ規格に従って原画像の付帯情報として読影医師などが画像内で注目した部分に関する情報（アノテーション情報）が存在するとき、注目部分を中心として、拡張された拡大処理範囲を設定し、その拡張された部分的拡大画像を発生して補助記憶部１５に保持するようにしてもよい。補助記憶部１５保持した画像データは当該表示態様が解除されるか拡大率が変更された時点で消去される。この際、特殊な操作を行わない限り、作成された拡大画像の範囲外まではパンできないような制限を設けても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…医用画像表示装置、２…インタフェース、３…医用画像保管庫、４…医用画像保管装置、１２…システム制御部、１３…操作部、１４…主記憶部、１５…補助記憶部、１６…表示部、１７…記憶制御部、１８…画像処理部、１９…表示制御部。

Claims (10)

1. 医用画像のデータを記憶する第１の画像記憶部と、
   前記医用画像に対して画像処理を実行する画像処理部と、
   前記画像処理された処理画像のデータを記憶する、前記第１の画像記憶部より高速な第２の画像記憶部と、
   前記第２の画像記憶部から読み出された前記処理画像のデータを画面内の所定の表示範囲に画像として表示する表示部と、
   前記第１の画像記憶部、前記画像処理部及び前記第２の画像記憶部を制御する制御部とを具備し、
   前記制御部は、操作者による移動指示の方向に応じた、前記表示範囲よりも実質的に広い部分範囲に限定して前記医用画像に対して前記画像処理を実行させて前記部分範囲に関する部分的処理画像のデータを発生させるために前記第１の画像記憶部及び前記画像処理部を制御し、
   前記制御部は、前記部分的処理画像のデータを前記第２の画像記憶部に保持させ、前記移動指示に応じた範囲に限定して前記第２の画像記憶部から前記表示部に前記部分的処理画像の一部分のデータを読み出させるために前記第２の画像記憶部を制御することを特徴とする医用画像表示装置。
2. 前記部分的処理画像のデータは前記操作者により移動の終了が指示される時まで前記第２の画像記憶部に保持されることを特徴とする請求項１記載の医用画像表示装置。
3. 前記部分的処理画像のデータは次の部分的処理画像が表示される時まで前記第２の画像記憶部に保持されることを特徴とする請求項１記載の医用画像表示装置。
4. 前記部分的処理画像のデータは前記第２の画像記憶部に記憶された時から所定時間経過するまで前記第２の画像記憶部に保持されることを特徴とする請求項１記載の医用画像表示装置。
5. 前記第２の画像記憶部に保持された部分的処理画像の一部分のデータが前記第２の画像記憶部から前記表示部に前記操作者による移動指示に従って繰り返し読み出されることを特徴とする請求項２記載の医用画像表示装置。
6. 前記指示された方向とは異なる方向への移動が操作者により指示されたとき、前記異なる方向に応じた部分範囲に関する新たな部分的処理画像のデータが前記画像処理部により再発生されることを特徴とする請求項５記載の医用画像表示装置。
7. 前記制御部は、操作者指示に従って、前記表示範囲のマトリクスサイズに対するそれより大きな前記部分範囲のマトリクスサイズの割合を任意に変更するために前記第１の画像記憶部及び前記画像処理部を制御することを特徴とする請求項１記載の医用画像表示装置。
8. 前記医用画像には画像内の注意又は関心位置を示すアノテーション情報が付帯されており、
   前記注意又は関心位置を含むように前記医用画像内における前記部分範囲の範囲が初期的に設定されることを特徴とする請求項１記載の医用画像表示装置。
9. 前記画像処理は、拡大処理、階調処理、平滑化処理、エッジ強調処理の少なくとも一を含むことを特徴とする請求項１記載の医用画像表示装置。
10. 医用画像のデータを記憶する第１の画像記憶部と、
    前記医用画像に対して画像処理を実行する画像処理部と、
    前記画像処理された処理画像のデータを記憶する、前記第１の画像記憶部より高速な第２の画像記憶部と、
    前記第２の画像記憶部から読み出された前記処理画像のデータを画面内の所定の表示範囲に画像として表示する表示部と、
    前記第１の画像記憶部、前記画像処理部及び前記第２の画像記憶部を制御する制御部とを具備し、
    前記制御部は、操作者による移動指示の方向に応じた、前記表示範囲よりも実質的に広い部分範囲に限定して前記医用画像に対し前記画像処理を実行させ、前記第２の画像記憶部に保持させるとともに、操作者による移動指示に従って前記第２の画像記憶部から繰り返し読み出させることを特徴とする医用画像表示装置。