JP5946216B2 - タッチパネルを有するコンピュータ、その作動方法、及びプログラム - Google Patents

Description

本発明は、タッチパネルに複数の画像を並べて表示させ、表示パラメータを変更しながら観察を行うことができるタッチパネルを有するコンピュータ、その作動方法、及びプログラムに関するものである。

医療の分野においては、画面上に複数の画像を並べて表示させ、表示倍率などの表示パラメータを変更しながら観察を行うことが広く行われている。このように複数の画像を並べて表示させて観察を行う際には、どれか１つの画像に対し表示パラメータの変更を指示する入力が検出されたことに応じて、複数の画像の表示パラメータを連動して変更させる連動モードと、変更の指示を受けた１つの画像に対してのみ表示パラメータの変更させる非連動モードとを切り替えつつ表示パラメータを制御しながら、観察を行うことが必要となる場合がある。

このとき、連動／非連動の切り替える方法としては、画面上の観察対象の画像が表示される領域の外側に、連動／非連動の切り替え指示を受け付けるボタンを表示させ、そのボタンを押下するユーザによるマウス操作が検出される毎に、連動／非連動を切替えるようにすることが一般的に考えられる。

また、特許文献１には、画面上に２つの３次元画像を表示して比較観察を行う際に、ユーザが、キーボードのＳＨＩＦＴキーを離した状態で片方の画像に対して観察角度、拡大率などの表示パラメータを変更させるための操作を行った場合には、両方の画像の表示パラメータが同期して変更されるようにし、キーボードのＳＨＩＦＴキーを押しながら片方の画像に対して表示パラメータを変更させるための操作を行った場合には、片方の画像対してのみ表示パラメータの変更が行われるようにすることが提案されている。

特開２０１１‐８３６１９号公報

ところで、近年、タッチパネルを備えた機器が広く普及し、特に、携帯性・操作性の良さから医療の分野においてもタブレット型コンピュータが使われるようになってきている。タブレット型コンピュータのタッチパネルに複数の画像を並べて表示させ、表示パラメータを変更しながら観察を行えるようにすれば、ユーザである医者は患者の病室や手術室など、所望とする場所において、医用画像に対し各種操作を行いながら観察を行うことができる。

タブレット型コンピュータにおいては、マウスやキーボードによる間接入力に代えて、指やペンを用いてタッチパネルに直接入力が行われるので、連動／非連動の切り替えは、タッチパネルの観察対象の画像が表示される領域の外側に、連動／非連動の切り替え指示を受け付けるボタンを表示させ、そのボタンをタップするユーザのタッチ操作が検出される毎に、連動／非連動を切替えるようにすることが考えられる。また、特許文献１のキーボードのＳＨＩＦＴキー入力の代りに、タブレット本体の側面などに設けられたボタンが押された状態であるか否かに応じて連動／非連動を切替えるようにすることも考えられる。

しかし、このような画面内の画像表示領域の外側に、またはタブレット本体の側面などに設けられたボタンを押下するという操作は、ユーザにとって直感的に操作可能なものではなく、操作性に劣るという問題がある。

本発明は、上記事情に鑑み、タッチパネルに複数の画像を並べて表示させ、表示パラメータを変更しながら観察を行う際に、表示パラメータの変更の連動／非連動を直感的な操作で簡便に切り替えできることができ、作業効率を向上させることができるタッチパネルを有するコンピュータ、その作動方法、及びプログラムを提供することを目的とする。

本発明の作動方法は、タッチパネルを有するコンピュータを、ユーザによるタッチパネル上の操作に応じて作動させる方法であって、タッチパネル上に複数の画像をそれぞれの画像に予め設定された表示パラメータを使用して表示するステップと、タッチパネル上で複数の画像のうちどれか１つの画像に対して表示パラメータの変更に対応付けられたタッチジェスチャーが行われた場合、そのタッチジェスチャーが行われたときにその表示領域のどこかが押さえられた状態にあった画像を除く他の全ての画像に対して、そのタッチジェスチャーに応じた表示パラメータの変更を行うステップとを含むことを特徴とする（第１の作動方法）。

ここで、タッチジェスチャー応じた表示パラメータの変更を行うというのは、タッチジェスチャーが行われた画像（以下、「操作画像」ともいう）に対しては、そのタッチジェスチャーにより定められる変更量にて表示パラメータの変更を行うことを意味し、その他の画像に対しては、操作画像と同じ変更量にて表示パラメータの変更を行うこと、あるいは、たとえば複数の断面画像群のそれぞれから１枚ずつ断層画像を取得し、タッチパネルに並べて表示させる場合において、複数の断層画像群の間で同じ断面位置を表す断層画像同士が対応付けられている場合には、その対応関係に基づいて、変更後の画像が、変更後の操作画像に対応する画像となるような表示パラメータの変更を行うことを意味する。

また、ここでは、タッチジェスチャーには、画像の表示領域のどこかを押さえた状態にする操作は含まないものとし、１枚の画像に対して、タッチジェスチャーとその表示領域のどこかを押さえる操作は同時に行われないものとする。

また、本発明の作動方法は、タッチパネルを有するコンピュータを、ユーザによるタッチパネル上の操作に応じて作動させる方法であって、タッチパネル上に複数の画像をそれぞれの画像に予め設定された表示パラメータを使用して表示するステップと、タッチパネル上で複数の画像のうちどれか１つの画像に対して表示パラメータの変更に対応付けられたタッチジェスチャーが行われた場合、そのタッチジェスチャーが行われた画像およびそのタッチジェスチャーが行われたときにその表示領域のどこかが押さえられた状態にあった画像に対してのみ、そのタッチジェスチャーに応じた表示パラメータの変更を行うステップとを含むことを特徴とするものである（第２の作動方法）。

本発明の第１および第２の作動プログラムは、それぞれ上記第１および第２の作動方法をタッチパネルを有するコンピュータに実行させるものである。

本発明の第１および第２のタッチパネルを有するコンピュータは、それぞれ上記第１および第２の作動方法を実施する画像表示処理部と、パラメータ変更処理部とを備えたことを特徴とするものである。

なお、上記タッチパネルを有するコンピュータ、その作動方法、及びプログラムにおいて、タッチジェスチャーは、ドラッグ、フリック、ピンチイン、ピンチアウトおよびダブルタップのいずれかの操作であってもよい。

また、表示パラメータは、表示倍率（拡大率）、表示中心位置(表示領域の中央にくる画像上の位置)、表示角度（画像の向き）、ウィンドウレベル、ウィンドウ幅であってもよい。また、各断面画像が表す断面の位置が既知である場合において、断面画像を切り替えつつ表示を行う場合には、断面の位置を表示パラメータとすることができる。また、ボリュームデータに基づいてボリュームレンダリング、サーフェスレンダリングなどの擬似３次元画像を生成して表示する場合には、ボリュームデータにより表される三次元領域の観察方向を表示パラメータとすることもできる。

本発明の第１のタッチパネルを有するコンピュータ、その作動方法、及びプログラムによれば、タッチパネル上に複数の画像をそれぞれの画像に予め設定された表示パラメータを使用して表示し、タッチパネル上で複数の画像のうちどれか１つの画像に対して表示パラメータの変更に対応付けられたタッチジェスチャーが行われた場合、そのタッチジェスチャーが行われたときにその表示領域のどこかが押さえられた状態にあった画像を除く他の全ての画像に対して、そのタッチジェスチャーに応じた表示パラメータの変更を行うようにしているので、ユーザは、タッチパネルに複数の画像を並べて表示させ、表示パラメータを変更しながら観察を行う際に、画像間で表示パラメータの変更の連動／非連動を直感的な操作で簡便に切り替えできることができる。これにより、作業効率を向上させることができる。

本発明の第２のタッチパネルを有するコンピュータ、その作動方法、及びプログラムによれば、タッチパネル上に複数の画像をそれぞれの画像に予め設定された表示パラメータを使用して表示するステップと、タッチパネル上で複数の画像のうちどれか１つの画像に対して表示パラメータの変更に対応付けられたタッチジェスチャーが行われた場合、そのタッチジェスチャーが行われた画像およびそのタッチジェスチャーが行われたときにその表示領域のどこかが押さえられた状態にあった画像に対してのみ、そのタッチジェスチャーに応じた表示パラメータの変更を行うようにしているので、ユーザは、タッチパネルに複数の画像を並べて表示させ、表示パラメータを変更しながら観察を行う際に、画像間で表示パラメータの変更の連動／非連動を直感的な操作で簡便に切り替えできることができる。これにより、作業効率を向上させることができる。

本発明の一実施形態におけるタッチパネルコンピュータの概略構成を示す図 連動モードの設定下で表示パラメータを変更する処理の一例を示す図 連動モードの設定下で表示パラメータを変更する処理の一例を示す図 連動モードの設定下で表示パラメータを変更する処理の一例を示す図 非連動モードの設定下で表示パラメータを変更する処理の一例を示す図の

以下、図面を参照して、本発明のタッチパネルを有するコンピュータ、その作動方法、及びプログラムの実施形態について説明する。以下に示す実施形態において、タッチパネルを有するコンピュータ（以下、「タッチパネルコンピュータ」という）は、タブレッド型コンピュータに、本発明の作動プログラムをインストールしたものである。この作動プログラムは、ＳＤカード等の記録メディアに格納されて配布され、その記録媒体からタッチパネルを有するコンピュータにインストールされる。もしくは、ネットワークに接続されたサーバコンピュータのストレージ、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するタブレッド型コンピュータにダウンロードされ、インストールされる。

図１は、タブレッド型コンピュータに作動プログラムをインストールすることにより実現されたタッチパネルコンピュータ１の概略構成を示す図である。同図が示すように、タッチパネルコンピュータ１は、タッチパネル１０と、プロセッサ２０、ストレージ３０、メモリ４０等を備えている。

タッチパネル１０は、表示装置（ディスプレイ）１１と、その上にまたはその前に配置されたタッチパッド等からなる入力装置１２とを備えている。入力装置１２は、タッチパッドへのタッチ、並びにタッチの位置及び強さを認識し、プロセッサ２０に報告する。プロセッサ２０は、それを受けてタッチを解釈し、特定のタッチに従ってタスクを開始することができる。

ストレージ３０には、観察対象の複数の画像データが記憶されている。たとえば、同一患者の異なる時期に撮影された複数のボリュームデータなどが記憶されている。このとき、画像データは、観察対象の複数の画像を特定して観察画面への表示を指示するユーザ入力を受け付けた時点で、ネットワークを介して不図示の撮影装置や画像保管サーバなどからその特定された画像の画像データを取得し記憶されるようにしてもよい。

また、メモリ４０には、作動プログラムが記憶されている。この作動プログラムは、プロセッサ２０に実行させる処理として、画像表示処理、パラメータ変更処理等を規定している。そして、プロセッサ２０が作動プログラムに従いこれらの処理を実行することで、タブレッド型コンピュータは、画像表示処理部、パラメータ変更処理部として機能することになる。

以下、タッチパネルコンピュータ１が行う具体的な処理（画像表示処理およびパラメータ変更処理）について説明する。タッチパネルコンピュータ１は、選択メニューにおいて観察対象の複数の画像を特定して観察画面への表示を指示するユーザ入力を受けて、ストレージ２０から観察対象の複数の画像データを取得し、タッチパネル上に複数の画像をそれぞれの画像に予め設定された表示パラメータを使用して表示する。たとえば、同一患者の異なる時期に撮影された複数のボリュームデータの表示を指示する入力を受けて、それぞれのボリュームデータから予め設定された観察方向からのボリュームレンダリング画像を生成し、生成された複数のボリュームレンダリング画像を並べて表示する。

次に、タッチパネルコンピュータ１は、タッチパネルにおいて画像に対するユーザによるタッチ操作を検出し、そのタッチ操作に対応するパラメータの変更処理を行い、変更後のパラメータによりタッチパネルの表示を更新する。プロセッサ２０は、複数のタッチジェスチャーを区別して認識可能に構成されており、各タッチジェスチャーにはそのタッチジェスチャーにより変更を行うパラメータが対応づけられ、その対応関係が記憶されている。たとえば、ドラッグ操作に観察方向が対応づけられ、ピンチイン・ピンチアウトの操作に表示倍率が対応づけられた対応関係が記憶されている。この対応関係は、ユーザが任意に設定・修正可能にしてもよい。

また、タッチパネルコンピュータ１は、どれか１つの画像に対し表示パラメータの変更を指示する操作が行われたことに応じて、複数の画像の表示パラメータを連動して変更させる「連動モード」と、操作が行われた１つの画像に対してのみ表示パラメータの変更させる「非連動モード」のいずれか一方のモードをパラメータ変更処理の基本モードとして設定し、この設定された基本モードに従って、表示パラメータの変更を制御する。このとき、基本モードの設定は、観察開始時に、初期設定としてユーザに指定させてもよいが、どちらかのモードをデフォルトの設定とし、ユーザが任意に変更可能にしてもよい。

タッチパネルコンピュータ１は、パラメータ変更処理の基本モードとして「連動モード」が設定されている場合には、基本的には、どれか１つの画像に対し特定の表示パラメータの変更を指示するタッチジェスチャーが行われたことに応じて、全ての画像に対してそのタッチジェスチャーに応じた表示パラメータの変更を行う。ただし、そのタッチジェスチャーが行われたときに、その表示領域のどこかが押さえられた状態にあった画像が存在する場合には、その画像については表示パラメータをそのまま維持し、その画像を除く他の全ての画像に対して、タッチジェスチャーに応じた表示パラメータの変更を行う。

ここで、図２〜図４にそれぞれ、「連動モード」の設定下で表示パラメータを変更する処理の具体例を示す。図２と図３は、タッチパネル上に２つの画像を表示して観察を行う場合に関し、図２には、左右２つの画像のいずれにも「押さえる」といった他のタッチ操作が行われていない状態で、右側の画像に対し観察角度の変更を指示するドラッグ操作が行われたことに応じて、左右両方の画像に対してそのドラッグ操作に応じた観察角度の変更が行われたことが示されており、図３には、左側の画像が押さえられた状態で、右側の画像に対し観察角度の変更を指示するドラッグ操作が行われたことに応じて、右側の画像に対してのみドラッグ操作に応じた観察角度の変更が行われたことが示されている。

図４は、タッチパネル上に４つの画像を表示して観察を行う場合に関し、この図４には、左上および左下の２つの画像が押さえられた状態で、右下の画像に対し観察角度の変更を指示するドラッグ操作が行われたことに応じて、左上、左下の画像については観察角度がそのまま維持され、右上、右下の画像に対してのみドラッグ操作に応じた観察角度の変更が行われたことが示されている。

一方、タッチパネルコンピュータ１は、パラメータ変更処理の基本モードとして「連動モード」が設定されている場合には、基本的には、どれか１つの画像に対し特定の表示パラメータの変更を指示するタッチジェスチャーが行われたことに応じて、タッチジェスチャーが行われた１つの画像に対してのみ、そのタッチジェスチャーに応じた表示パラメータの変更を行う。ただし、ただし、そのタッチジェスチャーが行われたときに、その表示領域のどこかが押さえられた状態にあった画像が存在する場合には、その画像にも、さらに、同じタッチジェスチャーに応じた前記表示パラメータの変更を行う。

ここで、図５に、「非連動モード」の設定下で表示パラメータを変更する処理の具体例を示す。図５も、タッチパネル上に４つの画像を表示して観察を行う場合に関し、左上および左下の２つの画像が押さえられた状態で、右下の画像に対し観察角度の変更を指示するドラッグ操作が行われたことに応じて、右下の画像に加え、左上、左下の画像に対してもドラッグ操作に応じた観察角度の変更が行われ、右上の画像については観察角度がそのまま維持されたことが示されている。

以上の構成により、本実施形態のタッチパネルコンピュータ、その作動方法、及びプログラムによれば、医者等のユーザは、タッチパネルに複数の画像を並べて表示させ、表示パラメータを変更しながら観察を行う際に、表示パラメータの変更の連動／非連動を、連動または非連動にすべき画像を直接「押さえる」という直感的な操作で簡便に切り替えできることができる。これにより、作業効率を向上させることができる。

また、たとえば図４，図５に示すように、３以上の画像を表示して観察を行う場合において、医者等のユーザは、連動または非連動にすべき一部の画像を直接「押さえる」という直感的な操作で、画像毎に、表示パラメータの変更の連動／非連動を簡便に切替えることができ、一部の画像については表示パラメータの変更を連動させ、他の一部の画像については非連動にするといった処理を容易かつ迅速に行うことができる。

次に、本発明のタッチパネルを有するコンピュータ、その作動方法、及びプログラムを好適に適用可能な場面について説明する。たとえば大腸の検査では、診断精度を向上させるため、異なる体位の画像で同じ箇所を観察することがある。たとえば、仰臥位と腹臥位の２つの体位で撮影を行い、体位別の２つのボリュームデータを取得し、各ボリュームデータからそれぞれ大腸領域を抽出し、細線化処理により大腸のパスを抽出し、パスに沿って算出された始点からの距離が等しい点同士を解剖学的に同じ点を表す点と認定し、対応付け処理を行う。そして、その対応関係を利用して、各ボリュームデータに基づいて解剖学的に同じ点を視点とする仮想内視鏡画像を生成し、タッチパネルに表示させ、ユーザによるタッチパネル上のドラッグ操作に応じて各仮想内視鏡画像の視点位置を連動して移動させながら観察を行う。しかし、画像によっては、大腸領域が適切に抽出されず、途中で対応づけにズレが生じてしまうことがある。そこで、本発明を適用し、視点位置にズレが生じていない間は、「連動モード」の設定下で、片方の画像に対するドラッグ操作により両方の仮想内視鏡画像の視点位置を連動して移動させながら観察を行い、視点位置にズレが生じたときには、一方の画像を押さえた状態で他方の画像に所定量のドラッグ操作を行うことにより、他方の画像に対してのみ視点位置の変更が行われるようにしてズレを修正し、ズレがなくなった時点で一方の画像を押さえていた手を離して、再び連動表示による観察を再開する。

また、たとえば、脊椎を含む被検者の所定範囲を撮影して得られた体軸に沿って連続する複数枚の断面画像を並べて表示し観察を行うことがある。このとき、各断面画像中の脊椎の中心がその表示領域の中心にくるようにするため、脊椎の中心線を設定し、その設定された中心線と交差する断面画像上の位置を脊椎の中心位置として認定し、その認定された位置が表示領域の中心となるようにする処理を行う。しかし、脊椎の中心線の設定の仕方によっては、実際の脊椎の中心との間でズレが生じてしまうことがある。また、このようなズレは、通常連続する一部の断面画像において同じ方向に略同程度となることが多い。そこで、本発明を適用し、「非連動モード」の設定下で、ズレの修正が必要な一部の断面画像のうち操作用の１枚の断面画像を除く他の断面画像を押さえた状態で、操作用の断面画像に所定量のドラッグ操作を行うことにより、それらの画像に対してのみ表示中心位置を変更するという処理を何回か繰り返すことで容易かつ迅速にズレを修正することができる。

なお、上記実施の形態では、本発明をタブレッド型コンピュータに適用した場合について説明したが、たとえばタッチパネルをユーザインターフェースの一つとして備えている、デスクトップ型コンピュータ、ラップトップ型コンピュータ、スマートフォン等に広く適用することができる。

また、本発明によるコンピュータは、少なくともタッチパネルを備えたものであればよく、タッチパネルに加えてさらに、マウスやキーボード等の他のユーザインターフェースを備えたものであっても構わない。

また、上記実施の形態では、タブレットコンピュータが複数のジェスチャーを区別して認識可能に構成されている場合について説明したが、少なくとも１つのジェスチャーを認識可能であれば足りる。

１ タッチパネルコンピュータ
１０ タッチパネル
１１ 表示装置
１２ 入力装置
２０ プロセッサ
３０ ストレージ
４０ メモリ

Claims (6)

1. タッチパネルを有するコンピュータを、ユーザによる前記タッチパネル上の操作に応じて作動させる方法であって、
   前記タッチパネル上に複数の画像をそれぞれの画像に予め設定された表示パラメータを使用して表示するステップと、
   前記タッチパネル上で前記表示された複数の画像のうちどれか１つの画像に対してタッチジェスチャーが行われた場合、該タッチジェスチャーが行われた画像および該タッチジェスチャーが行われたときにその表示領域のどこかが押さえられた状態にあった画像からなる画像群に対してのみ、該タッチジェスチャーに応じて前記タッチパネル上の表示を更新し、かつ、前記表示された複数の画像のうち前記画像群を除く他の画像に対しては該タッチジェスチャーが行われる前の状態のまま表示する第１の表示ステップと
   を含むことを特徴とする方法。
2. 前記コンピュータが第１のモードまたは第２のモードを表示モードに設定する表示モード設定部を備えたものであり、
   前記表示モード設定部により、前記表示モードに前記第１のモードが設定されているときは、前記第１の表示ステップを実行し、前記表示モードに前記第２のモードが設定されているときは、第２の表示ステップを実行し、
   前記第２の表示ステップは、前記タッチパネル上で前記表示された複数の画像のうちどれか１つの画像に対してタッチジェスチャーが行われた場合、該タッチジェスチャーが行われたときにその表示領域のどこかが押さえられた状態にあった画像を除く他の全ての画像に対して、該タッチジェスチャーに応じて前記タッチパネルの表示を更新し、かつ、前記表示された複数の画像のうち前記押さえられた状態にあった画像に対しては該タッチジェスチャーが行われる前の状態のまま表示するものであることを特徴とする請求項１記載の方法。
3. 前記タッチジェスチャーが、ドラッグ、フリック、ピンチイン、ピンチアウトおよびダブルタップのいずれかの操作であることを特徴とする請求項１または２記載の方法。
4. 前記表示パラメータが、表示倍率、表示中心位置、表示角度、ウィンドウレベル、ウィンドウ幅、断面の位置および観察角度のいずれかであることを特徴とする請求項１または２記載の方法。
5. タッチパネルを有するコンピュータを、ユーザによる前記タッチパネル上の操作に応じて作動させるためのプログラムであって、
   前記コンピュータに、
   前記タッチパネル上に複数の画像をそれぞれの画像に予め設定された表示パラメータを使用して表示するステップと、
   前記タッチパネル上で前記表示された複数の画像のうちどれか１つの画像に対してタッチジェスチャーが行われた場合、該タッチジェスチャーが行われた画像および該タッチジェスチャーが行われたときにその表示領域のどこかが押さえられた状態にあった画像からなる画像群に対してのみ、該タッチジェスチャーに応じて前記タッチパネル上の表示を更新し、かつ、前記表示された複数の画像のうち前記画像群を除く他の画像に対しては該タッチジェスチャーが行われる前の状態のまま表示する第１の表示ステップと
   を実行させるためのプログラム。
6. タッチパネルを備え、ユーザによる前記タッチパネル上の操作に応じて作動するンピュータであって、
   前記タッチパネル上に複数の画像をそれぞれの画像に予め設定された表示パラメータを使用して表示する表示処理手段と、
   前記タッチパネル上で前記表示された複数の画像のうちどれか１つの画像に対してタッチジェスチャーが行われた場合、該タッチジェスチャーが行われた画像および該タッチジェスチャーが行われたときにその表示領域のどこかが押さえられた状態にあった画像からなる画像群に対してのみ、該タッチジェスチャーに応じて前記タッチパネル上の表示を更新し、かつ、前記表示された複数の画像のうち前記画像群を除く他の画像に対しては該タッチジェスチャーが行われる前の状態のまま表示する第１の表示手段と
   を備えたことを特徴とするコンピュータ。