JP2526596B2

JP2526596B2 - 入力方法および装置

Info

Publication number: JP2526596B2
Application number: JP19119487A
Authority: JP
Inventors: 一夫相坂; 明英橋詰; 孝和布野; 隆一鈴木; 和子常光
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1987-07-30
Filing date: 1987-07-30
Publication date: 1996-08-21
Anticipated expiration: 2011-08-21
Also published as: JPS6435620A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、入力方法および装置に関し、特にテレビジ
ョンカメラ等で撮影された画像の中に含まれている物体
の名称あるいは属性を計算機や処理装置等に入力するた
めの方法と、そのための装置に関するものである。

〔従来の技術〕

本発明の利用範囲は、あらゆる分野に応用が可能であ
るが、説明の便宜上、医療用画像への利用について説明
する。

医療用画像には、Ｘ線像、CT（Computerized Tomogra
phy）画像、および超音波画像等があり、いずれも医師
が病気の診断を行うために用いられている。診断の過程
で医師は、画像から得られる所見に従ってさらに詳細に
調査するために、他の画像を系統的に観察する。他の画
像を系統的に表示させるためには、この最中に画像中に
含まれる区域名、組織名、臓器名等を表示制御装置やそ
の他の処理装置に入力する必要が頻繁に生じる。例え
ば、呼吸器疾患の診断においては、先ず胸部正面像を観
察するが、この結果として得られる所見に従って、次に
観察すべき画像が種々異なっている。すなわち、異常所
見の存在する区域が肺尖部の場合には肺尖撮影像を、ま
た肺底部の場合には肺底撮影像を、それぞれ観察する必
要がある。

従って、次に利用する情報を得るために、『肺尖部』
や『肺底部』等の区域名を入力する必要がある。特に、
最近では、各種の医療用装置の電子化およびオンライン
化が進められているため、これらの区域名、組織名ある
いは臓器名等を計算機やその他の情報処理装置へ入力す
る必要が増加している。

このような入力を行うため、従来においては、キーボ
ードや画面上の模式図（アイコン）とマウスとの組み合
わせ等の装置が用いられている。

〔発明が解決しようとする問題点〕

このように、従来は、キーボードや、アイコンとマウ
スの組み合わせにより、区域名等の入力を行っていた
が、これらの装置を用いた場合、入力に必要な操作に医
師の神経が使用されるため、画像の観察に集中できなく
なるという問題が生じていた。例えば、キーボード入力
の場合、医師がキーボード操作に十分熟練していないと
きには、入力のために画像から目を離してキーボードを
見なければならない。しかし、医師用画像に対しては画
像の特定部分に注意を集中して精密に観察することが必
要である。この最中に、上述のように視線を移動する
と、思考の中断を招くことが多く、その結果、診断を行
う上で大きな障害となる。

このような問題を改善するため、タッチスクリーンの
画面上のアイコンとの組み合わせで入力を行う方法が提
案されており、例えば、第６回医療情報学連合大会論文
集（1986年）第417頁〜第420頁の論文『人体模式図も取
り扱える画像診断レポート・システムの開発』に掲載さ
れている。この方法では、先ず、（イ）入力の対象とな
る区域名、臓器名等の集合を予め定めておき、次に
（ロ）これらの名称の各々について、対応する模式図
（アイコン）を作成する。なお、いくつかの図をまとめ
て、見掛け上、１つの模式図になるようにしてもよい。
（ハ）これらの模式図を表示画面上に表示できるよう
に、表示装置に格納する。なお、ここで言う表示画面
は、被観察画像が表示される表示画像と同一のこともあ
るし異なることもある。

画像観察の途中で、区域名等の入力が必要になった場
合には、次の手順で入力を行っている。先ず、（ａ）上
記（ロ）で作成した模式図のうちの必要な複数枚を表示
画面上の適当な位置に表示する。次に、（ｂ）操作者は
位置指定装置（例えば、タッチスクリーン等）を用い
て、表示されている複数枚の模式図のうち１つを選択す
る。最後に、（ｃ）表示されている模式図に対応する名
称を出力する。

上記入力方法においては、医師が入力しようとする項
目とシステムに含まれている疾患や部位等の名称を直感
的に整合できるように、発光素子と受光素子の組み合わ
せによるタッチスクリーンを用いている。これによれ
ば、発光素子からの光を指で遮ることにより、指の位置
を判定することができるので、画面に表示されている中
から目的とする項目を指差すだけで入力が実行できる。

しかし、上記方法によっても、視線の移動はキーボー
ドの場合よりは少なくてすむが、画像の特定部分に注意
を集中することは不可能であり、従って、思考の中断を
招くことになり、正確な診断の妨げとなる。

さらに、模式図と被観察画像を同一画面上に表示した
場合は、模式図の表示自体が、観察の障害になるという
問題もある。

本発明の目的は、これらの問題を改善して、視線の移
動やこれに伴う思考の中断がなく、画像の観察に集中で
きるような入力方法および装置を提供することにある。

〔問題点を解決するための手段〕

上記目的を達成するため、本発明の入力方法は、撮影
された画像中に含まれる物体の名称または属性を入力す
るための入力方法において、上記画像中の各位置に存在
する物体を、該画像の位置に対応させて記憶するマップ
情報を予め作成しておき、上記画像中の注目物体が指定
された時、上記マップ情報をアクセスすることにより、
該マップ情報中から物体名を読み出して、該物体名を外
部の情報処理装置に入力することに特徴がある。また、
本発明の入力装置は、撮影された画像中に含まれる物体
の名称または属性を入力するための入力装置において、
上記画像を表示する表示手段と、上記画像中の注目物体
の位置を指定するための位置指定手段と、上記画像中の
各位置に存在する物体をコードで示したマップ情報が記
憶される記憶手段と、上記位置指定手段により注目物体
が指定された時、上記記憶手段に記憶されたマップ情報
を参照して該当する位置の物体名を読み取る参照手段と
を具備することに特徴がある。

〔作用〕

本発明においては、被観察画像とは全く別の模式図を
作成したり、視線が移動するような方法を用いずに、被
観察画像自体を入力のための図面として利用する。すな
わち、被観察画像の注目部分を直接位置指定する方法を
用い、それを実現するために、マップ情報を使用する。
このマップ情報とは、被観察画像の各々の位置にどんな
物体が存在するかを示す情報であり、被観察画像を基に
して作成される。入力の際には、位置指定装置により指
定された入力位置とマップ情報とを比較対照して、物体
の名称または属性を得る。マップ情報は被観察画像を基
に作成されているため、被観察画像上の位置とマップ情
報上の物体の名称または属性とは、正確に対応してい
る。従って、位置の指定は、被観察画像の注目部分その
ものに対して行えばよいので、その結果、画面の他の部
分やキーボードに視線を移動させる心配がなくなる。

〔実施例〕

以下、本発明の実施例を、図面により詳細に説明す
る。

第１図は、本発明の一実施例を示す入力装置全体の構
成図である。

本発明の入力装置は、第１図に示すように、被観察画
像やその他の画像を表示する表示装置（CRT）１と、ラ
イトペンまたはタッチスクリーン等の画面上の位置を指
定するための位置指定装置２と、マップ情報30を記憶し
ておく記憶装置３と、位置指定装置２により指定された
情報をマップ情報の位置に変換するための参照装置４
と、被観察画像である原画像110を格納しておくVRAM
（画像用ランダムアクセスメモリ）100とから構成され
る。なお、外部装置200は、本発明の入力装置により名
称等を入力するための計算機あるいはその他の情報処理
装置である。

表示装置１としては、CRT表示装置の他に、液晶表示
装置等を用いることができる。また、位置指定装置２
は、表示装置１と一体化されており、位置指定装置付き
表示装置10として動作し、位置指定装置２による位置の
指定が表示装置１により表示されている画像と正確に対
応するようになっている。また、位置指定装置２として
は、タッチスクリーンやライトペンの他に、マウス、ト
ラックボール等を用いて、画面上のカーソルを移動させ
る方法にしてもよい。

記憶装置３は、通常の計算機用のメモリを用いてお
り、被観察画像と正確に対応するマップ情報30を格納し
ている。

参照装置４は、位置指定装置２からの情報を基にして
マップ情報30を参照し、名称または属性を出力線５に出
力する。この参照装置４は、汎用計算機のハードウェア
およびソフトウェアにより実現できる。

参照装置４から出力された名称または属性は、外部の
情報処理装置200において利用される。この情報処理装
置200としては、例えば次のようにして利用する。

（イ）参照装置４から区域の名称が出力されると、その
名称を用いて、当該患者の同じ区域を撮影した別の画像
をアクセスし、これを表示する。

（ロ）参照装置４から区域の属性の１種として画像表示
パラメータ（コントラスト等）が出力されると、このパ
ラメータを用いてその区域の観察に最適となるように表
示を調整する。

上記（イ）（ロ）のいずれにおいても、情報処理装置
200では、本発明の入力装置によって入力の簡単化が実
現され、医師の診断への集中化が計られるので、診断効
率の向上が期待できる。

次に、本発明に使用されるマップ情報について、詳述
する。

第３図（ａ）（ｂ）（ｃ）は、それぞれ本発明に使用
されるマップ情報のコード記憶状態図、コードと区域名
称との対応図、および指定装置により指定される区域の
実例図である。

入力に先立って、先ず、被観察画像ごとに、第３図
（ａ）に示すようなマップ情報を作成する。マップ情報
は、被観察画像の各画素に対応して名称が付けられる。
これらの名称は、数値にコード化され、２次元メモリ内
の各々の画素に対応した位置に記憶される。

この例では、第３図（ｃ）に示すような片方の肺の画
像110に対して、対応する位置にコードで各区域を示し
たマップ情報が、第３図（ａ）に示すような状態でメモ
リに記憶される。各部の名称とコードとの対応は、第３
図に示すように、０が背景、１が肺尖部、２が上肺野、
３が中肺野、４が下肺野である。なお、第３図（ａ）で
は、説明の都合上、記憶されるコードの数を10×10とし
ているが、実際には被観察画像の画素数と等しい数だけ
のコードを記憶する。

本実施例では、被観察画像の画素とコードとが、１対
１に対応しているので、マップ情報からコードが簡単に
得られる。すなわち、第３図（ｃ）に示す被観察画像11
0中のある画素111が位置指定装置２により指定された場
合、対応する位置に記憶されているコードを第３図
（ａ）のマップ情報30から読み出して出力すればよい。
ここでは、第３図（ａ）中のハッチングで示す位置にあ
るコード31（下肺野４）を出力する。

第３図は、マップ情報30の一例を示すものであるが、
この他にも、例えばマップ情報30が名称ごとに複数の記
憶領域に分割して記憶されていてもよい。

次に、このマップ情報30の作成方法について、詳述す
る。

マップ情報30は、被観察画像110から作成される。例
えば、Ｘ線画像を自動認識する技術を応用することによ
り作成可能である。このような自動認識技術の一例とし
て、例えば、文献『医用画像処理』朝倉書店（1982年）
第115頁〜第121頁には、鳥脇等により胸部Ｘ線像を対象
とした組織（具体的には、心臓、肋骨）の自動識別方法
が提案されている。

この方法によれば、次のような手順でマップ情報が作
成される。

（イ）先ず、垂直および水平方向について、平均濃度の
変化を調べることにより、肺領域に外接する長方形を定
める。すなわち、第３図（ｃ）の被観察画像110に対し
て、横長の長方形領域を上から下方向に移動して、濃度
により肺であるか否かを調べていき、肺の上端と下端を
検出する。次に、縦長の長方形領域を左から右方向に移
動して、肺であるか否かを調べていき、肺の左端と右端
を検出する。これにより、肺に接触して囲む外郭四角形
を作成する。

（ロ）次に、エッヂ抽出手法より、肺の輪郭線を定め
る。すなわち、（イ）で作成した外郭四角形に沿って、
画素の濃度による詳細な境界線を形成していく。例え
ば、背景の濃度が10で、肺の領域の濃度が100であれ
ば、10:100の変化点を順番に結んでいき、境界線を形成
する。

（ハ）テンプレートマッチングにより、いくつかの特徴
点を抽出する。すなわち、予め定められた型（テンプレ
ート）を標準として、この型を輪郭線に沿って当てはめ
ていく。例えば、肺の場合には、左下端と右下端が特徴
点として重要となっている。つまり、幾何学的な意味で
の特徴点として、肺の左右下部尖端を見出した後、上部
尖端を見出して、明確な肺の形状を定める。

（ニ）上記（ハ）で求めた特徴点を基に、エッヂ抽出手
法により鎖骨、肋骨の輪郭線を定める。例えば、肺の上
方には鎖骨があり、肺の周囲には肋骨が複数本あるが、
これらを濃度の差による変化点を結んで輪郭線を作成す
る。

（ホ）上記（ハ）（ニ）で求めた輪郭線をもとに、画像
上の各点に対応する区域名を決定する。たとえば、肺尖
部とは鎖骨より上方の肺の部分のことであるから、
（ハ）で求めた肺の輪郭と（ニ）で求めた鎖骨の輪郭と
の２者により囲まれた部分に、肺尖部を表すコード１を
与える。他の部分も同様の方法でコードを与える。

これにより、第３図（ａ）に示すように、肺尖部１か
ら下肺野４までの各部を、コードで表示したマップ情報
30が作成される。具体的には、作成された各領域コード
１〜４を記憶装置３に登録して、これをマップ情報30と
して利用するのである。

以上述べた手法により、マップ情報30を計算機により
自動的に作成することができる。なお、マップ情報30を
人手により作成することも当然可能である。

このようにして作成したマップ情報30を用いて、本発
明による各名称の入力方法を説明する。

第２図は、第１図の入力装置の入力動作のフローチャ
ートである。

第１図の入力装置において、先ず、操作者が位置指定
装置２により原画上の位置を指定する（ステップ21）。
これにより、位置指定装置２から参照装置４に位置情報
が送られる（ステップ22）。参照装置４は、送られてき
た位置情報を基にして、記憶装置３の対応するアドレス
を算出する（ステップ23）。算出したアドレスを基に、
記憶装置３中のマップ情報30をアクセスする（ステップ
24）。マップ情報30から得られたコードを出力線５に送
出し、外部装置200に入力する（ステップ25）。これに
よって、医師により注目区域が指定されると、自動的に
参照装置４がマップ情報30から対応する区域のコードを
読み出して、そのコードを外部装置200に入力すること
ができる。

第４図は、位置情報からアドレスを算出する方法の説
明図である。このうち、第４図（ａ）は位置指定装置２
からの位置情報、つまりCRT画面上の原画像110の位置を
示す図であり、第４図（ｂ）は記憶装置３に記憶された
マップ情報30のアドレス割当て状態図である。

例えば、第４図（ａ）で示すように、原画像110を10c
m×10cmの大きさであると仮定し、その画像内の位置Ａ
を、左上端からＸ方向に2cm、Ｙ方向に7cmの距離で表示
する。位置指定装置２は、指定された位置を上述のよう
にＸ方向,Y方向の距離情報として参照装置４に送出す
る。

マップ情報30が記憶された記憶装置３は、10×10のア
ドレスを持つメモリとして設定しておくことにより、位
置指定装置２からの位置情報に対応する位置のアドレス
を簡単に算出できるようにする。すなわち、メモリの左
上端からＸ方向に順次、０番地、１番地、２番地、・・
・９番地までアドレスを割当て、Ｙ方向に１段ずれて、
左上端から10番地、11番地、12番地、・・・・19番地ま
でアドレスを割当て、次にＹ方向に１段ずれて、20番
地、21番地、・・・・29番地までのアドレスを割当て
る。このようにして、０番地から99番地までのアドレス
が割当てられる。

いま、位置指定装置２からＡ点の位置がX2cm,Y7cmの
情報で参照装置４に送出されてくると、参照装置４で
は、Ｙ方向の数字に10を掛けた後、Ｘ方向の数字を加え
たものが、即ちアドレス番地となるようにする。つま
り、７×10＋２＝72番地をアクセスすれば、対応するコ
ードが読み出される。このように、原画像とマップ情報
との位置対応を簡単明瞭にしておけば、区域が指定され
ると、直ちにマップ情報のメモリアドレスに変換され
て、コードを読み出すことができ、高速に名称を外部装
置200に入力することができる。

〔発明の効果〕

以上説明したように、本発明によれば、入力操作にお
いて、視線の移動やこれに伴う思考の中断を除くことが
できるので、観察の障害とならない入力装置を実現する
ことができる。

【図面の簡単な説明】

第１図は本発明の一実施例を示す入力装置のブロック構
成図、第２図は第１図の動作フローチャート、第３図は
第１図におけるマップ情報の作成のための説明図、第４
図は位置情報からマップ情報のアドレスに変換する方法
を説明する図である。 1:表示装置、2:位置指定装置、3:記憶装置、4:参照装
置、5:名称出力線、10:位置指定装置付き表示装置、30:
マップ情報、31:注目点に対応するコード、100:画像記
憶装置、110:被観察画像、111:注目点、200:外部装置
（情報処理装置）。

フロントページの続き (72)発明者鈴木隆一東京都国分寺市東恋ヶ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者常光和子東京都国分寺市東恋ヶ窪１丁目280番地株式会社日立製作所中央研究所内 (56)参考文献特開昭55−10639（ＪＰ，Ａ) 特開昭63−610（ＪＰ，Ａ)

Claims

(57)【特許請求の範囲】

【請求項１】撮影された画像中に含まれる物体の名称ま
たは属性を入力するための入力方法において、上記画像
中の各位置に存在する物体を、該画像の位置に対応させ
て記憶するマップ情報を予め作成しておき、上記画像中
の注目物体が指定された時、上記マップ情報をアクセス
することにより、該マップ情報中から物体名を読み出し
て、該物体の名称または属性を外部の情報処理装置に入
力することを特徴とする入力方法。
【請求項２】撮影された画像中に含まれる物体の名称ま
たは属性を入力するための入力装置において、上記画像
を表示する表示手段と、上記画像中の注目物体の位置を
指定するための位置指定手段と、上記画像中の各位置に
存在する物体をコードで示したマップ情報が記憶される
記憶手段と、上記位置指定手段により注目物体が指定さ
れた時、上記記憶手段に記憶されたマップ情報を参照し
て該当する位置の物体名を読み取る参照手段とを具備す
ることを特徴とする入力装置。
【請求項３】上記マップ情報が記憶された記憶手段は、
画像のＸ方向の位置とＹ方向の位置に関連して、アドレ
ス付けされていることを特徴とする特許請求の範囲第２
項記載の入力装置。