JP5074390B2 - 医用画像表示装置及びプログラム - Google Patents

医用画像表示装置及びプログラム Download PDF

Info

Publication number
JP5074390B2
JP5074390B2 JP2008516624A JP2008516624A JP5074390B2 JP 5074390 B2 JP5074390 B2 JP 5074390B2 JP 2008516624 A JP2008516624 A JP 2008516624A JP 2008516624 A JP2008516624 A JP 2008516624A JP 5074390 B2 JP5074390 B2 JP 5074390B2
Authority
JP
Japan
Prior art keywords
region
information
interest
medical image
mark information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008516624A
Other languages
English (en)
Other versions
JPWO2007135913A1 (ja
Inventor
良洋 後藤
雄代 小川
修 笹原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP2008516624A priority Critical patent/JP5074390B2/ja
Publication of JPWO2007135913A1 publication Critical patent/JPWO2007135913A1/ja
Application granted granted Critical
Publication of JP5074390B2 publication Critical patent/JP5074390B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Description

本発明は,CT,MR画像を含む医用画像を表示する医用画像表示装置及びプログラムに係り,特に所定の臓器領域などを抽出する技術に関する。
医用画像には,被検体の多くの臓器,器官,筋肉,脂肪,骨(以下,「臓器等」と総称する)に対応する画像領域が混在している。このような医用画像において,例えば,医師が前記医用画像の中で肝臓を示す領域だけを抽出して三次元画像を得たい場合,その肝臓の領域だけを抽出する領域抽出処理という手法がある。
従来の領域抽出処理は,領域拡張方法又は閾値処理方法によって行われている。特に,領域拡張方法とは,次の手順で行われる手法である。
(1)操作者は,画面に表示された医用画像の中で,抽出したい臓器等の領域を選択し,その領域上にマウスを用いて一点(1〜数画素)を指定入力する。
(2)コンピュータは,操作者によって指定入力された臓器等の領域内の一点の周囲の画素値が一定かあるいは微量な変化であることを利用し,領域内の一点を拡張しながら最終的には所望の臓器等の領域を全領域について抽出する。
ところが,この領域拡張方法では,その抽出条件を満たすような領域が所望の臓器領域に隣接して配置される場合,本来よりも過剰な領域を抽出するため,特許文献1に開示されるような対策が必要とされる。
特許文献1には,医用画像上の関心領域を閉曲線で囲んで設定し,その領域内においてのみ領域拡張処理を実行することにより,領域拡張に制限を加える手法が記載されている。
特開平10-192256号公報。
しかしながら,従来の領域拡張の抑制法には,閉曲線で領域を精度良く囲うという操作者にとって煩雑な操作が必要であるという未解決の問題があった。
本発明の目的は,簡便な操作で領域抽出処理の制御が可能な医用画像表示装置及びプログラムを提供することにある。
本発明の医用画像表示装置は,表示手段(14,15)に表示された医用画像上における所望の領域の抽出を開始するための第1の基準情報とその領域抽出を停止させるための第2の基準情報とを設定する設定手段(16,16a)と,前記設定手段(16,16a)によって設定された第1の基準情報から第2の基準情報への方向に領域抽出処理の実行情報を示すマーク情報を生成し,この生成されたマーク情報を前記医用画像に関連づけて前記表示手段(14,15)に表示制御する制御手段(11)と,を備えたことを特徴とする。
本発明の医用画像表示プログラムは,モニタ(15)に表示された医用画像上における所望の領域の抽出を開始するための第1の基準情報とその領域抽出を停止させるための第2の基準情報とを設定する機能と,前記設定された第1の基準情報から第2の基準情報への方向に領域抽出処理の実行情報を示すマーク情報を生成し,この生成されたマーク情報を前記医用画像に関連づけて前記モニタ(15)に表示制御する機能と,をコンピュータに発揮させることを特徴とする。
本発明によれば,簡便な操作で領域抽出処理の制御が可能な医用画像表示装置及びプログラムを提供することができる。
本実施形態に係る医用画像表示装置のハードウェア構成の一例を示す図。 本発明の医用画像表示装置の第1の実施形態の動作例を示すフローチャート。 図2の処理の初期画面の表示例を示す図。 図2の処理の終期画面の表示例を示す図。 図3及び図4と異なる処理形態の表示例を示す図。 図3乃至図5と異なるマーカの表示形態を示す図。 図3乃至図6と異なるマーカの表示形態を示す図。 図3乃至図7と異なるマーカの表示形態を示す図。 本発明のその他の実施形態を説明するためのプログラムの処理手順例を示すフローチャート。 図9のプログラムを実行するために設けられたソフトスイッチを画面表示した一例を示す図。 図10Aのアイコンの一形態を示す図。 図10Bと異なるアイコンの形態を示す図。 図10B及び図10Cと異なるアイコンの形態を示す図。 本発明を原画像に対して適用し,領域拡張処理を用いて領域抽出する場合の処理の流れを示すフローチャート。 図11による処理結果の一例を示す模式図。 図12に対し方向追加に対する処理を説明するための表示例 図13の方向追加の手順を説明するフローチャート。 図10A乃至図10Dと異なるアイコンの形態を示す図。 図14の方向制限アイコンの他の態様を示す図。 一旦設定された制限方向を切り替える処理を示す画面表示例。 本発明を輪郭点に対して適用する場合の処理の流れを示すフローチャート。
符号の説明
11 CPU,14 表示メモリ,15 モニタ,16 マウス,16a コントローラ。
以下,本発明を実施するための最良の形態について添付図面を用いて説明する。なお,発明の実施の形態を説明するための全図において,同一機能を有するものは同一符号を付け,その繰り返しの説明は省略する。
<システム構成>
図1は,本実施形態に係る医用画像表示装置のハードウェア構成の一例を示す図である。
医用画像表示システム1は,LAN3などのネットワークに接続される医用画像撮影装置2,画像データベース(画像DB)4,画像表示装置10を備える。医用画像撮影装置2は,被検体の画像を撮影するものであって,例としてX線CT装置,MR装置,及びUS装置を記載したが,被検体の画像を撮影可能な装置であればこれらに限定されない。画像DB4は,医用画像撮影装置2が撮影した医用画像を蓄積する。画像表示装置10は,被検体の画像を表示するものである。画像表示装置10のさらに詳細な構成については次に説明する。
画像表示装置10は,中央処理装置(CPU)11,主メモリ12,磁気ディスク13,表示メモリ14,コントローラ16aと,キーボード17,通信インターフェイス(以下「通信I/F」という)18,がバス19にそれぞれ接続されている。また,表示メモリ14にはモニタ15が,コントローラ16aにはマウス16が,それぞれ接続されている。
CPU11は,主として各構成要素の動作を制御する制御部として機能する。主メモリ12は,装置の制御プログラムが格納されたり,プログラム実行時の作業領域となったりする記憶部である。磁気ディスク13は,オペレーティングシステム(OS),周辺機器のデバイスドライブや医用画像上において処理方向を設定するためのプログラムを含む各種アプリケーションソフト等が格納される外部記憶部である。
ここでは,外部記憶部として,磁気ディスク13のみが接続されている場合を示しているが,これ以外にフロッピディスクドライブ,ハードディスクドライブ,CD-ROMドライブ,光磁気ディスク(MO)ドライブ,ZIPドライブ,PDドライブ,DVDドライブ,USBメモリなどが接続されていてもよい。表示メモリ14は,表示用データを一時記憶するメモリである。モニタ15は,表示メモリ14に一時記憶されたデータに基づいて画像を表示するもので,その種類はCRTモニタや液晶モニタがある。
マウス16は,モニタ15に表示された画像への位置入力を行う装置の一例である。コントローラ16aは,マウス16の位置を検出してモニタ15上のマウスポインタの位置やマウス16の状態等の信号をCPU11に出力する。キーボード17は,画像表示装置の表示条件などの数値,文字入力を行う装置の一例である。通信I/F18は,医用画像撮影装置2からの医用画像を得るなどLAN3を通じて接続される外部装置とデータの送受を行う。バス19は,CPU11からの命令により,主メモリ12などのCPU11と接続される構成要素間でデータを送受するために用意されたデータ転送バスである。画像表示装置10のCPU11は,上記画像プログラムを磁気ディスク13から主メモリ12へ読み出し,当該プログラムを実行する。
<プログラムの実行例1>
次に,図2〜図5を参照しながら,医用画像表示装置の動作について説明する。
図2は,医用画像表示装置の第1の実施形態の動作例を示すフローチャート,図3は,図2の処理の初期画面の表示例を示す図で,ROI131及びマーカ132が表示された表示画面35を示す図である。なお、図2中のROI31及びマーカ32は、図3中のROI131及びマーカ132にそれぞれ対応する。
CPU11は,初期のROI31(131)及びマーカ32(132)を表示する。(ステップS121)
ROI31(131)とマーカ32(132)とは少なくとも1点が接する。初期のROI31(131)の形態(形状及び大きさ等)及び位置については,操作者が表示画面135の臓器輪郭134に基づいて描画してもよいし,CPU11がデフォルト設定に基づいて表示するようにしてもよい。
マーカ32(132)の形態(形状及び大きさ等)については,操作者が指定してもよいし,CPU11がデフォルト設定に基づいて表示するようにしてもよい。例えば,操作者は,ボタン136をマウス16により押下してマーカ32(132)の形態を指定する。
また,CPU11により操作者が指定したマーカ32(132)の位置を検出し,ROI31(131)とマーカ32(132)との位置関係やROI31(131)の形態に基づいて,自動的にマーカ32(132)の形態を決定するようにしてもよい。
操作者は,マウス16のドラッグ操作等によりマーカ32(132)を移動させ,CPU11は移動後のマーカ32(132)を表示する。(ステップS122)
CPU11は,ROI31(131)とマーカ32(132)との接触部分付近において,移動後のマーカ32(132)と接するようにROI31(131)を変形して表示する。(ステップS123)
CPU11は,ROI31(131)とマーカ32(132)との位置関係や接触部分付近のROI31(131)の形態に基づいて,マーカ32(132)の形態を決定して表示する。(ステップS124)
なお,マーカ32(132)の形態は変更せずに一定の形態としてもよい。
操作者は,ROI31(131)と臓器輪郭134とが一致したか否かを確認する。ROI31(131)を確定する場合(ステップS125のYES),操作者はボタン137をマウス16により押下して処理を終了する。ROI31(131)の変形処理を継続する場合(ステップS125のNO),CPU11はステップS122からの処理を繰り返す。

























図4は,図2の処理の終期画面の表示例を示す図で,マーカ142の移動後のROI141の内側にマーカ142が設定された表示画面145を示す図である。マーカ142は,ROI141に内接した位置に配置される。
操作者は,マウス16のドラッグ操作等によりマーカ142をROI141の外側方向へ移動させる。CPU11は,ROI141とマーカ142とが内接した状態を維持しつつ接触部分付近のROI141を外側方向へ変形させる。CPU11は,移動後のマーカ142と共にROI141を表示画面145に表示する。
図5は,図3及び図4と異なる処理形態の表示例を示す図で,ROI151の外側にマーカ152aが設定された表示画面155を示す図である。図5(A)はマーカ152aの移動前を示し,図5(B)はマーカ152bの移動後を示す。マーカ152bは,ROI151に外接して配置される。
操作者は,マウス16のドラッグ操作等によりマーカ152aをROI151aの内側方向153に移動させる。CPU11は,ROI151とマーカ152とが接した状態を維持しつつ,接触部分付近のROI151を内側方向153に変形させる。CPU11は,移動後のマーカ152bと共にROI151bを表示画面155に表示する。
以上の過程を経て,医用画像表示装置は,ROIに接するマーカを移動させてROIの変形を行い,臓器等の対象物の輪郭にROIを設定する。
これにより,対象物に沿って滑らかにROIを設定可能であり,対象物を正確に抽出することができる。
<マーカの形態の変形例>
次に,図6乃至図8を参照しながら,マーカの形態の変形例について説明する。
図6は,図3乃至図5と異なるマーカの表示形態を示す図で,ROI161及びマーカ162が表示された表示画面165を示す図である。図6(A)に示すように,操作者は,マーカ162aと接するROI161aの曲率半径が大きい場合には,マーカ162aの大きさを大きくする。例えば,操作者は,マウス16によりボタン166を押下してマーカ162aの形態を「円形・半径10mm」と設定する。
図6(B)に示すように,操作者は,マーカ162bと接するROI161bの曲率半径が小さい場合には,マーカ162bの大きさを小さくする。例えば,操作者は,マウス16によりボタン166を押下してマーカ162bの形態を「円形・半径5mm」と設定する。
図7は,図3乃至図6と異なるマーカの表示形態を示す図で,マーカ172の形態の変更を示す図である。
マーカの形態の決定処理(図2のステップS124)については,図6を用いて先述したように,操作者の操作指示に基づいてマーカの形態を決定するようにしてもよい。また,図7に示すように,CPU11により自動的にマーカの形態を決定するようにしてもよい。
図7(A)に示すように,CPU11は,ROI171a及びマーカ172aを表示する。
図7(B)に示すように,CPU11は,マーカ172の移動指示を受け付けると,マーカ172の形態は同一のままマーカ172bの位置に移動させる。CPU11は,ROI171aとマーカ172bとの境界のまたがり度を検出する。尚,CPU11は,マーカ172bを表示せずに,またがり度が検出されるまでの間,主メモリ12に一時的に保持するようにしてもよい。
図7(C)に示すように,CPU11は,検出されたまたがり度に基づいて,マーカ172の形態を変更してマーカ172cを表示する。例えば,またがり度が大きい場合にはマーカ172の大きさを小さくし,またがり度が小さい場合にはマーカ172の大きさを大きくするようにしてもよい。CPU11は,マーカ172cに基づいて,ROI171を変形させてROI171cを表示する。
またがり度とは,例えば,ROI171aの外側にはみ出た部分のマーカ172bの円弧長174とマーカ172bの全長の比である。さらに,円弧長174や移動量175との比から跨り度を算出するようにしてもよい。これらを[数1]に示す。
[数1]
(跨り度)=(円弧長174)/(マーカ172bの全周)
(跨り度)=(円弧長174)/(移動量175)
図8は,図3乃至図7と異なるマーカの表示形態を示す図で,マーカ182の一態様を示す図である。
図3乃至図7では,マーカの形状は円形として図示したが,これに限られない。マーカの形状は,臓器等の対象物の形状に応じて適宜設定することができる。図8に示すマーカ182の形状は楕円である。さらに,マーカ182の中心位置183と接点184との位置関係及びROI181の曲率半径に基づいて,マーカ182の長軸半径及び短軸半径を設定するようにしてもよい。
マーカの形状が円形や楕円形の場合,臓器の輪郭を滑らかに抽出することができる。なお,マーカの形状は,円形や楕円形の他,長方形や正方形等であってもよい。また,血管等の微細領域にROIを設定する場合にはマーカを「点」としてもよい。
このように,臓器等の対象物やROIの形態に応じてマーカの形態を設定することにより,効率的にROIの変形を行うことができ,操作性を向上させることができる。
<プログラムの実行例2>
図9は,本発明の実施形態を説明するためのプログラムの処理手順例を示すフローチャート,図10は,図9のプログラムを実行するために設けられたソフトスイッチを画面表示した一例を示す図である。
図10Aの画面表示例では,医用画像20の下に方向画素設定アイコン30を表示させるための「方向画素」アイコン21と,後述する方向制限アイコンを表示させるための「拡張方向」アイコン22と,医用画像20上の所望領域をマウス16でドラッグして範囲指定し,その指定した範囲を関心領域(以下「ROI」という)として設定するための「ROI設定」アイコン23と,領域拡張処理において1回の拡張処理で拡張する画素数(追加画素数)を示す数値を入力する数値入力フィールド24及び1回のクリックで数値入力フィールド24に入力された追加画素数だけ拡張する処理を実行するための「追加開始」アイコン25と,1画素ずつ領域拡張処理を実行するための「1画素追加」アイコン26と,全ての処理を終了させるための「終了」アイコン27と,を備える。「方向画素」アイコン21をクリックすると,CPU11が方向画素設定アイコンを表示し,分割領域をクリックするとCPU11がクリックされた分割領域と一致する方向を制限方向として設定する。
図10B,図10Cは1画素追加/削除する場合,(D)は2画素追加/削除する場合を示す。方向画素設定アイコン30の分割領域のうち,黒く表示されているものが選択された分割領域である。
図10Bでは,方向画素設定アイコン30の右下の二つの分割領域が選択されている。注目画素40の上下左右方向に1画素ずつ拡張/削除する領域拡張/削除処理において,上記二つの分割領域を選択することにより制限方向を決定すると,注目画素40の右隣と下隣との二つの画素(黒い正方形)方向に拡張/削除方向が制限される。
図10Cでは,方向画素設定アイコン30の右下から左までの三つの分割領域が選択されている。注目画素40に隣接する8画素方向に1画素ずつに拡張/削除する領域拡張/削除処理において,上記三つの分割領域を選択することにより制限方向を決定すると,注目画素40の右下隣,下隣,左下隣,左隣の四つ画素(黒い正方形)方向に拡張/削除方向が制限される。
図10Dでは,方向画素設定アイコン30の右下一つ及び右上一つを合わせて2つの分割領域が選択されている。注目画素40に隣接する8画素方向に2画素ずつ拡張/削除する領域拡張/削除処理において,上記2つの分割領域を選択することにより制限方向を決定すると,注目画素40の下方向にL字型に並ぶ3つの画素及び注目画素40の上方向に逆L字型に並ぶ3つの画素方向(黒い正方形)に拡張/削除方向が制限される。
上記では円形状の方向画素設定アイコンを用いて説明したが,方向画素設定アイコンは,円形状に限定されるものではなく,矩形状でもよい。また,分割領域は8つに限らず,任意の数でよい。
次に,図9のフローチャートに従ってプログラムの実行手順を説明する。
CPU11は,医用画像(原画像)を表示メモリ14に読み出し,読み出された原画像から閾値又領域拡張方法に基づいて所望の臓器等の領域を抽出して抽出画像を生成する。CPU11は,生成された抽出画像を主メモリ12の第1のエリアに記録する。CPU11は,主メモリ12の第1のエリアに記録された抽出画像を第2のエリアに複写する。ここでは,主メモリ12の第1のエリアと第2のエリアは,主メモリ12上の異なるエリアである。(ステップS2A)
操作者は,医用画像中の所望の臓器等の領域を選択する。具体的には,医用画像が表示メモリ14に記憶された状態であればその医用画像が,図10(A)に示すように,モニタ15の画面20に表示されている。操作者は,その画面表示を見ながら所望の臓器等の領域に重なるようにマウス16のカーソルを移動してマウス16のボタンをクリックすることにより,所望の臓器等の領域を選択する。
この場合では肝臓を示す領域を選択している。この領域選択の結果が第1のエリアに記録されている抽出画像に反映され,その抽出画像中の最初の点(x,y)が指定される。これにより,処理を開始する最初の点を設定することができる。CPU11は,その指定点(x,y)の位置に,局所的に領域拡張処理又は領域削除処理のためのマーク(「アイコン」ともいう)30を医用画像に重畳させて画面表示する。このアイコン30は,方向画素設定アイコンと称する。方向画素設定アイコン30は,全体形状が一例として円形であって,円形の中心点を基準に8方向に分割された複数の(ここでは8つ)の分割領域から構成される。そして,操作者が8つの分割領域のうち,再度領域拡張処理を実行したい方向と一致する分割領域へマウス16を移動させて,その領域でクリックすることにより当該分割領域を選択し,制限方向の設定を行う。(ステップS2B)
CPU11は,方向条件を満たすか否か,かつ,追加/削除条件(追加/削除のいずれかのボタンがON)を満たすか否かを判定し,その判定結果が「YES」ならステップS2Dへ処理を進ませ,「NO」ならステップS2Eへ処理を進ませる。(ステップS2C)
例えば,CPU11は,追加ボタン,図10Aの「追加開始」アイコン25や「1画素追加」アイコン26がONで,かつ方向画素設定アイコン30や方向制限アイコン60,70により規定された制限方向内なら「YES」と判定する。
そして,ステップS2Dにおいて,主メモリ12の第2エリアの(x,y)と周囲の点に1を記録する。又は,CPU11は,図示しない削除ボタンがONで制限方向内なら主メモリ12の第2エリアの(x,y)と周囲の点に0を記録する。(ステップS2D)
CPU11は,抽出画像(値1)の次の点に更新する。更新の方法は,設定された画素の上下左右斜めへ1画素(予め数画素設定されているときはその画素数)移動する。(ステップS2E)
CPU11は,抽出画像(値1)の全ての点が終了したか否かを判定し,その判定の結果が「YES」なら処理を終了させ,「NO」ならステップS2Cを再度実行させる。(ステップS2F)。
方向制限アイコンは,方向画素設定アイコンと同様,所望する処理を実行する方向を制限するためのものであるが,方向画素設定アイコンとは,形状や制限方向の指定方法が異なる。
<プログラムの実行例3>
図11は,本発明を原画像に対して適用し,領域拡張処理を用いて領域抽出する場合の処理の流れを示すフローチャートである。図12は,図10の表示内容と結果とを示す模式図である。
CPU11は,主メモリ11の第2のエリアをゼロクリアする(ステップS8A)。
操作者は,原画像の最初の点(x,y)を指定する(ステップS8B)。
CPU11は,原画像を表示メモリ14に読み出し,表示メモリ14に読み出された原画像をモニタ15に表示する。操作者が方向画素設定アイコン又は方向制限アイコンの注目画素又は方向起点を表示された原画像上の処理開始点に合わせることにより,原画像の最初の点が指定される。図12(A)は,被検体の管腔組織が撮影された医用画像である元画像91上に円形状の方向画素設定アイコン90を重畳表示した状態を示す。図12(A)で黒色表示された分割領域は,制限方向として選択された方向を示す。
CPU11は,濃度条件と方向条件を満たすか否かを判定し,判定の結果が「YES」ならステップS8Dへ処理を進ませ,「NO」ならステップS8Eへ処理を進ませる。ここでいう濃度条件は,所定の閾値を基準として2値処理をする場合の他,濃度値の上限値及び下限値を設定し,この範囲にある濃度値を有する画素を抽出する場合を含む。(ステップS8C)
CPU11は,主メモリ12の第2のエリアの(x,y)の点に1を記録する。(ステップS8D)
CPU11は,原画像の次の点へ更新する。(ステップS8E)
CPU11は,原画像の全ての点を指定したか否かを判定し,その判定結果が「YES」なら処理を終了させ,「NO」ならステップS8Cを再度実行させる。(ステップS8F)
拡張結果は図12(B)に示すようになる。すなわち,図12(A)において方向画素設定アイコン90を設定させた場所を始点とし,選択された分割領域が示す制限方向にのみ領域拡張結果をおこなった結果,図12(B)の管腔組織のうち,左上方向に連続して走行する部位92のみが抽出されている。
次に,操作者が最初に限定した方向と異なる方向も領域拡張により抽出したくなった場合に対する処理を説明する。
<プログラムの実行例4>
図13は,方向追加に対する処理を説明するための表示例,図14は,図13の方向追加の手順を説明するフローチャートである。図13に示すように,点線枠100で囲んだ管腔臓器(方向画素設定アイコン90の制限方向を規定する開始線L1に平行なL2より方向画素設定アイコン90寄りに走行する管腔臓器領域)は,最初に方向画素設定アイコン90で設定した制限方向では抽出することができない。この点線枠100内の管腔臓器を抽出し直す処理を図14のフローチャートに従って説明する。
CPU11は,拡張切り替え回数などのパラメータを読み込む。(ステップS11A)
CPU11は,方向画素設定アイコン又は方向制限アイコンにより設定した制限方向にだけ異方的に領域拡張処理を行う。(ステップS11B)
CPU11は,不等式「拡張回数>一定値」の成立の可否を判定し,その判定が「YES」ならステップS11Eへ進ませ,「NO」ならステップS11Dへ進ませる。(ステップS11C)
CPU11は,領域拡張処理を終了するか否か,すなわち拡張した画素があったかなかったかを判定し,その結果が「YES」なら処理を終了させ,「NO」ならステップS11Bを再度実行させる。(ステップS11D)
CPU11は,等方的に拡張処理を行う。(ステップS11E)
これにより,方向画素設定アイコン又は方向制限アイコンにより設定された制限方向だけでなく,360度方向に対して領域拡張処理が行われる。
CPU11は,領域拡張処理を終了するか否か,すなわち拡張した画素があったかなかったかを判定し,その判定結果が「YES」なら処理を終了させ,「NO」ならステップS11Eを再び実行させる。(ステップS11F)
本実施形態により,最初に設定した制限方向では拡張できない領域がある場合でも,制限方向への領域拡張に続いて等方向への領域拡張を行うことができる。特に,管腔臓器のように抽出対象となる領域の広がり方向が一定でない領域抽出の精度を向上させることができる。上記では,領域拡張処理を例に説明したが,領域削除処理でも同様の処理を行うことができる。
図15は,図10と異なるアイコンの形態を示す図で,方向制限アイコンの例を示す。方向制限アイコン60は,方向起点61とその方向起点61から発する2本の線分(又は直線)62からなる。領域拡張処理又は領域削除処理は,線分62の間の方向を制限方向63として,その処理が許容される。図15(A)(B)では,方向起点61を線分62の交点として示し,制限方向63を他の方向とは異なる表示色を用いて表す。図15の画面では,「方向数」フィールド65,「方向AND」フィールド66,「方向OR」フィールド67を例示している。「方向数」フィールド65は,制限方向の数を入力する。「方向AND」フィールド66は,複数の制限方向がある場合に,複数の方向制限アイコン60を指定してそれらの制限方向の重なる領域(AND)方向を制限方向に設定する。「方向OR」フィールド67は,複数の方向制限アイコン60を指定してそれらの制限方向のいずれかに含まれる方向(OR方向)を制限方向として設定する。図15(A)では,「方向AND」フィールドに方向制限アイコン60-2,60-3を指定するための「2,3」を入力すれば,方向制限アイコン60-2,60-3の各制限方向のうちAND方向のみが制限方向63として指定される。
この様に指定された制限方向63は,その部分のみ色や輝度などの表示態様が変わるようになっている。同様に,図15(B)では,「方向AND」フィールドに方向制限アイコン60-5,60-6を指定するための「5,6」を入力すると,方向制限アイコン60-5,60-6の各制限方向のうちAND方向のみが制限方向63として指定される。この様に指定された制限方向63はその部分のみ表示態様が変わる。また,図15(B)では,「方向OR」フィールドに方向制限アイコン60-2,60-3を指定するための「2,3」を入力すると,方向制限アイコン60-2,60-3の各制限方向63-2,63-3のOR方向が制限方向63として指定される。この様に指定された制限方向63はその部分のみ表示態様が変わる。AND方向やOR方向の算出はCPU11が行う。
図16は,図15の方向制限アイコンの他の態様を示す図である。図16の方向制限アイコン70は,方向起点71を丸印で示し,この丸印の中に方向数を入力する。例えば,図16(A)では制限方向の数が2,図16(B)では制限方向の数が3と表示される。そして,図16(A)では,方向起点71から伸びる2組の2本の線分72に沿って線分72よりも更に細い線72aを並べて表示させることによって制限方向73-1,73-2を示す。また図16(B)では,方向起点71から伸びる3組の2本の線分72を表示し,それらの線分72で囲まれた領域の表示色を変えることによって制限方向73-1,73-2,73-3を示す。
<切替モード>
図17は,一旦設定された制限方向を切り替える処理を示す画面表示例である。
図17(A)では,制限方向を切り替えるための「切替」アイコン68が追加表示されている。方向制限アイコン60は,0度より大きく180度未満の領域を制限方向として表示するように標準設定されている。方向制限アイコン60を初回に表示させた場合には図15(A)のように線分62の開き角度のうち小さい角度方向を制限方向63として表示する。この状態において,「切替」アイコン68をクリックすると図17(A)のように線分62の開き角度のうち大きい角度方向を制限方向63として表示するよう変更される。
同様に,図17(B)では,図16(A)の方向制限アイコン70において,切替指定すると線分72aが図17(B)のように線分72の外側に変更表示される。この切替指定は,上記「切替」アイコン68を操作してもよいし,線分72の外側の表示領域にマウス16を移動して,マウス16のボタンをクリックすることにより行ってもよい。
<プログラムの実行例5>
図18は,本発明を輪郭点に対して適用する場合の処理の流れを示すフローチャートである。
CPU11は,抽出画像(2値画像)を記録している主メモリ12の第1のエリアを主メモリ12の第2のエリアに複写する。(ステップS7A)
CPU11は,主メモリ12の第1のエリアに記憶される抽出画像の輪郭抽出処理を行い,抽出画像(2値画像)の輪郭点のみを抽出する。(ステップS7B)
操作者は,輪郭点の最初の点(x,y)を指定する。具体的には,操作者が医用画像上で処理を開始したい点に方向画素設定アイコンの中心(又は注目画素),又は方向制限アイコンの方向起点を合わせる。これにより,操作者はCPU11が処理を開始する最初の点を設定することができる。(ステップS7C)
CPU11は,ステップS2Cと同様に,方向条件と追加/削除条件を満たすか否かを判定し,その判定結果が「YES」ならステップS7Eへ進ませ,「NO」ならステップS7Fへ進ませる。(ステップS7D)
CPU11は,主メモリ12の第2のエリアの(x,y)とその周囲の点に1を記録する。(ステップS7E)
CPU11は,輪郭点の次の点へ更新する。(ステップS7F)
CPU11は,輪郭点の全ての点を指定したか否かを判定し,その判定結果が「YES」なら処理を終了させ,「NO」ならステップS7Dを再度実行させる。(ステップS7G)
<ボリュームデータに本発明を適用する場合>
被検体の断層像を積み上げたボリュームデータ(3次元データ)において制限方向を設定する場合には,全ての断層像に対して設定する必要はなく,少数枚の断層像において方向起点及び制限方向を設定し,その間の断層像については,設定された方向起点及び制限方向を補間処理で求めてもよい。
具体的には,CPU11は,アキシャル画像,サジタル画像,コロナル画像,擬似3次元画像,及び3次元の制限方向を設定するための3次元方向制限アイコンを並列表示する。3次元方向制限アイコンは3次元画像と連動して回転する機能を有している。操作者は,3次元方向制限アイコンの回転する軸上で,追加/削除 方向をマウス16で指示することにより,3次元方向に制限方向を設定することができる。領域の追加(拡張)処理か削除処理かの選択は,図示しない操作パネルの操作ボタンにより操作者が選択入力する。
本実施の形態により,3次元方向に制限方向を設定することができる。
<その他の実施形態>
次に,操作者が関心領域を設定するだけで臓器等の抽出方向を設定する例を説明する。
CPU11は,所望の臓器等の領域の抽出境界の重心を自動算出し,重心と操作者が設定したROIとに基づいて重心を方向起点とし,ROIと抽出境界との交点を通る2本の線分からなる方向制限アイコンを表示する。これにより,操作者は,ROIを設定するだけで制限方向を設定することができる。この断層像がボリューム画像のうちの1枚である場合には,補間処理を用いて他の断層像にも求めた範囲(方向制限アイコンが規定する方向起点と制限方向)を適用してもよい。
また,方向画素設定アイコンと方向制限アイコンとを組み合わせて制限方向を設定してもよい。つまり,方向制限アイコンが示す制限方向と,方向画素設定アイコンが示す制限方向との重なり(AND)方向が,設定したい制限方向を示す。なお,方向起点は,方向制限アイコンの頂点であって,抽出境界が示す抽出領域の重心である。
上記では,方向画素設定アイコンと方向制限アイコン,または複数の方向制限アイコンが示す方向を組み合わせて制限方向を指定する例として,ANDとORと挙げたが,各アイコンが示す方向の組み合わせは,「AND」「OR」の他「NAND」,「NOR」など,ユーザが適宜論理記号の組み合わせを用いて制限方向を設定できるようにしてもよい。
以上,添付図面を参照しながら,本発明に係る医用画像表示装置の好適な実施形態について説明したが,本発明はかかる例に限定されない。当業者であれば,本願で開示した技術的思想の範疇内において,各種の変更例または修正例に想到し得ることは明らかであり,それらについても当然に本発明の技術的範囲に属するものと了解される。

Claims (8)

  1. 表示手段に表示された医用画像上における所望の領域を指定するための第1の基準位置と第2の基準位置とを設定する設定手段と、
    有限の大きさを有するマーク情報を生成し、この生成されたマーク情報を前記医用画像に関連づけて前記表示手段に表示制御する制御手段と、を備え
    前記設定手段は第1の基準位置から第2の基準位置への方向に前記マーク情報を移動設定し、
    前記制御手段は、前記設定手段によって移動設定された前記マーク情報に基づいて、関心領域の形状が移動後のマーク情報に接するように関心領域情報を生成することを特徴とする医用画像表示装置。
  2. 前記制御手段は、前記関心領域情報に前記マーク情報が内接する位置関係に各情報を生成し、前記設定手段によって移動設定された前記マーク情報に基づいて関心領域の大きさが伸長するように関心領域情報を生成することを特徴とする請求項に記載の医用画像表示装置。
  3. 前記制御手段は、前記関心領域情報に前記マーク情報が外接する位置関係に各情報を生成し、前記設定手段によって移動設定された前記マーク情報に基づいて関心領域の大きさが縮小するように関心領域情報を生成することを特徴とする請求項に記載の医用画像表示装置。
  4. 前記設定手段前記マーク情報の大きさ又は形状可変設定
    前記制御手段は、前記設定手段によって可変設定された前記マーク情報に基づいて関心領域の大きさ及び形状が可変するように関心領域情報を生成することを特徴とする請求項1に記載の医用画像表示装置。
  5. モニタに表示された医用画像上における所望の領域を指定するための第1の基準位置と第2の基準位置とを設定する機能と、
    有限の大きさを有するマーク情報を生成し、この生成されたマーク情報を前記医用画像に関連づけて前記モニタに表示制御する機能と、をコンピュータに発揮させ
    前記設定する機能は第1の基準位置から第2の基準位置への方向に前記マーク情報を移動設定し、
    前記表示制御する機能は、前記設定する機能によって移動設定された前記マーク情報に基づいて、関心領域の形状が移動後のマーク情報に接するように関心領域情報を生成することを特徴とする医用画像表示プログラム。
  6. 前記表示制御する機能は、前記関心領域情報に前記マーク情報が内接する位置関係に各情報を生成し、前記設定する機能によって移動設定された前記マーク情報に基づいて関心領域の大きさが伸長するように関心領域情報を生成することを特徴とする請求項5に記載の医用画像表示プログラム。
  7. 前記表示制御する機能は、前記関心領域情報に前記マーク情報が外接する位置関係に各情報を生成し、前記設定する機能によって移動設定された前記マーク情報に基づいて関心領域の大きさが縮小するように関心領域情報を生成することを特徴とする請求項5に記載の医用画像表示プログラム。
  8. 前記設定する機能は前記マーク情報の大きさ又は形状を可変設定し、
    前記表示制御する機能は、前記設定する機能によって可変設定された前記マーク情報に基づいて関心領域の大きさ及び形状が可変するように関心領域情報を生成することを特徴とする請求項5に記載の医用画像表示プログラム。
JP2008516624A 2006-05-19 2007-05-16 医用画像表示装置及びプログラム Expired - Fee Related JP5074390B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008516624A JP5074390B2 (ja) 2006-05-19 2007-05-16 医用画像表示装置及びプログラム

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2006140561 2006-05-19
JP2006140561 2006-05-19
JP2006143782 2006-05-24
JP2006143782 2006-05-24
PCT/JP2007/060037 WO2007135913A1 (ja) 2006-05-19 2007-05-16 医用画像表示装置及びプログラム
JP2008516624A JP5074390B2 (ja) 2006-05-19 2007-05-16 医用画像表示装置及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2007135913A1 JPWO2007135913A1 (ja) 2009-10-01
JP5074390B2 true JP5074390B2 (ja) 2012-11-14

Family

ID=38723227

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008516624A Expired - Fee Related JP5074390B2 (ja) 2006-05-19 2007-05-16 医用画像表示装置及びプログラム

Country Status (5)

Country Link
US (1) US8175364B2 (ja)
EP (1) EP2025290A1 (ja)
JP (1) JP5074390B2 (ja)
CN (1) CN101448459B (ja)
WO (1) WO2007135913A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8326013B2 (en) * 2008-05-28 2012-12-04 Hitachi Medical Corporation Image processing device, image processing method, and image processing program
WO2011128791A1 (en) * 2010-04-16 2011-10-20 Koninklijke Philips Electronics N.V. Image data segmentation
US9116609B2 (en) * 2011-03-30 2015-08-25 Mckesson Financial Holdings Methods, apparatuses and computer program products for generating regions of interest using gestures via a user interface
US9980692B2 (en) 2011-11-08 2018-05-29 Koninklijke Philips N.V. System and method for interactive annotation of an image using marker placement command with algorithm determining match degrees
CN102871686B (zh) * 2012-03-05 2015-08-19 杭州弘恩医疗科技有限公司 基于3d医学影像测定生理参数的装置和方法
CN104303184B (zh) * 2012-03-21 2018-05-15 皇家飞利浦有限公司 整合医疗成像和活检数据的临床工作站以及使用其的方法
WO2014038428A1 (ja) * 2012-09-07 2014-03-13 株式会社 日立メディコ 画像処理装置及び画像処理方法
CN108027655A (zh) * 2016-02-25 2018-05-11 日本电气株式会社 信息处理系统、信息处理设备、控制方法和程序
WO2020039968A1 (ja) * 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理システム
WO2020054541A1 (ja) * 2018-09-11 2020-03-19 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07175942A (ja) * 1993-12-21 1995-07-14 Matsushita Electric Ind Co Ltd 図形編集装置
JP2000163555A (ja) * 1998-11-25 2000-06-16 Hitachi Ltd 領域抽出方法
JP2000172391A (ja) * 1998-12-09 2000-06-23 Nec Corp ポインティングデバイス、選択枠配置方法及びその方法を実行可能な記録媒体
JP2005028051A (ja) * 2003-07-11 2005-02-03 Matsushita Electric Ind Co Ltd 画像表示装置および画像表示方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2952673B2 (ja) * 1989-06-19 1999-09-27 株式会社日立メディコ 関心領域抽出方法及び切り出し方法
US5903664A (en) 1996-11-01 1999-05-11 General Electric Company Fast segmentation of cardiac images
JP4251243B2 (ja) 1998-11-26 2009-04-08 株式会社日立メディコ 領域拡張装置
JP4607263B2 (ja) 1998-11-30 2011-01-05 東芝医用システムエンジニアリング株式会社 輪郭追跡装置
JP4343334B2 (ja) 1999-07-08 2009-10-14 株式会社日立メディコ 医用画像処理装置
JP3717505B2 (ja) * 2001-10-31 2005-11-16 イマグノーシス株式会社 医用画像処理装置、方法および処理プログラム
US7221787B2 (en) * 2002-12-10 2007-05-22 Eastman Kodak Company Method for automated analysis of digital chest radiographs
US7251363B2 (en) * 2003-07-29 2007-07-31 Ventana Medical Systems, Inc. Method and system for creating an image mask
JP2005073817A (ja) 2003-08-29 2005-03-24 Hitachi Medical Corp 医用画像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07175942A (ja) * 1993-12-21 1995-07-14 Matsushita Electric Ind Co Ltd 図形編集装置
JP2000163555A (ja) * 1998-11-25 2000-06-16 Hitachi Ltd 領域抽出方法
JP2000172391A (ja) * 1998-12-09 2000-06-23 Nec Corp ポインティングデバイス、選択枠配置方法及びその方法を実行可能な記録媒体
JP2005028051A (ja) * 2003-07-11 2005-02-03 Matsushita Electric Ind Co Ltd 画像表示装置および画像表示方法

Also Published As

Publication number Publication date
CN101448459B (zh) 2012-01-04
EP2025290A1 (en) 2009-02-18
US20090116718A1 (en) 2009-05-07
JPWO2007135913A1 (ja) 2009-10-01
CN101448459A (zh) 2009-06-03
WO2007135913A1 (ja) 2007-11-29
US8175364B2 (en) 2012-05-08

Similar Documents

Publication Publication Date Title
JP5074390B2 (ja) 医用画像表示装置及びプログラム
JP7045432B2 (ja) 医療用映像装置及びその制御方法
US7889227B2 (en) Intuitive user interface for endoscopic view visualization
JP4745748B2 (ja) 医用画像表示装置
US9892566B2 (en) Image processing apparatus, method and program
JP2012510672A (ja) 画像表示にアクセスし、それを操作するためのアクティブ・オーバーレイ・システムおよび方法
JP7322409B2 (ja) 医療システム、医療装置および医療方法
JP2008510247A (ja) マンモグラフィの評価のための表示システム
JP2005296156A (ja) 医用画像表示装置
JP2014073156A (ja) 医用画像表示装置、医用画像表示方法及びプログラム
JPH09160739A (ja) データ処理システム及び入力方法
JP2015208602A (ja) 画像表示装置及び画像表示方法
JP2016126725A (ja) 情報処理装置、情報処理方法およびプログラム
CN107329669B (zh) 在人体医学三维模型中选择人体子器官模型的方法及装置
JP2009253474A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5196714B2 (ja) 画像表示装置及び画像表示プログラム
JP5215770B2 (ja) X線装置及び制御方法
JP2019032908A (ja) 情報処理装置、情報処理方法およびプログラム
JP2019016416A (ja) 医用画像表示装置およびその制御方法、プログラム
JP6968950B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP4212396B2 (ja) 図形要素選択プログラム
JP2006174949A (ja) 医用画像処理装置
JP2009003566A (ja) ウィンドウ表示装置及びウィンドウ表示方法
JP2004275349A (ja) 画像診断支援プログラム
JP2022009606A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100514

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120823

R150 Certificate of patent or registration of utility model

Ref document number: 5074390

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees