JP6536153B2 - 医用画像表示装置及びプログラム - Google Patents

医用画像表示装置及びプログラム Download PDF

Info

Publication number
JP6536153B2
JP6536153B2 JP2015089976A JP2015089976A JP6536153B2 JP 6536153 B2 JP6536153 B2 JP 6536153B2 JP 2015089976 A JP2015089976 A JP 2015089976A JP 2015089976 A JP2015089976 A JP 2015089976A JP 6536153 B2 JP6536153 B2 JP 6536153B2
Authority
JP
Japan
Prior art keywords
lesion
annotation
medical image
past
information corresponding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015089976A
Other languages
English (en)
Other versions
JP2016202722A (ja
Inventor
長尾　健司
健司 長尾
高史 南條
高史 南條
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2015089976A priority Critical patent/JP6536153B2/ja
Priority to US15/130,708 priority patent/US20160314247A1/en
Publication of JP2016202722A publication Critical patent/JP2016202722A/ja
Application granted granted Critical
Publication of JP6536153B2 publication Critical patent/JP6536153B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Description

本発明は、医用画像表示装置及びプログラムに関する。
病変の経過観察においては、同一病変に対し現在画像と過去画像とで病変の形状や大きさ等の変化を追い、病気の悪化や回復を診断するのが一般的である。具体的には、現在画像と過去画像のそれぞれの病変の形状や大きさを比較する為に、それぞれの画像に対し病変位置を特定し、病変上の計測点を指定して大きさを測り、同じ病変には同じ病変名（病変番号）を付ける等して紐づけて記録しておく必要がある。しかし、経過観察の期間が長く比較する過去画像が多かったり、１検査内で病変の数が多かったりすると、各病変の計測方法が難しければ難しい程、病変を記録するのに手間が増える。
そこで、例えば、特許文献１には、現在画像と過去画像のうちの一方の画像上でユーザーが病巣箇所を指定すると、現在画像、過去画像のそれぞれに写っている病巣領域の同じ位置及び方向の長径と短径を自動的に計測する技術が記載されている。
特開２００９−７２４３３号公報
しかしながら、特許文献１においては、基本的に病変が１対１の関係で、位置も大きさも変化が少ないことを前提としており、例えば、現在画像と過去画像のそれぞれに複数の病変が点在する場合、病変の位置や大きさが変化した場合、複数の病変が融合または１つの病変が分離/消失した場合等の複雑な病変変化に対応することは難しい。
本発明の課題は、複雑な病変変化であっても簡易な操作で病変変化の記録を行えるようにすることである。
上記課題を解決するために、請求項１に記載の発明の医用画像表示装置は、
操作手段と、
被写体を撮影することにより取得された医用画像を表示する表示手段と、
前記医用画像を取得するよりも前に前記被写体を撮影することにより取得された過去画像に対応付けて記録されている、前記過去画像において指摘された過去の病変の識別情報、当該病変の大きさを計測したときの計測位置及び計測結果を含む過去の病変情報を取得する取得手段と、
前記取得手段により取得された過去の病変情報に基づいて、前記医用画像上に、前記過去の病変の識別情報及び計測結果を仮表示するとともに、前記過去の病変の計測位置を示すアノテーションを仮表示する仮表示手段と、
前記操作手段により、前記医用画像上に仮表示されているアノテーションに対し、当該アノテーションに対応する病変情報をそのまま前記医用画像に対応する病変情報として記録することを指示する所定の操作が行われた場合に、前記アノテーションに対応する病変情報をそのまま前記医用画像に対応する病変情報として記録し、前記医用画像上に仮表示されているアノテーションに対し、当該アノテーションに対応する過去の病変情報の編集を指示する所定の操作が行われた場合に、前記操作に応じて前記アノテーションに対応する病変情報を編集して前記医用画像に対応する病変情報として記録する記録手段と、
を備え、
前記記録手段は、前記操作手段により、前記医用画像上に仮表示されているアノテーションを指定する所定の操作、及び、前記指定されたアノテーションに対応する病変の融合先の病変を指定する所定の操作が行われた場合に、前記指定されたアノテーションに対応する病変情報を削除するとともに、前記融合先の病変に対応する病変情報に前記指定されたアノテーションに対応する病変が融合されたことを示す情報を付加して前記医用画像に対応する病変情報として記録する。
請求項２に記載の発明の医用画像表示装置は、
操作手段と、
被写体を撮影することにより取得された医用画像を表示する表示手段と、
前記医用画像を取得するよりも前に前記被写体を撮影することにより取得された過去画像に対応付けて記録されている、前記過去画像において指摘された過去の病変の識別情報、当該病変の大きさを計測したときの計測位置及び計測結果を含む過去の病変情報を取得する取得手段と、
前記取得手段により取得された過去の病変情報に基づいて、前記医用画像上に、前記過去の病変の識別情報及び計測結果を仮表示するとともに、前記過去の病変の計測位置を示すアノテーションを仮表示する仮表示手段と、
前記操作手段により、前記医用画像上に仮表示されているアノテーションに対し、当該アノテーションに対応する病変情報をそのまま前記医用画像に対応する病変情報として記録することを指示する所定の操作が行われた場合に、前記アノテーションに対応する病変情報をそのまま前記医用画像に対応する病変情報として記録し、前記医用画像上に仮表示されているアノテーションに対し、当該アノテーションに対応する過去の病変情報の編集を指示する所定の操作が行われた場合に、前記操作に応じて前記アノテーションに対応する病変情報を編集して前記医用画像に対応する病変情報として記録する記録手段と、
を備え、
前記記録手段は、前記操作手段により、前記医用画像上に仮表示されているアノテーションを指定する所定の操作、及び、前記指定されたアノテーションに対応する病変を分離することを指示する所定の操作が行われた場合に、前記指定された分離元のアノテーションの近傍に分離先のアノテーションを生成し、当該分離先のアノテーションの位置及び／又は長さを調整する所定の操作が行われた場合に、当該操作に応じて、前記指定されたアノテーションの病変が分離元であることを示す情報を含む前記分離先の病変情報を生成し、生成した分離先の病変情報及び前記指定されたアノテーションに対応する病変情報を前記医用画像に対応する病変情報として記録する。
請求項３に記載の発明は、請求項１又は２に記載の発明において、
前記記録手段は、前記操作手段により、前記医用画像上に仮表示されているアノテーションの位置及び／又は長さを調整する所定の操作が行われた場合に、当該操作に応じて前記アノテーションに対応する病変情報の計測位置及び／又は計測結果を調整して前記医用画像に対応する病変情報として記録する。
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の発明において、
前記操作手段により、前記表示手段に表示されている医用画像の読影が終了したことを示す所定の操作が行われた場合に、前記取得手段により取得された過去の病変情報のうち、前記医用画像の病変情報として記録されていない病変情報があるか否かを判断する判断手段と、
前記判断手段により前記医用画像の病変情報として登録されていない病変情報があると判断された場合に、その旨を警告する警告手段と、
を備える。
請求項５に記載の発明のプログラムは、
コンピューターを、
被写体を撮影することにより取得された医用画像を表示する表示手段、
前記医用画像を取得するよりも前に前記被写体を撮影することにより取得された過去画像に対応付けて記録されている、前記過去画像において指摘された過去の病変の識別情報、当該病変の大きさを計測したときの計測位置及び計測結果を含む過去の病変情報を取得する取得手段、
前記取得手段により取得された過去の病変情報に基づいて、前記医用画像上に、前記過去の病変の識別情報及び計測結果を仮表示するとともに、前記過去の病変の計測位置を示すアノテーションを仮表示する仮表示手段、
操作手段により、前記医用画像上に仮表示されているアノテーションに対し、当該アノテーションに対応する病変情報をそのまま前記医用画像に対応する病変情報として記録することを指示する所定の操作が行われた場合に、前記アノテーションに対応する病変情報をそのまま前記医用画像に対応する病変情報として記録し、前記医用画像上に仮表示されているアノテーションに対し、当該アノテーションに対応する過去の病変情報の編集を指示する所定の操作が行われた場合に、前記操作に応じて前記アノテーションに対応する病変情報を編集して前記医用画像に対応する病変情報として記録する記録手段、
として機能させ、
前記記録手段は、前記操作手段により、前記医用画像上に仮表示されているアノテーションを指定する所定の操作、及び、前記指定されたアノテーションに対応する病変の融合先の病変を指定する所定の操作が行われた場合に、前記指定されたアノテーションに対応する病変情報を削除するとともに、前記融合先の病変に対応する病変情報に前記指定されたアノテーションに対応する病変が融合されたことを示す情報を付加して前記医用画像に対応する病変情報として記録する。
請求項６に記載の発明のプログラムは、
コンピューターを、
被写体を撮影することにより取得された医用画像を表示する表示手段、
前記医用画像を取得するよりも前に前記被写体を撮影することにより取得された過去画像に対応付けて記録されている、前記過去画像において指摘された過去の病変の識別情報、当該病変の大きさを計測したときの計測位置及び計測結果を含む過去の病変情報を取得する取得手段、
前記取得手段により取得された過去の病変情報に基づいて、前記医用画像上に、前記過去の病変の識別情報及び計測結果を仮表示するとともに、前記過去の病変の計測位置を示すアノテーションを仮表示する仮表示手段、
操作手段により、前記医用画像上に仮表示されているアノテーションに対し、当該アノテーションに対応する病変情報をそのまま前記医用画像に対応する病変情報として記録することを指示する所定の操作が行われた場合に、前記アノテーションに対応する病変情報をそのまま前記医用画像に対応する病変情報として記録し、前記医用画像上に仮表示されているアノテーションに対し、当該アノテーションに対応する過去の病変情報の編集を指示する所定の操作が行われた場合に、前記操作に応じて前記アノテーションに対応する病変情報を編集して前記医用画像に対応する病変情報として記録する記録手段、
として機能させ、
前記記録手段は、前記操作手段により、前記医用画像上に仮表示されているアノテーションを指定する所定の操作、及び、前記指定されたアノテーションに対応する病変を分離することを指示する所定の操作が行われた場合に、前記指定された分離元のアノテーションの近傍に分離先のアノテーションを生成し、当該分離先のアノテーションの位置及び／又は長さを調整する所定の操作が行われた場合に、当該操作に応じて、前記指定されたアノテーションの病変が分離元であることを示す情報を含む前記分離先の病変情報を生成し、生成した分離先の病変情報及び前記指定されたアノテーションに対応する病変情報を前記医用画像に対応する病変情報として記録するプログラム。
本発明によれば、複雑な病変変化であっても簡易な操作で病変変化の記録を行うことが可能となる。
本実施形態に係る医用画像表示システムの全体構成を示す図である。 図１のクライアント端末の機能的構成を示すブロック図である。 図２の制御部により実行される病変情報登録処理を示すフローチャートである。 過去画像の病変情報の一例を示す図である。 図４に示す過去画像の病変情報が仮表示された現在画像の例を示す図である。 （ａ）は過去画像、（ｂ）は（ａ）から病変の融合があった現在画像及びこの融合を記録するための融合操作の一例を示す図である。 （ａ）は過去画像、（ｂ）は（ａ）から病変の分離があった現在画像及びこの分離を記録するための分離操作の一例を示す図である。 （ａ）は過去画像、（ｂ）は（ａ）から病変の消失があった現在画像及びこの消失を記録するための消失操作の一例を示す図である。 （ａ）は過去画像、（ｂ）は（ａ）の過去画像の病変情報が仮表示された現在画像、（ｃ）は病変を本登録した後の現在画像の一例を示す図である。
以下、図面を参照して本発明に係る好適な実施形態について説明する。なお、本発明は、図示例に限定されるものではない。
〔医用画像表示システム１００の構成〕
図１に、医用画像表示システム１００のシステム構成例を示す。
医用画像表示システム１００は、病院内に設置されるシステムである。図１に示すように、医用画像表示システム１００は、画像管理サーバー１０、医用画像表示装置としてのクライアント端末２０から構成され、各装置は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の通信回線からなる通信ネットワークＮを介してデータ送受信可能に接続されている。医用画像表示システム１００を構成する各装置は、ＤＩＣＯＭ（Digital Image and Communications in Medicine）規格に準じており、各装置間の通信は、ＤＩＣＯＭに則って行われる。なお、各装置の台数は、特に限定されない。
画像管理サーバー１０は、ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＣＲ（Computed Radiography）装置等の各種モダリティにより生成された医用画像の画像データ、及び医用画像に関する付帯情報を蓄積記憶・管理するコンピューター装置である。医用画像には、ＣＴ装置やＭＲＩ装置等により生成された断層画像群や、ＣＲ装置により生成された単純Ｘ線画像等が含まれる。具体的に、画像管理サーバー１０は、ハードディスク等により構成される記憶部１５を有する。この記憶部１５は、医用画像のデータを格納する医用画像ＤＢ（Data Base）１５１、医用画像ＤＢ１５１に記憶されている医用画像に関する付帯情報を検索可能に格納する付帯情報ＤＢ１５２を記憶している。
医用画像ＤＢ１５１において記憶される医用画像は、ＤＩＣＯＭ規格に則ったＤＩＣＯＭファイル形式で保存されている。ＤＩＣＯＭファイルは、画像部とヘッダ部とから構成される。画像部には医用画像の実データ、ヘッダ部に当該医用画像に関する付帯情報が書き込まれている。
付帯情報は、例えば、患者情報、検査情報、シリーズ情報、画像詳細情報を含んで構成されている。
患者情報は、患者を識別するための患者識別情報（例えば、患者ＩＤ）、患者の名前、性別、生年月日等の医用画像の患者に関する各種情報が含まれる。
検査情報は、検査を識別するための検査識別情報（例えば、検査ＩＤ）、検査日付、担当医師等の検査に関する各種情報が含まれる。
シリーズ情報は、同一検査内においてシリーズを識別するためのシリーズ番号、シリーズに含まれる医用画像を生成したモダリティの種類、検査部位、当該医用画像が断層画像である場合のスライス間隔、総スライス数等のシリーズに関する各種情報が含まれる。
ここで、シリーズとは、互いに関連する一連の医用画像のまとまりを指す。例えば、ＣＴ装置やＭＲＩ装置では、人体の或る範囲（例えば、胸部から腹部にかけて）を体軸方向（例えば、頭−足方向）に沿って予め定められたスライス間隔（例えば、１ｍｍ間隔）で複数連続撮影することによって複数（１００枚〜数千枚）の断層画像を生成する。この生成されたひとまとまりの断層画像群は１つのシリーズとして取り扱われる。同一シリーズに属する全ての断層画像には、同一のシリーズ情報が付帯されている。総スライス数とは、同一シリーズに属する断層画像の総数である。
画像詳細情報は、画像番号、スライス位置（同一シリーズにおいて最初に撮影された断層画像の体軸方向の位置を０ｍｍ（基準）とした場合の各断層画像の撮影時の体軸方向の位置）、画像生成時刻、医用画像の格納場所を示すファイルパス名、検査コメント、病変情報等の当該医用画像に関する各種情報が含まれる。
画像番号は、同一シリーズとして生成した医用画像の撮影順１〜ｎ（ｎは総スライス数）を示す番号である。
病変情報は、当該医用画像において指摘された病変の識別情報、当該病変の大きさを計測したときの計測位置（計測点の座標）、及び計測結果（長径や短径の長さの計測結果）である。当該医用画像上に複数の病変が存在する場合には、複数の病変情報が含まれる。
画像管理サーバー１０は、通信ネットワークＮを介してクライアント端末２０からの検索要求に応じて、クライアント端末２０から送信される条件に合致した医用画像を付帯情報ＤＢ１５２により検索して、条件に合致した医用画像のリストデータをクライアント端末２０に送信する。また、クライアント端末２０から取得要求のあった医用画像のデータを医用画像ＤＢ１５１から読み出してクライアント端末２０に送信する。
〔クライアント端末２０の構成〕
クライアント端末２０は、画像管理サーバー１０に蓄積記憶されている医用画像を取得して、医師の読影用に表示するためのコンピューター装置である。
図２に、クライアント端末２０の機能的構成を示す。
図２に示すように、クライアント端末２０は、制御部２１、操作部２２、表示部２３、通信部２４、ＲＡＭ２５、記憶部２６等を備えて構成され、各部はバス２７により接続されている。
制御部２１は、ＣＰＵ（Central Processing Unit）等により構成され、記憶部２６に記憶されているシステムプログラムや病変情報登録処理プログラムを始めとする各種処理プログラムを読み出し、ＲＡＭ２５内に形成されたワークエリアに展開し、該プログラムに従って各部を制御する。制御部２１は、取得手段、仮表示手段、記録手段として機能する。
操作部２２は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部２１に出力する。
表示部２３は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ(Cathode Ray Tube)等のモニタにより構成され、制御部２１から入力される表示信号の指示に従って、各種画面や医用画像等を表示する。
通信部２４は、ＬＡＮアダプタ、ルータ、ＴＡ（Terminal Adapter）等を備え、通信ネットワークＮに接続された各装置とデータの送受信を行う。
ＲＡＭ２５は、制御部２１により実行制御される各種処理において、記憶部２６から読み出された各種プログラム、入力若しくは出力データ、及びパラメータ等を一時的に格納するワークエリアを形成する。
記憶部２６は、ＨＤＤ（Hard Disc）や半導体の不揮発性メモリー等により構成される。
記憶部２６は、制御部２１で実行されるシステムプログラムや、病変情報登録処理プログラムを始めとする各種プログラム、これらのプログラムの実行に必要なデータを記憶する。各種プログラムは、コンピューター読み取り可能なプログラムコードの形態で記憶部２６に格納され、制御部２１は、当該プログラムコードに従った動作を逐次実行する。
〔クライアント端末２０の動作〕
次に、本実施の形態の動作について説明する。
図３に、クライアント端末２０において、操作部２２により病変情報の登録対象の現在検査が選択され、選択された現在検査の医用画像（現在画像と呼ぶ）が画像管理サーバー１０から取得された際に実行される病変情報登録処理のフローチャートを示す。病変情報登録処理は、制御部２１と記憶部２６に記憶されている病変情報登録処理プログラムとの協働によるソフトウエア処理により実現される。
まず、制御部２１は、現在画像を表示部２３に表示する（ステップＳ１）。例えば、現在検査がＣＴ装置やＭＲＩ装置等による複数の断層画像を取得する検査であった場合等、現在画像が複数存在する場合は、そのうち一の画像（例えば、画像番号が先頭の画像）が表示される。
次いで、制御部２１は、表示部２３に表示されている現在画像よりも前に同じ被写体を同じ撮影条件で撮影することにより取得された過去検査の医用画像（過去画像と呼ぶ）に対応付けて記憶されている、過去画像において指摘された病変情報を画像管理サーバー１０から取得する（ステップＳ２）。
撮影条件が同じであるか否かは、例えば、医用画像に書き込まれている付帯情報の所定の項目の情報が一致しているか否かに基づいて判断することができる。例えば、制御部２１は、表示されている現在画像の付帯情報から所定の項目の情報（例えば、患者情報、シリーズ番号、モダリティの種類、検査部位等）を読み出し、読み出した付帯情報と付帯情報が一致する過去検査の医用画像（複数の医用画像が存在する場合には、その全て）に対応する病変情報を通信部２４を介して画像管理サーバー１０から取得する。
撮影条件を判断するための上記の所定の項目は、操作部２２により設定することができ、その設定情報は、記憶部２６に記憶されている。
次いで、制御部２１は、取得した病変情報を表示部２３に表示されている現在画像上に仮表示する（ステップＳ３）。
図４に、過去画像の病変情報の一例を示す。図５（ａ）〜（ｃ）に、図４に示す過去画像の病変情報が仮表示された現在画像の例を示す。ステップＳ３においては、図５（ａ）〜（ｃ）に示すように、現在画像上に、過去画像における病変の計測位置を示すアノテーションが仮表示されるとともに、そのアノテーションの近傍に、そのアノテーションに対応する病変の識別情報、病変の大きさの計測結果等が仮表示される。ここで、現在画像に表示されている病変情報が、現在画像に対して記録された（本登録された）病変情報ではなく仮表示であることを明確にするために、本登録された病変情報とは異なる態様で病変情報が仮表示される。仮表示の方法は特に限定されないが、例えば、図５（ａ）に示すように、仮表示の病変情報に（仮）と付けたり、図５（ｂ）に示すように、アノテーションを半透明や点線で表示したり、図５（ｃ）に示すように、仮表示の病変情報の色や画像のフレームの色を本登録された病変情報とは異なる色で表示したりする等が挙げられる。
ここで、一般的に、１つの病変に対して１つの病変情報が記録（本登録）されている。例えば、モダリティがＣＴ装置やＭＲＩ装置等であり、１つの検査に複数の断層画像が存在している場合、病変の大きさが最大の断層画像に対応付けて病変情報が記録されている。そのため、モダリティがＣＴ装置やＭＲＩ装置等により断層撮影を行う検査である場合、過去画像の病変情報を現在画像の何れに仮表示するかを決定する必要がある。
そこで、例えば、現在検査がＣＴ装置やＭＲＩ装置等により断層撮影を行う検査である場合、図３のステップＳ２において、過去検査の一連の過去画像の付帯情報を取得して、病変情報が含まれている付帯情報のスライス位置又は画像番号と同じスライス位置又は画像番号の現在画像を仮表示対象として決定することができる。ポジショニングや病変位置の経時変化を考慮して、スライス位置又は画像番号が完全に一致する現在画像だけでなく、ある程度幅を持たせて、その周辺の現在画像にも仮表示を行うこととしてもよい。例えば、病変情報の存在する過去画像のスライス位置（画像番号）と一致する現在画像から所定範囲内（例えば、±５枚）の現在画像にその病変情報の仮表示を行うこととしてもよい。
また、例えば、領域抽出アルゴリズムにより現在画像のそれぞれから過去の病変情報の計測位置近傍の病変領域を自動抽出し、病変領域が抽出された画像のうち、最適な（例えば、病変領域の面積が最大の）画像を病変情報を仮表示する現在画像として決定してもよい。領域抽出アルゴリズムとしては、例えば、Split and Marge法、クラスタリング（k-means Algorithm）等の公知のアルゴリズムを用いることができる。
次いで、制御部２１は、操作部２２による所定の操作が検出されたか否かを判断する（ステップＳ４）。所定の操作とは、仮表示されている病変情報を記録（本登録）するトリガとなる操作であり、例えば、仮表示されている病変情報をそのまま表示部２３に表示されている現在画像に対応する病変情報として本登録することを指示する操作（例えば、操作部２２のマウスによりアノテーションをダブルクリックする操作）、仮表示されている病変情報の編集を指示する操作（例えば、操作部２２のマウスによりアノテーションをドラッグする（位置を調整する）操作、アノテーションの先端部分をドラッグする（長さを調整する）操作、後述する病変の融合操作、分離操作、消失操作等）が挙げられる。
操作部２２による所定の操作が検出されていないと判断した場合（ステップＳ４；ＮＯ）、制御部２１は、ステップＳ８に移行する。
操作部２２による所定の操作が検出されたと判断した場合（ステップＳ４；ＹＥＳ）、制御部２１は、検出された所定の操作が、仮表示されている病変情報をそのまま本登録することを指示する操作であるか否かを判断する（ステップＳ５）。
検出された所定の操作が、仮表示されている病変情報をそのまま本登録することを指示する操作であると判断した場合（ステップＳ５；ＹＥＳ）、制御部２１は、仮表示されている病変情報をそのまま表示されている現在画像に対応する病変情報として本登録し（ステップＳ６）、ステップＳ８に移行する。ステップＳ６においては、例えば、制御部２１は、表示部２３に表示されている現在画像の付帯情報に、仮表示されている病変情報を記録する。また、表示されている現在画像の病変情報を記録した付帯情報を通信部２４を介して画像管理サーバー１０に送信し、付帯情報ＤＢ１５２の情報を更新させる。
一方、検出された所定の操作が、仮表示されている病変情報をそのまま本登録することを指示する操作ではないと判断した場合（ステップＳ５；ＮＯ）、即ち、仮表示されている病変情報の編集を指示する操作であると判断した場合、制御部２１は、仮表示されている病変情報を操作に応じて編集し、編集済みの病変情報を表示されている現在画像の病変情報として本登録し（ステップＳ７）、ステップＳ８に移行する。
仮表示されている病変情報を編集する操作としては、上述のアノテーションの位置調整や長さの調整の他、融合操作、分離操作、消失操作も含まれる。
融合とは、図６（ａ）に示すように、過去において複数であった病変が図６（ｂ）に示すように合体して１つの病変になることをいう。融合操作は、現在画像上に仮表示されているアノテーションのうち他の病変に融合する病変（融合元の病変）のアノテーションを指定する操作、及び、指定されたアノテーションに対応する病変の融合先の病変を指定する操作である。例えば、図６（ｂ）に示すように、他の病変に融合するアノテーションを操作部２２により指定（右クリック等）し、この操作に応じてアノテーション近傍に表示される編集メニューから「融合」メニューを選択（クリック）し、この操作に応じて表示される病変識別情報の一覧の中から融合先の病変識別情報を選択(クリックする等)する操作である。なお、例えば、融合元のアノテーションを融合先のアノテーションにドラッグする等、融合元のアノテーションを移動して融合先のアノテーションに重ねる操作を融合操作としてもよい。
この融合操作に応じて、制御部２１は、融合元として指定されたアノテーションに対応する病変情報を削除するとともに、融合先の病変情報に、融合元として指定されたアノテーションに対応する病変が融合されたことを示す情報を付加して表示部２３に表示されている現在画像に対応する病変情報として本登録する。具体的には、仮表示されている融合元の病変情報を削除し、融合先の病変識別情報に融合元が分かる識別情報を付与して（図６（ｃ）参照）、融合先の病変の計測位置や計測結果とともに表示部２３に表示されている現在画像の付帯情報に記録する。また、表示されている現在画像の病変情報登録済みの付帯情報を通信部２４を介して画像管理サーバー１０に送信し、付帯情報ＤＢ１５２の情報を更新させる。
分離とは、図７（ａ）に示すように、過去において一つであった病変が図７（ｂ）に示すように複数に分かれることをいう。分離操作は、現在画像上に仮表示されているアノテーションのうち分離する病変のアノテーションを指定する操作、及び、指定されたアノテーションに対応する病変を分離することを指示する操作である。例えば、図７（ｂ）に示すように、分離元の病変上のアノテーションを操作部２２により指定（右クリック等）し、この操作に応じてアノテーション近傍に仮表示される編集メニューから「分離」メニューを選択（クリック）し、この操作に応じて表示されるアノテーションを分離先の病変上に移動して長さを調整する操作である。なお、例えば、分離元のアノテーションを分離先にコピー（複製）して長さ等を調整する操作を分離操作としてもよい。
この分離操作に応じて、制御部２１は、指定された分離元のアノテーションの近傍に分離先のアノテーションを生成して表示し、当該分離先のアノテーションの位置及び／又は長さを調整する所定の操作が行われた場合に、当該操作に応じて分離先の病変情報を生成し、生成した分離先の病変情報及び指定されたアノテーションに対応する分離元の病変情報を表示部２３に表示されている現在画像に対応する病変情報として本登録する。具体的には、仮表示されている分離元の病変情報を表示部２３に表示されている現在画像の付帯情報に登録するとともに、分離先のアノテーションの位置や長さに応じて分離先の病変情報を生成し、現在画像の付帯情報に記録する。なお、分離先の病変識別情報は、分離元が分かる病変識別情報とすることが好ましい（例えば、図７（ｂ）に示すように、分離元の病変識別情報に分離したことを示す情報を付加する等）。また、表示されている現在画像の病変情報の登録済みの付帯情報を通信部２４を介して画像管理サーバー１０に送信し、付帯情報ＤＢ１５２の情報を更新させる。
なお、分離先のアノテーションを表示する場所は、上述の領域抽出アルゴリズム等を用いて自動的に表示位置を決定してもよい。
消失とは、図８（ａ）に示すように、過去に存在していた病変が、図８（ｂ）に示すように無くなることをいう。消失操作は、現在画像上に仮表示されているアノテーションを指定する所定の操作、及び、指定されたアノテーションに対応する病変が消失したことを示す所定の操作である。例えば、図８（ｂ）に示すように、仮表示されている消失した病変のアノテーションを操作部２２により指定（右クリック等）し、この操作に応じてアノテーション近傍に表示される編集メニューから「消失」メニューを選択（クリック）する操作である。なお、例えば、消失対象のアノテーションを削除（例えば、選択してDeleteキーを押す等）する操作を消失操作としてもよい。
この消失操作に応じて、制御部２１は、指定されたアノテーションに対応する病変が消失したことを示す情報を表示部２３に表示されている現在画像に対応する病変情報として本登録する。例えば、制御部２１は、仮表示されている消失操作された病変が消失したことを示す情報（例えば、Delete等の予め定めた情報）を病変情報として表示部２３に表示されている現在画像の付帯情報に記録する。また、表示されている現在画像の病変情報の登録済みの付帯情報を通信部２４を介して画像管理サーバー１０に送信し、付帯情報ＤＢ１５２の情報を更新させる。
なお、編集操作は、１つのアノテーションに対して複数回（複数種類）行うことができ、その都度本登録された病変情報が更新される。
ステップＳ８において、制御部２１は、操作部２２により画像切り替えを指示する操作（例えば、矢印キーの押下やマウスのホイール操作）が行われたか否かを判断する（ステップＳ８）。画像切り替えを指示する操作が行われたと判断した場合（ステップＳ８；ＹＥＳ）、制御部２１は、操作に応じて表示部２３に表示する現在画像を切り替え（ステップＳ９）、ステップＳ３に戻る。なお、対象検査が１枚の医用画像(例えば、単純Ｘ線画像)等である場合は、ステップＳ８、９の処理は省略される。
一方、ステップＳ８において、画像切り替えを指示する操作が行われていないと判断した場合（ステップＳ８；ＮＯ）、制御部２１は、操作部２２により読影が終了したことを示す所定の操作が行われたか否かを判断する（ステップＳ１０）。読影終了を示す所定の操作が行われていないと判断した場合（ステップＳ１０；ＮＯ）、ステップＳ４に戻る。
ステップＳ１０において、読影終了を示す所定の操作が行われたと判断した場合（ステップＳ１０；ＹＥＳ）、制御部２１は、ステップＳ２で取得された全ての病変情報について本登録が行われたか否かを判断する（ステップＳ１１）。ステップＳ２で取得された病変情報のうち本登録が未だ行われていない病変情報が存在すると判断した場合（ステップＳ１１；ＮＯ）、制御部２１は、表示部２３に「未登録の病変があります。本登録を行ってください。」等の警告メッセージを表示し（ステップＳ１２）、ステップＳ４に戻る。
一方、ステップＳ１１において、ステップＳ２で取得された全ての病変情報について本登録が行われたと判断した場合（ステップＳ１１；ＹＥＳ）、病変情報登録処理を終了する。
例えば、図９（ａ）に示す過去画像の病変情報を現在画像に表示すると、図９（ｂ）に示すようになり、ユーザーは、仮表示された過去の病変情報と現在画像の病変を見ることにより、病変の数、位置、長さ等の病変の変化を容易に把握することができる。また、病変上の２点を指定したり、過去の対応する病変の病変名を探したりする複雑な操作をすることなく、アノテーションの位置及び／又は長さを調整する等の簡易な操作で現在画像の病変情報の本登録を行うことができる。
以上説明したように、クライアント端末２０の制御部２１は、表示部２３に表示されている現在画像よりも前に同じ被写体を撮影することにより取得された過去画像において指摘された過去の病変情報を画像管理サーバー１０から取得し、取得された過去の病変情報（アノテーション等）を現在画像上に仮表示する。操作部２２により現在画像上に仮表示されている病変情報に対し、ダブルクリック等の当該病変情報をそのまま現在画像に対応する病変情報として記録することを指示する所定の操作が行われると、制御部２１は、当該病変情報をそのまま表示部２３に記憶されている現在画像に対応する病変情報として記録し、当該病変情報の編集を指示する所定の操作が行われた場合に、制御部２１は、操作に応じて病変情報を編集して医用画像に対応する病変情報として記録する。
従って、ユーザーは、病変の数、位置、大きさ等の病変の変化を容易に把握することができる。また、現在画像の病変の候補位置に表示された予め正解に近いサンプル（過去に指摘した病変の識別情報やアノテーション等）を現在画像の病変情報の本登録に再利用するため、病変を指摘する操作（アノテーション描画機能の選択→画像上の２点の選択）と紐付け（登録済みの過去の病変の識別情報の選択）を新たに行う必要がなく、仮表示されているサンプルの位置や長さを微調整したりする程度の簡易な操作で現在画像に対応する病変情報の記録が可能となる。そのため、例えば、画像上に複数の病変候補が存在する場合等、複雑な病変変化であってもユーザーがその変化を確認しつつ簡易な操作で病変変化の記録を行うことが可能となる。
なお、上記実施形態及び変形例における記述内容は、本発明に係る医用画像表示システムの好適な一例であり、これに限定されるものではない。
例えば、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。
その他、医用画像表示システムを構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
１００ 医用画像表示システム
１０ 画像管理サーバー
１５ 記憶部
１５１ 医用画像ＤＢ
１５２ 付帯情報ＤＢ
２０ クライアント端末
２１ 制御部
２２ 操作部
２３ 表示部
２４ 通信部
２５ ＲＡＭ
２６ 記憶部
２７ バス

Claims (6)

  1. 操作手段と、
    被写体を撮影することにより取得された医用画像を表示する表示手段と、
    前記医用画像を取得するよりも前に前記被写体を撮影することにより取得された過去画像に対応付けて記録されている、前記過去画像において指摘された過去の病変の識別情報、当該病変の大きさを計測したときの計測位置及び計測結果を含む過去の病変情報を取得する取得手段と、
    前記取得手段により取得された過去の病変情報に基づいて、前記医用画像上に、前記過去の病変の識別情報及び計測結果を仮表示するとともに、前記過去の病変の計測位置を示すアノテーションを仮表示する仮表示手段と、
    前記操作手段により、前記医用画像上に仮表示されているアノテーションに対し、当該アノテーションに対応する病変情報をそのまま前記医用画像に対応する病変情報として記録することを指示する所定の操作が行われた場合に、前記アノテーションに対応する病変情報をそのまま前記医用画像に対応する病変情報として記録し、前記医用画像上に仮表示されているアノテーションに対し、当該アノテーションに対応する過去の病変情報の編集を指示する所定の操作が行われた場合に、前記操作に応じて前記アノテーションに対応する病変情報を編集して前記医用画像に対応する病変情報として記録する記録手段と、
    を備え、
    前記記録手段は、前記操作手段により、前記医用画像上に仮表示されているアノテーションを指定する所定の操作、及び、前記指定されたアノテーションに対応する病変の融合先の病変を指定する所定の操作が行われた場合に、前記指定されたアノテーションに対応する病変情報を削除するとともに、前記融合先の病変に対応する病変情報に前記指定されたアノテーションに対応する病変が融合されたことを示す情報を付加して前記医用画像に対応する病変情報として記録する医用画像表示装置。
  2. 操作手段と、
    被写体を撮影することにより取得された医用画像を表示する表示手段と、
    前記医用画像を取得するよりも前に前記被写体を撮影することにより取得された過去画像に対応付けて記録されている、前記過去画像において指摘された過去の病変の識別情報、当該病変の大きさを計測したときの計測位置及び計測結果を含む過去の病変情報を取得する取得手段と、
    前記取得手段により取得された過去の病変情報に基づいて、前記医用画像上に、前記過去の病変の識別情報及び計測結果を仮表示するとともに、前記過去の病変の計測位置を示すアノテーションを仮表示する仮表示手段と、
    前記操作手段により、前記医用画像上に仮表示されているアノテーションに対し、当該アノテーションに対応する病変情報をそのまま前記医用画像に対応する病変情報として記録することを指示する所定の操作が行われた場合に、前記アノテーションに対応する病変情報をそのまま前記医用画像に対応する病変情報として記録し、前記医用画像上に仮表示されているアノテーションに対し、当該アノテーションに対応する過去の病変情報の編集を指示する所定の操作が行われた場合に、前記操作に応じて前記アノテーションに対応する病変情報を編集して前記医用画像に対応する病変情報として記録する記録手段と、
    を備え、
    前記記録手段は、前記操作手段により、前記医用画像上に仮表示されているアノテーションを指定する所定の操作、及び、前記指定されたアノテーションに対応する病変を分離することを指示する所定の操作が行われた場合に、前記指定された分離元のアノテーションの近傍に分離先のアノテーションを生成し、当該分離先のアノテーションの位置及び／又は長さを調整する所定の操作が行われた場合に、当該操作に応じて、前記指定されたアノテーションの病変が分離元であることを示す情報を含む前記分離先の病変情報を生成し、生成した分離先の病変情報及び前記指定されたアノテーションに対応する病変情報を前記医用画像に対応する病変情報として記録する医用画像表示装置。
  3. 前記記録手段は、前記操作手段により、前記医用画像上に仮表示されているアノテーションの位置及び／又は長さを調整する所定の操作が行われた場合に、当該操作に応じて前記アノテーションに対応する病変情報の計測位置及び／又は計測結果を調整して前記医用画像に対応する病変情報として記録する請求項１又は２に記載の医用画像表示装置。
  4. 前記操作手段により、前記表示手段に表示されている医用画像の読影が終了したことを示す所定の操作が行われた場合に、前記取得手段により取得された過去の病変情報のうち、前記医用画像の病変情報として記録されていない病変情報があるか否かを判断する判断手段と、
    前記判断手段により前記医用画像の病変情報として登録されていない病変情報があると判断された場合に、その旨を警告する警告手段と、
    を備える請求項１〜３の何れか一項に記載の医用画像表示装置。
  5. コンピューターを、
    被写体を撮影することにより取得された医用画像を表示する表示手段、
    前記医用画像を取得するよりも前に前記被写体を撮影することにより取得された過去画像に対応付けて記録されている、前記過去画像において指摘された過去の病変の識別情報、当該病変の大きさを計測したときの計測位置及び計測結果を含む過去の病変情報を取得する取得手段、
    前記取得手段により取得された過去の病変情報に基づいて、前記医用画像上に、前記過去の病変の識別情報及び計測結果を仮表示するとともに、前記過去の病変の計測位置を示すアノテーションを仮表示する仮表示手段、
    操作手段により、前記医用画像上に仮表示されているアノテーションに対し、当該アノテーションに対応する病変情報をそのまま前記医用画像に対応する病変情報として記録することを指示する所定の操作が行われた場合に、前記アノテーションに対応する病変情報をそのまま前記医用画像に対応する病変情報として記録し、前記医用画像上に仮表示されているアノテーションに対し、当該アノテーションに対応する過去の病変情報の編集を指示する所定の操作が行われた場合に、前記操作に応じて前記アノテーションに対応する病変情報を編集して前記医用画像に対応する病変情報として記録する記録手段、
    として機能させ、
    前記記録手段は、前記操作手段により、前記医用画像上に仮表示されているアノテーションを指定する所定の操作、及び、前記指定されたアノテーションに対応する病変の融合先の病変を指定する所定の操作が行われた場合に、前記指定されたアノテーションに対応する病変情報を削除するとともに、前記融合先の病変に対応する病変情報に前記指定されたアノテーションに対応する病変が融合されたことを示す情報を付加して前記医用画像に対応する病変情報として記録するプログラム。
  6. コンピューターを、
    被写体を撮影することにより取得された医用画像を表示する表示手段、
    前記医用画像を取得するよりも前に前記被写体を撮影することにより取得された過去画像に対応付けて記録されている、前記過去画像において指摘された過去の病変の識別情報、当該病変の大きさを計測したときの計測位置及び計測結果を含む過去の病変情報を取得する取得手段、
    前記取得手段により取得された過去の病変情報に基づいて、前記医用画像上に、前記過去の病変の識別情報及び計測結果を仮表示するとともに、前記過去の病変の計測位置を示すアノテーションを仮表示する仮表示手段、
    操作手段により、前記医用画像上に仮表示されているアノテーションに対し、当該アノテーションに対応する病変情報をそのまま前記医用画像に対応する病変情報として記録することを指示する所定の操作が行われた場合に、前記アノテーションに対応する病変情報をそのまま前記医用画像に対応する病変情報として記録し、前記医用画像上に仮表示されているアノテーションに対し、当該アノテーションに対応する過去の病変情報の編集を指示する所定の操作が行われた場合に、前記操作に応じて前記アノテーションに対応する病変情報を編集して前記医用画像に対応する病変情報として記録する記録手段、
    として機能させ、
    前記記録手段は、前記操作手段により、前記医用画像上に仮表示されているアノテーションを指定する所定の操作、及び、前記指定されたアノテーションに対応する病変を分離することを指示する所定の操作が行われた場合に、前記指定された分離元のアノテーションの近傍に分離先のアノテーションを生成し、当該分離先のアノテーションの位置及び／又は長さを調整する所定の操作が行われた場合に、当該操作に応じて、前記指定されたアノテーションの病変が分離元であることを示す情報を含む前記分離先の病変情報を生成し、生成した分離先の病変情報及び前記指定されたアノテーションに対応する病変情報を前記医用画像に対応する病変情報として記録するプログラム。
JP2015089976A 2015-04-27 2015-04-27 医用画像表示装置及びプログラム Expired - Fee Related JP6536153B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015089976A JP6536153B2 (ja) 2015-04-27 2015-04-27 医用画像表示装置及びプログラム
US15/130,708 US20160314247A1 (en) 2015-04-27 2016-04-15 Medical image displaying device and a non-transitory computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015089976A JP6536153B2 (ja) 2015-04-27 2015-04-27 医用画像表示装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2016202722A JP2016202722A (ja) 2016-12-08
JP6536153B2 true JP6536153B2 (ja) 2019-07-03

Family

ID=57147826

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015089976A Expired - Fee Related JP6536153B2 (ja) 2015-04-27 2015-04-27 医用画像表示装置及びプログラム

Country Status (2)

Country Link
US (1) US20160314247A1 (ja)
JP (1) JP6536153B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6716853B2 (ja) 2017-05-25 2020-07-01 日本電気株式会社 情報処理装置、制御方法、及びプログラム
CN110662477B (zh) 2017-05-25 2022-06-28 日本电气株式会社 信息处理装置、控制方法和程序
JP7420913B2 (ja) 2020-02-20 2024-01-23 富士フイルム株式会社 情報処理装置、方法およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4731127B2 (ja) * 2004-05-26 2011-07-20 株式会社日立メディコ 画像診断支援装置及び方法
JP2008259622A (ja) * 2007-04-11 2008-10-30 Fujifilm Corp レポート作成支援装置およびそのプログラム
JP5523891B2 (ja) * 2009-09-30 2014-06-18 富士フイルム株式会社 病変領域抽出装置、その作動方法およびプログラム
US9378331B2 (en) * 2010-11-19 2016-06-28 D.R. Systems, Inc. Annotation and assessment of images
JP6438395B2 (ja) * 2012-08-22 2018-12-12 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 効果的な表示及び報告のための画像資料に関連する以前の注釈の自動検出及び取り出し
EP2904589B1 (en) * 2012-10-01 2020-12-09 Koninklijke Philips N.V. Medical image navigation

Also Published As

Publication number Publication date
JP2016202722A (ja) 2016-12-08
US20160314247A1 (en) 2016-10-27

Similar Documents

Publication Publication Date Title
US8929627B2 (en) Examination information display device and method
JP5053690B2 (ja) 画像診断支援システム、及び画像診断支援プログラム
US8401259B2 (en) Image diagnosis support system
JP4960024B2 (ja) 医療画像管理方法ならびにそれを利用した医療画像管理装置
US9280818B2 (en) Medical report writing support system, medical report writing unit, and medical image observation unit
US20130093781A1 (en) Examination information display device and method
JP2008200139A (ja) 画像診断支援装置
JP2011092681A (ja) 医用画像処理装置および方法並びにプログラム
JP6719421B2 (ja) 学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラム
US11093699B2 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
JP2015016067A (ja) 画像表示方法および装置並びにプログラム
JP2019106122A (ja) 病院情報装置、病院情報システム及びプログラム
JP2009259106A (ja) 読影レポート作成支援システム
US10860894B2 (en) Learning data generation support apparatus, operation method of learning data generation support apparatus, and learning data generation support program
JP6536153B2 (ja) 医用画像表示装置及びプログラム
US8892577B2 (en) Apparatus and method for storing medical information
JP2008259661A (ja) 検査情報処理システム及び検査情報処理装置
JP2007260064A (ja) 表示制御装置および表示制御プログラム
JP2016071493A (ja) 医用画像保存処理装置および方法並びにプログラム
JP5228848B2 (ja) 画像表示装置
JP2023089277A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2017158913A (ja) 画像処理装置及びプログラム
JPWO2009063900A1 (ja) 医用画像表示装置及び表示制御方法
JP4810141B2 (ja) 画像管理装置及び画像管理方法
JP6841136B2 (ja) 医用画像表示装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190520

R150 Certificate of patent or registration of utility model

Ref document number: 6536153

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees