JP5618787B2 - レポート作成支援装置及びその作成支援方法、並びにプログラム - Google Patents

レポート作成支援装置及びその作成支援方法、並びにプログラム Download PDF

Info

Publication number
JP5618787B2
JP5618787B2 JP2010264922A JP2010264922A JP5618787B2 JP 5618787 B2 JP5618787 B2 JP 5618787B2 JP 2010264922 A JP2010264922 A JP 2010264922A JP 2010264922 A JP2010264922 A JP 2010264922A JP 5618787 B2 JP5618787 B2 JP 5618787B2
Authority
JP
Japan
Prior art keywords
image
diagnosis target
creation support
images
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010264922A
Other languages
English (en)
Other versions
JP2012118583A (ja
Inventor
義夫 飯塚
義夫 飯塚
佐藤 清秀
清秀 佐藤
将実 川岸
将実 川岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010264922A priority Critical patent/JP5618787B2/ja
Priority to US13/302,885 priority patent/US9117009B2/en
Publication of JP2012118583A publication Critical patent/JP2012118583A/ja
Application granted granted Critical
Publication of JP5618787B2 publication Critical patent/JP5618787B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Document Processing Apparatus (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明は、医用画像に関するレポートの作成を支援する技術に関する。
医師が医用画像を観察して画像診断を行った結果は、画像診断レポートにまとめられる。以前は、専用のレポート用紙に、画像所見と画像診断名を医師が手書きで記入していた。近年、医療業務の効率化を目的として医療文書の電子化が進み、画像診断レポートも電子的に作成される様になった。しかし、従来のレポート作成支援装置の多くは、依然として画像所見と画像診断名を自由文で入力させるもののため、医師は自由文を入力するために少なからず時間をかけており、レポート作成の負担が大きかった。
そこで、下記の特許文献1では、類似画像検索とレポート文の雛形を用いたレポート作成支援技術が提案されている。その提案において、レポート作成支援装置は、複数の(過去に作成された)症例画像に対するレポートに基づいて作成した、レポート文の雛形を保持している。診断対象である患者の医用画像(以下、診断対象画像と呼ぶ)が入力されると、レポート作成支援装置は、過去の症例画像から診断対象画像の類似画像検索を行う。そして、検索によって得られた1つの類似画像に対応するレポート文の雛形を取得し、これを表示する。そして、医師は、表示された雛形を修正することにより、レポート文を作成する手間を軽減できる。
従来の類似画像検索手法は、予め蓄積しておいた複数の症例画像の画像特徴と、診断対象画像の画像特徴を比較し、画像特徴間の類似度が最も高いものからいくつかの類似画像を選択する手法である。ただし、どの様な画像特徴を比較するのか、画像特徴間の類似度をどう定義するのか、類似度がどの程度大きければ(閾値がいくつであれば)類似画像と判断するのか、などの事項(以下、検索パラメータと呼ぶ)を適切に設定する必要がある。
特開2007−305107号公報
従来の類似画像検索手法では、検索パラメータを適切に設定できなければ、ユーザの感性に合った類似画像を検索できない恐れがあった。つまり、ユーザが類似していると感じる症例画像をほとんど検索できなかったり、あるいはユーザが類似していないと感じる症例画像を多数検索してしまったりすることがあった。そのため、ユーザの感性に合った類似画像を検索するためには、ユーザが自分自身で適切な検索パラメータを設定しなければならなかった。
ところが、一般に、画像特徴の種類は多数(数10種類以上)あり、類似度の定義方法も数種類以上あり、類似度が連続値であればその閾値は無限に変更可能である。従って、類似画像の検索結果を見ながら、ユーザの感性に合った類似画像が得られる検索パラメータを試行錯誤的に探す作業は、非常に手間のかかる作業であった。
上述の通り、従来の類似画像検索手法では、必ずしもユーザの感性に合った類似画像が検索できるとは限らないという課題があった。
更に、上記の特許文献1の手法では、類似画像検索によって複数の類似画像が得られた場合でも、診断対象画像のレポート作成支援に利用できるのは、1つの類似画像に対応するレポート文の雛形だけであった。すなわち、複数の類似画像に対応した複数のレポートから得られる情報を、同時に利用できないという課題があった。
本発明は、上述の問題点に鑑みてなされたものであり、ユーザの感性に合った類似画像検索が効率的に行え、かつ類似画像検索によって得られた類似画像に対応したレポートから得られる情報を同時に利用できる仕組みを提供することを目的とする。
本発明のレポート作成支援装置は、診断対象画像に係るレポートの作成を支援するレポート作成支援装置であって、ユーザが指定した複数の診断対象画像を同一グループとして識別するための条件であって前記ユーザが指定した複数の診断対象画像の全ての診断対象画像における画像特徴の値を含む連続した画像特徴の範囲に基づく画像特徴の条件を導出する導出手段と、前記導出手段によって得られた画像特徴の条件を用いて前記診断対象画像に類似する類似画像の検索条件を決定する決定手段と、前記検索条件を満たす1つ以上の類似画像をデータベースの中から検索する検索手段と、前記検索手段によって得られた1つ以上の類似画像に付与された画像所見から、所定の条件を満たす画像所見を抽出する抽出手段とを有する。
本発明のレポート作成支援装置における他の態様は、診断対象画像に係るレポートの作成を支援するレポート作成支援装置であって、ユーザが指定した複数の診断対象画像を同一グループとして識別するための第1の画像特徴の条件を導出する第1の導出手段と、ユーザがグループを指定していない診断対象画像の中から、前記第1の導出手段によって得られた第1の画像特徴の条件を満たす診断対象画像を検出する検出手段と、前記ユーザが指定した複数の診断対象画像および前記検出手段が検出した診断対象画像の全ての診断対象画像における画像特徴の値を含む連続した画像特徴の範囲に基づく第2の画像特徴の条件を導出する第2の導出手段と、前記第2の導出手段によって得られた第2の画像特徴の条件を用いて前記診断対象画像に類似する類似画像の検索条件を決定する決定手段と、前記検索条件を満たす1つ以上の類似画像をデータベースの中から検索する検索手段と、前記検索手段によって得られた1つ以上の類似画像に付与された画像所見から、所定の条件を満たす画像所見を抽出する抽出手段とを有する。
また、本発明は、上述したレポート作成支援装置によるレポート作成支援方法、及び、当該レポート作成支援方法をコンピュータに実行させるためのプログラムを含む。
本発明によれば、ユーザが選択した複数の診断対象画像に共通する画像特徴の条件を用いて類似画像検索が行われるので、ユーザの感性に合った類似画像検索が行われるという効果がある。更に、診断対象画像に与える画像所見を、類似画像検索によって得られた1つ以上の類似画像に付与された画像所見から抽出することで、蓋然性の高い画像所見をレポートに記入することができるという効果がある。
本発明の第1の実施形態に係るレポート作成支援装置を含むレポート作成支援システムのシステム構成の一例を示す模式図である。 本発明の第1の実施形態に係るレポート作成支援装置の画像表示画面例を示す図である。 本発明の第1の実施形態を示し、ユーザが同一グループとして分類したROI画像を同一グループとして識別するための、画像特徴の条件の第1の導出方法を例示する模式図である。 本発明の第1の実施形態を示し、ユーザが同一グループとして分類したROI画像を同一グループとして識別するための、画像特徴の条件の第2の導出方法を例示する模式図である。 本発明の第1の実施形態に係るレポート作成支援装置のレポート作成画面例を示す模式図である。 本発明の第1の実施形態に係るレポート作成支援装置の制御手順の一例を示すフローチャートである。 本発明の第1の実施形態を示し、図6−1のステップS604の詳細な制御手順の一例を示すフローチャートである。 本発明の第2の実施形態に係るレポート作成支援装置の第1の画像表示画面例を示す図である。 本発明の第2の実施形態を示し、図4に例示した画像特徴空間における図7に例示したROI画像の分布の一例を示す模式図である。 本発明の第2の実施形態を示し、図6−1のステップS604の詳細な制御手順の一例を示すフローチャートである。 本発明の第2の実施形態を示し、図8に例示した画像特徴の範囲R3が画像特徴の範囲R4に拡張される一例を示す模式図である。 本発明の第2の実施形態に係るレポート作成支援装置の第2の画像表示画面例を示す図である。
以下に、図面を参照しながら、本発明を実施するための形態(実施形態)について説明する。ただし、発明の範囲は図示例に限定されるものではない。
(第1の実施形態)
図1は、本発明の第1の実施形態に係るレポート作成支援装置を含むレポート作成支援システムのシステム構成の一例を示す模式図である。
図1に示すレポート作成支援システムは、レポート作成支援装置1、データベース2、及び、LAN3を有して構成されている。
レポート作成支援装置1は、制御部10、モニタ104、マウス105、及び、キーボード106を有する。また、制御部10は、中央処理装置(CPU)100、主メモリ101、磁気ディスク102、表示メモリ103、及び、共有バス107を有する。
CPU100は、主メモリ101に格納されたプログラムを実行することにより、データベース2との通信、レポート作成支援装置1の全体制御、等の各種制御を実行する。このCPU100は、主としてレポート作成支援装置1の各構成要素の動作を制御する。
主メモリ101は、CPU100が実行する制御プログラムの格納や、CPU100によるプログラム実行時の作業領域の提供を行う。
磁気ディスク102は、オペレーティングシステム(OS)、周辺機器のデバイスドライブ、後述する診断支援処理等を行うためのプログラムを含む各種アプリケーションソフト等を格納する。
表示メモリ103は、モニタ104のための表示用データを一時記憶する。モニタ104は、例えばCRTモニタや液晶モニタ等であり、表示メモリ103からのデータに基づいて画像等を表示する。
モニタ104は、CPU100の制御に基づいて、表示メモリ103に記憶されている表示用データの表示を行う。
マウス105及びキーボード106は、ユーザ(医師)によるポインティング入力及び文字等の入力をそれぞれ行う。上記各構成要素は、共有バス107により互いに通信可能に接続されている。
本実施形態において、レポート作成支援装置1は、LAN(Local Area Network)3を介して、データベース2から医用画像データ、画像特徴及び画像所見を読み出すことができる。ここで、医用画像データ、画像特徴及び画像所見は、夫々対応付けて保管されており、例えば医用画像データの識別子(画像ID)を検索キーとして、対応付けられた医用画像データ、画像特徴及び画像所見を読み出すことができる。
医用画像データの種類には、単純X線画像、X線CT画像、MRI画像、PET画像、SPECT画像、超音波画像などがある。通常、医用画像データは、DICOM規格と呼ばれる医用画像の通信・保管に関する国際標準規格に準拠したファイル(DICOMファイル)としてデータベース2に保管される。
なお、上述の装置構成は、一般的なコンピュータ及びその周辺装置を用いて構成することができる。また、図6−1及び図6−2を用いて後述する本発明に係るレポート作成支援装置の制御手順は、コンピュータ上で実行されるプログラムとして実現することができる。
図2は、本発明の第1の実施形態に係るレポート作成支援装置の画像表示画面例を示す図である。
図2において、モニタ104内の画像表示エリア210には、診断対象である患者の医用画像データが表示される。ここで、医用画像データが単純X線画像などの1枚の画像である場合には、その画像を画像表示エリア210に表示する。一方、医用画像データがCT画像やMRI画像などの複数枚の断面画像である場合には、ユーザの指示に従って選ばれた1枚の断面画像を画像表示エリア210に表示する。
ユーザは、マウス105やキーボード106を用いて指示を与えることにより、画像表示エリア210に表示された医用画像の注目領域(ROI)を指定できる。指定されたROI内の画像(ROI画像)は、診断対象画像として、未分類画像群表示エリア222に表示される。ROIの指定が終了したら、ユーザは、自分の感性に従って、未分類画像群表示エリア222上のROI画像を、類似画像を集めたグループに分類する。この操作は、例えば、同一グループに分類したいROI画像を、マウス105によるドラッグ&ドロップにより、未分類画像群表示エリア222から第1グループ表示エリア221に移動させることで行う。図2の例では、5つのROI(ROI A1〜A5)が指定され、そのうちのA1,A2,A3が同一グループ(第1グループ)として分類された状況を示している。
図2には、第1の類似画像を集めた第1グループ表示エリア221と、未分類のROI画像を集めた未分類画像群表示エリア222を示した。この際、図2には示さなかったが、更に、第2、第3、…の類似画像を集めるための第n(n≧2)グループ表示エリアを表示することで、ユーザがROI画像をn種類のグループと未分類画像群に分類できる様にする。
なお、図2の例では、画像表示エリア210に1枚の断面画像だけを表示していたが、非表示の直交3断面画像を表示してもよい。直交3断面画像上で医用画像の注目領域を指定することにより、3次元医用画像の注目領域(VOI)を指定できる。この場合、後述のROI画像をVOI画像に置き換え、ROI画像の画像特徴はVOI画像の画像特徴に置き換わる。
図3は、本発明の第1の実施形態を示し、ユーザが同一グループとして分類したROI画像を同一グループとして識別するための、画像特徴の条件の第1の導出方法を例示する模式図である。
ここでは、説明を簡単にするために、図3には画像特徴が2つ(XとY)しかない例を示しているが、以下の2つの画像特徴(2次元空間)に対する説明は、任意のm個の画像特徴(m次元空間、mは自然数)に容易に拡張できる。なお、それぞれの画像特徴は、正規化されており、画像特徴間のスケールは統一されているものとする。
ユーザが同一グループに指定したROI画像の夫々は、m個の画像特徴の夫々を座標軸としたm次元の画像特徴空間内における点として位置付けられる。そこで、ROI画像の座標の各座標軸での最小値と最大値を求め、これらの最小値と最大値によって囲まれる範囲(m次元の矩形)を、画像特徴の範囲R1とする。更に、画像特徴の範囲R1を所定のマージンだけ拡張する(最小値から所定値を減算し、最大値に所定値を加算する)ことにより、画像特徴の範囲R2を導出する。そして、ここでは、画像特徴の範囲R2内に存在することを、任意のROI画像を同一グループとして識別するための画像特徴の条件とする。
図3では、2つの画像特徴を座標軸とした2次元の画像特徴空間において、同一グループに分類された3つのROI画像(ROI A1〜A3)が、座標(xA1,yA1),(xA2,yA2),(xA3,yA3)に位置している例を示している。この図3の例では、X軸方向の最小値はxA2、最大値はxA3となり、Y軸方向の最小値はyA2、最大値はyA1となる。これらの値に基づいて、図3に示す画像特徴の範囲R1が定義され、更に、画像特徴の範囲R1にマージンを加えた画像特徴の範囲R2が定義される。
なお、画像特徴の範囲R1を拡張するマージンは、座標軸によらず固定値としてもよいが、座標軸ごとに異なる値としてもよい。例えば、画像特徴の範囲R1の各辺の長さ(座標軸ごとの最大値と最小値との差)を求め、各辺の長さを定数で割った値を各辺と平行な座標軸方向のマージンとして用いることができる。
画像特徴には様々なものがあるが、大別すると、異常陰影領域の形状特徴と濃度分布特徴に分けられる。異常陰影領域の形状特徴の例としては、サイズ(長径、面積、体積)、境界線の楕円率、境界線の不整度などが挙げられる。ここで、境界線の楕円率は、異常陰影領域がどの程度長細いか(円が潰れているか)を示す指標である。この境界線の楕円率は、異常陰影領域の境界線に最も一致する楕円形の形状を計算(楕円フィッティングと呼ばれる)した後、楕円形の長径と短径の比を計算することにより得られる。なお、異常陰影領域の境界線は、一般に知られた領域分割手法または境界線抽出手法(グラフカット法、ウォーターシェッド法、レベルセット法、スネークス法など)を用いて求めることができる。また、境界線の不整度は、異常陰影領域の境界線がどの程度不整(滑らかでない)かを示す指標である。この境界線の不整度は、前記楕円フィッティングにより得られた楕円形の境界線と、異常陰影領域の境界線とのずれ量(2つの境界線に挟まれた領域の面積)を計算することにより得られる。異常陰影領域の濃度分布特徴の例としては、平均濃度値、濃度値の分散、濃度値のヒストグラムなどが挙げられる。
図4は、本発明の第1の実施形態を示し、ユーザが同一グループとして分類したROI画像を同一グループとして識別するための、画像特徴の条件の第2の導出方法を例示する模式図である。
第2の導出方法において、画像特徴の範囲R1を求めるところまでは、第1の導出方法と同様なので説明を省略する。第2の導出方法では、画像特徴の範囲R1を求めた後、範囲R1の各辺の長さを所定の閾値と比較し、辺の長さが閾値以下であれば、その辺と平行な座標軸方向には、図3と同様の方法で画像特徴の範囲R1を所定のマージンだけ拡張する。逆に、辺の長さが閾値以上であれば、その辺と平行な座標軸方向には、画像特徴の範囲R1を無限に拡張する(つまり、範囲を制限しない)。そして、ここでは、拡張後の画像特徴の範囲R3を導出し、画像特徴の範囲R3内に存在することを、任意のROI画像を同一グループとして識別するための画像特徴の条件とする。これにより、ユーザが類似性を判断する上で重視しない画像特徴を、ROI画像を識別する画像特徴の条件から外すことができる。
図4では、図3と同様に画像特徴の範囲R1が定義された後に、座標軸ごとに領域の拡張が行われて範囲R3が定義される様子を示している。図4の例では、X軸方向における画像特徴の領域R1の辺の長さ(すなわち、xA3−xA2)は閾値以上、Y軸方向における画像特徴の領域R1の辺の長さ(すなわち、yA1−yA2)は閾値以下であると判定された場合を例示している。この場合、X軸方向には無限の拡張が行われ、Y軸方向には所定のマージンの拡張が行われる。その結果として、任意のROI画像を同一グループとして識別するための画像特徴の条件から、画像特徴Xが除外される。
なお、夫々の画像特徴を条件から除外するか否かの判定は、上記以外の他の方法で行ってもよい。例えば、同一グループに分類したROI画像の画像特徴の値の分散(図4の例の場合、xA1,xA2,xA3の分散やyA1,yA2,yA3の分散)に基づいて、それが所定の閾値以下か否かで判定してもよい。また、所定の閾値と比較するのではなく、画像特徴の範囲R1の各辺の長さや値の分散が大きなものから順に、所定の個数の画像特徴を除外するという方法を用いてもよい。同様に、同一グループに分類したROI画像間において、値がばらついている画像特徴を条件から除外する方法であれば、他のいずれの方法を用いてもよい。
図5は、本発明の第1の実施形態に係るレポート作成支援装置のレポート作成画面例を示す模式図である。
図5において、画像所見入力エリア510には、図2の説明で述べた第1グループ表示エリア221に分類された複数のROI画像に共通して見られる画像所見を入力するためのGUI(グラフィカル・ユーザ・インタフェース)が表示される。また、図2に不図示の第n(n≧2)グループ表示エリアが存在する場合には、各グループに対応した不図示の画像所見入力エリアが表示される。
画像所見入力エリア510に例示したGUIは、予め決められた複数の画像所見をテンプレート形式で入力するためのGUIとなっている。各行に1種類の画像所見が表示され、画像所見の種類ごとに予め決められた選択肢中の値が入力(選択)可能となっている。図5の例では、画像所見の種類として、「サイズ」、「全体形状」、「棘状突起」、「境界不整」などが表示されている。以下に、いくつかの画像所見の種類に対して、画像所見の値の例を示す。
「サイズ」の値 :0.8cm、1.5cm、2.4cm、など
「全体形状」の値:球形、類球形、分葉状、不整形、など
「棘状突起」の値:多い/強い、中程度、少ない/弱い、認めない、など
「境界不整」の値:多い/強い、中程度、少ない/弱い、認めない、など
図6−1及び図6−2を用いて後述する通り、レポート作成支援装置1は、類似画像検索によって得られた複数の類似画像に付与された画像所見を集計する。そして、出現率の高い画像所見を抽出してから、それらの抽出した画像所見を画像所見入力エリアに初期値として表示する。ユーザは、同一グループに属するROI画像を指定するだけで、適切な類似画像検索が実行され、類似画像から得られた蓋然性の高い画像所見が初期値として得られるので、レポートの作成効率が飛躍的に高まる。更に、ユーザは、前記初期値として入力された画像所見があまり適切でないと感じた場合には、任意の画像所見を手作業で修正することができるので、レポートの記載内容に責任を持つことができる。
図6−1は、本発明の第1の実施形態に係るレポート作成支援装置の制御手順の一例を示すフローチャートである。図6−1の例では、ユーザが指定した類似画像のグループはn個あるものとしている。
まず、ステップS601において、レポート作成支援装置1は、LAN3を介して診断対象である患者の医用画像データをデータベース2から読み出し、主メモリ101に一旦記憶する。そして、制御部10(或いはCPU100)は、これを表示メモリ103にコピーすることにより、モニタ104の画像表示エリア210に医用画像を表示する。この際、医用画像データが複数の断層画像から成る場合には、複数の断層画像はすべて主メモリ101に記憶される。その後、ユーザの指示に従って任意の断層画像を選択し、制御部10(或いはCPU100)は、選択された断層画像を表示メモリ103にコピーすることにより、モニタ104の画像表示エリア210に表示する。
続いて、ステップS602において、例えばCPU100は、図2で説明した様にユーザの指示に従って、画像表示エリア210に表示された医用画像の注目領域をROI画像として主メモリ101にコピーする。そして、指定された夫々のROI画像をモニタ104の未分類画像群表示エリア222に表示する。この際、ユーザはいつでも画像表示エリア210に表示する断層画像を変更することができる。すなわち、ROI画像は、任意の断層画像の任意の位置及び範囲からコピーすることができる。このステップS602では、更に、図2で説明したユーザの指示に従って、前記ROI画像を類似画像の第1〜第nグループまたは未分類画像群のいずれか1つに分類し、モニタ104の対応する表示エリア(例えば、第1グループ表示エリア221)に表示する。なお、キーボード106やマウス105を用いてユーザが「分類完了」の指示を与えることで、ステップS602からステップS603へと処理が移行する。
続いて、ステップS603において、例えばCPU100は、類似画像のグループに対するインデックスkに値1を代入する。
続いて、ステップS604において、例えばCPU100は、第kグループのROI画像を処理対象として、それらに共通する画像所見を求めて入力テンプレートの初期値としてモニタ104に表示する処理を行う。このステップS604の処理の詳細は、後述のステップS611〜S616(図6−2)で説明する。
続いて、ステップS605において、例えばCPU100は、前記インデックスkに値1を加算する。
続いて、ステップS606において、例えばCPU100は、前記インデックスkの値が、類似画像のグループ数nより大きいか否かを判断する。この判断の結果、kがn以下である場合にはステップS604に戻る。一方、ステップS606の判断の結果、kがnより大きい場合には、ステップS607に進む。
ステップS607に進むと、例えばCPU100は、各類似画像のグループに関してステップS604で設定された画像所見の初期値を修正するための、ユーザの操作入力を受け付ける。
続いて、ステップS608において、例えばCPU100は、各類似画像のグループのROI画像とユーザ修正後の画像所見とを、LAN3を介してデータベース2へと出力することにより保存する。その後、処理を終了する。
図6−2は、本発明の第1の実施形態を示し、図6−1のステップS604の詳細な制御手順の一例を示すフローチャートである。
まず、本実施形態のステップS604の処理では、ステップS611において、例えばCPU100は、第kグループに属する複数のROI画像の夫々に画像処理を施すことで、夫々のROI画像に関して所定の画像特徴を算出する。そして、図3または図4で説明した方法によって、複数のROI画像を同一グループとして識別するための画像特徴の条件を導出する。そして、前記画像特徴の条件を満たす画像特徴を有するROI画像であることを、類似画像の検索条件として決定する。
続いて、ステップS612において、例えばCPU100は、ステップS611で決定した類似画像の検索条件を用いて、LAN3を介してデータベース2(症例画像データベース)を検索し、第kグループのROI画像に関する類似画像を得る。ここで、データベース2には、過去の画像診断によって抽出された様々な症例のROI画像(症例画像)が蓄積されている。さらに、データベース2に蓄積された症例画像には、予め計算しておいた所定の画像特徴と、画像診断医によって付与された画像所見が対応付けて蓄積されている。ここでは、検索条件を満たす1つ以上の類似画像がデータベースの中から検索されるものとする。
このステップS612の類似画像検索によって、例えばr個の類似画像ROI B1〜Br(r≧2)が得られたとする。以下、r個の類似画像をROI Bi(1≦i≦r)と記す。添え字iは、類似画像のインデックスである。この時、レポート作成支援装置1はデータベース2から、r個の類似画像ROI Bi(1≦i≦r)と、各類似画像に付与された画像所見Fi1〜Fiqi(1≦i≦r,qi≧2)を受信する。添え字qiは、類似画像ROI Biに付与された画像所見の個数であり、類似ROI画像ごとに(インデックスiごとに)異なる値となる。
続いて、例えばCPU100は、ステップS612で得られた画像所見の中から、所定の条件を満たす画像所見を抽出する処理を実行する。本実施形態では、以下に示すステップS613,S614,S615の処理によって、出現率の高い画像所見を抽出する。まず、ステップS613において、例えばCPU100は、ステップS612で得られた画像所見Fi1〜Fiqi(1≦i≦r,qi≧2)に基づいて、画像所見の値ごとの出現頻度を集計する。これにより、例えばCPU100は、画像所見の値の夫々が類似画像に付与されている割合(出現率)を算出する。例えば、図5の例では、「全体形状」という画像所見の種類に対して、「全体形状:球形」、「全体形状:類球形」、「全体形状:分葉状」、「全体形状:不整形」の各値について、出現率を算出する。
続いて、ステップS614において、例えばCPU100は、ステップS613で得られた出現率の算出結果を参照し、出現率の高い画像所見の値を抽出する。すなわち、画像所見の種類ごとに画像所見の値の出現率を比較し、最も出現率の高い値を抽出する。例えば、「全体形状」という画像所見の種類において、「全体形状:球形」の出現率=0.3、「全体形状:類球形」の出現率=0.5、「全体形状:分葉状」の出現率=0.1、「全体形状:不整形」の出現率=0.1、であったとする。この場合、「全体形状」という画像所見の種類において、「全体形状:類球形」という値を、最も出現率の高い画像所見の値として抽出する。なお、ある所見の種類(例えば、「全体形状」)において、最も出現率の高い画像所見の値が2つ以上(例えば、「球形」と「類球形」)存在する場合には、例えば、最初に抽出された方を選択するなどして、ここではいずれか1つを選択する。
続いて、ステップS615において、例えばCPU100は、ステップS614で抽出した画像所見の値の出現率を所定の閾値と比較し、閾値以上の出現率を持つ画像所見の値だけを抽出する。例えば、出現率の閾値を0.3とした場合、前記ステップS614で抽出された「全体形状:類球形」の出現率=0.5であり、閾値(0.3)以上なので、本ステップでも「全体形状:類球形」は抽出される。
前記ステップS614及びS615により、画像所見の種類ごとに、出現率が最も高く、かつ閾値以上の出現率を持つ画像所見の値を抽出することができる。ただし、画像所見の種類によっては閾値以上の出現率を持つ画像所見の値がない場合があるので、そのような画像所見に関しては値が抽出されないことになる。
続いて、ステップS616において、例えばCPU100は、前記ステップS614及びS615により抽出された画像所見の値を、第kグループ用の画像所見入力エリア内の対応する画像所見入力テンプレートの初期値として表示(レポートに入力)する。図5の例では、「全体形状」、「棘状突起」、「境界不整」という3つの画像所見の種類において、夫々「類球形」、「認めない」、「多い/強い」という画像所見の値が抽出され、初期値として表示されている。一方、その他の画像所見の種類においては、閾値以上の出現率を持つ画像所見の値が抽出されなかったため、初期値として何も表示されていない。
以上のステップS611〜S616を経ることで、本実施形態に係る図6−1のステップS604の処理が実現される。
(第2の実施形態)
以下、図7〜11を用いて、また図2、6を参照して、本発明の第2の実施形態を説明する。ただし、第2の実施形態に係るレポート作成支援装置の装置構成例は、第1の実施形態と同様に図1によって示されるので、ここでは装置構成例の説明は省略する。
図7は、本発明の第2の実施形態に係るレポート作成支援装置の第1の画像表示画面例を示す図である。図7には、図2と同様の表示エリアを示した。ただし、図2に示した画像表示エリア210は省略している。
図7において、第1グループ表示エリア721には、図2と同様に、ユーザが自分の感性に従って分類した類似のROI画像(ROI A1〜A3)が表示されている。また、未分類画像群表示エリア722には、未分類のROI画像(ROI A4〜A8)が表示されている。
図8は、本発明の第2の実施形態を示し、図4に例示した画像特徴空間における図7に例示したROI画像の分布の一例を示す模式図である。
第1グループを識別するための画像特徴の条件を、第1の実施形態における第2の導出方法で導出すると、第1の実施形態と同様に画像特徴の範囲R3を得ることができる。ここで、図7で例示した未分類のROI画像の内、ROI A6及びA7が、画像特徴の範囲R3の範囲内に分布していたとする。本実施形態では、このような場合に、ROI A6及びA7は、まだユーザが分類を行っていないものの、本来は第1グループに分類されるべきROI画像であると判定し、これら未分類のROI画像を第1グループに自動的に分類するという処理を実行する。
図9は、本発明の第2の実施形態を示し、図6−1のステップS604の詳細な制御手順の一例を示すフローチャートである。
図9では、第kグループの条件を満たす未分類のROI画像を、自動的に第kグループに分類するための制御手順の一部を示している。同図では、図6−1に示した制御手順のステップS601〜S607の図示が省略されている。これら不図示のステップS601〜S607と、ステップS611、ステップS613〜S616は、いずれも第1の実施形態で説明した制御手順と同じなので、その説明を省略する。
図9において、図6−2のステップS611とステップS613の間に、ステップS911〜S913が追加されている部分が、図6−2で説明した制御手順と異なる。
まず、本実施形態のステップS604の処理では、ステップS611において、例えばCPU100は、第kグループに属する複数のROI画像の夫々に画像処理を施すことで、夫々のROI画像に関して所定の画像特徴を算出する。そして、図3または図4で説明した方法によって、複数のROI画像を同一グループとして識別するための画像特徴の条件を導出する。
続いて、ステップS911おいて、例えばCPU100は、未分類画像群表示エリアに表示された未分類のROI画像の夫々に画像処理を施すことで、夫々のROI画像に関して所定の画像特徴を算出する。そして、例えばCPU100は、前記ステップS611で導出した画像特徴の条件を満たすROI画像を、第kグループに追加するROI画像として検出する。図7及び図8の例では、ROI A6及びA7が検出される。
続いて、ステップS912において、例えばCPU100は、前記ステップS911で検出された未分類のROI画像を、未分類画像群表示エリアから第kグループ表示エリアに移動する。図7の例では、ROI A6及びA7が、未分類画像群表示エリア722から第1グループ表示エリア721に移動される。
続いて、ステップS913において、例えばCPU100は、ステップS611と同様の処理を実行することにより、第kグループに属する複数のROI画像から、画像特徴の条件を再度導出する。本ステップにおいて、画像特徴の条件を再度導出する理由は、前記ステップS912で第kグループに属するROI画像が増加した影響を考慮するためである。この影響を図8及び図10を用いて説明する。
図10は、本発明の第2の実施形態を示し、図8に例示した画像特徴の範囲R3が画像特徴の範囲R4に拡張される一例を示す模式図である。図8において、例えばROI A6が画像特徴の範囲R3の内部の境界付近に分布していた場合、前記ステップS913の処理によって、画像特徴の範囲R3はROI A6から所定のマージンだけ拡張され、画像特徴の範囲R4になる。そして、新たな画像特徴の条件は、画像特徴の範囲R4によって規定されることになる。
図11は、本発明の第2の実施形態に係るレポート作成支援装置の第2の画像表示画面例を示す図である。図9で述べた制御手順により、図10に示した結果が得られる。つまり、ユーザが分類したROI画像ROI A1〜A3に加えて、ユーザは未分類であったが画像特徴が類似していたROI画像ROI A6及びROI A7も、第1グループ表示エリア721に自動的に分類される。これにより、ユーザは類似したROI画像をいくつか分類しておけば、残りの類似したROI画像は自動的に分類されるので、ROI画像の分類においても作業を効率化することができる。
その後、図9において、図6−2のステップS613〜S616を経ることで、本実施形態に係る図6−1のステップS604の処理が実現される。
以上説明した通り、本発明に係るレポート作成支援装置1によれば、ユーザが選択した複数の診断対象画像に共通する画像特徴の条件を用いて類似画像検索が行われるので、ユーザの感性に合った類似画像検索が行われるという効果がある。更に、類似画像検索によって得られた1つ以上の類似画像に高頻度で付与された画像所見を抽出することで、蓋然性の高い画像所見をレポートに記入することができるという効果がある。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。
1 レポート作成支援装置、2 データベース、3 LAN(Local Area Network)、10 制御部、100 中央処理装置(CPU)、101 主メモリ、102 磁気ディスク、103 表示メモリ、104 モニタ、105 マウス、106 キーボード、107 共有バス

Claims (7)

  1. 診断対象画像に係るレポートの作成を支援するレポート作成支援装置であって、
    ユーザが指定した複数の診断対象画像を同一グループとして識別するための条件であって前記ユーザが指定した複数の診断対象画像の全ての診断対象画像における画像特徴の値を含む連続した画像特徴の範囲に基づく画像特徴の条件を導出する導出手段と、
    前記導出手段によって得られた画像特徴の条件を用いて前記診断対象画像に類似する類似画像の検索条件を決定する決定手段と、
    前記検索条件を満たす1つ以上の類似画像をデータベースの中から検索する検索手段と、
    前記検索手段によって得られた1つ以上の類似画像に付与された画像所見から、所定の条件を満たす画像所見を抽出する抽出手段と
    を有することを特徴とするレポート作成支援装置。
  2. 診断対象画像に係るレポートの作成を支援するレポート作成支援装置であって、
    ユーザが指定した複数の診断対象画像を同一グループとして識別するための第1の画像特徴の条件を導出する第1の導出手段と、
    ユーザがグループを指定していない診断対象画像の中から、前記第1の導出手段によって得られた第1の画像特徴の条件を満たす診断対象画像を検出する検出手段と、
    前記ユーザが指定した複数の診断対象画像および前記検出手段が検出した診断対象画像の全ての診断対象画像における画像特徴の値を含む連続した画像特徴の範囲に基づく第2の画像特徴の条件を導出する第2の導出手段と、
    前記第2の導出手段によって得られた第2の画像特徴の条件を用いて前記診断対象画像に類似する類似画像の検索条件を決定する決定手段と、
    前記検索条件を満たす1つ以上の類似画像をデータベースの中から検索する検索手段と、
    前記検索手段によって得られた1つ以上の類似画像に付与された画像所見から、所定の条件を満たす画像所見を抽出する抽出手段と
    を有することを特徴とするレポート作成支援装置。
  3. 前記抽出手段によって得られた画像所見を、前記複数の診断対象画像に共通する画像所見としてレポートに入力する入力手段を更に有することを特徴とする請求項1または2に記載のレポート作成支援装置。
  4. 前記入力手段は、前記抽出手段によって画像所見が抽出されなかった場合、前記レポートにおいて前記複数の診断対象画像に共通する画像所見を空にすることを特徴とする請求項3に記載のレポート作成支援装置。
  5. 診断対象画像に係るレポートの作成を支援するレポート作成支援装置によるレポート作成支援方法であって、
    前記レポート作成支援装置の導出手段が、ユーザが指定した複数の診断対象画像を同一グループとして識別するための条件であって前記ユーザが指定した複数の診断対象画像の全ての診断対象画像における画像特徴の値を含む連続した画像特徴の範囲に基づく画像特徴の条件を導出する導出ステップと、
    前記レポート作成支援装置の決定手段が、前記導出ステップによって得られた画像特徴の条件を用いて前記診断対象画像に類似する類似画像の検索条件を決定する決定ステップと、
    前記レポート作成支援装置の検索手段が、前記検索条件を満たす1つ以上の類似画像をデータベースの中から検索する検索ステップと、
    前記レポート作成支援装置の抽出手段が、前記検索ステップによって得られた1つ以上の類似画像に付与された画像所見から、所定の条件を満たす画像所見を抽出する抽出ステップと
    を有することを特徴とするレポート作成支援方法。
  6. 診断対象画像に係るレポートの作成を支援するレポート作成支援装置によるレポート作成支援方法であって、
    前記レポート作成支援装置の第1の導出手段が、ユーザが指定した複数の診断対象画像を同一グループとして識別するための第1の画像特徴の条件を導出する第1の導出ステップと、
    前記レポート作成支援装置の検出手段が、ユーザがグループを指定していない診断対象画像の中から、前記第1の導出ステップによって得られた第1の画像特徴の条件を満たす診断対象画像を検出する検出ステップと、
    前記レポート作成支援装置の第2の導出手段が、前記ユーザが指定した複数の診断対象画像および前記検出ステップが検出した診断対象画像の全ての診断対象画像における画像特徴の値を含む連続した画像特徴の範囲に基づく第2の画像特徴の条件を導出する第2の導出ステップと、
    前記レポート作成支援装置の決定手段が、前記第2の導出ステップによって得られた第2の画像特徴の条件を用いて前記診断対象画像に類似する類似画像の検索条件を決定する決定ステップと、
    前記レポート作成支援装置の検索手段が、前記検索条件を満たす1つ以上の類似画像をデータベースの中から検索する検索ステップと、
    前記レポート作成支援装置の抽出手段が、前記検索ステップによって得られた1つ以上の類似画像に付与された画像所見から、所定の条件を満たす画像所見を抽出する抽出ステップと
    を有することを特徴とするレポート作成支援方法。
  7. 請求項5または6に記載のレポート作成支援方法の各ステップをコンピュータに実行させるためのプログラム。
JP2010264922A 2010-11-29 2010-11-29 レポート作成支援装置及びその作成支援方法、並びにプログラム Active JP5618787B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010264922A JP5618787B2 (ja) 2010-11-29 2010-11-29 レポート作成支援装置及びその作成支援方法、並びにプログラム
US13/302,885 US9117009B2 (en) 2010-11-29 2011-11-22 Report creation support apparatus, creation support method thereof and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010264922A JP5618787B2 (ja) 2010-11-29 2010-11-29 レポート作成支援装置及びその作成支援方法、並びにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014190557A Division JP5863916B2 (ja) 2014-09-18 2014-09-18 レポート作成支援装置及びその作成支援方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2012118583A JP2012118583A (ja) 2012-06-21
JP5618787B2 true JP5618787B2 (ja) 2014-11-05

Family

ID=46126689

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010264922A Active JP5618787B2 (ja) 2010-11-29 2010-11-29 レポート作成支援装置及びその作成支援方法、並びにプログラム

Country Status (2)

Country Link
US (1) US9117009B2 (ja)
JP (1) JP5618787B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120230560A1 (en) * 2011-03-09 2012-09-13 Pattern Analysis, Inc. Scheme for detection of fraudulent medical diagnostic testing results through image recognition
EP2506173B1 (en) * 2011-03-28 2020-01-01 Canon Kabushiki Kaisha Medical diagnosis support apparatus and medical diagnosis support method
JP5967968B2 (ja) * 2012-02-14 2016-08-10 キヤノン株式会社 医療診断支援システム、医療診断支援装置、情報処理方法、及びプログラム
JP5389972B2 (ja) * 2012-03-30 2014-01-15 楽天株式会社 データ処理システム、データ処理システムの制御方法、ユーザ装置、ユーザ装置の制御方法、データ処理装置、データ処理装置の制御方法、プログラム、及び情報記憶媒体
JP6071338B2 (ja) * 2012-08-30 2017-02-01 キヤノン株式会社 医療診断支援装置、医療診断支援方法及びプログラム
JP6362061B2 (ja) * 2013-07-10 2018-07-25 キヤノン株式会社 診断支援システム、その作動方法、およびプログラム
JP6261218B2 (ja) * 2013-07-17 2018-01-17 キヤノン株式会社 表示処理装置、表示処理方法及びプログラム、並びに、画像分類装置
JP6099592B2 (ja) * 2014-03-27 2017-03-22 富士フイルム株式会社 類似症例検索装置及び類似症例検索プログラム
JP6099593B2 (ja) * 2014-03-27 2017-03-22 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP6109778B2 (ja) * 2014-03-27 2017-04-05 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP6433219B2 (ja) * 2014-09-26 2018-12-05 株式会社日立製作所 超音波診断装置
JP6594033B2 (ja) * 2015-05-14 2019-10-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6646395B2 (ja) 2015-09-28 2020-02-14 キヤノン株式会社 情報処理装置及びその方法、情報処理システム、コンピュータプログラム
KR20190054454A (ko) * 2017-11-13 2019-05-22 삼성전자주식회사 인공 신경망의 양자화 방법 및 장치
US10783634B2 (en) 2017-11-22 2020-09-22 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
US10799189B2 (en) 2017-11-22 2020-10-13 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
US11049250B2 (en) * 2017-11-22 2021-06-29 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
JP7426908B2 (ja) * 2020-06-22 2024-02-02 キヤノン株式会社 医用情報処理装置、医用情報処理システム、医用情報処理方法、およびプログラム
EP4310853A4 (en) * 2021-03-19 2024-09-04 Fujifilm Corp INFORMATION MANAGEMENT DEVICE, METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, METHOD, AND PROGRAM

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4074366B2 (ja) * 1998-02-24 2008-04-09 コニカミノルタビジネステクノロジーズ株式会社 画像検索装置及び方法並びに画像検索プログラムを記録した記録媒体
JP4021179B2 (ja) * 2000-11-29 2007-12-12 富士通株式会社 診断支援プログラム、診断支援プログラムを記録したコンピュータ読取可能な記録媒体、診断支援装置及び診断支援方法
US7538761B2 (en) * 2002-12-12 2009-05-26 Olympus Corporation Information processor
JP2005185560A (ja) * 2003-12-25 2005-07-14 Konica Minolta Medical & Graphic Inc 医用画像処理装置及び医用画像処理システム
JP5128154B2 (ja) 2006-04-10 2013-01-23 富士フイルム株式会社 レポート作成支援装置、レポート作成支援方法およびそのプログラム
JP4976164B2 (ja) * 2007-03-02 2012-07-18 富士フイルム株式会社 類似症例検索装置、方法、およびプログラム
JP4905967B2 (ja) * 2007-03-02 2012-03-28 富士フイルム株式会社 類似症例検索装置、方法、およびプログラム
JP5153281B2 (ja) 2007-09-28 2013-02-27 キヤノン株式会社 診断支援装置及びその制御方法

Also Published As

Publication number Publication date
US9117009B2 (en) 2015-08-25
US20120134555A1 (en) 2012-05-31
JP2012118583A (ja) 2012-06-21

Similar Documents

Publication Publication Date Title
JP5618787B2 (ja) レポート作成支援装置及びその作成支援方法、並びにプログラム
US9514416B2 (en) Apparatus and method of diagnosing a lesion using image data and diagnostic models
JP5383431B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10593430B2 (en) Method and recording medium
KR102043130B1 (ko) 컴퓨터 보조 진단 방법 및 장치
US20050197567A1 (en) Method and system for intelligent qualitative and quantitative analysis of digital radiography softcopy reading
JP5661890B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20070092142A1 (en) Automatic significant image generation based on image characteristics
JP5677521B2 (ja) 情報処理装置、情報処理方法、プログラムおよび記憶媒体
JP2010165127A (ja) 情報処理装置および情報処理方法
US10706534B2 (en) Method and apparatus for classifying a data point in imaging data
JP2014029644A (ja) 類似症例検索装置および類似症例検索方法
US20190108175A1 (en) Automated contextual determination of icd code relevance for ranking and efficient consumption
US11062448B2 (en) Machine learning data generation support apparatus, operation method of machine learning data generation support apparatus, and machine learning data generation support program
CN109564773A (zh) 用于自动检测关键图像的系统和方法
JP2017191469A (ja) 診断支援装置、情報処理方法、診断支援システム及びプログラム
JP5864942B2 (ja) 画像処理装置及び画像処理方法
CN111341408A (zh) 影像报告模板的生成方法、计算机设备和存储介质
JP2024528381A (ja) 医用画像データの自動追跡読影方法及びシステム
CN117711576A (zh) 用于提供医学报告的模板数据结构的方法和系统
US20220391599A1 (en) Information saving apparatus, method, and program and analysis record generation apparatus, method, and program
JP5863916B2 (ja) レポート作成支援装置及びその作成支援方法、並びにプログラム
CN117581310A (zh) 用于医学图像数据的自动跟踪读取的方法和系统
JP6527614B2 (ja) 画像処理装置及び画像処理装置の作動方法
JP2022001241A (ja) 医用情報処理装置、医用情報処理システム、医用情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140819

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140916

R151 Written notification of patent or utility model registration

Ref document number: 5618787

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151