JP5764220B2 - 症例ごとの代表画像及び読影情報を生成する方法、装置及びコンピュータプログラム - Google Patents

症例ごとの代表画像及び読影情報を生成する方法、装置及びコンピュータプログラム Download PDF

Info

Publication number
JP5764220B2
JP5764220B2 JP2013549143A JP2013549143A JP5764220B2 JP 5764220 B2 JP5764220 B2 JP 5764220B2 JP 2013549143 A JP2013549143 A JP 2013549143A JP 2013549143 A JP2013549143 A JP 2013549143A JP 5764220 B2 JP5764220 B2 JP 5764220B2
Authority
JP
Japan
Prior art keywords
image
feature
vector
wavelet
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013549143A
Other languages
English (en)
Other versions
JPWO2013088807A1 (ja
Inventor
中野　宏毅
宏毅 中野
由美 森
由美 森
意弘 土居
意弘 土居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP2013549143A priority Critical patent/JP5764220B2/ja
Publication of JPWO2013088807A1 publication Critical patent/JPWO2013088807A1/ja
Application granted granted Critical
Publication of JP5764220B2 publication Critical patent/JP5764220B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、記憶してある複数の画像に基づいて、症例ごとの代表画像及び読影情報を生成する方法、装置及びコンピュータプログラムに関する。
医療行為において、Ｘ線撮像により取得した画像に基づいて患者の体内の状態を把握することが重要である。患者をＸ線撮像した画像と、過去に撮像されたＸ線画像とを比較することにより、患者の症状の原因を特定し、適切な医療行為を選択することにより、患者の症状の早期改善を図ることができる。
撮像したＸ線画像から患者の症状を特定する場合、過去に撮像して記憶してある画像のうち類似する画像を検索することにより、患者の症状がどの症例と類似しているか確認することができる。例えば特許文献１では、診断対象画像から得られた特徴量に基づいて類似する症例画像及び症例データを検索する類似症例検索装置が開示されている。
特開２００７−２７９９４２号公報
しかし、特許文献１に開示してある類似症例検索装置では、患者を撮像した画像と類似している画像を検索することはできるが、通常は類似している画像が複数検索される。類似している順に表示させることはできるものの、画像の特徴が類似していても症状の異なる画像も多く検索されるため、場合によっては症状を特定することが困難になるおそれがあるという問題点があった。
また、症例ごとにクラス化して記憶してある画像から検索することはできても、代表的な画像がどの画像であるか特定することができず、症例のガイドライン用の画像として、貴重な過去の画像を用いることができない。
本発明は斯かる事情に鑑みてなされたものであり、記憶してある過去の画像に基づいて、症例ごとの代表画像及び読影情報を生成する方法、装置及びコンピュータプログラムを提供することを目的とする。
上記目的を達成するために第１発明に係る方法は、過去の症例に基づく医用画像の中から、症例ごとに症例を代表する代表画像及び読影情報を生成する装置で実行することが可能な方法であって、過去に撮像して記憶してある複数の画像のウェーブレット特徴を算出するステップと、記憶してある画像ごとの読影情報に含まれるキーワードを抽出するステップと、記憶してある画像に対応付けて、算出したウェーブレット特徴及び抽出したキーワードを記憶するステップと、抽出したキーワードに基づいて、記憶してある画像を分類して複数のグループを生成するステップと、生成したグループに含まれるキーワードに対応する各画像のウェーブレット特徴に基づく特徴ベクトルの重心ベクトルを算出するステップと、算出した重心ベクトルと、前記グループに含まれるキーワードに対応する各画像のウェーブレット特徴に基づく特徴ベクトルとの間の空間距離を算出するステップと、算出した空間距離が最も小さい画像及び該画像に対応付けられている読影情報を前記グループの代表画像として記憶するステップとを含む。
また、第２発明に係る方法は、第１発明において、前記ウェーブレット特徴として、２次元のガボールウェーブレット特徴を算出する。
また、第３発明に係る方法は、第１又は第２発明において、画像ごとにＭ（Ｍは２以上の自然数）個の前記ウェーブレット特徴を算出し、それぞれ二値化することによりＭ次元のビット列に換算し、すべての画像について度数分布ベクトルを算出するステップを含み、算出した度数分布ベクトルと前記重心ベクトルとの角度として前記空間距離を算出する。
次に、上記目的を達成するために第４発明に係る装置は、過去の症例に基づく医用画像の中から、症例ごとに症例を代表する代表画像及び読影情報を生成する装置であって、過去に撮像して記憶してある複数の画像のウェーブレット特徴を算出するウェーブレット特徴算出手段と、記憶してある画像ごとの読影情報に含まれるキーワードを抽出するキーワード抽出手段と、記憶してある画像に対応付けて、算出したウェーブレット特徴及び抽出したキーワードを記憶する情報記憶手段と、抽出したキーワードに基づいて、記憶してある画像を分類して複数のグループを生成するグループ生成手段と、生成したグループに含まれるキーワードに対応する各画像のウェーブレット特徴に基づく特徴ベクトルの重心ベクトルを算出する重心ベクトル算出手段と、算出した重心ベクトルと、前記グループに含まれるキーワードに対応する各画像のウェーブレット特徴に基づく特徴ベクトルとの間の空間距離を算出する空間距離算出手段と、算出した空間距離が最も小さい画像及び該画像に対応付けられている読影情報を前記グループの代表画像として記憶する代表画像記憶手段とを備える。
また、第５発明に係る装置は、第４発明において、前記ウェーブレット特徴算出手段は、前記ウェーブレット特徴として、２次元のガボールウェーブレット特徴を算出する。
また、第６発明に係る装置は、第４又は第５発明において、画像ごとにＭ（Ｍは２以上の自然数）個の前記ウェーブレット特徴を算出し、それぞれ二値化することによりＭ次元のビット列に換算し、すべての画像について度数分布ベクトルを算出する度数分布ベクトル算出手段を備え、前記空間距離算出手段は、算出した度数分布ベクトルと前記重心ベクトルとの角度として前記空間距離を算出する。
次に、上記目的を達成するために第７発明に係るコンピュータプログラムは、過去の症例に基づく医用画像の中から、症例ごとに症例を代表する代表画像及び読影情報を生成する装置で実行することが可能なコンピュータプログラムであって、前記装置を、過去に撮像して記憶してある複数の画像のウェーブレット特徴を算出するウェーブレット特徴算出手段、記憶してある画像ごとの読影情報に含まれるキーワードを抽出するキーワード抽出手段、記憶してある画像に対応付けて、算出したウェーブレット特徴及び抽出したキーワードを記憶する情報記憶手段、抽出したキーワードに基づいて、記憶してある画像を分類して複数のグループを生成するグループ生成手段、生成したグループに含まれるキーワードに対応する各画像のウェーブレット特徴に基づく特徴ベクトルの重心ベクトルを算出する重心ベクトル算出手段、算出した重心ベクトルと、前記グループに含まれるキーワードに対応する各画像のウェーブレット特徴に基づく特徴ベクトルとの間の空間距離を算出する空間距離算出手段、及び算出した空間距離が最も小さい画像及び該画像に対応付けられている読影情報を前記グループの代表画像として記憶する代表画像記憶手段として機能させる。
また、第８発明に係るコンピュータプログラムは、第７発明において、前記ウェーブレット特徴算出手段を、前記ウェーブレット特徴として、２次元のガボールウェーブレット特徴を算出する手段として機能させる。
また、第９発明に係るコンピュータプログラムは、第７又は第８発明において、前記装置を、画像ごとにＭ（Ｍは２以上の自然数）個の前記ウェーブレット特徴を算出し、それぞれ二値化することによりＭ次元のビット列に換算し、すべての画像について度数分布ベクトルを算出する度数分布ベクトル算出手段として機能させ、前記空間距離算出手段を、算出した度数分布ベクトルと前記重心ベクトルとの角度として前記空間距離を算出する手段として機能させる。
本発明によれば、記憶してある医用画像の特徴を示すウェーブレット特徴を特徴ベクトルとして、症例ごとに特徴ベクトルとして重心ベクトルを算出し、重心ベクトルとの間の空間距離が最も短い特徴ベクトルを有する画像を代表画像として記憶するので、典型的な症例を示す画像を症例のガイドラインとして用いることができ、医師の経験、熟練に左右されることなく、一定の質で患者を診断することが可能となる。
本発明の実施の形態に係る症例画像生成装置の構成を模式的に示すブロック図である。 本発明の実施の形態に係る症例画像生成装置の機能ブロック図である。 本発明の実施の形態に係る症例画像生成装置の画像内の座標設定の説明図である。 二次元のガボールウェーブレット関数の例示図である。 本発明の実施の形態に係る症例画像生成装置の二次元のガボールウェーブレット関数の方向を示す模式図である。 本発明の実施の形態に係る症例画像生成装置のビジュアルワード記憶部に記憶されるビジュアルワードのデータ構造の例示図である。 本発明の実施の形態に係る症例画像生成装置のキーワード抽出の例示図である。 本発明の実施の形態に係るヒストグラムの例示図である。 本発明の実施の形態に係る症例画像生成装置の代表画像表示画面の例示図である。 本発明の実施の形態に係る症例画像生成装置のＣＰＵの処理手順を示すフローチャートである。
以下、本発明の実施の形態に係る、過去の症例に基づく医用画像の中から、症例ごとの代表画像及び読影情報を生成する症例画像生成装置について、図面に基づいて具体的に説明する。以下の実施の形態は、特許請求の範囲に記載された発明を限定するものではなく、実施の形態の中で説明されている特徴的事項の組み合わせの全てが解決手段の必須事項であるとは限らないことは言うまでもない。
また、本発明は多くの異なる態様にて実施することが可能であり、実施の形態の記載内容に限定して解釈されるべきものではない。実施の形態を通じて同じ要素には同一の符号を付している。
以下の実施の形態では、コンピュータシステムにコンピュータプログラムを導入した装置について説明するが、当業者であれば明らかな通り、本発明はその一部をコンピュータで実行することが可能なコンピュータプログラムとして実施することができる。したがって、本発明は、過去の症例に基づく医用画像の中から、症例ごとの代表画像及び読影情報を生成する症例画像生成装置というハードウェアとしての実施の形態、ソフトウェアとしての実施の形態、又はソフトウェアとハードウェアとの組み合わせの実施の形態をとることができる。コンピュータプログラムは、ハードディスク、ＤＶＤ、ＣＤ、光記憶装置、磁気記憶装置等の任意のコンピュータで読み取ることが可能な記録媒体に記録することができる。
本発明の実施の形態によれば、記憶してある医用画像の特徴を示すウェーブレット特徴を特徴ベクトルとして、症例ごとに特徴ベクトルとして重心ベクトルを算出し、重心ベクトルとの間の空間距離が最も短い特徴ベクトルを有する画像を代表画像として記憶するので、典型的な症例を示す画像を症例のガイドラインとして用いることができ、医師の経験、熟練に左右されることなく、一定の質で患者を診断することが可能となる。
図１は、本発明の実施の形態に係る症例画像生成装置の構成を模式的に示すブロック図である。本発明の実施の形態に係る症例画像生成装置１は、少なくともＣＰＵ（中央演算装置）１１、メモリ１２、記憶装置１３、Ｉ／Ｏインタフェース１４、ビデオインタフェース１５、可搬型ディスクドライブ１６、通信インタフェース１７及び上述したハードウェアを接続する内部バス１８で構成されている。
ＣＰＵ１１は、内部バス１８を介して症例画像生成装置１の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置１３に記憶されたコンピュータプログラム１００に従って、種々のソフトウェア的機能を実行する。メモリ１２は、ＳＲＡＭ、ＳＤＲＡＭ等の揮発性メモリで構成され、コンピュータプログラム１００の実行時にロードモジュールが展開され、コンピュータプログラム１００の実行時に発生する一時的なデータ等を記憶する。
記憶装置１３は、内蔵される固定型記憶装置（ハードディスク）、ＲＯＭ等で構成されている。記憶装置１３に記憶されたコンピュータプログラム１００は、プログラム及びデータ等の情報を記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体９０から、可搬型ディスクドライブ１６によりダウンロードされ、実行時には記憶装置１３からメモリ１２へ展開して実行される。もちろん、通信インタフェース１７を介して接続されている外部コンピュータからダウンロードされたコンピュータプログラムであっても良い。
記憶装置１３は、医用画像記憶部１３１、読影情報記憶部１３２、ビジュアルワード記憶部１３３、度数分布情報記憶部１３４、及び症例画像データベース１３５を備える。医用画像記憶部１３１は、Ｘ線撮像した過去の画像データを、読影情報を識別する識別情報に対応付けて記憶してある。
読影情報記憶部１３２は、過去の医用画像に対して、医師が読影して診断した結果を記憶してある。例えば「左肺野上葉に結節影が認められる。扁平上皮癌の疑い。ＨＲ−ＣＴにて精密検査を指示」等の医師の診断結果をテキストデータとして、識別情報に対応付けて記憶する。
ビジュアルワード記憶部１３３は、後述するガボールウェーブレット特徴群をビジュアルワードとして記憶する。度数分布情報記憶部１３４は、算出したウェーブレット特徴を二値化してＭ次元のビット列に換算した値の度数分布ベクトルを特徴ベクトルとして記憶する。
症例画像データベース１３５は、症例ごとに最も典型的な画像である代表画像、及び代表画像に対応する読影情報をデータベース化して記憶する。症例画像データベース１３５は、症例のガイドラインとして機能し、症例ごとに典型的な画像を抽出することができるので、医師の経験、熟練等に左右されることなく、一定の質で患者を診断することが可能となる。
通信インタフェース１７は内部バス１８に接続されており、インターネット、ＬＡＮ、ＷＡＮ等の外部のネットワークに接続されることにより、外部コンピュータ等とデータ送受信を行うことが可能となっている。
Ｉ／Ｏインタフェース１４は、キーボード２１、マウス２２等の入力装置と接続され、データの入力を受け付ける。ビデオインタフェース１５は、ＣＲＴディスプレイ、液晶ディスプレイ等の表示装置２３と接続され、表示装置２３に代表画像及び代表画像に対応する読影情報を表示する。
図２は、本発明の実施の形態に係る症例画像生成装置１の機能ブロック図である。図２において、症例画像生成装置１のウェーブレット特徴算出部２０１は、過去に撮像して記憶してある複数の画像のウェーブレット特徴を算出する。本実施の形態では、ウェーブレット特徴としてガボールウェーブレット特徴を算出する。
図３は、本発明の実施の形態に係る症例画像生成装置１の画像内の座標設定の説明図である。図３に示すように、画像の左上を原点として、ｘ方向にｍ画素、ｙ方向にｎ画素で構成されている画像をｓ（ｘ，ｙ）と定義している。任意のｉ（ｉは自然数）番目の画素Ｐi の座標をＰi （ｘi ，ｙi ）と表す。
まず座標Ｐi （ｘi ，ｙi ）を座標（Ｘi ，Ｙi ）へ（式１）に従ってアフィン変換する。

（式１）において、行列Ａは３×３のアフィン変換行列である。画像全体をｘ方向へｔｘ、ｙ方向へｔｙ移動するアフィン変換は（式２）で、画像全体を回転角θで回転させるアフィン変換は（式３）で、それぞれ表すことができる。


二次元のガボールウェーブレット関数は、回転するアフィン変換後の座標値（ｘドット，ｙドット）に対して（式４）に示すように定義される。

二次元のガボールウェーブレット関数は、実部と虚部とで構成される。図４は、二次元のガボールウェーブレット関数の例示図である。図４（ａ）は、二次元のガボールウェーブレット関数の実部の例示図を、図４（ｂ）は、二次元のガボールウェーブレット関数の虚部の例示図を、それぞれ示している。図４からわかるように、二次元のガボールウェーブレット関数の実部は、（ｘ，ｙ）＝（０，０）近傍で極大値を有する帽子状に波打ったような形状を有している。（式４）のｕ0 は斯かる波形状の周波数を示しており、σは帽子状の幅の広さを示している。また、ｒは後述する方向を示している。
（式４）に示す窓関数ｇσは二次元ガウス関数であり、（式５）で表すことができる。

二次元のガボールウェーブレット関数を用いて、取得した画像ｓ（ｘ，ｙ）に対するガボールウェーブレット特徴は、（式６）で算出することができる。ガボールウェーブレット特徴の絶対値が極大値を有する格子点及び該格子点の近傍のガボールウェーブレット特徴は、画像に対して拡大／縮小、回転等のアフィン変換を施した場合であっても不変であることから、画像の特徴量として適している。

（式６）において、ａj ，ａ-jはダイレーション（拡大／縮小）の度合いを示すパラメータを、ｘ0 ，ｙ0 は平行移動を示している。また、ｒは方向を示しており、本実施の形態では８方向について、それぞれガボールウェーブレット特徴を算出する。
図５は、本発明の実施の形態に係る症例画像生成装置１の二次元のガボールウェーブレット関数の方向を示す模式図である。図５に示すように、本実施の形態では、（１）〜（８）の方向、すなわち所定の方向から２２．５度ずつ回転させた８方向について、ガボールウェーブレット特徴を算出する。
ガボールウェーブレット特徴を算出することにより、例えば人間の臓器の形状のバラツキ等を吸収したウェーブレット特徴量を算出することができるので、同じ症例に関する画像の中からより適切な代表画像を選択することができる。
例えば、座標（ｘ，ｙ）（画像内の格子点）ごとに、（式６）を用いてガボールウェーブレット特徴を算出する場合、８方向（ｒ＝１〜８）、５スケール（ｊ＝１〜５）を選択し、一座標につき４０個のガボールウェーブレット特徴を算出する。ここで、スケールとは、拡大／縮小する大きさを区別する値であり、例えば１から５へ向かうほど拡大されていることを示す。算出したガボールウェーブレット特徴のうち、絶対値が所定の閾値以上であるガボールウェーブレット特徴を抽出して、その中で極大値を有するガボールウェーブレット特徴を選択する。
ガボールウェーブレット特徴の絶対値が極大値となるということは、（式６）における積分値の絶対値が極大であることを意味しており、画像の平均輝度を変更する、画像の縮尺を変更する、画像を回転する等の操作をした場合であっても変わらない、不変の特徴量となる。
本実施の形態では、極大値となるスケールにおける８方向のガボールウェーブレット特徴、及びその前後のスケールでの８方向のガボールウェーブレット特徴からなる、併せて２４個（３スケール×８方向）のガボールウェーブレット特徴を、一組のビジュアルワードとしてビジュアルワード記憶部１３３に記憶する。
図６は、本発明の実施の形態に係る症例画像生成装置１の記憶装置１３のビジュアルワード記憶部１３３に記憶されるビジュアルワードのデータ構造の例示図である。図６に示すように、識別番号１、２、３、・・・ごとに、算出した２４個のガボールウェーブレット特徴を列挙して記憶している。すなわち、最初の‘１’は識別番号、ブランクを挟んで次の‘１：’〜‘２４：’の後ろに記載されている数値が、それぞれ算出した２４個のガボールウェーブレット特徴を示している。図６の例は、１つの画像内に極大値が３つ存在する場合のビジュアルワードを示している。したがって、図６では、識別番号‘１’、‘２’、‘３’の３つについてビジュアルワードが記憶されているが、極大値の数が１つであれば識別番号‘１’のみであることは言うまでもない。
図２に戻って、キーワード抽出部２０２は、記憶装置１３の医用画像記憶部１３１に記憶してある過去の画像に対応している、記憶装置１３の読影情報記憶部１３２に記憶してある読影情報に含まれるキーワードを抽出する。例えば、記憶装置１３の読影情報記憶部１３２に「左肺野上葉に結節影が認められる。扁平上皮癌の疑い。ＨＲ−ＣＴにて精密検査を指示」が記憶されている場合、形態素解析等を用いて構文解析し、「部位」、「症状」、「病名」、「処置」等に区分してキーワードを抽出する。
図７は、本発明の実施の形態に係る症例画像生成装置１のキーワード抽出の例示図である。図７の例では、「左肺野上葉に結節影が認められる。扁平上皮癌の疑い。ＨＲ−ＣＴにて精密検査を指示」を構文解析することにより、「部位」は「左肺野上葉」であり、「症状」は「結節影」、「病名」は「扁平上皮癌の疑い」、「処置」は「ＨＲ−ＣＴにて精密検査」とキーワードを抽出している。
図２に戻って、情報記憶部２０３は、記憶装置１３の医用画像記憶部１３１に記憶してある過去の画像に対応付けて、上述した方法で算出したウェーブレット特徴及び抽出したキーワードを記憶装置１３のビジュアルワード記憶部１３３に記憶する。
グループ生成部２０４は、抽出したキーワードに基づいて、記憶してある画像を分類して複数のグループを生成する。分類する単位は特に限定されるものではないが、構文解析時の項目である「部位」、「症状」、「病名」等、あるいはこれらの組み合わせで分類して複数のグループを生成することが好ましい。もちろん、１つの画像が複数のグループに含まれるよう分類しても構わない。
重心ベクトル算出部２０５は、グループごとに、グループに含まれるキーワードに対応する各画像のウェーブレット特徴の重心ベクトルを算出する。具体的には、グループに含まれる画像について、画素ごとにＭ（Ｍは２以上の自然数）個のウェーブレット特徴、例えば２４個のウェーブレット特徴を算出し、それぞれ二値化することによりＭ（Ｍ＝２４）次元のビット列に換算する。
度数分布ベクトル算出部２０８は、換算した２４次元のビット列の値の度数分布を示すヒストグラムを生成する。ヒストグラムは、グループに含まれるすべての画像について生成する。
図８は、本発明の実施の形態に係るヒストグラムの例示図である。横軸に２24の値をとり、それぞれの値の度数分布を求める。そして、画像ごとの度数分布を度数分布ベクトルとして、記憶装置１３の度数分布情報記憶部１３４に記憶する。
重心ベクトル算出部２０５は、グループごとに、グループに含まれる画像のウェーブレット特徴、及び算出した度数分布ベクトルを用いて、（式７）に従って、度数分布ベクトルの重心ベクトルを算出する。すなわち、度数分布ベクトルＶi （ｉはグループに含まれる画像の数）に対する重心ベクトルＶT は、度数分布ベクトルＶi の総和を度数分布ベクトルＶi のノルム（長さ）の総和で除算して求める。

図２に戻って、空間距離算出部２０６は、算出した重心ベクトルと、グループに含まれるキーワードに対応する各画像のウェーブレット特徴に基づく特徴ベクトル（度数分布ベクトル）との間の空間距離を算出する。空間距離算出部２０６では、特徴ベクトル（度数分布ベクトル）と重心ベクトルとの角度として、空間距離を算出する。具体的には、グループに含まれる画像の度数分布ベクトルをＶi、重心ベクトルをＶT とした場合、（式８）に従って２つのベクトルのなす角φに対するｃｏｓφとして算出する。

なお、（式８）において、＜Ｖi ，ＶT ＞はベクトルＶi とベクトルＶT との内積を、分母は、ベクトルＶi のノルム（長さ）とベクトルＶT のノルムとの積を、それぞれ示している。
図２に戻って、代表画像記憶部２０７は、算出した空間距離が最も短い画像及び該画像に対応付けられている読影情報をグループの代表画像として症例画像データベース１３５に記憶する。空間距離が短い画像であればあるほど、グループに含まれる画像の重心ベクトルに近接した画像であるので、症例の代表画像として適している。
なお、代表画像を表示装置２３に表示出力する場合、表示出力された画像に、特徴ベクトルを重畳して表示出力しても良い。図９は、本発明の実施の形態に係る症例画像生成装置１の代表画像表示画面の例示図である。
図９に示すように、重心ベクトルに最も類似していると判断された過去の画像が代表画像として表示されるとともに、ウェーブレット特徴のうち所定値より大きいウェーブレット特徴を、特徴ベクトルとして画像に重畳して表示している。矢印の長さが特徴量の大きさを示しており、方向は８方向のうち特徴量が一番大きい方向を示している。また、色、線種等により、スケールの区別をしても良い。
図１０は、本発明の実施の形態に係る症例画像生成装置１のＣＰＵ１１の処理手順を示すフローチャートである。図１０において、症例画像生成装置１のＣＰＵ１１は、過去に撮像して記憶してある複数の画像のウェーブレット特徴を算出する（ステップＳ１００１）。本実施の形態では、ウェーブレット特徴としてガボールウェーブレット特徴を算出する。
ＣＰＵ１１は、記憶してある過去の画像ごとの読影情報に含まれるキーワードを抽出し（ステップＳ１００２）、記憶してある過去の画像に対応付けて上述した方法で算出したウェーブレット特徴及び抽出したキーワードを記憶しておく。
ＣＰＵ１１は、抽出したキーワードに基づいて、記憶してある画像を分類して複数のグループを生成する（ステップＳ１００３）。分類する単位は特に限定されるものではないが、構文解析時の項目である「部位」、「症状」、「病名」等、あるいはこれらの組み合わせで分類して複数のグループを生成することが好ましい。もちろん、１つの画像が複数のグループに含まれるよう分類しても構わない。
ＣＰＵ１１は、グループごとに、グループに含まれる画像のウェーブレット特徴に基づいて、特徴ベクトルとして重心ベクトルを算出する（ステップＳ１００４）。ＣＰＵ１１は、算出した重心ベクトルとグループに含まれるキーワードに対応する各画像のウェーブレット特徴に基づく特徴ベクトル（度数分布ベクトル）との間の空間距離を算出する（ステップＳ１００５）。
ＣＰＵ１１は、最小値を所定値に設定し（ステップＳ１００６）、グループに含まれる画像から一の画像を選択する（ステップＳ１００７）。ＣＰＵ１１は、選択した画像について算出した空間距離が最小値より小さいか否かを判断する（ステップＳ１００８）。
ＣＰＵ１１が、最小値より小さいと判断した場合（ステップＳ１００８：ＹＥＳ）、ＣＰＵ１１は、該空間距離を最小値として記憶する（ステップＳ１００９）。ＣＰＵ１１が、最小値以上であると判断した場合（ステップＳ１００８：ＮＯ）、ＣＰＵ１１は、ステップＳ１００９をスキップする。ＣＰＵ１１は、全ての画像を選択したか否かを判断し（ステップＳ１０１０）、ＣＰＵ１１が、まだ選択していない画像が存在すると判断した場合（ステップＳ１０１０：ＮＯ）、ＣＰＵ１１は、次の画像を選択して（ステップＳ１０１１）、処理をステップＳ１００８へ戻して、上述した処理を繰り返す。
ＣＰＵ１１が、全ての画像を選択したと判断した場合（ステップＳ１０１０：ＹＥＳ）、ＣＰＵ１１は、最小値として記憶されている空間距離に相当する画像及び対応する読影情報を、代表画像として症例画像データベース１３５に記憶する（ステップＳ１０１２）。
以上のように本実施の形態によれば、記憶してある医用画像の特徴を示すウェーブレット特徴を特徴ベクトルとして、症例ごとに特徴ベクトルとして重心ベクトルを算出し、重心ベクトルとの間の空間距離が最も短い特徴ベクトルを有する画像を代表画像として記憶するので、典型的な症例を示す画像を症例のガイドラインとして用いることができ、医師の経験、熟練に左右されることなく、一定の質で患者を診断することが可能となる。
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。
１ 症例画像生成装置
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１４ Ｉ／Ｏインタフェース
１５ ビデオインタフェース
１６ 可搬型ディスクドライブ
１７ 通信インタフェース
１８ 内部バス
９０ 可搬型記録媒体
１００ コンピュータプログラム
１３１ 医用画像記憶部
１３２ 読影情報記憶部
１３３ ビジュアルワード記憶部
１３４ 度数分布情報記憶部
１３５ 症例画像データベース

Claims (4)

  1. 過去の症例に基づく医用画像の中から、症例ごとに症例を代表する代表画像及び読影情報を生成する装置であって、
    過去に撮像して記憶してある複数の画像のウェーブレット特徴を算出するウェーブレット特徴算出手段と、
    記憶してある画像ごとの読影情報に含まれるキーワードを抽出するキーワード抽出手段と、
    記憶してある画像に対応付けて、算出したウェーブレット特徴及び抽出したキーワードを記憶する情報記憶手段と、
    抽出したキーワードに基づいて、記憶してある画像を分類して複数のグループを生成するグループ生成手段と、
    生成したグループに含まれるキーワードに対応する各画像のウェーブレット特徴に基づく特徴ベクトルの重心ベクトルを算出する重心ベクトル算出手段と、
    算出した重心ベクトルと、前記グループに含まれるキーワードに対応する各画像のウェーブレット特徴に基づく特徴ベクトルとの間の空間距離を算出する空間距離算出手段と、
    算出した空間距離が最も小さい画像及び該画像に対応付けられている読影情報を前記グループの代表画像として記憶する代表画像記憶手段と
    を備え、
    画像ごとにＭ（Ｍは２以上の自然数）個の前記ウェーブレット特徴を算出し、それぞれ二値化することによりＭ次元のビット列に換算し、すべての画像について度数分布ベクトルを算出する度数分布ベクトル算出手段を備え、
    前記空間距離算出手段は、算出した度数分布ベクトルと前記重心ベクトルとの角度として前記空間距離を算出する、
    装置。
  2. 前記ウェーブレット特徴算出手段は、前記ウェーブレット特徴として、２次元のガボールウェーブレット特徴を算出する請求項１に記載の装置。
  3. 過去の症例に基づく医用画像の中から、症例ごとに症例を代表する代表画像及び読影情報を生成する装置で実行することが可能なコンピュータプログラムであって、
    前記装置を、
    過去に撮像して記憶してある複数の画像のウェーブレット特徴を算出するウェーブレット特徴算出手段、
    記憶してある画像ごとの読影情報に含まれるキーワードを抽出するキーワード抽出手段、
    記憶してある画像に対応付けて、算出したウェーブレット特徴及び抽出したキーワードを記憶する情報記憶手段、
    抽出したキーワードに基づいて、記憶してある画像を分類して複数のグループを生成するグループ生成手段、
    生成したグループに含まれるキーワードに対応する各画像のウェーブレット特徴に基づく特徴ベクトルの重心ベクトルを算出する重心ベクトル算出手段、
    算出した重心ベクトルと、前記グループに含まれるキーワードに対応する各画像のウェーブレット特徴に基づく特徴ベクトルとの間の空間距離を算出する空間距離算出手段、及び
    算出した空間距離が最も小さい画像及び該画像に対応付けられている読影情報を前記グループの代表画像として記憶する代表画像記憶手段
    として機能させ、
    前記装置を、画像ごとにＭ（Ｍは２以上の自然数）個の前記ウェーブレット特徴を算出し、それぞれ二値化することによりＭ次元のビット列に換算し、すべての画像について度数分布ベクトルを算出する度数分布ベクトル算出手段として機能させ、
    前記空間距離算出手段を、算出した度数分布ベクトルと前記重心ベクトルとの角度として前記空間距離を算出する手段として機能させる、
    コンピュータプログラム。
  4. 前記ウェーブレット特徴算出手段を、前記ウェーブレット特徴として、２次元のガボールウェーブレット特徴を算出する手段として機能させる請求項３に記載のコンピュータプログラム。
JP2013549143A 2011-12-13 2012-09-20 症例ごとの代表画像及び読影情報を生成する方法、装置及びコンピュータプログラム Active JP5764220B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013549143A JP5764220B2 (ja) 2011-12-13 2012-09-20 症例ごとの代表画像及び読影情報を生成する方法、装置及びコンピュータプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011272175 2011-12-13
JP2011272175 2011-12-13
JP2013549143A JP5764220B2 (ja) 2011-12-13 2012-09-20 症例ごとの代表画像及び読影情報を生成する方法、装置及びコンピュータプログラム
PCT/JP2012/074077 WO2013088807A1 (ja) 2011-12-13 2012-09-20 症例ごとの代表画像及び読影情報を生成する方法、装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JPWO2013088807A1 JPWO2013088807A1 (ja) 2015-04-27
JP5764220B2 true JP5764220B2 (ja) 2015-08-12

Family

ID=48612266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013549143A Active JP5764220B2 (ja) 2011-12-13 2012-09-20 症例ごとの代表画像及び読影情報を生成する方法、装置及びコンピュータプログラム

Country Status (6)

Country Link
US (1) US9201901B2 (ja)
JP (1) JP5764220B2 (ja)
CN (1) CN103988205B (ja)
DE (1) DE112012004826B4 (ja)
GB (1) GB2515398B (ja)
WO (1) WO2013088807A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016142990A1 (ja) * 2015-03-06 2016-09-15 富士通株式会社 検索プログラム、検索方法および検索装置
JP5868536B1 (ja) * 2015-03-24 2016-02-24 株式会社テクノプロジェクト 記録情報管理システム及び記録情報管理プログラム、並びに記録情報管理方法
CN108542381B (zh) * 2018-04-11 2021-08-31 京东方科技集团股份有限公司 一种数据处理方法和装置
US20210049542A1 (en) 2019-08-12 2021-02-18 Walmart Apollo, Llc Systems, devices, and methods for estimating stock level with depth sensor

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10326286A (ja) 1997-05-27 1998-12-08 Mitsubishi Electric Corp 類似検索装置及び類似検索プログラムを記録した記録媒体
JP2002132831A (ja) * 2000-10-23 2002-05-10 Olympus Optical Co Ltd 画像表示方法および画像表示装置
US7099860B1 (en) * 2000-10-30 2006-08-29 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
CN1445696A (zh) * 2002-03-18 2003-10-01 朗迅科技公司 自动检索图像数据库中相似图象的方法
JP2004086538A (ja) * 2002-08-27 2004-03-18 Fuji Photo Film Co Ltd 画像の特徴量分類方法および装置
JP4604451B2 (ja) * 2003-02-24 2011-01-05 コニカミノルタホールディングス株式会社 医用画像処理装置及び悪性度の判定方法
JP3910997B2 (ja) * 2003-07-02 2007-04-25 聰 山竹 画像データベースシステム
US7734107B2 (en) * 2006-02-24 2010-06-08 Sony Corporation System and method for performing wavelet-based texture feature extraction and classification
CN101395631B (zh) * 2006-03-07 2012-06-13 柯尼卡美能达医疗印刷器材株式会社 医学图像管理系统
JP4799251B2 (ja) 2006-04-05 2011-10-26 富士フイルム株式会社 類似症例検索装置、類似症例検索方法およびそのプログラム
JP4905967B2 (ja) * 2007-03-02 2012-03-28 富士フイルム株式会社 類似症例検索装置、方法、およびプログラム
JP2008253292A (ja) * 2007-03-30 2008-10-23 Fujifilm Corp 症例画像検索装置及びシステム
JP5098559B2 (ja) * 2007-10-11 2012-12-12 富士ゼロックス株式会社 類似画像検索装置、及び類似画像検索プログラム
JP5374078B2 (ja) * 2008-06-16 2013-12-25 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5173700B2 (ja) * 2008-09-25 2013-04-03 キヤノン株式会社 データ検索装置およびその制御方法、データ検索システム
CN101373479A (zh) * 2008-09-27 2009-02-25 华中科技大学 一种乳腺x线摄片计算机图像检索方法及系统
CN101799806A (zh) * 2009-02-06 2010-08-11 沈阳工大普日软件技术有限公司 基于多信息融合的胸部数字化x线图像检索系统
JP5599572B2 (ja) * 2009-03-12 2014-10-01 富士フイルム株式会社 症例画像検索装置、方法およびプログラム
JP5041041B2 (ja) * 2009-07-15 2012-10-03 株式会社ニコン 画像分類装置
JP5670079B2 (ja) * 2009-09-30 2015-02-18 富士フイルム株式会社 医用画像表示装置および方法、並びにプログラム
JP5383431B2 (ja) * 2009-10-27 2014-01-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
GB201410473D0 (en) 2014-07-30
GB2515398B (en) 2018-02-14
US20140307938A1 (en) 2014-10-16
DE112012004826T5 (de) 2014-08-14
WO2013088807A1 (ja) 2013-06-20
CN103988205A (zh) 2014-08-13
DE112012004826B4 (de) 2018-05-30
CN103988205B (zh) 2017-02-08
US9201901B2 (en) 2015-12-01
JPWO2013088807A1 (ja) 2015-04-27
GB2515398A (en) 2014-12-24

Similar Documents

Publication Publication Date Title
US10452899B2 (en) Unsupervised deep representation learning for fine-grained body part recognition
JP7391846B2 (ja) ディープニューラルネットワークを使用したコンピュータ支援診断
Guan et al. Thigh fracture detection using deep learning method based on new dilated convolutional feature pyramid network
JP5868231B2 (ja) 医用画像診断支援装置、医用画像診断支援方法ならびにコンピュータプログラム
US8958614B2 (en) Image-based detection using hierarchical learning
Yi et al. Optimizing and visualizing deep learning for benign/malignant classification in breast tumors
WO2018176035A1 (en) Method and system of building hospital-scale chest x-ray database for entity extraction and weakly-supervised classification and localization of common thorax diseases
JP5902196B2 (ja) 医用画像を検索する方法、装置及びコンピュータプログラム
JP2014029644A (ja) 類似症例検索装置および類似症例検索方法
JP5764220B2 (ja) 症例ごとの代表画像及び読影情報を生成する方法、装置及びコンピュータプログラム
Malygina et al. Data augmentation with GAN: Improving chest X-ray pathologies prediction on class-imbalanced cases
Mobiny et al. Memory-augmented capsule network for adaptable lung nodule classification
Shen et al. Hippocampal shape analysis: surface-based representation and classification
JP5072625B2 (ja) 画像処理装置及びその方法
Pham et al. Chest x-ray abnormalities localization via ensemble of deep convolutional neural networks
Pham et al. Chest x-rays abnormalities localization and classification using an ensemble framework of deep convolutional neural networks
US9262442B2 (en) Techniques for generating a representative image and radiographic interpretation information for a case
JP5655327B2 (ja) プログラムおよび情報処理装置
Şekeroğlu et al. A computer aided diagnosis system for lung cancer detection using support vector machine
Chamveha et al. Local Adaptation Improves Accuracy of Deep Learning Model for Automated X-Ray Thoracic Disease Detection: A Thai Study
Moghaddam et al. Towards smart diagnostic methods for COVID-19: Review of deep learning for medical imaging
Keshavamurthy et al. Weakly supervised pneumonia localization in chest X‐rays using generative adversarial networks
Kovalev et al. Automatic detection of pathological changes in chest X-ray screening images using deep learning methods
Przelaskowski et al. Semantic Segmentation of Abnormal Lung Areas on Chest X-rays to Detect COVID-19
Kim et al. Homogenization of multi-institutional chest x-ray images in various data transformation schemes

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150612

R150 Certificate of patent or registration of utility model

Ref document number: 5764220

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150