JP5245424B2 - 病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム - Google Patents

病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム Download PDF

Info

Publication number
JP5245424B2
JP5245424B2 JP2008015100A JP2008015100A JP5245424B2 JP 5245424 B2 JP5245424 B2 JP 5245424B2 JP 2008015100 A JP2008015100 A JP 2008015100A JP 2008015100 A JP2008015100 A JP 2008015100A JP 5245424 B2 JP5245424 B2 JP 5245424B2
Authority
JP
Japan
Prior art keywords
pathological tissue
tissue image
range
pixel
pathological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008015100A
Other languages
English (en)
Other versions
JP2009175040A (ja
Inventor
真貴 佐野
彰 齋藤
朝春 喜友名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008015100A priority Critical patent/JP5245424B2/ja
Priority to US12/355,992 priority patent/US8265362B2/en
Publication of JP2009175040A publication Critical patent/JP2009175040A/ja
Application granted granted Critical
Publication of JP5245424B2 publication Critical patent/JP5245424B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、病理組織画像から、拡大して撮影する範囲を選択し、選択した範囲を拡大した病理組織画像を撮影する、病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム、に関する。
近年の臨床医療現場では、Ｘ線、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）などの画像診断機器が進歩し、体内の微小な異物を探知することができるようになってきている。しかし、これらの画像診断機器は、体内の異物の位置情報をもたらすのみで、その異物の性質を特定することはできない。
したがって、最終的には、病理医が画像診断機器で探知した異物から採取した標本組織を顕微鏡で観察し、探知した異物の性質が良性なのか悪性なのかを経験を基に診断（病理組織診断）している。
特に、がんの病理組織診断は以下のように行われている。
まず、異物から採取した標本組織を、固定するために脱水し、パラフィンによるブロック化の処理を行う。
次に、ブロック化の処理を行った標本組織を４〜８マイクロメートルの厚さの薄片に切り取り、スライドグラスにのせ、病理組織スライドを作成する。
次に、作成した病理組織スライド上の標本組織からパラフィンを取り除き、ヘマトキシリンとエオジンという染色液で染色する（ＨＥ染色）。ＨＥ染色により、標本組織に含まれる細胞核が青紫色に染色され、その他の細胞質や繊維、赤血球などが淡紅色に染色される。
その後、病理医は、ＨＥ染色を行った病理組織スライドを顕微鏡で観察し、観察結果から得られる形態学的な情報をもとに病理組織診断を行う。
この際、病理医は、まず、低倍率の対物レンズを通して病理組織スライド上の標本組織を観察し、標本組織の組織としてのパターンの変化（例えば、組織や細胞核の密集度の変化や、細胞核のパターンの変化など）を観察し、それらの観察結果からがんと疑われる領域のめぼしをつける。
その後、病理医は、がんと疑われる領域を、高倍率の対物レンズを通して拡大して観察し、標本組織の細胞核の大きさや形の変化などを観察し、標本組織を採取した異物の性質を判定する。
また、近年では、病理医は病理組織診断の際に、病理組織スライドを病理組織画像として撮影し、撮影した病理組織画像を基に診断を行うケースが増えてきている。
顕微鏡視野中の病理組織スライドを病理組織画像として撮影することで、過去に撮影した病理組織画像や、各病気の典型的な病理組織画像と比較することが容易に出来るため、病理医はより正確な病理組織診断を行うことが出来る。
また最近では、撮影した病理組織画像を解析し、病理組織画像から得られる標本組織の形態学的情報を基に、その標本組織が属する診断カテゴリーやその標本組織に含まれるがん細胞の悪性度を判定するなど、簡易の病理組織診断を行うことで、病理医による病理組織診断を支援する病理組織診断支援システムなどの開発が進んでいる。病理組織診断支援システムの例として、特許文献１には、病理組織画像の特徴を定量的に表し、病理組織学的特長に基づいた各診断カテゴリーへの適合度を計算することで、適合度の高い診断カテゴリー名を表示する技術が記載されている。
この様な病理組織診断に用いられる病理組織画像は、顕微鏡に搭載されたＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラで撮影されるのが一般的である。
以前は、撮影した病理組織画像を写真として現像する必要があったが、最近では撮影した病理組織画像をモニタ上で確認できるようになり、病理組織画像を写真として現像する時間を省き、病理組織診断に掛かる時間を短縮することが出来るようになってきている。
また、撮影した病理組織画像を電子情報として保存することで、過去に撮影した病理組織画像などとの比較や、病理組織画像への画像処理などがより容易に行えるようになり、迅速な病理組織診断を行うことが出来るようになってきている。
この様な、病理組織画像を撮影し、撮影した病理組織画像をモニタに出力する病理組織画像撮影システムには様々なものが提案されており、それらの中には、撮影した病理組織画像に画像処理等の処理を行うことで、病理医による病理組織診断を補助する技術も存在する。
その一例として、特許文献２には、低倍率で撮影した病理組織画像を幾つかの小区画に分割し、各小区画に含まれる組織の領域の割合を計算し、組織の領域の割合が高い順に小区画に優先度を設けることで、病理医が病理組織診断の際に注目すべき領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を判断する際の目安を提示する技術が記載されている。
特開２００６−１５３７４２号公報 特開平１１−３４４６７６号公報
しかし、特許文献２に記載されている技術には、以下のような問題が存在する。
第１の問題は、撮影した病理組織画像を占める組織の領域の割合が、そのまま、その範囲の重要性を示すものではないということである。
例えば、乳がんの乳腺手術材料などのように病理組織スライドのほぼ全域に組織が存在する場合、病理組織スライドを撮影した病理組織画像もほぼ全域が組織で占められている。
がんの場合、細胞核にその特徴が現れやすいため、細胞核を多く含む範囲の重要性が高いことが多い。そのため、病理医は、病理組織画像全域が組織で占められている様な場合、細胞核が多く含まれる領域をＲＯＩとし、拡大して観察する。
一方、病理組織画像を占める組織の領域の割合が高くても、それが脂肪や間質のみの領域であれば、その範囲の重要性は低く、病理医は、がんの病理組織診断の際にそのような領域には注目しない。
特許文献２に記載されている技術では、撮影した病理組織画像を小区画に分割し、組織の領域の割合が高い順に優先度を設けることができる。しかし、上述した様に、組織の領域が占める割合が高い範囲が、必ずしもＲＯＩと一致するわけではない。そのため、特許文献２に記載されている技術により各小区画に割り振られた優先度が、そのまま病理医がＲＯＩとして拡大して撮影する際の優先度になるとは限らない。
そのため、病理組織画像から、単純に組織の領域が占める割合が高い領域を検出するのではなく、細胞核を多く含む領域など、病理医が病理組織診断の際に注目する領域であるＲＯＩを検出する必要がある。
第２の問題は、特許文献２に記載されている技術では、病理医が操作しなければ、重要性が高く拡大して撮影する拡大撮影範囲を選択できないということである。
第１の課題でも述べたように、特許文献２に記載されている技術により割り振られた優先度は、必ずしも病理医がＲＯＩとして拡大して撮影する際の優先度と一致しない。そのため、特許文献２に記載されている技術では、病理医が、病理組織撮影システムが割り振った優先度を参考にしながらモニタ上で撮影した病理組織画像を確認し、拡大撮影範囲を選択する必要がある。
また、このように特許文献２に記載されている技術では病理医が操作しなければ拡大撮影範囲を選択できないため、特許文献１に記載されている病理組織診断支援システムと病理組織画像撮影システムを組み合わせた、病理組織画像の撮影から病理組織診断までを全て自動で行う自動病理組織診断支援システムに組み込むことができない。
そのため、病理組織画像からＲＯＩを自動的に検出し、検出したＲＯＩを拡大撮影範囲として選択し、選択した拡大撮影範囲を拡大した病理組織画像を撮影することが出来る必要がある。
以上をまとめると、上述した第１および第２の問題を解決するためには、病理組織画像からＲＯＩを自動的に検出し、検出したＲＯＩを拡大撮影範囲として選択し、選択した拡大撮影範囲を拡大した病理組織画像を撮影することが出来る必要があるという課題が存在する。
本発明の目的は、上述した課題を解決することができる、病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム、を提供することにある。
上記目的を達成するため本発明の病理組織画像撮影システムは、
病理組織画像を撮影する病理画像取得部と、
前記病理組織画像を出力する出力部と、
前記病理組織画像からＲＯＩを検出し、当該ＲＯＩに位置する画素に重みを付加する重みづけ部と、
前記重みづけ部で付加された重みの値を基に、前記病理組織画像から拡大して撮影する拡大撮影範囲を選択する範囲選択部と、を有し、
前記病理画像取得部は、前記範囲選択部が選択した前記拡大撮影範囲を拡大した病理組織画像を撮影し、
前記出力部は、前記拡大撮影範囲を拡大して撮影した病理組織画像を出力する病理組織画像撮影システムであって、
前記病理画像取得部は、病理組織スライド上の標本組織全体が顕微鏡視野に収まる倍率で前記病理組織画像を撮影し、
前記重みづけ部は、前記病理組織画像中の細胞核の密集度を計算した値を各画素に重みとして付加し、
前記範囲選択部は、前記重みづけ部で付加された重みの値が最大となる画素を選択し、選択した画素を中心とした規定の範囲を前記拡大撮影範囲として選択することを特徴とする。
上記目的を達成するため本発明の病理組織画像撮影方法は、
病理組織画像を撮影して出力する病理組織画像撮影システムが行う病理組織画像撮影方法であって、
前記病理組織画像を撮影する撮影ステップと、
前記病理組織画像からＲＯＩを検出し、当該ＲＯＩに位置する画素に重みを付加する重みづけステップと、
前記重みづけステップで付加された重みの値を基に、前記病理組織画像から拡大して撮影する拡大撮影範囲を選択する範囲選択ステップと、
前記範囲選択ステップで選択した前記拡大範囲を拡大した病理組織画像を撮影する拡大撮影ステップと、
前記拡大撮影範囲を拡大して撮影した病理組織画像を出力する出力ステップと、を有し、
前記撮影ステップにおいて、病理組織スライド上の標本組織全体が顕微鏡視野に収まる倍率で前記病理組織画像を撮影し、
前記重みづけステップにおいて、前記病理組織画像中の細胞核の密集度を計算した値を各画素に重みとして付加し、
前記範囲選択ステップにおいて、前記重みづけステップで付加された重みの値が最大となる画素を選択し、選択した画素を中心とした規定の範囲を前記拡大撮影範囲として選択することを特徴とする。
上記目的を達成するため本発明の病理組織画像撮影プログラムは、
病理組織画像を撮影して出力する病理組織画像撮影システムに、
前記病理組織画像を撮影する撮影手順と、
前記病理組織画像からＲＯＩを検出し、当該ＲＯＩに位置する画素に重みを付加する重みづけ手順と、
前記重みづけ手順で付加された重みの値を基に、前記病理組織画像から拡大して撮影する拡大撮影範囲を選択する範囲選択手順と、
前記範囲選択手順で選択した前記拡大範囲を拡大した病理組織画像を撮影する拡大撮影手順と、
前記拡大撮影範囲を拡大して撮影した病理組織画像を出力する出力手順と、を実行させるための病理組織画像撮影プログラムであって、
前記撮影手順において、病理組織スライド上の標本組織全体が顕微鏡視野に収まる倍率で前記病理組織画像を撮影し、
前記重みづけ手順において、前記病理組織画像中の細胞核の密集度を計算した値を各画素に重みとして付加し、
前記範囲選択手順において、前記重みづけ手順で付加された重みの値が最大となる画素を選択し、選択した画素を中心とした規定の範囲を前記拡大撮影範囲として選択することを特徴とする。
本発明の病理組織画像撮影システムによれば、重みづけ部において、病理組織画像から自動的にＲＯＩを検出し、ＲＯＩに位置する画素に重みを付加し、範囲選択部において、各画素に付加された重みの値を基に、拡大して撮影する範囲を選択し、病理画像取得部において、選択した範囲を拡大した病理組織画像を撮影する構成となっている。
また、これらの処理は病理医の操作が無くとも、全て自動で行われる。
これにより、病理医の操作無しに、病理組織画像からＲＯＩを検出し、検出したＲＯＩを拡大撮影範囲として選択し、選択した拡大撮影範囲を拡大した病理組織画像を撮影することが出来るという効果が得られる。
以下に、本発明を実施するための最良の形態について図面を参照して説明する。
（第１の実施形態）
図１に、本発明の第１の実施形態の病理組織画像撮影システムの構成を示す。
図１に示すように、本実施形態の病理組織画像撮影システムは、病理画像取得部１００と、ＲＯＩ決定部１１０と、出力部１２０と、を有する。
病理画像取得部１００は、任意の倍率で病理組織画像を撮影する手段である。病理画像取得部１００は、顕微鏡視野中の病理組織スライドの任意の範囲を任意の倍率で病理組織画像として撮影することができ、種々の倍率（例えば、０．５倍、１倍、１．２５倍、２．５倍、４倍、５倍、１０倍、２０倍、４０倍、６０倍、６３倍、１００倍など）の対物レンズを持つ顕微鏡やスキャナのＣＣＤカメラからなる。
ＲＯＩ決定部１１０は、重みづけ部１１１と、範囲選択部１１２と、を有し、病理画像取得部１００が撮影した病理組織画像からＲＯＩを検出し、検出したＲＯＩを拡大して撮影する拡大撮影範囲として選択する手段である。
重みづけ部１１１は、病理画像取得部１００が撮影した病理組織画像からＲＯＩを検出し、検出したＲＯＩに位置する画素に重みを付加する手段である。
範囲選択部１１２は、重みづけ部１１１で付加された重みの値を基に、病理組織画像から拡大撮影範囲を選択する手段である。また、範囲選択部１１２は、選択した拡大撮影範囲の位置を病理画像取得部１００に出力する。
この出力を受け、病理画像取得部１００は、範囲選択部１１２が選択した拡大撮影範囲を拡大した病理組織画像を撮影する。
出力部１２０は、病理画像取得部１００が撮影した病理組織画像を出力する手段である。
次に、本実施形態の病理組織画像撮影システムの動作について、図２のフローチャートを用いて説明する。
まず、病理画像取得部１００は、ＲＯＩを検出するのに適した任意の倍率で病理組織画像を撮影する（ステップＳ１０１）。
次に、重みづけ部１１１は、ステップＳ１０１で撮影した病理組織画像からＲＯＩを検出する（ステップＳ１０２）。
次に、重みづけ部１１１は、ステップＳ１０２で検出したＲＯＩに位置する画素に重みを付加する（ステップＳ１０３）。
次に、範囲選択部１１２は、ステップＳ１０３で重みが付加された病理組織画像から、各画素の重みの値を基に、拡大撮影範囲を選択する（ステップＳ１０４）。この際に拡大撮影範囲として選択される範囲の大きさは、任意の大きさとする。
次に、範囲選択部１１２は、あらかじめ設定された数分の拡大撮影範囲が得られたかを判定する（ステップＳ１０５）。
範囲選択部１１２は、あらかじめ設定された数分の拡大撮影範囲が得られるまでステップＳ１０４を繰り返す。
次に、範囲選択部１１２は、ステップＳ１０５で選択した全ての拡大撮影範囲の位置を病理画像取得部１００に出力する。
次に、病理画像取得部１００は、ステップＳ１０５で選択した全ての拡大撮影範囲に対し、拡大撮影範囲を拡大した病理組画像を撮影する（ステップＳ１０６）。拡大撮影範囲を拡大した病理組織画像を撮影する際の倍率は、ステップＳ１０１で病理組織画像を撮影した倍率よりも大きい任意の倍率とする。
その後、出力部１２０は、ステップＳ１０６で拡大撮影範囲を拡大して撮影した病理組織画像を全て出力する（ステップＳ１０７）。
上述したように、本実施形態の病理組織画像撮影システムにおいては、重みづけ部１１１において、病理組織画像からＲＯＩを検出し、検出したＲＯＩに位置する画素に重みを付加し、範囲選択部１１２において、各画素に付加された重みの値を基に、拡大撮影範囲を選択し、病理画像取得部において、選択した拡大撮影範囲を拡大した病理組織画像を撮影する構成となっている。
また、これらの処理は病理医の操作が無くとも、全て自動で行われる。
これにより、病理組織画像からＲＯＩを自動的に検出し、検出したＲＯＩを拡大撮影範囲として選択し、選択した拡大撮影範囲を拡大した病理組織画像を撮影することが出来るという効果が得られる。
（第２の実施形態）
図３に、本発明の第２の実施形態の病理組織画像撮影システムの構成を示す。
図３に示すように、本実施形態の病理組織画像撮影システムは、図１に示した第１の実施形態と比較して、ＲＯＩ決定部１１０をＲＯＩ決定部２１０に変更した点が異なる。なお、その他の構成要素については第１の実施形態と同様であるため、図１と同様の符号を付し、説明を省略する。
ＲＯＩ決定部２１０は、重みづけ部２１１と、範囲選択部２１２と、を有し、病理画像取得部１００が撮影した病理組織画像からＲＯＩを検出し、検出したＲＯＩを拡大撮影範囲として選択する手段である。
重みづけ部２１１は、病理画像取得部１００が撮影した病理組織画像中の細胞核の密集度を計算した値を各画素に重みとして付加する手段である。なお、本実施形態においては、重みづけ部２１１において病理組織スライド上の標本組織に含まれる細胞核の密集度を計算する必要があるため、病理画像取得部１００は病理組織スライド上の標本組織全体が顕微鏡視野に収まる倍率で病理組織画像を撮影するものとする。
重みづけ部２１１は、病理組織画像中の細胞核の密集度を計算するために、病理組織画像から細胞核のエッジを検出し、検出したエッジを多く含む領域を細胞核の密集度が高い領域とする。細胞核には、がんの特徴が現れやすいため、病理医は、がんの病理組織診断の際に細胞核の密集度が高い領域に注目する。そのため、本実施形態においては、細胞核のエッジを多く含む、細胞核の密集度が高い領域をＲＯＩとする。
重みづけ部２１１における、病理組織画像中の細胞核の密集度を計算する具体的な方法を以下に示す。重みづけ部２１１は、病理組織画像に対し、まず、シアンの値を基にグレースケール化処理を行い、次に、平滑化処理を行い、次に、エッジ検出処理を行い、検出されたエッジの値を基に病理組織画像から階調画像を作成する。次に、重みづけ部２１１は、作成した階調画像の各画素を中心とした規定の範囲に含まれる画素のエッジの値の平均値を計算し、計算したエッジの値の平均値を各画素の細胞核の密集度とする。その後、重みづけ部２１１は、計算した細胞核の密集度の値を各画素に重みとして付加する。
範囲選択部２１２は、病理組織画像中の、重みづけ部２１１で付加された重みの値が最大となる画素を選択し、選択した画素を中心とした規定の範囲を拡大撮影範囲として選択する手段である。また、範囲選択部２１２は、選択した拡大撮影範囲の位置を病理画像取得部１００に出力する。
この出力を受け、病理画像取得部１００は、範囲選択部２１２が選択した拡大撮影範囲を拡大した病理組織画像を撮影する。
次に、本実施形態の病理組織画像撮影システムの動作について、図４のフローチャートを用いて説明する。
まず、病理画像取得部１００は、病理組織スライド上の標本組織全体が顕微鏡視野に収まる倍率で病理組織画像を撮影する（ステップＳ２０１）。
次に、重みづけ部２１１は、ステップＳ２０１で撮影した病理組織画像中の細胞核の密集度を計算するために、病理組織画像の各画素のシアンの値を基に、病理組織画像にグレースケール化処理を行う（ステップＳ２０２）。
ＨＥ染色により、病理組織スライド上の標本組織に含まれる細胞核は青紫色に染色され、それ以外の細胞質や繊維、赤血球などは淡紅色に染色されている。そのため、シアンの値をもとに病理組織画像をグレースケール化することにより、密集度の計算対象である細胞核のエッジを強調することができる。ステップＳ２０１で撮影した病理組織画像がＲＧＢ２５６ビット画像の場合には、以下に示す数式１によりシアンの値Ｃを求めることができる。
（数式１）
Ｃ＝２５５−Ｒ
ここで、シアンの値ＣはＲＧＢ表現（Ｒ＝Ｒｅｄ，Ｇ＝Ｇｒｅｅｎ，Ｂ＝Ｂｌｕｅ）でＢとＧを混ぜ合わせたＢ＋Ｇで表すことができ、ＲはＲＧＢ表現のＲである。
次に、重みづけ部２１１は、ステップＳ２０２でグレースケール化された病理組織画像に対し、ノイズを除去するために、３×３画素のメディアンフィルタにより平滑化処理を行う（ステップＳ２０３）。
３×３のメディアンフィルタとは、注目画素の周りの３×３＝９画素のなかの中央値を出力とするフィルタである。なお、メディアンフィルタは３×３画素以外の任意の画素数を対象とするものでもよい。また、メディアンフィルタを用いなくとも、任意の平滑化のためのフィルタを用いてもよい。
次に、重みづけ部１１１は、ステップＳ２０３でノイズを除去するために平滑化された病理組織画像に対し、細胞核のエッジを検出するために、プリューウィットエッジを計算する（ステップＳ２０４）。
プリューウィットエッジは、以下に示す数式２のように、横方向のプリューウィットフィルタfx(x、y)と縦方向のプリューウィットフィルタfy(x、y)の絶対値和を求めることにより計算することができる。プリューウィットフィルタを用いなくとも、エッジを検出する他のフィルタを用いてもよい。
（数式２）
Δ（ｘ，ｙ）＝｜ｆx（ｘ，ｙ）｜＋｜ｆy（ｘ，ｙ）｜
次に、重みづけ部２１１は、ステップＳ２０４で求めた各画素のエッジの値であるプリューウィットフィルタ絶対値和の最小値と最大値を求める。
次に、重みづけ部２１１は、求めたプリューウィットフィルタ絶対値和の最大値と最小値の差を５等分し、各画素をプリューウィットフィルタ絶対値和の値により５つのグループに振り分ける。この際、各画素は、振り分けられたグループの値（例えば１〜５）を重みとして付加される。なお、ここでは、振り分けられる画素のプリューウィットフィルタ絶対値和の値が大きいグループほど、大きなグループの値をもつものとする。また、各画素のプリューウィットフィルタ絶対値和の最大値と最小値の差を分ける方法は、５等分でなく、任意の分割方法、任意の分割数でもよい。
次に、重みづけ部２１１は、各画素に付加された重みの値を基に、病理組織画像から５階調画像を作成する（ステップＳ２０５）。
次に、重みづけ部２１１は、ステップＳ２０５で作成した５階調画像に対し、各画素を中心とした規定の範囲に含まれる画素の重みの値の平均値を計算し、エッジ平均画像を作成する（ステップＳ２０６）。また、この際に計算した重みの値の平均値を最終的な各画素の重みの値とする。これにより、周囲に細胞核のエッジを多く含む領域、つまり細胞核の密集度が高い領域に位置する画素ほど大きな値の重みが付加されることになる。
なお、ここでは、各画素の周囲の重みの平均値を計算するのに用いる各画素を中心とした規定の範囲の大きさは、中心画素から３３画素離れた範囲とする。周囲の重みの平均値を計算するのに用いる規定の範囲の大きさは、中心画素から任意の画素数離れた範囲でもよい。
次に、範囲選択部２１２は、ステップＳ２０６で作成したエッジ平均画像から、重みの値が最大となる画素、つまり細胞核の密集度が最も高い領域に位置する画素を中心とした範囲を拡大撮影範囲として選択する（ステップＳ２０７）。この際に、拡大撮影範囲として選択する範囲の大きさは、任意の大きさとする。
次に、範囲選択部２１２は、同じ範囲を拡大撮影範囲として複数回選択しないように、ステップＳ２０７で選択した拡大撮影範囲に含まれる画素の重みの値を０にする（ステップＳ２０８）。
次に、範囲選択部２１２は、あらかじめ設定された数分の拡大撮影範囲が得られたかを判定する（ステップＳ２０９）。
範囲選択部２１２は、あらかじめ設定された数分の拡大撮影範囲が得られるまでステップＳ２０７とステップＳ２０８を繰り返す。
次に、範囲選択部２１２は、ステップＳ２０９で選択した全ての拡大撮影範囲の位置を病理画像取得部１００に出力する。
次に病理画像取得部１００は、ステップＳ２０９で選択した全ての拡大撮影範囲に対し、拡大撮影範囲を拡大した病理組織画像を撮影する（ステップＳ２１０）。拡大撮影範囲を拡大した病理組織画像を撮影する際の倍率は、ステップＳ２０１で病理組織画像を撮影した倍率よりも大きい任意の倍率とする。
その後、出力部１２０は、ステップＳ２１０で拡大撮影範囲を拡大して撮影した病理組織画像を全て出力する（ステップＳ２１１）。
上述したように、本実施形態の病理組織画像撮影システムにおいては、重みづけ部２１１において、病理組織画像からがんの特徴が現れやすい細胞核の密集度が高い領域をＲＯＩとして検出し、ＲＯＩに位置する画素に重みを付加し、範囲選択部２１２において、各画素に付加された重みの値を基に、拡大撮影範囲を選択し、病理画像取得部１００において、選択した拡大撮影範囲を拡大した病理組織画像を撮影する構成となっている。
また、これらの処理は病理医の操作が無くとも、全て自動で行われる。
これにより、病理組織画像からＲＯＩを自動的に検出し、検出したＲＯＩを拡大撮影範囲として選択し、選択した拡大撮影範囲を拡大した病理組織画像を撮影することが出来るという効果が得られる。
（第３の実施形態）
図５に、本発明の第３の実施形態の病理組織画像撮影システムの構成を示す。
図５に示すように、本実施形態の病理組織画像撮影システムは、図３に示した第２の実施形態と比較して、ＲＯＩ決定部２１０をＲＯＩ決定部３１０に変更した点と、がん検出部３３０を追加した点が異なる。なお、その他の構成要素については第２の実施形態と同様であるため、図３と同様の符号を付し、説明を省略する。
がん検出部３３０は、病理画像取得部１００が撮影した病理組織画像からがんと疑われる領域を検出する手段である。また、がん検出部３３０は、病理組織画像から検出したがんと疑われる領域に位置する各画素に対しマークを付加する。なお、ここでは、がんと疑われる領域の検出手法として、特許文献１に記載されている病理組織画像の特徴を定量的に表す手法を用いることとする。がんと疑われる領域を検出する方法は、その他の任意の学習手法や画像処理手法を用いてもよい。
なお、がん検出部３３０おいては、病理組織画像を撮影する際の倍率は、第２の実施形態で用いた病理組織スライド上の標本組織全体が顕微鏡視野に収まる倍率では、倍率が小さすぎるため、がんと疑われる領域を検出することができない。がん検出部３３０でがんと疑われる領域を検出するためには、病理組織画像において細胞核のパターンが認識できる必要がある。そのため、本実施形態においては、病理画像取得部１００は、がん検出部３３０でがんと疑われる領域を検出することができる倍率である、病理組織スライド上の標本組織に含まれる細胞核のパターンが認識できる倍率で病理組織画像を撮影するものとする。なお、一般的には顕微鏡視野中（病理組織画像中）で細胞核のパターンが認識できる倍率は１０倍程度とされている。
ＲＯＩ決定部３１０は、重みづけ部３１１と、範囲選択部３１２と、を有し、がん検出部３３０で病理組織画像から検出されたがんと疑われる領域をＲＯＩとし、ＲＯＩを拡大撮影範囲として選択する手段である。
重みづけ部３１１は、がん検出部３３０が病理組織画像から検出したがんと疑われる領域の密集度を計算した値を各画素に密集度の重みＣとして付加する手段である。重み付け部３１１は、病理組織画像中の、がん検出部３３０がマークを付加した画素を含む規定の範囲の全てのパターンに対し、規定の範囲の左上原点に位置する画素に一定の値を加算した値を密集度の重みＣとする。
なお、本実施形態においては、がん検出部３３０で検出されたがんと疑われる領域をＲＯＩとする。
範囲選択部３１２は、病理組織画像中の、重みづけ部３１１で付加された密集度の重みＣの値が最大となる画素を選択し、選択した画素を左上原点とした規定の範囲を拡大撮影範囲として選択する手段である。また、範囲選択部３１２は、選択した拡大撮影範囲の位置を病理画像取得部１００に出力する。
この出力を受け、病理画像取得部１００は、範囲選択部３１２が選択した拡大撮影範囲を拡大した病理組織画像を撮影する。
次に、第３の実施形態の病理組織画像撮影システムの動作について図６のフローチャートを用いて説明する。
まず、病理画像取得部１００は、病理組織スライド上の標本組織の細胞核のパターンが認識できる倍率で病理組織画像を撮影する（ステップＳ３０１）。
次に、がん検出部３３０は、ステップＳ３０１で撮影した病理組織画像から、特許文献１に記載されている病理組織画像の特徴を定量的に表す手法を用いて、がんと疑われる領域を検出し、検出した領域に位置する画素にマークを付加する（ステップＳ３０２）。
次に、重みづけ部３１１は、ステップＳ３０２でがんと疑われる領域に位置する画素にマークが付加された病理組織画像に対し、全画素に対してがん検出部３３０でマークが付加された画素であるかを判定する（ステップＳ３０３）。
ステップＳ３０３において、判定対象である注目画素にマークが付加されていた場合、重みづけ部３１１は、注目画素を含む幅Ｗ、高さＨの規定の範囲の全てのパターンに対し、左上を原点とし、左上原点に位置する画素に一定の値を加算して行き、加算した値を密集度の重みＣとする（ステップＳ３０４）。密集度の重みＣは、各画素で保存され、加算されて行く。そのため、自己を左上原点とした幅Ｗ、高さＨの規定の範囲内に、マークを付加された画素を多く含む画素ほど密集度の重みＣの値が大きくなる。したがって、密集度の重みＣの値が大きい画素ほど、がんと疑われる領域の密集度が高い領域、つまりＲＯＩとして重要性が高い領域に位置する画素を意味することになる。ここでは、１回の加算で密集度の重みＣの値には１が加算されるものとするが、１でなくても任意の値でもよい。
また、注目画素を含む規定の範囲の大きさとなる、幅Ｗと、高さＨ、の値は任意の値とする。
また、ここでは、左上原点に位置する画素に重みを加算する方法を示したが、他に右上、左下、右下を原点として重みを加算する方法や、中心画素に重みを加算する方法、その他の任意の重みを加算する方法でもよい。
次に、重みづけ部３１１は、ステップＳ３０３とステップＳ３０４の処理を、病理組織画像の全ての画素に対して行ったかを判定する（ステップＳ３０５）。
重みづけ部３１１は、ステップＳ３０３とステップＳ３０４の処理を、病理組織画像の全ての画素に対して行うまで繰り返す（ステップＳ３０６）。
次に、範囲選択部３１２は、ステップＳ３０４で付加された密集度の重みＣの値が最大となる画素を選択し、選択した画素を左上原点とした幅Ｗ、高さＨの規定の範囲を拡大撮影範囲として選択する（ステップＳ３０７）。
次に、範囲選択部３１２は、同じ範囲を拡大撮影範囲として複数回選択しないように、ステップＳ３０７で選択した拡大撮影範囲に含まれる各画素が持つ密集度の重みＣから、選択した拡大撮影範囲に含まれるマークが付加されている画素の数を減算する（ステップＳ３０８）。例えば、ステップＳ３０７で、選択した拡大撮影範囲にマークが付加された画素が３つ含まれる場合、拡大撮影範囲内の全ての画素のからおのおの密集度の重みＣの値から３を減算する。また、重みの減算の方法はこれに限るものではなく、拡大撮影範囲内の各画素の密集度の重みＣを全て０にする方法や、他の任意の重みを減算する方法でもよいものとする。
次に、範囲選択部３１２は、あらかじめ設定されている数分の拡大撮影範囲が得られたかを判定する（ステップＳ３０９）。
範囲選択部３１２は、あらかじめ設定されている数分の拡大撮影範囲が得られるまでステップＳ３０７とステップＳ３０８を繰り返す。
次に、範囲選択部３１２は、ステップＳ３０９で選択した全ての拡大撮影範囲の位置を病理画像取得部１００に出力する。
次に、病理画像取得部１００は、ステップＳ３０９で選択した全ての拡大撮影範囲に対し、拡大撮影範囲を拡大した病理組織画像を撮影する（ステップＳ３１０）。拡大撮影範囲を拡大した病理組織画像を撮影する際の倍率は、ステップＳ３０１で病理組織画像を撮影した倍率よりも大きい任意の倍率とする。
その後、出力部１２０は、ステップＳ３１０で拡大撮影範囲を拡大して撮影した病理組織画像を全て出力する（ステップＳ３１１）。
上述したように、本実施形態の病理組織画像撮影システムにおいては、がん検出部３３０において、病理組織画像からがんと疑われる領域を検出し、重みづけ部３１１において、検出されたがんと疑われる領域をＲＯＩとし、ＲＯＩに位置する画素に対し重みを付加し、範囲選択部３１２において、各画素に付加された重みの値を基に、拡大撮影範囲を選択し、病理画像取得部において、選択した拡大範囲撮影範囲を拡大した病理組織画像を撮影する構成となっている。
また、これらの処理は病理医の操作が無くとも、全て自動で行われる。
これにより、病理組織画像からＲＯＩを自動的に検出し、検出したＲＯＩを拡大撮影範囲として選択し、選択した拡大撮影範囲を拡大した病理組織画像を撮影することが出来るという効果が得られる。
（第４の実施形態）
図７に、本発明の第４の実施形態の病理組織画像撮影システムの構成を示す。
図７に示すように、本実施形態の病理組織画像撮影システムは、図５に示した第３の実施形態と比較して、ＲＯＩ決定部３１０をＲＯＩ決定部４１０に変更した点が異なる。なお、ＲＯＩ決定部４１０は、ＲＯＩ決定部３１０と比較して、範囲選択部３１２を範囲選択部４１２に変更した点と、距離計算部４１３を追加した点と、が異なる。その他の構成要素については第３の実施形態と同様であるため、図５と同一の符号を付し、説明を省略する。
ＲＯＩ決定部４１０は、重みづけ部３１１と、範囲選択部４１２と、距離計算部４１３と、を有し、がん検出部３３０で病理組織画像から検出されたがんと疑われる領域をＲＯＩとし、ＲＯＩを拡大撮影範囲として選択する手段である。
距離計算部４１３は、病理画像取得部１００が撮影した病理組織画像中の各画素を含む規定の範囲の全てのパターンに対し、各画素と規定の範囲の中心画素との距離を計算した値を規定の範囲の左上原点に位置する画素に距離の重みＤとして付加する手段である。
距離の重みＤは、今注目している注目画素が今考えている規定の範囲の中心画素からどれだけ離れているかを表している。そのため、距離の重みＤの値が小さい画素を左上原点に持つ規定の範囲ほど、ＲＯＩが中心に近い位置に存在することになる。したがって、範囲選択部４１２が拡大撮影範囲を選択する際に、左上原点に位置する画素の距離の重みＤの値が小さい規定の範囲を選択することで、ＲＯＩを病理組織画像の中心に持っていくことができる。
範囲選択部４１２は、病理組織画像中の、重みづけ部３１１で付加された密集度の重みＣの値が最大となる画素を選択し、密集度の重みＣの値が最大となる画素が複数存在する場合、それらの画素の中から距離計算部４１３で付加された距離の重みＤの値が最小となる画素を選択し、選択した画素を左上原点とした規定の範囲を拡大撮影範囲として選択する手段である。また、範囲選択部４１２は、選択した拡大撮影範囲の位置を病理画像取得部１００に出力する。
この出力を受け、病理画像取得部１００は、範囲選択部４１２が選択した拡大撮影範囲を拡大した病理組織画像を撮影する。
次に、本実施形態の病理組織画像撮影システムの動作について図８のフローチャートを用いて説明する。
まず、病理画像取得部１００は、病理組織スライド上の標本組織の細胞核のパターンが認識できる倍率で病理組織画像を撮影する（ステップＳ４０１）。
次に、がん検出部３３０は、ステップＳ４０１で撮影した病理組織画像から、特許文献１に記載されている病理組織画像の特徴を定量的に表す手法を用いて、がんと疑われる領域を検出し、検出した領域に位置する画素にマークを付加する（ステップＳ４０２）。
次に、重みづけ部３１１は、ステップＳ４０２でがんと疑われる領域に位置する画素にマークが付加された病理組織画像に対し、全画素に対してがん検出部３３０でマークが付加された画素であるかを判定する（ステップＳ４０３）。
ステップＳ４０３において、判定対象である注目画素にマークが付加されていた場合、重みづけ部３１１は、注目画素を含む幅Ｗ、高さＨの規定の範囲の全てのパターンに対し、左上を原点とし、左上原点に位置する画素に一定の値を加算して行き、加算した値を密集度の重みＣとする（ステップＳ４０４）。
次に、距離計算部４１３は、ステップＳ４０４で密集度の重みＣが付加された病理組織画像に対し、各画素に距離の重みＤを付加する（ステップＳ４０５）。
距離の重みＤの計算は次のように行う。距離計算部４１３は、がん検出部３３０でマークが付加されたがんと疑われる領域に位置する画素を含む、左上を原点とした幅Ｗ、高さＨの規定の範囲の全てのパターンに対し、注目画素と今考えている規定の範囲の中心画素（Ｘ＝Ｗ／２，Ｙ＝Ｈ／２）との距離を計算し、今考えている規定の範囲の左上原点に位置する画素に距離の重みＤとして付加する。
例えば、図９に示すように、幅Ｗ＝７、高さＨ＝７の範囲を規定の範囲として考えるとする。がん検出部３３０でマークが付加された注目画素が（２，２）の座標位置にあるとすると、この注目画素は今考えている幅Ｗ＝７、高さＨ＝７の規定の範囲の中心画素（４，４）から距離２√２だけ離れていることになる。この場合、今考えている規定の範囲の左上原点に位置する画素（１，１）に、距離の重みＤ＝２√２を付加する。なお、左上原点に位置する画素（１，１）に、既に距離の重みＤが付加されている場合、より小さい方の値を距離の重みＤとして採用する。
上述したように、ここでは、ステップＳ４０５において、マークが付加されたがんと疑われる領域に位置する注目画素と、考えている幅Ｗ、高さＨの規定の範囲の中心画素と、の距離を計算し、距離の重みＤとしているが、あらかじめ距離計算用マップを作成しておき、ステップＳ４０５において、距離計算用マップから対応する注目画素と中心画素との距離を取得するという方法でもよい。
また、ここでは、考えている規定の範囲の左上を原点とし、左上原点に位置する画素に距離の重みＤを付加する方法を示したが、他に右上、左下、右下などを原点として距離の重みＤを付加する方法や、中心画素に距離の重みＤを付加する方法、その他の任意の重みを付加する方法を用いてもよい。
また、左上原点の画素に既に距離の重みＤが付加されていた場合、小さい方の値を距離の重みＤとして採用するとしたが、それらを加算する方法や、その他の方法を用いてもよい。
なお、注目画素を含む規定の範囲の大きさとなる、幅Ｗと、高さＨ、の値は任意の値とする。
次に、重みづけ部３１１と距離計算部４１３は、ステップＳ４０３〜ステップＳ４０５の処理を、病理組織画像の全ての画素に対して行ったかを判定する（ステップＳ４０６）。
重みづけ部３１１と距離計算部４１３は、ステップＳ４０３〜ステップＳ４０５の処理を、病理組織画像の全ての画素に対して行うまで繰り返す（ステップＳ４０７）。
次に、範囲選択部４１２は、ステップＳ４０４で付加された密集度の重みＣの値が最大となる画素が、病理組織画像中に複数存在するかを判定する（ステップＳ４０８）。
範囲選択部４１２は、密集度の重みＣの値が最大となる画素が複数存在しない場合、密集度の重みＣの値が最大となる画素を選択し、選択した画素を左上原点とした幅Ｗ、高さＨの規定の範囲を拡大撮影範囲として選択する（ステップＳ４０９）。
範囲選択部４１２は、密集度の重みＣの値が最大となる画素が複数存在する場合、それらの画素の内、距離の重みＤの値が最小となる画素を選択し、選択した画素を左上原点とした幅Ｗ、高さＨの規定の範囲を拡大撮影範囲として選択する（ステップＳ４１０）。
次に、範囲選択部４１２は、同じ範囲を拡大撮影範囲として複数回選択しないように、ステップＳ４０９〜ステップＳ４１０で選択した拡大撮影範囲内の各画素が持つ密集度の重みＣから、選択した拡大撮影範囲に含まれるマークが付加されている画素の数を減算する（ステップＳ４１１）。
次に、範囲選択部４１２は、あらかじめ設定されている数分の拡大撮影範囲が得られたかを判定する（ステップＳ４１２）。
範囲選択部４１２は、あらかじめ設定されている数分の拡大撮影範囲が得られるまでステップＳ４０８〜ステップＳ４１１を繰り返す。
次に、範囲選択部４１２は、選択した全ての拡大撮影範囲の位置を病理画像取得部１００に出力する。
次に、病理画像取得部１００は、ステップＳ４１２で選択した全ての拡大撮影範囲に対し、拡大撮影範囲を拡大した病理組織画像を撮影する（ステップＳ４１３）。拡大撮影範囲を拡大した病理組織画像を撮影する際の倍率は、ステップＳ４０１で病理組織画像を撮影した倍率よりも大きい任意の倍率とする。
その後、出力部１２０は、ステップＳ４１３で拡大撮影範囲を拡大して撮影した病理組織画像を全て出力する（ステップＳ４１４）。
なお、本実施形態では、ステップＳ４０５で距離の重みＤを付加するとしたが、ステップＳ４０８の後、密集度の重みＣの値が最大となる画素が複数存在する場合にのみ、それらの画素について距離の重みＤを計算してもよい。
上述したように、本実施形態の病理組織画像撮影システムにおいては、がん検出部３３０において、病理組織画像からがんと疑われる領域を検出し、重みづけ部３１１と距離計算部４１３において、検出されたがんと疑われる領域をＲＯＩとし、ＲＯＩに位置する画素に対し重みを付加し、範囲選択部４１２において、各画素に付加された重みの値を基に、拡大撮影範囲を選択し、病理画像取得部１００において、選択した拡大撮影範囲を拡大した病理組織画像を撮影する構成となっている。
また、これらの処理は病理医の操作が無くとも、全て自動で行われる。
これにより、病理組織画像からＲＯＩを自動的に検出し、検出したＲＯＩを拡大撮影範囲として選択し、選択した拡大撮影範囲を拡大した病理組織画像を撮影することが出来るという効果が得られる。
（第５の実施形態）
図１０に、本発明の第５の実施形態の病理組織画像撮影システムの構成を示す。
図１０に示すように、本実施形態の病理組織画像撮影システムは、図７に示した第４の実施形態と比較して、ＲＯＩ決定部４１０をＲＯＩ決定部５１０に変更した点が異なる。なお、ＲＯＩ決定部５１０は、ＲＯＩ決定部４１０と比較して、範囲選択部４１２を範囲選択部５１２に変更した点と、組織領域計算部５１４を追加した点と、が異なる。その他の構成要素については第４の実施形態と同様であるため、図７と同一の符号を付し、説明を省略する。
ＲＯＩ決定部５１０は、重みづけ部３１１と、範囲選択部５１２と、距離計算部４１３と、組織領域計算部５１４と、を有し、がん検出部３３０で病理組織画像から検出されたがんと疑われる領域をＲＯＩとし、ＲＯＩを拡大撮影範囲として選択する手段である。
組織領域計算部５１４は、病理画像取得部１００が撮影した病理組織画像から組織の領域を検出し、各画素を左上原点とした規定の範囲内の組織の領域に位置する画素の数を計算した値を各画素に組織領域の重みＲとして付加する手段である。組織領域計算部５１４は、病理組織画像から以下に示す３つの条件を全て満たす画素を検出し、それらの画素を組織の領域に位置する画素とする。
組織領域計算部５１４が組織の領域に位置する画素を検出する際の条件は以下の通りである。
（条件１）ＲとＧとＢの輝度のうち最大値が６４以上となる。
（条件２）ＲとＢの輝度のうち小さい方の値からＧの輝度を減じた値が１０以上となる 。
（条件３）ＲとＧとＢの輝度のうち最大値と最小値の差をとったものに２５５を乗じた 値を、ＲとＧとＢの輝度のうち最大値で除した値が３２以上となる。
範囲選択部５１２は、病理組織画像中の、重みづけ部３１１で付加された密集度の重みＣの値が最大となる画素を選択し、密集度の重みＣの値が最大となる画素が複数存在する場合、それらの画素の中から距離計算部４１３で付加された距離の重みＤの値が最小となる画素を選択し、距離の重みＤの値が最小となる画素がさらに複数存在する場合、それらの画素の中から組織領域計算部５１４で付加された組織領域の重みＲの値が最大となる画素を選択し、選択した画素を左上原点とした規定の範囲を拡大撮影範囲として選択する手段である。また範囲選択部５１２は、選択した拡大撮影範囲の位置を病理画像撮影部１００に出力する。
この出力を受け、病理画像取得部１００は、範囲選択部５１２が選択した拡大撮影範囲を拡大した病理組織画像を撮影する。
次に、本実施形態の病理組織画像撮影システムの動作について図１１のフローチャートを用いて説明する。
まず、病理画像取得部１００は、病理組織スライド上の標本組織の細胞核のパターンが認識できる倍率で病理組織画像を取得する（ステップＳ５０１）。
次に、がん検出部３３０は、ステップＳ５０１で撮影した病理組織画像から、特許文献１に記載されている病理組織画像の特徴を定量的に表す手法を用いて、がんと疑われる領域を検出し、検出した領域に位置する画素にマークを付加する（ステップＳ５０２）。
次に、重みづけ部３１１は、ステップＳ５０２でがんと疑われる領域に位置する画素にマークが付加された病理組織画像に対し、全画素に対してがん検出部３３０でマークが付加された画素であるかを判定する（ステップＳ５０３）。
ステップＳ５０３において、判定対象である注目画素にマークが付加されていた場合、重みづけ部３１１は、注目画素を含む幅Ｗ、高さＨの規定の範囲の全てのパターンに対し、左上を原点とし、左上原点に位置する画素に一定の値を加算して行き、加算した値を密集度の重みＣとする（ステップＳ５０４）。
次に、距離計算部４１３は、ステップＳ５０４で密集度の重みＣが付加された病理組織画像に対し、各画素に距離の重みＤを付加する（ステップＳ５０５）。
次に、重みづけ部３１１と距離計算部４１３は、ステップＳ５０３〜ステップＳ５０５の処理を、病理組織画像の全ての画素に対して行ったかを判定する（ステップＳ５０６）。
重みづけ部３１１と距離計算部４１３は、ステップＳ５０３〜ステップＳ５０５の処理を、病理組織画像の全ての画素に対して行うまで繰り返す（ステップＳ５０７）。
次に、範囲選択部５１２は、ステップＳ５０４で付加された密集度の重みＣの値が最大となる画素が、病理組織画像中に複数存在するかを判定する（ステップＳ５０８）。
範囲選択部５１２は、密集度の重みＣの値が最大となる画素が複数存在しない場合、密集度の重みＣの値が最大となる画素を選択し、選択した画素を左上原点とした幅Ｗ、高さＨの規定の範囲を拡大撮影範囲として選択する（ステップＳ５０９）。
ステップＳ５０８で密集度の重みＣの値が最大となる画素が複数存在する場合、範囲選択部５１２は、それらの画素の中から距離の重みＤの値が最小となる画素が複数存在するかを判定する（ステップＳ５１０）。
範囲選択部５１２は、距離の重みＤの値が最小となる画素が複数存在しない場合、距離の重みＤの値が最小となる画素を選択し、選択した画素を左上原点とした幅Ｗ、高さＨの規定の範囲を拡大撮影範囲として選択する（ステップＳ５１１）。
ステップＳ５１０で距離の重みＤの値が最小となる画素が複数存在する場合、組織領域計算部５１４は、それらの画素について、注目画素を左上原点とした幅Ｗ、高さＨの規定の範囲内に上述した３つの条件を全て満たす、組織の領域に位置する画素が何個含まれているかを計算し、計算した組織の領域に位置する画素の数を注目画素に組織領域の重みＲとして付加する（ステップＳ５１２）。
この際、組織領域計算部５１４は、組織の領域に位置する画素を検出するために、病理組織画像中の、ＲとＧとＢの輝度のうち最大値が６４以上となる画素を選択し、選択した画素の中からＲとＢの輝度のうち小さい方の値からＧの輝度を減じた値が１０以上となる画素を選択し、選択した画素の中からＲとＧとＢの輝度のうち最大値と最小値との差をとった値に２５５を乗じた値をＲとＧとＢの輝度のうち最大値で除した値が３２以上となる画素を選択し、選択した画素を組織の領域に位置する画素として検出する。
なお、ここでは、上述した３つの条件を全て満たす画素を組織の領域に位置する画素として検出するものとしたが、他の組織の領域の検出方法を用いてもよい。
また、ここではステップＳ５１２で病理組織画像から組織の領域を検出しているが、あらかじめ組織の領域を検出したマスク画像を作成しておき、ステップＳ５１２ではマスク画像を適用するという方法でもよい。
また、ステップＳ５０５の後に、あらかじめ組織領域の重みＲを各画素に対して計算し、付加しておいてもよい。
次に、範囲選択部５１２は、ステップＳ５１０で距離の重みＤの値が最小となる画素が複数存在する場合、ステップＳ５１２で付加された組織領域の重みＲの値が最大となる画素を選択し、選択した画素を左上原点とした幅Ｗ、高さＨの規定の範囲を拡大撮影範囲として選択する（ステップＳ５１３）。
次に、範囲選択部５１２は、同じ範囲を拡大撮影範囲として複数回選択しないように、ステップＳ５０９〜ステップＳ５１３で選択した拡大撮影範囲内の各画素が持つ密集度の重みＣから、選択した拡大撮影範囲に含まれるマークが付加されている画素の数を減算する（ステップＳ５１４）。
次に、範囲選択部５１２は、あらかじめ設定されている数分の拡大撮影範囲が得られたかを判定する（ステップＳ５１５）
範囲選択部５１２は、あらかじめ設定されている数分の拡大撮影範囲が得られるまでステップＳ４０６〜ステップＳ４１３を繰り返す。
次に、範囲選択部５１２は、ステップＳ５１５で選択した全ての拡大撮影範囲の位置を病理画像取得部１００に出力する。
次に、病理画像取得部１００は、ステップＳ５１５で選択した全ての拡大撮影範囲に対し、拡大撮影範囲を拡大した病理組織画像を撮影する（ステップＳ５１６）。拡大撮影範囲を拡大した病理組織画像を撮影する際の倍率は、ステップＳ５０１で病理組織画像を撮影した倍率よりも大きい任意の倍率とする。
その後、出力部１２０は、ステップＳ５１６で拡大撮影範囲を拡大して撮影した病理組織画像を全て出力する（ステップＳ５１７）。
上述したように、本実施形態の病理組織画像撮影システムにおいては、がん検出部３３０において、病理組織画像からがんと疑われる領域を検出し、重みづけ部３１１と距離計算部４１３と組織領域計算部５１４において、検出されたがんと疑われる領域をＲＯＩとし、ＲＯＩに位置する画素に対し重みを付加し、範囲選択部５１２において、各画素に付加された重みの値を基に、拡大撮影範囲を選択し、病理画像取得部１００において、選択した拡大撮影範囲を拡大した病理組織画像を撮影する構成となっている。
また、これらの処理は病理医の操作が無くとも、全て自動で行われる。
これにより、病理組織画像からＲＯＩを自動的に検出し、検出したＲＯＩを拡大撮影範囲として選択し、選択した拡大撮影範囲を拡大した病理組織画像を撮影することが出来るという効果が得られる。
なお、上述した第１〜第５の実施形態の病理組織画像撮影システムは、一例であり、その構成及び動作は、発明の主旨を逸脱しない範囲で、適宜に変更可能である。
例えば、最初に第２の実施形態を用いて細胞核の密集度が高い領域を検出し、検出した細胞核の密集度が高い領域を拡大した病理組織画像を撮影し、その後、第２の実施形態を用いて撮影した病理組織画像を基に、第３〜第５の実施形態を用いてがんと疑われる領域を検出し、検出した領域をさらに拡大して撮影する範囲として選択し、選択した範囲を拡大した病理組織画像を撮影するようにしても良い。
また、例えば、第３〜第５の実施形態においては、がん検出部３３０でがんと疑わしい領域を検出しているが、他の病気を検出するシステムを組み込むことで、がん以外の病理組織診断に対応できるようにしても良い。
また、例えば、特許文献１に記載されている病理組織診断支援システムと組み合わせることで、病理医の操作無しに、病理組織画像からＲＯＩに検出し、検出したＲＯＩを拡大して撮影した病理組織画像を基に正確な病理組織診断を行う、自動病理組織診断支援システムとしても良い。
なお、本発明の病理組織画像撮影システムは、上述のように専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、病理組織画像撮影システムで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムを病理組織画像撮影システムに読み込ませ、実行するものであってもよい。病理組織画像撮影システムで読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、病理組織画像撮影システムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、病理組織画像撮影システムで読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的に病理組織画像撮影システム内部の揮発性メモリのように一定時間プログラムを保持しているものを含む。
本発明の第１の実施形態の病理組織画像撮影システムの構成を示すブロック図である。 図１に示した病理組織画像撮影システムの動作を説明するフローチャートである。 本発明の第２の実施形態の病理組織画像撮影システムの構成を示すブロック図である。 図３に示した病理組織画像撮影システムの動作を説明するフローチャートである。 本発明の第３の実施形態の病理組織画像撮影システムの構成を示すブロック図である。 図５に示した病理組織画像撮影システムの動作を説明するフローチャートである。 本発明の第４の実施形態の病理組織画像撮影システムの構成を示すブロック図である。 図７に示した病理組織画像撮影システムの動作を説明するフローチャートである。 図７に示した距離計算部による距離の重みの計算方法を説明する図である。 本発明の第５の実施形態の病理組織画像撮影システムの構成を示すブロック図である。 図１０に示した病理組織画像撮影システムの動作を説明するフローチャートである。
符号の説明
１００ 病理画像取得部
１１０，２１０，３１０，４１０，５１０ ＲＯＩ決定部
１１１，２１１，３１１ 重みづけ部
１１２，２１２，３１２，４１２，５１２ 範囲選択部
１２０ 出力部
３３０ がん検出部
４１３ 距離計算部
５１４ 組織領域計算部

Claims (6)

  1. 病理組織画像を撮影する病理画像取得部と、
    前記病理組織画像を出力する出力部と、
    前記病理組織画像からＲＯＩを検出し、当該ＲＯＩに位置する画素に重みを付加する重みづけ部と、
    前記重みづけ部で付加された重みの値を基に、前記病理組織画像から拡大して撮影する拡大撮影範囲を選択する範囲選択部と、を有し、
    前記病理画像取得部は、前記範囲選択部が選択した前記拡大撮影範囲を拡大した病理組織画像を撮影し、
    前記出力部は、前記拡大撮影範囲を拡大して撮影した病理組織画像を出力する病理組織画像撮影システムであって、
    前記病理画像取得部は、病理組織スライド上の標本組織全体が顕微鏡視野に収まる倍率で前記病理組織画像を撮影し、
    前記重みづけ部は、前記病理組織画像中の細胞核の密集度を計算した値を各画素に重みとして付加し、
    前記範囲選択部は、前記重みづけ部で付加された重みの値が最大となる画素を選択し、選択した画素を中心とした規定の範囲を前記拡大撮影範囲として選択することを特徴とする病理組織画像撮影システム。
  2. 前記重みづけ部は、前記病理組織画像に対し、まず、シアンの値を基にグレースケール化処理を行い、次に、平滑化処理を行い、次に、エッジ検出処理を行い、検出されたエッジの値を基に病理組織画像から階調画像を作成し、当該階調画像の各画素を中心とした規定の範囲に含まれる画素のエッジの値の平均値を計算し、計算したエッジの値の平均値を各画素の重みの値とする、請求項１に記載の病理組織画像撮影システム。
  3. 病理組織画像を撮影して出力する病理組織画像撮影システムが行う病理組織画像撮影方法であって、
    前記病理組織画像を撮影する撮影ステップと、
    前記病理組織画像からＲＯＩを検出し、当該ＲＯＩに位置する画素に重みを付加する重みづけステップと、
    前記重みづけステップで付加された重みの値を基に、前記病理組織画像から拡大して撮影する拡大撮影範囲を選択する範囲選択ステップと、
    前記範囲選択ステップで選択した前記拡大範囲を拡大した病理組織画像を撮影する拡大撮影ステップと、
    前記拡大撮影範囲を拡大して撮影した病理組織画像を出力する出力ステップと、を有し、
    前記撮影ステップにおいて、病理組織スライド上の標本組織全体が顕微鏡視野に収まる倍率で前記病理組織画像を撮影し、
    前記重みづけステップにおいて、前記病理組織画像中の細胞核の密集度を計算した値を各画素に重みとして付加し、
    前記範囲選択ステップにおいて、前記重みづけステップで付加された重みの値が最大となる画素を選択し、選択した画素を中心とした規定の範囲を前記拡大撮影範囲として選択することを特徴とする病理組織画像撮影方法。
  4. 前記重みづけステップにおいて、前記病理組織画像に対し、まず、シアンの値を基にグレースケール化処理を行い、次に、平滑化処理を行い、次に、エッジ検出処理を行い、検出されたエッジの値を基に病理組織画像から階調画像を作成し、当該階調画像の各画素を中心とした規定の範囲に含まれる画素のエッジの値の平均値を計算し、計算したエッジの値の平均値を各画素の重みの値とする、請求項３に記載の病理組織画像撮影方法。
  5. 病理組織画像を撮影して出力する病理組織画像撮影システムに、
    前記病理組織画像を撮影する撮影手順と、
    前記病理組織画像からＲＯＩを検出し、当該ＲＯＩに位置する画素に重みを付加する重みづけ手順と、
    前記重みづけ手順で付加された重みの値を基に、前記病理組織画像から拡大して撮影する拡大撮影範囲を選択する範囲選択手順と、
    前記範囲選択手順で選択した前記拡大範囲を拡大した病理組織画像を撮影する拡大撮影手順と、
    前記拡大撮影範囲を拡大して撮影した病理組織画像を出力する出力手順と、を実行させるための病理組織画像撮影プログラムであって、
    前記撮影手順において、病理組織スライド上の標本組織全体が顕微鏡視野に収まる倍率で前記病理組織画像を撮影し、
    前記重みづけ手順において、前記病理組織画像中の細胞核の密集度を計算した値を各画素に重みとして付加し、
    前記範囲選択手順において、前記重みづけ手順で付加された重みの値が最大となる画素を選択し、選択した画素を中心とした規定の範囲を前記拡大撮影範囲として選択することを特徴とする病理組織画像撮影プログラム。
  6. 前記重みづけ手順において、前記病理組織画像に対し、まず、シアンの値を基にグレースケール化処理を行い、次に、平滑化処理を行い、次に、エッジ検出処理を行い、検出されたエッジの値を基に病理組織画像から階調画像を作成し、当該階調画像の各画素を中心とした規定の範囲に含まれる画素のエッジの値の平均値を計算し、計算したエッジの値の平均値を各画素の重みの値とする、請求項５に記載の病理組織画像撮影プログラム。
JP2008015100A 2008-01-25 2008-01-25 病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム Active JP5245424B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008015100A JP5245424B2 (ja) 2008-01-25 2008-01-25 病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム
US12/355,992 US8265362B2 (en) 2008-01-25 2009-01-19 Pathological tissue image capturing system, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008015100A JP5245424B2 (ja) 2008-01-25 2008-01-25 病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012202859A Division JP5344073B2 (ja) 2012-09-14 2012-09-14 病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム

Publications (2)

Publication Number Publication Date
JP2009175040A JP2009175040A (ja) 2009-08-06
JP5245424B2 true JP5245424B2 (ja) 2013-07-24

Family

ID=40899284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008015100A Active JP5245424B2 (ja) 2008-01-25 2008-01-25 病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム

Country Status (2)

Country Link
US (1) US8265362B2 (ja)
JP (1) JP5245424B2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5151403B2 (ja) * 2007-11-06 2013-02-27 日本電気株式会社 低分化癌検出モジュール、これを備えた病理画像診断支援装置、プログラムおよび記録媒体
JP5321145B2 (ja) 2009-03-04 2013-10-23 日本電気株式会社 画像診断支援装置、画像診断支援方法、画像診断支援プログラム、及びその記憶媒体
CN102469981B (zh) * 2009-07-30 2015-04-01 株式会社日立医疗器械 超声波诊断装置及其关心区域设定方法
JP5535727B2 (ja) 2010-04-01 2014-07-02 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP5569206B2 (ja) * 2010-07-15 2014-08-13 ソニー株式会社 画像処理装置および方法
JP5670695B2 (ja) 2010-10-18 2015-02-18 ソニー株式会社 情報処理装置及び方法、並びにプログラム
JP5668436B2 (ja) 2010-12-01 2015-02-12 ソニー株式会社 検体領域検出方法、検体領域検出装置及び検体領域検出プログラム
US9092851B2 (en) 2011-01-31 2015-07-28 Nec Corporation Information processing system, information processing method, information processing apparatus, control method therefor, and storage medium storing control program therefor
JP5413408B2 (ja) 2011-06-09 2014-02-12 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
EP2737435A4 (en) * 2011-07-27 2015-04-08 Omnyx LLC SYSTEMS AND METHODS OF DIGITAL PATHOLOGY
US9390313B2 (en) * 2012-04-23 2016-07-12 Nec Corporation Image measurement apparatus and image measurment method measuring the cell neclei count
JP2014137262A (ja) * 2013-01-16 2014-07-28 Sony Corp 画像取得装置、画像取得方法、および情報処理プログラム
US20140378810A1 (en) 2013-04-18 2014-12-25 Digimarc Corporation Physiologic data acquisition and analysis
WO2014172671A1 (en) * 2013-04-18 2014-10-23 Digimarc Corporation Physiologic data acquisition and analysis
JP5861678B2 (ja) * 2013-08-05 2016-02-16 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
US11091810B2 (en) * 2015-01-27 2021-08-17 BioSpyder Technologies, Inc. Focal gene expression profiling of stained FFPE tissues with spatial correlation to morphology
US9824189B2 (en) * 2015-01-23 2017-11-21 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, image processing method, image display system, and storage medium
CN107920798B (zh) 2015-09-01 2019-05-28 皇家飞利浦有限公司 用于显示身体部位的医学图像数据的装置
CN106780475B (zh) * 2016-12-27 2019-10-01 北京市计算中心 一种基于病理组织切片图像组织区域的图像处理装置
US20220156606A1 (en) * 2020-11-13 2022-05-19 International Business Machines Corporation Identification of a section of bodily tissue for pathology tests
CN113848085A (zh) * 2021-08-12 2021-12-28 澎立检测技术(上海)有限公司 一种病理硬组织切片系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0641909B2 (ja) * 1988-02-29 1994-06-01 日本アビオニクス株式会社 カラー画像解析装置を用いた細胞の核酸量の顕微測光方法
US6463438B1 (en) * 1994-06-03 2002-10-08 Urocor, Inc. Neural network for cell image analysis for identification of abnormal cells
JPH11344676A (ja) * 1998-06-02 1999-12-14 Nikon Corp 顕微鏡画像撮影システム
US6697652B2 (en) * 2001-01-19 2004-02-24 Massachusetts Institute Of Technology Fluorescence, reflectance and light scattering spectroscopy for measuring tissue
EP1302163B1 (en) * 2001-10-16 2006-07-05 Kabushiki Kaisha Toshiba Apparatus for calculating an index of local blood flows
JP4462959B2 (ja) * 2004-02-25 2010-05-12 富士通株式会社 顕微鏡画像撮影システム及び方法
JP4496943B2 (ja) 2004-11-30 2010-07-07 日本電気株式会社 病理診断支援装置、病理診断支援プログラム、病理診断支援装置の作動方法、及び病理診断支援システム
JP4599191B2 (ja) * 2005-03-01 2010-12-15 国立大学法人神戸大学 画像診断処理装置および画像診断処理プログラム
JP4771119B2 (ja) 2005-06-28 2011-09-14 日本精工株式会社 トロイダル型無段変速機
JP2007009629A (ja) 2005-07-04 2007-01-18 Shoichi Suzuki ターンバックル
JP2007147563A (ja) 2005-11-30 2007-06-14 Ge Healthcare Uk Ltd 生体画像処理方法

Also Published As

Publication number Publication date
US8265362B2 (en) 2012-09-11
JP2009175040A (ja) 2009-08-06
US20090190812A1 (en) 2009-07-30

Similar Documents

Publication Publication Date Title
JP5245424B2 (ja) 病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム
JP5344073B2 (ja) 病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム
JP5365011B2 (ja) 病理診断支援装置、病理診断支援方法、およびプログラム
US9323037B2 (en) Biological image presentation device, biological image presentation method, program, and biological image presentation system
JP5780865B2 (ja) 画像処理装置、撮像システム、画像処理システム
JP5996334B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
JP5715371B2 (ja) 被写界深度が向上した撮像システム及び撮像方法
JP5652227B2 (ja) 画像処理装置および方法、並びにプログラム
JP2006238802A (ja) 細胞観察装置、細胞観察方法、顕微鏡システム、及び細胞観察プログラム
US9947089B2 (en) Digital specimen manufacturing device, digital specimen manufacturing method, and digital specimen manufacturing server
CN110619318B (zh) 基于人工智能的图像处理方法、显微镜、系统和介质
JP5782243B2 (ja) 被写界深度が向上した撮像システム及び撮像方法
JP6194791B2 (ja) 画像処理装置及びプログラム
JP2010500571A (ja) 組織マイクロアレイの多チャネル画像の共位置合わせシステム及び方法
JP5651423B2 (ja) 被写界深度が向上した撮像システム及び撮像方法
JP2004286666A (ja) 病理診断支援装置および病理診断支援プログラム
JP4663602B2 (ja) 自動合焦装置、顕微鏡および自動合焦方法
JP2006317406A (ja) 細胞画像撮像装置、細胞画像撮像方法、細胞画像撮像プログラム、及び細胞観察装置
JP2011158549A (ja) 内視鏡装置およびプログラム
US9424640B2 (en) Pathological diagnosis support apparatus and pathological diagnosis support method
JP6743066B2 (ja) 組織サンプル解析技術
WO2021100328A1 (ja) 画像処理方法、画像処理装置および画像処理システム
Schönmeyer et al. Automated whole slide analysis of differently stained and co-registered tissue sections
JP2013222383A (ja) 画像処理装置、プログラム及び画像処理方法
JP6156137B2 (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130325

R150 Certificate of patent or registration of utility model

Ref document number: 5245424

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160419

Year of fee payment: 3