JP6003963B2 - 診断装置並びに当該診断装置における画像処理方法及びそのプログラム - Google Patents

診断装置並びに当該診断装置における画像処理方法及びそのプログラム Download PDF

Info

Publication number
JP6003963B2
JP6003963B2 JP2014227526A JP2014227526A JP6003963B2 JP 6003963 B2 JP6003963 B2 JP 6003963B2 JP 2014227526 A JP2014227526 A JP 2014227526A JP 2014227526 A JP2014227526 A JP 2014227526A JP 6003963 B2 JP6003963 B2 JP 6003963B2
Authority
JP
Japan
Prior art keywords
image
component
processing
captured image
specific color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014227526A
Other languages
English (en)
Other versions
JP2016087271A (ja
Inventor
佐藤 俊次
俊次 佐藤
中嶋 光康
光康 中嶋
玲 浜田
玲 浜田
田中 勝
勝 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2014227526A priority Critical patent/JP6003963B2/ja
Priority to US14/860,581 priority patent/US9836836B2/en
Priority to AU2015230733A priority patent/AU2015230733B2/en
Priority to CA2905164A priority patent/CA2905164C/en
Priority to ES15186620.9T priority patent/ES2669606T3/es
Priority to EP15186620.9A priority patent/EP3021279B1/en
Publication of JP2016087271A publication Critical patent/JP2016087271A/ja
Application granted granted Critical
Publication of JP6003963B2 publication Critical patent/JP6003963B2/ja
Priority to US15/800,555 priority patent/US10055844B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • G06T5/75Unsharp masking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20028Bilateral filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本発明は、診断装置並びに当該診断装置における画像処理方法及びそのプログラムに関する。
一般に、皮膚病変の診断として視診が必ず行われ、多くの情報を得ることが出来る。しかしながら、肉眼やルーペだけでは、例えば、ホクロとしみの判別さえ難しく、良性腫瘍と悪性腫瘍の鑑別も難しい。このため、従来、ダーモスコープ付きカメラを用いて病変を撮影するダーモスコピー診断が行われている。
ダーモスコープとは、ハロゲンランプ等で病変部を明るく照射し、エコージェルや偏光フィルタなどにより反射光の無い状態に設定し、10倍程度に拡大して観察する非侵襲性診察器具である。この器具を用いた観察法をダーモスコピー診断と呼んでいる。ダーモスコピー診断については、インターネットURL(http://www.twmu.ac.jp/DNH/department/dermatology/dermoscopy.html)<平成26年9月1日閲覧>に詳細に記載されている。このダーモスコピー診断によれば、角質による乱反射がなくなることにより、表皮内から真皮浅層までの色素分布が良く見えてくる。
例えば、特許文献1に、上記したダーモスコープで撮影された皮膚画像に対して、色調、テクスチャ、非対称度、円度等の値を用いて診断を行う色素沈着部位の遠隔診断システムの技術が開示されている。特許文献1に開示された技術によれば、ダーモスコープを付したカメラ付き携帯電話を用い、ダーモスコープを通して、メラノーマの心配がある良性色素性母斑などがある皮膚を撮影する。そして、携帯電話のネットワーク接続機能を用いてインターネットに接続し、撮影した皮膚画像を遠隔診断装置に送信して診断を要求するものである。そして、要求に基づき皮膚画像を受信した遠隔診断装置は、メラノーマ診断プログラムを用い、皮膚画像から、それがメラノーマであるか否か、あるいはメラノーマであった場合にどの病期のメラノーマであるかを診断し、その結果を要求者である医師に返信する。
特開2005−192944号
ところで、皮膚病については上記したダーモスコープ画像による診断が普及しつつあるが、明瞭な形状変化や模様を得られないことも多く、画像の観察や病変の判断は医師の熟練度に依存しているのが現状である。したがって、ダーモスコープ画像の病変部分を強調する等、画像処理によって、容易、かつ的確に診断可能なツールの出現がのぞまれていた。
本発明は上記した課題を解決するためになされたものであり、医師の診断を容易にし、かつ診断精度の向上をはかる、診断装置並びに当該診断装置における画像処理方法及びそのプログラムを提供することを目的とする。
上記した課題を解決するために本発明は、患部の撮影画像を用いて病変を診断する診断装置であって、前記撮影画像を記憶する画像記憶部と、前記画像記憶部に記憶された前記撮影画像を処理する処理部と、を備え、前記処理部が、診断の対象の部位をその特定色を維持したまま強調する強調手段を備え、前記部位が基底細胞癌相当部位であることを特徴とする。
本発明によれば、医師の診断を容易にし、かつ診断精度の向上をはかる、診断装置並びに当該診断装置における画像処理方法及びそのプログラムを提供することかができる。
本発明の実施の形態に係る診断装置の構成を示すブロック図である。 実施例1の基本処理動作を示すフローチャートである。 図2の撮影画像の強調処理動作を示すフローチャートである。 図3の血管らしさ抽出処理理動作を示すフローチャートである。 実施例1の診断装置の表示画面構成の一例を示す図である。 実施例2の診断装置の表示画面構成の一例を示す図である。 実施例2の診断装置の基本処理動作を示すフローチャートである。 図7の撮影画像の強調処理動作を示すフローチャートである。 図8の選択部位抽出処理動作の一例を示すフローチャートである。 実施例3の診断装置の表示画面構成の一例を示す図である。 実施例3の特定色の割合の調整処理動作を示すフローチャートである。
以下、添付図面を参照して、本発明を実施するための形態(以下、本実施形態と言う)について詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号または符号を付している。
(実施形態の構成)
図1は、本実施形態に係る診断装置100の構成を示すブロック図である。図1に示すように、本実施形態に係る診断装置100には、ダーモスコープ付き撮影装置110が接続されている。ダーモスコープ付き撮影装置110は、診断装置100(処理部101)からの指示により患部の撮影を行ない、ダーモスコープ等の撮影画像を画像記憶部102に格納するとともに表示装置120の所定の領域に表示する。また、撮影画像は、処理部101により強調処理が施され、画像記憶部102に保存されるとともに、表示装置120の所定の領域に表示される。なお、入力装置130は、ダーモスコープ等撮影画像の撮影開始指示、後述するダーモスコープ画像中の部位選択操作等を行う。
なお、表示装置120、例えば、LCD(Liquid Crystal Display)モニタであり、入力装置130は、例えば、マウス等の入力デバイスである。
処理部101は、画像記憶部102に記憶されたダーモスコピー画像等患部の撮影画像を処理するもので、図1に示すように、第1の分離手段101aと、第2の分離手段101bと、強調手段101cと、抽出手段101dと、指定手段101eとを含む。
第1の分離手段101aは、撮影画像を輝度成分と色情報成分とに分離する手段として機能する。第2の分離手段101bは、輝度成分を大域変動成分と局所変動成分に分離する手段として機能する。ここで、大域変動成分とは、統計学上、大域変動性(Global)を持つ輝度成分をいい、局所変動成分とは、局所変動性(Local)を持つ輝度成分をいう。
強調手段101cは、上記した大域変動成分、及び局所変動成分に対し互いに異なる強調処理を施す手段として機能する。抽出手段101dは、診断の対象として選択された部位を特定色の色情報により抽出する手段として機能する。指定手段101eは、部位の特定色を維持する度合いをコントラストの強弱によって可変的に指定する手段として機能する。なお、強調手段101cは、特定色の色情報成分として赤系色成分を強調するものであり、この場合、抽出手段101dは、選択された部位を赤系色成分により血管相当部位として抽出する。また、強調手段101cは、特定色の色情報成分として青系色成分を強調してもよく、この場合、抽出手段101dは、選択された部位を青系色成分により基底細胞癌相当部位として抽出してもよい。
上記した第1の分離手段101a、第2の分離手段101b、強調手段101c、抽出手段101d、指定手段101eは、いずれも、処理部101が、処理部101が有する本実施形態に係るプログラムを逐次読み出し実行することにより、それぞれが持つ上記した機能を実現する。
(実施形態の動作)
以下、図1に示す本実施形態に係る診断装置100の動作について、図2以降を参照しながら、実施例毎、詳細に説明する。
実施例1.
図2に、実施例1の基本処理動作の流れが示されている。図2によれば、処理部101は、まず、ダーモスコープ付き撮影装置110で撮影された患部(皮膚病変部位)の撮影画像を取得する(ステップS11)。そして、取得した撮影画像を画像記憶部102の所定の領域に格納するとともに、表示装置120に表示する(ステップS12)。続いて、処理部101は、撮影画像に対して強調処理を施し(ステップS13)、その処理画像を先に表示した撮影画像とともに表示装置120に並べて表示し、診断を医師に委ねる(ステップS14)。
図5に表示装置120に表示される表示画面イメージの一例が示されている。画面に向かって左に撮影画像が表示される撮影画像表示領域121が、右に、例えば、血管の強調画像が表示される強調画像表示領域122が示されている。例えば、医師が、入力装置130を用い、表示装置120の画面右下に割り当てられている「撮影開始」ボタン123をクリックすることにより、ダーモスコープ付き撮影装置110による患部の撮影が開始される。そして処理部101により、表示装置120に、撮影画像と、撮影画像のうち、例えば、血管部位の強調画像とがそれぞれの領域121,122に並んで表示される。
図3に、図2のステップS13の「画像強調処理」の詳細な処理手順が示されている。ここでは、処理部101が、ダーモスコープ付き撮影装置110で撮影された患部(皮膚病変部位)の撮影画像から、大域変動性を持つ成分と局所変動性を持つ成分に分離し、それぞれに対して異なる強調処理を施す例を示している。
このため、処理部101は、まず、色空間変換を行う。処理部101は、第1の分離手段101aにより、ダーモスコープ付き撮影装置110から取得されるRGB色空間の撮影画像を、Lab色空間(CIE 1976 L*a*b*色空間)に変換する(ステップS131)。Lab色空間については、例えば、インターネットURL(http://Ja.wikipedia.org/wiki/Lab%E8%89%B2%E7%A9%BA%E9%96%93)<平成26年9月1日閲覧>にその詳細が記述されている。
続いて、処理部101は第2の分離手段101bが、Lab色空間で輝度に相当するL画像を用い、大域変動成分と局所変動成分を分離するためにエッジ保存型フィルタ処理を施す(ステップS132)。ここで、エッジ保存型フィルタとして、例えば、バイラテラルフィルタを用いる。バイラテラルフィルタについては、例えば、インターネットURL(http://en.wikipedia.org/wiki/Bilateral filter)<平成26年9月1日閲覧>にその詳細が記載されている。
次に、処理部101は強調手段101cに制御を移す。強調手段101cは、L画像にバイラテルフィルタ処理を施して得られるB画像、B=bilateral filter(L)を取得する。ここで、B画像は大域変動成分である。次に、強調手段101cが、局所変動成分D画像を取得する。D画像は、D=L画像−B画像により取得することができる(ステップS133)。
続いて、強調手段101cは、画像Bを圧縮処理することにより圧縮された大域成分画像であるB’画像を生成する(ステップS134)。B’画像は、B’=(B−C1)*K1+C1を求めることにより生成することができる。ここで、Lab色空間での輝度Lの値範囲は0から100であり、バイラテラルフィルタで処理された画像Bの範囲も0から100に制限されている。こごて、C1は圧縮行う中心位置で、例えば50とする。係数K1は圧縮率で、例えば0.5とする。これらの値は一例であって制限されない。
次に、強調手段101cは、局所変動成分のD画像を強調して強調された局所変動成分のD’画像を生成する(ステップS135)。強調された局所変動成分画像D’は、D’=D*K2を求めることにより生成される。ここで、K2は強調率であり、例えば3とする。続いて、強調手段101cは、圧縮及び強調された、それぞれB’画像、D’画像を用いて輝度強調画像L’を生成する(ステップS136)。輝度強調画像L’は、L’=B’+D’を求めることにより生成される。ここで、B’は圧縮された大域変動成分画像、D’は強調された局所成分画像である。
なお、輝度強調画像L’は、輝度画像Lを勾配空間に変換し、ピクセル毎に勾配変換した後、ポアソン方程式により勾配空間から強調輝度画像を生成してもよい。このとき、勾配G(x,y)は、G(x,y)=(L(x+ly)−L(x,y),L(x,y+1)−(L(x,y))で表され、Mを変換関数とすれば、G’(x,y)=M(G(x,y),x,y)により勾配を変換する。例えば、大きな勾配を弱める非線形処理が実行される。そして、ポアソン方程式ΔL’=div(G’)を解くことにより変換後の輝度画像(輝度強調画像L’)を得る。ここで、Δはラプラス演算子、divは、ベクトル解析の発散を表している。
また、一様な変換処理による強調でもよく、例えば、輝度強調画像L=log(L)で求めてもよい。更に、画像全体で一様な変換処理を行わず、領域分割を行い、領域毎に変換処理を設定してもよい。この場合、領域は、明るさや病変部位をもとに手動で設定しても、あるいは自動設定してもよい。
次に、強調手段101cは、血管らしさを尤度Aとして抽出する(ステップS137)。ここで、Aは、輝度強調画像L’と同じ要素数をもち、それぞれの要素は0から1の範囲で示され、血管らしさを増すと1に近づくものとする。血管らしさを尤度Aとして抽出する手順について、図4のフローチャートを参照して説明する。図4によれば、強調手段101cは、Lab色空間の赤系の色相方向であるa軸の値を取得し(ステップS137a)、血管らしさAの値を、0〜80の範囲で制限を与えて正規化処理(A←max(min(a,S),0)/S)を行い、0から1の値範囲に設定している(ステップS137b)。ここでは、血管らしさAの値を、上記Sに80を与えることにより、0から80の値で制限を与えたが、この値は一例であり、値に制限はない。
説明を図3のフローチャートに戻す。強調手段101cは、ステップS137で血管らしさを尤度Aとして抽出した後、強調輝度L”を求める(ステップS138)。強調輝度L”は、L”=L’*(1−A)+L*Aによって求めることができる。ここで、血管らしい領域は撮影輝度Lを、非血管領域は強調画像L’を、尤度Aにより合成している。なお、*は、要素毎の乗算を表している。
次に、強調手段101cは、得られた強調輝度L”と、赤系の色相成分であるa軸ならびに青系の色相成分であるb軸の値とにより元のRGB色空間に変換して強調画像Eを生成する(ステップS139)。
上記した実施例1によれば、処理部111は、第1の分離手段101aが、撮影画像を輝度成分と色情報成分とに分離し、第2の分離手段101bが、輝度成分を大域変動成分と局所変動成分に分離し、強調手段101cが、大域変動成分及び局所変動成分に対し互いに異なる強調処理を施す処理を実行する。その結果、表示装置120に、例えば、図5に示すような、撮影画像と、撮影画像の大域変動成分及び局所変動成分に対して互いに異なる強調処理が施された強調画像とを、撮影画像表示領域121と強調画像表示領域122に並べて表示することができる。
実施例2.
次に、実施例2について説明する。図6に実施例2の表示画面構成の一例が示されている。実施例2では、実施例1に示す表示画面構成に、更に、「変換」ボタン124と、「基底細胞癌」チェックボックス125と、「血管」チェックボックス126とが割り当てられている。図7に実施例2の基本処理動作がフローチャートで示されている。
図7によれば、医師が「撮影開始」ボタン123をクリックすることにより、ダーモスコープ付き撮影装置110でダーモスコピー画像が撮影される(ステップS21)。撮影画像は、処理部101による制御の下で画像記憶部102に保存されると共に、表示装置120の撮影画像表示領域121に表示される(ステップS22)。
次に、医師は、入力装置130を操作することにより、強調処理によって見た目の色を変化させたくない部位(色を維持する部位)を選択する(ステップS23)。続いて、医師は、入力装置130を用いて「変換」ボタン124をクリックすると(ステップS24)、処理部1001(強調手段101c)は、以下に説明する強調処理を実行する(ステップS25)。強調処理により得られる処理画像は、実施例1同様、表示装置120の強調画像表示領域122に、既に撮影画像表示領域121に表示されている撮影画像と並べて表示される(ステップS26)。
ステップS25に示す「撮影画像の強調処理」について、図8のフローチャートを参照しながら詳細に説明を行う。実施例1同様、処理部101は、第1の分離手段101aが、撮影画像をRGB色空間からLab色空間に変換する(ステップS251)。そして、第第2の分離手段102bが、輝度に相当するL画像に対してバイラテラルフィルタ処理を施し、大域変動成分画像Bを得る(ステップS252)。以降、強調輝度画像L’を得るまでの処理(ステップS253〜S256)は、図3に示す実施例1と同様(ステップS133〜S136)であるため、ここでは重複を回避する意味で説明を省略する。
実施例2において、処理部101は,強調手段101cが強調輝度画像L’を得た後、抽出手段101dが、選択部位らしさ(ここでは血管らしさ)を尤度A、基底細胞癌らしさを尤度Bとしてそれぞれ取得する(ステップS257)。抽出手段101dによる尤度A,Bの取得方法については、図9を用いて後述する。
続いて抽出手段101dは、得られた血管らしさ(尤度A)と、基底細胞癌らしさ(尤度B)とから、夫々の要素で最大値をとって、それぞれを尤度ABとする(ステップS258:AB=max(A,B))。そして、強調手段101cが、強調輝度L”を求める(ステップS259)。ここでは、L”=L’*(1−AB)+L*ABで求めることができる。最後に、実施例1同様、強調輝度L”、a軸成分、b軸成分によりRGB色空間に変換して強調画像Eを生成する(ステップS260)。
抽出手段101dによる血管らしさ(尤度A)と基底細胞癌らしさを(尤度B)の取得方法について、図9のフローチャートを用いて詳述する。抽出手段101dは、図6に示す表示画面に割り当てられている血管チェックボックス127がチェック(選択)されていなければ(ステップS257a“NO”)、血管らしさを示す尤度Aを0(A=0)に設定する(ステップS257b)。一方、血管チェックボックス127がチェック(選択)されていれば(ステップS257a“YES”)、Lab色空間のa軸色成分,b軸色成分を取り出し(ステップS257c)、血管らしさ(尤度A)を計算する(ステッブS257c)。ここで、血管らしさ(尤度A)は、A=max(min(a,80),0)/80(但し、bが0以上)により求めることができる。ここで、尤度Aが0未満であれば、A=0とし、bが0以上であれば、a軸色成分を0から80の値範囲で制限することにより正規化を行う(ステップS257d)。
続いて、抽出手段101dは、図6に示す表示画面に割り当てられている「基底細胞癌」チェックボックスの状態を判定する(ステップS257e)。ここで、「基底細胞癌」チェックボックス126がチェック(選択)されていなければ(ステップS257e“NO”)、抽出手段101dは、尤度Bを0(B=0)とする(ステップS257f)。チェックされていれば(ステップS257e“YES”)、Lab色空間に変換し、bの符号を反転したのち(ステップS257g)、値を0から80で制限し、正規化することにより0から1の範囲の、基底細胞癌らしさ(尤度B)を得る(ステップS257h)。
なお、ここでは、血管らしさ(尤度A)、基底細胞癌らしさ(尤度B)を得る際に、具体的な値を示したが、あくまでも一例であり、この値に制限されない。
上記した実施例2によれば、処理部101は、第1の分離手段101aが、撮影画像を輝度成分と色情報成分に分離し、第2の分離手段101bが輝度成分を大域変動成分と局所変動成分に分離し、強調手段101cが、大域変動成分及び局所変動成分に対し互いに異なる強調処理を施し、抽出手段101dが、診断の対象として選択された部位を特定色の色情報により抽出する処理を実行する。その結果、表示装置120に、例えば、図6の表示画面に示すように、撮影画像と診断の対象として選択された部位を特定色により抽出された強調画像とを並べて表示することができる。
なお、実施例2において、強調手段101cは、特定色の色情報成分として赤系色成分、あるいは青色成分を強調するものであり、前者の場合、抽出手段101dは、選択部位を赤系色成分により血管相当部位として抽出し、後者の場合、選択部位を青系色成分により基底細胞癌相当部位として抽出している。
実施例3.
次に、実施例3について説明する。図10に表示画面構成の一例が示されている。実施例3では、図6(実施例2)に示す表示画面に、更に、特定色を保つ度合いを指定するスライドバー127が表示画面に割り当てられ付加されている。ここで、スライドバー127を、向かって左方向に設定すると、特定色を保つ度合いが小さくなる。一方、向かって右方向に設定すると特定色を保つ度合いが大きくなる。換言すれば、スライドバー127を最左端位置に設定すると、特定色の部位のシャープさが増し、右端にスライド設定するにつれてシャープさが失われる。なお、色を保つことと、鮮明(シャープ)にすることとは相反する。
図11に、スライドバー127を使用して特定色を保つ度合いの調整処理の手順が示されている。図11に示すフローチャートは、実施例2の図9で示した基底細胞癌らしさを尤度Bとして抽出する処理(ステップS257h)以降に付加される。
図10に表示画面の一例として示すように、処理部101が、表示装置120に、撮影画像と、診断の対象として選択された部位を特定色により抽出された強調画像とを、撮影画像表示領域121と強調画像表示領域122並べて表示すると、医師は、その画面を確認しながら、スライドバー127を操作して特定色を保つ度合いを指定する。これをうけて処理部101は、図11にその処理動作が示されているように、指定手段101eがスライドバー127で示す値Kを読み込む(ステップS257i)。ここで、スライドバー127は、1から10までの値Kを返すものとし、最左端に位置する場合1を、最右端に位置する場合10を返すものとする。
したがって、指定手段101eは、スライドバー127が示す値を、抽出手段101dにより抽出される血管らしさ(尤度A)、あるいは基底細胞癌らしさ(尤度B)の値に反映させ、スライドバー127の値に応じて更新することができる。すなわち、指定手段101eは、特定色を維持する度合いをコントラストの強弱によって可変的に指定する。なお、血管らしさ(尤度A)は、A=A*K/10、基底細胞癌らしさ(尤度B)は、B=B*K/10により求めることができる(ステップS257j,S257k)。
最後に、強調手段101cが、この血管らしさ(尤度A),基底細胞癌らしさ(尤度B)を用いて、強調画像を生成する。強調画像の生成方法については、図3(実施例1)、図8(実施例2)説明した通りである。なお、実施例3では、スライドバー127を用いて係数Kを得たが、症例に応じて予め設定してある係数Kを用いてもよい。なお、症例は、不図示のチェックボックス等で設定することが考えられる。
上記した実施例3によれば、処理部101は、第1の分離手段101aが、撮影画像を輝度成分と色情報成分に分離し、第2の分離手段101bが、輝度成分を大域変動成分と局所変動成分に分離し、強調手段101cが、大域変動成分及び局所変動成分に対し互いに異なる強調処理を施し、抽出手段101dが、診断の対象として選択された部位を特定色の色情報により抽出する処理を実行する。そして、指定手段101eが、特定色を維持する度合いをコントラストの強弱によって可変的に指定する処理を実行する。その結果、表示装置120に、例えば、図10の表示画面に示すように、撮影画像と診断の対象として選択された部位を特定色により抽出された強調画像とを並べて表示することができる。このとき、スライドバー127の操作により、特定色を保つ度合い(割合)をコントラストの強弱によって可変設定可能である。すなわち、度合いが大きいと特定色を維持して表示され、度合いが小さいと、見た目の色を維持せずにコントラストが強調されるといった、診断目的に応じて動的に柔軟性の高い表示が可能になる。
(実施形態の効果)
以上説明のように本実施形態に係る診断装置100によれば、処理部101は、診断の対象の部位をその特定色を維持したまま強調して表示装置120に表示するため、医師は、
表示画面を視認するだけで容易、かつ的確に診断を行うことができ、その結果、診断精度が向上する。また、処理部101は、画像記憶部102に記憶された撮影画像を輝度成分と色情報成分とに分離し、輝度成分を大域変動成分と局所変動成分とに分離し、大域変動成分及び局所変動成分に対して互いに異なる強調処理を施すため、医師は、診断目的に応じて選択された部位の強調画像を視認できる。また、診断の対象として選択された部位を特定色の色情報により抽出し、選択された部位の特定色の割合を可変的に指定することにより、見た目を柔軟に変化させることができ、その結果、医師は、一層容易に、かつ的確に診断を行うことができ、一段と診断精度が向上する。
なお、本実施形態に係る診断装置100によれば、輝度成分を大域変動成分と局所変動成分とに分離する際にバイラテラルフィルタ処理を用いることとしたが、バイラテラルフィルタに限らず、エプシロンフィルタ等、エッジ保存型平滑化フィルタであれば代替可能である。また、表示例として、撮影画面と強調画面を並べて表示したが、同じ画面上で切り替えて表示しても同様の効果が得られる。
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
[請求項1]
患部の撮影画像を用いて病変を診断する診断装置であって、
前記撮影画像を記憶する画像記憶部と、
前記画像記憶部に記憶された前記撮影画像を処理する処理部と、を備え、
前記処理部が、診断の対象の部位をその特定色を維持したまま強調する強調手段を備えることを特徴とする診断装置。
[請求項2]
前記部位が血管相当部位であることを特徴とする請求項1に記載の診断装置。
[請求項3]
前記部位が基底細胞癌相当部位であることを特徴とする請求項1に記載の診断装置。
[請求項4]
前記処理部が、
前記撮影画像を輝度成分と色情報成分に分離する第1の分離手段と、
前記輝度成分を大域変動成分と局所変動成分に分離する第2の分離手段と、をさらに備え、
前記強調手段が前記大域変動成分及び前記局所変動成分に対し互いに異なる強調を施すことを特徴とする請求項1ないし3のいずれか1項に記載の診断装置。
[請求項5]
前記処理部が、前記部位の前記特定色を維持する度合いをコントラストの強弱によって可変的に指定する指定手段をさらに備えることを特徴とする請求項1ないし4のいずれか1項に記載の診断装置。
[請求項6]
前記強調手段が前記特定色の前記色情報成分として赤系色成分を強調するものであり、前記処理部が前記部位を前記赤系色成分により前記血管相当部位として抽出することを特徴とする請求項4又は5に記載の診断装置。
[請求項7]
前記強調手段が前記特定色の前記色情報成分として青系色成分を強調するものであり、
前記処理部が前記部位を前記青系色成分により前記基底細胞癌相当部位として抽出することを特徴とする請求項4又は5に記載の診断装置。
[請求項8]
患部の撮影画像を用いて病変を診断する診断装置における画像処理方法であって、
前記撮影画像を記憶するステップと、
記憶された前記撮影画像を処理するステップと、を備え、
前記処理ステップが診断の対象の部位をその特定色を維持したまま強調する処理を含むことを特徴とする画像処理方法。
[請求項9]
患部の撮影画像を用いて病変を診断する診断装置における画像処理のプログラムであって、
コンピュータに、
前記撮影画像を記憶する機能と、
記憶された前記撮影画像を処理する機能と、を実行させ、
前記処理する機能は、診断の対象の部位をその特定色を維持したまま強調する処理を含む、ことを特徴とするプログラム。
100…診断装置、101…処理部、101a…第1の分離手段、101b…第2の分離手段、101c…強調手段、101d…抽出手段、111e…指定手段、110…ダーモスコープ付き撮影装置、120…表示装置、121…撮影画像表示領域、122…強調画像表示領域、123…撮影開始ボタン、124…変換ボタン、125…基底細胞癌チェックボックス、126…血管チェックボックス、127…スライドバー、130…入力装置

Claims (19)

  1. 患部の撮影画像を用いて病変を診断する診断装置であって、
    前記撮影画像を記憶する画像記憶部と、
    前記画像記憶部に記憶された前記撮影画像を処理する処理部と、を備え、
    前記処理部が、診断の対象の部位をその特定色を維持したまま強調する強調手段を備え、
    前記部位が基底細胞癌相当部位であることを特徴とする診断装置。
  2. 患部の撮影画像を用いて病変を診断する診断装置であって、
    前記撮影画像を記憶する画像記憶部と、
    前記画像記憶部に記憶された前記撮影画像を処理する処理部と、を備え、
    前記処理部が、
    診断の対象の部位をその特定色を維持したまま強調する強調手段と、
    前記撮影画像を輝度成分と色情報成分に分離する第1の分離手段と、
    前記輝度成分を大域変動成分と局所変動成分に分離する第2の分離手段と、をさらに備え、
    前記強調手段が前記大域変動成分及び前記局所変動成分に対し互いに異なる強調を施すことを特徴とする診断装置。
  3. 前記部位が血管相当部位であることを特徴とする請求項2に記載の診断装置。
  4. 前記互いに異なる強調は、前記大域変動成分を圧縮させ、前記局所変動成分を強調させるものであることを特徴とする請求項2に記載の診断装置。
  5. 患部の撮影画像を用いて病変を診断する診断装置であって、
    前記撮影画像を記憶する画像記憶部と、
    前記画像記憶部に記憶された前記撮影画像を処理する処理部と、を備え、
    前記処理部が、
    診断の対象の部位をその特定色を維持したまま強調する強調手段と、
    前記部位の前記特定色を維持する度合いをコントラストの強弱によって可変的に指定する指定手段をさらに備えることを特徴とする診断装置。
  6. 前記指定手段は、前記特定色を維持する度合いが大きいときに、特定色を維持し、度合いが小さいときに、見た目の色を維持せずにコントラストを強調することを特徴とする請求項5に記載の診断装置。
  7. 前記指定手段は、ユーザの操作により、特定色を保つ度合いをコントラストの強弱によって可変設定することを特徴とする請求項6に記載の診断装置。
  8. 前記強調手段が前記特定色の前記色情報成分として赤系色成分を強調するものであり、前記処理部が前記部位を前記赤系色成分により前記血管相当部位として抽出することを特徴とする請求項2ないし7のいずれか1項に記載の診断装置。
  9. 前記強調手段が前記特定色の前記色情報成分として青系色成分を強調するものであり、前記処理部が前記部位を前記青系色成分により皮膚の病変相当部位として抽出することを特徴とする請求項2ないし7のいずれか1項に記載の診断装置。
  10. 前記強調手段が前記特定色の前記色情報成分として青系色成分を強調するものであり、前記処理部が前記部位を前記青系色成分により前記基底細胞癌相当部位として抽出することを特徴とする請求項9に記載の診断装置。
  11. 前記制御部は、前記撮影画像と、前記強調手段により強調した画像を並べて表示させる表示制御手段をさらに備えることを特徴とする請求項1ないし10いずれか1項に記載の診断装置。
  12. 患部の撮影画像を用いて病変を診断する診断装置における画像処理方法であって、
    前記撮影画像を記憶するステップと、
    記憶された前記撮影画像を処理するステップと、を備え、
    前記処理ステップにおいて、前記診断装置が、診断の対象の部位をその特定色を維持したまま強調する処理を含み、前記部位が基底細胞癌相当部位である
    ことを特徴とする診断装置における画像処理方法。
  13. 患部の撮影画像を用いて病変を診断する診断装置における画像処理方法であって、
    前記撮影画像を記憶するステップと、
    前記画像記憶部に記憶された前記撮影画像を処理するステップと、を備え、
    前記処理ステップが、
    前記診断装置が診断の対象の部位をその特定色を維持したまま強調する強調ステップと、
    前記撮影画像を輝度成分と色情報成分に分離する第1の分離ステップと、
    前記輝度成分を大域変動成分と局所変動成分に分離する第2の分離ステップと、をさらに備え、
    前記強調ステップが前記大域変動成分及び前記局所変動成分に対し互いに異なる強調を施すことを特徴とする画像処理方法。
  14. 前記部位が血管相当部位であることを特徴とする請求項13に記載の画像処理方法。
  15. 患部の撮影画像を用いて病変を診断する診断装置であって、
    前記撮影画像を記憶する画像記憶ステップと、
    前記画像記憶ステップで記憶された前記撮影画像を処理する処理ステップと、を備え、
    前記処理ステップが、
    前記診断装置が診断の対象の部位をその特定色を維持したまま強調する強調ステップと、
    前記部位の前記特定色を維持する度合いをコントラストの強弱によって可変的に指定する指定ステップをさらに備えることを特徴とする診断装置。
  16. 患部の撮影画像を用いて病変を診断する診断装置における画像処理のプログラムであって、
    コンピュータに、
    前記撮影画像を記憶する機能と、
    記憶された前記撮影画像を処理する機能と、を実行させ、
    前記処理する機能は、診断の対象の部位をその特定色を維持したまま強調する処理を含み、前記部位が基底細胞癌相当部位である
    ことを特徴とするプログラム。
  17. 患部の撮影画像を用いて病変を診断する診断装置における画像処理のプログラムであって、
    コンピュータに、
    前記撮影画像を記憶する機能と、
    記憶された前記撮影画像を処理する機能と、を実行させ、
    前記処理する機能は、
    診断の対象の部位をその特定色を維持したまま強調する強調機能と、
    前記撮影画像を輝度成分と色情報成分に分離する第1の分離機能と、
    前記輝度成分を大域変動成分と局所変動成分に分離する第2の分離機能と、をさらに実行させ、
    前記強調機能が前記大域変動成分及び前記局所変動成分に対し互いに異なる強調を施すことを特徴とする画像処理プログラム。
  18. 前記部位が血管相当部位であることを特徴とする請求項17に記載のプログラム。
  19. 患部の撮影画像を用いて病変を診断する診断装置における画像処理のプログラムであって、
    コンピュータに、
    前記撮影画像を記憶する画像記憶機能と、
    前記記憶された前記撮影画像を処理する処理機能と、を実行させ、
    前記処理部する機能は、
    診断の対象の部位をその特定色を維持したまま強調する強調機能と、
    前記部位の前記特定色を維持する度合いをコントラストの強弱によって可変的に指定する指定機能をさらに実行させることを特徴とする画像処理プログラム。
JP2014227526A 2014-11-07 2014-11-07 診断装置並びに当該診断装置における画像処理方法及びそのプログラム Active JP6003963B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2014227526A JP6003963B2 (ja) 2014-11-07 2014-11-07 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
US14/860,581 US9836836B2 (en) 2014-11-07 2015-09-21 Disease diagnostic apparatus, image processing method in the same apparatus, and medium storing program associated with the same method
AU2015230733A AU2015230733B2 (en) 2014-11-07 2015-09-22 Diagnostic apparatus and image processing method in the same apparatus
ES15186620.9T ES2669606T3 (es) 2014-11-07 2015-09-24 Aparato de diagnóstico y procedimiento de procesamiento de imágenes en el mismo aparato
CA2905164A CA2905164C (en) 2014-11-07 2015-09-24 Disease diagnostic apparatus, image processing method in the same apparatus, and medium storing program associated with the same method
EP15186620.9A EP3021279B1 (en) 2014-11-07 2015-09-24 Diagnostic apparatus and image processing method in the same apparatus
US15/800,555 US10055844B2 (en) 2014-11-07 2017-11-01 Disease diagnostic apparatus, image processing method in the same apparatus, and medium storing program associated with the same method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014227526A JP6003963B2 (ja) 2014-11-07 2014-11-07 診断装置並びに当該診断装置における画像処理方法及びそのプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016124922A Division JP6265231B2 (ja) 2016-06-23 2016-06-23 診断装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2016087271A JP2016087271A (ja) 2016-05-23
JP6003963B2 true JP6003963B2 (ja) 2016-10-05

Family

ID=54251310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014227526A Active JP6003963B2 (ja) 2014-11-07 2014-11-07 診断装置並びに当該診断装置における画像処理方法及びそのプログラム

Country Status (6)

Country Link
US (2) US9836836B2 (ja)
EP (1) EP3021279B1 (ja)
JP (1) JP6003963B2 (ja)
AU (1) AU2015230733B2 (ja)
CA (1) CA2905164C (ja)
ES (1) ES2669606T3 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6003964B2 (ja) 2014-11-07 2016-10-05 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
US9881368B2 (en) 2014-11-07 2018-01-30 Casio Computer Co., Ltd. Disease diagnostic apparatus, image processing method in the same apparatus, and medium storing program associated with the same method
JP6003963B2 (ja) 2014-11-07 2016-10-05 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
EP3395937A4 (en) * 2015-12-22 2019-08-21 Nikon Corporation IMAGE PROCESSING APPARATUS
WO2020015142A1 (zh) 2018-07-16 2020-01-23 华为技术有限公司 一种色素检测方法及电子设备

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63173182A (ja) 1987-01-13 1988-07-16 Olympus Optical Co Ltd 色彩画像処理方式
US5241468A (en) * 1989-04-13 1993-08-31 Vanguard Imaging Ltd. Apparatus and method for spectral enhancement of body-surface images to improve sensitivity of detecting subtle color features
US6873743B2 (en) * 2001-03-29 2005-03-29 Fotonation Holdings, Llc Method and apparatus for the automatic real-time detection and correction of red-eye defects in batches of digital images or in handheld appliances
TWI231701B (en) * 2001-06-14 2005-04-21 Matsushita Electric Ind Co Ltd Automatic tone correction device, automatic tone correction method, and tone correction program recording medium
US6937776B2 (en) * 2003-01-31 2005-08-30 University Of Chicago Method, system, and computer program product for computer-aided detection of nodules with three dimensional shape enhancement filters
EP1453006A1 (en) * 2003-02-28 2004-09-01 Océ-Technologies B.V. Converted digital colour image with improved colour distinction for colour-blinds
US7359572B2 (en) * 2003-03-26 2008-04-15 Microsoft Corporation Automatic analysis and adjustment of digital images with exposure problems
US7536036B2 (en) * 2004-10-28 2009-05-19 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US7071948B2 (en) * 2003-10-21 2006-07-04 Adobe Systems Incorporated Adjusting images based on previous modifications
JP4437202B2 (ja) * 2004-01-09 2010-03-24 学校法人慶應義塾 色素沈着部位の遠隔診療システム
US8467583B2 (en) 2005-04-04 2013-06-18 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Medical imaging method and system
CN100484479C (zh) * 2005-08-26 2009-05-06 深圳迈瑞生物医疗电子股份有限公司 超声图像增强与斑点抑制方法
EP1938274A2 (en) 2005-09-12 2008-07-02 D.V.P. Technologies Ltd. Medical image processing
US7773158B2 (en) * 2005-10-12 2010-08-10 Panasonic Corporation Visual processing device, display device, and integrated circuit
JP4345757B2 (ja) * 2006-02-22 2009-10-14 セイコーエプソン株式会社 画像データの色の補正
JP4523926B2 (ja) * 2006-04-05 2010-08-11 富士通株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
US20080080766A1 (en) * 2006-10-02 2008-04-03 Gregory Payonk Apparatus and Method for Analyzing Skin Using L*a*b* Colorspace
KR100925419B1 (ko) 2006-12-19 2009-11-06 삼성전자주식회사 라플라시안 피라미드를 이용한 컬러 영상의 화질 개선 장치및 그 방법
EP2237190A2 (en) 2007-08-03 2010-10-06 STI Medical Systems, LLC Computerized image analysis for a acetic acid induced cervical intraepithelial neoplasia
US8144985B2 (en) * 2007-12-21 2012-03-27 Sony Corporation Method of high dynamic range compression with detail preservation and noise constraints
US8406482B1 (en) * 2008-08-28 2013-03-26 Adobe Systems Incorporated System and method for automatic skin tone detection in images
WO2010088465A1 (en) * 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
KR101618298B1 (ko) * 2009-10-23 2016-05-09 삼성전자주식회사 고감도 영상 생성 장치 및 방법
US8571271B2 (en) 2011-05-26 2013-10-29 Microsoft Corporation Dual-phase red eye correction
WO2014027522A1 (ja) 2012-08-17 2014-02-20 ソニー株式会社 画像処理装置、画像処理方法、プログラムおよび画像処理システム
JP5873982B2 (ja) * 2012-10-09 2016-03-01 パナソニックIpマネジメント株式会社 3次元表示装置、3次元画像処理装置および3次元表示方法
JP6176978B2 (ja) * 2013-01-31 2017-08-09 オリンパス株式会社 内視鏡用画像処理装置、内視鏡装置、内視鏡用画像処理装置の作動方法及び画像処理プログラム
JP6049518B2 (ja) 2013-03-27 2016-12-21 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
EP2987106A4 (en) 2013-04-18 2016-12-14 Digimarc Corp ACQUIRING AND ANALYZING PHYSIOLOGICAL DATA
JP6003963B2 (ja) 2014-11-07 2016-10-05 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP6003964B2 (ja) 2014-11-07 2016-10-05 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
US9881368B2 (en) 2014-11-07 2018-01-30 Casio Computer Co., Ltd. Disease diagnostic apparatus, image processing method in the same apparatus, and medium storing program associated with the same method

Also Published As

Publication number Publication date
EP3021279B1 (en) 2018-03-21
US10055844B2 (en) 2018-08-21
CA2905164A1 (en) 2016-05-07
US9836836B2 (en) 2017-12-05
ES2669606T3 (es) 2018-05-28
EP3021279A1 (en) 2016-05-18
US20180068444A1 (en) 2018-03-08
AU2015230733A1 (en) 2016-05-26
JP2016087271A (ja) 2016-05-23
US20160133009A1 (en) 2016-05-12
CA2905164C (en) 2019-11-26
AU2015230733B2 (en) 2020-08-13

Similar Documents

Publication Publication Date Title
US9996928B2 (en) Disease diagnostic apparatus, image processing method in the same apparatus, and medium storing program associated with the same method
JP6003963B2 (ja) 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP6164238B2 (ja) 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
CA2915651C (en) Diagnostic apparatus for lesion, image processing method in the same apparatus, and medium storing program associated with the same method
JP6519703B2 (ja) 画像処理方法、診断装置、並びにプログラム
JP6036790B2 (ja) 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
US20180040124A1 (en) Disease diagnostic apparatus, image processing method in the same apparatus, and medium storing program associated with the same method
JP6265231B2 (ja) 診断装置、画像処理方法、及びプログラム
JP6319370B2 (ja) 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP6003965B2 (ja) 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP6503733B2 (ja) 診断支援装置並びに当該診断支援装置における画像処理方法及びそのプログラム
JP6459410B2 (ja) 診断装置並びに当該診断装置における画像処理方法及びそのプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160315

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160315

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160315

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160822

R150 Certificate of patent or registration of utility model

Ref document number: 6003963

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150