JP6038112B2 - 歯の表面の分類のための方法 - Google Patents

歯の表面の分類のための方法 Download PDF

Info

Publication number
JP6038112B2
JP6038112B2 JP2014501167A JP2014501167A JP6038112B2 JP 6038112 B2 JP6038112 B2 JP 6038112B2 JP 2014501167 A JP2014501167 A JP 2014501167A JP 2014501167 A JP2014501167 A JP 2014501167A JP 6038112 B2 JP6038112 B2 JP 6038112B2
Authority
JP
Japan
Prior art keywords
boundary
tooth
ratio
image
grayscale value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014501167A
Other languages
English (en)
Other versions
JP2014509908A5 (ja
JP2014509908A (ja
Inventor
ワン ウェイ
ウェイ ワン
リウェイ ソン
リウェイ ソン
イェンチェン ウー
イェンチェン ウー
ヴィクター シー ウォン
ヴィクター シー ウォン
ジアヨン ヤン
ジアヨン ヤン
Original Assignee
ケアストリーム ヘルス インク
ケアストリーム ヘルス インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ケアストリーム ヘルス インク, ケアストリーム ヘルス インク filed Critical ケアストリーム ヘルス インク
Publication of JP2014509908A publication Critical patent/JP2014509908A/ja
Publication of JP2014509908A5 publication Critical patent/JP2014509908A5/ja
Application granted granted Critical
Publication of JP6038112B2 publication Critical patent/JP6038112B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/20Contour coding, e.g. using detection of edges
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542Evaluating the mouth, e.g. the jaw
    • A61B5/4547Evaluating teeth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/508Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors measuring the colour of teeth
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Quality & Reliability (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Physiology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Description

本発明は、一般に、口腔内および歯科画像処理に関する。より具体的には、その後に続く処理のための歯の表面の分類のための方法に関する。
検出、治療、予防手法の改善にもかかわらず、虫歯は、すべての年齢群の人々を冒す広く流行している疾患であり続けている。適切かつ直ちに治療が行われないと、齲蝕は、永久的な歯の損傷、歯の喪失さえにも成る可能性がある。
齲蝕検出の従来の方法は、放射線(X線)画像処理によってしばしば補助される、視覚による検査および尖った歯科用探針器での触診を含む。これらの方法を利用した検出は、幾分主観的である可能性があって、開業医の経験、感染部位の場所、感染の程度、観察条件、X線装置および処理の精度、ならびに他の要素を含む多くの要素のため精度に変化がある。従来の検出手法に関連して、X線照射への暴露の他、脆弱化した歯を害し、触診方法により感染を拡大するリスクもある。齲蝕が視覚、触診検査で明らかになる時までには、疾病は、一般に進行したステージにあり、充填剤が必要で、時宜を得て治療されなければ歯の喪失に至る可能性がある。
改善された齲蝕検出方法の必要に応えて、X線を採用しない改善された画像処理手法に大いに関心があった。商用化された1つの方法は、歯が高輝度の青色光を照射されたときに起こる蛍光発光を採用している。この手法は、量子光誘起蛍光発光(QLF)と称され、いくつかの波長による励起下で健全で健康な歯のエナメル質が齲蝕感染によって損傷された非石灰化エナメル質よりもより高輝度の蛍光発光を発生させる原理に基づいて動作する。石灰化分の喪失と青色光励起の蛍光発光の喪失との強い相関関係は、したがって歯の齲蝕領域の特定および評価に利用される。スペクトルのある領域で、齲蝕領域のバクテリアおよびバクテリアの副産物が健康な領域よりもより顕著に吸収し、蛍光発光する別の関係が、赤色光励起で発見された。
蛍光発光手法において、得られる画像コントラストは、疾患の重症度に対応すると認識されている。これらの手法を利用した齲蝕の正確な特定は、齲蝕と健全な歯の構造との間の蛍光発光の違いが早期ステージの齲蝕では非常に小さいので、初期または早期齲蝕を超えて疾患がより進行したステージであることをしばしば必要とする。このような場合では、蛍光発光手法を利用した検出精度は、従来の方法に対して、際立った改善を示さないことがある。この理由で、蛍光発光効果の利用は、初期齲蝕の正確な診断を妨げる実用限界を有するように見える。その結果、齲蝕疾患は、より重大、例えば充填物を必要とするようになるまで、検出されずにあり続けることがある。
極早期ステージにおける齲蝕の検出は、予防歯科にとって特別な関心がある。すでに説明したように、従来の手法では、疾患が回復させることのできるステージで齲蝕を検出するのに、概して失敗する。経験に基づくと、初期齲蝕は歯のエナメル質内部まで実質的には侵入していない病変である。歯の象牙質部分を脅かす前にそのような齲蝕病変が特定されるときに、早期損傷を回復し、充填物の必要を防ぐ再石灰化がしばしば達成されることができる。より進行した齲蝕は、しかしながら、治療することが増大的により困難になり、非常に多くの場合、ある種類の充填またはその他の種類の治療介入を必要とする。
齲蝕を未然に防ぐための非侵襲的歯科手法の機会を活用するために、発症時に齲蝕が検出されるのが望ましい。多くの場合において、検出のこのレベルは、QLF等、既存の蛍光発光画像処理手法を利用して達成するのは、困難であることが発見された。その結果、早期齲蝕は、検出されずにあり続ける可能性があり、したがって、陽性の検出が得られたときには、低コストの予防的措置を利用した回復の機会が失われている可能性がある。
同一出願人による米国特許出願第2008/0056551号において、歯の反射率および蛍光発光画像両者を採用する方法および装置が齲蝕を検出するために利用される。齲蝕を検出するための改善された歯科画像処理手法を提供するために初期齲蝕のために蛍光発光効果と組み合わせて、観測される後方散乱または反射率を採用する。この手法は、反射率増進を伴う蛍光発光画像処理(FIRE)と称され、以前のアプローチよりも画像のコントラストを促進し、予防措置が効果を起こし易いステージでの初期齲蝕を検出する。有利なことに、FIRE検出は、蛍光発光のみを測定する既存の蛍光発光アプローチを利用するものに示されるより、齲蝕感染のより早いステージで正確である可能性がある。本出願は、FIRE画像を生成するための、ダウンシフト方法を説明する。
同一出願人による同時係属の「METHOD FOR DETECTION OF CARIES」と題する第PCT/CN2009/000078号は、照射変化に対する低減された感度を伴うFIRE画像の生成のための形態的方法を説明する。
歯の表面はそれ自体複雑である。歯の頬側および舌側表面は、特徴的に平滑であって、歯の片側から反対側へ漸次変化する輪郭を伴う。一方、咬合面は典型的に穴があり、歯の表面に渡って、著しい数のスロープおよび輪郭の推移がある。これら表面の特徴の相違点の結果、同じ種類の画像処理および分析手法は、両者の種類の歯の表面で同じようには、しばしば効果がない。頬側または舌側表面に沿った齲蝕領域の特徴的外観は、咬合面の齲蝕とは著しく異なる可能性がある。これら非類似の種類の表面は、齲蝕領域と鏡面反射のコントラストに関して、例えば異なって反応する可能性がある。低石灰化および他の効果は、疑わしい齲蝕領域を検出するように設計された画像処理アルゴリズムを混乱させる可能性がある。
齲蝕検出に加えて、歯の表面の特徴付けは、例えば、歯の色合いおよび外見に関連する処理を含む、他の種類の口腔内および歯科画像処理、ならびに口腔内画像の全般的な分類に有用である可能性がある。
したがって、他の処理はもちろん、齲蝕検出手法の適用を試みる前に歯の表面の種類を分類することは、有益であることが理解され得る。画像分析におけるこの追加のステップは、齲蝕検出精度を改善するのに寄与し、偽陽性の数を削減する可能性がある。
米国特許出願第2008/0056551号明細書 国際公開第2010/083623号パンフレット
本発明の目的は、虫歯検出のための画像処理手法を促進することにある。本発明の実施形態は、歯の表面の性質に依存して、適切な画像処理方法が利用されることができるように歯の表面をより正確に分類する必要に対処するものである。本発明の方法の優位性は、歯の表面が平滑面または咬合面であることを、操作者の介入なしに、自動的に決定可能なことであり、したがって、齲蝕検出アルゴリズムがその次の適用されるときに、偽陽性の数を削減する。
したがって、1つ以上の、以下の優位性を伴う歯の表面の分類方法が説明される。(1)歯の表面は、自動的に分類され得る、(2)結果はかなり堅牢であって、照射の変動には感応性がない、(3)本方法は、大規模の計算複雑性を利用せず、リアルタイムで実行され得る、(4)本方法は、静止画像または動画にて自動ハイライトを伴って齲蝕検出に利用される。本方法は、異なる種類の口腔内カメラ画像システムの多くで直ちに使用できる。本方法を応用することは、患者の歯の疾患を適切に評価するのに要される時間量を削減するのに、役立ち得る。
これらの目的は、例証的な例としてのみ与えられ、かかる目的は、本発明の1つ以上の実施形態の例示であり得る。開示される発明によって本質的に達成される他の望ましい目的および利点が、当業者に想到されるか、または明らかとなり得る。本発明は、添付の特許請求の範囲によって規定される。
本発明の一態様によれば、口腔内画像処理のための方法が提供され、該方法は、コンピュータシステム上で少なくとも部分的に実行され、1つ以上の歯のデジタル画像を得るステップと、1つ以上の歯の第1の境界および第2の境界を検出するステップと、第1の境界および第2の境界のそれぞれにおいて、境界の片側の歯領域の平均グレースケール値と、境界の反対側のバックグラウンド領域の平均グレースケール値との境界比を計算し、計算された境界比をメモリに記憶するステップと、第1の境界の近傍の歯領域の平均グレースケール値と、第2の境界の近傍の歯領域の平均グレースケール値との第3の比を計算し、第3の比をメモリに記憶するステップと、少なくとも計算された境界比および第3の比を含むベクトルを形成し、記憶するステップと、記憶されたベクトルに従って、歯の表面を平滑面または咬合面のいずれかに分類するステップと、歯の表面の分類に従って、デジタル画像を処理するステップと、処理結果を報告するステップと、を含む、方法である。
本発明の前述のおよび他の目的、特徴、および利点は、添付の図面において例証される、本発明の実施形態の次のより特定の説明から明らかとなるであろう。図面の要素は、相互に対して必ずしも一定の縮尺ではない。
齲蝕検出のステップを示す論理フロー図である。 歯の例示的白色光画像である。 歯の例示的蛍光発光画像である。 バックグラウンドコンテンツを特定する閾値を境にした2値化を示す。 歯茎組織コンテンツを特定する閾値を境にした2値化を示す。 歯コンテンツを特定する閾値を境にした2値化を示す。 図1〜2の歯の境界分割を示す画像である。 頬側のビューの境界分割を示す画像である。 咬合面のビューの境界分割を示す画像である。 歯の分類のために利用される特徴ベクトルを構成するための処理ステップを示す論理フロー図である。 後続のグレースケール比計算の境界線の拡張を示す画像である。 平均グレースケール計算の境界線の片側の領域を特定することを示す画像である。 平均グレースケール計算の境界線の反対側の領域を特定することを示す画像である。 後続のグレースケール比計算の境界線の拡張を示す画像である。 平均グレースケール計算の境界線の片側の領域を特定することを示す画像である。 平均グレースケール計算の境界線の反対側の領域を特定することを示す画像である。 図1の検出ステップを展開する論理フロー図である。
以下は、本発明の好ましい実施形態の詳細な説明であり、図面が参照され、その中で同一の参照番号は複数の図面のそれぞれにおいて同じ構造の要素を特定する。
本出願は、参照することによって全体が本明細書に取り込まれる、「A METHOD FOR TOOTH SURFACE CLASSIFICATION」と題する2011年3月21日に出願された米国仮出願第61/454,761号に対して、優先権を主張する。
「第1の」、「第2の」、「第3の」等という用語は、使用されるときには、順番または優先関係を必ずしも意味しないが、1つの要素または期間を他からより明確に区別するために使用されることがある。
表示された特徴に対する「ハイライト表示」という用語は、情報および画像表示技術分野の当業者に理解される、その従来の意味を有する。一般に、ハイライト表示は、見る者の注意を引き付けるために、何らかの形態の局所化された表示の向上を使用する。例えば、個別の歯もしくは他の構造、または1つの特徴から次の特徴への経路等の画像の一部分をハイライト表示することは、注釈の付加、近傍もしくは上に位置する記号の表示、輪郭を描くこともしくはトレースすること、他の画像もしくは情報コンテンツを異なる色もしくは著しく異なる輝度もしくはグレースケール値で表示すること、表示の一部分の点滅表示もしくはアニメ化、またはより高度の鮮明さもしくはコントラストでの表示に制限されないが、これらを含む、多くの方法のいずれかにより達成され得る。
図1の論理フロー図は、本発明の実施形態による、齲蝕検出の一連のステップを示す。初期化ステップS100において、分析のための1つ以上の歯のデジタル画像データが得られる。境界検出ステップS110が実行され、歯領域セグメンテーションの結果に基づいて、歯の境界を計算する。画像正規化ステップが、ピクセル輝度値を後続の画像処理に好適なプリセット範囲に正規化するために実行される。例として、図2は、正規化された白色光画像10を示す。図3は、対応する蛍光発光画像20を示す。
バックグラウンド領域検出がその次に続き、ここでは、歯領域セグメンテーションユーティリティが歯領域を歯茎領域およびバックグラウンド領域から分離するために使用される。歯領域および歯茎領域の輝度は、バックグラウンドのものより高いので、バックグラウンド領域が、閾手法に基づいて最初に検出され得る。現状のアルゴリズムにおいて、正規化された白色光画像を処理するために固定閾値が利用される。代替では、白色光画像および図3の蛍光発光画像20の対応するチャネルが、閾値を境に2値化するのに利用される。この代替の順序において、本アルゴリズムは、白色光画像および蛍光発光画像の緑色チャネルを、それぞれ閾値を境に2値化する。その次に、閾領域の和集合が計算され、その中で白色光画像および蛍光発光画像からの閾結果がバックグラウンド領域とみなされる。
図1の順序を続けると、歯茎領域が、境界検出ステップS110の一部として検出される。歯茎は、白色光画像で赤であるので、色情報によって直ちに特定され、除去され得る。本発明の実施形態によると、白色光画像の赤色チャネルと緑色チャネルとの間の比が、歯領域から歯茎を区別するために利用される。ある領域の色チャネルの比がプリセット値よりも高いならば、画像の対応する部分は、歯茎領域として計算され得る。バックグラウンド領域および歯茎領域を除去後、残る領域は歯領域の一部であるとみなされる。
図4〜6は、図2〜3に示される画像のセグメンテーション結果を提供するために利用される2成分閾画像の例を示す。図4は、白で示される歯でも歯茎組織でもない画像コンテンツを伴うバックグラウンド領域画像40を示す。図5は、歯茎組織が白で示される歯茎領域画像50を示す。図6は、歯コンテンツが白で示される歯領域画像60を示す。図7に示されるように、外形32は、歯領域の境界に沿ってトレースされることができ、したがって、例えば境界画像30に表示するための歯の境界を特定する。
歯の境界が検出されると、場所情報に基づいて、歯の境界は、境界分割ステップS120(図1)で2つのセクションに分割される。その次に、分割された歯の境界に基づいて、特徴が取り出されることが可能である。頬側および舌側表面では、歯の境界分離は、歯茎領域の近傍の第1のセクションおよびバックグラウンド領域の近傍の第2のセクションの、2つのセクションを特定する。図8は、頬側表面の境界分割画像70を示す。境界線74および76は、この表面タイプの異なる境界セクションを示す。線74を境界とする非歯領域は歯茎領域であって、緑色チャネルのより高いピクセル輝度値を有する。線76を境界とする非歯領域は、バックグラウンド領域であって、緑色チャネルのより低いピクセル輝度値を有する。
咬合面では、図9の画像80に示されるように、歯の境界は、歯列の方向に従って、2つのセクションに分割される。1つのセクションが線82で示され、この線に隣接する非歯領域は、緑色チャネルにおいて、より低いピクセル輝度値を有する。他のセクションは、線84でハイライト表示され、この線に隣接する非歯領域は、緑色チャネルにおいて、より高いピクセル輝度値を有する。境界は、歯を横断して画像に沿って変化し得る距離Dで分離される。
図1の順序を再び参照すると、特徴抽出ステップS130は、歯の表面のさらなる分類のために、境界分割ステップS120の結果をその次に利用する。図10の論理フロー図は、特徴抽出ステップS130で利用される一連のステップを示す。特定ステップS131は、境界分割ステップS120からの、図8の線74で歯茎線に沿って特定された境界等、第1の境界セクションを、例えば特定する。図11Aを参照すると、この第1の境界曲線は、画像拡張等、形態的画像処理手法を利用して、例えば最初に拡張される。これは、線74を拡張し、第1の境界セクション44を画定する。
図10の順序を続けると、後続のサブステップは、図11Bおよび図11Cに示されるように、第1の境界セクション44を2つの部分に分割する。図11Bは、線74の歯茎組織側に位置するか、またはオーバーラップする、第1の境界セクション44のその部分として、第1の部分46がどのように画定されるかを示す。この部分は、隣接する歯茎領域で平均値または他の統計値として計算される、グレースケール分散値FeaUpperGumを有する。
図11Cは、線74の歯側にオーバーラップする第1の境界セクション44のその部分として、第2の部分48がどのように画定されかを示す。この部分は、隣接する歯領域で平均値または他の統計値として計算される、グレースケール分散値FeaUpperToothを有する。
これら画定された領域を前提として、第1の比の計算ステップS132は、片側の境界の近傍の歯領域、第2の部分48の平均グレースケール値と、反対側の境界の近傍の歯茎領域、第1の部分46の平均グレースケール値との第1の境界比として計算される値Feature1をその次に計算し、メモリに記憶する、つまり、
Feature1=FeaUpperTooth/FeaUpperGum
であり、または代替では、その逆数として表現される比である。
Feature1b=FeaUpperGum/FeaUpperTooth
本開示の文脈において、特定の場所における「近傍」という用語は、境界間との全距離の3分の1以内、好ましくは、この長さの3分の1よりも近いことを意味する。図9は、境界間の典型的な距離Dを示す。
図10の順序を続けると、後続の特定ステップS133は境界分割ステップS120からの、図8の線76でバックグラウンドに沿って特定される境界等、第2の境界セクションを、例えば特定する。図12Aを参照すると、この第2の境界カーブは、最初は、画像拡張等、形態的画像処理手法を利用して、例えば拡張される。これは、線76を拡張し、第2の境界セクション54を画定する。
第2の比の計算ステップS134は、片側の境界の近傍の歯領域の平均グレースケール値と、反対側の境界の近傍のバックグラウンド領域の平均グレースケール値との第2の境界比をその次に計算し、メモリに記憶する。図11A、11B、および11Cで示される順序に類似して、図12A、12B、および12Cは、個別の領域がどのように特定されるか図説する。
図10の順序を続けると、後続のサブステップは、第2の境界セクション54を、図12Bおよび12Cに示されるように、2つの部分に分割する。図12Bは、第1の部分56がどのようにして、線76の歯組織側にあるか、またはオーバーラップする第2の境界セクション54の部分として、画定されるかを示す。この部分は、隣接する歯領域の平均値または他の統計値として計算される、グレースケール分散値FeaLowerToothを有する。
図12Cは、第2の部分58が、線76のバックグラウンド側にオーバーラップする、第2の境界セクション54の部分として、どのように画定されるかを示す。この部分は、隣接するバックグラウンド領域の平均値または他の統計値として計算される、グレースケール 分散値FeaLowerBackを有する。
これら、画定された領域を前提として、第2の比計算ステップS134は、
Feature2=FeaLowerTooth/FeaLowerBack
として、計算される値Feature2を、または代替では、その逆数として表現される比をその次に計算し、メモリに記憶する。
Feature2b=FeaLowerBack/FeaLowerTooth
第3の比計算ステップ図10のS136は、第1の境界セクションと第2の境界セクションの近傍の歯領域の平均グレースケール値の比をその次に計算し、記憶する。つまり、
Feature3=FeaUpperTooth/FeaLowerTooth
または代替では、その逆数である。
Feature3b=FeaLowerTooth/FeaUpperTooth
3次元特徴ベクトルまたは類似のデータ構造は、先行するステップから計算された比データを利用して、特徴ベクトル生成ステップS138でその次に形成される。生成されたベクトルは、したがって、第1の境界比、第2の境界比、第3の比を含む。このように形成される特徴ベクトルは記憶され、歯の表面の分類のために利用され得る。
3次元ベクトル構成は、Feature1、Feature2およびFeature3を、または、その逆数を任意の順番で利用できる。代替では、2次元ベクトルが、[Feature1,Feature2]または[Feature2,Feature1]を利用して、形成されることができる。
選択的ベクトル正規化プロセスは、
Figure 0006038112
等、値μ1〜μ3は、プリセット値、つまり、トレーニングデータ集合から計算されたFeature1〜Feature3の平均値に対応する、正規化された特徴ベクトルを生成する。同様に、値σ1〜σ3は、プリセット値、つまりトレーニングデータ集合から計算されたFeature1〜Feature3の分散に対応する。正規化プロセスは、2次元特徴ベクトルに対しても類似である。特徴ベクトルは、分類プロセスの入力としてその次に機能できる。
分類子ロードステップS140(図1)は、歯の表面の分類の適切な分類子を、ロードする。本発明の一実施形態によれば、分類子ロードステップS140は、このタスクのために、PCA(主成分分析)分類子をロードする。主成分分析(PCA)は、相関関係がある可能性のある観察結果の集合を、主成分と称される線形非相関変数の値の集合に変換する直交変換を利用する数学的手法である。主成分の数は、初期の変数の数以下である。PCA分類子は、分類子ソフトウェアがテストサンプルセットを利用してトレーニングされることを可能にする、ニューラルネットワーク手法を利用して、典型的に開発される。PCA分類ツールが、形状および輪郭分類に特に適している一方で、他の分類子の種類は、代替で利用される可能性がある。分類子が表面の特徴を区別するように、十分にトレーニングされると、患者画像は、分類ステップS150が分析するのに利用するために、その次に記憶される可能性がある。分類は次に、歯画像を、頬側もしくは舌側表面または咬合面画像のいずれかとして画定する。
さらに、図1の手続きの順序に従い、図13に示される展開された論理フローを利用すると、特徴ベクトル90が分類プロセスS150で処理された後、分類が完了されると、齲蝕検出ステップS160はその次に実行される。図13の論理フローに示されるように、齲蝕検出ステップS160は、特定された表面の分類の種類に依存する異なるパラメータまたはアルゴリズムを適用する。結果162が、平滑面を示すときに、齲蝕検出ステップS166は、舌側または表面に適用される。結果164が荒れた表面を示すときに、齲蝕検出ステップS168が、咬合面に適用される。報告ステップS170は、歯の番号および表面を列挙し、または1つ以上の齲蝕部位を、画像化した歯を示すディスプレイコンソール上にハイライト表示する等、齲蝕検出の結果を、例えばその次に報告する。齲蝕検出ステップS160は、図1に示される順序に提供された歯の表面の分類を利用できる画像処理の一種類であることに注意されたい。代替の処理ステップは、歯の外見分析または画像ビューの分類等、他の方法で歯の表面の分類を利用するために、例えば提供され得る。
当業者により認められるように、本発明は、システムの一部が、画像を得て表示するため、操作者の命令および入力データを受容するため、ならびに操作者の入力に対して応答するための命令でプログラムされるコンピュータプログラム製品、または他の制御論理プロセッサ機器を利用して実行される、システムまたは方法として実施されてもよい。したがって、本発明の実施形態は、全体にハードウェアの実施形態の形態であってもよく、または、本明細書で「回路」または「システム」としてすべて概して称されてもよい、ソフトウェアとハードウェアの態様を組み合わせる実施形態であってもよい。さらには、本発明の一部は、コンピュータ可読記憶媒体に実施される、1つ以上のコンピュータまたはホストプロセッサで実行される命令を伴う、コンピュータプログラム製品の形式をとってもよい。この媒体は、磁気ディスク(ハードドライブもしくは記憶ディスク等)もしくは磁気テープ等の磁気記憶媒体;光学ディスク、光学テープ、もしくは機械可読なバーコード等の光学記憶媒体;半導体ハードドライブ、ランダムアクセスメモリ(RAM)もしくは読み出し専用メモリ(ROM)等の半導体記憶機器;またはコンピュータプログラムを記憶するのに利用される任意の他の物理的機器もしくは媒体を、例えば含んでもよい。本発明の方法を実行するコンピュータプログラムは、インターネットまたは他の通信媒体でホストプロセッサと接続されるコンピュータ可読媒体に記憶されてもよい。
本開示の文脈では「コンピュータアクセス可能メモリ」と均等である「メモリ」という用語は、例えばデータベースを含む、画像データを記憶し操作するために使用され、コンピュータシステムにアクセス可能である任意の種類の一時的またはより永続的なデータ記憶ワークスペースを指すことができることに注意されたい。メモリは、磁気記憶または光学記憶等、長期間記憶媒体を例えば利用した、非揮発性であり得る。代替では、メモリは、マイクロプロセッサまたは他の制御論理プロセッサ機器で、一時バッファまたはワークスペースとして利用されるランダムアクセスメモリ(RAM)等、電子回路を利用する、より揮発性であり得る。表示データは、表示機器と直接的に関連し、表示されるデータを提供するために、必要に応じて定期的にリフレッシュされる、一時記憶バッファに例えば典型的に記憶される。この一時記憶バッファも、この用語が本開示で使用されるときには、メモリとして見なすことができる。メモリは、計算および他の処理の中間結果および最終結果を実行し、記憶するためのデータワークスペースとしても利用される。コンピュータアクセス可能メモリは、揮発性、非揮発性、または揮発性および非揮発性のタイプのハイブリッドな組み合わせである可能性がある。
当業者は、そのようなコンピュータプログラムの同等なものがハードウェアの内に構成されてもよいことを直ちに認識するであろう。コンピュータ利用可または可読媒体は、例えば紙または他の媒体の光学的スキャンを経由して命令が電子的に捕捉されることが可能で、その次にコンパイルされ、解釈され、または必要ならば好適な方式で処理され、コンピュータのメモリにその次に記憶されるので、実行可能命令がその上にプリントされる紙または別の好適な媒体であってもよい。本明細書の文脈では、コンピュータ利用可またはコンピュータ可読媒体は、命令実行システム、装置、または機器で、または関連して使用されるコンピュータ命令を含み、記憶し、通信し、伝搬し、転送することが可能な任意の媒体であってもよい。
本発明は1つ以上の実装について説明されたが、添付の請求項の趣旨および範囲を逸脱せずに、説明した例に変更および/または修正を行うことができる。さらに、複数の実装のうちの1つのみについて本発明の特定の特徴が開示されたが、そのような特徴は、任意の所与のまたは特定の機能にとって所望され、かつ優位性が有り得るように他の実装の1つ以上の他の特徴と組み合わせることができる。
「〜のうちの少なくとも1つ」という用語は、列挙されたアイテムのうちの1つ以上が選択可能であることを意味するように使用される。「約」という用語は、変更が説明された本実施形態に対してプロセスまたは構造で不適合とならない限りにおいて、列挙された値が幾分変更され得ることを示す。最後に、「例示的」は、理想であることを意味するのではなく、説明が例として利用されることを示す。

Claims (3)

  1. 口腔内画像処理のための方法であって、前記方法は、コンピュータシステム上で少なくとも部分的に実行され、
    反射率画像処理手法及び蛍光発光画像処理手法の少なくとも一方により1つ以上の歯のデジタル画像を得るステップと、
    前記1つ以上の歯の第1の境界および第2の境界を検出するステップと、
    第1の境界の片側の歯領域の平均グレースケール値と、前記第1の境界の反対側の非歯領域の平均グレースケール値との第1の、および、前記第2の境界の片側の歯領域の平均グレースケール値と、前記第2の境界の反対側の非歯領域の平均グレースケール値との第2の比を計算し、計算された前記第1の比および前記第2の比をメモリに記憶するステップと、
    前記第1の境界の近傍の前記歯領域の前記平均グレースケール値と、前記第2の境界の近傍の前記歯領域の前記平均グレースケール値との第3の比を計算し、前記第3の比を前記メモリに記憶するステップと、
    前記第1の比、前記第2の比、および前記第3の比を用いて、歯の表面を平滑面または咬合面のいずれかに分類するステップと、
    前記歯の表面の分類に従って、前記デジタル画像を用いて歯科画像処理および口腔内画像処理の少なくとも一方を実行するステップと、
    処理結果を報告するステップと、
    を含む、方法。
  2. 前記デジタル画像は、口腔内カメラ画像システムにより得られた静止画像または動画像であり、
    前記平均グレースケール値は、前記第1の境界と第2の境界との間の距離の3分の1以内である前記デジタル画像の部分からのものである、請求項1に記載の方法。
  3. 齲蝕検出のための方法であって、前記方法は、ディスプレイを有するコンピュータシステム上で少なくとも部分的に実行され、
    反射率画像処理手法及び蛍光発光画像処理手法の少なくとも一方により1つ以上の歯のデジタル画像を得るステップと、
    前記1つ以上の歯の第1の境界および第2の境界を検出するステップと、
    前記第1の境界および第2の境界のそれぞれにおいて、前記境界の片側の歯領域の平均グレースケール値と、前記境界の反対側の非歯領域の平均グレースケール値との境界比を計算し、計算された前記境界比をメモリに記憶するステップと、
    前記第1の境界の近傍の前記歯領域の前記平均グレースケール値と、前記第2の境界の近傍の前記歯領域の前記平均グレースケール値との第3の比を計算し、前記第3の比を前記メモリに記憶するステップと、
    少なくとも計算された前記境界比および前記第3の比を含むベクトルを形成し、記憶するステップと、
    記憶された前記ベクトルに従って、歯の表面を平滑面または咬合面のいずれかに分類するステップと、
    前記歯の表面の分類に従って、齲蝕を検出するために前記デジタル画像を処理するステップと、
    処理結果をディスプレイ上で報告するステップと、
    を含む、方法。
JP2014501167A 2011-03-21 2012-03-19 歯の表面の分類のための方法 Expired - Fee Related JP6038112B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161454761P 2011-03-21 2011-03-21
US61/454,761 2011-03-21
PCT/US2012/029646 WO2012129160A2 (en) 2011-03-21 2012-03-19 A method for tooth surface classification

Publications (3)

Publication Number Publication Date
JP2014509908A JP2014509908A (ja) 2014-04-24
JP2014509908A5 JP2014509908A5 (ja) 2015-04-30
JP6038112B2 true JP6038112B2 (ja) 2016-12-07

Family

ID=46879990

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014501167A Expired - Fee Related JP6038112B2 (ja) 2011-03-21 2012-03-19 歯の表面の分類のための方法

Country Status (7)

Country Link
US (1) US9020236B2 (ja)
EP (1) EP2688479B1 (ja)
JP (1) JP6038112B2 (ja)
KR (1) KR101911567B1 (ja)
CN (1) CN103442645B (ja)
ES (1) ES2692545T3 (ja)
WO (1) WO2012129160A2 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8768016B2 (en) * 2009-06-19 2014-07-01 Carestream Health, Inc. Method for quantifying caries
US9870613B2 (en) * 2014-11-05 2018-01-16 Carestream Health, Inc. Detection of tooth condition using reflectance images with red and green fluorescence
KR101623356B1 (ko) * 2014-12-31 2016-05-24 오스템임플란트 주식회사 치과용 임플란트 계획 가이드 방법, 이를 위한 장치 및 기록 매체
US9547903B2 (en) * 2015-04-16 2017-01-17 Carestream Health, Inc. Method for quantifying caries
BR112018011227B1 (pt) 2015-12-04 2021-07-20 3Shape A/S Método para preencher um gráfico dentário digital com informações de condição dentária para os dentes de um paciente
EP3459494B1 (en) * 2016-05-10 2022-07-27 Kambara, Masaki Dental health assessment assisting system
JP2018022260A (ja) * 2016-08-02 2018-02-08 株式会社オプテック 画像処理装置
WO2018076142A1 (zh) * 2016-10-24 2018-05-03 深圳市龙岗中心医院 一种上颌中切牙分类方法及系统
DE102017203475A1 (de) * 2017-03-03 2018-09-06 Sirona Dental Systems Gmbh Verfahren zur Konstruktion einer Restauration
EP3398504A1 (en) * 2017-05-05 2018-11-07 Koninklijke Philips N.V. Oral care system to detect localized inflammation
CN110769777B (zh) * 2017-06-16 2023-08-11 阿莱恩技术有限公司 牙齿类型和萌出状态的自动检测
EA201700561A1 (ru) * 2017-11-16 2019-05-31 Общество С Ограниченной Ответственностью "Доммар" Способ и система выравнивания зубов на основании моделирования движения коронок и корней
CA3100495A1 (en) * 2018-05-16 2019-11-21 Benevis Informatics, Llc Systems and methods for review of computer-aided detection of pathology in images
JP7261245B2 (ja) * 2018-05-29 2023-04-19 メディシム ナームロゼ ベンノートチャップ 画像から歯髄領域をセグメント化するための方法、システム、及びコンピュータプログラム
DE102018210259A1 (de) * 2018-06-22 2019-12-24 Sirona Dental Systems Gmbh Verfahren zur Konstruktion einer Bohrschablone
US11389131B2 (en) 2018-06-27 2022-07-19 Denti.Ai Technology Inc. Systems and methods for processing of dental images
KR102176490B1 (ko) 2018-08-24 2020-11-10 이재우 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법
EP3899974B1 (en) 2018-12-21 2025-01-01 The Procter & Gamble Company Apparatus and method for operating a personal grooming appliance or household cleaning appliance
WO2020196939A1 (ko) 2019-03-25 2020-10-01 본와이즈 주식회사 치아의 골 연령을 결정하기 위한 장치, 방법 및 명령을 기록한 기록 매체
CN113692250B (zh) * 2019-04-11 2024-07-23 株式会社迪耀 影像数据的预处理装置
US11676701B2 (en) 2019-09-05 2023-06-13 Pearl Inc. Systems and methods for automated medical image analysis
US10984529B2 (en) 2019-09-05 2021-04-20 Pearl Inc. Systems and methods for automated medical image annotation
KR102255592B1 (ko) * 2019-11-19 2021-05-25 주식회사 레이 마진 라인의 정밀도 향상을 위한 치과용 ct 영상 처리 방법
US11055789B1 (en) 2020-01-17 2021-07-06 Pearl Inc. Systems and methods for insurance fraud detection
US12340510B2 (en) 2020-06-04 2025-06-24 The Procter & Gamble Company Oral care based digital imaging systems and methods for analyzing attributes of a facial image portion
US11978207B2 (en) * 2021-06-03 2024-05-07 The Procter & Gamble Company Oral care based digital imaging systems and methods for determining perceived attractiveness of a facial image portion
US12493952B2 (en) 2020-06-24 2025-12-09 Oral Tech Ai Pty Ltd Computer-implemented detection and processing of oral features
US20240303806A1 (en) * 2020-12-22 2024-09-12 Glaxosmithkline Consumer Healthcare Holdings (Us) Llc System and method for dental image acquisition and recognition of early enamel erosions of the teeth
US11776677B2 (en) 2021-01-06 2023-10-03 Pearl Inc. Computer vision-based analysis of provider data
CN113425440A (zh) * 2021-06-24 2021-09-24 广州华视光学科技有限公司 一种基于人工智能检测龋病及其位置的系统和方法
EP4366656A4 (en) * 2021-07-06 2025-03-26 Orthodontia Vision Inc. System and method for determining an orthodontic occlusion class

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0365605A (ja) * 1989-08-03 1991-03-20 Nippon Telegr & Teleph Corp <Ntt> ディジタル画像におけるエッジ長さ計測方法
WO2005013843A2 (en) * 2003-08-08 2005-02-17 The Regents Of The Univeristy Of California Near-infrared transillumination for the imaging of early dental decay
US7324661B2 (en) 2004-04-30 2008-01-29 Colgate-Palmolive Company Computer-implemented system and method for automated and highly accurate plaque analysis, reporting, and visualization
JP4918383B2 (ja) 2007-03-16 2012-04-18 オリンパス株式会社 輪郭検出装置および輪郭検出方法ならびにそのプログラム
US8866894B2 (en) * 2008-01-22 2014-10-21 Carestream Health, Inc. Method for real-time visualization of caries condition
JP4594429B2 (ja) * 2008-06-30 2010-12-08 オリンパス株式会社 歯科用測色装置、システム、方法、及びプログラム
EP2378955B1 (en) * 2009-01-20 2021-08-25 Carestream Dental Technology Topco Limited Method and apparatus for detection of caries
US8768016B2 (en) * 2009-06-19 2014-07-01 Carestream Health, Inc. Method for quantifying caries
EP2465436A4 (en) 2009-07-30 2016-08-17 Takara Telesystems Corp RADIATION IMAGE RECORDING AND IMAGE RECORDING BY RADIATION
DE102011010975A1 (de) * 2011-02-10 2012-08-16 Martin Tank Verfahren und Analysesystem zur geometrischen Analyse von Scandaten oraler Strukturen
DK2675390T3 (da) * 2011-02-18 2019-09-30 3M Innovative Properties Co Ortodontiske digitale opsætninger
US8923581B2 (en) * 2012-03-16 2014-12-30 Carestream Health, Inc. Interactive 3-D examination of root fractures

Also Published As

Publication number Publication date
KR101911567B1 (ko) 2018-10-24
WO2012129160A2 (en) 2012-09-27
KR20140012669A (ko) 2014-02-03
JP2014509908A (ja) 2014-04-24
CN103442645B (zh) 2016-11-09
EP2688479B1 (en) 2018-08-29
EP2688479A2 (en) 2014-01-29
CN103442645A (zh) 2013-12-11
ES2692545T3 (es) 2018-12-04
US20140037180A1 (en) 2014-02-06
EP2688479A4 (en) 2014-09-10
US9020236B2 (en) 2015-04-28
WO2012129160A3 (en) 2012-12-06

Similar Documents

Publication Publication Date Title
JP6038112B2 (ja) 歯の表面の分類のための方法
EP2312528B1 (en) Method for identifying a tooth region
KR101646792B1 (ko) 충치 정량화 방법
US9870613B2 (en) Detection of tooth condition using reflectance images with red and green fluorescence
EP2312529B1 (en) A method for locating an interproximal tooth region
US8908936B2 (en) Method for extracting a carious lesion area
US9547903B2 (en) Method for quantifying caries
KR20200023225A (ko) 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법
Frejlichowski et al. Automatic segmentation of digital orthopantomograms for forensic human identification

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150311

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161101

R150 Certificate of patent or registration of utility model

Ref document number: 6038112

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees