JP6582276B2 - 頭部画像評価装置 - Google Patents

頭部画像評価装置 Download PDF

Info

Publication number
JP6582276B2
JP6582276B2 JP2017214403A JP2017214403A JP6582276B2 JP 6582276 B2 JP6582276 B2 JP 6582276B2 JP 2017214403 A JP2017214403 A JP 2017214403A JP 2017214403 A JP2017214403 A JP 2017214403A JP 6582276 B2 JP6582276 B2 JP 6582276B2
Authority
JP
Japan
Prior art keywords
reflected light
surface reflected
head
stage
hair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017214403A
Other languages
English (en)
Other versions
JP2019084024A (ja
Inventor
章子 金子
章子 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aventino
Original Assignee
Aventino
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aventino filed Critical Aventino
Priority to JP2017214403A priority Critical patent/JP6582276B2/ja
Priority to US16/626,567 priority patent/US11468560B2/en
Priority to PCT/JP2018/040986 priority patent/WO2019093266A1/ja
Priority to CN201880043698.1A priority patent/CN110831499B/zh
Publication of JP2019084024A publication Critical patent/JP2019084024A/ja
Application granted granted Critical
Publication of JP6582276B2 publication Critical patent/JP6582276B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/448Hair evaluation, e.g. for hair disorder diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Dermatology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Description

本発明は、頭髪の画像に基づいて脱毛症に関する評価を行う評価装置及び評価方法に関する。
女性型脱毛症(female pattern hair loss:FPHL)は、主に女性に生じるびまん性脱毛をさす。FPHLのパターン分類としては、1977年にLudwigが、3段階の分類(非特許文献1参照)を、1999年にOlsenは、クリスマスツリーパターン(非特許文献2参照)を発表した。これらのパターン分類は、ある程度進行したFPHLの形状を評価できるが、ある程度進行した段階でしかみられない所見である露出した地肌の広がりに基づく分類であるため、早期の女性型脱毛症(earlyFPHL)の評価には有用ではない。early FPHLは、FPHLの中でも程度の軽い状態を意味しており、Olsenはその特徴を「わずかに開大した分け目」と表現している(非特許文献3参照)。
一方、Sinclairらは、early FPHL、すなわち最も軽症の外見上の特徴を「分け目の変化が見られない」状態ととらえている(非特許文献5参照)。このようにearly FPHLは、程度の軽い中にも多彩な症状を呈しているため、FPHLにおける“early”の位置づけは、専門家の間でも多少異なる。そのため、early FPHLは程度の軽い中にも多彩な症状があるにも関わらず、全てのearly FPHLタイプがたった1つの分類にまとめられている。
これまで、early FPHLの多彩な症状を細分化した評価法はなかった。また、FPHLにおいて頭髪の全体写真(Global photograph:GP)を用いた治療効果の評価法があるが、治療開始前のGPをベースラインとし、そこからの変化の印象を7段階で評価する7ポイントスケール(−3=すごく減、−2=やや減、−1=少々減、不変=0、+1=少々改善、+2=やや改善、+3=すごく改善)が多く使われてきた。しかしながら、患者と医師/研究者の評価が必ずしも一致するとは限らない(非特許文献6参照)。
GPは、男性型脱毛症における重症度分類や治療効果の判定方法として日常診療に長く用いられている。FPHLにおいても、OlsenはFPHLの臨床試験における最も重要かつ信頼性のある評価項目としてGPをあげている。しかし、early FPHL患者は、分け目の開大、または地肌の透けがほとんどないため、既存のFPHL分類を用いた、GPによる程度評価は困難であり、それはearly FPHLの治療をする上での、未解決の課題のひとつとされている。
Ludwig E. Classification of the types of androgenetic alopecia (common baldness) occurring in the female sex. Br J Dermatol. 1977 Sep;97(3):247-54 Olsen EA. The midline part: an important physical clue to the clinical diagnosis of androgenetic alopecia in women. J Am Acad Dermatol. 1999 Jan;40(1):106-9 Olsen EA. Female pattern hair loss J Am Acad Dermatol 2001 Sep;45(3 Suppl): S70-80 Harries M, Tosti A, Bergfeld W, Blume-Peytavi U, Shapiro J, Lutz G, Messenger A, Sinclair R, Paus R.Towards a consensus on how to diagnose and quantify female pattern hair loss - The 'Female Pattern Hair Loss Severity Index (FPHL-SI)'. J Eur Acad Dermatol Venereol. 2016 Apr;30(4):667-76 Biondo S, Goble D, Sinclair R. Women who present with female pattern hair loss tend to underestimate the severity of their hair loss. Br J Dermatol. 2004 Apr;150(4):750-2. Blume-Peytavi U1, Hillmann K, Dietz E, Canfield D, Garcia Bartels N. A randomized, single-blind trial of 5% minoxidil foam once daily versus 2% minoxidil solution twice daily in the treatment of androgenetic alopecia in women. J Am Acad Dermatol. 2011 Dec;65(6):1126-1134
そのため、early FPHLの問題点のひとつとして、患者が自覚する薄毛(頭部の毛量の減少)を、どのように客観的に程度評価や治療の効果判定をしていくか、があげられる(非特許文献4参照)。early FPHLは、適切な治療介入により回復する見込みが、程度の進んだFPHLより高いため、early FPHLの段階で治療を開始することは、治療効果の確率をあげ、患者の精神的・経済的負担の軽減を図るという観点から、意義がある。そのためにも、程度が軽い中にも多彩な症状を呈しているearly FPHLを整理し、細かく進行度分類を行い、治療効果の判定ができる評価法を確立することが必要とされる。
本発明の実施の形態に係る頭部画像評価装置は、被験者の頭髪部を撮影した頭部画像を取得する取得部と、前記頭部画像に含まれる、つむじ周囲においてU字型曲線の形状を呈し、前頭部および頭頂部において分け目にそって帯状に形成される表面反射光を特定する特定部と、前記前頭部又は前記頭頂部において前記表面反射光の形成される位置に応じて、頭髪のボリュームの変化を示す区分を特定する区分部と、を備える。

本実施の形態では、脱毛症に対してGPによる程度評価や治療効果の判定を行うことにより、early FPHLを代表とする早期の脱毛症において、医療者及び患者双方にとって治療方針を立てるのに有益な結果を得ることができる。本実施の形態により、early FPHLを代表とする早期の脱毛症について適切な進行度分類を確立し、治療効果の判別ができるので、適切な治療介入により回復する見込みを高めることができるとともに、望まれてきた早期段階での脱毛症の治療を実現することができる。
表面反射光の形態による評価基準を設けることで、客観的な評価のしにくいearly FPHLであっても、GPで治療経過を評価できる。このように、GPを用いた本実施の形態の評価方法は、医療者も活用しやすく、かつ患者も経過を理解しやすい、early FPHLなど脱毛症の早期段階の評価法として有用と考える。
本実施の形態のGP評価法によると、early FPHL段階での微細で緩やかな変化を、患者が理解しやすくなる。本実施の形態のGP評価法は, 明らかな変化が生じる前に毛髪の変化の徴候を把握することができる。FPHLでは、FPHLの疾患メカニズムである毛周期の変化に影響を与える因子は複雑であるため、その過程は一様ではなく、寛解および悪化が起こりうる。本実施の形態のGP評価法を用いて、早期の段階で変化の徴候を検出することで、治療方針の決定が容易になり、主にearlyFPHLなどの脱毛症の治療を進めるのに役立つ。
本実施の形態に係る頭部画像の撮影を含むシステム全体の構成図。 頭髪画像と表面反射光の概要の第1の例を示す図。 頭髪画像と表面反射光について各部の詳細の第1の例を示す図。 本実施の形態の機能的構成を示す図。 頭髪画像と表面反射光の概要の第2の例を示す図。 頭髪画像と表面反射光について各部の詳細の第2の例を示す図。 頭髪画像と表面反射光について各部の詳細の第3の例を示す図。 頭髪画像と表面反射光の概要の第3の例を示す図。 頭髪画像と表面反射光について各部の詳細の第4の例を示す図。 頭髪画像と表面反射光について各部の詳細の第5の例を示す図。 GP毎のFPHL−SIの値を示すグラフ。
[概要]
本実施の形態では、GP撮影時の髪に発生するフラッシュ光/ストロボの表面反射光の変化に着目し、表面反射光の形状の違いにより、主にearly FPHLなどの早期の脱毛症を、細かく程度分類し程度評価、および治療効果の評価を行う。
発明者は、early FPHLの多彩なパターンが、毛径、毛の密度、毛の弾性などを素因として形成される3次元的な要素、すなわち厚みの変化によってもたらされている、と推測した。early FPHLの主体である髪のボリュームダウンは、3次元的な厚みの変化であるが、それをGPでの2次元で評価するには、地肌の露出度以外の新たな指標を要する。発明者はGP撮影時に、髪に発生するフラッシュ光の表面反射光の変化に着目し、フラッシュ光の反射パターンによる、主にearly FPHLなどの早期の脱毛症のGPを用いた程度評価法を考案した。
表面反射光とは、毛髪のキューティクル表面に光が当たって反射して輝いて見える光をさす。その光の帯の質は、その髪色やキューティクルの乱れによって変わってくるが、髪のボリュームによっても左右される。頭部全体を頭頂部方向から撮影すると、表面反射光は頭部各所におけて、髪の厚みが垂直方向に最も高い点を結んだ稜線上に出現する。
そこで、early FPHLから正常にかけてのボリュームの変化を、GPにおける表面反射光の特徴をもとに、5段階に分類した。頭部表面は正中から側方(耳部)にかけてカーブを描くが、その表面から角度を持って表出したそれぞれの髪は、伸長にしたがって、自重により湾曲し重なる。中央で分けた場合、髪の重なり程度と頭部のカーブによって、表面反射光のあたる位置が定まる。
[構成]
図1は、本実施の形態に係る頭部画像の撮影を含むシステム全体の構成図を示す。本評価システムは撮像部10と評価装置20を含むシステムである。撮像部10はフラッシュ光を照射するストロボを備える。撮像部10により、被験者Pの頭髪部Hを撮影する。撮像部10により撮影された画像は、評価装置20に取り込まれ、画像評価処理が行われる。評価装置20は、頭部画像を取得して評価する。
(撮像部10のハードウェア構成について)
撮像部10は、CCDやCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を有し、該撮像素子に結像した被写体の画像信号を生成し出力する。撮像部10で撮影された画像を表示部30に表示する。撮像部10は、例えばデジタルカメラであり、ユーザによるシャッタタイミングを指示する所定の操作に基づいて、当該ユーザを被写体として撮像して、その結果得られる撮像画像のデータを記録するまでの一連の処理を実行することができる。撮像部10によって撮像装置はデジタルカメラとして実現されるが、コンパクト型でも一眼レフ型でも、スマートフォン内蔵型でもいずれでもよい。
撮像部10は、光学レンズ部と、イメージセンサと、を備えている。光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部10の出力信号として出力される。このような撮像部10の出力信号が、撮像画像のデータである。
(本システムのハードウェア構成について)
撮像部10及び評価装置20は、CPU(Central Processing Unit)と,ROM(Read Only Memory)と,RAM(Random Access Memory)と,画像処理部と,メモリを備えている。CPU,ROM,RAM,画像処理部及びメモリは,バスを介して相互に接続されている。
CPUは,ROMに記録されているプログラム,又はメモリからRAMにロードされたプログラムに従って各種の処理を実行する。RAMには,CPUが各種の処理を実行する上において必要なデータ等も適宜記憶される。
画像処理部は,DSP(Digital Signal Processor)や,VRAM(Video Random Access Memory)等から構成されており,CPUと協働して,画像データに対して各種画像処理を施す。例えば、画像処理部は、撮像部10から出力される撮像画像のデータに対し、ノイズ低減、ホワイトバランスの調整、手ぶれ補正等の画像処理を施す。
メモリは,DRAMやキャッシュメモリ,磁気ディスク,光ディスク,光磁気ディスク,或いは半導体メモリ等何らかの記憶媒体が挙げられる。メモリは,バスにより接続されるもののみならず,ドライブを介して読み書きされるものも含まれる。本実施形態で記憶されたデータは,一時的記憶も不揮発性メモリによる長期記憶の場合も,このメモリにいったん記憶するものとして説明する。
評価装置20には入出力インターフェースが接続される。入出力インターフェースを介して,表示部,入力部,通信部が接続されている。入力部は,各種ボタンにより構成され,ユーザの指示操作を受け付ける。通信部は,インターネットを含むネットワークを介して他の装置との間で行う通信を制御する。
表示部30は表示画面を有し、画像処理部によって形成された画像または映像を表示し、再生するディスプレイ装置を有する。ディスプレイ装置は、モニタや液晶ディスプレイなどの各種ディスプレイ装置が想定される。本実施形態では、CPU等で画像表示すべき画像データを生成し、画像処理部を介して表示画面上に画像表示処理を行う。以降、単に「表示する」と説明をするときは、以上の機能を含めて表示処理を実行することを含む。
評価装置20は、以上の各構成を備えるが,機能的構成については後述する。各機能的構成は,CPU,ROM,RAM,画像処理部及びメモリの協働動作により機能的に実現される。これらの各部の機能は電子回路又はプログラムによって提供されるモジュール構成であり,プログラムについてはROMに格納され,CPUにより適宜読み出しながら各部と協働することで実行される。
(頭部画像と表面反射光について)
図2は、頭髪画像と表面反射光の概要の第1の例を示す。撮像部10によって撮影された頭部Hの画像の一例が頭部画像80となる。頭部画像80は、前頭部から頭頂部にかけて、表面反射光100が明確に頭髪の分け目110に平行に形成され、つむじ周囲ではUの字を呈している。この第1の例は、脱毛症が進行していない正常な状態を示し、これ以外の各例は、この第1の例の画像を基準として説明する。
図3は、頭髪画像と表面反射光について各部の詳細の第1の例を示す。図2に示した頭部画像80について、表面反射光100及び分け目110を含む各部についてさらに詳細に説明する。毛髪における表面反射光100は、毛髪に光が当たりキューティクルの表面で反射し輝く光をさす。以下、表面反射光100又は他のグレードにおける表面反射光は、表面反射光が形成された画像である反射画像の例であるが、説明のため画像としての説明を省略して説明する。分け目110は、頭髪を主に真ん中で分けることにより、地肌が現れた部分である。
表面反射光100及び分け目110は、頭部120の上に形成されている。分け目110は、頭部120の頂点部分である頭頂部140を通過し、頭部120の主に中央に形成されことが望ましいが、任意の分け目110および表面反射光100が、もれなく撮像部10で撮影できれば、分け目110は中央以外でもよい。つむじ130は、解剖学的なつむじと、任意の分け目110の最も後頭部側の端、の両方を含む。
図2の頭部画像80では、図3に抽象的に表現されるように表面反射光100が分け目110に概ね平行に形成されている。また、表面反射光は、十分な光の幅150を太さとして有している。光の幅150は、個人差にもよるので一定ではないが、概ね1〜2cm程度である。もちろん、表面反射光100は厳密に平行ではなく多少の左右のずれがありうるが、ずれ210が光の幅150の1つ分の範囲内に収まれば、図2及び図3に示されるグレード1に該当する。そしてこのグレード1が、上述のように、脱毛症が進行していない正常範囲内の状態を示す。なお、ずれ210は、図3に示すように、U字形の形状100の側方に変位する場合だけでなく、正中側に変位する場合もある。
本実施形態では、撮像部10により撮像した画像を以上のように解析して評価して、グレード判定を行う。解析評価処理については評価装置20で実行する。解析評価の結果として頭部画像80のグレード判定を行う。この評価装置20の機能的構成について説明する。
(評価装置20の機能的構成について)
図4は、本実施の形態に係る評価装置の機能的構成を示す。評価装置20は、取得部250、特定部260、区分部270を備える。取得部250は、被験者の頭髪部Hを含めた頭部全体と、頭髪の現れていない頭髪H周辺部を含めて撮影された頭部画像80を取得する。
特定部260は、頭部画像80内の表面反射光が形成された画像100から、前頭部からつむじ周囲にわたるU字型の表面反射光部分の形状を特定する。頭髪Hがおおむね黒か、その他カラーリングしている場合も含めて頭髪としての色をしているので、特定部260は、U字型の形状について、頭髪の色から区別される部分を抽出する。頭髪の色から区別される部分には、表面反射光100の他、分け目110も含まれるが、これらは色の相違があると共に、表面反射光100はU字状に、分け目110は直線状に形成されるので、これらの両者の特徴情報に着目してそれぞれ区別する。区別した結果として、特定部260は、表面反射光の画像100、そして特にU字型の形状を特定する。
区分部270は、U字型の形状100のずれの程度を画像処理により判定し、複数の段階280のいずれかに区分する。ずれの程度とは、正常範囲内の状態、すなわちグレード1に区分される表面反射光100の状態を基準として、どの程度ずれているかの程度である。この場合の画像処理では、例えば頭の形などから正常な状態の表面反射光画像を内部保存データから抽出して、マッチング状態及び画像のずれの状態を求め、グレード1の正常な状態に対して、どのようなずれ方をしているかを判定する。
図2及び図3では、U字型の形状100が正常なグレード1の場合について示したが、実際はこのような完全なU字型ではなく、脱毛症の症状が進むにつれて、このU字形状は徐々にずれを生じ、変形していく。そしてこのずれの程度、変形の度合いによって、グレード2〜5にそれぞれ区分していく。
ずれの度合いの基準についてはあらかじめ特徴量として持っておき、区分部270は特定部260によって特定された形状を画像処理によって特徴量を得て、持っておいた特徴量との比較によって、取得した頭部画像80がグレード1〜5のいずれに該当するかを判定し、区分する。特徴量の例として、U字型の形状100の座標値に基づくデータが挙げられる。一例として、U字型の形状100を構成する点のうち10の点を抽出し、この点座標を特徴量とする場合が考えられる。この特徴量としての点座標についての、症状が正常である場合との差分に基づいて判定、区分を行う場合が例として挙げられる。もちろん、この差分値を特徴量として取り扱ってもよい。ここで、グレード1〜5のいずれに区分するか、各区分の特徴と概要について説明する。
[グレード区分の概要]
上述の区分部270によって区分される複数の段階280とは、下記の5つの段階に分けたものである。この5つの段階について説明する。
・グレード1
髪にある一定以上の厚みがあり、かつその厚みに極端なばらつきがない場合、表面反射光100は一定の距離をもって、おおむね分け目110に平行に規則的に明確に出現し、つむじ130周囲でU字形に曲がる。表面反射光の側方または正中側へのずれ幅210は、表面反射光の帯幅150の1つ分未満である。既に説明したように、図2及び図3に示す通りである。
・グレード2
髪の太さ、密度の減少などの理由により、特定の部位の髪のボリュームが低下すると、その部分の髪の厚みのピークが、その周囲より低くなるため、表面反射光の形状もその変化にともない変形し、不規則に出現する。表面反射光の帯は明確で、分け目110とおおむね平行に出現し、つむじ130周囲でU字形に曲がるが、表面反射光の側方または正中側へのずれ幅210が、表面反射光の帯幅150の1つ分以上2つ分未満相当ある。
・グレード 3
特定の部位の髪のボリュームがグレード2よりさらに低下すると、もしくは髪のボリュームが低下する範囲がグレード2より広がった場合、分け目そのものの開大は目立たないものの、髪の厚みのピークが周囲よりさらに低くなるため、表面反射光の形状はその変化にともない変形し、分け目110に平行な状態から大きくずれて、出現する。表面反射光の帯は明確だが、分け目110に対して平行な状態から、表面反射光の帯幅150の2つ分以上、側方または正中側にずれる。
・グレード4
特定の部位の髪のボリュームがグレード3よりさらに低下した場合、もしくは髪のボリュームが低下する範囲がグレード3より広がった場合、髪の厚みが低下した部位では、分け目の開大は軽微ではあるが、表面反射光がはっきりしなくなり、表面反射光の連続性が明確ではなくなる。
表面反射光の帯が減弱して、頭部の前後方向220、もしくはつむじ周囲の曲線に、表面反射光の帯150の幅1つ分以上の不明瞭な部分または光の帯が途切れた部分が出現する。
・グレード 5
特定の部位の髪のボリュームがグレード4よりさらに低下すると、もしくは髪のボリュームが低下する範囲がグレード4より広がった場合、髪の厚みが低下した部位では、わずかに分け目の開大を認めはじめ、表面反射光の帯が、不明瞭でたどりにくい状態になる。表面反射光は、帯状ではなく、線状光の集合体を呈する。
グレード1〜5の概念について説明したので、ここでは、各グレードについて画像および図面を参照して具体的に説明する。図5は、頭髪画像と表面反射光の概要の第2の例を示す。図6は、頭髪画像と表面反射光について各部の詳細の第2の例を示す。
図5では、上述のグレード2及びグレード3について頭部画像80に対応する画像を示し、撮像部10によって撮影された頭部Hの画像である。左の頭部画像80Aはグレード2について、右の頭部画像80Bはグレード3を示す。グレード1では脱毛症が進行していない正常な状態であったのに対して、それぞれ、ある程度進んだ状態を画像で示している。グレード2及びグレード3は、U字型の形状が分け目に沿っての平行性に乱れが出現し始める初期段階において区分される。
頭部画像80Aは、頭頂部140の側からつむじ130の側にかけて、表面反射光が明確に形成されUの字を呈しており、抽象的に表現すると、表面反射光100A及び頭髪の分け目110が形成されている。頭部画像80BもUの字を呈しており、表面反射光100B及び頭髪の分け目110が形成されている。
頭部画像80A及び表面反射光100Aは、上述のグレード2に該当する。表面反射光は波状の形状で、前頭部に対してつむじ130周囲にかけて膨らみながらUの字を形成しているが、おおむね分け目110に平行な形状を維持している。
一方で頭部画像80B及び表面反射光100Bは、上述のグレード3に該当する。Uの字を形成する表面反射光は、つむじ130周囲に進むにつれて膨らんでおり、平行形状が維持できていない形となっている。
図6は、頭髪画像と表面反射光について各部の詳細の第2の例を示す。図5に示した頭部画像80A及び80Bについての各部についてさらに詳細に説明するものであり、図3に対応する。図3と異なるのは、光の照射により形成される表面反射光100の部分である。
図6では説明のため表面反射光100も重ねて表示している。頭部画像80Aとして示されるグレード2では、表面反射光100よりも、側方への変位310した表面反射光320が形成される。図5及び図6の例で、表面反射光320は一部ではある程度分け目に平行であるが、つむじ周囲130では図3で説明した光の幅150の1つ分以上、側方へ変位310している。このように、前頭部からつむじ周囲にかけての表面反射光が、分け目110に平行な形状から光の幅150の1つ分以上、側方310または正中側に変位した部分があった場合は、グレード2に分類される。側方310または正中側の変位が、光の幅150の1つ分未満の場合はグレード1に分類される。
さらに頭部画像80Bとして示されるグレード3では、表面反射光340は、表面反射光320に比べて、側方への変位330が、さらにすすむ。このように表面反射光が、分け目110に平行な形状から、図3で説明した光の幅150の2つ分以上、側方330または正中側に変位した状態がグレード3となる。
図5及び図6の例で、表面反射光340は前額部では一部平行を維持しながら、つむじ130周囲では分け目110に平行な形状から、光の幅150の2つ分以上側方に変位330している。このように、表面反射光において、分け目110に平行な形状から外側310または内側へ変位が、光の幅150の1つ分以上2つ分未満の場合はグレード2に、光の幅150の2つ分以上の場合はグレード3に分類される。
説明のため表面反射光320と表面反射光340を重ねて図示したが、グレード2では表面反射光320のみ、グレード3では表面反射光340のみしか現れない。そしてもちろん表面反射光100はいずれの場合も現れない。
図7は、頭髪画像と表面反射光について各部の詳細の第3の例を示す。図6では表面反射光100について、グレード2及びグレード3における、側方に変位する場合を図で示したが、グレード2及び3では、変位方向は側方310、330に限られず、図7に示すように、正中側350の方向に変位する場合も含まれる。
グレード3の側方330への変位については図6に示して説明したが、正中側350の方向に変位する場合を図7に示している。内側方向への変位350が生じた結果、表面反射光360が形成される。表面反射光360は、表面反射光340と同様に光の幅150の2つ分以上正中側に変位した状態を示す。
図8は、頭髪画像と表面反射光の概要の第3の例を示す。図9は、頭髪画像と表面反射光について各部の詳細の第4の例を示す。図8では、上述のグレード4及びグレード5について頭部画像80に対応し、撮像部10によって撮影された頭部Hの画像である。左の頭部画像80Cはグレード4について、右の頭部画像80Dはグレード5を示す。グレード4及びグレード5は、さらに髪の厚みが減弱し脱毛症の程度が進行した段階を画像で示しており、U字型の形状が不明瞭となり始める進行段階に区分される。
頭部画像80Cには、表面反射光100Cが形成されている。頭部画像80Dも同様に表面反射光100Dが形成されている。頭部画像80C及び表面反射光100Cは、上述のグレード4に該当する。一方で頭部画像80D及び表面反射光100Dは、上述のグレード5に該当する。
図9は、頭髪画像と表面反射光について各部の詳細の第4の例を示す。図8に示した頭部画像80Cについての各部についてさらに詳細に説明するものであり、図3に対応する。図3と異なるのは、表面反射光100の部分である。図9でも説明のため表面反射光100についても重ねて表示しているが、頭部画像80Cとして示されるグレード4では、表面反射光100、100A及び100Bと比較して、髪の厚みが減るため切れ目410が生ずる形状により、途切れ途切れの形状となる表面反射光420が形成される。
グレード4の特徴は、切れ目410が生ずる点であるが、グレード1〜3でも表面反射光に細かな途切れが生じえるが、それらは図3で頭部の前後方向の広がり220に対して、光の幅150の1つ分の範囲を超えることがなく、切れ目410が光の幅150の1つ分の範囲を超えた時点でグレード4に分類される。光の幅150は、表面反射光100について説明したが、表面反射光420を基準にしてもよく、幅としてはほぼ同様である。
図10は、頭髪画像と表面反射光について各部の詳細の第5の例を示す。図8に示した頭部画像80Dについての各部についてさらに詳細に説明するものであり、図3に対応する。図3と異なるのは、同様に表面反射光100の部分である。
頭部画像80Dとして示されるグレード5では、つむじに向かって、表面反射光100より正中側に変位し、表面反射光450として形成される。表面反射光450は、断続的で帯状ではなく線状に近い形状となる。グレード1〜4での表面反射光は、ある程度、面状で確認できるが、グレード5では線状となる。線状と面状の相違点として、例えば表面反射光450が、分け目110に対して平行220もしくは垂直210に表面反射光の幅150の半分以下になれば線状であり、半分以上の場合は面状となる。特に、表面反射光450が面として視認できず、ムカデの足のような飛び飛びの線の集合体になった状態がグレード5の典型的な状態である。
図9では、説明のため表面反射光100と表面反射光420を重ねて図示したが、グレード4では表面反射光420のみ現れる。図10では、説明のため表面反射光100と表面反射光450を重ねて図示したが、グレード5では表面反射光450のみしか現れない。
(GPを用いた本発明の区分とFPHL-SIの比較実験および実用性の検証実験)
区分部270は、以上の観点で分けられた5つの段階のいずれかに、撮影された頭髪の画像を区分することにより、患者の脱毛症の段階をearly FPHLの段階で、画像処理により判別する。ここで、画像の特徴に基づいて5つの段階に区分することが、患者の脱毛症の段階を判別するうえで適切かどうかについて、Female pattern hair loss-severity index (FPHL-SI)と比較することにより検証する。
また、この区分が患者においても理解がえられ、実用性があるかについて、頭髪の画像を区分と、経過評価に関するボランティアとの一致率により検証する。具体的には、前述の条件に従い区分した114名分の頭髪画像について、FPHL-SIを算出する。また、ボランティアに頭髪画像を前述の条件に従い区分してもらい、得られた結果の照合を行う。
実験結果により、GPを用いた本発明のグレード区分とFPHL-SIが概ね対応関係を示すことができれば、分部270の区分の結果により、概ね患者の脱毛症の段階を示すことになり、ボランティアの評価区分の一致率が高いほど、患者の理解が得られやすいことになる。
方法
2012年7月から2016年11月にBona Dea Clinicを初めて受診し、early FPHLと診断された女性の retrospective chart reviewを行った。early FPHLの診断は、病歴、身体検査所見、血液検査所見、スコープ画像、およびGPによって決定された。
GPに関しては、以下のように毎回同じ手順で写真を撮影した。患者はスタイリング剤をつけずに来院し、頭頂部とつむじが前面かつ中央になるように顔を上にして座った(図1)。頭部の全体写真は内蔵フラッシュカメラによって撮影された。この実験の対象とするearlyFPHL患者の基準は、以下の3つの条件の全てを満たす者であった。 6ヵ月以上の経過観察期間を有する、この研究に必要なすべてのデータを有する、ほぼ同じ背景の輝度を有するGPである。これらの条件を満たす者は114名であった。
上記114名の治療経過中に採取された全てのGPは、髪に発生した表面反射光の形状変化に基づいて前述の如く5段階に分類された。その後、対象者毎に最もグレード値の高いGPと最もグレードの低いGPを抽出された。次に、抽出された写真撮影時と近い時期のFPHL-SIを算出した。
FPHL−SIにおける評価項目は、hair shedding, midline hair density,毛径のばらつき, 毛包単位に含まれる1本毛の部位による差の4つであり、非特許文献4に示すとおりである。
1日あたり200本未満の脱毛、またはプルテストで陰性は0ポイントに、プルテストでは陽性は2ポイントになる。Midline hair densityに関しては、患者が過度の脱毛および毛量の損失を訴えるが、臨床的に明白な毛密度の低下を示さないSinclair Midline hair densityグレード1は0点になり、軽度であるが臨床的に明らかな脱毛であるグレード2は4点になる。トリコスコピーでは、毛直径のばらつきが0%未満の画像が0ポイントになり、20%以上が5ポイントになる。また、毛包単位に含まれる1本毛が、前額部と後頭部で差がない場合0点、差が25%以上では1点、50%以上で2点である。
各GPのFPHL-SIを算出した後、本発明のグレード別に、5つのグループに分け、各グループのFPHL-SIの平均値を計算した。そして本発明のグレードおよびFPHL-SI値との関連性を統計的に検討した。
前述の如く各患者から抽出した2枚の写真は、1枚のスライドのどちらかの側に
無作為に割り付けられた。本発明のグレード区分を説明された後、ボランティア3名(男性1名、女性2名)が114例(228枚)の各写真をグレード分けし、各写真のどちらの写真がより軽症にみえるかを判断した。それから、発明者とボランテイアらの間での、グレード評価と経過比較につき、一致率を解析した。
[結果]
1.GPの分布
228枚のGPのうち、グレード1が30枚、グレード2が64枚、グレード3が61枚、グレード4が50枚、グレード5が23枚であった。
2.本実施の形態で示したグレードとFPHL-SI値の関連性
グレード別のFPHL-SI値を、図11に示した(平均値および標準誤差)。本発明のグレードが高いグループの方が、FPHL-SIのインデックス値も高い傾向を示した。ただし、FPHL−SI値が正規分布ではなかったため、相関係数を用いた統計学的に関連性の有無の評価はできなかった。
FPHL-SIは、early FPHLを含むFPHL重症度の新しい評価方法としてHarrisらによって2016年に提案された。非特許文献4に示すこの重症度評価方法は、点数化によりFPHLの兆候が網羅しており、医師が患者の状態を客観的に評価できる。本実施例では、FPHL-SI値はGPグレードが増加するにつれて、増加する傾向がみられたが、統計的に有意な関連性を示さなかった(図11)。その理由は、本実施例での対象者のFPHL-SI値は、0〜11のいずれかを示したが、中でもほとんどが0や5で、正規分布を示さなかったからである。さらに、FPHL - SIはearly FPHLの評価に焦点を当てるのではなく、FPHLのすべてのグレードを数値として評価しているために生じた可能性がある。
3.ボランティアとの一致率
本発明のGP評価区分の一致率に関しては、2人以上のボランティアと著者の間で57%(131/228枚)の写真が一致し、1人のボランティアと著者の間で41%(93/228枚)の写真が一致し、2%(4/228枚)は一致しなかった (表1)。
経過比較の一致率に関しては、2人以上のボランティアと著者の間で97%(111/114例)の判定が一致し、1人のボランティアと1人の著者の間で2%(3/114件)の判定が一致し、1% (1/114 例) の判定は一致しなかった(表1:発明者とボランティア3名との評価の一致率)。
実施例のボランティアの実験より、本発明の5分類で、患者の理解しやすい治療経過の評価が可能かどうかを検討した結果、GPを見慣れていない者でも、経過を理解しやすい可能性が示唆された(表1)。
以上のように、表面反射光の形態による評価基準を設けることで、客観的な評価しにくいearly FPHLであっても、GPで治療経過を評価できる可能性を、本実施例で示した。GPによる5段階の区分を区分部270により提供することにより、短時間で簡易に早期の脱毛症の判断を進めることができる。
以上,本発明について実施例を用いて説明したが,本発明の技術的範囲は上記実施例に記載の範囲には限定されない。上記実施例に,多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが,特許請求の範囲の記載から明らかである。女性型脱毛症(FPHL)に限らず、その他の脱毛症の早期評価が可能なことは特許請求の範囲の記載から明らかである。
頭髪部H、被験者P、撮像部10、評価装置20、頭部画像80、表面反射光100、分け目110、頭部120、つむじ130、頭頂部140、光の幅150、取得部250、特定部260、区分部270、表面反射光320、表面反射光340、表面反射光420、表面反射光450

Claims (4)

  1. 被験者の頭髪部を撮影した頭部画像を取得する取得部と、
    前記頭部画像に含まれる、つむじ周囲においてU字型曲線の形状を呈し、前頭部および頭頂部において分け目にそって帯状に形成される表面反射光を特定する特定部と、
    前記前頭部又は前記頭頂部において前記表面反射光の形成される位置に応じて、頭髪のボリュームの変化を示す区分を特定する区分部と、
    を備える頭部画像評価装置。
  2. 前記特定部は、前記頭部画像のうち頭髪の色から区別され、かつ、所定の幅を有する帯状の部分を前記表面反射光として特定し、
    前記区分部は、前頭部、頭頂部及びつむじ周囲における前記表面反射光の所定の基準状態からのずれの程度に応じて前記区分を特定する
    請求項1に記載の頭部画像評価装置。
  3. 前記区分部は、正常段階、初期段階、進行段階のいずれかにそれぞれ区分し、
    前記正常段階は、前記表面反射光が前頭部および頭頂部では分け目から一定の間隔を保ちながら平行な形状を形成し、つむじ周囲では整ったU字型の形状を形成される場合に区分され、
    前記初期段階は、前記前頭部および頭頂部における平行な形状、および前記つむじ周囲における前記U字型の形状が変形する場合に区分され、
    前記進行段階は、前記前頭部および頭頂部における平行な形状、および前記つむじ周囲における前記U字型の表面反射光の形状が、一定範囲以上不明瞭になる場合に区分される、
    請求項1に記載の頭部画像評価装置。
  4. 前記区分部は、第1段階、第2段階、第3段階、第4段階、第5段階のいずれかにそれぞれ区分し、
    前記第1段階は、前記表面反射光が前頭部から頭頂部にかけて分け目に平行な形状を形成し、つむじ周囲では整ったU字型の形状で形成される場合に区分され、
    前記第2段階は、前記前頭部および頭頂部における平行な形状、および前記つむじ周囲における前記U字型の形状であるが、部分的に変位のある場合に区分され、
    前記第3段階は、表面反射光が、前記前頭部および頭頂部における平行な形状、および前記つむじ周囲で曲線の形状であるが、つむじ周囲における表面反射光の変位が更に顕著になった場合に区分され、
    前記第4段階は、前記つむじ周囲における表面反射光が部分的に不明瞭になった場合に区分され、
    前記第5段階は、前記つむじ周囲における表面反射光が全体的に不明瞭になった場合に区分される、
    請求項1に記載の頭部画像評価装置。
JP2017214403A 2017-11-07 2017-11-07 頭部画像評価装置 Active JP6582276B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017214403A JP6582276B2 (ja) 2017-11-07 2017-11-07 頭部画像評価装置
US16/626,567 US11468560B2 (en) 2017-11-07 2018-11-05 Head-image evaluation apparatus and head-image evaluation method
PCT/JP2018/040986 WO2019093266A1 (ja) 2017-11-07 2018-11-05 頭部画像評価装置及び頭部画像評価方法
CN201880043698.1A CN110831499B (zh) 2017-11-07 2018-11-05 头部图像评估装置和头部图像评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017214403A JP6582276B2 (ja) 2017-11-07 2017-11-07 頭部画像評価装置

Publications (2)

Publication Number Publication Date
JP2019084024A JP2019084024A (ja) 2019-06-06
JP6582276B2 true JP6582276B2 (ja) 2019-10-02

Family

ID=66438848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017214403A Active JP6582276B2 (ja) 2017-11-07 2017-11-07 頭部画像評価装置

Country Status (4)

Country Link
US (1) US11468560B2 (ja)
JP (1) JP6582276B2 (ja)
CN (1) CN110831499B (ja)
WO (1) WO2019093266A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102333120B1 (ko) * 2019-12-12 2021-11-30 한국전자기술연구원 자가 두피 진단 시스템 및 방법
WO2022118801A1 (ja) * 2020-12-03 2022-06-09 株式会社資生堂 毛髪評価方法、プログラム、コンピュータ、および毛髪評価システム
CN118380102B (zh) * 2024-06-24 2024-09-06 青岛山大齐鲁医院(山东大学齐鲁医院(青岛)) 一种基于多端交互的头皮冷疗处理方法及设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4807163A (en) * 1985-07-30 1989-02-21 Gibbons Robert D Method and apparatus for digital analysis of multiple component visible fields
JPH0491017A (ja) * 1990-08-07 1992-03-24 Kanebo Ltd 脱毛度の測定方法
JP2891759B2 (ja) * 1990-08-27 1999-05-17 ポーラ化成工業株式会社 艶評価方法及び装置
JP4532781B2 (ja) * 2001-06-12 2010-08-25 株式会社資生堂 薄毛部面積評価方法およびそのシステムならびに薄毛部位置決め板
EP1653219A1 (en) * 2004-10-26 2006-05-03 The Procter & Gamble Company Method and apparatus for examining human hairs
US7980254B2 (en) * 2005-04-06 2011-07-19 Deirdrejulia, Inc. Thin hair holder and enhancer and method therefor
WO2007123954A1 (en) * 2006-04-19 2007-11-01 J.A. Alternatives Hair replacement for women
US7477782B2 (en) * 2006-08-25 2009-01-13 Restoration Robotics, Inc. System and method for classifying follicular units
US7508508B2 (en) * 2006-09-19 2009-03-24 Seethrough Ltd. Device and method for inspecting a hair sample
EP2106749B1 (en) * 2007-01-30 2013-06-05 Kao Corporation Hair evaluation method and system
JP5085344B2 (ja) * 2008-01-15 2012-11-28 株式会社 資生堂 評価装置、評価方法、評価プログラム、及び該プログラムが記録された記録媒体
JP2010179004A (ja) * 2009-02-06 2010-08-19 Takara Belmont Co Ltd 毛髪診断システム
JP2011000357A (ja) * 2009-06-22 2011-01-06 Shigeki Kobayashi 頭顔部表面微小領域の繰り返し定位による撮像と毛髪計数の方法
JP5812719B2 (ja) * 2011-06-27 2015-11-17 健太郎 正木 頭髪撮影画像のデータ処理方法およびデータ比較方法
WO2014088074A1 (ja) * 2012-12-06 2014-06-12 旭化成株式会社 非水系リチウム型蓄電素子
TWI680747B (zh) * 2014-11-12 2020-01-01 日商新力股份有限公司 資訊處理裝置、資訊處理方法及資訊處理程式
US10013642B2 (en) * 2015-07-30 2018-07-03 Restoration Robotics, Inc. Systems and methods for hair loss management
KR102406640B1 (ko) * 2015-09-30 2022-06-08 (주)아모레퍼시픽 두피와 모발의 노화지수 산출방법

Also Published As

Publication number Publication date
JP2019084024A (ja) 2019-06-06
WO2019093266A1 (ja) 2019-05-16
US20200143535A1 (en) 2020-05-07
CN110831499A (zh) 2020-02-21
CN110831499B (zh) 2022-06-28
US11468560B2 (en) 2022-10-11

Similar Documents

Publication Publication Date Title
Zhang et al. Automatic cataract detection and grading using deep convolutional neural network
Zhang et al. Detection of microaneurysms using multi-scale correlation coefficients
JP6582276B2 (ja) 頭部画像評価装置
US10143377B2 (en) Single channel imaging measurement of dynamic changes in heart or respiration rate
EP3118811B1 (en) Detecting device, detecting method, and recording medium
JP2004321793A (ja) 皮膚画像のコンピュータ解析のための方法およびシステム
US8861863B2 (en) Method and system for analyzing lip conditions using digital images
Min et al. Development and evaluation of an automatic acne lesion detection program using digital image processing
Beerens et al. White spot lesions after orthodontic treatment assessed by clinical photographs and by quantitative light-induced fluorescence imaging; a retrospective study
EP3219251A1 (en) Organ image capture device and program
JP6115263B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
Shah et al. Algorithm mediated early detection of oral cancer from image analysis
Baldasso et al. Morphologic alterations ear, nose and lip detected with aging through facial photoanthropometric analysis
Huang et al. Validity of a new comprehensive pterygia grading scale for use in clinical research and clinical trial
Hyttinen et al. Computational Filters for Dental and Oral Lesion Visualization in Spectral Images
KR100926769B1 (ko) 혀 영상을 이용한 후태 박태 판별 방법
US11538157B1 (en) Imaging system and method for assessing wounds
US20120093389A1 (en) Temporal oximeter
JP2016151584A (ja) 器官画像撮影装置
JP2016150024A (ja) 器官画像撮影装置
US10015461B2 (en) Diagnosis support apparatus for lesion, image processing method in the same apparatus, and medium storing program associated with the same method
AU2015275264B2 (en) Diagnosis support apparatus for lesion, image processing method in the same apparatus, and medium storing program associated with the same method
JP2005094185A (ja) 画像処理システム、画像処理装置、および撮像制御方法
Raman et al. The effects of spatial resolution on an automated diabetic retinopathy screening system's performance in detecting microaneurysms for diabetic retinopathy
JP2016193175A (ja) 顔の見た目印象の決定部位の抽出方法、顔の見た目印象の決定因子の抽出方法、顔の見た目印象の鑑別方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181122

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190130

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190807

R150 Certificate of patent or registration of utility model

Ref document number: 6582276

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R154 Certificate of patent or utility model (reissue)

Free format text: JAPANESE INTERMEDIATE CODE: R154

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250