JP7235381B2 - 妊娠第１三半期の超音波イメージ分析方法および装置 - Google Patents

妊娠第１三半期の超音波イメージ分析方法および装置 Download PDF

Info

Publication number
JP7235381B2
JP7235381B2 JP2021559913A JP2021559913A JP7235381B2 JP 7235381 B2 JP7235381 B2 JP 7235381B2 JP 2021559913 A JP2021559913 A JP 2021559913A JP 2021559913 A JP2021559913 A JP 2021559913A JP 7235381 B2 JP7235381 B2 JP 7235381B2
Authority
JP
Japan
Prior art keywords
group
ultrasound image
ultrasound
trimester
yolk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021559913A
Other languages
English (en)
Other versions
JP2022528436A (ja
Inventor
チョン ジャイ キム，
ウン ナ キム，
ジュン ヤプ リー，
ド ヨン ファン，
キ チュル キム，
ジニョン マ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
T3Q CO Ltd
Original Assignee
T3Q CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by T3Q CO Ltd filed Critical T3Q CO Ltd
Publication of JP2022528436A publication Critical patent/JP2022528436A/ja
Application granted granted Critical
Publication of JP7235381B2 publication Critical patent/JP7235381B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pregnancy & Childbirth (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

[1]本発明は、妊娠第１三半期に得られる超音波イメージを分析する方法及び装置に関するものである。
[2]最近、初婚年齢の増加により、高齢妊娠によるハイリスク分娩が増加している。統計的数値によれば、１９９４年を基準にして、女性の初婚年齢は２５．１歳であったことに対し、２０１５年を基準にしては、女性の初婚年齢は３０．０歳に増加し、３５歳以上の高齢産婦も増加した。高齢の産婦、例えば、４０代以上の産婦は流産率が５０％に達する程であり、出産時のリスクが高くなる。
[3]高危険産婦の場合、妊娠状態に対する周期的かつ持続的な管理が必要である。しかしながら、産婦の場合、一般的な患者に使用される機器、例えば磁気共鳴画像装置のような装置は産婦の下大静脈を押すか、磁場に胎児が露出される恐れがあるのでその使用に制限が伴う。これにより、産婦及び胎児の安全性を保障すると共に、妊娠の経過を追跡及び管理するために超音波装置が広く用いられている。
[4]一方、超音波装置により得られる超音波イメージは、熟練した産婦人科専門医ではない場合は流産の危険性などの診断が難しく、高危険産婦の妊娠経過の判断に積極的に活用されていない実情である。これに伴い、熟練した専門医でなくても超音波イメージを妊娠経過の判断に活用できる技術が求められる。
韓国登録特許 第１０－１０９７６４５号（２０１１年１２月１５日登録）
[7]本発明が解決しようとする課題は、妊娠第１三半期の超音波イメージを分析して妊娠状態に対するより正確な情報を提供するものである。
[8]但し、本発明が解決しようとする課題は、前述したものに限定するものではなく、言及されてはいないが、下記の記載から本発明の属する技術分野における通常の知識を有する者が明確に理解できる目的を含むことができる。
[9]本発明の一実施形態による妊娠第１三半期の超音波イメージ分析方法は、妊娠第１三半期の超音波イメージを得るステップと、得られた前記超音波イメージに係る子宮、胎児、胎盤、胎嚢、及び卵黄の特徴の少なくとも一つの特徴を得、前記得られた特徴及び前記超音波イメージに基づいて機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）技法により学習された超音波イメージ分析装置を用いて、既指定された複数のグループの前記得られた超音波イメージが属するグループを決定するステップと、を含むことができる。
[10]また、前記子宮の特徴は、子宮のテクスチャ（ｔｅｘｔｕｒｅ）、子宮の密度、子宮の形態を含み、前記胎児の特徴は、胎児のテクスチャ、胎児の密度、胎児の大きさ、胎児の形態を含み、前記胎盤の特徴は、胎盤のテクスチャ、胎盤の密度、胎盤の大きさ、胎盤の形態、胎盤内の嚢胞性の変化を含み、前記胎嚢の特徴は、胎嚢の数、胎嚢のテクスチャ、胎嚢の密度、胎嚢の大きさ、胎嚢の形態を含み、前記卵黄の特徴は、卵黄のテクスチャ、卵黄の密度、卵黄の大きさ、卵黄の形態を含むことができる。
[11]なお、前記超音波イメージ分析装置は、学習データベースに既貯蔵された複数の妊娠第１三半期の超音波イメージに対し、前記少なくとも一つの特徴により前記複数の妊娠第１三半期の超音波イメージの各々が前記既指定された複数のグループの少なくとも一つに含まれるように指定することができる。
[12]また、前記超音波イメージ分析装置を前記機械学習技法により学習させることは前記超音波イメージ分析装置を機械学習技法により学習する過程で、前記学習データベースに既貯蔵された複数の妊娠第１三半期の超音波イメージが前記少なくとも一つの特徴に基づいて複数のグループでクラスタリング（ｃｌｕｓｔｅｒｉｎｇ）することと、各クラスタリングされたグループに対して前記既指定された複数のグループと連結させるステップと、を含むことができる。
[13]また、前記既指定された複数のグループは、多胎児グループ、胞状奇胎（ｍｏｌａｒ ｐｒｅｇｎａｎｃｙ）グループ、胎児遺伝子危険グループ、胎児成長制限グループ、流産危険グループ、脱落膜異常グループ、絨毛異常グループ、正常グループの少なくとも二つを含むことができる。
[14]前記超音波イメージ及び得られた前記超音波イメージに係る子宮、胎児、胎盤、胎嚢、及び卵黄の特徴の少なくとも一つの特徴は外部の超音波獲得装置から受信されることができる。
[15]前記超音波イメージは外部の超音波獲得装置から受信され、得られた前記超音波イメージに係る子宮、胎児、胎盤、胎嚢、及び卵黄の特徴の少なくとも一つの特徴は前記超音波イメージ分析装置により前記超音波イメージから抽出されることができる。
[16]本発明の一実施形態による妊娠第１三半期の超音波イメージ分析装置は、妊娠第１三半期の超音波イメージを得るイメージ獲得部と、得られた前記超音波イメージに係る子宮、胎児、胎盤、胎嚢、及び卵黄の特徴の少なくとも一つの特徴を得、前記得られた特徴及び前記得られた超音波イメージに基づいて機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）技法により学習し、これに基づいて既指定された複数のグループのうち前記得られた超音波イメージが属するグループを決定するグループ決定部と、を含むことができる。
[17]本発明の実施形態による妊娠第１三半期の超音波イメージ分析方法及び装置は、妊娠第１三半期の超音波イメージを分析して妊娠状態に対するより正確な情報を提供することにより、妊娠第１三半期、つまり、妊娠初期に妊娠の危険性に対するより正確な追跡及び管理が可能にすることができる。
[18]ただし、本発明から得られる効果は前述した効果に限らず、言及しなかったまた他の効果は下記の記載により、本開示の属する技術分野における通常の知識を有する者が明確に理解することができる。
[19]本発明の一実施形態による妊娠第１三半期の超音波イメージを得る実施形態と得られた超音波イメージを概念的に示す。 [19]本発明の一実施形態による妊娠第１三半期の超音波イメージを得る実施形態と得られた超音波イメージを概念的に示す。 [20]本発明の一実施形態による妊娠第１三半期の超音波イメージの例を示す。 [20]本発明の一実施形態による妊娠第１三半期の超音波イメージの例を示す。 [21]本発明の一実施形態による妊娠第第１三半期の超音波イメージ分析方法を概念的に示す。 [22]本発明の一実施形態による妊娠第１三半期の超音波イメージ分析装置の機能ブロック図を示す。 [23]本発明の一実施形態による妊娠第１三半期の超音波イメージ分析方法の順序図を示す。
[24]本発明の利点、特徴、及びそれらを達成する方法は、添付される図と共に詳細に後述されている実施形態を参照すると明確になる。しかし、本発明は、下記で開示される実施形態に限定されるものではなく、多様な形態で具現されることができ、単に本実施形態は本発明の開示を完全にし、本発明の属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明の範疇は請求項により定義されるだけである。
[25]本発明の実施形態を説明するにあたり、公知の機能または構成に対する具体的な説明は、本発明の実施形態を説明するに当たって実際に必要な場合の外には省略される。また、後述する用語は、本発明の実施形態における機能を考慮して定義された用語であって、これはユーザ、運用者の意図または慣例などによって異なり得る。従って、その定義は、本明細書全般にわたる内容に基づいて下されるべきである。
[26]本発明は、多様な変更を加えることができ、多様な実施形態を含むことができるところ、特定の実施形態を図に例示し、詳細な説明にて説明しようとする。しかし、これは、本発明を特定した実施形態について限定するものではなく、本発明の思想及び技術範囲に含まれるあらゆる変更、均等物ないし代替物を含むものとして理解されるべきである。
[27]第１、第２等のように序数を含む用語は多様な構成要素を説明するに使用できるものの、当該構成要素はこのような用語により限定されるものではない。これらの用語は、一つの構成要素を他の構成要素から区別する目的としてのみ使用される。
[28]図１Ａ及び図１Ｂは、本発明の一実施形態による妊娠第１三半期の超音波イメージを得る実施形態と得られた超音波イメージを概念的に示す。より具体的に、図１Ａは妊娠第１三半期の超音波イメージ獲得方法を示し、図１Ｂは前記実施により得られた妊娠第１三半期の超音波イメージを示す。
[29]図１Ａによれば、超音波装置は産婦の人体内に挿入されることに基づき、子宮および子宮内の胎児、胎盤、胎嚢、卵黄等のような構成が現れる超音波イメージを得ることができる。一方、超音波装置は非浸襲的な方法であって胎児と産婦の子宮に関する情報を得ることができるため、妊娠第１三半期の妊娠状態を診断するために用いられることができる。
[30]以下、本明細書上の超音波イメージは妊娠第１三半期の産婦から得られた妊娠第１三半期の超音波イメージを意味することができる。
[31]図１Ｂは図１Ａと同法により得られる超音波イメージを示す。図１Ｂに示されているように、超音波イメージには子宮（１）が含まれることができ、子宮（１）には胎児（２）、胎盤（１０）、胎嚢（２０）、卵黄（３０）が含まれることができる。これにより、超音波イメージを用いて胎児（２）、胎盤（１０）、胎嚢（２０）、卵黄（３０）の特徴を判別することができる。
[32]より具体的に、子宮（１）内には胎児（２）、胎盤（１０）、胎嚢（２０）、卵黄（３０）が含まれることができる。胎児（２）は卵黄（３０）の一部、例えば環状の卵黄のうち、その一部が欠失したように現われる部分、または卵黄が指輪の環状を有すると仮定すれば、指輪についてあるダイアモンド状が胎児に該当することができる。胎盤（１０）と胎嚢（２０）は隣接し得、胎嚢（２０）の内部に環状の卵黄（３０）が含まれることができる。
[33]前述のごとく、超音波イメージ内には胎児（２）、胎盤（１０）、胎嚢（２０）、卵黄（３０）のイメージが含まれているが、妊娠経過若しくは流産の危険度によって各構成が示す特徴が変化することができる。
[34]一方、胎児（２）の特徴は、例えば、胎児（２）のテクスチャ、胎児（２）の密度、胎児（２）の大きさ、胎児（２）の形態を含むことができ、胎盤（１０）の特徴は、例えば、胎盤（１０）のテクスチャ、胎盤（１０）の密度、胎盤（１０）の大きさ、胎盤（１０）の形態、胎盤内の嚢胞性の変化を含むことができ、胎嚢（２０）の特徴は、例えば、胎嚢（２０）の数、胎嚢（２０）のテクスチャ、胎嚢（２０）の密度、胎嚢（２０）の大きさ、胎嚢（２０）の形態を含むことができる。卵黄（３０）の特徴は、卵黄（３０）のテクスチャ、卵黄（３０）の密度、卵黄（３０）の大きさ、卵黄（３０）の形態を含むことができる。
[35]図２Ａ及び図２Ｂは、本発明の一実施形態による妊娠第１三半期の超音波イメージの例を示す。具体的に、図２Ａ及び図２Ｂは流産の危険性が存在する特徴が現れる超音波イメージと正常な特徴が現れる超音波イメージとの例を示す。
[36]図２Ａは、流産の危険性が存在する特徴が現われる産婦グループの超音波イメージを示し、図２Ｂは、流産の危険性が存在しない、即ち、正常な状態の産婦グループの超音波イメージを示す。
[37]図２Ａを参照すると、流産の危険性が存在する産婦グループの超音波イメージは、流産の危険性の原因によって異に現れることができる。例えば、胞状奇胎（ｍｏｌａｒ ｐｒｅｇｎａｎｃｙ）により絨毛が急増（ｐｒｏｌｉｆｅｒａｔｉｏｎ）して流産の危険性がある場合、胎盤（１０）の密度が所定値以上に高く現れることができる。また、絨毛の異常により流産の危険性がある場合、胎盤（１０）の形態が所定値以上の厚さを有するように現われることができる。
[38]場合によって、脱落膜に異常が生じて流産の危険性がある場合、図２Ａの第一の超音波イメージに示すように、超音波イメージ内の子宮（１）部分に孔（１５）が含まれることができる。
[39]一方、図２Ｂによると、流産の危険性が存在しない産婦グループの超音波イメージ内の胎盤（１０）は、所定値未満の厚さを有し、またその形態が均一に現れることができる。
[40]流産の原因となる具体的な原因によって超音波イメージに含まれる構成（例：子宮（１）、胎盤（１０）、胎嚢（２０）、卵黄（３０））の特徴が異に現れることができる。
[41]前述のごとく、流産の危険性が存在する（又は流産の確率が所定値以上である）産婦グループの超音波イメージに含まれている構成の特徴は、流産の危険性のない（又は流産の確率が所定値未満である）産婦グループの超音波イメージに含まれている構成の特徴と異なることができる。また、このような特徴による原因も異なることができる。
[42]一方、図２Ａ及び図２Ｂを通じて説明した遺産の危険性可否による超音波イメージの構成の特徴は、前述した内容に限られない。
[43]図３は、本発明の一実施形態による妊娠第１三半期の超音波イメージ分析方法を概念的に示す。具体的に、図３は、妊娠第１三半期の超音波イメージを得た後、機械学習アルゴリズムを用いて分析する方法を示す。
[44]図３を参照すると、妊娠第１三半期に対する複数の超音波イメージ（４０）が得られる。複数の超音波イメージ（４０）は外部の超音波装置により得られて伝達されるか、超音波イメージ分析装置が超音波装置を含むように構成されて直接得ることもできるが、獲得方法はこれに限られない。
[45]また、得られた超音波イメージに係る子宮、胎児、胎盤、胎嚢、及び卵黄の特徴の少なくとも一つの特徴を外部の超音波獲得装置から受信することができる。
[46]また、超音波イメージを外部の超音波獲得装置から受信し、得られた超音波イメージに係る子宮、胎児、胎盤、胎嚢、及び卵黄の特徴の少なくとも一つの特徴を得られた超音波イメージから抽出することができる。
[47]複数の超音波イメージ（４０）は流産の危険性のある産婦グループに対する超音波イメージを含むことができる。場合によっては、複数の超音波イメージ（４０）には正常な産婦グループの超音波イメージをさらに含むこともできる。
[48]超音波イメージ（４０）には前記の図１Ａ及び図１Ｂ、または図２Ａ及び図２Ｂを通じて前述したように、子宮（１）、胎児（２）、胎盤（１０）、胎嚢（２０）、卵黄（３０）の特徴の少なくとも一つが現れることができ、このような特徴は流産の危険性を現すか、それに係る特徴であり得る。
[49]例えば、流産の危険性を有する超音波イメージの胎盤（１０）の厚さは所定値以上で現れることができる。一方、超音波イメージ（４０）に流産の危険性を有さない産婦グループの超音波イメージが含まれている場合、このような超音波イメージに現れる胎盤（１０）の厚さは所定値未満であり得る。
[50]複数の超音波イメージ（４０）は、機械学習アルゴリズム（５０）により分析され、特徴別にクラスタリングされることができる。
[51]機械学習アルゴリズム（５０）は、多様な超音波イメージを用いて特徴によって超音波イメージを分類するように既学習されたアルゴリズムであり得る。超音波イメージを分類する特徴は、例えば、子宮の超音波テクスチャ（ｔｅｘｔｕｒｅ）（または質感）、子宮の密度、子宮の形態、胎児の超音波テクスチャ、胎児の密度、胎児の大きさ、胎児の形態、胎盤の超音波テクスチャ、胎盤の密度、胎盤の大きさ、胎盤の形態、胎盤内の嚢胞性の変化、胎嚢の数、胎嚢の超音波テクスチャ、胎嚢の密度、胎嚢の大きさ、胎嚢の形態、卵黄の超音波テクスチャ、卵黄の密度、卵黄の大きさ、卵黄の形態を含むことができる。
[52]機械学習アルゴリズム（５０）は指導学習または非指導学習によって学習されたものであり得る。例えば、機械学習アルゴリズム（５０）は、データベースに既貯蔵された複数の超音波イメージに対し、少なくとも一つの特徴によって複数の超音波イメージの各々が既指定されたグループの少なくとも一つに含まれるように指定することで学習されたものであり得る。
[53]他の例として、機械学習アルゴリズム（５０）は、データベースに既貯蔵された複数の超音波イメージに対し、既貯蔵された複数の超音波イメージが少なくとも一つの特徴別にクラスタリングされるように学習されたものであり得る。
[54]場合によって、機械学習アルゴリズム（５０）は、超音波イメージの外にも既貯蔵された多様な情報を用いて超音波イメージのクラスタリングをより精巧に区分するように学習されることができる。既貯蔵された多様な情報は超音波イメージ別の産婦（または胎児）に関する情報であって、例えば、産婦の年齢、最終月経周期（ＬＭＰ）、ＨＣＧ（ｈｕｍａｎ ｃｈｏｒｉｏｎｉｃ ｇｏｎａｄｏｔｒｏｐｉｎ）レベルを含むことができる。
[55]機械学習アルゴリズム（５０）によりクラスタリングされることにより、複数の超音波イメージ（４０）は少なくとも二つのグループで区分されることができる。少なくとも二つのグループは、第一のグループ（６０）、第二のグループ（７０）、第三のグループ（８０）を含むことができる。
[56]少なくとも二つのグループは、胎児の状態または妊娠の状態によって区分されたグループを含むことができる。例えば、第一のグループ（６０）は正常な状態の超音波イメージで構成されるグループであり、第二のグループ（７０）は胎児遺伝子危険グループ、第三のグループ（８０）は胎児成長制限グループであり得る。
[57]場合によって、特徴別に区分された各々のグループは遺産の具体的な原因によって分類されることもできる。例えば、第一のグループ（６０）は胞状奇胎グループ、第二のグループ（７０）は脱落膜異常グループ、第三のグループ（８０）は絨毛異常グループであり得る。
[58]但し、少なくとも一つのグループに対する具体的な例示は、前述した例に限らず、子宮（１）、胎児（２）、胎盤（１０）、胎嚢（２０）、及び卵黄（３０）の特徴の少なくとも一つに基づいて区分される多様な状態を示すグループを含むことができる。
[59]図４は、本発明の一実施形態による妊娠第１三半期の超音波イメージ分析装置の機能ブロック図を示す。以下で使用される「…部」などの用語は、少なくとも一つの機能や動作を処理する単位を意味し、これはハードウェアやソフトウェア、又は、ハードウェアおよびソフトウェアの結合により具現されることができる。
[60]図４を参照すると、超音波イメージ分析装置（１００）は、イメージ獲得部（１１０）、グループ決定部（１２０）を含むことができる。イメージ獲得部（１１０）は、マイクロプロセッサを含む演算装置により具現されることができ、これは後述するパラメータグループ決定部（１２０）においても同様である。
[61]イメージ獲得部（１１０）は、妊娠第１三半期の超音波イメージを得ることができる。イメージ獲得部（１１０）は超音波イメージを直接得ることもでき、他の装置から伝達されて得ることもできる。
[62]また、超音波イメージ分析装置（１００）はイメージ獲得部（１１０）が得た超音波イメージに係る子宮、胎児、胎盤、胎嚢、及び卵黄の特徴の少なくとも一つの特徴を外部の超音波獲得装置から受信することができる。
[63]また、超音波イメージ分析装置（１００）は超音波イメージを外部の超音波獲得装置から受信し、得られた超音波イメージに係る子宮、胎児、胎盤、胎嚢、及び卵黄の特徴の少なくとも一つの特徴を得られた超音波イメージから抽出することができる。
[64]グループ決定部（１２０）は、既指定された複数のグループの超音波イメージが属するグループを決定することができる。より具体的に、グループ決定部（１２０）は、子宮（１）、胎児（２）、胎盤（１０）、胎嚢（２０）、及び卵黄（３０）の特徴の少なくとも一つに基づいて学習された機械学習アルゴリズム（５０）を用いて、超音波イメージが属するグループを決定することができる。
[65]機械学習アルゴリズム（５０）は、既貯蔵された複数の超音波イメージを用いて超音波イメージを特徴によってクラスタリングするように学習されたものであり得る。例えば、機械学習アルゴリズム（５０）は、データベースに既貯蔵された複数の超音波イメージに対し、少なくとも一つの特徴により複数の妊娠第１三半期の超音波イメージの各々が既指定されたグループの少なくとも一つに含まれるように指定することで学習されたものであり得る。
[66]また、機械学習アルゴリズム（５０）は、データベースに既貯蔵された複数の超音波イメージに対し、既貯蔵された複数の超音波イメージが少なくとも一つの特徴別にクラスタリングされるように学習されたものであり得る。これにより、新たな超音波イメージが得られて機械学習アルゴリズム（５０）に入力されると、クラスタリングにより生成されたグループのいずれか一つに超音波イメージが分類されることができる。ところが、場合によって、得られた超音波イメージが既指定された複数のグループのうち二つ以上に属し得ることは勿論である。
[67]一方、既指定された複数のグループは、機械学習アルゴリズム（５０）のクラスタリングにより生成されたグループであり得る。例えば、既指定された複数のグループは多胎児グループ、胞状奇胎（ｍｏｌａｒ ｐｒｅｇｎａｎｃｙ）グループ、胎児遺伝子危険グループ、胎児成長制限グループ、流産危険グループ、脱落膜異常グループ、絨毛異常グループの少なくとも二つを含むことができる。
[68]また、場合によって、グループ決定部（１２０）は、超音波イメージのグループ別の類似度を分析してこれに対する情報を提供することができる。類似度に関する情報は多様な方式で提供できる。例えば、類似度に関する情報は、グラフ、数字の形態で提供されることができる。また、機械学習アルゴリズム（５０）は、子宮（１）、胎児（２）、胎盤（１０）、胎嚢（２０）及び卵黄（３０）の特徴に基づいて超音波イメージに対し、既指定された複数のグループに係る類似度を推定するように学習されたものであり得る。
[69]図５は、本発明の一実施形態による妊娠第１三半期の超音波イメージ分析方法の各ステップの流れを示す。また、図５に示された方法の各ステップは、場合によって図に示されているものとその順序を異にして行われ得ることは勿論である。以下、図５では、図４と重なる内容が省略されることができる。
[70]図５を参照すると、イメージ獲得部（１１０）は妊娠第１三半期の超音波イメージを得ることができる（Ｓ１１０）。妊娠第１三半期の超音波イメージには子宮（１）、胎児（２）、胎盤（１０）、胎嚢（２０）、卵黄（３０）が現れることができるが、これは妊娠の状態、例えば、遺産の危険性があるか否かによってその特徴がそれぞれ異に現れることができる。
[71]グループ決定部（１２０）は、機械学習アルゴリズム（５０）を用いて、超音波イメージが属するグループを決定することができる（Ｓ１２０）。
[72]機械学習アルゴリズム（５０）は、データベースに既貯蔵された複数の妊娠第１三半期の超音波イメージに対し、超音波イメージに含まれている子宮（１）、胎児（２）、胎盤（１０）、胎嚢（２０）、卵黄（３０）のいずれか一つの特徴によって複数の妊娠第１三半期の超音波イメージの各々が既指定されたグループの少なくとも一つに含まれるよう指定することで学習されたものであり得る。これにより、グループ決定部（１２０）は、機械学習アルゴリズム（５０）を用いて、既指定されたグループのうちイメージ獲得部（１１０）により得られた超音波イメージが既指定された複数のグループの少なくとも一つのグループに属するように決定することができる。
[73]機械学習アルゴリズム（５０）は、データベースに既貯蔵された複数の妊娠第１三半期の超音波イメージに対し、超音波イメージに含まれている子宮（１）、胎児（２）、胎盤（１０）、胎嚢（２０）、卵黄（３０）のいずれか一つの特徴に基づいて既貯蔵された複数の妊娠第１三半期の超音波イメージをクラスタリングするように学習されたものであり得る。このような場合、グループ決定部（１２０）は、各クラスタリングされたグループに対して既指定されたグループと連結させることができ、機械学習アルゴリズム（５０）を用いて、クラスタリングにより生成されるグループの少なくとも一つに超音波イメージが属するように決定することができる。
[74]本発明の一実施形態による超音波イメージ分析装置（１００）によれば、妊娠状態の追跡が困難である妊娠第１三半期の超音波イメージを子宮、胎児、胎盤、胎嚢、卵黄の特徴の少なくとも一つに基づいて分析することにより、妊娠第１三半期から妊娠状態の診断が行われるようにすることができる。
[75]本発明の一実施形態による超音波イメージ分析装置（１００）は、機械学習アルゴリズムを用いて妊娠第１三半期の超音波イメージを自動分析することで、より迅速かつ正確に妊娠状態に関する情報を提供することができる。
[76]本明細書に添付されたブロック図の各ブロックと流れ図の各ステップとの組み合わせは、コンピュータプログラムインストラクションにより行われることもできる。これらのコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータ又はその他のプログラム可能なデータプロセッシング装備のプロセッサに載置できるため、コンピュータ又はその他のプログラム可能なデータプロセッシング装備のプロセッサを通じて行われるそのインストラクションが、ブロック図の各ブロック又は流れ図の各ステップで説明された機能を行う手段を生成することになる。これらのコンピュータプログラムインストラクションは、特定の方式で機能を具現するために、コンピュータ又はその他のプログラム可能なデータプロセッシング装備を目指すコンピュータ利用可能又はコンピュータ読取可能なメモリに格納されることも可能であるので、そのコンピュータ利用可能又はコンピュータ読取可能なメモリに格納されたインストラクションは、ブロック図の各ブロック又は流れ図の各ステップで説明された機能を行うインストラクション手段を内包する製造品目を生産することも可能である。コンピュータプログラムインストラクションは、コンピュータ又はその他のプログラム可能なデータプロセッシング装備上に載置されることも可能であるので、コンピュータ又はその他のプログラム可能なデータプロセッシング装備上で一連の動作ステップが行われ、コンピュータで実行されるプロセスを生成し、コンピュータ又はその他のプログラム可能なデータプロセッシング装備を行うインストラクションは、ブロック図の各ブロック及び流れ図の各ステップで説明された機能を実行するためのステップを提供することも可能である。
[77]なお、各ブロックまたは各ステップは、特定された論理的機能を実行するための一つ以上の実行可能なインストラクションを含むモジュール、セグメントまたはコードの一部を示すことができる。また、いくつかの代替実施形態ではブロックまたはステップで言及された機能が順序を外れて発生することも可能であることを注目しなければならない。例えば、続いて図示されている二つのブロックまたはステップは実は実質的に同時に行われることもでき、若しくはそれらのブロックまたはステップが時々該当する機能によって逆順で行われることもできる。
[78]以上の説明は、本発明の技術思想を例示的に説明したものに過ぎず、本発明の属する技術分野における通常の知識を有する者なら、本発明の本質的な品質から外れない範囲で多様な修正及び変形が可能である。したがって、本明細書に開示された実施形態は、本発明の技術思想を限定するためのものではなく、説明するためのものであり、このような実施形態により本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は、下記の特許請求の範囲により解釈されるべきであり、それと均等な範囲内にある全ての技術思想は、本発明の権利範囲に含まれるものと解釈されるべきである。

Claims (8)

  1. 妊娠第１三半期の超音波イメージを得るステップと、
    得られた前記超音波イメージに係る子宮、胎児、胎盤、胎嚢、及び卵黄の特徴を得、前記得られた特徴及び前記超音波イメージに基づいて機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）技法により学習された超音波イメージ分析装置を用いて、既指定された複数のグループの前記得られた超音波イメージが属するグループを決定するステップと、を含み、
    前記得られた超音波イメージが属するグループを決定するステップは、前記得られた超音波イメージに基づいて前記超音波イメージが属するグループを、多胎児グループ、胞状奇胎（ｍｏｌａｒ ｐｒｅｇｎａｎｃｙ）グループ、胎児遺伝子危険グループ、胎児成長制限グループ、流産危険グループ、脱落膜異常グループ、絨毛異常グループ、正常グループの少なくとも一つと決定する
    妊娠第１三半期の超音波イメージ分析方法。
  2. 前記子宮の特徴は、子宮のテクスチャ（ｔｅｘｔｕｒｅ）、子宮の密度、子宮の形態を含み、
    前記胎児の特徴は、胎児のテクスチャ、胎児の密度、胎児の大きさ、胎児の形態を含み、
    前記胎盤の特徴は、胎盤のテクスチャ、胎盤の密度、胎盤の大きさ、胎盤の形態、胎盤内の嚢胞性の変化を含み、
    前記胎嚢の特徴は、胎嚢の数、胎嚢のテクスチャ、胎嚢の密度、胎嚢の大きさ、胎嚢の形態を含み、
    前記卵黄の特徴は、卵黄のテクスチャ、卵黄の密度、卵黄の大きさ、卵黄の形態を含む、請求項１に記載の妊娠第１三半期の超音波イメージ分析方法。
  3. 前記超音波イメージ分析装置は、
    学習データベースに既貯蔵された複数の妊娠第１三半期の超音波イメージに対し、得られた前記特徴により前記複数の妊娠第１三半期の超音波イメージの各々が前記既指定された複数のグループの少なくとも一つに含まれるように指定する、請求項１に記載の妊娠第１三半期の超音波イメージ分析方法。
  4. 前記超音波イメージ分析装置を前記機械学習技法により学習させることでは前記超音波イメージ分析装置を機械学習技法により学習する過程で、前記学習データベースに既貯蔵された複数の妊娠第１三半期の超音波イメージが、得られた前記特徴に基づいて複数のグループでクラスタリング（ｃｌｕｓｔｅｒｉｎｇ）され、前記複数の超音波イメージがクラスタリングされた後、各クラスタリングされた前記超音波イメージのグループが、前記既指定された複数のグループのいずれかに含まれるように指定される、請求項３に記載の妊娠第１三半期の超音波イメージ分析方法。
  5. 前記既指定された複数のグループは、前記多胎児グループ、前記胞状奇胎（ｍｏｌａｒ ｐｒｅｇｎａｎｃｙ）グループ、前記胎児遺伝子危険グループ、前記胎児成長制限グループ、前記流産危険グループ、前記脱落膜異常グループ、前記絨毛異常グループ、前記正常グループの少なくとも二つを含む、請求項１～４のいずれか一項に記載の妊娠第１三半期の超音波イメージ分析方法。
  6. 前記超音波イメージ及び得られた前記超音波イメージに係る子宮、胎児、胎盤、胎嚢、及び卵黄の特徴は外部の超音波獲得装置から受信される、請求項１に記載の妊娠第１三半期の超音波イメージ分析方法。
  7. 前記超音波イメージは外部の超音波獲得装置から受信され、
    得られた前記超音波イメージに係る子宮、胎児、胎盤、胎嚢、及び卵黄の特徴は前記超音波イメージ分析装置により前記超音波イメージから抽出される、請求項１に記載の妊娠第１三半期の超音波イメージ分析方法。
  8. 妊娠第１三半期の超音波イメージを得るイメージ獲得部と、
    得られた前記超音波イメージに係る子宮、胎児、胎盤、胎嚢、及び卵黄の特徴を得、前記得られた特徴及び前記得られた超音波イメージに基づいて機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）技法により学習し、これに基づいて既指定された複数のグループのうち前記得られた超音波イメージが属するグループを決定するグループ決定部と
    を含み、
    前記グループ決定部は、前記得られた超音波イメージに基づいて前記超音波イメージが属するグループを、多胎児グループ、胞状奇胎（ｍｏｌａｒ ｐｒｅｇｎａｎｃｙ）グループ、胎児遺伝子危険グループ、胎児成長制限グループ、流産危険グループ、脱落膜異常グループ、絨毛異常グループ、正常グループの少なくとも一つと決定する
    妊娠第１三半期の超音波イメージ分析装置。
JP2021559913A 2019-04-08 2020-04-08 妊娠第１三半期の超音波イメージ分析方法および装置 Active JP7235381B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020190040816A KR102224627B1 (ko) 2019-04-08 2019-04-08 임신 1분기 초음파 이미지 분석 방법 및 장치
KR10-2019-0040816 2019-04-08
PCT/KR2020/004780 WO2020209614A1 (ko) 2019-04-08 2020-04-08 임신 1분기 초음파 이미지 분석 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2022528436A JP2022528436A (ja) 2022-06-10
JP7235381B2 true JP7235381B2 (ja) 2023-03-08

Family

ID=72751409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021559913A Active JP7235381B2 (ja) 2019-04-08 2020-04-08 妊娠第１三半期の超音波イメージ分析方法および装置

Country Status (4)

Country Link
US (1) US20220192638A1 (ja)
JP (1) JP7235381B2 (ja)
KR (1) KR102224627B1 (ja)
WO (1) WO2020209614A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112587089B (zh) * 2020-11-19 2023-04-21 新希望六和股份有限公司 基于人工智能的妊娠检测方法、装置、计算机设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006252559A (ja) 2005-03-09 2006-09-21 Siemens Corporate Res Inc 画像において対象物の位置を特定する方法および対象物の画像を相異なる画像カテゴリに分類する方法
JP2008523876A (ja) 2004-12-17 2008-07-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 医療用診断イメージングにおいて医療的に有意味の記述を生成するための高性能分類器を自動的に確立するための方法及び装置
JP2018079000A (ja) 2016-11-15 2018-05-24 株式会社日立製作所 超音波診断装置、及び画像処理装置
WO2018236195A1 (ko) 2017-06-23 2018-12-27 울산대학교 산학협력단 초음파 영상 처리 방법
JP2019107453A (ja) 2017-12-19 2019-07-04 キヤノンメディカルシステムズ株式会社 画像処理装置及び画像処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101097645B1 (ko) 2008-11-25 2011-12-22 삼성메디슨 주식회사 주기적으로 움직이는 대상체의 체적 정보를 제공하는 초음파 시스템 및 방법
US20150342560A1 (en) * 2013-01-25 2015-12-03 Ultrasafe Ultrasound Llc Novel Algorithms for Feature Detection and Hiding from Ultrasound Images
KR101496198B1 (ko) * 2013-06-21 2015-02-26 한국디지털병원수출사업협동조합 3차원 초음파 촬영장치 및 그 운영방법
CA2921665A1 (en) * 2013-09-20 2015-03-26 Transmural Biotech, S. L. Image analysis techniques for diagnosing diseases
JP6196951B2 (ja) * 2014-08-22 2017-09-13 株式会社日立製作所 超音波診断画像生成装置、及び方法
KR102251242B1 (ko) * 2014-11-26 2021-05-12 삼성전자주식회사 컴퓨터 보조 진단 장치 및 방법
WO2017156329A1 (en) * 2016-03-09 2017-09-14 EchoNous, Inc. Ultrasound image recognition systems and methods utilizing an artificial intelligence network
KR102635050B1 (ko) * 2016-07-20 2024-02-08 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어방법
KR101884609B1 (ko) * 2017-05-08 2018-08-02 (주)헬스허브 모듈화된 강화학습을 통한 질병 진단 시스템
KR102139856B1 (ko) * 2017-06-23 2020-07-30 울산대학교 산학협력단 초음파 영상 처리 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008523876A (ja) 2004-12-17 2008-07-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 医療用診断イメージングにおいて医療的に有意味の記述を生成するための高性能分類器を自動的に確立するための方法及び装置
JP2006252559A (ja) 2005-03-09 2006-09-21 Siemens Corporate Res Inc 画像において対象物の位置を特定する方法および対象物の画像を相異なる画像カテゴリに分類する方法
JP2018079000A (ja) 2016-11-15 2018-05-24 株式会社日立製作所 超音波診断装置、及び画像処理装置
WO2018236195A1 (ko) 2017-06-23 2018-12-27 울산대학교 산학협력단 초음파 영상 처리 방법
JP2019107453A (ja) 2017-12-19 2019-07-04 キヤノンメディカルシステムズ株式会社 画像処理装置及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吉田幸洋，胎児診断と治療の進歩，順天堂医学，43巻 4号，日本，順天堂医学会，1998年03月30日，p532-p535，https://www.jstage.jst.go.jp/article/pjmj/43/4/43_532/_article/-char/ja/

Also Published As

Publication number Publication date
WO2020209614A1 (ko) 2020-10-15
JP2022528436A (ja) 2022-06-10
US20220192638A1 (en) 2022-06-23
KR102224627B1 (ko) 2021-03-09
KR20200118926A (ko) 2020-10-19

Similar Documents

Publication Publication Date Title
Namburete et al. Fully-automated alignment of 3D fetal brain ultrasound to a canonical reference space using multi-task learning
Fergus et al. Machine learning ensemble modelling to classify caesarean section and vaginal delivery types using Cardiotocography traces
KR102139856B1 (ko) 초음파 영상 처리 방법
CN107273658B (zh) 对颅内动脉瘤破裂风险进行评估及其图像进行分类的装置
CN114206223A (zh) 辅助生殖技术中的自适应图像处理方法和系统
CN113066574B (zh) 基于神经网络的动脉瘤破裂预测方法、装置及存储介质
Ahammad et al. Maternity Risk Prediction Using IOT Module with Wearable Sensor and Deep Learning Based Feature Extraction and Classification Technique
KR20210016862A (ko) 관상동맥 혈관조영술 기반의 기계 학습을 통한 허혈 병변 정보 제공 장치, 정보 제공 방법 및 이의 기록매체
JP7235381B2 (ja) 妊娠第１三半期の超音波イメージ分析方法および装置
Zhong et al. CTGNet: Automatic analysis of fetal heart rate from cardiotocograph using artificial intelligence
Liu et al. Concordance analysis of intrapartum cardiotocography between physicians and artificial intelligence-based technique using modified one-dimensional fully convolutional networks
Ávila et al. Classifying healthy women and preeclamptic patients from cardiovascular data using recurrence and complex network methods
Liu et al. [Retracted] Doppler Ultrasound Imaging Combined with Fetal Heart Detection in Predicting Fetal Distress in Pregnancy‐Induced Hypertension under the Guidance of Artificial Intelligence Algorithm
Gudigar et al. Local preserving class separation framework to identify gestational diabetes mellitus mother using ultrasound fetal cardiac image
Płotka et al. BabyNet++: Fetal birth weight prediction using biometry multimodal data acquired less than 24 hours before delivery
KR102257295B1 (ko) 초음파 영상 기반의 기계 학습을 통한 취약성 죽상반 진단 시스템 및 이의 진단 방법
US20200060657A1 (en) System and method for assessing obstetric wellbeing
WO2023024524A1 (zh) 基于胎儿超声影像特征组学的染色体异常预测模型的构建方法及诊断设备
Das et al. Ensemble based technique for the assessment of fetal health using cardiotocograph–a case study with standard feature reduction techniques
WO2018236195A1 (ko) 초음파 영상 처리 방법
KR20190119198A (ko) 인공 지능을 이용하여 태아의 심박동을 모니터링하는 방법
CN112654299A (zh) 超声成像方法、设备、存储介质,处理器及计算机设备
de Vries et al. Contrastive predictive coding for anomaly detection of fetal health from the cardiotocogram
Lam et al. Classifying craniosynostosis with a 3D projection-based feature extraction system
Keerthi et al. Intelligent diagnosis of fetal organs abnormal growth in ultrasound images using an ensemble CNN-TLFEM model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211015

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20220711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230217

R150 Certificate of patent or registration of utility model

Ref document number: 7235381

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150