JP7174717B2 - 臨床ドキュメンテーションで使用される患者-医師間会話からの詳細構造の取込み - Google Patents

臨床ドキュメンテーションで使用される患者-医師間会話からの詳細構造の取込み Download PDF

Info

Publication number
JP7174717B2
JP7174717B2 JP2019566258A JP2019566258A JP7174717B2 JP 7174717 B2 JP7174717 B2 JP 7174717B2 JP 2019566258 A JP2019566258 A JP 2019566258A JP 2019566258 A JP2019566258 A JP 2019566258A JP 7174717 B2 JP7174717 B2 JP 7174717B2
Authority
JP
Japan
Prior art keywords
medical
transcripts
tool
labels
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019566258A
Other languages
English (en)
Other versions
JP2020528590A (ja
Inventor
クリストファー・コ
ガン・リ
フィリップ・チュン
ジャスティン・ポール
ダニエル・シン・シュン・ツェ
キャサリン・チュウ
ディアナ・ジャウンツェイカレ
アルヴィン・ラージコマール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2020528590A publication Critical patent/JP2020528590A/ja
Application granted granted Critical
Publication of JP7174717B2 publication Critical patent/JP7174717B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/20ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/10Telephonic communication systems specially adapted for combination with other electrical systems with dictation recording and playback systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Bioethics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本開示は、診察のオーディオまたはオーディオビジュアル転写記録の注釈付けを容易にする方法およびシステムを対象とする。
患者と医師および看護師などの医療従事者との間の会話、および医療従事者どうしの会話は、記録されることが多い。会話の記録、および転写物は、患者の医療記録の一部となる。転写物は、音声/テキスト変換器によって作成されることもあるし、あるいは訓練を受けた(人間の)医療転写士(transcriptionist)が記録を聞き取ることによって作成されることもある。
注釈の全くない転写物は、内科医が見るときに、適切な情報を見つけるために、または転写物内の様々なコメントの関連性を理解するために、転写物を何行も、または何ページも熟読しなければならないので、有用性が限られる。
さらに、診察の転写物をまとめたものは、機械学習モデルを訓練するために使用することもできる。機械学習モデルを訓練するには、大量の高品質の訓練事例すなわちラベル付きデータが必要となる。当技術分野では、注釈が付けられた、すなわち関連のある単語またはフレーズが強調表示されて医療概念と関連付けられ、互いに関係があるものとしてグループ化されている、診察の転写物の生成を容易にする方法が必要とされている。本開示は、その必要を満たすものである。
第1の態様では、医療従事者/患者間会話の記録の注釈付けを容易にする方法が開示される。この方法は、例えば注釈付けを実行する人間(スクライブラベラ(scribe labeler))が使用するワークステーションのディスプレイ上に転写オーディオ記録(すなわち転写物)の表示を生成するステップを含む。1つまたは複数の単語からなる転写物中のテキスト範囲を強調表示するツールが設けられる。これらのツールは、1つまたは複数の単語を選択または強調表示するための単純なマウスまたはキーボードのショートカットであることもある。
この方法は、強調表示されたテキスト範囲にラベルを割り当てるツールを提供するステップをさらに含む。このツールは、強調表示されたテキスト範囲への割当てに利用可能な既定のラベルのセットを検索する機構を含む。例えば、スクライブラベラが転写物中の「胃痛」などの単語を強調表示すると、ユーザが例えばスクロールする、または検索ツールを使用することによって利用可能なラベルを検索することができるウィンドウがポップアップする。ラベルは、医療エンティティ(症状、薬剤、検査結果など)、およびそれらの医療エンティティの属性(例えば症状エンティティの重症度、位置、頻度、発症時など)を符号化するものである。
本明細書では、「医療エンティティ」という用語は、症状、薬剤、検査結果、生命徴候、主訴、医療撮像、状態、および医療機器など、離散的な医療トピックのカテゴリを指すものとして意図されている。医療エンティティは、ラベル付けタスクの状況に関連があるものとして予め規定されており、したがって、この場合、1実施形態では、それらは、薬剤、処置、症状、生命徴候、状態、社会歴、医学的状態、手術、撮像、医療提供者、ワクチン、妊娠歴、検査、および医療機器からなる可能性がある。医療エンティティは、医療エンティティ「薬剤」が「薬剤:アレルギー」という形態であり、「アレルギー」が「薬剤」というクラス全体のうちの1種類またはサブクラスであることもあるなど、階層的に構築することもできる。別の例として、医療エンティティ「症状」を、「症状:目」、「症状:神経」など、体の様々な部分の症状の階層として構築することもできる。
「医療エンティティの属性」という用語は、例えば医療エンティティ「医療機器」が患者が現在医療機器を使用していることを意味する「患者の実際の使用」という属性を有することがあるなど、単に医療エンティティの何らかの記述的特性または特徴を意味する。別の例として、症状医療エンティティは、「発症」という属性を有することがある。「症状/発症」というラベルは、患者が最初にその症状を経験し始めた時を示す単語またはフレーズが転写物内にあるときに注釈として使用される。別の例として、「医療機器/規則的」というラベルは、患者が何らかの医療機器を定期的に使用したことを示す単語またはフレーズが転写物内にあるときに注釈として使用され、ここで、「定期的に」は、医療エンティティ「医療機器」の属性である。
この方法は、関係のある強調表示されたテキスト範囲をグループ化するツールを提供するステップをさらに含む。このツールは、例えば、グループ化を確立するためのマウスクリックまたはキーボードショートカットの組合せであることもある。これらのグループ化により、強調表示されたテキスト範囲に割り当てられたラベルに関連する医療エンティティどうしを、グループとして関連付けることができる。例えば、患者が先週から始まった鋭い胸の痛みについて説明している会話であれば、「鋭い」、「胸の痛み」、および「先週」というテキストが、強調表示され、症状ラベル、ならびに重症度、位置、および発症時点といった属性でそれぞれラベル付けされ、全てが互いに関係があるものとしてグループ化されることになる。
別の態様では、医療従事者/患者間会話の記録の注釈付けを容易にするシステムが開示される。このシステムは、a)記録の転写物を表示するインタフェースと、b)1つまたは複数の単語からなる転写物中のテキスト範囲を強調表示するツールと、c)強調表示されたテキスト範囲にラベルを割り当てるツールであり、強調表示されたテキスト範囲への割当てに利用可能な既定のラベルのセットの検索を可能にする機構を含み、これらのラベルが、医療エンティティおよびそれらの医療エンティティの属性を符号化するものである、ツールと、d)関係のある強調表示されたテキスト範囲のグループを作成するツールとを含む。
これらの方法およびシステムは、目下の注釈付けタスクに関連するように設計された既定のラベルのセットが例えばオペレータによって作成され、それらのラベルが、転写物および注釈付けタスクに関連するエンティティおよび属性と関連している、その他の種類の転写物にも適用可能である。本開示のツールは、例えば証言または裁判などの法律的手続きの転写物、あるいは市議会、国会、州議会などの行政体の前での公聴会の転写物など、そうした他の可能な実装態様でも同様に使用される。
図1は、方法を実行することができる環境を示す流れ図である。 図2は、診察の転写物を注釈付けするために人間(「スクライブラベラ」)によって使用されるディスプレイおよびユーザインタフェースを有するワークステーションを示す図である。ユーザインタフェースは、図4から図6に関連して説明するツールを含む。「ユーザインタフェース」という用語は、ワークステーション上のディスプレイと、マウスおよびキーボードなどのユーザ入力を提供するための関連デバイスとの組合せを指すものとして意図されている。 図3は、注釈付けを行う準備ができている転写物のリストを示す図2のユーザインタフェースを示す図である。 図4は、スクライブラベラがテキスト中の特定の単語またはフレーズに注釈を付けている最中の診察の転写物を示す図である。図4は、スクライブラベラが医療エンティティおよび関連する属性を検索することを可能にする、ポップアップする検索ボックスを示している。単語の上でクリックする、またはマウスによるドラッグ技法を用いるなどのツールを使用することによって、テキスト範囲を強調表示することができる。 図5は、スクライブラベラが「左上」というテキストに注釈を付けている最中の図4の転写物、およびポップアップする検索ボックスを示す図である。さらに、医療エンティティ「症状」および属性「(体における)位置」についての「左上」というフレーズに対する提案ラベルも表示されている。提案ラベルは、図1に示す事前ラベル付けシステムによって生成される。 図6は、スクライブラベラが「胃痛」および「3日」という2つの強調表示されたテキスト範囲のグループを形成する、図4および図5の転写物を示す図である。グループを形成するツールは、この2つのテキストの強調表示と、その後の「G」キーを押したまま、強調表示されたテキスト範囲をクリックし、「G」キーを離すというキーボードショートカットとからなる。図6は、転写物内の全てのグループを表示の最下部に列挙するグループタブ内のグループ形成も示している。 図7は、図1のプレラベラ(pre-labeler)をより詳細に示す図である。 図8は、図1の特徴による、多数の注釈付き転写物を入力として受け取る機械学習モデル訓練システムを示す図である。
本開示は、診察、すなわち患者と医師または看護師などの医療従事者との間の会話の記録の注釈付けを容易にする方法およびシステムを対象とする。これらの記録は、オーディオ記録であることも、オーディオビジュアル記録であることもある。そうした記録は、書面形態に転写される。転写物は、訓練を受けた医療転写士が、すなわち手作業で生成することもできるし、あるいは当技術分野で既知の音声/テキスト変換器を使用することによって生成することもできる。このシステムの出力は、テキスト内の関連のある医療情報(すなわち個々の単語または単語のグループなどのテキスト範囲)がラベル付けされ(すなわち医療エンティティ(medical entity)およびそれらのエンティティの属性と関連付けられているものとしてタグ付けされ)、ラベル付けされたテキスト間の関連性を表すようにグループ化されている転写物に注釈を付けたものである。
図1は、本開示の方法およびシステムが実践される環境を示す流れ図である。102で、医師または看護師との面会を記録する患者の同意を得る。さらに、電子カルテに記入される記録の転写物を使用することを患者に通知し、同意を得る。患者はさらに、その記録に注釈を付け、機械学習モデルを生成または訓練するために使用することもあることも通知し、同意を得る。転写物に注釈を付ける、または転写物を機械学習モデルの訓練に使用するすべての場合は必ず、転写物データは、患者が非特定化され、HIPAAの下で制限されたデータセットの開示および使用の全ての要件を満たした上で使用される。倫理審査および治験審査委員会の適用除外を各施設から得る。患者データは、いかなるGoogleユーザデータにもリンクされない。さらに、システム116では、機械学習モデルの訓練のために注釈付き転写物を使用することは、規約、データライセンスおよび/またはデータ利用契約に従って各電子カルテ(または転写物)のデータセットを互いに分離した状態に保つサンドボックス処理(sandboxing)インフラストラクチャを含む。各サンドボックス内のデータは暗号化され、全てのデータアクセスは、個々のレベルで制御され、ログがとられ、監査される。
ステップ104で、所要の患者の同意が得られた後で、患者は医療従事者の診察を受け、オーディオまたはオーディオビジュアルの記録を得、デジタルフォーマットで記憶する。
ステップ106で、訓練を受けた医療転写士によって、または音声/テキスト変換器を使用することによって、記録の書面転写物を得る。転写物は、後述するように、転写物内で発語された単語またはテキストの行が記録の経過時間と関連付けられるタイムインデックス(time indexing)が添付されていることが好ましい。
ステップ108で、スクライブラベラが、図2以降の図面に記載して説明する方法で、転写物の注釈付けを実行する。注釈付けは、転写物内のテキスト範囲へのラベルの割当て、およびテキスト範囲間の関連性を示すためのテキスト範囲のグループ化を含む。ステップ108で、転写オーディオ記録の表示を、例えばスクライブラベラが使用するワークステーションのディスプレイ上に生成する。図2および図4から図6を参照されたい。1つまたは複数の単語からなる転写オーディオ記録内のテキスト範囲を強調表示するツールが提供される。このツールは、1つまたは複数の単語を選択または強調表示する単純なマウスまたはキーボードのショートカットであることもある。また、強調表示されたテキスト範囲にラベルを割り付けるツールも提供される。このツールは、強調表示されたテキスト範囲への割当てに利用可能な所定のラベルを検索する機構を含む。例えば、スクライブラベラが転写物内で「胃痛」などの単語を強調表示した場合には、ユーザが利用可能なラベルを検索することができるリストがポップアップし、そのラベルのリスト内で単語検索を実行するための検索ツールが提供される。ラベルは、医療エンティティ(症状、薬剤、検査結果など)、および医療エンティティの属性(例えば重症度、位置、頻度、症状エンティティの発症時点)を符号化するものである。
関連する強調表示されたテキスト範囲どうしをグループ化するツールも提供される。このグループ化により、ラベルと関連付けられた医療エンティティを、互いにグループ化することができる。例えば、患者が先週から始まった鋭い胸の痛みについて説明している会話であれば、「鋭い」、「胸の痛み」、および「先週」というテキストが、強調表示され、症状ラベル、ならびに重症度、位置、および発症時点といった属性でラベル付けされ、それらは全てが患者の1つの医療的状態に関係するので、ともにグループ化されることになる。このツールは、後述のように、キーボードおよび/またはマウスのアクションからなることもある。
このシステムは、図7により詳細に示すプレラベラ110を含むこともある。プレラベラは、ラベル付けまたはグループ化の主題になる可能性が高い転写物中の単語またはテキスト範囲を識別する学習型の自動単語認識モデルを実装するコンピュータシステムである。プレラベラ110は、スクライブラベラが転写物の注釈付けを実行するときに強調表示されるテキスト範囲の提案ラベルを提供することによって、注釈付けステップ108への入力を提供する。これは、図5にさらに詳細に示してある。
注釈付けステップ108の結果として、転写物、ならびにラベル付けまたはタグ付けされたテキスト範囲(単語またはフレーズ)の形態の注釈およびそれらのタグ付けされたテキスト範囲のグループ化からなる注釈付き転写物ファイル112が作成される。注釈付き転写物ファイルは、デジタル形態であり、ファイル中の注釈およびグループ化は、メタデータなどである。次いで、注釈付き転写物ファイル112を、患者の電子カルテ(EHR)114に追加する、または機械学習モデル訓練システム116に供給する。機械学習モデル訓練システム116は、例えば、診察の転写物に自動的に注釈を付けるように機械学習モデルを訓練するシステムであることがある。あるいは、機械学習モデルは、例えば参照によりその内容を本明細書に組み込む2017年7月28日出願の係続中の米国仮出願第62/538112号に記載されるように、その患者個人だけでなく、他の多数の患者についての注釈付き転写物、ならびに患者のカルテ内のその他のデータを使用して、将来の医療的事象の予測を生成することもある。EHR114は、破線118で示すようにシステム116に提供することもできる。
破線120で示すように、注釈付き転写物ファイル112をプレラベラに返送して、機械学習プレラベラ110をさらに訓練することを可能にすることもできる。この態様については、後にさらに詳細に説明する。
図2は、図1の注釈付けステップ108中にスクライブラベラによって使用されるワークステーション200を示す図である。このワークステーションは、診察の転写物を表示するアプリケーションを実行する中央処理装置(汎用コンピュータ210)と、後で論じるようにキーボード212、マウス214、およびモニタ216からなるユーザインタフェースがテキスト範囲(単語またはフレーズ230)の強調表示、テキスト範囲へのラベルの割当て、および強調表示されたテキスト範囲のグループ化を可能にするためのツールとを含む。モニタ216は、転写物222の表示218と、ユーザが転写物の様々な部分に移動することを可能にするスクロールバー224とを含む。転写物のタイムインデックス220は、表示218の最上部に示される。タイムインデックスは、水平方向に前後に移動させると、特定の経過時間に関連する転写物の一部分を表示218の最上部に表示させることができるスライダ221を含む。この場合には、タイムインデックス220は、転写物の持続時間が13分24秒で、スライダ221が左端にあり、したがって転写物の先頭が表示の最上部に示されていることを示している。転写物は、行番号、その次に話している人(医師または患者)の識別、その次に話の内容のテキスト転写物、という形式になっている。
図3は、スクライブラベラが図2のワークステーションにログオンするときに図2のユーザインタフェース上に提供される注釈を必要とする転写物の「やること」リストの表示を示す図である。個々の転写物では、患者が非特定化されている(すなわち名前で識別されるのではなく列302の患者番号でのみ識別される)。列304は、経過時間を示し、列306は、転写物中のテキストの行番号を示し、列308は、その診察に関連する患者の主訴を示し、列310は、その診察の性質または種類を示す。図3において(例えば列302の番号をクリックすることなどによって)転写物のうちの1つが選択されると、図2の表示が生成される。
図4は、ユーザインタフェースの表示218を、転写物222およびタイムインデックス220とともに示す図である。各発話(文章または単語)ごとの時間セグメント情報が、転写物内に提供されており、タイムインデックス220は、左右に移動して転写物の様々な部分にジャンプするスライダツール221を提供する。
このインタフェースは、テキストを強調表示するためのツールを提供する。特に、マウスおよびキーボードのショートカットにより、テキスト範囲の強調表示が容易になる。例えば、ユーザは、所与の単語上でダブルクリックすることができ、その単語は表示上で自動的に強調表示される。強調表示することができるのは、個々の文字ではなく単語だけであり、それによりエラーが減少し、注釈付けのスピードが上がる。マウスを用いたクリックアンドドラッグ技法、(カーソルを単語の上に移動させて、HまたはCTRL-Hなど特定のキーを打つなどによる)キーボード操作、またはキーボード操作とマウスアクションの組合せなど、強調表示のためのその他のツールを使用することもできる。
図4の例では、ユーザは、「胃痛」という単語を強調表示している(400参照)。ユーザインタフェースは、テキストにタグ付けする、すなわち強調表示された用語にラベル付けするツールを提供する。ラベルは、強調表示されたテキスト範囲に適用されて、基本的には、スクライブラベラが情報を転写物内に注入する、例えば強調表示された「胃痛」というテキストが症状または胃腸症状であることを示すことができるようにする。特に、ユーザが「胃痛」という用語を強調表示したときには、医療エンティティおよび関連属性のリスト404と、リスト404を検索することができるための検索用語入力欄405と、スクライブラベラがリストをスクロールして、強調表示されたテキストに適切な医療エンティティおよび関連属性を選択することを可能にするスクロールバー406とを示すボックス(ツール)402がポップアップする。図4の例では、「症状:GI」という医療エンティティおよび「腹痛」という関連属性がリスト404内で発見され、ユーザは、その医療エンティティと属性の組合せの上でクリックした。この表示は、表示の最下部に、医療エンティティ、属性、転写物内での位置(行4)、および関連するテキスト範囲(「胃痛」)を含むラベル付けされたテキスト範囲を列挙する表タブ410を含む。
スクライブラベラは、同じプロセスを実行し、同じツールを使用して、「3日」というテキスト範囲を強調表示し、医療エンティティ「SymAttr」および属性「持続時間」のラベル(「Symattr/duration」)を、その強調表示したテキスト範囲「3日」に割り当て、この追加の注釈が、注釈の表410に現れる。
次いで、スクライブラベラは、「左上」というテキスト範囲412の強調表示に進む。スクライブラベラは、再度ツール402を使用して、「左上」というテキスト範囲にラベルを割り当てる。これも、図4に示すツールを用いて行うことができる。図5に示すように、転写物の事前ラベル付けが行われる1実施形態では、ユーザが「左上」というテキスト範囲を強調表示すると、提案ラベルがボックス502内に示される。この提案ラベルは、図1のプレラベラによって「左上」というテキスト範囲に割り当てられたものである。ユーザは、ボックス502上でクリックすることによって、この提案を受け入れることもできるし、あるいはXアイコン504上でクリックすることによって、この提案を拒否することもできる。図5の状況では、スクライブラベラは、マウスクリック(またはキーボードのショートカットなど、その他の任意の適当な代替のユーザインタフェースアクション)によって提案を受け入れており図5の506に示すように、注釈が表410に追加されている。スクライブラベラが提案を拒否する場合には、ポップアップ検索ツール402を使用する、またはラベルのリストをスクロールして、適当なラベルを見つけることができる。
検索ツール402は、スクライブラベラがテキスト範囲を強調表示するアクションを行っているときにポップアップし、ラベルが割り当てられた後は消えてもよいし、あるいは注釈付け中にはユーザインタフェースに常持続的な機構であってもよいことは、理解されるであろう。
前述のように、図2および図4から図6のユーザインタフェースは、スクライブラベラが概念的または因果関係的に互いに関係がある強調表示およびラベル付けされたテキスト範囲どうしをグループ化することを可能にするツールを含む。例えば、図6では、「胃痛」および「3日」というテキスト範囲、すなわち症状の種類および症状の持続時間が、胃腸症状と関係付けられている。このグループ化を行うために、インタフェースは、図示の実施形態では、キー操作とマウスアクションの組合せの形態のツールを提供する。特に、スクライブラベラは、「G」キーを押したまま、この2つの強調表示されたテキスト範囲をクリックし、その後に「G」キーを離す。もちろん、複数のマウスアクションのみの組合せ(例えば左クリックでテキスト範囲を選択した後で、右クリックでグループを形成するなど)、複数のキー操作のみの組合せ(例えばALT-Gで強調表示されたテキスト範囲を選択した後で、ENTERでグループを形成するなど)、またはマウスアクションとキー操作の他の様々な可能な組合せなど、グループを形成するツールのこの具体例の変形例も可能であり、本開示の範囲内である。図6では、「2」アイコン602は、グループ内の要素の数(ここでは2)を示す。「X」アイコン604は、このグループを削除するためのクリックターゲットである。ユーザは、グループタブ606を切り替え、「胃痛」と「3日」のグループが、転写物内での位置(この例ではグループ内の第1の要素の位置である第4行)とともに608に示されている。
図4の検索ツール402は、関連するラベルを突き止めるプロセスで移動を容易にする。この医療転写物の例では、選択対象となる可能性があるラベルは何百個もある。例えば、既定の異なる医療エンティティが10または20個あり、それらの医療エンティティのそれぞれについて10または20個あるいはそれ以上の異なる属性があることもある。医療エンティティは、上記で説明したように、階層的にカスタマイズおよび編成することができる。これらのラベルは、特に医療ドキュメンテーション用に設計された医療オントロジを符号化するものである。これらのラベルは、薬剤、処置、症状、状態などの医療エンティティ情報、ならびに症状の発症、重症度、頻度などそれらのエンティティの属性、および患者が医療的処置(エンティティ)を辞退または拒否したかどうか(属性)などを符号化するものである。
図6に示すようなテキストのグループ化によって、スクライブラベラは、追加の情報を転写物に注入することができ特に、概念どうしの間の関係性または関連性を識別することができる。例えば、本開示のシステムおよび方法は、スクライブラベラが、強調表示されたテキストのグループを指定して、その結果エンティティをグループとして属性と関連付けることができるようにすることを可能にする。
図1の事前ラベル付けシステム110は、図7にさらに詳細に示してある。システム110への入力は、図1のステップ108で生成されたテキスト転写物702である。このシステム110は、事前に注釈が付けられた転写物704の形態をした訓練済みの事例からの教師あり学習に基づいて、転写物内の候補情報(単語またはフレーズ)およびそれらの単語またはフレーズについての提案ラベルを識別する、機械学習式の医療用固有表現抽出(NER)モデル703を使用する。固有表現抽出モデルは、機械学習の分野では周知であり、科学的文献に広範に説明されている。NERモデル703は、それ自体のラベル付けされた訓練用データを必要とする。この訓練用データを得るために、発明者等は、ディープラーニング単語埋め込みを用いた膨大な医療教科書(120000冊を超える医療教科書)を、例えばUMLS(統合医学用語システム(unified medical language system))またはSNOMED(体系的医学用語集(systemized nomenclature of medicine))などの既存の医療オントロジの大規模な用語集とともに使用する。さらに、NERは、注釈付きの診察転写物から訓練することができる。NERモデルは、医学教科書および臨床教科書、医師/患者間会話から得られる注釈付き転写物、ならびに多数の患者の注釈付き電子カルテに含まれる臨床ドキュメンテーションを含む可能性がある、データソースの混成物から訓練することもできる。NERモデルは、さらに、図1および図7で実行される転写物の注釈付けのフィードバックから訓練することもできる。例えば、事前ラベル付けシステムが事前に注釈が付けられた転写物704を生成し、スクライブラベラがステップ108の注釈付けを完了した後で、事前に注釈が付けられた転写物704内の提案注釈と注釈付き転写物112の間の補正をNERモデルにフィードバックすることもできる。
図8に示すように、注釈付き転写物112を、機械学習モデル訓練システムに供給することができる。1つの形態では、モデル訓練システム116は、転写物を、多数の患者の他の患者データとともに使用して、健康予測を行う機械学習モデルを生成する。あるいは、注釈付き転写物をシステム116で使用して、診察の注釈付き転写物を生成するプロセスを自動化するディープラーニングモデルを開発させることもできる。
本開示のシステムおよび方法には、いくつかの利点がある。多くの自然言語処理テキスト注釈付けツールでは、明示的な厄介な方法で関係性を識別しなければならない。これに対して、本開示では、ラベル(注釈付けタスクに関連する既定のラベルを含む)、ならびにラベル付けおよびグループ化ツールにより、このような関係性を容易に指定することができる。ユーザは、図面に示すような検索ツールによって迅速にラベルを検索することができ、マウスのクリックなど簡単なユーザインタフェースアクションでそれらを選択することができる。さらに、上記で説明したように、概念的または因果関係的に関係がある強調表示されたテキスト範囲どうしのグループ化を、キーボード、マウス、またはそれらの組合せを使用した簡単なユーザインタフェースアクションで非常に迅速に作成することができる。
例示した実施形態では、診察の転写物のラベル付けを支援するインタフェースおよびツールについて述べたが、本開示の原理は、その他の状況にも適用することができる。特に、エンティティ、およびそれらのエンティティの属性について、ラベルの既定のリスト、例えば転写物内の関心のある単語の全ての可能なカテゴリまたはクラス、および医療エンティティの属性に類似した各カテゴリまたはクラスに関連する属性のリストが生成される。上述のユーザインタフェースアクションは、一般には、同じように実行される。すなわち、スクライブラベラが、転写物と、注釈付けタスクに関連する強調表示された単語またはその他のテイスト範囲を簡単なユーザインタフェースツールを用いて読み取り、次いで、スクライブラベラが利用可能なラベルを検索して、それらを強調表示されたテキスト範囲に割り当てるためのツールがイネーブルになる。さらに、関係のある強調表示されたテキスト範囲のグループを形成するグループ化ツールが提供される。その結果が、注釈付き転写物である。これらの方法は、法律専門職の場合の証言または裁判の転写物、行政体の証言の公聴会の転写物など、他の種類の転写物でも有用である可能性がある。
医療転写物の注釈付けで使用されるラベルのリストの一例を、以下の表1(1-14)に記載する。もちろん、このリストの変形も可能であること、および他の状況では他のラベルが定義されることになることは理解されるであろう。このリストでは、エンティティ1は、医療エンティティであり、エンティティ2は、エンティティ1の医療エンティティの下位カテゴリ、またはその医療エンティティの属性であり、エンティティ3は、その医療エンティティの属性、または階層図におけるエンティティ1の医療エンティティのさらに下位のカテゴリである。
Figure 0007174717000001
Figure 0007174717000002
Figure 0007174717000003
Figure 0007174717000004
Figure 0007174717000005
Figure 0007174717000006
Figure 0007174717000007
Figure 0007174717000008
Figure 0007174717000009
Figure 0007174717000010
Figure 0007174717000011
Figure 0007174717000012
Figure 0007174717000013
Figure 0007174717000014
110 プレラベラ
112 注釈付き転写物ファイル
114 電子カルテ
116 機械学習モデル訓練システム
200 ワークステーション
210 汎用コンピュータ
212 キーボード
214 マウス
216 モニタ
220 タイムインデックス
221 スライダ

Claims (15)

  1. 医療従事者/患者間会話の記録の転写の注釈付けを容易にするためのコンピュータ実装方法であって、
    a)前記記録の転写物の表示を生成するステップと、
    b)1つまたは複数の単語からなる前記転写物中のテキスト範囲を強調表示するツールを提供するステップと、
    c)前記強調表示されたテキスト範囲にラベルを割り当てるツールを提供するステップであって、前記ツールc)が、前記強調表示されたテキスト範囲への割当てに利用可能な既定のラベルのセットを検索する機構を含み、前記ラベルが、医療エンティティおよび前記医療エンティティの属性を符号化するものである、ステップと、
    d)関係のある強調表示されたテキスト範囲のグループを作成するツールを提供するステップであって、前記グループを作成することが、前記強調表示されたテキスト範囲に割り当てられた前記ラベルに関連付けられた前記医療エンティティを前記患者の単一の医学的状態に関連するグループに関連付ける、ステップと
    を含む、方法。
  2. 前記転写物が、時間セグメント情報に索引付けされる、請求項1に記載の方法。
  3. 前記ツールb)が、個々の文字ではなく、単語または単語のグループの強調表示のみを可能にする、請求項1または2に記載の方法。
  4. 前記医療エンティティが、薬剤、処置、症状、生命徴候、状態、社会歴、医学的状態、手術、撮像、医療提供者、ワクチン、妊娠歴、検査、および医療機器からなる医療エンティティのリストから選択される、請求項1~3のいずれか一項に記載の方法。
  5. 前記医療エンティティのうちの少なくとも1つが、階層的に構成される、請求項4に記載の方法。
  6. 前記医療エンティティのうちの少なくとも1つが、症状医療エンティティと、前記症状医療エンティティ内の体の異なる部分とを含む、請求項5に記載の方法。
  7. 前記医療エンティティのうちの1つが、症状医療エンティティからなり、
    前記症状医療エンティティが、少なくとも重症度、頻度、発症時、位置の属性を含む、
    請求項4に記載の方法。
  8. 事前ラベル付けシステムに前記転写物を供給するステップと、
    前記転写物中のテキスト範囲についての提案ラベルを含む事前に注釈が付けられた転写物を前記事前ラベル付けシステムから受け取るステップと
    をさらに含む、請求項1~7のいずれか一項に記載の方法。
  9. 前記ツールc)が、前記事前に注釈が付けられた転写物からの提案ラベルの表示と、前記提案ラベルを拒否または受け入れるツールとをさらに含む、請求項8に記載の方法。
  10. 前記事前ラベル付けシステムが、医学教科書、臨床用語集、電子カルテ内の臨床ドキュメンテーション、および医師/患者間会話の注釈付き転写物のうちの少なくとも1つに基づいて訓練された固有表現抽出モデルを含む、請求項8に記載の方法。
  11. 前記ツールb)および前記ツールd)が、キー操作(1つまたは複数)、マウスアクション、またはその両者の組合せを含む、請求項1~10のいずれか一項に記載の方法。
  12. ツールc)内の前記検索する機構が、利用可能なラベルのスクロール可能なリストの表示と、前記利用可能なラベルのリストを検索するための検索用語を入力するための検索ボックスとを含み、
    ツールc)が、ラベルを割り当てるためのキー操作(1つまたは複数)、マウスアクション、またはその両者の組合せをさらに含む、
    請求項1~11のいずれか一項に記載の方法。
  13. 請求項1~12のいずれか一項に記載の方法を実施するための、インタフェースおよびツールa),c),およびd)を備える医療従事者/患者間会話の記録の転写の注釈付けを容易にするシステム。
  14. 前記事前ラベル付けシステムがさらに、前記転写物中のテキスト範囲についての提案ラベルを含む事前に注釈が付けられた転写物を生成する、かつ/または前記方法がさらに、注釈付き転写オーディオ記録を自動的に生成するステップを含む、請求項8に記載の方法。
  15. 前記医療エンティティのうちの少なくとも1つが、階層的に定義される、請求項1~12のいずれか一項に記載の方法。
JP2019566258A 2017-10-20 2017-10-20 臨床ドキュメンテーションで使用される患者-医師間会話からの詳細構造の取込み Active JP7174717B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2017/057640 WO2019078887A1 (en) 2017-10-20 2017-10-20 CAPTURING DETAILED STRUCTURE FROM PATIENT-PHYSICIAN CONVERSATIONS FOR USE IN CLINICAL DOCUMENTATION

Publications (2)

Publication Number Publication Date
JP2020528590A JP2020528590A (ja) 2020-09-24
JP7174717B2 true JP7174717B2 (ja) 2022-11-17

Family

ID=60302467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019566258A Active JP7174717B2 (ja) 2017-10-20 2017-10-20 臨床ドキュメンテーションで使用される患者-医師間会話からの詳細構造の取込み

Country Status (6)

Country Link
US (2) US11521722B2 (ja)
EP (1) EP3602563A1 (ja)
JP (1) JP7174717B2 (ja)
KR (1) KR102365621B1 (ja)
CN (1) CN110692102A (ja)
WO (1) WO2019078887A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019220366A1 (en) * 2018-05-15 2019-11-21 Nunetz, Inc. Systems and methods for adapting a ui based platform on patient medical data
USD931294S1 (en) 2018-06-22 2021-09-21 5 Health Inc. Display screen or portion thereof with a graphical user interface
WO2020150260A1 (en) * 2019-01-14 2020-07-23 5 Health Inc. Methods and systems for managing medical information
GB201911760D0 (en) 2019-08-16 2019-10-02 Eigen Tech Ltd Training and applying structured data extraction models
US11947872B1 (en) * 2019-11-01 2024-04-02 Allstate Insurance Company Natural language processing platform for automated event analysis, translation, and transcription verification
WO2021130953A1 (ja) * 2019-12-26 2021-07-01 日本電気株式会社 会話支援装置、会話支援システム、会話支援方法及び記録媒体
CN111462894B (zh) * 2020-03-27 2023-09-01 北京百度网讯科技有限公司 一种医疗冲突的检测方法、装置、电子设备及存储介质
CN112270186B (zh) * 2020-11-04 2024-02-02 吾征智能技术(北京)有限公司 一种基于熵模型的口辣文本信息匹配系统
CN114842717B (zh) * 2022-05-17 2023-03-10 浙江大学 一种重症监护病房用的智能化谵妄评估模型
US20240047049A1 (en) * 2022-08-02 2024-02-08 ScribeAmerica, LLC Platform for routing clinical data

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267358A (ja) 2004-03-19 2005-09-29 Hitachi Medical Corp 地域医療のための電子カルテ作成・管理システム及びその運営方法
JP2007058715A (ja) 2005-08-26 2007-03-08 Hitachi Medical Corp 医療業務支援システム
JP2011204249A (ja) 2003-11-21 2011-10-13 Nuance Communications Austria Gmbh トピック特異的言語モデルおよびトピック特異的ラベル統計によるユーザー対話を用いたテキストセグメント分割およびラベル付与
JP2013072974A (ja) 2011-09-27 2013-04-22 Toshiba Corp 音声認識装置、方法及びプログラム
US20140142962A1 (en) 2012-11-16 2014-05-22 International Business Machines Corporation Generation of medical information using text analytics
US20150134362A1 (en) 2010-09-01 2015-05-14 Apixio, Inc. Systems and methods for a medical coder marketplace
US20160162458A1 (en) 2014-12-09 2016-06-09 Idibon, Inc. Graphical systems and methods for human-in-the-loop machine intelligence
CN106251865A (zh) 2016-08-04 2016-12-21 华东师范大学 一种基于语音识别的医疗健康记录自动填写方法
US20170147758A1 (en) 2014-08-07 2017-05-25 Praxify Technologies, Inc. Systems and methods for managing patient-provider interactions and timelines
CN107038336A (zh) 2017-03-21 2017-08-11 科大讯飞股份有限公司 一种电子病历自动生成方法及装置
US9824691B1 (en) 2017-06-02 2017-11-21 Sorenson Ip Holdings, Llc Automated population of electronic records

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5146439A (en) 1989-01-04 1992-09-08 Pitney Bowes Inc. Records management system having dictation/transcription capability
US6778979B2 (en) * 2001-08-13 2004-08-17 Xerox Corporation System for automatically generating queries
US8155957B1 (en) 2003-11-21 2012-04-10 Takens Luann C Medical transcription system including automated formatting means and associated method
US7613610B1 (en) 2005-03-14 2009-11-03 Escription, Inc. Transcription data extraction
US8275613B2 (en) 2006-08-21 2012-09-25 Unifiedvoice Corporation All voice transaction data capture—dictation system
US20080115090A1 (en) * 2006-11-09 2008-05-15 Arlene Disbrow Apparatus for presenting a hierarchically and thematically arranged plurality of concisely annotated pictograms for facilitating communication without speech
US20080201434A1 (en) * 2007-02-16 2008-08-21 Microsoft Corporation Context-Sensitive Searches and Functionality for Instant Messaging Applications
US20080208630A1 (en) * 2007-02-22 2008-08-28 General Electric Company Methods and systems for accessing a saved patient context in a clinical information system
WO2009100389A1 (en) * 2008-02-06 2009-08-13 Teo, Inc. Universal targeted blogging system
US8165974B2 (en) * 2009-06-08 2012-04-24 Xerox Corporation System and method for assisted document review
WO2011091254A2 (en) 2010-01-21 2011-07-28 ePower Engine Systems, L.L.C. Hydrocarbon fueled-electric series hybrid propulsion systems
US9679107B2 (en) 2011-02-18 2017-06-13 Nuance Communications, Inc. Physician and clinical documentation specialist workflow integration
US9569594B2 (en) 2012-03-08 2017-02-14 Nuance Communications, Inc. Methods and apparatus for generating clinical reports
US20140047332A1 (en) 2012-08-08 2014-02-13 Microsoft Corporation E-reader systems
US9298703B2 (en) 2013-02-08 2016-03-29 Machine Zone, Inc. Systems and methods for incentivizing user feedback for translation processing
EP2946322A1 (en) * 2013-03-01 2015-11-25 Nuance Communications, Inc. Methods and apparatus for determining a clinician's intent to order an item
US9348815B1 (en) 2013-06-28 2016-05-24 Digital Reasoning Systems, Inc. Systems and methods for construction, maintenance, and improvement of knowledge representations
US20150379212A1 (en) * 2013-12-10 2015-12-31 Jaan Health, Inc. System and methods for enhanced management of patient care and communication
JP6074820B2 (ja) * 2015-01-23 2017-02-08 国立研究開発法人情報通信研究機構 アノテーション補助装置及びそのためのコンピュータプログラム
US9671999B2 (en) 2015-05-13 2017-06-06 Nuance Communications, Inc. Methods and apparatus for improving understandability of audio corresponding to dictation
US10390082B2 (en) * 2016-04-01 2019-08-20 Oath Inc. Computerized system and method for automatically detecting and rendering highlights from streaming videos
US10515125B1 (en) * 2016-07-26 2019-12-24 The Thought & Expression Company LLC Structured text segment indexing techniques
US10839554B2 (en) * 2018-01-05 2020-11-17 Irobot Corporation Image labeling for cleaning robot deep learning system

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011204249A (ja) 2003-11-21 2011-10-13 Nuance Communications Austria Gmbh トピック特異的言語モデルおよびトピック特異的ラベル統計によるユーザー対話を用いたテキストセグメント分割およびラベル付与
JP2005267358A (ja) 2004-03-19 2005-09-29 Hitachi Medical Corp 地域医療のための電子カルテ作成・管理システム及びその運営方法
JP2007058715A (ja) 2005-08-26 2007-03-08 Hitachi Medical Corp 医療業務支援システム
US20150134362A1 (en) 2010-09-01 2015-05-14 Apixio, Inc. Systems and methods for a medical coder marketplace
JP2013072974A (ja) 2011-09-27 2013-04-22 Toshiba Corp 音声認識装置、方法及びプログラム
US20140142962A1 (en) 2012-11-16 2014-05-22 International Business Machines Corporation Generation of medical information using text analytics
US20170147758A1 (en) 2014-08-07 2017-05-25 Praxify Technologies, Inc. Systems and methods for managing patient-provider interactions and timelines
US20160162458A1 (en) 2014-12-09 2016-06-09 Idibon, Inc. Graphical systems and methods for human-in-the-loop machine intelligence
CN106251865A (zh) 2016-08-04 2016-12-21 华东师范大学 一种基于语音识别的医疗健康记录自动填写方法
CN107038336A (zh) 2017-03-21 2017-08-11 科大讯飞股份有限公司 一种电子病历自动生成方法及装置
US9824691B1 (en) 2017-06-02 2017-11-21 Sorenson Ip Holdings, Llc Automated population of electronic records

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鳥居健太郎、ほか1名,在宅医療・介護従事者間のコミュニケーションを支援する音声つぶやきSNS,東芝レビュー,株式会社東芝,2014年11月01日,第69巻,第11号,p.22-25

Also Published As

Publication number Publication date
KR102365621B1 (ko) 2022-02-21
US20230055094A1 (en) 2023-02-23
WO2019078887A1 (en) 2019-04-25
KR20190140987A (ko) 2019-12-20
US20200152302A1 (en) 2020-05-14
US11521722B2 (en) 2022-12-06
CN110692102A (zh) 2020-01-14
JP2020528590A (ja) 2020-09-24
EP3602563A1 (en) 2020-02-05

Similar Documents

Publication Publication Date Title
JP7174717B2 (ja) 臨床ドキュメンテーションで使用される患者-医師間会話からの詳細構造の取込み
US11650732B2 (en) Method and system for generating transcripts of patient-healthcare provider conversations
US11894140B2 (en) Interface for patient-provider conversation and auto-generation of note or summary
Zahabi et al. Usability and safety in electronic medical records interface design: a review of recent literature and guideline formulation
Staggers et al. Why patient summaries in electronic health records do not provide the cognitive support necessary for nurses’ handoffs on medical and surgical units: insights from interviews and observations
US8132104B2 (en) Multi-modal entry for electronic clinical documentation
US8595620B2 (en) Document creation and management systems and methods
US11037665B2 (en) Generating medication orders from a clinical encounter
Joseph et al. The impact of implementing speech recognition technology on the accuracy and efficiency (time to complete) clinical documentation by nurses: A systematic review
US20170364640A1 (en) Machine learning algorithm to automate healthcare communications using nlg
Suominen et al. Capturing patient information at nursing shift changes: methodological evaluation of speech recognition and information extraction
US20180349556A1 (en) Medical documentation systems and methods
Murray et al. Medknowts: unified documentation and information retrieval for electronic health records
US20190295695A1 (en) SOAP Based Analysis of Patient EMR to Identify Treatment Plan Features in a Patient EMR
JP6899387B2 (ja) 臨床発見ホイール、臨床概念を探すためのシステム
US20050210044A1 (en) Software for generating documents using an object-based interface and item/property data storage
Blazer Independent research by early investigators: an underutilized option
Jensen et al. Distributed plot-making creating overview via paper-based and electronic patient records
Cam et al. An investigation on the use of computerized patient care documentation: Preliminary results
Murray et al. Enhanced Clinical Documentation
Dalianis et al. User Needs: Clinicians, Clinical Researchers and Hospital Management
US20070033575A1 (en) Software for linking objects using an object-based interface
Khazan What to look for in an AI scribe tool.
Sangster et al. Electronic documentation vs. dictation: how do they compare?(Medical Records)
Foldes Using Tag Clouds as a Tool for Patients’ Medical History Visualization and Record Retrieval

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211011

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220310

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220921

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220921

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220930

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221107

R150 Certificate of patent or registration of utility model

Ref document number: 7174717

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150