JP7404014B2 - 医用情報処理装置及び医用情報表示システム - Google Patents

医用情報処理装置及び医用情報表示システム Download PDF

Info

Publication number
JP7404014B2
JP7404014B2 JP2019181502A JP2019181502A JP7404014B2 JP 7404014 B2 JP7404014 B2 JP 7404014B2 JP 2019181502 A JP2019181502 A JP 2019181502A JP 2019181502 A JP2019181502 A JP 2019181502A JP 7404014 B2 JP7404014 B2 JP 7404014B2
Authority
JP
Japan
Prior art keywords
time
patient
events
medical
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019181502A
Other languages
English (en)
Other versions
JP2020126580A (ja
Inventor
レイノルズ スティーブン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Publication of JP2020126580A publication Critical patent/JP2020126580A/ja
Application granted granted Critical
Publication of JP7404014B2 publication Critical patent/JP7404014B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Description

本発明の実施形態は、医用情報処理装置及び医用情報表示システムに関する。
病院システムによる所定の患者について記録されたデータ量は、かつてないほど増えつつある。データ量が増えるにつれて、臨床的な判断を下すために、正しいタイミングで正しい情報を通信するよう最善な方法で当該データを提示することは、益々やり甲斐のあることになるであろう。
いくつかの公知のアプリケーションにおいて、例えば臨床医等のユーザに対しイベントを提示するのに、タイムラインを示すディスプレイスクリーンが使用される。係るタイムラインは、「時間軸」と呼ぶこともある。
イベントは、例えば、医学的介入、実験結果、患者測定データ(patient data measured)、及び撮像収集データ(imaging data acquisitions)を含むことができる。タイムラインに関連して位置付けられた個別のアイコン又はマーカーによって、各イベントを表すことができる。
タイムラインは、タイムラインに沿ったそれぞれの間隔が所定の時間量を示すようにして、規則的な間隔でスケールされ、かつ、マーカー付けられる。例えば、タイムラインは、時間単位、日単位、月単位で表すことができる。ディスプレイスクリーン上に示される時間の間隔は、「時間枠(time window)」と呼ぶことがある。
ユーザは、タイムラインに沿ってパンしたり、タイムラインをズームしたりすることで、イベントを通して誘導することができる。例えば、パンすることで、時間枠が変わり、かつ、タイムラインの異なる部分が示される。また、ズームすることで、タイムラインが異なるスケールで示される。具体的には、ユーザは、日単位で表されるタイムラインから、時間単位で表されるタイムラインへと、ズームイン(拡大)することができる。
上述のシステムにおいて、現在の時間枠外のイベントがユーザに表示されることはない。現在の時間枠外での時間で、病歴をより詳しく調べたいとユーザが希望した場合に、ユーザインタラクションが要求される。
ユーザが過去のデータを目に見えるようにしたいとズームアウト(縮小)した場合に、関心の所定の時刻でのイベントに関する精度やコンテキストが失われたり減ったりすることがある。
特開2003-132144号公報
発明が解決しようとする課題は、イベントに関する精度やコンテキストを維持したまま、タイムラインの視認性を向上させることである。
実施形態によれば、医用情報処理装置は、収集部、取得部及び表示制御部を備える。収集部は、時間値が関連付けられている患者に関する情報を収集する。取得部は、収集された情報に基づき、前記患者への診療に関する第1期間を取得する。表示制御部は、時間軸に沿って前記患者に関する情報をディスプレイに表示させ、前記第1期間についての第1領域に、前記第1期間以外の第2期間についての第2領域よりも大きなスケールを設定する。
図1は、実施形態に係る医用情報表示システムの構成を表す概略図である。 図2は、図1に示される処理回路で実行される処理の概略を表すフローチャートである。 図3は、図1に示される表示スクリーンで表示される非線形タイムラインの表示例を表す図である。 図4は、イベントの線形タイムライン上への投影の概略的な表現を表す図である。 図5は、イベントの非線形タイムライン上への投影の概略的な表現を表す図である。 図6は、イベントの、2つのフォーカルポイントを有する非線形タイムライン上への投影の概略的な表現を表す図である。 図7は、図1に示される表示スクリーンで表示される非線形タイムラインの表示例を表す図である。 図8は、図1に示される表示スクリーンで表示される、色付き非線形タイムラインの表示例を表す図である。 図9は、非線形タイムラインのカラーリングを表す概略的な表現を表す図である。 図10は、2つのフォーカルポイントを有する非線形タイムラインのカラーリングを表す概略的な表現を表す図である。
以下、実施の形態について、図面を参照して説明する。
図1は、本実施形態に係る医用情報表示システム10の構成例を表す概略図である。本実施形態において、医用情報表示システム10は、患者又はその他の被検体に関する、複数の医用イベントを表す表示を提示するよう構成されている。
その他の実施形態において、医用情報表示システム10は、任意の適当な医用データを提示するよう構成されており、この医用には獣医学を含むことができる。
医用情報表示システム10は、パーソナルコンピュータ(PC)又はワークステーションである医用情報処理装置12を具備している。医用情報処理装置12は、表示スクリーン16又はその他の表示デバイス、そしてコンピュータキーボードやマウス等の入力デバイス又は複数の入力デバイス18に接続されている。表示スクリーン16は、例えば、ディスプレイの一例である。代わりの実施形態で、表示スクリーン16は、入力デバイス18としての役割も果たす、タッチスクリーンである。またある実施形態で、医用情報処理装置12は、例えばスマートフォンやタブレット型コンピュータなど、モバイルデバイスである。ある実施形態では、医用情報処理装置12は、ケーブルによって又はワイヤレスで接続されている可能性もある、2つ以上の計算デバイスを具備する。
医用情報処理装置12は、データストア20から医用データを受け取る。代わりの実施形態では、医用情報表示システム10は、データストア20の代わりに又は追加で、1つ以上の更なるメモリ(図示せず)から医用データを受け取る。例えば、医用情報表示システム10は、画像管理システム(Picture Archiving and Communication System: PACS)又は、例えば検査データアーカイブ、電子的医療記録(Electronic Medical Records: EMR)システム、又はADT(Admission Discharge and Transfer)システム等、その他の情報システムの一部を形成し得る1つ以上の遠隔メモリ(図示せず)から医用データを受信することもできる。
医用情報処理装置12は、自動的に又は半自動的に医用データを処理するための処理リソースを提供する。医用情報処理装置12は、中央処理装置(CPU)22を具備する。
医用情報処理装置12は、患者又はその他の被検体に関する医用情報を収集するよう構成された収集回路24と、表示用に医用情報を処理するよう構成された処理回路25とを含む。処理回路25は、投影回路26、クラスタリング回路27、そして表示回路28を具備する。
本実施形態において、回路24、25、26、27、28は、実施形態の方法を実行することが可能なコンピュータ読み取り可能命令を有するコンピュータプログラムの方法で、医用情報処理装置12においてそれぞれ実行される。しかし、その他の実施形態において、様々な回路は、1つ以上のASICs(Application Specific Integrated Circuits)、又はFPGAs(Field Programmable Gate Arrays)として、実行されてもよい。
医用情報処理装置12は、ハードドライブや、RAM、ROMを含むPCのその他構成要素、データバス、様々なデバイスドライバを含むオペレーティング・システム、グラフィックス・カードを含むハードウェアデバイスも含む。なお、このような構成は、説明を簡潔にするため、図1には図示されていない。
図1のシステムは、図2のフローチャートにおける概略で描かれるような、一連のステージを実行するよう構成されている。図2のフローチャートの一連のステージは、非線形タイムライン(「時間軸」とも呼ぶ)上へと医用イベントを投影することを含む。そのような非線形タイムラインの特徴について、図3、4、及び5を参照に検討する。
図3は、様々な医用エピソード60aから60dまでと、イベント50aから56eまでとが、非線形タイムライン46上に描かれた、プロット44を示す。係るプロット44は、例えば表示スクリーン16に表すことができる。
従来的な線形タイムライン(「時間軸」とも呼ばれる)において、タイムラインのスケールは、時間軸に沿って一貫性がある。タイムライン上では、等しい長さの間隔が等しい期間を表す。タイムラインの各ピクセルの幅によって表される時間の長さは、タイムラインの長さ全体にわたって一定である。タイムラインの各ピクセルの幅によって表される時間の長さは、「ピクセル毎の時間デルタ」又は「時間密度」と称されてもよい。例えば、各ピクセルは、1時間又は1日を表す。図4は、線形タイムラインに対する、ピクセル毎の時間デルタに対するx軸位置の概略的なプロット図である。各ピクセルは、同じ時間量(一定のスケール)を表すので、ピクセル毎の時間デルタに対するx軸位置を示すライン70はフラットとなる。
非線形タイムラインでは、タイムラインの各ピクセルによって表される時間量が、タイムラインの長さにわたって一定でない。代わりに、タイムラインのスケールは、タイムライン上の位置によって変化する。例えば、タイムライン上のある地点で、ピクセルは1時間を表すが、係るタイムライン上の別の一地点でのピクセルは1日を表し、また更に係るタイムライン上の更なる一地点は1週間を表す場合がある。
図5は、非線形タイムライン例に対する、ピクセル毎の時間デルタに対するx軸位置の概略的なプロットである。ライン72は、ピクセル毎の時間デルタとx軸位置との間の関係性を表す。ピクセル毎の時間デルタに対する値はx軸位置で異なることが、見て取れる。ライン72の両端で、ピクセル毎の時間デルタが高い。一方、係るライン72の最も低い点74で、ピクセル毎の時間デルタは低い。
点74は、例えば今日の日付、又は重要な医用イベントの日付等、特定の関心のある時間を表すことができる。x軸上の位置によってピクセル毎の時間デルタを変更することにより、関心時間(time of interest)に対して時間的に近いイベントは、関心時間から遠くで発生したイベントに比べて、より大きく詳細にかつより大きなスケールで示すことができる。
図5に示される例において、ピクセル毎の時間デルタは、x軸上の位置と共に滑らかに変化し、それにより時間軸のスケールがより小さくなり、また係るx軸上の位置から遠ざかるにつれて関心時間からも遠くなる。更なる実施形態において、ピクセル毎の時間デルタは、タイムラインに沿ったx軸位置の任意の適切な関数とすることができる。
いくつかの実施形態において、ピクセル毎の時間デルタの少なくとも1つのセクションは、ピクセル毎の時間デルタがタイムラインの少なくとも1つのセクションにわたって一定であるように、フラットの場合がある。
またいくつかの実施形態において、関心時間が、単一の時点ではなく、関心の延長された期間という場合もある。このような実施形態において、スケールは、関心期間を通して一定を保つことができ、その後に関心期間からの距離に比例して低下することがある。つまり、ピクセル毎の時間デルタ対x軸位置のプロット図がフラットな領域を有することになる。そのような実施形態において、ピクセル毎の時間デルタ対x軸のプロット図は、関心期間で線形領域を含む場合がある。
いくつかの実施形態において、ピクセル毎の時間デルタは、x軸位置での高い値及び/又は低い値で最大値に達し、その後係る最大値で一定に保たれる。
いくつかの実施形態において、滑らかというよりも段階的なやり方で、ピクセル毎の時間デルタが変化する場合がある。またいくつかの実施形態において、ピクセル毎の時間デルタ対x軸位置の関数には、一貫性がない。
スケールは、上述においてはピクセルで説明されたものの、タイムライン上の長さ及び/又は位置の任意の単位の観点で説明することもできる。タイムラインは、図面では水平に示されているものの、垂直に又は任意の適切な方向とすることもできる。
図3の例に示される、時間軸46へと話題を移す。時間軸46は、患者の生涯の一部を表す。時間軸は、過去の日付と未来の日付との両方を含む。
図3の例において、関心時点(time point of interest)は、2016年6月26日午前10時45分である。関心時点は、例えば、時間軸の中心に位置する。時間軸は、絶対時間(例えば、2005年、2015年6月、2016年6月19日、2016年6月26日)でラベル付けられている。時間軸は、関心時点に関する時間でもラベル付けられている(例えば、10年前、1年前、1週間前、1日前、1時間前)。
時間軸の原点0が、関心時点である。関心時点は、「フォーカルポイント(focal point)」とも呼ばれる。
時間軸の粒度は、フォーカルポイントからの距離によって変わる。フォーカルポイントで又はその近くでは、イベントは最も詳細に見ることができ、すなわち時間軸の粒度が高い。逆にフォーカルポイントから遠ざかると、イベントは詳細でなくなり、時間軸の粒度が低い。
時間マーカー49は、図3において点線で表される。タイムライン上の選択された時間をマークするために、時間マーカー49を使用することができる。例えば、時間マーカー49は、現在のマウス位置に対応する時間をマーク付けることもできる。
図3のプロット44において、縦軸48は、複数の異なるカテゴリを表し、それぞれはプロット44の個別の水平帯によって表される。
縦軸48上に示される第1のカテゴリは、エピソードである。エピソードは、例えば、患者の医療記録に表される任意の期間等、任意の適当な期間を表すことができる。
エピソードは、診療の時期、言い替えると、診療に関する期間に対応する場合がある。本実施形態において、診療は、例えば、投薬及び手術等の治癒目的の行為を含む治療に加え、診断、検査、及びフォローアップ等の行為を含む。例えば、エピソードは、入院患者の又は外来患者の診療の時期に対応することがある。またエピソードは、特定の投薬治療の供給(delivery)の時期や、理学療法等の治療の時期に対応する場合もある。
エピソードは、プロット44の第1の水平帯で表される。各エピソードは、時間の個別の時期を表す。時間の時期は、時間軸に関して示される、開始時間から終了時間まで伸びる拡張したマーカーにより表される。本実施形態においてマーカーは、角取り四角形により表される。エピソードは、患者の(又はその他の被検体の)病歴における、任意の適当な期間に関連する場合もある。
状況によって、エピソードは、例えば患者がいつ入院し、そしていつ退院したのかについての表示等、患者との医用インタラクションの概要も提供するために使用することができる。
図3に示される例で、第1のエピソード60aは、入院治療を表す。係る第1のエピソード60aは、1年前のラベルの少し前から、1週間前のラベルの少し後(5日前)まで伸びており、すなわち長期にわたり入院していたことを表す。
第2のエピソード60bは、外来通院を表す。第2のエピソード60bは、4日前から数時間前まで伸びている。
第三のエピソード60cは、入院治療の更なる時期を表し、関心時点にわたり伸びている。第三のエピソード60dは、理学療法の計画された時期を表す。
プロット上で同程度の長さを有する複数のエピソードは、非線形タイムライン上のどこに係るエピソードが置かれているかによって、時間的にはまったく異なる長さを表す場合がある。エピソードは、非線形タイムライン上の位置に関連したスケールでタイムライン上に表示される。
プロット44上のエピソードの存在により、例えばイベントが入院治療の時期の間に起ったものか、又は外来通院の時期の間に起ったものかについて突き止めるために、ユーザがその他のイベントをコンテキストにおいてプロット44上へと置くことを許可する。
図3の例において、プロット44は、4つのイベントカテゴリも含む。イベントは、ヘルスケアシステムとのインタラクションと関連がある。
イベントの第1カテゴリは、「イベント」と呼ばれ、例えば医学的介入等の臨床的なイベントを含むことができる。臨床イベント例としては、例えば薬の供給、生体検査、外科手術、又は理学療法を含むことがある。臨床イベント及び/又は臨床イベントのクラスタは、プロット44のイベント帯において位置付けられたマーカーによって表すことができる。図3では、マーカー50aから50eまでが、イベント帯において配置される。
イベントの第2カテゴリは、「実験」と呼ばれ、実験結果を含む。実験結果は、例えば血液検査や尿検査の結果を含む場合がある。実験結果及び/又は実験結果のクラスタは、プロット44の実験帯において位置付けられたマーカーによって表すことができる。図3では、マーカー52aから52hまでが、実験帯に配置されている。
イベントの第三カテゴリは、「撮像」と呼ばれ、撮像結果を含む。撮像結果には、例えばコンピュータ断層(Computed Tomography:CT)、コーンビームCT、磁気共鳴(Magnetic Resonance:MR)、陽電子放出断層撮影(Positron Emission Tomography:PET)、単光子放出コンピュータ断層撮影(Single Photon Emission Computed Tomography:SPECT)、X線又はフォトグラフィ等、任意のモダリティの撮像結果を含むことができる。撮像結果及び/又は画像結果のクラスタは、プロット44の撮像帯に位置付けられたマーカーによって表すことができる。図3では、マーカー54aから54eまでが、撮像帯に配置されている。
イベントの第四カテゴリは、「バイタル」と呼ばれ、生命兆候の測定結果を含む。生命兆候の測定結果には、例えば体温、血圧、脈拍数、及び又は呼吸数の測定を含むことができる。生命兆候結果及び/又は生命兆候結果のクラスタは、プロット44のバイタル帯に位置付けられたマーカーによって表すことができる。図3では、マーカー56aから56eまでがバイタル帯に配置されている。
イベント、実験、撮像及びバイタルカテゴリのそれぞれに対して、イベント及び/又はクラスタを示すためのマーカーの使用については、図2の表示処理を参照して下記にさらに説明される。
水平軸46及びカテゴリの縦のリスト48は、ビュー空間を形成するものとして考慮される。すなわち、マーカー50a~56e,60a~60dは、ビュー空間に配置される。
タイムラインは、タイムラインの長さにわたって変化する間隔においてマークされる。縦のライン47は、局所スケールによって、日単位、週単位、又は年単位で描き出すために使用される。図3において、縦のライン47は、実線である。
時間マーカー49は、時間軸上の、現在の時間又は選択された時間をマークする。時間マーカー49は、縦軸に沿って伸びる縦の点線として表示される。したがって、マーカーの位置を現在の時間又は選択された時間と関連づけることは、容易なのである。
次に図2のフローチャートへと話題を移し、例えば図3のプロット44の医用表示を作り出すために、図2に表された方法の使用について検討する。
図2のステージ30で、収集回路24は、データストア20から患者に関連する情報を取得する。収集回路24は、例えば、収集部の一例である。その他の実施形態において、収集回路24は、任意の適切な人、又は動物検体に関連する情報を取得することができる。
情報は、医用イベントデータを具備する。医用イベントデータは、複数のデータポイントを具備し、それぞれは少なくとも1つの時間に関する値と関連付けられている。時間に関する値は、例えば、時点、又は時間範囲である。各データポイントは、イベントの少なくとも一部を表す。
各データポイントは、任意の医用情報のアイテムを具備する、又はそれに関連することがある。例えば、臨床注釈、看護注釈、撮像データのセット、撮像測定のセット、実験結果データのセット、患者モニタリングデータのセット、生命兆候データのセット、処方、投薬記録、患者から取得したデータ、医用デバイスから取得したデータ、概略レポート、既往歴レポート、症例検討会レポート、請求レポート、放射線レポート、患者イベントのセット、薬剤データ、患者又はその他の被検体に関連する投与データ又は記録データ又は任意のその他の適切な記録された情報のセット、である。
本実施形態において、収集回路24によって取得された医用イベントデータは、患者に関する利用可能な全ての医用イベントデータ、例えば、患者の医用記録における全ての医用イベントデータを含む。医用イベントデータは、患者の生涯全を具備する。
その他の実施形態において、収集回路24によって取得された医用イベントデータは、患者に関する利用可能なイベントデータのサブセットを具備する場合がある。イベントデータのサブセットは、例えば、特定の病院における、特定の医師による、特定の部門又は特定の専門科に関連する特定の部門(例えば、腫瘍学部門)における、又は患者の生涯の所定の時間範囲における、診療に関する医用イベントデータである。
本実施形態において、医用イベントデータは、データストア20から取得されるが、その他の実施形態では、例えばネットワーク上の多重サーバーから等、任意の適切なデータストア又は複数のデータストアから取得してもよい。また、ヘルスケアインフォーマティックスシステムから、又は様々なヘルスケアインフォーマティックスシステムから、医用イベントデータを寄せ集めてもよい。
医用イベントデータは、任意の適切な電子フォーマット、例えば電子医用記録データに関する任意の公知のフォーマットで、フォーマット化できる。いくつかの実施形態において、異なる医用イベントに関するデータは、異なるデータフォーマットを有してもよい。
ステージ32で、クラスタリング回路27は、複数のエピソードを取得するために、ステージ30で収集回路24により取得された情報を処理する。クラスタリング回路27は、例えば、取得部の一例である。患者に関連する1つ、又は複数の期間の、イベント開始とイベント終了とを見つけ出すために、エピソード検出が実行される。ケアの時期の開始と終了とに対応するイベントは、ケアのエピソードを定義するためにマッチされる。例えば、クラスタリング回路27は、入院イベントと退院イベントとを使用して入院治療エピソードを決定し、入院治療エピソードの開始及び終了を決定する。クラスタリング回路27は、治療開始イベントと治療終了イベントとを使用して治療エピソードを決定し、治療エピソードの開始及び終了を決定する。
エピソード検出には、任意の適切な方法を使用することができる。エピソードは、任意の適当な期間、例えば、患者の医用記録に表された任意の期間等を表す。クラスタリング回路27は、ステージ30で取得された情報に含まれるデータ(例えば、入退院記録)を使用してエピソードを決定する。
その他の実施形態において、エピソードは、ステージ30で取得された情報において予め定義され、またクラスタリング回路27によって持ち込まれる。
いくつかの実施形態において、エピソードには階層構造が存在することがある。個別のエピソードは、サブエピソードへと分割することができる。例えば、入院のエピソードは、診療の異なる段階を表す、サブエピソードを含む場合がある。
ステージ34で、表示回路28は、ステージ30で取得された情報の各データポイントを、少なくとも1つのカテゴリへと分類する。本実施形態において、表示回路28は、各データポイントを4つのカテゴリ、すなわちイベント、実験、撮像又はバイタルへと分類する。状況により、所定のデータポイントは、1つ以上のカテゴリへと分類することができる。いくつかの実施形態において、情報のデータポイントのサブセットのみが分類される。
その他の実施形態において、データポイントは、任意の適切なカテゴリへと分類される。例えば、データポイントは、時間により分類される。また、データポイントは、重要度により分類されてもよい。また、データポイントは、イベントの顕著な特徴により分類されてもよい。また、データポイントは、イベント、又は測定が異常値であるか否かにより分類されてもよい。また、データポイントは、1つ又は複数のエピソードに依存して分類されてもよい。例えば、データポイントの時間値が入院患者の治療エピソードに対応するか、又は外来患者の治療エピソードに対応するかに依存して、データポイントは、入院患者としてのものか、又は外来患者としてのものかに分類される。
いくつかの実施形態において、データポイントは、データ収集の周期により分類される。例えば、データ収集は、より高いデータ収集割合でデータを収集する少なくとも1つの期間と、より低いデータ収集割合でデータを収集する少なくとも1つの期間とを含むことがある。データポイントは、より高いデータ収集割合の期間、又はより低いデータ収集割合の期間のどちらでデータポイントが収集されたかに基づいて、分類されてもよい。
表示回路28は、複数のビューパラメータに対する値を決定する、又は受け取る。表示回路28は、例えば、表示制御部の一例である。ビューパラメータに関する値は、分類されたデータポイントが投影される予定の、非線形ビュー空間を決定するために、表示回路28により使用される。ビュー空間の決定の際に、表示回路28は、データポイントが分類されたカテゴリも使用する。
ビューパラメータは、例えば、非線形タイムラインに関連するパラメータ等、ビュー空間のパラメータであってもよい。ビューパラメータは、例えば図5に示されるピクセル毎の時間デルタ曲線等、ピクセル毎の時間デルタ関数を含んでもよい。ビューパラメータは、「フォーカル日」、「フォーカル時間」、又は「フォーカル日時」と呼ぶこともある、関心時点を含んでもよい。ビューパラメータは、少なくとも1つのズームファクタを含んでもよい。
本実施形態において、ビューパラメータに関する値は、自動生成される。投影回路26は、関連性算定(relevancy calculation)に基づいて、関心時点を自動的に選択する。例えば、関心時点は、現在の時間として、又は最近の重要なイベントの時間として、設定することができる。投影回路26は、患者に関するケアのつい直近のエピソードを表示するために、ズームファクタを自動的に選択する。
その他の実施形態において、ビューパラメータに関して自動的に値を生成する、任意の適切な方法が使用されてもよい。時間パラメータに関する値は、システムによって決定されて最も関連性のある又は直近の情報を表示する。時間パラメータに関する値は、例えば、ビュー空間において使用されるビューの範囲及びフォーカルタイムポイントである。いくつかの実施形態において、自動ビュー機能は、深層学習、機械学習、又は人工知能を使用して、トレーニングされてもよい。
いくつかの実施形態において、異なる設定において又は異なるユーザに対して、異なるビューが表示されてもよい。例えば、異なるビューは、入院又は病室間の移動に基づいて駆動される。
さらなる実施形態において、ユーザは、例えば特定の時刻でイベントの詳細を見たい等でビューパラメータを設定することがある。ビューパラメータの少なくともいくつかに関する値は、例えば臨床医等ユーザによって決定又は調整することができる。ビューパラメータの少なくともいくつかに関する値を調整することで、例えば、時間軸又はクラスタリングの粒度等が調整される。
本実施形態において、表示回路28によって決定されるビュー空間は、図3に示されるビュー空間である。ビュー空間は、ピクセル毎の時間デルタが図5に示される様なx軸位置に伴って変化する、例えば時間軸46等、時間の非線形描写を提供するよう構成された、水平時間軸46を具備する。ビュー空間は、エピソード、イベント、実験、撮像、及びバイタルのカテゴリを表す、縦のカテゴリ軸48も具備する。その他の実施形態において、縦軸は、任意の適切なカテゴリを表す場合もある。
投影回路26は、各データポイントを非線形時間軸46上へ投影する。投影回路26は、データポイントと、ピクセル毎の時間デルタとx軸位置との関係を定義する関数とに関する時間値を使用して、データポイントについてのx軸位置を決定する。
時間軸は非線形であるため、時間の期間は、x軸上のどこに位置するかに応じて変化する、x軸距離によって表される。例えば、図3の非線形軸について検討してみる。10年前から1年前までの時間の差が、1年前と1週間前との時間の差と同じx軸距離によって表されている。
データポイントを時間軸へと投影することにより、時間値はx軸位置へと変えられる。本実施形態において、全てのイベントは、非線形タイムラインへと変えられる。単一の浮動小数点数(single floating point number)は、各イベント位置を表す。その他の実施形態において、x軸位置は、任意の適切な距離の単位を使用し、任意の適切な方法で、表される。例えば、x軸位置は、原点からのピクセル距離として表される。
投影回路26は、ステージ32で決定されたエピソードのそれぞれを、ビュー空間へと投影もする。各エピソードに対し、エピソードの、少なくとも開始時間と少なくとも終了時間とに対して、x軸位置が決められる。
クラスタリング回路27は、特定のデータポイントを共にデータポイントのクラスタへとクラスタするための、クラスタリング手順を実行する。クラスタリング回路27は、例えば、クラスタリング部の一例である。クラスタリング手順は、データポイントを非線形時間軸へと投影することにより決定された、x軸位置を使用して実行される。多くのイベントがその他のイベントに対して近くに投影される箇所では、これらイベントは1つのクラスタへと組み合わせられる。各クラスタは、異なる時刻でのイベントの収集を表すことがある。
本実施形態において、イベントはカテゴリ(イベント、実験、撮像、バイタル)で分類され、クラスタリング回路27が同じカテゴリのイベントをクラスタする。クラスタリングは、各カテゴリのイベントについて別々に行われる。クラスタリング回路27は、単一のクラスタにおける異なるカテゴリのイベントはクラスタしない。その他の実施形態において、異なる複数のカテゴリにおけるイベントを、単一のクラスタにクラスタしてもよい。その他の実施形態において、イベントは、任意の適切な方法で分類されてもよく、クラスタリングは、分類によって知らされてもよい。例えば、外来患者イベントとは別々に、入院患者イベントについてクラスタリングを実行することができる。またより低いデータ収集割合で収集されたデータとは別々に、より高いデータ収集割合で収集されたデータについても、クラスタリングを実行することができる。
本実施形態において、クラスタリング手順は、1Dクラスタリングアルゴリズムを、データポイントの各カテゴリへと適用することを具備する。例えば、Jenks natural breaks optimization又はカーネル密度推定等、クラスタリング手順を実行するために、任意の1Dクラスタリングを使用することがある。
クラスタリングのシンプルな例として、クラスタリング回路27は、所定のカテゴリにおける各データポイントから、係るカテゴリにおける各その他のデータポイントまでのx軸距離を決定してもよい。データポイントが互いのしきい値距離内に落ちた場合、これらのデータポイントは、クラスタを形成するよう一緒にクラスタされてもよい。
状況によっては、エピソードは、その他のイベントのクラスタリングを知らせるために使用される。例えば、エピソード間の境界にわたってイベントをクラスタすることは、好ましくない場合がある。クラスタリング手順は、異なるエピソードの範囲に含まれるイベントが、共にクラスタされてしまうのを防ぐことができる。いくつかの実施形態において、クラスタリング手順は、異なるエピソードに含まれるイベントが、それ自体一緒にクラスタされない限り、共にクラスタリグされるのを防ぐようにしてもよい。
クラスタリング手順は、クラスタのセットに対し、それぞれがイベントのセットを含むクラスタを返す。いくつかの実施形態において、クラスタが単一のイベントを含むことが可能である。またいくつかの実施形態において、クラスタは、入れ子になったクラスタ及びイベントを含むこともある。
クラスタリングアルゴリズムは、時間ではなくx軸位置に基づいているので、関心時間から遠いイベントは、関心時間により近いイベントに比べて、共にクラスタされる可能性がより高い。例えば、図3のプロットの左端及び右端での領域等の低粒度の領域において、イベントそれぞれが1年以内に発生した場合、これらのイベントは、一緒にクラスタされる。図3のプロットの真ん中等の高粒度の領域において、イベントそれぞれが1時間以内に発生したとしても、これらのイベントは一緒にクラスタされることはない。
図3において、イベントのクラスタは、角取り長方形のマーカーによって表され、個別のイベントは、ダイヤ型のマーカーによって表される。クラスタは、単一のマーカーによって表される。マーカーの長さは、クラスタにおける最初のイベントと最後のイベントとの投影を少なくともカバーする。
クラスタリングの低粒度の領域は、多数のデータポイントが単一のクラスタとして共にクラスタされ、単一のマーカーとして表すことができる。データを表すために使用されるマーカー数は、少ないことがある。粒度の最も低いレベルでは、データポイントの全てが共にクラスタされ、単一のマーカーで表されることもある。
クラスタリングの高粒度の領域において、各マーカーは、単一のデータポイント又は少数のデータポイントを表すことができる。データを表すために使用されるマーカー数は多いことがある。粒度の最も高いレベルでは、クラスタリングは発生せず、各データポイントを個別のマーカーによって表すことができる。
図3において、マーカー50a、50b、50d、そして50eは、臨床イベントのクラスタを表す。そしてマーカー50cは、単一の臨床イベントを表す。マーカー52a、52b、52f、52g、そして52hは、実験結果イベントのクラスタを表す。マーカー52c、52d、52eは、単一の実験結果イベントを表す。マーカー54a、54b、54c、54eは、撮像イベントのクラスタを表す。マーカー54dは、単一の撮像イベントを表す。マーカー56a、56b、56eは、生命兆候イベントのクラスタを表す。56c、56dは、単一の生命兆候イベントを表す。
いくつかの実施形態において、特定のイベントは、重大なイベントとして分類される。クラスタリングアルゴリズムは、重大なイベントをその他のどのイベントとも一緒にクラスタしないよう構成される。重大なイベントは、時間軸のどこで発生しようが、単一のイベントとして常に表される。例えば、患者の心臓発作を表す重大なイベントは、それ自体で常に表示することができ、他のその他のどんなイベントともクラスタされない。
エピソードは、クラスタの特有のタイプであると考えることができる。エピソードは、エピソードの始まりと終わりとの間に起きる、チャイルドイベントのセットを典型的に有する。チャイルドイベントは、どのカテゴリのイベントにもなり得る。エピソードは、全てのカテゴリのうちの任意のものからのイベントを使用して決定することができる。チャイルドイベントは、クラスタの一部として表示することができる、及び/又は、別箇のカテゴリにおいて表示することができる。
図3の実施形態において、イベント、実験、撮像、バイタルのカテゴリに加え示される別箇のカテゴリとして、エピソードがプロットされる。その他の実施形態において、エピソードは、既存のカテゴリ(例えば、イベント、実験、撮像、バイタル)におけるタイムラインでプロットされる。その他の実施形態(例えば、図3の実施形態)において、エピソードは、別箇のカテゴリとしてプロットされる。
いくつかの実施形態において、多くの要素からなるエピソードは、エピソードのクラスタに結合させてもよい。クラスタリング回路27は、クラスタリングアルゴリズムを使用してエピソードをクラスタするよう構成される。エピソードをクラスタするために使用される係るクラスタリングアルゴリズムは、イベントをクラスタするために使用されるクラスタリングアルゴリズムと同じでもよいし、異なっていてもよい。
イベントのグループが現在の時間のフォーカスポイントから離れた位置にある場合に、イベントがタイムラインに負担をかけ過ぎることなく、かつ近傍のイベントを曖昧にさせることの無い様に、クラスタリングは実行される。クラスタリング及び集約は、現在のコンテキストに関連して表示される要素を維持してもよい。
非線形ビュー空間でクラスタリングを実行することにより、クラスタリングは、関心時点に対して比較的近い時間でより粒度が高く(より詳細を示す)することができ、かつ関心時点から離れた時間でより粒度を低く(より大まかに示す)することができる。クラスタリングの粒度の変化は、タイムラインの異なる部分に対する異なるクラスタリングアルゴリズム、又は異なるクラスタリングパラメータ値を定義せずに、達成されてもよい。クラスタリングの粒度は、タイムラインに沿って滑らかに変化してもよい。
エピソードの使用は、ユーザにコンテキストについての情報を提供してもよい。
ステージ36で、クラスタリング回路27は、クラスタサマリを生成するために、各クラスタにおけるイベントを要約する。クラスタリング回路27は、サマリ生成部の一例である。クラスタサマリは、短いテキストである。本実施形態において、クラスタサマリは、ユーザがクラスタを表すマーカーを選択するか、又はマーカーの上にカーソルを置くと現れる、ポップアップテキストに表示される。テキストボックスは、「ツールチップ」と呼ばれる。
クラスタリング回路27は、クラスタサマリ生成アルゴリズムを使用して各クラスタにおけるイベントを要約する。クラスタサマリ生成アルゴリズムは、クラスタに関する全てのイベントを解析し、関連するサマリテキストを生成するために使用される。クラスタサマリ生成アルゴリズムは、一緒にクラスタされるイベントのセットを要約してもよい。
クラスタサマリ生成アルゴリズムは、クラスタにおける各イベントへ、重要度についての重み付けを適用してもよい。いくつかの実施形態において、サマリは、重要度が最も高いイベントであることを表す。重要なイベントは、これらのイベントに関する情報がペアレントクラスタへと確実に伝播されるように、フラグ付けされてもよい。またいくつかの実施形態において、有用度の低い情報は、より積極的にクラスタされる。
プロットは、イベントの顕著な特徴に依存することがある。いくつかの実施形態において、クラスタサマリ生成アルゴリズムは、ルーチンであると考えられるイベントに比べて、異常値であると考えられるイベントに対し、より高い重み付けを加える。例えば、クラスタサマリ生成アルゴリズムは、通常の実験結果に比べて、異常な実験結果をより重要と扱っても構わない。
診察結果又は治療成果はより高いレベルで有益であると考えられる場合があるため、状況によっては、診察結果又は治療成果は、サマリテキストにおいて優先されてもよい。
いくつかの実施形態において、クラスタサマリ生成アルゴリズムは、クラスタを要約するために、カテゴリ化ストラテジーを使用する。カテゴリ化ストラテジーは、例えば、要約が最も重要なイベント又は最も重要な複数のイベントを確実にカバーするために、重要度についての重み付けの使用を含んでもよい。
クラスタサマリ生成アルゴリズムは、要約されているイベントのカテゴリ(例えば、イベント、実験、撮像、又はバイタル)に依存して変化することがある。要約に関するルールは、カテゴリ毎に特有な場合がある。例えば、薬剤イベントのサマリは、撮像イベントのサマリとは異なる場合がある。異なる薬は、異なる重要値を有することがある。情報の特定の一片に関する高い重要値は、その情報の一片が要約において含まれる尤度を上げる場合がある。
いくつかの実施形態において、スマートなサマリテキストを生成するために、機械学習が使用される。
ステージ38で、表示回路28は、表示を生成するために、ステージ34からの投影されたイベント及びエピソードと、ステージ36からの要約とを使用する。本実施形態において、表示は、図3に図示されるようなプロット44である。プロット44は、表示スクリーン16上に示される。その他の実施形態において、任意の適切な表示が生成される。表示は、「スマートタイムラインビュー」と呼ばれることもある。
表示回路28は、x軸に沿った非線形タイムライン46とy軸に沿ったカテゴリリストとを描く。表示回路28は、イベントとイベントのクラスタとを表すために、マーカー50aから56eを描く。各マーカーは、そのカテゴリを表す、プロット44の帯において表示される。表示回路28は、プロット44のエピソード帯におけるエピソードを表すために、マーカー60aから60dを描く。
ステージ40で、表示回路28は、例えば、マウス又はその他の入力デバイス18を用いて、ユーザインターフェースを通しユーザ入力を受け取る。係るユーザ入力は、「ユーザインターフェースイベント」としても説明される。
本実施形態において、ユーザ入力は、選択されたクラスタを、パンコマンド、ズームコマンド、クラスタ上にマウスを置く、ビューコマンド、又はダブルクリックとすることができる。その他の実施形態において、任意の適切なユーザ入力を受け取ることができる。
ステージ42で、表示回路28は、ユーザ入力に依存するビューパラメータのセットに対する値を取り出す、又は計算する。ビューパラメータは、ステージ34で使用されるものと同じ場合もあるし、又は違う場合もある。ビューパラメータの少なくとも1つに対する値は、ユーザ入力に依存して変化する場合もある。
下記ではユーザ入力の特定の例についていくつか検討する。その他の実施形態において、任意の適切なユーザ入力を受け取ることができ、ビューパラメータに対する値は、任意の適切な方法でアップデートすることができる。
ビューパラメータに対する値がアップデートされた場合に、図2のフローチャートは、ステージ34へと戻る。ステージ34で、投影回路26は、アップデートされたビューパラメータに従って決定された、新たなビュー空間へとイベントを投影する。
クラスタリング回路27は、クラスタリング手順をイベントの新たな投影に適用する。ビュー空間が変更された場合に、イベントのクラスタリングも変化する場合がある。
フローチャートは、ステージ36へと進む。ステージ36で、クラスタリング回路27は、各新たなクラスタにおけるイベントを要約する。ステージ38で、表示回路28は、アップデートされたビューパラメータに従ってプロット44を再度描き、アップデートされた表示が表示スクリーン16上に示される。
ステージ40、42、34、36、38は、ユーザがユーザインターフェースを介してユーザ入力を提供する毎に、繰り返される。
次に、ステージ40でマウス又はその他の入力デバイス18を介して受け取ることができる、ユーザ入力の特定の例について検討する。
ユーザ入力の一例は、パンコマンドである。係るパンコマンドは、タイムラインが異なる時間に中心が来るようにして、タイムラインを左右に動かすようなコマンドの場合がある。
本実施形態において、タイムラインは、関心時間の中心に常にあり、「フォーカルタイムポジション」と呼ぶこともできる。表示回路28がパンコマンドを受け取ると、表示回路28は、係るパンコマンドに従って、新たなフォーカルタイムポジションを設定する。例えば、ユーザがタイムラインに沿って右へとパンした場合に、表示回路28は現在表示されているフォーカルタイムポジションに比べて、より時間的に遅いフォーカルタイムポジションを設定する。
ピクセル毎の時間デルタを示す、図5のプロットへと再び話題を戻す。パンコマンドが受け取られたら、図5の曲線72とそのフォーカルポイント74とは、x軸に関して同じ状態で留まる、と考えることができる。しかしながら、図5のx軸上の位置は、異なる時間にあることがわかる。ピクセル毎の時間デルタは、新フォーカルタイムポイントで最小値である。
ステージ34が新たなビューパラメータに対して繰り返された場合に、イベントは、次に新たなフォーカルタイムポジション上に中心が置かれる、新たな非線形タイムラインへと投影される。フォーカルタイムポジションにおける変化は、どのイベントがクラスタされ、かつどれが個別のイベントとして示されるのかを変える場合がある。新フォーカルタイムポイントで又はそれに近いクラスタリングの粒度は、以前の場合に比べて、より高くなる場合がある。また逆に旧フォーカルタイムポイントでのクラスタリング粒度が、以前の場合に比べて、より低くなる場合もある。
その他の実施形態において、関心時点を変更することなく、及び/又は、タイムラインに沿ったピクセル毎の時間デルタに対する値を何ら変更することなく、スクリーン表示に対してタイムラインを移動させる、更なるパンコマンドが提供される場合がある。
次に、ズームコマンドをユーザが提供した場合について考えてみる。ユーザがズームコマンドを提供しても、フォーカルタイムポジションは変わらない。係るズームコマンドに応答して、表示回路28は、フォーカルタイムポジションでのスケールを増加させるために、フォーカルタイムポジションでのピクセル毎の時間デルタを減らす。
図5のプロット図を再検討する。曲線上の最も低い点74(関心時点を表す)は、「中心制御点」とも呼ばれる。ズーミングは、中心制御点74を動かし、中心制御点でのピクセル毎の時間デルタが低下する。
本実施形態において、最も低い点74がより低くされた場合に、曲線72の残りは以前と同じように、両端が留まるように補間される。バイアスファクタは、分布を変化させる曲線の形状を変えるように設定される。その他の実施形態において、曲線72全体は、ズームコマンドに応答して下方へと動かすことができる。
ズームコマンドは、フォーカルタイムポジションの周りのスケールを変えることにより、非線形タイムラインのビューパラメータを変更する。投影回路26は、新たな非線形タイムラインを使用してイベントをビュー空間へと投影する。クラスタリング回路27は、クラスタリング手順を新たに投影されたイベントへと適用する。フォーカルタイムポジションでの、又はフォーカルタイムポジション近くでのクラスタリングの粒度は、スケールの変更により、増加する場合がある。
コマンドにおけるズーム(つまりスケールの増加)は、上述の通りであるが、ズームコマンドは、フォーカルタイムポイントでのピクセル毎の時間デルタがズームコマンドに応答して減少する、ズームアウトとすることもできる。
いくつかの実施形態において、関心時点と関連しない時間軸の選択された部分のスケールを変更するために、ユーザが指示を与える。表示回路28は、時間軸の選択された部分のスケールを変更しながら、関心時点に対して使用されたスケールを維持してもよい。また、表示回路28は、時間軸の選択された部分でのクラスタリングの粒度を変更しながら、関心時点でのクラスタリングの粒度を維持してもよい。
パン又はズームコマンドが与えられたら、表示回路28により示されるビューは、典型的には、状況毎に滑らかに動く。滑らかな遷移を実現するために、ビューパラメータが補間されてもよい。例えば、フォーカルタイムポイント又はズームレベルは、時間にわたり滑らかに変更することがある。パラメータは、ユーザが変化を見ることができるぐらい十分にゆっくりと変わることもある。状況の変化を動画として表示することにより、ユーザにとってより容易に変化を理解し易いものとなる場合がある。
上記で述べたとおり、クラスタを表すマーカー上でマウスを留まらせることがユーザ入力に含まれる場合、表示回路28は、係るクラスタに関するサマリ情報を与える短いテキストメッセージを具備する、ツールチップを表示する。イベントを表すマーカー上でマウスを留まらせることがユーザ入力に含まれる場合、表示回路28は、係るイベントに関する情報を与える短いテキストメッセージを具備する、ツールチップを表示してもよい。その他の実施形態において、例えば、クラスタ又はイベントを表すマーカーが選択された場合に、1回のマウスクリックで、又は任意のその他の適切な選択法で、ツールチップが表示されてもよい。
本実施形態において、クラスタ上にマウスがない場合、図3に示される様に、タイムライン上に縦のラインマーカー49が表示されてもよい。その他の実施形態において、縦のラインマーカー又はその他のタイムマーカーを、任意の適切な状況で使用することができる。いくつかの実施形態において、1つ以上の縦ラインマーカー又はその他のタイムマーカーが置かれる場合もある。いくつかの実施形態において、テキストボックスは、縦のラインマーカーに対応する日付を、及び/又は、現在の日付を或いはフォーカルタイムポイントを通過した時間量を、表示する。
次に、ユーザ入力がクラスタを表すマーカーをダブルクリックすることである場合について、検討する。本実施形態において、表示回路28がクラスタへのダブルクリックのユーザ入力を受け取った場合、表示回路28は、フォーカルタイムポイントとピクセル毎の時間デルタとを設定する。時間デルタは、クラスタがその構成しているイベントへ自動的に展開されるように設定される。例えば、表示回路28は、フォーカルタイムポイントを、クラスタの開始時間とその終了時間との中間となる時間としてもよい。表示回路28は、クラスタに以前に含まれていたイベントの全てが、今度は個別のイベントとして示されるようにして、ズームレベルを設定してもよい。
表示回路28は、クラスタの展開を、展開していない状態と展開した状態との間で滑らかな動画として表示してもよい。展開を動画として表示することにより、展開処理をユーザが理解する手助けとなる場合がある。
表示回路28は、ユーザが以前の値へと戻ることができるように、ビューパラメータの以前の設定(例えば、フォーカルポイントやズームレベル)を維持することもある。
図2を参照に上記で説明された方法は、患者イベントを表示かつ要約するための非線形タイムラインを提供する。これにより、視覚化に対し注目及びコンテキストが与えられる。その他のイベントが要約される一方で、特定の時点での関連イベントの高い正確性のビューが提供される。
優先的な期間から外れて位置する病歴中のイベントは、病歴を調査するために、ユーザとの相互作用を必要とすることなく、ユーザへと表示される。対照的に、公知の方法の中には、与えられた時間枠のみを表示し、現在の時間枠外のイベントを表示しないものがある。また、病歴全体を示し、そして十分な過去のデータを示す公知の方法では、フォーカルポイントでのイベントに関する精度の高さやコンテキストが失われることがある。
状況によっては、ユーザは、表示との相互作用を取ることなく、適切な情報が提示されてもよい。状況によっては、ユーザインタラクション数が減ることがある。重要度の低い情報のクラスタがユーザに提示されることがある。ユーザは、より詳細な情報の取得を望んだ場合、クラスタを展開する能力を有してもよい。
図2、3、5に関して上記で説明された実施形態において、時間軸上の関心の単一の時点が存在する。関心時点の周辺の領域は、大きなスケールで表示され、かつプロット44の中心に表示される。スケールは、関心時点からの距離に応じて減少する。
その他の実施形態において、1つ以上の時点が関心となる場合がある。例えば、臨床医は、より高い解像度で今日の日付で、又は今日の日付に近いイベントを眺めたいと思う場合があり、またより高い解像度で患者の手術の、又は手術に近いイベントを眺めたいと思う場合もある。臨床医は、手術日と今日の日付との間に発生するイベントにおいては、関心が薄い場合がある。
図6は、2つの関心時点77、78が存在するシナリオに対する、ピクセル毎の時間デルタに対するx軸位置のプロット図を示す。ピクセル毎の時間デルタが最も低い点(したがって最も大きなスケール)は、点77及び点78両方で発生する。点77と点78との間で、ピクセル毎の時間デルタは増加している。ピクセル毎の時間デルタは、点77を下回りかつ点78を上回るx軸上の2つの位置に関しても増加する。
第2のフォーカルポイントは、2つの期間の間の時間を圧縮して、2つの期間を正確に表示するために使用される。システムは、両方のフォーカルタイムポイントの周りのイベントを明確にするよう、非線形関数をセットアップする。
図7は、非線形タイムライン関数がより高い時間解像度で2つのフォーカルタイムポイントを示すよう選択される、プロット80の例を示す。カテゴリ軸84は、非線形時間軸82に対して描かれる。2つのフォーカルタイムポイントは、タイムマーカー86と88とで示される。タイムマーカー86は、2016年6月26日午前10時45分に位置する。対するタイムマーカー88は、2016年9月7日午前9時45分に位置する。
プロット80のイベント帯は、クラスタを表すマーカー90a、90b、90e、90fと、単一のイベントを表す90c、90dとを含む。プロット80の実験帯は、クラスタを表す92a、92b、92i、92j、92kと、単一のイベントを表す92c、92d、92e、92f、92g、92hのマーカーとを含む。プロット80の撮像帯は、クラスタを表す94a、94b、94eと、単一のイベントを表す94c、94dとを含む。プロット80のバイタル帯は、クラスタを表す96a、96b、96gと、単一のイベントを表す96c、96d、96e、96fとを含む。
当該例において、クラスタリングの粒度は、関心の2つの時点86、88の両方に近いと高く、係る時点のそれぞれに近いイベントは、個別のイベントとして表されかつクラスタされない可能性が高い。時点から遠いイベントは、クラスタされかつクラスタの一部として表される可能性がより高い。図7に図示されていないが、関心の2つの時点の間のイベントは、その2つの時点自体でのイベントに比べて、クラスタされる可能性がより高い場合もある。
その他の実施形態において、2つ以上の関心期間が存在する場合がある。いくつかの実施形態において、ピクセル毎の異なる時間デルタは、関心期間のそれぞれに対して使用することができる(ピクセル毎の時間デルタに対するx位置のプロットは、深さの異なる谷を2つ以上有する場合がある)。
関心期間の2つ(又はそれ以上)でより大きなスケールを使用することで、臨床医は、例えば複合的な重要イベント、又は診療の複合的な期間等、複合的な期間に関する情報を見るために、ビューを作ることができてもよい。
患者の医療記録に表される任意の期間等、任意の適当な期間を表す、例えば、エピソード毎に関心期間が設定されてもよい。このとき、例えば、エピソード毎に、ピクセル毎の時間デルタが最も低い点が発生する。
関心の時期の間に何が発生したかについて、臨床医の関心が薄い場合もある。関心の1つの期間以上での非線形タイムラインの使用により、より柔軟かつ順応性のある表示を提供することができる。
図8、9、10は、ビュー空間の異なる領域に対する時間密度に関し、ユーザへヒントを与えるために、係るビュー空間の背景色又はテクスチャが変更される、実施形態に関する。
図3及び7の実施形態において、タイムライン上の各位置でのタイムラインのスケールは、時間軸46、82上にタイムマーキングすることで、ユーザに対して示される。しかしながら、時間軸の長さに沿ったピクセル毎の時間デルタにおける変更の、更なる視覚的なインジケーションを有することが、ユーザにとって役立つ場合がある。
図8は、時間密度における変動を示すために、背景色輝度が変更されるビュー空間を有する、プロット100を示す。ビュー空間は、非線形時間軸102とカテゴリ軸104とを具備する。ビュー空間の色(図8ではグレースケールで示される)は、x軸に沿った位置で変わる。時間軸のスケールが大きければ、より明るい背景色が使用される。反対に時間軸のスケールがより小さい箇所では、より暗い背景色が使用される。その他の実施形態において、任意の視覚効果のタイプ(例えば色、テクスチャ、又はパターンを含むことができる)を使用して、異なるスケールを有する非線形時間軸の一部を区別してもよい。
図8の実施形態において、色を定義するために勾配テーブルが使用され、かつ係るテーブルをインデックスするためにピクセル毎の時間デルタが使用される。
図9は、ピクセル毎の時間デルタを背景色へと関連付ける、勾配テーブルの使用を表す概略的なダイヤグラムである。図9は、勾配テーブル110と、図4で示されるピクセル毎の時間デルタに対するx軸位置の概略的なプロット図とを組み合わせた図である。ライン112は、x位置の関数として、ピクセル毎の時間デルタを表す。x軸上の各位置に対して、ピクセル毎の時間デルタは、ライン112によって表された関数から決定することができ、その場合に色は、ピクセル毎の時間デルタに対する値に基づいた勾配テーブルから選択することができる。一例が図9に示される。ライン116は、x軸位置118をライン112上の対応する位置120と繋げる。ライン122は、その後ライン112上の位置120と縦軸上のピクセル毎の時間デルタに対する値124へと繋げる。ライン122は、勾配テーブル110を横断(cut through)し、係る勾配テーブル110からの色値を示している。
図10は、ピクセル毎の時間デルタに対するx軸位置の概略的なプロット図を伴う、勾配テーブル130の使用を表す、概略的なプロット図である。図10において、ライン132は、x軸の関数としてピクセル毎の時間デルタを表す。ライン132は、2つの関心期間を表す、2つの最小値を有する。ライン136は、x軸位置138をライン132上の対応する位置140と繋げる。ライン142は、その後ライン132上の位置140と縦軸上のピクセル毎の時間デルタに対する値144へと繋げる。ライン132は、勾配テーブル130を横断し、勾配テーブル130からの色値を示している。
図8、9、10に示される実施形態において、色(例えば、色の明るさ及び/又は輝度)を選択するためにテーブルが使用される。その他の実施形態において、色は、タイムラインに沿って入れ替えることもできる。例えば、色は、週毎、又は年毎に交互にすることもできる。
背景色の使用は、線形タイムラインというよりも非線形タイムラインを観察しているユーザに、直接的かつ視覚的なキューを与えることができる。また、非線形タイムラインをナビゲートしているユーザを支援することもできる。背景色又はテクスチャは、タイムラインの非線形性をはっきりさせるように選ぶこともできる。
その上、局所スケールに依存する日、週、又は年を描き出すために、縦ライン106が使用される。
ピクセル毎の時間デルタ対x軸位置のプロット図は、図4、5、6、9、10においては、図示する目的の為に描かれている。本実施形態において、ピクセル毎の時間デルタの曲線がユーザに表示されないことに留意されたい。ピクセル毎の時間デルタ曲線は、ピクセル毎の時間デルタをx軸上の位置と関連付ける内部的な関数の概略的な図である。図4、5、6、9、10のプロット図は、表示回路28の内部的な働きの描写を提供することもできる。
表示回路28は、ピクセル毎の時間デルタに対するx軸位置を関連付ける関数を格納する。関数の任意の適切な表現が使用されてもよい。関数は、ユーザ入力に応答してアップデートされる。したがって、関数を変える入力を提供するために、ユーザがピクセル毎の時間デルタに対するx軸位置のプロットを見る必要はない。
上記の時点についての参照は、拡張された時間の時期にも言及されてもよい。例えば、関心時点についての参照は、関心のある時期も言及することがある。関心のある期間は、例えば、1時間、1日、1週間、1月、又は1年等、任意の適当な長さとすることができる。
特定の実施形態は、時間軸が非線形であり、イベントのクラスタが非線形タイムラインへの投影に基づいて決定され、またマーカーの収集が1つのイベント、又は異なる時点での複数のイベントの収集に対応するビュー上に描かれる、相互作用的なタイムラインビューを具備する医用撮像装置を提供する。
特定の実施形態は、様々なヘルスケアインフォーマティックスシステムからの、患者に関するイベントを寄せ集めるモジュールを具備する、医用撮像装置を提供する。係るモジュールは、ケアの時期の開始と終了とに対応するイベントを見つけ出し、これらのイベントは、ケアのエピソードを定義するためにマッチされ、これらのエピソードは、ユーザに対してテキストでの情報を表示するために、アプリケーションにおいて使用される。
タイムラインは、患者の生涯の一部と対応してもよく、イベントは、ヘルスケアシステムとのインタラクションと関連付けてもよい。ユーザは、特定の時点でのイベントの詳細を見るために、ビューパラメータを設定することができる。ビューの範囲及びフォーカルタイムポイントは、最も関連する又は直近の情報を表示するために、システムによって決定することができる。エピソードは、非線形タイムライン上の位置に関連するスケールで、タイムライン上に表示することができる。背景色又はテクスチャは、タイムラインの非線形性をはっきりさせるために、選ぶことができる。クラスタに関するサマリテキストは、クラスタに対応するイベントの全ての詳細の重要度重み付けを使用して、決定することができる。複合的なフォーカルタイムポイントとシステムとが、両方のタイムポイントの周辺のイベントをはっきりさせるために、非線形関数をセットアップする場合も存在する。サマリテキストのコンテンツは、ユーザがマーカーを選択する場合、又はマーカー上にカーソルを置いた場合に、ポップアップボックス内に表示することもできる。
特定の実施形態は、メモリから患者に関する情報を収集するよう構成された収集回路と、収集された情報に基づき、患者への診療に関する第1期間を取得するクラスタリング回路と、時間軸に沿って患者に関する情報をディスプレイに表示させ、第1期間についての第1領域に、第1期間以外の第2期間についての第2領域よりも大きなスケールを設定する表示回路と、を具備する医用情報処理装置を提供することができる。
表示回路は、患者に関する情報を分類し、分類した情報をディスプレイに表示させることができる。
表示回路は、患者に関する情報を入院患者又は外来患者として分類するよう構成することができる。
表示回路は、時間軸に対して基準期間を設定し、時間軸の粒度を変更する命令を与え、基準期間か、又は基準期間に対する予測の時間軸の粒度を変更する場合での基準時を含む範囲かのどちらかの粒度を維持するよう構成することができる。
本明細書では特定の回路が説明されたが、代替的な実施形態においては、これらの回路の1つ以上の機能性が単一の処理リソース又はその他構成要素によって提供されることも可能であり、あるいは単一の回路によって提供される機能性が2つ以上の処理リソース又はその他の構成要素の組み合わせで提供されることも可能である。単一回路への言及は、多数の構成要素が互いに離れているか否かにかかわらず、単一の回路の機能性を提供する多数の構成要素を包含し、複数回路への言及は、複数の回路の機能性を提供する単一の構成要素を包含する。
特定の実施形態が説明されたが、これらの実施形態は単に一例として提示されているだけであり、本発明の範囲を限定することを意図としていない。実際、本明細書に説明された新規の方法およびシステムは、他の様々な形態で実施されてもよい。さらに、本明細書に記載される方法およびシステムの形態において、様々な省略、置換、および変さらが本発明の趣旨から逸脱することなく行われてもよい。添付の特許請求の範囲およびその均等物は、本発明の範囲内に入るそのような形態および修正形態を含むように意図されている。
10…医用情報表示システム
12…医用情報処理装置
16…表示スクリーン
18…入力デバイス
20…データストア
22…中央処理装置
24…収集回路
25…処理回路
26…投影回路
27…クラスタリング回路
28…表示回路

Claims (15)

  1. 時間値が関連付けられている患者に関する情報を収集する収集部と、
    前記収集された情報に基づき、前記患者への診療に関する第1期間を取得する取得部と、
    時間軸に沿って前記患者に関する情報をディスプレイに表示させ、前記第1期間についての第1領域に、前記第1期間以外の第2期間についての第2領域よりも大きなスケールを設定し、前記第1領域及び第2領域における粒度を決定する表示制御部と
    前記粒度に基づき、前記患者に関する情報をクラスタするクラスタリング部と、
    クラスタに関するイベントの内容に基づいて、前記クラスタのサマリテキストを生成するサマリ生成部と、
    を具備し、
    前記表示制御部は、前記時間軸上の前記患者に関する情報を表すマーカーの位置、及び/又は前記時間軸上のクラスタを表すマーカーの位置を決定し、前記サマリテキストを前記ディスプレイに表示させ、
    粒度の低い領域に位置するクラスタのマーカーは、粒度の高い領域に位置するクラスタのマーカーより多くの情報を含む、
    医用情報処理装置。
  2. 前記表示制御部は、前記患者に関する情報を分類し、前記分類した情報を前記ディスプレイに表示させる請求項1記載の医用情報処理装置。
  3. 前記表示制御部は、前記患者に関する情報の、前記時間軸上の位置に基づいて当該情報を分類する請求項2記載の医用情報処理装置。
  4. 前記表示制御部は、入院中か否かに基づいて前記患者に関する情報を分類する請求項2記載の医用情報処理装置。
  5. 前記表示制御部は、データ収集の周期に基づいて前記患者に関する情報を分類する請求項2記載の医用情報処理装置。
  6. 前記表示制御部は、重要度、顕著な特徴、前記患者に関する情報により表されるイベント、及び測定が異常値であるか、のうちの少なくとも1つに基づき、前記情報を分類する請求項2記載の医用情報処理装置。
  7. 前記表示制御部は、スケールの小さな領域では、前記粒度を低く、スケールの大きな領域では前記粒度を高く設定する請求項記載の医用情報処理装置。
  8. 前記表示制御部は、前記第1領域及び第2領域における粒度を決定し、スケールの小さな領域では、前記粒度を低く、スケールの大きな領域では前記粒度を高く設定する請求項1記載の医用情報処理装置。
  9. 前記時間軸のスケールは、前記時間軸に沿った距離に伴って連続的に変化する請求項1乃至のいずれかに記載の医用情報処理装置。
  10. 前記取得部は、1つ又は複数のエピソードを前記患者への診療に関する第1期間について取得する請求項1乃至のうちいずれかに記載の医用情報処理装置。
  11. 前記表示制御部は、ユーザからの少なくとも1つの入力信号を受け取り、前記入力信号に基づいて、前記時間軸及び/又はクラスタリングの粒度を調整する請求項1、7、8のいずれかに記載の医用情報処理装置。
  12. 前記時間軸の調整は、表示する時刻と、前記時間軸の少なくとも一部のスケールと、前記時間軸に沿ったスケールの変化の割合と、関心期間とのうちの少なくとも1つの調整を含む請求項11記載の医用情報処理装置。
  13. 前記時間軸に沿った前記情報の表示は、異なるスケールを有する前記時間軸の領域を区別するために視覚効果の適用を含み、前記視覚効果は、色及び/又はテクスチャを含む請求項1乃至12のいずれかに記載の医用情報処理装置。
  14. 前記収集部は、少なくとも1つのメモリから前記患者に関する情報を収集し、
    前記少なくとも1つのメモリは、1つ又は複数のヘルスケアインフォーマティックスシステム(healthcare informatics system)の一部を担う、又は形成する請求項1乃至13のいずれかに記載の医用情報処理装置。
  15. 時間値が関連付けられている患者に関する情報を収集する収集部と、
    前記収集された情報に基づき、前記患者への診療に関する第1期間を取得する取得部と、
    前記第1期間についての第1領域に、前記第1期間以外の第2期間についての第2領域よりも大きなスケールを設定し、前記第1領域及び第2領域における粒度を決定する表示制御部と、
    時間軸に沿って前記患者に関する情報を表示するディスプレイと
    前記粒度に基づき、前記患者に関する情報をクラスタするクラスタリング部と、
    クラスタに関するイベントの内容に基づいて、前記クラスタのサマリテキストを生成するサマリ生成部と、
    を具備し、
    前記表示制御部は、前記時間軸上の前記患者に関する情報を表すマーカーの位置、及び/又は前記時間軸上のクラスタを表すマーカーの位置を決定し、前記サマリテキストを前記ディスプレイに表示させ、
    粒度の低い領域に位置するクラスタのマーカーは、粒度の高い領域に位置するクラスタのマーカーより多くの情報を含む、
    医用情報表示システム。
JP2019181502A 2019-01-31 2019-10-01 医用情報処理装置及び医用情報表示システム Active JP7404014B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/262,986 US20200251192A1 (en) 2019-01-31 2019-01-31 Medical display system and method
US16/262,986 2019-01-31

Publications (2)

Publication Number Publication Date
JP2020126580A JP2020126580A (ja) 2020-08-20
JP7404014B2 true JP7404014B2 (ja) 2023-12-25

Family

ID=71835754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019181502A Active JP7404014B2 (ja) 2019-01-31 2019-10-01 医用情報処理装置及び医用情報表示システム

Country Status (2)

Country Link
US (1) US20200251192A1 (ja)
JP (1) JP7404014B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230047849A (ko) 2021-10-01 2023-04-10 네이버 주식회사 초대형 언어 모델을 이용한 문서 요약 방법 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012079200A (ja) 2010-10-05 2012-04-19 Kddi Corp 時系列データの疎密に応じてタイムスケールを変更するユーザインタフェースプログラム、システム及び方法
JP2013088876A (ja) 2011-10-13 2013-05-13 Kddi Corp 画像表示装置、画像表示システムおよびプログラム
JP2016024793A (ja) 2014-07-24 2016-02-08 株式会社エクシオン 麻酔記録管理装置
WO2016080079A1 (ja) 2014-11-21 2016-05-26 富士フイルム株式会社 時系列データ表示制御装置、その作動方法及びプログラム、並びにシステム
JP2018173897A (ja) 2017-03-31 2018-11-08 キヤノンメディカルシステムズ株式会社 医用情報処理装置及び医用情報処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3469504A1 (en) * 2016-06-13 2019-04-17 Medical Informatics Corporation User interface for displaying patient historical data
US11164665B2 (en) * 2016-10-11 2021-11-02 Cerner Innovation, Inc. Visualizing patient conditions over time
US11830590B2 (en) * 2018-06-27 2023-11-28 Cerner Innovation, Inc. Maintaining context of clinically relevant information when displayed

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012079200A (ja) 2010-10-05 2012-04-19 Kddi Corp 時系列データの疎密に応じてタイムスケールを変更するユーザインタフェースプログラム、システム及び方法
JP2013088876A (ja) 2011-10-13 2013-05-13 Kddi Corp 画像表示装置、画像表示システムおよびプログラム
JP2016024793A (ja) 2014-07-24 2016-02-08 株式会社エクシオン 麻酔記録管理装置
WO2016080079A1 (ja) 2014-11-21 2016-05-26 富士フイルム株式会社 時系列データ表示制御装置、その作動方法及びプログラム、並びにシステム
JP2018173897A (ja) 2017-03-31 2018-11-08 キヤノンメディカルシステムズ株式会社 医用情報処理装置及び医用情報処理方法

Also Published As

Publication number Publication date
US20200251192A1 (en) 2020-08-06
JP2020126580A (ja) 2020-08-20

Similar Documents

Publication Publication Date Title
US20180330457A1 (en) Electronic health record timeline and the human figure
US8526693B2 (en) Systems and methods for machine learning based hanging protocols
US10909168B2 (en) Database systems and interactive user interfaces for dynamic interaction with, and review of, digital medical image data
US11081234B2 (en) Clinical support systems and methods
US20110161854A1 (en) Systems and methods for a seamless visual presentation of a patient's integrated health information
US20080208631A1 (en) Methods and systems for providing clinical documentation for a patient lifetime in a single interface
US11195610B2 (en) Priority alerts based on medical information
US11061537B2 (en) Interactive human visual and timeline rotor apparatus and associated methods
US20090018867A1 (en) Gesture-based communication and reporting system
EP2151780A1 (en) Single select clinical informatics
JP7123608B2 (ja) 医用データ提示装置及び医用データ提示プログラム
US20190348156A1 (en) Customized presentation of data
CN117501375A (zh) 用于人工智能辅助图像分析的系统和方法
JP7404014B2 (ja) 医用情報処理装置及び医用情報表示システム
RU2723075C2 (ru) Определение последовательности радиологических изображений для оптимальной пропускной способности считываний
JP2018173902A (ja) コンピュータプログラム、表示装置、表示システム及び表示方法
Kelley et al. Visual grids for managing data completeness in clinical research datasets
Bui et al. The evolution of an integrated timeline for oncology patient healthcare.
JP7140109B2 (ja) 表示装置、表示システム、コンピュータプログラム、記録媒体及び表示方法
JP6988134B2 (ja) コンピュータプログラム、表示装置、表示システム及び表示方法
KR102337867B1 (ko) 의료 정보 조회 및 입력 시스템, 의료 정보 조회 및 입력 방법, 및 이를 수행하는 프로그램
US20210157459A1 (en) Methods and systems for displaying associations and timelines of medical studies
King The development and evaluation of a learning electronic medical record system
Shenvi et al. Visualization of Patient-Generated Health Data: A Scoping Review of Dashboard Designs
Suo Pictorial Visualization System with Patient Portal for Problem-based Electronic Medical Record

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220720

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20230106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231213

R150 Certificate of patent or registration of utility model

Ref document number: 7404014

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150