JP2023526412A - 情報処理方法、電子装置、及びコンピュータ記憶媒体 - Google Patents

情報処理方法、電子装置、及びコンピュータ記憶媒体 Download PDF

Info

Publication number
JP2023526412A
JP2023526412A JP2022570409A JP2022570409A JP2023526412A JP 2023526412 A JP2023526412 A JP 2023526412A JP 2022570409 A JP2022570409 A JP 2022570409A JP 2022570409 A JP2022570409 A JP 2022570409A JP 2023526412 A JP2023526412 A JP 2023526412A
Authority
JP
Japan
Prior art keywords
information
medical
present disclosure
operator
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022570409A
Other languages
English (en)
Inventor
ヤン リー
リー チュアン
ニー ジャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2023526412A publication Critical patent/JP2023526412A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00059Operational features of endoscopes provided with identification means for the endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736Gastroscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Endoscopes (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本開示の例示的な実施形態は、情報処理方法、電子装置及びコンピュータ記憶媒体に関する。方法では、医療用検査機器の操作行為に関連付けられた第1情報を受信し、第1情報の少なくとも一部を出力する。第1情報は、医療用検査機器が操作中に行ったデータ収集に関連付けられている。上述の方法を用いれば、検査に関連付けられた操作行為の品質管理を行うことができるため、操作行為から得られた結果の品質、推奨操作との差異、提案される修正の方向、及び任意の可能な統計情報を示すことで、医師が医療用検査機器の操作を改善するのを支援することができる。また、対応する電子装置及びコンピュータ記憶媒体が提供される。【選択図】図33

Description

本開示の例示的な実施形態は、医療の品質管理の技術分野に関し、より具体的には、情報処理方法、電子装置及びコンピュータ記憶媒体に関する。
患者について実施される医学検査のプロセスは、通常、複雑な手作業を伴う。現在、コンピュータ技術の発展により医療補助操作に対し提供されるサポートが益々増えてきている。例えば内視鏡検査では、患者の体内の複数個所での画像データを取得できるように、医師は患者の体内で内視鏡を移動させる必要がある。異なる医師では操作に差が生じる可能性があり、例えば、経験豊富な医師は単独で全ての内視鏡検査プロセスを行うことができるが、経験の浅い医師は、所定のキーポイント位置を見逃し、且つ/又は内視鏡の不適切な移動により患者に不快感を与える可能性がある。そのため、有効な技術的解決手段を提供することによって、医療補助を行い、さらには内視鏡検査の操作を指導できるようにすることが期待されている。
また、医学のさらなる発展に伴い、医師が例えば内視鏡検査のような各種医療検査を行った後に、検査に関連付けられた操作行為について品質を管理できることが期待されている。
本開示の例示的な実施形態では、医療品質管理の技術的解決手段が提供される。
本開示の第1の態様によれば、情報処理方法が提供される。当該方法では、医療用検査機器の操作行為に関連付けられた第1情報を受信し、第1情報の少なくとも一部を出力する。第1情報は、医療用検査機器が操作中に行ったデータ収集に関連付けられている。
本開示の第2の態様によれば、情報処理方法が提供される。当該方法では、端末装置において、医療機器に関連付けられた第1識別情報を受信し、端末装置に関連付けられた操作者の第2識別情報を取得し、第1識別情報と第2識別情報に基づいて医療機器と操作者とを関連付ける。
本開示の第3の態様によれば、情報処理方法が提供される。当該方法では、端末装置において、医療機器による少なくとも1つの操作を示す、ユーザからの第1指示情報を受信し、少なくとも1つの操作の操作者を示す、ユーザからの第2指示情報を受信し、示された少なくとも1つの操作を、示された操作者に関連付ける。
本開示の第4の態様によれば、電子装置が提供される。当該装置は、少なくとも1つのプロセッサーと、少なくとも1つのプロセッサーに結合され、少なくとも1つのプロセッサーによって実行される命令が格納されている少なくとも1つのメモリとを含む。命令は、少なくとも1つのプロセッサーによって実行された場合、第1、第2、第3の態様のいずれかの態様に記載された方法を、装置に実行させる。
本開示の第5の態様によれば、コンピュータ可読記憶媒体が提供される。当該コンピュータ可読記憶媒体には、コンピュータ可読プログラム命令が格納され、前記コンピュータ可読プログラム命令は、第1、第2、第3のいずれかの態様に記載の方法を実行するためのものである。
発明の概要部分は、概念に対する選択を簡略化して提示するためのものである。これらについては、以下の実施形態においてさらに説明を行う。発明の概要部分の記述は、本開示の重要又は必要な特徴を標記することを意図したものではなく、本開示の範囲を限定することも意図していない。
図面と結び付けて本開示の例示的な実施形態をさらに詳細に説明することで、本開示の上述及びその他の目的、特徴及び利点が、より明らかになるはずである。本開示の例示的な実施形態において、同一の参照符号は通常、同一部材を表す。
本開示の例示的な実施形態かかる内視鏡検査を実施可能な人体の環境のブロック図を概略的に示す。
本開示の例示的な実施形態にかかる医療補助操作のブロック図を概略的に示す。
本開示の例示的な実施形態にかかる医療補助操作方法のフローチャートを概略的に示す。
本開示の例示的な実施形態にかかる移動モデルのブロック図を概略的に示す。
本開示の例示的な実施形態にかかる移動モデルを取得するためのプロセスのブロック図を概略的に示す。
本開示の例示的な実施形態にかかる画像シーケンスの1セットの画像シーケンスを1セットのキーポイント位置にマッピングするためのプロセスのブロック図を概略的に示す。
本開示の例示的な実施形態にかかるキーポイント位置に関連付けられた画像を保存用に選択するためのプロセスのブロック図を概略的に示す。
本開示の例示的な実施形態にかかる移動軌跡のデータ構造のブロック図を概略的に示す。
本開示の例示的な実施形態にかかる次の目的地位置を提供するためのプロセスのブロック図を概略的に示す。
本開示の例示的な実施形態にかかる医療補助操作を提供するためのユーザインターフェースのブロック図を概略的に示す。
本開示の例示的な実施形態にかかる医療補助操作を提供するための別のユーザインターフェースのブロック図を概略的に示す。
本開示の例示的な実施形態にかかる医療補助操作装置のブロック図を概略的に示す。
本開示の内容を実施するための例示的な実施形態の品質管理環境の模式図を概略的に示す。
バックステージ管理システムを実行する際の模式図1200を示す。
クライアントシステムを実行する際の模式図1300を示す。
クライアントシステムを実行する際の模式図1400を示す。
クライアントシステムを実行する際の模式図1500を示す。
本開示の例示的な実施形態にかかる情報処理方法1600のフローチャートを概略的に示す。
クライアントシステムを実行する際の模式図1700を示す。
本開示の例示的な実施形態にかかる情報処理方法1800のフローチャートを概略的に示す。
クライアントシステムを実行する際の模式図1900を示す。
クライアントシステムを実行する際の模式図2000を示す。
クライアントシステムを実行する際の模式図2100-1を示す。
クライアントシステムを実行する際の模式図2100-2を示す。
クライアントシステムを実行する際の模式図2200-1を示す。
クライアントシステムを実行する際の模式図2200-2を示す。
クライアントシステムを実行する際の模式図2200-3を示す。
クライアントシステムを実行する際の模式図2300を示す。
クライアントシステムを実行する際の模式図2400-1を示す。
クライアントシステムを実行する際の模式図2400-2を示す。
クライアントシステムを実行する際の模式図2500-1を示す。
クライアントシステムを実行する際の模式図2500-2を示す。
クライアントシステムを実行する際の模式図2500-3を示す。
クライアントシステムを実行する際の模式図2500-4を示す。
クライアントシステムを実行する際の模式図2500-5を示す。
クライアントシステムを実行する際の模式図2600を示す。
クライアントシステムを実行する際の模式図2700を示す。
クライアントシステムを実行する際の模式図2800-1を示す。
クライアントシステムを実行する際の模式図2800-2を示す。
クライアントシステムを実行する際の模式図2800-3を示す。
クライアントシステムを実行する際の模式図2800-4を示す。
クライアントシステムを実行する際の模式図2800-5を示す。
クライアントシステムを実行する際の模式図2900-1を示す。
クライアントシステムを実行する際の模式図2900-2を示す。
クライアントシステムを実行する際の模式図2900-3を示す。
クライアントシステムを実行する際の模式図2900-4を示す。
クライアントシステムを実行する際の模式図2900-5を示す。
クライアントシステムを実行する際の模式図3000-1を示す。
クライアントシステムを実行する際の模式図3000-2を示す。
クライアントシステムを実行する際の模式図3000-3を示す。
クライアントシステムを実行する際の模式図3000-4を示す。
クライアントシステムを実行する際の模式図3000-5を示す。
クライアントシステムを実行する際の模式図3100-1を示す。
クライアントシステムを実行する際の模式図3100-2を示す。
クライアントシステムを実行する際の模式図3200を示す。
本開示の例示的な実施形態にかかる情報処理方法3300のフローチャートを概略的に示す。
本開示の例示的な実施形態にかかる情報処理装置3410のブロック図3400を概略的に示す。
本開示の例示的な実施形態にかかる医療補助操作装置のブロック図を概略的に示す。
以下、図面を参照しつつ、本開示の好ましい例示的な実施形態についてより詳細に説明する。図には本開示の好ましい例示的な実施形態が示されているが、理解すべき点として、本開示は様々な形式で実現することが可能であり、ここに記載された例示的な実施形態に限定されるべきではない。むしろ、これらの例示的な実施形態を提供するのは、本開示をより徹底した完全なものにし、本開示の範囲を当業者に全体的に伝えられるようにするためである。
本明細書で使用される用語「含む(備える)」及びその変形は、「…を含むが、これらに限定されない」という開放的な「含む」を表す。特に明記されていない限り、用語「又は」は、「及び/又は」を表す。用語「…に基づいて」は、「少なくとも部分的に基づく」ことを表す。用語「1つの例示の例示的な実施形態」及び「1つの例示的な実施形態」は、「少なくとも1つの例示の例示的な実施形態」を表す。用語「他の例示的な実施形態」は、「少なくとも1つの他の例示的な実施形態」を表す。用語「第1」、「第2」等は、異なるか又は同一の対象を示すことができる。以下の文中ではさらに、その他の明確な定義及び暗黙の定義が含まれる可能性がある。
機械学習の技術は、医学を含む様々な応用分野に適用されている。医学検査機器は通常、複雑な操作プロセスを伴う。特に内視鏡検査の場合、人体の様々な位置の画像を収集するために、患者の体内に内視鏡を挿入する必要がある。検査プロセスでは、1セットのキーポイント位置での画像を確実に取得する必要がある。内視鏡は医師の操作によって、異なる移動軌跡に沿って移動することができるため、不適切な操作では、本来検査すべきキーポイント位置を見落とす可能性がある。したがって、より効果的な方法で如何に医療補助操作を提供するかが研究での注目点となっている。
内視鏡は、人体の複数の部位の検査に適用することができ、例えば、人体の部位ごとに、食道鏡、胃カメラ、十二指腸鏡、腸鏡等の複数の種類に分類することができる。以下では、胃カメラを例に本開示の例示的な実施形態の詳細を説明する。まず図1を参照して本開示の例示的な実施形態の適用環境を説明する。図1は、本開示の例示的な実施形態かかる内視鏡検査を実施可能な人体の環境のブロック図100を概略的に示す。内視鏡操作仕様によれば、内視鏡は検査中に所定の1セットのキーポイント位置に到達しなければならず、これらのキーポイント位置において、当該位置に異常がないかどうかを判定するために画像を収集しなければならない。図1に示すように、内視鏡は人体の胃に挿入されるプロセスで、複数のキーポイント位置110、112、114、116、118、120等を通過することができる。
内視鏡はまず咽頭を通過してキーポイント位置110に到達することができ、矢印130で示すように、内視鏡は食道に沿って下に向かって胃に進入し、キーポイント位置112に到達することができる。さらに、矢印132で示すように、内視鏡はキーポイント位置114に到達することができる。理解されるように、人体の内部には比較的大きな空間が存在し、また、医師の操作方法が異なるため、内視鏡は胃の内部で異なる方向に沿って移動できる。例えば、内視鏡がキーポイント位置114に到達した場合、矢印134で示す方向に沿ってキーポイント位置118に到達してもよいし、或いは、矢印136で示す方向に沿ってキーポイント位置116に到達してもよい。操作仕様には、1セットのキーポイント位置が定義されているが、医師は自身の経験に基づいてのみ内視鏡の移動軌跡を調整可能であり、移動軌跡がキーポイント位置の一部のみしかカバーできないという状況が起こり得る。
内視鏡検査における上述の欠点を少なくとも部分的に解決するために、本開示の例示的な実施形態では、医療補助操作の技術的解決手段を提供する。まず図2を参照して本技術的解決手段の概要を説明する。図2は、本開示の例示的な実施形態にかかる医療補助操作のブロック図200を概略的に示す。図2に示すように、内視鏡210が人体に挿入され体内を移動するのに伴い、内視鏡210は映像220を収集することができ、医師はリアルタイムで映像220を観察することができる。
理解されるように、映像220に基づいて入力データ230(例えば、画像データシーケンスを含む)を取得することができる。例えば、入力データ230は、1つ又は複数の映像セグメントを含んでもよく、ある映像セグメントは、内視鏡210による人体の咽頭付近の通過に関する画像を含んでもよく、別の映像セグメントは、内視鏡210による人体の食道付近の通過に関する画像を含んでもよい。理解されるように、本開示の文脈では入力データ230の形式について限定しない。例えば、入力データ230は、映像データ、時間的順序に従って並べた映像内の1セットの画像シーケンスであってもよく、又は、時間情報を有する複数の画像データであってもよい。本開示の例示的な実施形態によれば、入力データは、元の映像形式で保存されてもよく、又は、カスタマイズされた中間的な形式で保存されてもよい。
理解されるように、一意の識別子を用いて入力データを識別してもよい。例えば、医師IDと検査実施時間を識別子としてもよく、内視鏡装置IDと検査実施時間を識別子としてもよく、患者IDと検査実施時間を識別子としてもよく、又はこれらを組み合わせて一意の識別子を取得してもよい。続いて、入力データ230に基づいて、内視鏡210の操作行為240に関連する情報を決定してもよい。
このように、医師に効果的な医療補助を提供するとともに医師(特に経験の浅い医師)の操作を指導することで、1つ又は複数のキーポイント位置を見落とすような状況を回避することができる。さらに、本開示の例示的な実施形態を用いることで、全てのキーポイント位置をできるだけ迅速に回るように医師を指導することができ、これによって内視鏡の検査効率を向上させ、内視鏡210が患者の体内に位置する時間を短縮し、ひいては患者の不快な体験を減らすことができる。
具体的には、医師による内視鏡検査の実施中に、リアルタイムで医療補助操作を提供することができる。内視鏡の現在位置に基づいて、内視鏡の操作行為に関する情報をリアルタイムで提供することができる。例えば、内視鏡が現在位置するキーポイント位置、キーポイント位置に関する画像、内視鏡が既に通過した移動軌跡、内視鏡の次の目的地位置、及び内視鏡操作の統計情報等のうち少なくともいずれかをリアルタイムで提供することができる。例えば、上述の情報は、専用の表示装置で表示してもよく、任意で且つ/又は追加で、内視鏡装置の表示装置に上述の情報を表示してもよい。
以下、図3を参照しながら、医療補助操作のより多くの詳細を説明する。図3は、本開示の例示的な実施形態にかかる医療補助操作方法300のフローチャートを概略的に示す。ブロック310では、内視鏡210から入力データ230を取得してもよい。理解されるように、内視鏡210が体内を移動するのに伴い、異なる位置での入力データを取得してもよい。
入力データ230は、内視鏡検査に必要な情報又はデータを決定するために用いられてもよく、さらに、入力データ230は、前記内視鏡の操作行為に関する情報又はデータを決定するために用いられてもよい。例示として、入力データ230は、内視鏡210の操作中に複数の位置で収集された画像データを含んでもよい。理解されるように、ここでの画像データは、元の収集された画像であってもよいし、処理(例えばノイズ除去処理、明度処理等)されたデータであってもよい。内視鏡210の画像収集装置の収集頻度に基づいて、画像データは例えば、30フレーム/秒(又は他のフレームレート)の画像を含んでもよい。理解されるように、本開示の文脈では入力データ230の形式について限定しない。
ここでの入力データ230は、映像データ、時間的順序に従って並べた1セットの画像シーケンス、及び時間情報を有する複数の画像データのうち少なくともいずれかを含んでもよい。例えば、映像データはストリーミング形式を含んでもよいし、様々な映像形式の規格をサポートしてもよい。さらに例えば、画像シーケンスは一連の個別の画像を含んでもよい。この場合、内視鏡検査の進行に従って、取得する入力データ230の数量が徐々に増えてもよい。例えば、内視鏡が咽頭に到達すると、咽頭の画像シーケンスを取得し、内視鏡が食道に到達すると、さらに食道の画像シーケンスを取得してもよい。
また、前記入力データ230に対応する識別子をさらに取得又は決定して、前記入力データ230を識別してもよい。異なる識別子によって、異なる患者、異なる検査時間、異なる検査部位、及び異なる検査操作者のうち1つ又は複数の組合せを区別してもよい。
本開示の例示的な実施形態によれば、ブロック320において、入力データに基づいて、内視鏡の操作行為に関連する情報を決定する。ここでの情報は、例えば、内視鏡の現在位置、現在位置で収集された画像データ、内視鏡の移動軌跡、内視鏡の次の目的地位置、入力データの統計情報、及び操作行為の統計情報等多方面の内容を含んでもよい。以下では、図4Aと図4Bを参照して、より多くの関連する詳細を説明する。
例示として、入力データ230の時系列の関係に基づいて、内視鏡の操作行為に関する情報を決定してもよい。また、本開示の例示的な実施形態によれば、機械学習技術に基づき、且つ入力データ230を用いて、操作行為240に関する多方面の情報を決定してもよい。例えば、内視鏡210の現在位置、移動軌跡、及び検査が所望されるキーポイント位置に移動軌跡が到達したかどうか等を決定してもよい。さらに、次のステップで到達すべき目的地位置を決定してもよい。具体的には、過去の操作中に収集したサンプルデータを用い、機械学習技術に基づいて移動モデル410Aを取得してもよい。図4Aは、本開示の例示的な実施形態にかかる移動モデル410Aのブロック図400Aを概略的に示す。当該移動モデル410Aは、サンプル入力データ412Aとサンプル移動軌跡414Aとの関連付けを含んでもよい。ここで、サンプル入力データ412Aは、内視鏡検査の実施中に複数のサンプル位置で収集されてもよく、しかもサンプル移動軌跡414Aは、サンプル入力データ412Aを収集するための内視鏡の移動軌跡を含んでもよい。
理解されるように、ここでのサンプル入力データ412Aとサンプル移動軌跡414Aは、移動モデル410の学習用のサンプル学習データであってもよい。本開示の例示的な実施形態によれば、サンプル入力データ412A及び対応するサンプル移動軌跡414Aを使用して学習を1回実行してもよい。本開示の文脈では、1つ又は複数の内視鏡検査からのサンプル学習データをそれぞれ用いて、1回又は複数回の学習を実行してもよい。
理解されるように、上記では移動モデル410Aの例示を模式的に示しただけであり、本開示の例示的な実施形態によれば、さらに他のモデルを提供してもよい。例えば、別のモデルでは、内視鏡検査の実行中に複数のサンプル位置で収集されたサンプル入力データと、そのサンプル入力データが収集された複数の位置の対応するキーポイント位置との関連付けが含まれてもよい。このモデルを使用して、入力データ230の各画像データを、対応するキーポイント位置にそれぞれマッピングしてもよい。したがって、このモデル、入力データに基づいて、内視鏡が通過したキーポイント位置を決定してもよい。そして、画像データの収集時間と上述のキーポイント位置に基づいて、内視鏡の移動軌跡を決定してもよい。
例示として、移動モデル410Aを取得するために、回帰型ニューラルネットワーク(RNN:Recurrent Neural Network)、長・短期記憶(LSTM:Long Short Term Memory)ネットワーク等の技術に基づいて学習を実行してもよい。本開示の例示的な実施形態によれば、上述の学習方法を用いることで、過去の検査中に収集されたサンプル入力データ及び対応するサンプル移動軌跡に基づいて移動モデル410Aを取得してもよい。本開示の例示的な実施形態によれば、医師により内視鏡検査操作を行い、収集されたデータをサンプルとして上記モデルに学習させてもよい。
例えば、経験豊富な医師により、内視鏡操作仕様に従って、内視鏡の移動を操作してもよい。この場合、内視鏡のサンプル移動軌跡が、医学検査に必要なキーポイント位置を全てカバーすることになる。1回の内視鏡検査中に取得された入力データに対して、入力データ中の各サンプル画像と、そのサンプル画像の移動軌跡での所在位置との関連付けを、アノテーション方式に基づいてラベリングしてもよい。
例えば、複数のサンプル移動軌跡に関する関連サンプル画像シーケンスを取得するために、経験豊富な医師が複数回の内視鏡検査を実施してもよい。また例えば、より豊富な学習データを取得できるように、複数の経験豊富な医師がそれぞれ、1回又は複数回の内視鏡検査を行ってもよい。既に十分な学習データを取得している場合、サンプル画像シーケンスとサンプル移動軌跡に基づいて移動モデル410Aに学習させてもよい。ここで、内視鏡操作仕様には、検査対象の全てのキーポイント位置が定義されており、経験豊富な医師であれば、実施した検査が仕様の要件を最大限満たすことができるように確保することが可能である。このようにして取得された学習データを用いて学習を実行することで、取得された移動モデル410Aが画像と移動軌跡との関連付けを正確に反映できるよう確保することができる。また、コンピュータシミュレーションによって前記移動モデル410Aを取得してもよい。
説明を容易にするために、以下では、画像シーケンスのみを入力データ210の例示とし、本開示にかかる例示的な実施形態を説明する。入力データ210が他の形式で保存される場合も、処理方式は類似する。例えば、入力データ210が映像形式である場合、映像内の画像シーケンスを取得し、画像シーケンスについて処理を行ってもよい。
以下では、図4Bを参照して、移動モデル410Aの取得に関するプロセスについて説明する。図4Bは、本開示の例示的な実施形態にかかる移動モデル410Aを取得するためのプロセスのブロック図400Bを概略的に示す。過去の検査プロセスで収集されたサンプル画像シーケンスとサンプル移動軌跡に基づいて学習を実行することができる。複数のサンプル画像シーケンスを複数のセットに分けてもよく、各セットはN>3枚の画像を含む。続いて、複数フレームのサンプル画像410B(例えば、T-N番目のフレームから始まる連続したNフレームの画像)のセットをニューラルネットワーク層412Bに入力し、複数フレームのサンプル画像420B(例えば、T番目のフレームから始まる連続したNフレームの画像)のセットをニューラルネットワーク層422Bに入力し、複数フレームのサンプル画像430B(例えば、T+N番目のフレームから始まる連続したNフレームの画像)のセットをニューラルネットワーク層432Bに入力してもよい。このようにして、画像シーケンスと移動軌跡との関連付けを取得してもよい。
理解されるように、上記では移動モデル410Aを取得するための1つの実施形態を、図4Bを参照しながら模式的に示しているに過ぎない。本開示の例示的な実施形態によれば、現在知られている他の機械学習技術、及び/又は将来開発される他の機械学習技術に従って移動モデル410Aを取得してもよい。
移動モデル410Aと入力データに基づいて、内視鏡210の移動軌跡を決定してもよい。本開示の例示的な実施形態によれば、内視鏡210の移動軌跡は、内視鏡210の操作中の1セットのキーポイント位置を含む。ここで、1セットのキーポイント位置は、内視鏡検査中の内視鏡210の1セットの所定の人体位置のうち少なくとも一部を含み、しかも内視鏡の操作中に通過する複数の位置は、キーポイント位置の周囲の所定範囲内に位置してもよい。
理解されるように、ここでの1セットのキーポイント位置は、内視鏡検査仕様に従って定義された位置であってもよい。例えば、咽頭、食道、噴門、幽門等の位置を含んでもよい。内視鏡が咽頭を通過し、操作中に咽頭付近の複数の位置(例えば、咽頭に到達する0.5cm手前、咽頭、咽頭を離れてから0.5cm)で3枚の画像を収集したと仮定すると、この場合、移動軌跡がキーポイント位置である「咽頭」を含むと決定してもよい。内視鏡210のさらなる移動に伴い、移動軌跡は、例えば、咽頭、食道等、より多くのキーポイント位置を含んでもよい。上述の位置をさらに、より多くの位置に細分化し、例えば食道について、食道の上部、中部、下部等、より多くの位置をさらに含めてもよい。言い換えると、ここでの移動軌跡は、内視鏡210が移動し通過した1つ又は複数のキーポイント位置を含んでもよい。
本開示の例示的な実施形態によれば、移動モデル410Aの取得と類似の方法に従い、収集された入力データ230を移動モデル410Aに入力してもよい。例えば、入力データ230を複数のセット(各セットはNフレームの画像を含む)に分割し、複数のセットを移動モデル410Aに順に入力してもよい。この場合、移動モデル410A内のある層で、現在のNフレームの画像に対応する特徴を(隠れ変数として)出力し続け、当該特徴を次の層の位置に繰り返し入力してもよい。移動モデル410Aは、入力された入力データに基づいて、内視鏡の移動軌跡を出力してもよい。
本開示の例示的な実施形態によれば、移動モデル410Aを用いて、入力データを、1セットのキーポイント位置にそれぞれマッピングしてもよい。引き続き図4Bを参照すると、図4Bの右側に示すように、CLSC(T)はT番目のフレームから始まる連続したNフレームの画像が属するキーポイント位置の予測を表し、CLSN(T)は後続のNフレームの画像が属するキーポイント位置の予測を表し、CLSP(T)は前のNフレームの画像が属するキーポイント位置の予測を表し、Y(T)は現在の画像シーケンスが属する移動軌跡の予測を表す。ここでの移動軌跡の予測は、複数のキーポイント位置を含んでもよい。例えば、1つの移動軌跡の予測は、キーポイント位置110→キーポイント位置112→キーポイント位置114を含んでもよいし、移動軌跡の予測は、キーポイント位置110→キーポイント位置112→キーポイント位置116を含んでもよい。現在入力されたNフレームの画像に従って、移動軌跡の予測は、異なるキーポイントを含んでもよい。移動軌跡の予測に基づいて、次の目的地位置を決定してもよい。さらに、類似する方法で、他のフレームに関連する情報を決定してもよい。
図5は、本開示の例示的な実施形態にかかる入力データを1セットのキーポイント位置にマッピングするためのプロセスのブロック図500を概略的に示す。図5に示すように、内視鏡210が体内で移動する時間が長くなるにつれて、入力データ230は、益々多くの画像を含むことになる。図5は、内視鏡検査の初期の状況を模式的に示しているに過ぎず、このとき内視鏡210は、キーポイント位置110、112、114の近傍の多数の画像を収集済みである。
上記の方法で、これらの画像を、対応するキーポイント位置にマッピングすることができる。例えば、画像シーケンス内の1セットの画像データ510をキーポイント位置110にマッピングすることで、1セットの画像データ510が当該キーポイント位置110の近傍で収集された画像であることを表することができる。同様に、画像シーケンス内の1セットの画像データ512をキーポイント位置112にマッピングしてもよく、画像シーケンス内の1セットの画像データ514をキーポイント位置114にマッピングしてもよいといった具合である。
本開示の例示的な実施形態を用いることで、内視鏡210の操作中に収集された入力データ230に基づいて、各画像データが収集された位置を決定することができる。医師の個人的な経験と判断に完全に依存する技術的解決手段に比べ、上述の技術的解決手段は、画像データに関連付けられたキーポイント位置をより正確に決定することができるため、後で保存画像を選択するのに役立つ。
本開示の例示的な実施形態によれば、キーポイント位置に関連付けられた画像シーケンスが収集された時間的順序に基づいて、移動軌跡を決定してもよい。引き続き図5を参照すると、1セットの画像データ510がキーポイント位置110と関連付けられ、1セットの画像データ512がキーポイント位置112と関連付けられ、1セットの画像データ514がキーポイント位置114と関連付けられることが既に決定されている。各画像の収集された時間的順序が、1セットの画像データ510、1セットの画像データ512、1セットの画像データ514であると仮定する。この場合、移動軌跡1は、キーポイント位置110→キーポイント位置112→キーポイント位置114を含むと決定してもよい。
理解されるように、移動軌跡は、時間的順序に従って並べられたキーポイント位置を含む。したがって、1セットのキーポイント位置の順序が異なる場合、異なる移動軌跡が表される。例えば、移動軌跡2は、キーポイント位置110→キーポイント位置114→キーポイント位置112を含んでもよい。すなわち、この移動軌跡2は、移動軌跡1とは異なる移動軌跡である。
また、移動軌跡は、入力データに基づいて決定された、人体の部位における内視鏡の実際の移動軌跡であってもよい。この実際の移動軌跡は、キーポイント位置だけでなく非キーポイント位置も含むため、前記内視鏡の操作行為をリアルタイムに反映しており、したがって内視鏡の検査操作をより適切に分析・補助することができる。
本開示の例示的な実施形態を用いることで、各画像データが収集された時間的順序に基づいて、内視鏡210の移動軌跡をより正確な方法で記録することができる。さらに、決定された移動軌跡は後の処理に用いてもよく、例えば、内視鏡210が既に到達したキーポイント位置に基づいて、到達すべきキーポイント位置を決定してもよい。
一般的に、内視鏡検査を実施するプロセスでは、医師は、一方では内視鏡を操作して所望のキーポイント位置に到達させる必要があり、後の診断用の画像を保存する必要もある。検査プロセスの間に収集された画像シーケンスは大量のメモリ空間を占有するため、通常、医師はキーポイント位置付近に到達してから、自身の経験に基づいて適切な角度を選択して画像を収集・保存する。例えば、内視鏡検査装置にフットペダルを設置してもよく、医師はフットペダルを踏んで画像を保存してもよい。これは、医師がいくつかのキーポイント位置を見落とす状況、及び/又は画質が劣り診断に使えないものを保存する状況につながる可能性がある。
本開示の例示的な実施形態によれば、決定された1セットの画像についてさらに画像分析を実行することで、あるキーポイント位置での人体の状態を最もよく反映する画像を、そこから選択することができる。以下では、図6を参照しながら、画像の選択と保存に関するより多くの詳細を説明する。図6は、本開示の例示的な実施形態にかかるキーポイント位置に関連付けられた画像を保存用に選択するためのプロセスのブロック図600を概略的に示す。具体的には、1セットのキーポイント位置における所与のキーポイント位置について、入力データの中で所与のキーポイント位置にマッピングされる所与の1セットの画像を決定してもよい。
図6に示すように、所与の1セットの画像データの画質に基づいて、所与の1セットの画像の画質評価をそれぞれ決定してもよい。続いて、決定された画質評価に基づいて、保存用の画像を選択してもよい。図6では、キーポイント位置110に関わる1セットの画像データ510が既に決定されており、この場合、1セットの画像データ510について画質評価を決定してもよい。続いて、画質評価に基づいて、1セットの画像データ510から、選択した画像データ610取得し、記憶装置620に保存してもよい。同様に、1セットの画像データ512から、選択した画像データ612を取得し、それを記憶装置620に保存してもよく、さらに1セットの画像データ514から、選択した画像データ614を取得し、それを記憶装置620に保存してもよい。続いて、保存された画像の関連情報、例えば、保存済み画像の数量、関連付けられたキーポイント位置等を医師に表示してもよい。
理解されるように、ここでの画質は多方面の意味を含んでもよい。例えば、検査対象のキーポイント位置をより適切に反映した画像である。例えば、画質は、内視鏡で収集した画像における人体粘膜の鮮明さ、粘膜が汚染されているか否か、粘膜が分泌物等で覆われているか否か、内視鏡の撮影角度等のうち1つ又は複数を含んでもよい。人体の粘膜が鮮明に視認され、汚染されておらず、分泌物で覆われていなければ、当該画像は高画質であると決定してもよい。逆に、当該画像は低画質であると決定してもよい。
理解されるように、ここでは、複数の方法により画質を決定してもよい。例えば、画像処理方法に基づいて画像の鮮明さ等を決定して画質評価を取得してもよい。さらに例えば、機械学習の方法に基づいて、事前にラベル付けされたサンプルデータを用いて品質予測モデルを構築してもよい。本開示の例示的な実施形態によれば、現在開発済みの他の画像処理技術、及び/又は将来開発される他の画像処理技術により画質評価を取得してもよい。
本開示の例示的な実施形態を用いることで、所与のキーポイント位置で取得された多数の画像から、最良の画質を有する1つ又は複数の画像を選択することができる。医師の個人的な経験に基づいて手動で画像を選択・保存する技術的解決手段と比べ、画像選択の効率を大幅に向上させることができ、医師による画像の選択・保存が占める時間を短縮し、ひいては内視鏡検査の効率を向上させることができる。一方、画像のマッピング、選択及び保存が自動で行われるため、医師のミスによる見落としを極力回避することもできる。さらに、取得した入力データの時系列の関係(例えば、画像シーケンス又はキーポイント位置画像の間の関連付け)に従って、より画質の良い画像の選択を補助することもできる。
本開示の例示的な実施形態によれば、内視鏡210の移動軌跡と、内視鏡検査の所定の移動軌跡とに基づいて移動軌跡の評価を決定してもよい。ここでの所定の移動軌跡とは、内視鏡操作仕様に従って定義された一連のキーポイント位置の順序であってもよい。例えば、所定の移動軌跡は、咽頭→食道→噴面→幽門等を含んでもよい。所定の移動軌跡に従って内視鏡の移動を操作できることが医師に期待されているため、内視鏡210の真の移動軌跡と、所定の移動軌跡との一致性に基づいて、当該評価を決定してもよい。
本開示の例示的な実施形態によれば、評価は、様々な種類を含んでもよい。例えば、ある範囲内の評点(0~1の間の実数等)で評価を表してもよいし、等級(高、中、低等)の方法で評価を表してもよいし、テキストの説明の方法で評価を表してもよく、又は、画像若しくは他の方法で評価を表してもよい。
以下、図7Aを参照しながら、移動軌跡の評価決定に関するより多くの詳細を説明する。図7Aは、本開示の例示的な実施形態にかかる移動軌跡のデータ構造のブロック図700Aを概略的に示す。図7Aにおいて、内視鏡210の移動軌跡710は、3つのキーポイント位置、キーポイント位置110、112、114を含む。このとき、内視鏡210はキーポイント位置114に位置し、移動軌跡710と、内視鏡検査の所定の移動軌跡との比較に基づいて、移動軌跡710の評価を決定してもよい。さらに、関連する評価を医師に表示してもよい。
理解されるように、ここでは様々な方法で評価を決定してもよい。評価の数値範囲を指定してもよく、例えば、0~1の範囲で評価を表してもよい。所定の移動軌跡が、キーポイント位置110→キーポイント位置112→キーポイント位置114→キーポイント位置118・・・を含み、また、このときの移動軌跡710がキーポイント位置110→キーポイント位置112→キーポイント位置114を含むと仮定する。移動軌跡710が所定の移動軌跡の開始部分と完全にマッチすると決定することができ、したがって移動軌跡710について高い評価712を与えてもよく、例えば、評価712は最高点1に設定されてもよい。さらに例えば、所定の移動軌跡が所定の移動軌跡から乖離していると仮定すると、この場合は評価の数値を下げてもよく、例えば、評価を0.8と設定してもよい。
理解されるように、上記では評価決定の原理を概略的に説明したに過ぎない。本開示の例示的な実施形態によれば、機械学習の方法に基づいて、事前にラベル付けされたサンプルデータを用いて評価予測モデルを構築してもよい。本開示の例示的な実施形態によれば、現在開発済みの他の予測技術、及び/又は将来開発される他の予測技術により移動軌跡の評価を取得することができる。
以下、図7Bを参照しながら、次の目的地位置の決定に関するより多くの詳細を説明する。本開示の例示的な実施形態によれば、移動軌跡における最後のキーポイント位置付近の1つ又は複数のキーポイント位置に基づいて、1セットの候補位置を決定してもよい。図7Bは、本開示の例示的な実施形態にかかる次の目的地位置を提供するためのプロセスのブロック図700Bを概略的に示す。図7Bに示すように、まず、次の時点における内視鏡210の1セットの候補位置を決定してもよい。上記の例示を続けると、内視鏡210は現在、キーポイント位置114に位置し、キーポイント位置114の近傍にはキーポイント位置116、118が存在する。この場合、1セットの候補位置はキーポイント位置116、118を含んでもよい。続いて、1セットの候補位置における各候補位置の評価を決定し、決定された評価に基づいて1セットの候補位置の中から次の目的地位置を選択してもよい。
具体的には、1セットの候補位置のうち所与の候補位置について、移動軌跡と候補位置に基づいて、内視鏡210の候補移動軌跡が生成されてもよい。図7Bに示すように、移動軌跡710とキーポイント位置116に基づいて候補移動軌跡720を生成してもよく、移動軌跡710とキーポイント位置118に基づいて候補移動軌跡730を生成してもよい。続いて、上述した方法で、候補移動軌跡720、730と、内視鏡検査の所定の移動軌跡とに基づいて、2つの候補移動軌跡720、730の評価722、732をそれぞれ決定してもよい。図7Bに示すように、評価732は評価722より高いので、キーポイント位置118に高い評価を与え、キーポイント位置118を次の目的地位置としてもよい。
本開示の例示的な実施形態を用いることで、内視鏡210の所定の移動軌跡に最もマッチするキーポイント位置を優先的に医師に推奨し、内視鏡210を移動させる次の目的地位置とすることができる。このようにして、医師の移動操作を指導し、内視鏡検査の効率を高めるとともに、キーポイント位置を見落とす潜在的なリスクを低減することができる。さらに、体内での内視鏡の移動は患者に不快感を与える可能性があるため、検査の効率を向上させることで、内視鏡検査の時間を短縮し、患者の苦痛を軽減させることができる。
理解されるように、上記では、次の目的地位置を提供する具体的な例示について、図面を参照しながら説明したが、本開示の例示的な実施形態によれば、後続の推奨経路をさらに提供することができ、当該推奨経路は、1つ又は複数のキーポイント位置を含んでもよい。医師は、内視鏡検査に必要な全てのキーポイントをカバーするために、推奨経路に沿って内視鏡を移動させることができる。
本開示の例示的な実施形態によれば、さらに、移動モデル410Aと入力データに基づいて、内視鏡の候補移動軌跡を直接生成してもよい。理解されるように、学習段階でエンドツーエンドの方式に基づいて移動モデル410Aを構築してもよい。この場合、移動モデル410Aへの入力を画像シーケンスと指定し、移動モデル410Aの出力を候補移動軌跡と指定してもよい。ここで、候補移動軌跡は、入力された画像シーケンスに対応する1セットのキーポイント位置と、次の候補キーポイント位置とを含んでもよい。移動モデル410Aを使用する場合、候補移動軌跡を取得するために、内視鏡によって現在収集された1セットの画像シーケンスを移動モデル410Aに入力してもよい。この場合、医師は、全てのキーポイント位置を回るように、内視鏡を操作して候補移動軌跡に沿って移動させることができる。
本開示の例示的な実施形態によれば、ラベルを有する過去のサンプル画像シーケンス及び過去のサンプル候補移動軌跡を使用して、画像シーケンスと候補移動軌跡との間の関連付けを含む移動モデル410Aを直接取得してもよい。本開示の例示的な実施形態を用いることで、過去のサンプルデータに基づいて直接、学習プロセスを実行して、対応するモデルを取得することができる。こうすることで、操作プロセスを簡略化し、ひいては候補移動軌跡の取得効率を向上させることができる。
本開示の例示的な実施形態によれば、さらに、前記内視鏡の操作行為に関する情報を送信及び/又は保存してもよい。
本開示の例示的な実施形態によれば、現在の医師の操作に関する情報をリアルタイムで出力し、それに応じて統計及び分析機能を提供してもよい。例えば、上述した方法300はさらに、内視鏡検査の持続時間の決定、スキャン済みキーポイント位置の情報の決定、スキャンされていないキーポイント位置の情報の決定、次の目的地位置の情報の決定、医師による内視鏡検査実施の操作評価の決定、各キーポイント位置に関する取得済み画像が適格か否かの決定、等の機能を提供してもよい。
以下、図8、図9を参照して、操作行為の関連情報を出力する関連機能について説明する。本開示の例示的な実施形態によれば、上記情報を出力する機能を、既存の内視鏡表示インターフェースと結合させてもよい。図8は、本開示の例示的な実施形態にかかる医療補助操作を提供するためのユーザインターフェース800のブロック図を概略的に示す。図8に示すように、ユーザインターフェース800は、内視鏡210によって収集された映像220をリアルタイムで表示するための画像表示部810、内視鏡210が通過した移動軌跡と次の目的地位置の提示を表示するための移動軌跡管理部820、及び、内視鏡検査中に収集された画像の関連情報を表示するための統計情報部830を含んでもよい。
移動軌跡管理部820に示すように、実線は、内視鏡210が既に通過した移動軌跡がキーポイント位置110→キーポイント位置112→キーポイント位置114であることを表す。破線部分は、内視鏡210の現在位置(すなわち、キーポイント位置114)から次の目的地位置(すなわち、キーポイント位置116、118)までの軌跡を示す。図7Bを参照して上述した方法に基づいて、次の目的地位置をキーポイント位置118と設定してもよい。さらに、星印マーク822で、推奨される次の目的地位置をキーポイント位置118として表してもよい。この場合、医師は次の時点で内視鏡210をキーポイント位置118に移動させてもよい。
統計情報部830に示すように、収集された画像に関する関連情報を表示してもよい。例えば、キーポイント位置110については、10枚の画像を選択済みであり、10枚の画像の総合評価は0.8である。理解されるように、各キーポイントについて収集が所望される画像の数量の上限を予め定義してもよく、例えば、上限を10と定義してもよい。ここに示す10枚の画像は、図6を参照して上述した方法に従って選択された高画質の画像であってもよく、ここでの0.8という評価は各画質評価に基づいて取得された総合評価であってもよい。
本開示の例示的な実施形態によれば、画質評価に関する下限がさらに設定されてもよい。例えば、評価が0.6より高い画像のみを選択するように設定してもよい。本開示の例示的な実施形態によれば、画像数量の上限と画質評価の下限の両方に基づいて、保存を所望する画像を選択してもよい。統計情報部830はさらに、その他のキーポイント位置に関する統計情報を示している。キーポイント位置112については、5枚の画像を選択済みであり、5枚の画像の総合評価は0.6である。また、キーポイント位置114については、7枚の画像を選択済みであり、7枚の画像の総合評価は0.9である。
本開示の例示的な実施形態によれば、内視鏡210の移動を管理するためのユーザインターフェースを、既存の内視鏡表示インターフェースから分離してもよい。図9は、本開示の例示的な実施形態にかかる医療補助操作を提供するための別のユーザインターフェース900のブロック図を概略的に示す。図9に示すように、単独のユーザインターフェース900に、医療補助操作に関する関連情報を表示してもよい。ユーザインターフェース900では、操作行為の関連情報を出力してもよい。
本開示の例示的な実施形態によれば、さらに、キーポイントの位置の選択済み画像に関する情報を領域910に表示してもよい。例えば、領域910は、画像のサムネイルを含んでもよい。内視鏡検査プロセスで6つのキーポイント位置に関する画像を収集する必要があり、4つのキーポイント位置の画像を収集済みであり、残りの2つのキーポイント位置の画像がまだ収集されていないと仮定する。凡例912、914、916で、異なる種類のキーポイント位置の画像をそれぞれ表してもよい。例えば、凡例912は、あるキーポイント位置で適格画像が収集済みであることを表し、凡例914は、あるキーポイント位置で適格画像が収集されていないことを表し、凡例916は、あるキーポイント位置がスキャンされていないことを表す。本開示の例示的な実施形態を用いることで、スキャンされたキーポイント位置、スキャンされていないキーポイント位置、及び画像が不適格なキーポイント位置を視覚的に医師に表示し、ひいては医師による後続の操作を容易にすることができる。
本開示の例示的な実施形態によれば、保存用の画像を選択した後、所与のキーポイント位置に関連付けられた画像異常を、選択された画像に基づいて識別してもよい。さらに、識別された画像異常を表示してもよい。具体的に、当該キーポイント位置で生じた可能性がある画像異常を決定するために、現在既知の画像認識技術、及び/又は将来開発される画像認識技術に基づいて、画像の内容を分析してもよい。例えば、画像異常は潰瘍や腫瘍等を示してもよい。本開示の例示的な実施形態を用いることで、異常が生じた可能性のある画像を識別して医師の診断を補助することができる。
本開示の例示的な実施形態によれば、入力データに基づいて内視鏡210の動作状態を識別する。理解されるように、内視鏡210の動作中は様々な動作状態に関わる可能性がある。例えば、内視鏡210を起動し内視鏡210を患者の体内に挿入するプロセスにおいて、内視鏡210が収集する画像の内容は異なることになる。内視鏡210が収集した画像の分析に基づいて、検査中の患者を特定してもよいし、内視鏡が現在患者の体内にあるか体外にあるかを判定してもよいし、現在の検査部位(例えば胃又は腸等)を特定してもよい。例えば、画像シーケンスの一部の画像が体外の画像に関し、後続の一部の画像が体内の画像に変換された場合、体外/体内の切り替えが発生したと判定してもよい。さらに、動作状態の切り替えを識別してもよい。
さらに例えば、2人の患者についての検査の間に、内視鏡210が収集した入力データの分析に基づいて、患者の切り替えが発生したと判定してもよい。具体的には、画像シーケンスに体内画像、体外画像が含まれ、また、先の検査とは異なる体内画像が含まれる場合、患者の切り替えが発生したと判定してもよい。さらに例えば、内視鏡検査は、人体の異なる部位に関わっていてもよい。この場合、内視鏡210により収集された画像の分析に基づいて、検査位置が切り替えられたと判定してもよい。具体的には、食道鏡、胃カメラ、十二指腸鏡、腸鏡等の検査位置の切り替えを判定してもよい。本開示の例示的な実施形態を用いることで、検出された切り替えに基づいて、医療補助操作の関連設定を選択することができる。例えば、胃カメラと腸鏡について、対応する移動モデルを選択することができる。
理解されるように、内視鏡検査では、内視鏡210を患者の体内に挿入する必要があり、検査前には準備作業が必要である。本開示の例示的な実施形態によれば、入力データに基づいて、内視鏡検査を実施中の人の準備状態を識別してもよい。ここでの準備状態とは、内視鏡検査の実施に対する、人の身体的な状態の適格度を示すものである。患者にとっては、準備作業とは例えば、飲食を控える、消化管を空にする、消化管を空にする、洗浄するために薬を処方どおりに服用すること等である。医師にとっては、準備作業とは例えば、胃の洗浄、検査すべきヒダ部分のために胃に空気を送り込むこと等である。
具体的には、収集された胃カメラ画像に食べかす等が含まれている場合、患者の準備状態が不十分で、消化管を空にするという要件が達成されていないと判定してもよい。収集された胃カメラ画像に大量の分泌物等が含まれている場合、医師の洗浄操作が不十分であったと判定し、さらなる洗浄操作を行うよう医師に提示してもよい。さらに、識別された準備の程度を出力してもよい。出力は、表示又は他の提示方法であってもよい。本開示の例示的な実施形態を用いることで、準備状態に基づいて、患者と医師のそれぞれに対して、対応する注意事項を提示することができる。
理解されるように、入力データ230における画像に基づいて準備状態を判定する具体例について上述したが、本開示の例示的な実施形態によれば、さらに、内視鏡に配置された専用センサ(例えば、体内の環境パラメータを監視するセンサ)に基づいて準備状態を判定してもよい。
内視鏡210が体内を移動中に、移動が速すぎると、キーポイント位置を見落とすことになり、さらに吐き気や痛み等の不快感を患者に与える可能性もある。したがって、移動の安定度に基づいて内視鏡210の移動状態を監視することで、内視鏡の移動軌跡がキーポイント位置を全てカバーすることができ、また、患者の不快感を軽減できるようにすることがさらに期待されている。本開示の例示的な実施形態によれば、内視鏡210が1セットのキーポイント位置に到達したときの1セットの時点に基づいて、内視鏡210の移動の安定度を識別してもよい。ここでの安定度は、内視鏡210が患者の体内で移動する安定の程度を表してもよい。さらに、識別された安定度を表示してもよい。
本開示の例示的な実施形態によれば、安定度に基づいて、内視鏡210の移動速度の速度評価を決定してもよい。例えば、内視鏡210が比較的短時間で長い距離を移動した場合、内視鏡210の移動がより激しいことを表し、したがって回避すべきである。この場合、低い速度評価を与えるとともに、移動が激しすぎるのでキーポイント位置の見落としを防ぐために減速すべき旨を医師に提示してもよい。
さらに例えば、内視鏡210の移動が適切である場合、高い速度評価を与えてもよい。さらに例えば、内視鏡210が長時間にわたって短い距離しか移動しないと、この場合は移動が滑らかであるものの内視鏡検査の全体時間が長くなるため、速度評価を下げて、できるだけ早く次の目的地位置に内視鏡210を移動させるように医師に提示してもよい。さらに例えば、内視鏡検査中の速度分布をさらに監視してもよい。内視鏡210が検査全体の前半に5つのキーポイント位置付近に留まり、後半に残りの33のキーポイント位置を素早く通過したと仮定すると、後半の検査は不十分である可能性が高く、この場合、低い速度評価を与えてもよい。
全体の検査時間が所望の時間(例えば、10分)に達したか否かに基づいて、医師の操作が十分であるかを判定する技術的解決手段と比べると、本開示の例示的な実施形態を用いることで、内視鏡210の速度分布に基づいて、医師の操作が所定の基準に達しているかどうかを判定することができる。理解されるように、入力データ230における画像に基づいて安定度を決定する具体例について上述したが、本開示の例示的な実施形態によれば、さらに、内視鏡に配置された速度センサに基づいて安定度を決定してもよい。
以上、図2~図9を参照して、医療補助操作方法の詳細について説明した。以下では、図10を参照して、医療補助操作装置における各モジュールについて説明する。図10は、本開示の例示的な実施形態にかかる医療補助操作装置1010(又は医療補助情報処理装置1010)のブロック図1000を概略的に示す。図10に示すように、医療補助操作装置1010が提供され、当該医療補助操作装置1010は、内視鏡から入力データを取得するように設定された入力モジュール1012と、入力データに基づいて決定された、内視鏡の操作行為に関連する情報を出力するように設定された出力モジュール1018とを備える。
本開示の例示的な実施形態によれば、入力データは、内視鏡の操作中に複数の位置で収集された画像データを含む。
本開示の例示的な実施形態によれば、装置1010は、入力データに基づいて、内視鏡の操作行為に関連する前記情報を決定するように設定された処理モジュール1014をさらに備える。
本開示の例示的な実施形態によれば、処理モジュール1014は、入力データに基づいて内視鏡の次の目的地位置を決定するようにさらに設定されている。
本開示の例示的な実施形態によれば、処理モジュール1014は、入力データに基づいて内視鏡の移動軌跡を決定するようにさらに設定されている。
本開示の例示的な実施形態によれば、移動軌跡は、所定の1セットのキーポイント位置で表される。
本開示の例示的な実施形態によれば、処理モジュール1014は、移動軌跡に基づいて、内視鏡の次の目的位置を決定するようにさらに設定されている。
本開示の例示的な実施形態によれば、処理モジュール1014は、次の時点における内視鏡の1セットの候補位置を決定し、1セットの候補位置における各候補位置の評価を決定し、決定された評価に基づいて1セットの候補位置の中から次の目的地位置を選択するようにさらに設定されている。
本開示の例示的な実施形態によれば、処理モジュール1014は、1セットの候補位置における所与の候補位置について、移動軌跡と所与の候補位置に基づいて内視鏡の候補移動軌跡を生成し、候補移動軌跡と内視鏡検査の所定の移動軌跡とに基づいて候補位置の評価を決定するようにさらに設定されている。
本開示の例示的な実施形態によれば、処理モジュール1014は、移動軌跡の評価を決定するようにさらに設定されている。
本開示の例示的な実施形態によれば、装置1010は、内視鏡の動作状態を識別するように設定された識別モジュール1016をさらに備える。動作状態は、患者の識別子、体内・体外、検査部位の少なくともいずれかを含む。
本開示の例示的な実施形態によれば、識別モジュール1016は、動作状態の切り替えを識別するようにさらに設定されている。
本開示の例示的な実施形態によれば、装置1010は、入力データに基づいて、内視鏡検査部位の準備状態を識別するように設定された識別モジュール1016をさらに備える。準備状態は、内視鏡検査の実施に対する、検査部位の適格度を示す。
本開示の例示的な実施形態によれば、装置1010は、内視鏡が1セットのキーポイント位置に到達したときの1セットの時点に基づいて、内視鏡の移動の安定度を決定するように設定された識別モジュール1016をさらに含む。
本開示の例示的な実施形態によれば、処理モジュール1014は、入力データに基づいて1セットのキーポイント位置を取得し、キーポイント位置に関連付けられた入力データの時間的順序に基づいて移動軌跡を決定するようにさらに設定されている。
本開示の例示的な実施形態によれば、処理モジュール1014は、入力データの中でキーポイント位置にマッピングされた1セットの画像データを決定し、1セットの画像データの画質に基づいて、1セットの画像データの画質評価をそれぞれ決定し、決定された画質評価に基づいて、1セットの画像データにおける画像データを保存用に選択するようにさらに設定されている。
本開示の例示的な実施形態によれば、装置1010は、選択された画像データに基づいてキーポイント位置の画像異常を識別するように設定された識別モジュール1016をさらに備える。
本開示の例示的な実施形態によれば、処理モジュール1014は、内視鏡検査が記述された第1モデルを取得し、第1モデルと入力データに基づいて移動軌跡を決定するようにさらに設定されている。第1モデルは、内視鏡検査の実施中に複数のサンプル位置で収集されたサンプル入力データと、サンプル入力データを収集するための内視鏡のサンプル移動軌跡との間の関連付けを含む。
本開示の例示的な実施形態によれば、処理モジュール1014は、内視鏡操作仕様に従って実施された内視鏡検査で収集されたサンプル入力データを取得し、サンプル入力データに関連付けられたサンプル移動軌跡を取得し、サンプル入力データとサンプル移動軌跡に基づいて第1モデルに学習させるようにさらに設定されている。
本開示の例示的な実施形態によれば、処理モジュール1014は、内視鏡検査が記述された第2モデルを取得し、第2モデル、入力データ、及び画像データの収集時間に基づいて内視鏡の移動軌跡を決定するようにさらに設定されている。第2モデルは、内視鏡検査の実施中に複数のサンプル位置で収集されたサンプル入力データと、サンプル入力データが収集された複数の位置の対応するキーポイント位置との間の関連付けを含む。
本開示の例示的な実施形態によれば、入力データに基づいて内視鏡の操作行為に関連する情報を決定することは、内視鏡の現在位置、現在位置で収集された画像データ、内視鏡の移動軌跡、内視鏡の次の目的地位置、入力データの統計情報、及び操作行為の統計情報のうち少なくともいずれかを決定することを備える。
本開示の例示的な実施形態によれば、入力データは、映像データ、時間的順序に従って並べた1セットの画像シーケンス、及び、時間情報を有する複数の画像データのうち少なくともいずれかを含む。
本開示の例示的な実施形態によれば、出力モジュール1018は、内視鏡の操作行為に関連する情報を送信するようにさらに設定されている。
本開示の例示的な実施形態によれば、前記医療補助操作装置1010の各モジュールは、1つ又は複数の処理回路で実現されてもよい。
前述したように、医学のさらなる発展に伴い、医師が例えば内視鏡検査のような各種医療検査を行った後に、検査に関連付けられた操作行為について品質を管理できることが期待されている。品質管理を行う際、上記実施形態で述べた、内視鏡の操作行為に関連する情報を使用してもよい。品質管理の目的には、医療用検査機器を使用して操作を行う例えば医師である操作者に対して、また、潜在的には部門長、部長又は病院長等に対して、内視鏡の操作行為に関連する情報を表示することが含まれてもよく、これにより、操作行為から得られた結果の品質、推奨操作との差異、提案される修正の方向、及び任意の可能な統計情報を示すことで、医師が医療用検査機器の操作を改善するのを支援することができる。
この後の実施形態において、内視鏡の操作行為に関連付けられた情報は、医療用検査機器の操作行為に関連付けられた第1情報と称されてもよい。本開示のいくつかの例示的な実施形態によれば、第1情報は、表示情報とも称されてもよく、さらに記録済情報又はクラウド保存情報と称されてもよい。第1情報は、クラウドサーバ又はクラウドストレージに記録済みのデータであってもよい。
図11は、本開示の内容を実施するための例示的な実施形態の品質管理環境1100の模式図を概略的に示す。図11に示すように、品質管理環境1100は、内視鏡1110とも総称され得る複数の内視鏡1110-1、1110-2…1110-Nと、品質管理システム1120とを備える。品質管理システム1120は、データ装置1121と、例えばクラウドストレージ装置を含む処理装置1122と、端末装置1123と総称される複数の端末装置1123-1、1123-2…1123-Nとを含む。
理解すべき点として、品質管理環境1100は単に例示的なものであって限定的なものではなく、拡張可能であり、より多くの内視鏡、データ装置、処理装置及び端末装置を備えてもよく、そうすることで、より多くのユーザが医療検査の操作行為に対し品質管理を同時に行うというニーズに応えることが可能となる。
図11のデータ装置1121は、図10で描かれた医療補助操作装置1010(又は医療補助情報処理装置1010)として実施されてもよい。本開示のいくつかの例示的な実施形態によれば、データ装置1121は、ローカルの中央処理装置又は画像処理装置を備えてもよく、内視鏡1110によって収集されたデータを、データ収集ボード(Data Acquisition Board)、有線送信及び無線送信等の方式により、内視鏡1110から入力データとして受信することができる。内視鏡1110から入力データを受信した後、データ装置1121は、図2~図9を参照しながら医療補助操作方法を説明した上述の詳細に従って、入力データを分析及び処理して、医療用検査機器の操作行為に関連付けられた第1情報を生成してもよく、その後、データ収集ボード、有線送信及び無線送信等の方式により、医療用検査機器の操作行為に関連付けられた第1情報を処理装置1122に提供してもよい。
処理装置1122は、端末装置1123とデータのやり取りをしてもよい。これには、医療用検査機器の操作行為に関連付けられた第1情報についての要求を端末装置1123から受信することと、前述の要求に応じて、医療用検査機器の操作行為に関連付けられた第1情報を端末装置1123に提供することが含まれる。
本開示の別のいくつかの例示的な実施形態によれば、処理装置1122は、クラウドサーバを備えてもよい。前記クラウドサーバは、有線又は無線の通信方式によって処理装置1122に接続され、処理装置1122によってデータ装置1121から受信されたデータを記憶し、その後、受信されたデータを計算してデータ結果を得る。前記データ結果は、前記クラウドサーバに記憶される。端末装置1123は、クラウドサーバが算出した前記データ結果を取得するために、有線又は無線の通信方式により前記クラウドサーバに接続されている。
また、本開示の別のいくつかの例示的な実施形態によれば、端末装置1123がデータ装置1121と直接データのやり取りをしてもよい。この場合、データ装置1121は、処理装置1122の機能を有してもよく、又は、少なくとも部分的に処理装置1122として機能してもよい。本開示のいくつかの例示的な実施形態によれば、端末装置1123は、デスクトップコンピュータ、ラップトップコンピュータ及び携帯電話等の任意の既に存在する、又は将来開発される可能性のある端末装置であってもよい。処理装置1122と端末装置1123とのデータのやり取りによって、本開示の例示的な実施形態に関わる医療品質管理が実現される。
本開示のいくつかの例示的な実施形態によれば、品質管理システムは、バックステージ管理システムとクライアントシステムを備えてもよく、バックステージ管理システムは、胃カメラ品質管理のバックステージ管理システムとして実現されてもよく、クライアントシステムは、胃カメラ検査品質管理のWeChatミニプログラム又は他のアプリケーションとして実現されてもよい。前記バックステージ管理システムは、処理装置1122にインストールされてもよく、処理装置1122の前記クラウドサーバにインストールされてもよく、又は、クライアントシステムと共に端末装置1123にインストールされてもよい。前記クライアントシステムは、端末装置1123にインストールされてもよく、処理装置1122にインストールされてもよく、又は、処理装置1122のクラウドサーバにインストールされてもよい。本開示では、バックステージ管理システムとクライアントシステムがインストールされる具体的な位置について限定しない。
図12は、バックステージ管理システムを実行する際の模式図1200を示す。模式図1200に示されたバックステージ管理システムは、4つの機能部1210、1220、1230、1240を含み、それぞれバックステージ管理システムの異なる機能モジュールに対応してもよい。
機能部1210は、アカウント管理、役割管理を含む、バックステージ管理システムが提供するシステム管理機能を示し、例えば、スーパー管理者又はシニアユーザがバックステージデータ管理アカウントの設定や権限設定等の操作を行うために用いられてもよい。機能部1220は、病院管理、医師管理及び部門管理を含む、バックステージ管理システムが提供する病院管理機能を示し、例えば、スーパー管理者又はシニアユーザが病院管理、医師の権限付与、部門管理等の操作を行うために用いられてもよい。機能部1230は、バックステージ管理システムが提供する装置管理機能を示し、例えば、スーパー管理者又はシニアユーザが端末装置の位置設定、権限の付与、ログイン履歴の照会等の操作を行うために用いられてもよい。機能部1240は、アカウント情報を含む、バックステージ管理システムが提供する表示内容を示す。ここで、アカウント情報は、通し番号、アカウント番号、ユーザ名、該当病院、作成時間、アクティブか否かの状態、更新時間等を含んでもよい。スーパー管理者又はシニアユーザは、機能部1240の各アカウント情報の後の対応するアイコンを用いることで、アカウント編集インターフェースにアクセスしてアカウント編集機能を実施するか、又は対応するアカウントを削除してもよい。
理解すべき点として、模式図1200は、例えばスーパー管理者又はシニアユーザがバックステージ管理システムにログインした後の模式図を示している。本開示のいくつかの例示的な実施形態によれば、スーパー管理者又はシニアユーザは、部門管理者又は病院管理者であってもよく、部門管理者は部門長を含んでもよく、病院管理者は院長を含んでもよい。異なる管理レベルのユーザについて、それに対応して、異なる管理権限が設定されている。
模式図1200に関連付けられた操作は、ユーザがバックステージ管理システムを用いて、入力又はタッチ等の方法によって機能部1210、1220、1230、1240とやり取りすることで、具体的な機能モジュールにアクセスするか、又は具体的な機能モジュールを呼び出して、情報を表示又は出力することを含んでもよい。
図13は、クライアントシステムを実行する際の模式図1300を示す。模式図1300は、6つの機能部1310、1320、1330、1340、1350、1360、1370、1380を示し、それぞれクライアントシステムの異なる機能モジュールに対応してもよい。本開示のいくつかの例示的な実施形態によれば、機能部1310は今回の検査のサインイン機能モジュールに対応し、機能部1320は追加サイン検査記録機能モジュールに対応し、機能部1330は部門検査記録機能モジュールに対応し、機能部1340はマイ検査記録機能モジュールに対応し、機能部1350はマイ品質管理分析機能モジュールに対応し、機能部1360は部門品質管理分析機能モジュールに対応し、機能部1370はログイン中のユーザを表す画像や名前等の情報を表示する機能モジュールに対応し、機能部1380はログイン成功を示す情報をグラフィカルユーザインターフェースに表示する機能モジュールに対応する。クライアントシステムは、例えば、医療機器の操作者又はユーザである医師又は看護師が使用してもよく、以下では操作者とユーザを総称して操作者と称する。理解すべき点として、模式図1300は例えば、操作者がクライアントシステムにログインした後の模式図を示している。
本開示のいくつかの例示的な実施形態によれば、クライアントシステムとユーザとの間のやり取りのプロセスは、ユーザのログイン命令を受信することと、ログイン命令に応じて各機能部を表示することとを含む。
模式図1300に関連付けられた操作は、ユーザがクライアントシステムへの入力又はタッチ等の方法を用いて機能部1310、1320、1330、1340、1350、1360、1370、1380とやり取りをすることで、具体的な機能モジュールにアクセスするか、又は具体的な機能モジュールを呼び出して、情報を表示又は出力することを含んでもよい。
本開示のいくつかの例示的な実施形態によれば、クライアントシステムのユーザは、ユーザ識別情報を使用してクライアントシステムにログインしてもよく、ログイン用のユーザ識別情報は、電話番号、WeChat番号、医師免許番号、看護師免許番号等や、パスワード、指紋、顔認証、瞳孔認証等の関連付けられた認証情報を含んでもよい。ユーザがログインに成功した場合、クライアントシステムは、ログイン成功を示す情報をグラフィカルユーザインターフェースに表示してもよく、これは例えば機能部1380に対応する。また、ログイン中のユーザを表す画像や名前等の情報を表示してもよく、これは例えば機能部1370に対応する。同時に、端末装置にユーザ識別情報を保存することで、ユーザがその後のログインでユーザ識別情報を再度入力しなくてすむようにしてもよい。また、クライアントシステムはユーザのログイン状態を保持してもよく、こうすることでユーザは、自らログアウト操作をしなければ、随時ログインした状態でクライアントシステムを使用してもよい。ユーザがログインに失敗した場合、クライアントシステムはユーザの画像や名前等の情報をグラフィカルユーザインターフェースに表示せず、ログイン失敗を示す情報を表示してもよい。
本開示のいくつかの例示的な実施形態によれば、クライアントシステムは、異なるログインユーザについて、異なる機能部を表示してもよい。例えば、クライアントシステムは、ログインユーザが一般の医師又は一般の看護師である場合は、グラフィカルユーザインターフェースに機能部1310、1320、1340、1350、1370、1380のみを表示する。ログインユーザが例えば部門管理者又は病院管理者のように高い権限を有する場合にのみ、機能部1330、1360が表示される。
本開示の別のいくつかの例示的な実施形態によれば、クライアントシステムは、常に全ての機能部を表示し、異なるログインユーザごとに、一部の機能部のみを部分的に利用可能にしてもよい。例えば、ログインユーザが一般の医師又は看護師である場合、クライアントシステムは、表示された機能部1330及び1360を利用不可、例えばクリック不可にしてもよい。
理解すべき点として、模式図1300に示された様々な情報は例示に過ぎず、本開示の保護範囲を限定するものではない。こうした情報は、必要に応じて名称や種類を調整し、表示若しくは非表示を選択し、又は表示される位置及び形式を変更してもよく、本開示の実施形態の正常な実施に影響を及ぼすことはない。
機能部1310は、操作者がサインインするために用いられ、例えば、使用される医療機器とクライアントシステムとを関連付ける。操作者は、例えばタッチにより機能部1310を選択すると、クライアントシステムのサインイン機能にアクセスする。
図14は、クライアントシステムを実行する際の模式図1400を示す。模式図1400は、クライアントシステムのサインイン機能を示す。模式図1400は2つの機能部1410、1420を示しており、それぞれクライアントシステムの異なる機能モジュールに対応してもよい。
機能部1410は、例えばQRコード(登録商標)又はバーコードをスキャンするスキャン機能をサポートしてもよく、QRコード又はバーコードは特定の医療機器に対応してもよい。機能部1420は、例えば医療機器の機器番号を手入力する入力機能をサポートしてもよい。操作者が機能部1410又は1420を用いて医療機器を決定した後、クライアントシステムは、医療機器と、クライアントシステムにログインしているユーザとの関連付けを完了してもよい。
模式図1400に関連付けられた操作は、ユーザがクライアントシステムへの入力又はタッチ等の方法を用いて機能部1410、1420とやり取りをすることで、具体的な機能モジュールにアクセスするか、又は具体的な機能モジュールを呼び出して、情報を表示又は出力することを含んでもよい。
図15は、クライアントシステムを実行する際の模式図1500を示す。模式図1500は、クライアントシステムが医療機器と、クライアントシステムにログインしたユーザとの関連付けを完了した後の模式図を示す。模式図1500は、4つの機能部1510、1520、1530、1540を示し、それぞれクライアントシステムの異なる機能モジュールに対応してもよい。
機能部1510は、医療機器が検査中であるか否かを表示する機能モジュールに対応する。機能部1520は、現在クライアントシステムにログインしているユーザ、医療機器番号及び部門を表示する機能モジュールに対応する。機能部1530は、ユーザが医療機器を用いて完了した検査操作を表示する機能モジュールに対応する。機能部1540は、サインアウト操作を行うための機能モジュールに対応する。クライアントシステムのユーザは、サインアウト機能部を選択することにより、医療機器と操作者との関連付けの解除を実現してもよい。
模式図1400に関連付けられた操作は、ユーザがクライアントシステムへの入力又はタッチ等の方法を用いて機能部1510、1520、1530、1540とやり取りをすることで、具体的な機能モジュールにアクセスするか、又は具体的な機能モジュールを呼び出して、情報を表示又は出力することを含んでもよい。
図16は、本開示の例示的な実施形態にかかる情報処理方法1600のフローチャートを概略的に示す。方法1600は、図14と図15に示すクライアントシステムの対応する機能を体現することができるが、任意で又は追加で他の機能を備えてもよい。方法1600はさらに、示されていない追加のステップを備えてもよく、且つ/又は示されたステップを省略してもよく、本開示の範囲はこの点において限定されない。
ブロック1602では、端末装置においてユーザからの第1指示情報を受信する。第1指示情報は、医療機器による少なくとも1つの操作を示す。本開示のいくつかの例示的な実施形態によれば、対応する機能を実現するために、端末装置でクライアントシステムを使用してもよい。前述したように、操作者は端末装置を使用して、医療機器に関連付けられた第1識別情報を端末装置に入力することで、端末装置が具体的な医療機器を確実に識別できるようにしてもよい。
本開示のいくつかの例示的な実施形態によれば、第1識別情報を受信することは、識別情報に関連し対応するQRコードをスキャンすること、識別情報に関連し対応するバーコードをスキャンすること、識別情報に対応する機器の識別子の入力を受信すること、識別情報に対応する音声入力を受信すること、識別情報に対応する映像入力を受信すること、識別情報に対応するタッチ入力を受信することのうち少なくとも1つによって識別情報を受信することを含んでもよい。上述した方法により、端末装置は、具体的な医療機器を確実に識別することができる。
ブロック1604において、前記ユーザからの第2指示情報を受信する。第2指示情報は、少なくとも1つの操作の操作者を示す。第2識別情報とは、特定のユーザを特定するために用いることができる情報である。本開示のいくつかの例示的な実施形態によれば、携帯端末は、クライアントシステムにログイン済みのユーザが、端末装置に関連付けられた操作者であると決定してもよく、この場合、ログイン情報がすなわち、第2識別情報である。本開示の別のいくつかの例示的な実施形態によれば、クライアントシステムにログイン済みのユーザは、クライアントシステムを介して別のユーザの識別情報を入力することで、端末装置が当該別のユーザを、端末装置に関連付けられた操作者として決定するようにしてもよい。
本開示のいくつかの例示的な実施形態によれば、第2識別情報は、操作者の氏名、操作者のユーザ名、操作者の電話番号、操作者に関連付けられた画像、及び操作者の職務のうち少なくとも1つを含んでもよい。
ブロック1606において、端末装置は、第1識別情報と第2識別情報に基づいて、医療機器と操作者とを関連付ける。本開示のいくつかの例示的な実施形態によれば、このときには操作者がまだ医療機器を使用して操作していないため、端末装置は医療機器を操作者に関連付けるだけである。本開示の別のいくつかの例示的な実施形態によれば、このとき携帯端末は、医療機器によって実行済みの操作を操作者に関連付けてもよい。
ブロック1608において、端末装置は、操作者による医療機器での操作を操作者に関連付ける。本開示のいくつかの例示的な実施形態によれば、医療機器と操作者とを関連付けた後、携帯端末は、操作者がこの後、医療機器によって行う操作を操作者に関連付けることになる。
オプションとしてのブロック1608において、端末装置は、医療機器の使用を停止すると決定した場合、医療機器と操作者との関連付けを解除する。本開示のいくつかの例示的な実施形態によれば、端末装置で医療機器の使用停止の要求を受信したこと、端末装置が医療機器と関連付けられている時間の長さが閾値の長さを超えたこと、医療機器が休眠状態になったこと、及び、医療機器がシャットダウン状態になったことのうち少なくとも1つに基づき、医療機器の使用停止を決定してもよい。本開示のいくつかの例示的な実施形態によれば、携帯端末はさらに、例えばクライアントシステムを介して、クライアントシステムにログインしているユーザに対して、医療機器の使用を停止してもよいことを喚起してもよい。
引き続き図13を参照すると、操作者は、例えばタッチにより機能部1320を選択すると、クライアントシステムの追加サイン検査記録機能にアクセスする。追加サイン検査記録とは、操作者に関連付けられていない、医療機器による操作が存在する場合、こうした操作を、例えば自身を含め様々な操作者に関連付けることをユーザが選択してもよいことを指す。
図17は、クライアントシステムを実行する際の模式図1700である。模式図1700は、追加サイン検査記録機能に関連付けられたクライアントシステムの模式図である。模式図1700は、3つの機能部1710、1720、1730を示し、それぞれクライアントシステムの異なる機能モジュールに対応してもよい。
機能部1710は、操作者に関連付けられていない、医療機器による操作のうち、どの期間のものを表示するかを、例えばタッチで選択することをサポートしてもよい。選択可能なオプションには例えば、1週間以内、1ヶ月以内、3ヶ月以内又は1年以内が含まれてもよい。
機能部1720は、操作者に関連付けられた、医療機器による操作の表示をサポートしてもよい。表示内容には例えば、胃カメラが設置されている検査室、胃カメラの番号、検査日時、検査の操作時間等が含まれてもよい。ユーザは、例えばタッチによって対応する操作を選択してもよい。
機能部1720は、選択された操作と、クライアントシステムにログインしているユーザとの関連付けをサポートしてもよい。ユーザが機能部1720に含まれる追加サイン機能を例えばタッチで選択すると、ログイン中のクライアントシステムは、選択された操作を当該ユーザと関連付ける。
模式図1700に関連付けられた操作は、ユーザがクライアントシステムへの入力又はタッチ等の方法を用いて機能部1710、1720とやり取りをすることで、具体的な機能モジュールにアクセスするか、又は具体的な機能モジュールを呼び出して、情報を表示又は出力することを含んでもよい。
図18は、本開示の例示的な実施形態にかかる情報処理方法1800のフローチャートを概略的に示す。方法1800は、図17に示すクライアントシステムの対応する機能を体現することができるが、任意で又は追加で他の機能を備えてもよい。方法1800はさらに、示されていない追加のステップを備えてもよく、且つ/又は示されたステップを省略してもよく、本開示の範囲はこの点において限定されない。
ブロック1802では、端末装置において第1指示情報を受信する。当該第1指示情報は、少なくとも1人の操作者による医療機器での少なくとも1つの操作を示す。この動作は、ユーザが機能部1720を用いて例えばタッチにより対応する操作を選択することに対応してもよい。本開示のいくつかの例示的な実施形態によれば、ユーザは、例えば、音声入力等の様々な形式で端末装置に第1指示情報を提供してもよい。
ブロック1804では、端末装置において第2指示情報を受信する。当該第2指示情報は操作者を示す。本開示のいくつかの例示的な実施形態によれば、端末装置において第2指示情報を受信することは、ユーザがクライアントシステムにログインすることを指してもよい。この場合、端末装置は、ログインの行為に関わる情報を第2指示情報とし、クライアントシステムにログインしたユーザを、示された操作者として扱うことになる。本開示の別のいくつかの例示的な実施形態によれば、クライアントシステムにログインしたユーザ自身は、医療機器による少なくとも1つの操作の操作者ではないが、具体的な操作者を決定できる場合、クライアントシステムにログインしたユーザが、具体的な操作者を示すために端末装置に第2指示情報を送信してもよい。
ブロック1806では、示された少なくとも1つの操作を、示された操作者に関連付ける。この動作は、図17に関して説明した上述のものと同じであり、ここでは詳述を繰り返さない。
引き続き図13を参照すると、操作者は、例えばタッチにより機能部1330を選択すると、クライアントシステムの部門検査記録機能にアクセスする。部門検査記録は、部門全体に関連付けられた、複数の操作者による医療機器での操作をチェックするための機能である。
図19は、クライアントシステムを実行する際の模式図1900である。模式図1900は、部門検査記録機能に関するクライアントシステムの模式図である。模式図1900は、3つの機能部1910、1920、1930を示し、それぞれクライアントシステムの異なる機能モジュールに対応してもよい。
機能部1910は、複数の操作者による医療機器での操作のうち、どの期間のものを表示するかを、例えばタッチで選択することをサポートしてもよい。選択可能なオプションには例えば、今週、先週、当月、先月等が含まれてもよく、クライアントシステムのユーザが入力により具体的な期間をインプットするのをサポートしてもよい。
機能部1920は、複数の操作者により医療機器で行われた関連付けられた操作を、具体的な部門又は医師の氏名、役職等の情報によりに検索することをサポートしてもよく、したがって、検索された操作のみを表示してもよく、その結果、より効率的に具体的な操作を閲覧することが可能となる。本開示のいくつかの例示的な実施形態によれば、クライアントシステムは、異なるログインユーザについて、異なるレベルの検索をサポートする。例えば、病院管理者等の病院レベルのユーザについては、検索条件に部門、役職及び氏名が含まれてもよく、その結果、病院管理者は病院全体の医師と看護師の操作記録を全て検索することが可能となる。例えば部門管理者等の部門レベルのユーザについては、フィルタ条件に部門が含まれず、役職と氏名のみであり、その結果、部門管理者は自身の部門の医師と看護師について、操作記録を検索することができる。
機能部1930は、操作者に関連付けられた、医療機器による操作の表示をサポートしてもよい。表示内容には例えば、医師の氏名、胃カメラが設置されている検査室、胃カメラの番号、検査日時、検査の操作時間、及び該当操作に対する評点等が含まれてもよい。ユーザは、例えばタッチによって対応する操作を選択してもよい。
模式図1900に関連付けられた操作は、ユーザがクライアントシステムへの入力又はタッチ等の方法を用いて機能部1910、1920、1930とやり取りをすることで、具体的な機能モジュールにアクセスするか、又は具体的な機能モジュールを呼び出して、情報を表示又は出力することを含んでもよい。前記出力情報は、記録をフィルタリングするための期間、部門又は医師名を検索するためのウィンドウ、操作記録者名、医療機器番号、操作日、操作時間、及び総合点を含む。前記出力情報はさらに、記録のチェックに役立つ他の関連内容であってもよい。
引き続き図13を参照すると、操作者は、例えばタッチにより機能部1340を選択すると、クライアントシステムのマイ検査記録機能にアクセスする。マイ検査記録は、クライアントシステムにログインしているユーザに関連付けられた、医療機器による操作をチェックするために用いられる。
図20は、クライアントシステムを実行する際の模式図2000である。模式図2000は、マイ検査記録機能に関連付けられたクライアントシステムの模式図である。模式図2000は2つの機能部2010、2020を示しており、それぞれクライアントシステムの異なる機能モジュールに対応してもよい。2つの機能部2010、2020は、図19を参照して説明した機能部1910、1930とそれぞれ対応するため、ここでは詳述を繰り返さない。なお、マイ検査記録機能では、医療機器により他人が行った操作を表示する必要がないため、図19に示す機能1920に類似する検索機能は必要ない。
模式図2000に関連付けられた操作は、ユーザがクライアントシステムへの入力又はタッチ等の方法を用いて機能部2010、2020とやり取りをすることで、具体的な機能モジュールにアクセスするか、又は具体的な機能モジュールを呼び出して、情報を表示又は出力することを含んでもよい。前記出力情報は、記録をフィルタリングするための期間、操作記録者名、医療機器番号、操作日、操作時間、及び総合点を含む。前記出力情報はさらに、記録のチェックに役立つ他の関連内容であってもよい。
クライアントシステムのユーザが、図19に示す模式図1900と図20に示す模式図2000における操作を例えばタッチで選択すると、クライアントシステムは、図21Aと図21Bに示すように、選択された操作に関する具体的な内容を表示してもよい。
図21A~図21Bは、クライアントシステムを実行する際の模式図2100-1~2100-2を示す。本開示のいくつかの例示的な実施形態によれば、模式図2100-1~2100-2は、それぞれが選択された操作の具体的な内容に関する表示内容の一部であり、これらが合わさって完全な表示内容を形成する。この表示内容は長尺な画像の形式であってもよく、したがってユーザは画像をスクロールすることで全表示内容を閲覧してもよい。本開示のいくつかの例示的な実施形態によれば、上述した2つの部分は、別々のインターフェースでそれぞれ表示されてもよく、ユーザは例えばクリックすることで、2つのインターフェース間で切り換えを行ってもよい。
模式図2100-1は、全表示内容の上半分を示す。これには、医師又は患者の氏名、内視鏡の種類(本実施形態では胃カメラ)、胃カメラが設置されている胃カメラ室、胃カメラの番号、検査日時、検査の操作時間、及び該当操作の評点等が含まれる。また、模式図2100-1に示す全表示内容の上半分には、胃の模擬画像上に表示された胃カメラの移動軌跡、実際の経路及び推奨経路、品質が適格、不適格なポイント及び見落としたポイント、並びに、安定度、プロセス仕様との適合性、及び画質のスコアも含まれている。
模式図2100-2は、全表示内容の下半分を示す。これには、胃カメラ検査の操作で検査された各ポイントの評点が含まれる。
模式図2100に関連付けられた操作は、ユーザがクライアントシステムを用いて入力又はタッチ等の方法で、模式図2100に示された内容とやり取りをすることで、具体的な機能モジュールにアクセスするか、又は具体的な機能モジュールを呼び出して、情報を表示又は出力することを含んでもよい。前記出力情報は、例えば操作記録者名、医療機器番号、操作日、操作時間、及び総合点等の基本情報を含んでもよい。さらに、検査経路図、例えば今回の検査経路のベースマップ、各部位のポイント、推奨経路、実際の経路、スコアの進度バー、及び各ポイントの具体的な評点/スコアを含む。
引き続き図13を参照すると、操作者は、例えばタッチにより機能部1350を選択すると、クライアントシステムのマイ品質管理分析機能にアクセスする。マイ検査記録機能は、クライアントシステムにログインしたユーザが医療機器により行った操作の品質分析をチェックするためのものである。
図22A~図22Cは、クライアントシステムを実行する際の模式図2200-1~2200-3を示す。本開示のいくつかの例示的な実施形態によれば、模式図2200-1~2200-3は、それぞれが選択された操作の具体的な内容に関する表示内容の一部であり、これらが合わさって完全な表示内容を形成する。この表示内容は長尺な画像の形式であってもよく、したがってユーザは画像をスクロールすることで全表示内容を閲覧してもよい。本開示のいくつかの例示的な実施形態によれば、上述した3つの部分は、別々のインターフェースでそれぞれ表示されてもよく、ユーザは例えばクリックすることで、2つのインターフェース間で切り換えを行ってもよい。
模式図2200-1は、全表示内容の一部を示す。これには、品質の評点に関わる個人の品質分析が含まれ、1週間以内、1ヶ月以内、3ヶ月以内又は1年以内のデータを選択してもよく、操作者が医療機器を使用して実施した検査の総合点、安定度の評点、プロセス仕様の評点及び画質の評点を、X軸を日付、Y軸を評点とした座標上で、異なる曲線を用いて表示してもよい。
模式図2200-2は、全表示内容の一部を示す。これには、検査人数に関わる検査人数分析が含まれ、1週間以内、1ヶ月以内、3ヶ月以内又は1年以内のデータを選択してもよく、操作者が医療機器を使用して実施した検査の数を、X軸を日付、Y軸を検査人数とした座標上で、曲線を用いて表示してもよい。
模式図2200-3は、全表示内容の一部を示す。これには、弱点項目に関わる弱点項目分析が含まれ、1週間以内、1ヶ月以内、3ヶ月以内又は1年以内のデータを選択してもよく、操作者が医療機器を使用して実施した検査において弱点となる項目に対する評点を、X軸を日付、Y軸を評点とした座標上で、異なる曲線を用いて表示してもよい。本開示のいくつかの例示的な実施形態によれば、点数の閾値を予め設定することで、例えば平均スコアが点数の閾値未満の項目を、医療機器を使用した操作者の弱点項目であると決定してもよい。本開示のいくつかの例示的な実施形態によれば、異なる項目についての操作者の平均スコアを順位付けして、閾値の順位より後の項目を操作者の弱点項目として選択してもよい。
模式図2200に関連付けられた操作は、ユーザがクライアントシステムを用いて入力又はタッチ等の方法で、模式図2100に示された内容とやり取りをすることで、具体的な機能モジュールにアクセスするか、又は具体的な機能モジュールを呼び出して、情報を表示又は出力することを含んでもよい。品質の評点における前記出力情報には、総合点、プロセス仕様スコア、画質スコア、安定度スコア、操作時間の総合比較結果が含まれる。また、参考用に部門又は病院の平均点も出力される。検査人数の出力情報には、フィルタリングされた期間、検査人数、累計の検査人数が含まれる。弱点項目における出力情報には、検査ポイント/部位の名称、対応する点数、時間関係に応じた前記点数の変化の傾向/曲線が含まれる。
引き続き図13を参照すると、操作者は、例えばタッチにより機能部1360を選択すると、クライアントシステムの部門品質管理分析機能にアクセスする。部門検査記録機能は、部門全体に関連付けられた、複数の操作者により医療機器で行われた操作の品質分析をチェックするためのものであり、品質の評点、指標比較、検査人数、及び弱点部分を含んでもよく、また、表示したい特定期間の統計情報を期間ごとに選択してもよい。
図23は、クライアントシステムを実行する際の模式図2300を示す。模式図2300は指標比較を表示しており、具体的には、部門ごとに分けられた、異なる内視鏡部門の総合点、評価の評点、プロセス仕様の評点、画質の評点である。本開示のいくつかの例示的な実施形態によれば、さらに職務ごとに分けてもよい。
模式図2300に関連付けられた操作は、ユーザがクライアントシステムを用いて入力又はタッチ等の方法で、模式図2300に示された内容とやり取りをすることで、具体的な機能モジュールにアクセスするか、又は具体的な機能モジュールを呼び出して、情報を表示又は出力することを含んでもよい。部門品質管理分析における前記出力情報には、総合点、プロセス仕様スコア、画質スコア、安定度スコアについて、例えば1週間以内、1ヶ月以内、3ヶ月以内、1年以内といった期間ごとの、部門又は役職別の総合比較結果が含まれる。
本開示の別のいくつかの例示的な実施形態によれば、操作者が機能部1340を例えばタッチで選択することによってクライアントシステムのマイ検査記録機能にアクセスする場合、又は、機能部1350を例えばタッチで選択することによってクライアントシステムのマイ品質管理分析機能にアクセスする場合、対応するコンテンツを直接表示せずに、選択可能なオプションを選択してもよい。
図24A~図24Bは、クライアントシステムを実行する際の模式図2400-1~2400-2を示す。模式図2400-1は、操作者が例えばタッチにより機能部1340を選択しクライアントシステムのマイ検査記録機能にアクセスした場合に表示される選択可能なオプションを示す。オプションには、品質の評点、弱点項目、及び検査人数が含まれる。模式図2400-2は、操作者が例えばタッチにより機能部1350を選択しクライアントシステムのマイ品質管理分析機能にアクセスした場合に表示される選択可能なオプションを示す。オプションには、指標比較、評点分布、傾向変化、弱点項目、及び検査人数が含まれる。ユーザはこれらのオプションを選択することで、さらなる表示インターフェースにアクセスしてもよい。
模式図2400に関連付けられた操作は、ユーザがクライアントシステムを用いて入力又はタッチ等の方法で、模式図2400に示された内容とやり取りをすることで、具体的な機能モジュールにアクセスするか、又は具体的な機能モジュールを呼び出して、情報を表示又は出力することを含んでもよい。
本開示のいくつかの例示的な実施形態によれば、図24Bに関わるシナリオにおいて、クライアントシステムは、異なるログインユーザについて異なるレベルの情報を提供してもよい。例えば、病院レベルのユーザ、例えば病院管理者については全ての情報を提供することで、病院管理者が病院全体の医師と看護師の操作記録に対する品質管理分析を取得できるようにしてもよい。例えば部門管理者等の部門レベルのユーザについては、自身の部門の医師と看護師の操作記録についての品質管理分析のみを提供してもよい。
図24Aを引き続き参照すると、操作者は、例えばタッチにより弱点項目のオプションを選択すると、クライアントシステムのマイ品質管理分析機能における品質評点機能にアクセスする。
図25A~図25Eは、クライアントシステムを実行する際の模式図2500-1~2500-5を示す。これは、クライアントシステムのマイ品質管理分析機能における品質評点機能に対応する。模式図2500-1~2500-5は、X軸をスコア、Y軸を対応する期間とする座標上での医療機器の操作者の総合点、安定度の評点、プロセス仕様の評点、画質の評点、及び操作時間をそれぞれ示す。さらに、所属する部門又は病院の平均の評点を示してもよい。本開示のいくつかの例示的な実施形態によれば、模式図2500-1~2500-5は、それぞれが品質の評点に関する表示内容の一部であり、これらが合わさって完全な表示内容を形成する。この表示内容は長尺な画像の形式であってもよく、したがってユーザは画像をスクロールすることで全表示内容を閲覧してもよい。本開示のいくつかの例示的な実施形態によれば、上述した5つの部分は、別々のインターフェースでそれぞれ表示されてもよく、ユーザは例えばクリックすることで、5つのインターフェース間で切り換えを行ってもよい。本開示のいくつかの例示的な実施形態によれば、ユーザはグラフィック表示をクリックすることで、さらなる情報を表示させてもよい。
模式図2500に関連付けられた操作は、ユーザがクライアントシステムを用いて入力又はタッチ等の方法で、模式図2500に示された内容とやり取りをすることで、具体的な機能モジュールにアクセスするか、又は具体的な機能モジュールを呼び出して、情報を表示又は出力することを含んでもよい。マイ品質管理分析における前記出力情報には、総合点、プロセス仕様スコア、画質スコア、安定度スコア、及び操作時間スコアについて、例えば1週間以内、1ヶ月以内、3ヶ月以内、1年以内の期間ごとの、所属する部門又は病院の平均評点との総合比較結果が含まれてもよい。
引き続き図24Aを参照すると、操作者は、例えばタッチにより弱点項目のオプションを選択すると、クライアントシステムのマイ品質管理分析機能における弱点項目機能にアクセスする。
図26は、クライアントシステムを実行する際の模式図2600を示す。これは、クライアントシステムのマイ品質管理分析機能における弱点項目機能に対応する。模式図2600の内容は、図22Cに関して上述した模式図2200-3の内容に類似するため、ここでは詳述を繰り返さない。
模式図2600に関連付けられた操作は、ユーザがクライアントシステムを用いて入力又はタッチ等の方法で、模式図2600に示された内容とやり取りをすることで、具体的な機能モジュールにアクセスするか、又は具体的な機能モジュールを呼び出して、情報を表示又は出力することを含んでもよい。弱点項目における出力情報には、検査ポイント/部位の名称及び対応する点数について、例えば当月、先月といった期間ごとの、例えば週単位又は1日単位の変化の傾向/曲線が含まれる。
引き続き図24Aを参照すると、操作者は、例えばタッチにより検査人数のオプションを選択すると、クライアントシステムのマイ品質管理分析機能における検査人数機能にアクセスする。
図27は、クライアントシステムを実行する際の模式図2700を示す。これは、クライアントシステムのマイ品質管理分析機能における検査人数機能に対応する。模式図2700は、ある期間又は累計の検査人数を示してもよい。
模式図2700に関連付けられた操作は、ユーザがクライアントシステムを用いて入力又はタッチ等の方法で、模式図2700に示された内容とやり取りをすることで、具体的な機能モジュールにアクセスするか、又は具体的な機能モジュールを呼び出して、情報を表示又は出力することを含んでもよい。検査人数項目の出力情報には、例えば今週、当月、累計期間ごとの、例えば週単位の検査人数の変化の傾向/棒グラフが含まれる。
引き続き図24Bを参照すると、操作者は、例えばタッチにより指標比較のオプションを選択すると、クライアントシステムの部門品質管理分析機能における指標比較機能にアクセスする。
図28A~図28Eは、クライアントシステムを実行する際の模式図2800-1~2800-5を示す。これは、クライアントシステムの部門品質管理分析機能における指標比較機能に対応する。模式図2800-1~2800-5は、X軸をスコア、Y軸を対応する期間とする座標上での、部門単位の医療機器の操作者の総合点、安定度の評点、プロセス仕様の評点、画質の評点、及び操作時間をそれぞれ示す。さらに、所属する病院の平均の評点を示してもよい。本開示のいくつかの例示的な実施形態によれば、模式図2800-1~2800-5は、それぞれが指標比較に関する表示内容の一部であり、これらが合わさって完全な表示内容を形成する。この表示内容は長尺な画像の形式であってもよく、したがってユーザは画像をスクロールすることで全表示内容を閲覧してもよい。本開示のいくつかの例示的な実施形態によれば、上述した5つの部分は、別々のインターフェースでそれぞれ表示されてもよく、ユーザは例えばクリックすることで、5つのインターフェース間で切り換えを行ってもよい。本開示のいくつかの例示的な実施形態によれば、ユーザはグラフィック表示をクリックすることで、さらなる情報を表示させてもよい。
模式図2800に関連付けられた操作は、ユーザがクライアントシステムを用いて入力又はタッチ等の方法で、模式図2800に示された内容とやり取りをすることで、具体的な機能モジュールにアクセスするか、又は具体的な機能モジュールを呼び出して、情報を表示又は出力することを含んでもよい。指標比較機能における前記出力情報には、総合点、プロセス仕様スコア、画質スコア、安定度スコアについて、例えば1週間以内、1ヶ月以内、3ヶ月以内、1年以内といった期間ごとの、例えば週単位の変化の傾向/棒グラフを含む。さらに、病院の平均レベルとの比較が含まれてもよい。
引き続き図24Bを参照すると、操作者は、例えばタッチにより評点分布のオプションを選択すると、クライアントシステムの部門品質管理分析機能における評点分布機能にアクセスする。
図29A~図29Eは、クライアントシステムを実行する際の模式図2900-1~2900-5を示す。これは、クライアントシステムの部門品質管理分析機能における評点分布機能に対応する。模式図2900-1~2900-5は、部門単位の医療機器の操作者の総合点、安定度の評点、プロセス仕様の評点、画質の評点、及び操作時間についての優秀・合格・不合格の比率をそれぞれ示す。本開示のいくつかの例示的な実施形態によれば、模式図2900-1~2900-5は、それぞれが指標比較に関する表示内容の一部であり、これらが合わさって完全な表示内容を形成する。この表示内容は長尺な画像の形式であってもよく、したがってユーザは画像をスクロールすることで全表示内容を閲覧してもよい。本開示のいくつかの例示的な実施形態によれば、上述した5つの部分は、別々のインターフェースでそれぞれ表示されてもよく、ユーザは例えばクリックすることで、5つのインターフェース間で切り換えを行ってもよい。本開示のいくつかの例示的な実施形態によれば、ユーザはグラフィック表示をクリックすることで、さらなる情報を表示させてもよい。
模式図2900に関連付けられた操作は、ユーザがクライアントシステムを用いて入力又はタッチ等の方法で、模式図2900に示された内容とやり取りをすることで、具体的な機能モジュールにアクセスするか、又は具体的な機能モジュールを呼び出して、情報を表示又は出力することを含んでもよい。評点分布機能における前記出力情報には、総合点、プロセス仕様スコア、画質スコア、安定度スコア、操作時間についての不合格・合格・優秀の円グラフの評点分布が含まれる。
引き続き図24Bを参照すると、操作者は、例えばタッチにより傾向変化のオプションを選択すると、クライアントシステムの部門品質管理分析機能における傾向変化機能にアクセスする。
図30A~図30Eは、クライアントシステムを実行する際の模式図3000-1~3000-5を示す。これは、クライアントシステムの部門品質管理分析機能における傾向変化機能に対応する。模式図3000-1~3000-5は、X軸を点数、Y軸を対応する期間とする座標上での、部門単位の医療機器の操作者の総合点、安定度の評点、プロセス仕様の評点、画質の評点、及び操作時間をそれぞれ示す。さらに、所属病院の平均の評点を示すことで、上述した評点の変化傾向を理解することができる。本開示のいくつかの例示的な実施形態によれば、模式図3000-1~3000-5は、それぞれが指標比較に関する表示内容の一部であり、これらが合わさって完全な表示内容を形成する。この表示内容は長尺な画像の形式であってもよく、したがってユーザは画像をスクロールすることで全表示内容を閲覧してもよい。本開示のいくつかの例示的な実施形態によれば、上述した5つの部分は、別々のインターフェースでそれぞれ表示されてもよく、ユーザは例えばクリックすることで、5つのインターフェース間で切り換えを行ってもよい。本開示のいくつかの例示的な実施形態によれば、ユーザはグラフィック表示をクリックすることで、さらなる情報を表示させてもよい。
模式図3000に関連付けられた操作は、ユーザがクライアントシステムを用いて入力又はタッチ等の方法で、模式図3000に示された内容とやり取りをすることで、具体的な機能モジュールにアクセスするか、又は具体的な機能モジュールを呼び出して、情報を表示又は出力することを含んでもよい。傾向変化機能における前記出力情報には、総合点、プロセス仕様スコア、画質スコア、安定度スコアについて、例えば日、週、月といった期間ごとの、例えば1日単位の変化の傾向/棒グラフを含む。さらに、病院の平均レベルとの比較が含まれてもよい。
引き続き図24Bを参照すると、操作者は、例えばタッチにより弱点項目のオプションを選択すると、クライアントシステムの部門品質管理分析機能における弱点項目機能にアクセスする。
図31A~図31Bは、クライアントシステムを実行する際の模式図3100-1~3100-2を示す。これは、クライアントシステムの部門品質管理分析機能における弱点項目機能に対応する。今週、先週(模式図3100-1)、当月又は先月(模式図3100-2)のデータを選択してもよく、操作者が医療機器を使用して実施した検査において弱点となる項目に対する評点を、X軸を日付又は週、Y軸を評点とした座標上で、異なる曲線を用いて表示してもよい。本開示のいくつかの例示的な実施形態によれば、点数の閾値を予め設定することで、例えば平均スコアが点数の閾値未満の項目を、医療機器を使用した操作者の弱点項目であると決定してもよい。本開示のいくつかの例示的な実施形態によれば、異なる項目についての操作者の平均スコアを順位付けして、閾値の順位より後の項目を操作者の弱点項目として選択してもよい。
模式図3100に関連付けられた操作は、ユーザがクライアントシステムを用いて入力又はタッチ等の方法で、模式図3100に示された内容とやり取りをすることで、具体的な機能モジュールにアクセスするか、又は具体的な機能モジュールを呼び出して、情報を表示又は出力することを含んでもよい。弱点項目機能における出力情報には、検査ポイント/部位の名称及び対応する点数、並びに時間関係に応じた前記点数の変化の傾向/曲線が含まれる。
引き続き図24Bを参照すると、操作者は、例えばタッチにより検査人数のオプションを選択すると、クライアントシステムの部門品質管理分析機能における検査人数機能にアクセスする。
図32は、クライアントシステムを実行する際の模式図3200を示す。これには、検査人数に関わる検査人数分析が含まれ、1週間以内、1ヶ月以内、3ヶ月以内又は半年以内のデータを選択してもよく、部門単位の操作者が医療機器を使用して実施した検査の数を、X軸を日付、Y軸を検査人数とした座標上で、曲線を用いて表示してもよい。
模式図3200に関連付けられた操作は、ユーザがクライアントシステムを用いて入力又はタッチ等の方法で、模式図3200に示された内容とやり取りをすることで、具体的な機能モジュールにアクセスするか、又は具体的な機能モジュールを呼び出して、情報を表示又は出力することを含んでもよい。検査人数機能における出力情報には、フィルタリングされた期間、検査人数と時間との対比が含まれる。
図33は、本開示の例示的な実施形態にかかる情報処理方法3300のフローチャートを概略的に示す。方法3300は、図13と図19~図32に示すクライアントシステムの対応する機能を体現することができるが、任意で又は追加で他の機能を備えてもよい。方法3300はさらに、示されていない追加のステップを備えてもよく、且つ/又は示されたステップを省略してもよく、本開示の範囲はこの点において限定されない。
ブロック3302において、端末装置は医療用検査機器の操作行為に関連付けられた第1情報を受信する。本開示のいくつかの例示的な実施形態によれば、第1情報は、医療用検査機器が操作中に行ったデータ収集に関連付けられている。
本開示のいくつかの例示的な実施形態によれば、端末装置が第1情報を受信する前に、端末装置は、まず、モバイル機器を使用するユーザから命令を受信し、第1情報についての要求をクラウドストレージ装置に送信し、その後、クラウドストレージ装置から第1情報を受信してもよい。本開示のいくつかの例示的な実施形態によれば、第1情報は、医療用検査機器のデータ分析装置からクラウドストレージ装置に送信されてもよく、第1情報は、内視鏡からの医療用検査機器の入力データに基づいて決定される。
本開示のいくつかの例示的な実施形態によれば、端末装置が受信する、医療用検査機器の操作行為に関連付けられた第1情報は、医療用検査機器の操作中の1セットの位置と、1セットの位置に関連付けられた順序情報、1セットの位置に関連付けられた時間情報、医療用検査機器の操作中の軌跡、医療用検査機器の操作中の推奨軌跡、軌跡の推奨軌跡からのズレの程度、1セットの位置と時間情報に基づいて決定されるとともに操作中の内視鏡の瞬間速度、平均速度及び加速度のうちの少なくとも1つを含む操作中の医療用検査機器の速度情報、速度情報に基づいて決定される医療用検査機器の操作中の安定度、データ収集中に医療用検査機器が収集した画像データ、画像データの画質、操作行為の対象である器官の器官画像、医療用検査機器検査に対する、医療用検査機器の検査対象の部位の適格度、操作行為に対する評点、操作行為の統計情報、統計情報の比較情報、操作行為に対する改善提案、異なる操作行為についての異なる第1情報の比較、並びに、評点及び評点閾値に基づいて決定される操作行為のうち、少なくとも1つを含んでもよい。
上述の第1情報において、本開示のいくつかの例示的な実施形態によれば、画質は、画像データの鮮明さ、画像データの数量、画像データがカバーする医療用検査機器の検査対象の部位の面積のうち、少なくとも1つにより決定されてもよい。
上述の第1情報において、本開示のいくつかの例示的な実施形態によれば、統計情報は、1セットの位置のうち少なくとも一部で収集された、操作行為の画像データの数量、医療用検査機器の異なる操作者に応じた操作行為の区分、及び、医療用検査機器の異なる操作者が所属する組織に応じた操作行為の区分のうち、少なくとも1つを含んでもよい。
前記第1情報は、例えば操作中の医療用検査機器の1セットの位置、1セットの位置に関連付けられた順序情報、1セットの位置に関連付けられた時間情報、操作中の内視鏡の瞬間速度、データ収集中に医療用検査機器が収集した画像データ等、内視鏡によって直接記録された情報を含む。また、上述の内視鏡によって直接記録された情報を処理装置1122によって受信し、処理し分析して得られた第1処理装置情報を含む。第1処理装置情報は例えば、医療用検査機器の操作中の軌跡、医療用検査機器の操作中の推奨軌跡、軌跡の推奨軌跡からのズレの程度、医療用検査機器の操作中の速度情報、医療用検査機器の操作中の安定度、画像データの画質、医療用検査機器検査に対する、医療用検査機器の検査対象の部位の適格度を含む。さらに、処理装置1122が第1処理装置情報を統計分析して得た統計情報を含む。これは第2処理装置情報とも称される。前記第2処理装置情報は、操作行為に対する評点、操作行為の統計情報、統計情報の比較情報、操作行為についての改善提案、異なる操作行為についての異なる第1情報の比較、並びに、評点及び評点閾値に基づいて決定される操作行為を含む。
さらに、前記第2処理装置情報における統計情報は、1セットの位置のうち少なくとも一部で収集された、操作行為の画像データの数量、医療用検査機器の異なる操作者に応じた操作行為の区分、及び、医療用検査機器の異なる操作者が所属する組織に応じた操作行為の区分のうち、少なくとも1つを含んでもよい。
本開示のいくつかの例示的な実施形態によれば、内視鏡1110によって医師の検査時の関連情報を収集し、その後、病院が規定する医師の行為基準に従って分析比較データを得る。前記分析比較は、1回の操作における医師の行為が操作仕様/基準に適合しているかどうかについて計算し、次に、複数回の類似の操作により、特定の医師の長期の操作記録と、部門、病院の操作記録を得ることで、個人、部門、病院を単位として統計処理を行うことができるので、個人、部門、病院の評価及び考察に対し、データによるサポートを提供することができる。
ブロック3304において、端末装置は、第1情報の少なくとも一部を出力する。
本開示のいくつかの例示的な実施形態によれば、第1情報の少なくとも一部を出力することは、第1情報の少なくとも一部を表示することと、第1情報の少なくとも一部を印刷することとを備えてもよい。本開示のいくつかの例示的な実施形態によれば、第1情報の少なくとも一部を出力することは
本開示のいくつかの例示的な実施形態によれば、第1情報の少なくとも一部を出力することは、マルチビュー切替表示、映像表示、バーチャルリアリティ表示、拡張現実表示、3D表示のうち少なくとも1つの表示方法に従い、第1情報の少なくとも一部を表示することを備えてもよい。
本開示のいくつかの例示的な実施形態によれば、第1情報の少なくとも一部を出力することは、第1情報の種類に基づいて表示方法を選択し、選択された表示方法に従って第1情報の少なくとも一部を表示することを備えてもよい。例えば、第1情報の種類が内視鏡の移動軌跡である場合、表示方法として3次元表示を選択して当該軌跡を表示してもよく、こうすることで、より直感的に当該軌跡を視認することができる。
本開示のいくつかの例示的な実施形態によれば、第1情報の少なくとも一部を出力することは、操作行為の対象である器官の器官画像に関連付けて、1セットの位置の少なくとも一部を出力することと、当該器官画像に関連付けて、軌跡の少なくとも一部を出力することとを備えてもよい。例えば、図21Aに示すように、軌跡を器官画像上に出力してもよい。本開示のいくつかの例示的な実施形態によれば、器官の画像は、例えば静止画像、動画及び映像等の各種形式の画像を含んでもよい。
本開示のいくつかの例示的な実施形態によれば、第1情報の少なくとも一部を出力することは、軌跡と推奨軌跡とを関連付けて出力することと、軌跡とズレの程度とを関連付けて出力することとを備え、この結果、行われた内視鏡操作に存在する不備を直感的に視認することができる。
本開示のいくつかの例示的な実施形態によれば、第1情報の少なくとも一部を出力することは、第1情報についての入力命令を受信し、入力命令に応じた第1情報の一部を決定することを備えてもよい。フィルタリング操作を行った後、必要な情報をユーザがより直感的に見られるようにして、より適切に品質管理の効果を奏するようにしてもよい。本開示のいくつかの例示的な実施形態によれば、入力命令はフィルタリング命令をさらに含み、フィルタリング命令に含まれるフィルタリング条件は、医療用検査機器の操作行為に関連付けられた操作者の操作者識別子、医療用検査機器の操作者が所属する組織の組織識別子と、操作行為が発生した日付と、操作行為が発生した期間と、操作行為に対する評点の評点閾値と、医療用検査機器検査に対する医療用検査機器の検査対象の部位の適格度の適格度閾値と、操作行為の統計情報の統計情報閾値と、画質閾値とのうち、少なくとも1つを含む。
図33を引き続き参照すると、オプションとしてのブロック3306において、端末装置は第1入力を受信する。第1入力は、第1情報の少なくとも一部の現在の表示方法と異なる別の表示方法を示す。本開示のいくつかの例示的な実施形態によれば、端末装置のユーザは、第1情報の表示方法を選択してもよく、例えば、棒グラフ又は円グラフ等を用いて表示してもよく、その結果、個人の好みの、又は好ましい表示方法に従って表示することができる。
オプションとしてのブロック3308において、端末装置は、オプションとしてのブロック3306で指示された、第1入力によって示された別の表示方法に従って、当該第1情報を表示する。
オプションとしてのブロック3310において、端末装置は第2入力を受信し、第2入力は、表示される情報を示す。本開示のいくつかの例示的な実施形態によれば、図13~図32を参照すると、端末装置のユーザは、例えば第1情報上でタッチを行うことで、さらなる情報の表示を選択してもよい。例えば、ユーザは第1情報における軌跡上のあるポイントをタップすることで、そのポイントに関連付けられたスコアや提案等を表示させてもよい。
オプションとしてのブロック3312において、端末装置は、オプションとしてのブロック3306で指示された、第2入力によって示された表示される情報に従って、第1情報のうちの表示される情報にマッチしたまだ表示されていない第1情報を出力する。
理解すべき点として、本開示の上述の各図や説明で用いた様々な数や数値の大きさはあくまでも例にすぎず、本開示の保護範囲を限定するものではない。上述の数及び数値は、必要に応じて任意に設定することができ、本開示の実施形態の正常な実施に影響を及ぼすことはない。
以上、図13及び図19~図33を参照して、情報処理方法の詳細を説明した。以下、図34を参照して情報処理装置における各モジュールを説明する。図34は、本開示の例示的な実施形態にかかる情報処理装置3410のブロック図3400を概略的に示す。図34に示すように、受信モジュール3412と出力モジュール3414を備える情報処理装置3410が提供される。受信モジュール3412は、医療用検査機器の操作行為に関連付けられた第1情報を受信するように設定されており、当該第1情報は、医療用検査機器が操作中に行ったデータ収集に関連付けられている。出力モジュール3414は、第1情報の少なくとも一部を出力するように設定されている。本開示のいくつかの例示的実施形態によれば、情報処理装置3410は、上記した図33に示す情報処理方法3300にかかる具体的なステップを実行するように設定されている。
図12から図33を参照して上述したように、本開示の実施形態による技術的解決手段は、従来の解決手段に比べて多くの利点がある。例えば、この技術的解決手段を用いれば、検査に関連付けられた操作行為の品質管理を行うことができるため、操作行為から得られた結果の品質、推奨操作との差異、提案される修正の方向、及び任意の可能な統計情報を示すことで、医師が医療用検査機器の操作を改善するのを支援することができる。
図35は、本開示の内容の例示的な実施形態を実施可能な例示的装置3500の概略ブロック図を示す。例えば、図1に示すコンピューティングデバイス130と、図11に示すデータ装置1121、処理装置1122及び端末装置1123は、装置3500によって実施されてもよい。図に示すように、装置3500は、中央プロセッサー(CPU)3501を含む。CPU3501は、リードオンリーメモリ(ROM)3502に格納されているコンピュータプログラムの命令、又は記憶ユニット3508からランダムアクセスメモリ(RAM)3503にロードされたコンピュータプログラムの命令に基づき、各種の適切な動作及び処理を実行してもよい。RAM3503にはさらに、装置3500の操作に必要な各種プログラム及びデータを格納してもよい。CPU3501、ROM3502及びRAM3503はバス3504を介して互いに接続されている。入力/出力(I/O)インターフェース3505もバス3504に接続されている。
装置3500における複数の部材は、I/Oインターフェース3505に接続されている。複数の部材には、キーボード、マウス等の入力ユニット3506、様々な種類のディスプレイ、スピーカ等の出力ユニット3507、磁気ディスク、光ディスク等の記憶ユニット3508、及びネットワークインターフェースカード、モデム、無線通信送受信機等の通信ユニット3509が含まれる。通信ユニット3509によって、装置3500は、インターネットのようなコンピュータネットワーク及び/又は各種電信ネットワークを介して、他の装置と情報/データを交換することができる。
上述した各プロセス及び処理、例えば方法1600、1800、3300は、プロセッサー3501により実行されてもよい。例えば、いくつかの例示的な実施形態において、方法1600、1800、3300は、コンピュータソフトウェアプログラムとして実現されてもよく、記憶ユニット3508のようなマシン可読媒体に、有形記憶されている。いくつかの例示的な実施形態において、コンピュータプログラムの一部又は全部は、ROM3502及び/又は通信ユニット3509を経由して装置3500にロード及び/又はインストールされてもよい。コンピュータプログラムがRAM3503にロードされCPU3501により実行された場合、上述した方法1600、1800、3300の1つ又は複数の動作を実行することができる。
本開示の例示的な実施形態では、情報処理装置が提供される。情報処理装置は、少なくとも1つのプロセッサーと、少なくとも1つのプロセッサーに結合され、少なくとも1つのプロセッサーによって実行される命令が格納されている少なくとも1つのメモリとを備え、命令は、少なくとも1つのプロセッサーによって実行されると、当該装置に上述した方法1600を実行させる。
本開示の例示的な実施形態では、情報処理装置が提供される。情報処理装置は、少なくとも1つのプロセッサーと、少なくとも1つのプロセッサーに結合され、少なくとも1つのプロセッサーによって実行される命令が格納されている少なくとも1つのメモリとを備え、命令は、少なくとも1つのプロセッサーによって実行されると、当該装置に上述した方法1800を実行させる。
本開示の例示的な実施形態では、情報処理装置が提供される。情報処理装置は、少なくとも1つのプロセッサーと、少なくとも1つのプロセッサーに結合され、少なくとも1つのプロセッサーによって実行される命令が格納されている少なくとも1つのメモリとを備え、命令は、少なくとも1つのプロセッサーによって実行されると、当該装置に上述した方法3300を実行させる。
本開示は、方法、装置、システム及び/又はコンピュータプログラム製品であり得る。コンピュータプログラム製品は、本開示の各態様を実行するためのコンピュータ可読プログラム命令が格納されているコンピュータ可読記憶媒体を備えてもよい。
コンピュータ可読記憶媒体は、命令実行デバイスにより使用される命令を保持し格納することができる有形デバイスであり得る。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁気記憶装置、半導体記憶装置又は上述の任意の適切な組合せであり得るが、これらに限られない。コンピュータ可読記憶媒体のより具体的な例として(全てではない)、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去・書き込み可能なリードオンリーメモリ(EPROM又はフラッシュメモリ)、スタティックRAM(SRAM:Static Random Access Memory)、携帯型コンパクトディスクリードオンリーメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、メモリースティック、フロッピーディスク、機械的エンコーダディスク、例えば命令が格納されているパンチカード又は溝内の突起構造、及び上述の任意の適切な組合せが含まれる。ここで使用されるコンピュータ可読記憶媒体は、例えば無線電波若しくは他の自由伝播する電磁波、導波若しくは他の送信媒体を介して伝播する電磁波(例えば、光ケーブルを介する光パルス)、又は電線で送信される電気信号のような、瞬時の信号そのものであるとは解釈されない。
ここで説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各計算/処理デバイスにダウンロードしてもよく、又は、ネットワーク、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び/若しくは無線ネットワークを介して外部のコンピュータ若しくは外部記憶装置にダウンロードしてもよい。ネットワークは、銅線送信ケーブル、光ケーブル送信、無線送信、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び/又はエッジサーバを含んでもよい。各計算/処理デバイスにおけるネットワークインターフェースカード又はネットワークインターフェースは、コンピュータ可読プログラム命令をネットワークから受信し、当該コンピュータ可読プログラム命令を転送し、各計算/処理デバイスのコンピュータ可読記憶媒体に格納されるようにする。
本開示の操作を実行するためのコンピュータプログラム命令は、アセンブラ指示文、命令セットアーキテクチャ(ISA:Instruction Set Architecture)、機械語命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、又は、1種類若しくは複数種類のプログラミング言語の任意の組合せで記述されたソースコード若しくは対象コードであり得る。前記プログラミング言語は、Smalltalk、C++等のオブジェクト指向のプログラミング言語、及び、「C」言語又は類似のプログラミング語言のような一般的なプロセス式プログラミング言語を含む。コンピュータ可読プログラム命令は、全てユーザコンピュータ上で実行してもよいし、部分的にユーザコンピュータ上で実行してもよいし、1つの独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行するとともにリモートコンピュータ上で部分的に実行してもよいし、或いは、全てリモートコンピュータ又はサーバ上で実行してもよい。リモートコンピュータにかかる状況において、リモートコンピュータは、ローカルエリアネットワーク(LAN)又はワイドエリアネットワーク(WAN)を含む任意の種類のネットワークを介して、ユーザコンピュータに接続してもよく、又は、外部のコンピュータに接続してもよい(例えばインターネットサービスプロバイダを利用しインターネットを介して接続する)。いくつかの例示的な実施形態では、コンピュータ可読プログラム命令のステータス情報を利用して、例えばプログラマブルロジック回路、フィールドプログラマブルゲートアレイ(FPGA)又はプログラマブルロジックアレイ(PLA)のような電子回路をパーソナライズすることができる。当該電子回路は、コンピュータが読み取り可能なプログラム命令を実行することで、本開示の各態様を実現することができる。
ここでは、本開示の例示的な実施形態にかかる方法、装置(システム)及びコンピュータプログラム製品のフローチャート及び/又はブロック図を参照して、本開示の各態様を説明した。理解すべき点として、フローチャート及び/又はブロック図の各ブロック並びにフローチャート及び/又はブロック図の各ブロックの組合せは、いずれも、コンピュータ可読プログラム命令により実現可能である。
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ又は他のプログラミング可能なデータ処理装置のプロセッサーに提供されて、マシンを生成してもよく、これらの命令がコンピュータ又は他のプログラミング可能なデータ処理装置のプロセッサーにより実行された場合、フローチャート及び/又はブロック図の1つ又は複数のブロックで規定された機能/動作を実現する装置が生成される。これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に格納されてもよい。これらの命令によって、コンピュータ、プログラミング可能なデータ処理装置及び/又はその他のデバイスは特定の方法で動作を行う。したがって、命令が格納されているコンピュータ可読媒体は、フローチャート及び/又はブロック図の1つ又は複数のブロックで規定された機能/動作を実現する各態様の命令が含まれている製品を含む。
コンピュータ可読プログラム命令を、コンピュータ、他のプログラミング可能なデータ処理装置又は他のデバイスにロードして、コンピュータ、他のプログラミング可能なデータ処理装置又は他のデバイス上で一連の操作ステップを実行させ、コンピュータが実現するプロセスを生成してもよい。こうすることで、コンピュータ、他のプログラミング可能なデータ処理装置又は他のデバイスで実行される命令に、フローチャート及び/又はブロック図の1つ又は複数のブロックで規定された機能/動作を実現させる。
図中のフローチャート及びブロック図は、本開示の複数の例示的な実施形態にかかるシステム、方法、コンピュータプログラム製品の実現可能なアーキテクチャ、機能及び操作を表している。この点において、フローチャート又はブロック図の各ブロックは、1つのモジュール、プログラムセグメント又は命令の一部を示すことができ、前記モジュール、プログラムセグメント又は命令の一部は、規定されたロジック機能を実現するための1つ又は複数の実行可能な命令を含む。代替としてのいくつかの実現形態において、ブロック内に表記された機能は、図中の表記と異なる順序で発生してもよい。例えば、2つの連続するブロックは実際には基本的に並行して実行されてもよいし、場合によっては反対の順序で実行されてもよい。これは、関係する機能によって定められる。また、注意すべき点として、ブロック図及び/又はフローチャートの各ブロック、並びにブロック図及び/又はフローチャートのブロックの組合せは、規定された機能又は動作を実行する、ハードウェアに基づく専用システムで実現してもよいし、或いは、専用のハードウェアとコンピュータ命令との組合せにより実現してもよい。
以上、本開示の各実施形態を説明したが、上述した説明は、例示的なもので、全て網羅したものではなく、開示された各実施形態に限定されない。説明した各実施形態の範囲及び精神から逸脱しない状況において、当業者が多数の修正及び変更を行うことができることは明らかである。ここで使用された用語は、各実施形態の原理、実際の応用又は市場での技術改良について最適な説明を行うこと、又は当業者に本明細書で開示された各実施形態を理解してもらうことを意図して、選択したものである。

Claims (22)

  1. 医療用検査機器の操作行為に関連付けられた第1情報を受信することと、
    前記第1情報の少なくとも一部を出力することと、
    を含み、
    前記第1情報は、前記医療用検査機器が操作中に行ったデータ収集に関連付けられている、
    情報処理方法。
  2. 前記第1情報を受信することは、
    前記医療用検査機器の前記操作中の1セットの位置、
    前記1セットの位置に関連付けられた順序情報、
    前記1セットの位置に関連付けられた時間情報、
    前記医療用検査機器の前記操作中の軌跡、
    前記医療用検査機器の前記操作中の推奨軌跡、
    前記軌跡の前記推奨軌跡からのズレの程度、
    前記医療用検査機器の前記操作中の速度情報、
    前記医療用検査機器の前記操作中の安定度、
    前記データ収集中に前記医療用検査機器が収集した画像データ、
    前記画像データの画質、
    前記操作行為の対象である器官の器官画像、
    医療用検査機器検査に対する前記医療用検査機器の検査対象の部位の適格度、
    前記操作行為に対する評点、
    前記操作行為の統計情報
    前記統計情報の比較情報、
    前記操作行為に対する改善提案、
    異なる前記操作行為についての異なる前記第1情報の比較、及び
    前記評点及び評点閾値に基づいて決定される操作行為、
    のうちの少なくとも1つを受信することを含む、
    請求項1に記載の方法。
  3. 前記統計情報は、
    前記1セットの位置のうちの少なくとも一部において収集された、前記操作行為の画像データの数量、
    前記医療用検査機器の異なる操作者に応じた前記操作行為の区分、及び
    前記医療用検査機器の異なる操作者が所属する組織に応じた前記操作行為の区分
    のうちの少なくとも1つを含む、
    請求項2に記載の方法。
  4. 前記第1情報の少なくとも一部を出力することは、
    前記器官画像に関連付けて、前記1セットの位置の少なくとも一部を出力すること、及び
    前記器官画像に関連付けて、前記軌跡の少なくとも一部を出力すること、
    のうちの少なくとも1つを含む、
    請求項2に記載の方法。
  5. 前記第1情報の少なくとも一部を出力することは、
    前記軌跡と前記推奨軌跡とを関連付けて出力すること、及び
    前記軌跡と前記ズレの程度とを関連付けて出力すること、
    のうちの少なくとも1つを含む、
    請求項2に記載の方法。
  6. 前記第1情報を受信することは、
    クラウドストレージ装置から前記第1情報を受信することを含み、
    前記第1情報は、前記医療用検査機器のデータ分析装置から前記クラウドストレージ装置に送信され、
    前記第1情報は、前記医療用検査機器の入力データに基づいて決定される、
    請求項1に記載の方法。
  7. 前記第1情報の前記少なくとも一部を出力することは、
    前記第1情報についての入力命令を受信することと、
    前記入力命令に応じた前記第1情報の前記一部を決定することと、
    を含む、
    請求項1に記載の方法。
  8. 前記入力命令はフィルタリング命令をさらに含み、
    前記フィルタリング命令に含まれるフィルタリング条件は、前記医療用検査機器の操作行為に関連付けられた操作者の操作者識別子と、前記医療用検査機器の操作者が所属する組織の組織識別子と、前記操作行為が発生した日付と、前記操作行為が発生した期間と、前記操作行為に対する評点の評点閾値と、医療用検査機器検査に対する前記医療用検査機器の検査対象の部位の適格度の適格度閾値と、前記操作行為の統計情報の統計情報閾値と、画質閾値と、のうちの少なくとも1つを含む、
    請求項7に記載の方法。
  9. 前記第1情報の少なくとも一部を出力することは、
    前記第1情報の前記少なくとも一部を表示すること、及び
    前記第1情報の前記少なくとも一部を印刷すること、
    のうちの少なくとも1つを含む、
    請求項1に記載の方法。
  10. 前記第1情報の少なくとも一部を出力することは、
    マルチビュー切替表示、
    映像表示、
    バーチャルリアリティ表示、
    拡張現実表示、及び
    3D表示、
    のうちの少なくとも1つの表示方法に従い、前記第1情報の前記少なくとも一部を表示することを含む、
    請求項1に記載の方法。
  11. 前記第1情報の少なくとも一部を出力することは、
    前記第1情報の種類に基づいて表示方法を選択することと、
    選択された前記表示方法に従って前記第1情報の前記少なくとも一部を表示することと、
    を含む、
    請求項1に記載の方法。
  12. 前記第1情報の前記少なくとも一部の現在の表示方法と異なる別の表示方法を示す第1入力を受信することと、
    前記別の表示方法に従って前記第1情報の前記少なくとも一部を表示することと、
    をさらに含む、
    請求項1に記載の方法。
  13. 表示される情報を示す第2入力を受信することと、
    前記第1情報のうち、前記表示される情報にマッチし、まだ表示されていない前記第1情報を出力することと、
    をさらに含む、
    請求項1に記載の方法。
  14. 端末装置において、医療機器に関連付けられた第1識別情報を受信することと、
    前記端末装置に関連付けられた操作者の第2識別情報を取得することと、
    前記第1識別情報と前記第2識別情報に基づいて、前記医療機器と前記操作者とを関連付けることと、
    を含む、
    情報処理方法。
  15. 前記操作者による前記医療機器での操作を前記操作者に関連付けることをさらに含む、
    請求項14に記載の方法。
  16. 前記第1識別情報を受信することは、
    前記識別情報に関連し対応するQRコードをスキャンすること、
    前記識別情報に関連し対応するバーコードをスキャンすること、
    前記識別情報に対応する機器の識別子の入力を受信すること、
    前記識別情報に対応する音声入力を受信すること、
    前記識別情報に対応する映像入力を受信すること、及び
    前記識別情報に対応するタッチ入力を受信すること、
    のうちの少なくとも1つによって前記識別情報を受信することを含む、
    請求項14に記載の方法。
  17. 前記第2識別情報は、
    前記操作者の氏名、
    前記操作者のユーザ名、
    前記操作者の電話番号、
    前記操作者に関連付けられた画像、
    前記操作者の職務、
    のうちの少なくとも1つを含む、
    請求項14に記載の方法。
  18. 前記医療機器の使用を停止すると決定した場合、前記医療機器と前記操作者との関連付けを解除することをさらに含む、
    請求項14に記載の方法。
  19. 端末装置において前記医療機器の使用停止の要求を受信したこと、
    前記端末装置が前記医療機器と関連付けられている時間の長さが閾値の長さを超えたこと、
    前記医療機器が休眠状態になったこと、及び
    前記医療機器がシャットダウン状態になったこと、
    のうちの少なくとも1つに基づき、前記医療機器の使用停止を決定することをさらに含む、
    請求項18に記載の方法。
  20. 端末装置において、医療機器による少なくとも1つの操作を示す、ユーザからの第1指示情報を受信することと、
    前記少なくとも1つの操作の操作者を示す、前記ユーザからの第2指示情報を受信することと、
    示された前記少なくとも1つの操作を、示された前記操作者に関連付けることと、
    を含む、
    情報処理方法。
  21. 少なくとも1つのプロセッサーと、
    前記少なくとも1つのプロセッサーに結合され、前記少なくとも1つのプロセッサーによって実行される命令が格納されている少なくとも1つのメモリと、
    を備える電子装置であって、
    前記命令が前記少なくとも1つのプロセッサーによって実行された場合、請求項1~13のいずれか1項に記載の方法、請求項14~19のいずれか1項に記載の方法、又は請求項20に記載の方法を実行する、
    電子装置。
  22. 請求項1~13のいずれか1項に記載の方法、請求項14~19のいずれか1項に記載の方法、又は請求項20に記載の方法を実行するためのコンピュータ可読プログラム命令が格納されている、
    コンピュータ可読記憶媒体。
JP2022570409A 2020-05-18 2021-04-26 情報処理方法、電子装置、及びコンピュータ記憶媒体 Pending JP2023526412A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010421197.1A CN113689949A (zh) 2020-05-18 2020-05-18 信息处理方法、电子设备和计算机存储介质
CN202010421197.1 2020-05-18
PCT/CN2021/090029 WO2021233086A1 (zh) 2020-05-18 2021-04-26 信息处理方法、电子设备和计算机存储介质

Publications (1)

Publication Number Publication Date
JP2023526412A true JP2023526412A (ja) 2023-06-21

Family

ID=78575608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022570409A Pending JP2023526412A (ja) 2020-05-18 2021-04-26 情報処理方法、電子装置、及びコンピュータ記憶媒体

Country Status (4)

Country Link
US (1) US20230172425A1 (ja)
JP (1) JP2023526412A (ja)
CN (1) CN113689949A (ja)
WO (1) WO2021233086A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309605B (zh) * 2023-05-24 2023-08-22 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) 基于深度学习和状态转移的内窥镜检查质控方法及系统
CN116563525B (zh) * 2023-07-10 2023-10-20 浙江华诺康科技有限公司 内窥镜运行轨迹指示方法、装置、设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8428969B2 (en) * 2005-01-19 2013-04-23 Atirix Medical Systems, Inc. System and method for tracking medical imaging quality
EP2483817A1 (en) * 2009-09-28 2012-08-08 Johnson & Johnson Medical S.p.A. Method and system for monitoring the flow and usage of medical devices
JP5823814B2 (ja) * 2011-10-25 2015-11-25 株式会社モリタ製作所 医療用システム
JP2016071762A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 診療支援装置、システム、プログラム及び方法
WO2016190022A1 (ja) * 2015-05-27 2016-12-01 オリンパス株式会社 画像記録装置
CN108538378A (zh) * 2017-12-01 2018-09-14 深圳市新产业生物医学工程股份有限公司 信息处理方法、信息处理装置、服务器及体外诊断系统
CN110097105A (zh) * 2019-04-22 2019-08-06 上海珍灵医疗科技有限公司 一种基于人工智能的消化内镜检查质量自动评估方法和系统
CN111028949A (zh) * 2019-12-19 2020-04-17 江苏医药职业学院 一种基于物联网的医学影像检查训练系统及方法

Also Published As

Publication number Publication date
WO2021233086A1 (zh) 2021-11-25
CN113689949A (zh) 2021-11-23
US20230172425A1 (en) 2023-06-08

Similar Documents

Publication Publication Date Title
US9805469B2 (en) Marking and tracking an area of interest during endoscopy
EP3937183A1 (en) Image analysis method, microscope video stream processing method, and related apparatus
US8388529B2 (en) Differential diagnosis of neuropsychiatric conditions
US11275757B2 (en) Systems and methods for capturing data, creating billable information and outputting billable information
US9596991B2 (en) Self-examination apparatus and method for self-examination
US20150080652A1 (en) Lesion detection and image stabilization using portion of field of view
JP2023526412A (ja) 情報処理方法、電子装置、及びコンピュータ記憶媒体
US20160295086A1 (en) System for enabling remote annotation of media data captured using endoscopic instruments and the creation of targeted digital advertising in a documentation environment using diagnosis and procedure code entries
JP2023521971A (ja) ビデオ分析及びオーディオ分析のためのシステム及び方法
US20190214134A1 (en) System and method for automated healthcare service
CN104427942A (zh) 测量辅助装置、测量辅助方法、控制程序和记录介质
CN115917492A (zh) 用于视频协作的方法和系统
JP2007105458A (ja) 画像データベースにおける画像の認識のためのシステム及び方法
EP3425586A1 (en) Apparatus and method for assisting in medical consultation
CN116993699A (zh) 一种眼动辅助训练下的医学图像分割方法及系统
US20190362859A1 (en) System for enabling remote annotation of media data captured using endoscopic instruments and the creation of targeted digital advertising in a documentation environment using diagnosis and procedure code entries
Shakhmametova et al. Clinical decision support system for the respiratory diseases diagnosis
CN112885435B (zh) 图像目标区域的确定方法、装置和系统
JP7114719B2 (ja) 表示装置、情報端末、およびプログラムとそれを記録する記録媒体
CN113518581B (zh) 用于医疗诊断支持的系统和方法
US20120116986A1 (en) System and Method for Integrating Medical Treatment Guidelines with Real-Time, Ad-Hoc, Community Generated Commentary to Facilitate Collaborative Evidence-Based Practice
CN112750537A (zh) 一种远程医疗指导系统
CN112422901A (zh) 一种手术虚拟现实视频的生成方法和装置
CN113544788A (zh) 用于基于集群的医疗诊断支持的系统和方法
CN110910980A (zh) 一种脓毒血症的预警装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240426