JP6980040B2 - 医療報告書の生成方法および装置 - Google Patents

医療報告書の生成方法および装置 Download PDF

Info

Publication number
JP6980040B2
JP6980040B2 JP2019569722A JP2019569722A JP6980040B2 JP 6980040 B2 JP6980040 B2 JP 6980040B2 JP 2019569722 A JP2019569722 A JP 2019569722A JP 2019569722 A JP2019569722 A JP 2019569722A JP 6980040 B2 JP6980040 B2 JP 6980040B2
Authority
JP
Japan
Prior art keywords
feature vector
keyword
medical image
visual feature
diagnostic item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019569722A
Other languages
English (en)
Other versions
JP2020523711A (ja
Inventor
晨羽 王
健宗 王
京 肖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of JP2020523711A publication Critical patent/JP2020523711A/ja
Application granted granted Critical
Publication of JP6980040B2 publication Critical patent/JP6980040B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)

Description

本願は、２０１８年５月１４日に出願した「医療報告書の生成方法および装置」と題された中国特許出願第２０１８１０４５６３５１．１号に基づく優先権を主張し、前記中国特許出願の内容全体は、参照により本明細書に組み込まれる。
本願は、情報処理技術の分野に属し、特に医療報告書の生成方法および装置に関する。
医用画像工学の持続的な発展により、医師は医用画像を通じて患者の病症を効果的に判断でき、診断時間が大幅に短縮される。患者が自分の病症をよりよく了解するように、医師は、医用画像に基づいて対応する医療報告書を手書きで記入する。ただし、医療報告書を生成する既存の方法では、患者や研修医にとって医用画像から病症を直接判断することができず、ベテラン医師による記入を必要とするため、医療報告書を生成する人件費を高め、また、手書きで記入する効率も低く、患者の治療時間が長くなる。
これを考慮して、本願の実施例は、医療報告書を生成する既存の方法において医療報告書を生成する人件費が高く、患者の治療時間が長くなるという課題を解決するために、医療報告書の生成方法および装置を提供する。
本願の実施例の第１の態様は、医療報告書の生成方法を提供し、
認識される医用画像を受信することと、
前記医用画像を事前設定された視覚幾何学グループＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得することと、
前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決めることと、
診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築することと、
前記セグメント、前記キーワードシーケンスおよび前記診断項目に従って、前記医用画像の医療報告書を生成することと、を含む。
本願の実施例において、医用画像を事前設定されたＶＧＧニューラルネットワークにインポートすることによって、当該医用画像に対応する視覚的特徴ベクトルおよびキーワードシーケンスを決定し、視覚的特徴ベクトルは当該医用画像に含まれる病症の画像特徴を特徴付けるためのものであり、キーワードシーケンスは当該医用画像に含まれる病症の種類を決定するためのものであり、上記の２つのパラメータを診断項目認識モデルにインポートし、当該医用画像に含まれる診断項目を決定し、かつ各診断項目に対して関連するフレーズおよびセンテンスを記入し、当該診断項目に対応するセグメントを構成し、最後に各診断項目に対応するセグメントに基づいて当該医用画像の医療報告書を取得する。既存の医療報告書の生成方法と比較して、本願の実施例は、医師による手書き入力を必要とせず、医用画像に含まれる特徴に従って対応する医療報告書を自動的に出力することができ、それにより、医療報告書の生成効率が向上し、人件費を低減し、患者の治療時間が短縮される。
本願の第１の実施例による医療報告書の生成方法を実現するフローチャートである。 本願の一実施例によるＶＧＧニューラルネットワークの構造を示すブロック図である。 本願の一実施例によるＬＳＴＭニューラルネットワークの構造を示すブロック図である。 本願の第２の実施例による医療報告書の生成方法Ｓ１０２を具体的に実現するフローチャートである。 本願の第３の実施例による医療報告書の生成方法Ｓ１０３を具体的に実現するフローチャートである。 本願の第４の実施例による医療報告書の生成方法を具体的に実現するフローチャートである。 本願の第４の実施例による医療報告書の生成方法を具体に実現するフローチャートである。 本願の一実施例による医療報告書の生成装置の構造を示すブロック図である。 本願の別の実施例による医療報告書を生成する装置の概略図である。
本願の実施例において、プロセスの実行主体は医療報告書の生成装置である。当該医療報告書の生成装置は、ラップトップ、コンピュータ、サーバー、タブレットやスマートフォンなどの医療報告書の生成装置を含むが、これらに限定されない。図１ａは、本願の第１の実施例による医療報告書の生成方法を実現するフローチャートであり、詳細は以下のとおりである。すなわち、
Ｓ１０１では、認識される医用画像を受信する。
本実施例において、医療報告書の生成装置は医用画像の撮影端末内に統合されてもよく、この場合、撮影端末が撮影操作を完了して患者の医用画像を生成した後、当該医用画像が当該医療報告書の生成装置に伝送されてもよく、医療報告書の生成装置は、当該医用画像を分析し、対応する医療報告書を決定するため、患者および医師に医学画像をプリントする必要がなくなり、処理効率を向上させ、言うまでもなく、医療報告書の生成装置は、撮影端末のシリアルポートのみに接続され、関連するシリアルインタフェースを介して生成された医用画像を伝送してもよい。
本実施例において、医療報告書の生成装置は、内蔵のスキャンモジュールを介してプリントされた医用画像を操作することによって、コンピュータで読み取り可能な医用画像を取得する。言うまでもなく、当該生成装置は、有線通信インタフェースまたは無線通信インタフェースを介してユーザ端末によって送信された医用画像を受信し、対応する通信チャネルを介して分析された医療報告書をユーザ端末に返信することによって、遠距離で医療報告書を取得する目的を達成することができる。
本実施例において、医用画像は、Ｘ線画像、Ｂモード超音波画像などの様々な種類の放射線で人体を撮影した後の画像、および解剖学的マップ、マイクロカテーテルに基づく人体内臓マップなどの病理画像を含むが、これらに限定されない。
任意選択で、Ｓ１０１の後、生成装置はさらに、事前設定された画像処理アルゴリズムによって医用画像を最適化することができる。上記の画像処理アルゴリズムは、鮮鋭化処理、二値化処理、ノイズ低減処理、階調処理などの画像処理アルゴリズムを含むが、これらに限定されない。特に、当該医用画像をスキャンにより取得する場合、スキャン解像度を上げることにより、得られる医用画像の画質を向上させることができ、また、スキャン時の周囲の光強度を収集することにより、医用画像を差分処理することで、医用画像に対する周囲光の影響を低減し、その後の認識の精度を向上させる。
Ｓ１０２では、前記医用画像を事前設定された視覚幾何学グループＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得する。
本実施例において、生成装置は、視覚幾何学グループ（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ，ＶＧＧ）ニューラルネットワークを格納して医用画像を処理し、当該医用画像に対応する視覚的特徴ベクトルおよびキーワードシーケンスを抽出する。ここで、視覚的特徴ベクトルは、輪郭特徴、構造的特徴、各オブジェクト間の相対距離など、医用画像で撮影されたオブジェクトの画像特徴を記述するためのものであり、前記キーワード特徴は、当該医用画像に含まれるオブジェクトおよびオブジェクトの属性を特徴付けるためのものである。例えば、医用画像で撮影された部分が胸部である場合、認識されたキーワードシーケンスは［胸、肺部、肋骨、左肺葉、右肺葉、心臓］などであってもよく、特定の部分に異常なオブジェクトがある場合、キーワードシーケンスに反映されることは無論である。好ましくは、視覚的特徴ベクトルは、キーワードシーケンスの各要素と１対１の対応関係を有し、すなわち、視覚的特徴ベクトルの各要素は、キーワードシーケンスの各キーワードを記述するための画像特徴である。
本実施例において、当該ＶＧＧニューラルネットワークはＶＧＧ１９ニューラルネットワークを用いることができ、ＶＧＧ１９ニューラルネットワークは画像特徴抽出において高い計算能力を有するため、複数のレイヤーを含む画像データに対して５層プーリング層によって次元削減した後、視覚的特徴を抽出することができ、また、本実施例において、全結合層をキーワードインデックステーブルに調整することで、キーワードインデックステーブルに基づいてキーワードシーケンスを出力することができる。ここで、ＶＧＧ１９の概略図を図１ｂに示すことに参照する。
任意選択で、Ｓ１０２の前に、生成装置は、複数の訓練画像を取得して出力結果が収束するまで、つまり、訓練画像が入力され、出力される視覚的特徴ベクトルおよびキーワードシーケンスの各要素の値がプリセット値と一致するまで、ＶＧＧニューラルネットワークにおける各プーリング層および全結合層のパラメータを調整する。好ましくは、当該訓練画像は、医用画像だけでなく、ポートレートや静止画像など、医用画像以外の他の種類の画像も含むことができ、それにより、ＶＧＧニューラルネットワークにおいて認識可能な数を増やし、精度を向上させる。
Ｓ１０３において、前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定する。
本実施例において、医用画像に含まれるキーワードシーケンスおよび視覚的特徴ベクトルを認識することによって、各オブジェクトに対応する形状特徴およびオブジェクト属性を決定することができ、上記の２つのパラメータを事前設定された診断項目認識モデルにインポートすることによって、当該医用画像に含まれる診断項目を決定することができ、当該診断項目は、具体的に、当該医用画像によって特徴付けられる被撮影者の健康状態を示すためのものである。
なお、診断項目の数は、管理者のニーズに基づいて設定でき、つまり、各医用画像に含まれる診断項目の数は同じである。この場合、管理者は、異なる医用画像の画像タイプに従って、閾値に対応する診断項目認識モデルを生成することもでき、例えば、胸部透析マップの場合、胸部診断項目認識モデルを用いることができ、Ｘ線膝透視図の場合、膝関節診断項目認識モデルを用いることができ、ここで、各認識モデルのすべての出力結果である診断項目の数は固定され、つまり、事前設定された診断項目を認識する必要があることを示す。
本実施例において、当該診断項目認識モデルは、訓練学習されたＬＳＴＭニューラルネットワークを用いることができ、この場合、視覚的特徴ベクトルおよびキーワードシーケンスを組み合わせて、ＬＳＴＭニューラルネットワークの入力として医療特徴ベクトルを形成することができ、ここで、ＬＳＴＭニューラルネットワークのレベルは、認識される診断項目の数と一致してもよく、つまり、各ＬＳＴＭニューラルネットワークのレベルは１つの診断項目に対応する。図１ｃを参照すると、図１ｃは本願の１つの実施例によるＬＳＴＭニューラルネットワークの構造を示すブロック図であり、当該ＬＳＴＭニューラルネットワークはＮ個のＬＳＴＭレベルを含み、各ＬＳＴＭレベルはＮ個の診断項目に対応し、ここで、ｉｍａｇｅは視覚的特徴ベクトルおよびキーワードシーケンスに基づいて生成される医療特徴ベクトルであり、Ｓ０〜ＳＮ−１は各診断項目のパラメータ値であり、ｐ１〜ｐＮは各パラメータ値の正しい確率であり、ｌｏｇ ｐｉ （Ｓｉ−１）が収束すると、Ｓｉ−１で取られたパラメータ値を当該診断項目に対応するパラメータ値とし、当該医用画像における各診断項目の値を決定する。
Ｓ１０４において、診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築する。
本実施例において、生成装置は、各診断項目を決定した後、当該診断項目を診断項目拡張モデルにインポートすることにより、各診断項目を記述するためのセグメントを出力し、患者が当該セグメントを通して当該診断項目の内容を直感的に認識でき、医療報告書の読みやすさを向上させる。
任意選択で、当該診断項目拡張モデルは、各診断項目が異なるパラメータ値を取るときに対応するセグメントを記録するハッシュ関数であってもよく、生成装置は、医用画像に対応する各診断項目を当該ハッシュ関数にそれぞれインポートすると、当該診断項目のセグメントを決定することができる。この場合、生成装置は、ハッシュ関数変換のみでセグメント決定でき、計算量が少ないため、医療報告書生成の効率が向上する。
任意選択で、当該診断項目拡張モデルはＬＳＴＭニューラルネットワークであってもよく、この場合、生成装置は、すべての診断項目を集約して診断項目ベクトルを形成し、かつ当該診断項目ベクトルを当該ＬＳＴＭニューラルネットワークの入力端とし、ここで、ＬＳＴＭニューラルネットワークには、診断項目と同じ数の層があり、当該ＬＳＴＭニューラルネットワークにおける各層は、診断項目のセグメントを出力するために使用され、複数層ニューラルネットワークの出力後、診断項目からセグメントへの変換操作を完了できる。上記方法でセグメントを生成する過程で、ＬＳＴＭニューラルネットワークの入力は、各診断項目が集約された診断項目ベクトルであり、各診断項目の情報が含まれるため、生成されたセグメントでは他の診断項目の影響を考慮することができ、それにより、セグメント間の一貫性が向上し、医療報告書全体の読みやすさが向上する。なお、ＬＳＴＭニューラルネットワークによってセグメントを決定する特定のプロセスはＳ１０４と似ているため、ここで再度の説明を省略する。
Ｓ１０５では、前記セグメント、前記キーワードシーケンスおよび前記診断項目に従って、前記医用画像の医療報告書を生成する。
本実施例において、医療報告書の生成装置は、当該医用画像に含まれる診断項目、当該診断項目を記述するセグメントおよび当該診断項目に対応するキーワードを決定した後、当該医用画像の医療報告書を作成してもよい。なお、診断項目のセグメントは既に十分に読みやすいため、診断項目に基づいて医療報告書をモジュールに分割し、各モジュールに対応するセグメントを記入してもよく、つまり、実際のユーザに見える医療報告書には、診断項目およびキーワードが直接反映されず、セグメント内容のみが含まれてもよい。言うまでもなく、生成装置は、診断項目、キーワードおよびセグメントを関連付けて表示できるため、それにより、ユーザは、短く洗練されたキーワードシーケンスから、当該医療報告書の具体的な内容を迅速に決定し、また、診断項目によって自分の健康状態を決定し、さらにセグメントによって健康状態についての評価を詳細に理解し、様々な角度から医療報告書の内容を迅速に理解し、医療報告書の読みやすさおよび情報取得の効率を向上させる。
任意選択で、当該医療報告書に医用画像を添付し、キーワードシーケンスを医用画像に対応する位置に順次マークし、かつマークボックス、リストおよび列などの方法によって、各キーワードに対応する診断項目およびセグメント情報を比較して表示することができるため、ユーザが当該医療報告書の内容をより直感的に決定できる。
上記から分かるように、本願の実施例による医療報告書の生成方法は、医用画像を事前設定されたＶＧＧニューラルネットワークにインポートすることによって、当該医用画像に対応する視覚的特徴ベクトルおよびキーワードシーケンスを決定し、視覚的特徴ベクトルは当該医用画像に含まれる病症の画像特徴を特徴付けるためのものであり、キーワードシーケンスは当該医用画像に含まれる病症の種類を決定するためのものであり、上記の２つのパラメータを診断項目認識モデルにインポートし、当該医用画像に含まれる診断項目を決定し、かつ各診断項目に対して関連するフレーズおよびセンテンスを記入し、当該診断項目に対応するセグメントを構成し、最後に各診断項目に対応するセグメントに基づいて当該医用画像の医療報告書を取得する。既存の医療報告書の生成方法と比較して、本願の実施例は、医師による手書き入力を必要とせず、医用画像に含まれる特徴に従って対応する医療報告書を自動的に出力することができ、それにより、医療報告書の生成効率が向上し、人件費を低減し、患者の治療時間が短縮される。
図２は、本願の第２の実施例による医療報告書の生成方法Ｓ１０２を具体的に実現するフローチャートである。図２を参照すると、図１ａに記載の実施例に対して、本実施例による医療報告書の生成方法Ｓ１０２はＳ１０２１〜Ｓ１０２４を含み、詳細は以下のとおりである。すなわち、
Ｓ１０２１において、前記医用画像における各画素点の画素値および各画素値の位置座標に基づいて、前記医用画像の画素行列を構築する。
本実施例において、医用画像は複数の画素点で構成され、各画素点は１つの画素値に対応するため、各画素点の位置座標を画素行列の位置座標とし、画素点に対応する画素値を画素行列における当該画素点に対応する座標の要素の値とし、それにより、２次元図形を画素行列に変換できる。
なお、当該医用画像が三原色ＲＧＢ画像である場合，医用画像の３つのレイヤーに基づいて３つの画素行列をそれぞれ構築してもよく、つまり、Ｒレイヤーは１つの画素行列に対応し、Ｇレイヤーは１つの画素行列に対応し、Ｂレイヤーは１つの画素行列に対応し、各画素行列の要素の値は０〜２５５である。言うまでもなく、生成装置は、医用画像に対して階調変換または二値化変換を実行することもでき、それにより、複数のレイヤーを１つの画像にマージし、作成された画素行列の数も１つである。任意選択で、医用画像が三原色ＲＧＢ画像である場合、複数のレイヤーに対応する画素行列をマージして、当該医用画像に対応する画素行列として形成し、マージ方法に関して、３つの画素行列の列番号が医用画像の横座標に１対１で対応し、Ｒレイヤーの画素行列の行が拡張され、各行の間に２行の空白行が埋められ、残りの２つの画素行列の各行は、行番号の順序に従って拡張された各空白行に順次導入され、それによって３Ｍ＊Ｎの画素行列が構成され、ここで、Ｍは医用画像の行数であり、Ｎは医用画像の列数である。
Ｓ１０２２では、前記ＶＧＧニューラルネットワークの５層プーリング層Ｍａｘｐｏｏｌによって前記画素行列を次元削減し、前記視覚的特徴ベクトルを取得する。
本実施例において、構築された画素行列をＶＧＧニューラルネットワークの５層プーリング層にインポートし、５回の次元削減を実行することによって、当該画素行列に対応する視覚的特徴ベクトルを生成する。なお、当該プーリング層の畳み込みカーネルは画素行列のサイズに基づいて決定されてもよく、この場合、生成装置には、行列サイズと畳み込みカーネルとの間の対応関係テーブルが記録され、生成装置は、医用画像に対応する画素行列を構築すると、当該行列の行数および列数を取得し、それにより、当該行列のサイズを決定し、当該サイズに対応する畳み込みカーネルのサイズを検索し、当該畳み込みカーネルサイズに基づいてＶＧＧニューラルネットワークのプーリング層を調整し、次元削減操作のプロセスで使用される畳み込みカーネルを画素行列に一致させる。
本実施例において、ＶＧＧニューラルネットワークは、視覚的特徴を抽出するための５層プーリング層Ｍａｘｐｏｏｌおよび視覚的特徴ベクトルに対応するキーワードシーケンスを決定するための全結合層を含み、ここで、医用画像は最初に５層プーリング層を通過し、そして次元削減されたベクトルを全結合層にインポートして最後のキーワードシーケンスを出力するものであるが、診断項目を決定するプロセスでは、オブジェクトおよびオブジェクト属性を記述するキーワードシーケンスを取得することに加え、各オブジェクトの視覚輪郭特徴を決定する必要もあるため、生成装置は、ネイティブＶＧＧニューラルネットワークを最適化し、５層プーリング層の後に１つのパラメータ出力インタフェースを配置し、後続の操作のために、中間変数の視覚的特徴ベクトルをエクスポートする。
Ｓ１０２３において、前記視覚的特徴ベクトルを前記ＶＧＧニューラルネットワークの全結合層にインポートし、前記視覚的特徴ベクトルに対応するインデックスシーケンスを出力する。
本実施例において、生成装置は、視覚的特徴ベクトルをＶＧＧニューラルネットワークの全結合層にインポートし、当該全結合層には各キーワードに対応するインデックス番号が記録され、当該ＶＧＧネットワークが訓練学習されているため、視覚的特徴ベクトルによって当該医用画像に含まれるオブジェクトおよび各オブジェクトの属性を決定することができ、それにより、全結合層を計算することで、視覚的特徴ベクトルに対応するインデックスシーケンスを生成することができる。ＶＧＧニューラルネットワークの出力結果は通常では数字で構成されるベクトル、シーケンスまたは行列であるため、生成装置は、Ｓ１０２３中でキーワードシーケンスを直接出力せず、キーワードシーケンスに対応するインデックスシーケンスを出力し、当該インデックスシーケンスに複数のインデックス番号が含まれ、各インデックス番号はそれぞれ１つのキーワードに対応し、それにより、出力結果に数字タイプの文字のみが含まれている場合でも、医用画像に対応するキーワードシーケンスを決定することができる。
Ｓ１０２４において、キーワードインデックステーブルに従って、前記インデックスシーケンスに対応するキーワードシーケンスを決定する。
本実施例において、生成装置にはキーワードインデックステーブルが記憶され、当該キーワードインデックステーブルには各キーワードに対応するインデックス番号が記録されるので、生成装置は、インデックスシーケンスを決定した後、当該インデックスシーケンスの各要素に対応するインデックス番号に基づいて、対応するキーワードを検索し、それにより、インデックスシーケンスをキーワードシーケンスに変換する。
本願の実施例では、５層プーリング層の出力を視覚的特徴ベクトルとして、次元削減された後、医用画像に主に含まれる特徴を１次元ベクトルで表現することにより、視覚的特徴ベクトルのサイズが低減され、後続の認識の効率を向上させ、また、インデックスシーケンスを出力してキーワードシーケンスに変換することにより、ＶＧＧモデルを改良することが減る。
図３は、本願の第３の実施例による医療報告書の生成方法Ｓ１０３を具体的に実現するフローチャートである。図３を参照すると、図１ａに記載の実施例に対して、本実施例による医療報告書の生成方法Ｓ１０３はＳ１０３１〜Ｓ１０３３を含み、詳細は以下のとおりである。すなわち、
Ｓ１０３１において、各キーワードの事前設定されたコーパスのシリアル番号に基づいて、前記キーワードシーケンスに対応するキーワード特徴ベクトルを生成する。
本実施例において、医療報告書の生成装置にはすべてのキーワードが記録されたコーパスが記憶され、当該コーパスにおいてキーワードごとに対応するシリアル番号を配置し、生成装置は、当該コーパスに基づいて、キーワードシーケンスを対応するキーワード特徴ベクトルに変換することができ、当該キーワード特徴ベクトルに含まれる要素の数は、キーワードシーケンスに含まれる要素と１対１で対応し、当該キーワード特徴ベクトルにはコーパス内の各キーワードの対応するシリアル番号が記録されているため、文字、英語および数字が含まれる複数の文字タイプのシーケンスを数字タイプのみが含まれるシーケンスに変換できるので、キーワード特徴シーケンスの計算能力を向上させる。
なお、当該コーパスは、サーバーのダウンロードおよびユーザの入力によってコーパスに含まれるキーワードを更新できるが、新しく追加されたキーワードについては、元のキーワードに基づいて、新しく追加されたキーワードごとに対応するシリアル番号を配置する。削除されたキーワードについては、コーパス全体の各キーワードのシリアル番号が連続するように、キーワードシリアル番号が削除された後のすべてのキーワードを調整する。
Ｓ１０３２では、前記キーワード特徴ベクトルおよび前記視覚的特徴ベクトルをそれぞれ前処理関数にインポートし、前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを取得する。ここで、前記前処理関数は、具体的に以下のとおりである、すなわち、

Figure 0006980040
ここで、σ（ｚｊ）は、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素が前処理された値で、ｚｊは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素の値で、Ｍは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルに対応する要素の数である。
本実施例において、キーワードシーケンスにおけるコーパス内の各キーワードの位置差が大きいため、生成されたキーワード特徴ベクトルに含まれるシリアル番号の数値差が大きくなり、キーワード特徴ベクトルの記憶および後続処理に不利であり、それにより、Ｓ１０３２において、キーワード特徴シーケンスにおけるすべての要素の数値が事前設定された範囲にあることが保証され、減少キーワード特徴ベクトルの記憶スペースが削減され、診断項目によって認識される計算量が削減されるように、キーワード特徴ベクトルを前処理する。
同じ理由で、視覚的特徴ベクトルの場合、視覚的特徴ベクトルにおける各要素の数値は、前処理によって事前設定された数値の範囲内になるように変換される。
本実施例における前処理関数の具体的な方法は上記のとおりであり、各要素の値を重ね合わせてベクトル全体における各要素の割合を決定し、当該割合を前処理された要素のパラメータ値として使用することにより、視覚的特徴ベクトルおよびキーワード特徴ベクトルのすべての要素の取りうる範囲が０から１になり、上記２組のベクトルの記憶スペースを削減できる。
Ｓ１０３３では、前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを前記診断項目認識モデルの入力として、前記診断項目を出力する。
本実施例において、生成装置は、前処理されたキーワードベクトルおよび前処理された視覚的特徴ベクトルを診断項目認識モデルの入力として、上記の処理後、上記２組のベクトルの値が事前設定された範囲内にあるため、各要素に割り当てるバイト数を削減し、ベクトル全体のサイズを効果的に制御し、診断項目認識モデルが計算する時にも、無効な桁数の読み取り動作を削減でき、処理効率が向上し、上記ベクトルの各要素のパラメータ値は実質的に変化せず、比例して縮小され、診断項目を決定できる。
なお、上記の診断項目の認識モデルは、パラメータＬＳＴＭニューラルネットワークおよび上記の各実施例に提供されたニューラルネットワークであってもよく、具体的な実現プロセスは上記実施例を参照でき、ここで再度の説明を省略する。
本願の実施例において、キーワードシーケンスおよび視覚的特徴ベクトルを前処理することにより、医療報告書の生成効率が向上する。
図４は、本願の第４の実施例による医療報告書の生成方法を具体的に実現するフローチャートである。図４を参照すると、図１ａ〜図３に記載の実施例に対して、本実施例による医療報告書の生成方法はさらにＳ４０１〜Ｓ４０３を含み、詳細は以下のとおりである。すなわち、
さらに、前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定する前に、さらに以下を含む：
Ｓ４０１において、複数の訓練画像の訓練視覚ベクトル、訓練キーワードシーケンスおよび訓練診断項目を取得する。
本実施例において、医療報告書の生成装置は、複数の事前設定された訓練画像の訓練視覚ベクトル、訓練キーワードシーケンスおよび訓練診断項目を取得する。好ましくは、当該訓練画像の数は１０００より大きくし、それにより当該ＬＳＴＭニューラルネットワークの認識精度が向上する。当該訓練画像は履歴医用画像であってもよく、医療タイプに限定されない他の画像であってもよく、それによりＬＳＴＭニューラルネットワークの認識可能なオブジェクトの種類が増加することを強調する必要がある。
なお、各訓練画像の訓練診断項目のフォーマットは同じで、すなわち、訓練診断項目の数は同じである。いずれかの訓練画像について、撮影角度の問題のために一部の訓練診断項目を分析できない場合、当該訓練診断項目の値は空であり、それにより、ＬＳＴＭニューラルネットワークを訓練するときに各チャネルから出力されるパラメータの意味は固定され、ＬＳＴＭニューラルネットワークの精度が向上する。
Ｓ４０２では、前記訓練視覚ベクトルおよび前記訓練キーワードシーケンスを長期および短期のＬＳＴＭニューラルネットワークの入力として、前記訓練診断項目を前記ＬＳＴＭニューラルネットワークの出力として、前記ＬＳＴＭニューラルネットワーク内の各学習パラメータを、前記ＬＳＴＭニューラルネットワークが収束条件を満たすように調整し、前記収束条件は下記のとおりである、すなわち、

Figure 0006980040
ここで、θ＊は調整された前記学習パラメータで、Ｖｉｓｕａｌは前記訓練視覚ベクトルで、Ｋｅｙｗｏｒｄは前記訓練キーワードシーケンスで、Ｓｔｃは前記訓練診断項目で、ｐ（Ｖｉｓｕａｌ，Ｋｅｙｗｏｒｄ｜Ｓｔｃ；θ）は、前記学習パラメータの値がθの場合、前記訓練視覚ベクトルおよび前記訓練キーワードシーケンスが前記ＬＳＴＭニューラルネットワークにインポートされ、出力結果が前記訓練診断項目となる確率値で、ａｒｇ ｍａｘθΣＳｔｃｌｏｇｐ（Ｖｉｓｕａｌ，Ｋｅｙｗｏｒｄ｜Ｓｔｃ；θ）は、前記確率値が最大値を取るときの前記学習パラメータの値である。
本実施例において、ＬＳＴＭニューラルネットワークに複数のニューラル層が含まれ、それぞれのニューラル層に対応する学習パラメータが設けられ、学習パラメータのパラメータ値を調整することによって、異なる入力タイプおよび出力タイプに適合することができる。学習パラメータが特定のパラメータ値に設定されると、複数の訓練オブジェクトのオブジェクト画像を当該ＬＳＴＭニューラルネットワークに入力し、各オブジェクトのオブジェクト属性を対応して出力し、生成装置は出力された診断項目を訓練診断項目と比較し、今回の出力が正しいかいなかを決定し、複数の訓練オブジェクトの出力結果に基づいて、当該学習パラメータが当該パラメータ値を取るときに出力結果が正しい確率値を取得する。生成装置は、当該確率値が最大値を取るように当該学習パラメータを調整すると、当該ＬＳＴＭニューラルネットワークが既に調整されたことを示す。
Ｓ４０３では、調整されたＬＳＴＭニューラルネットワークを診断項目認識モデルとする。
本実施例において、端末装置は、学習パラメータが調整されたＬＳＴＭニューラルネットワークを診断項目認識モデルとして、診断項目認識モデル認識の精度が向上する。
本願の実施例において、訓練オブジェクトによってＬＳＴＭニューラルネットワークを訓練し、出力結果が正しい確率値が最大となるときに対応する学習パラメータをＬＳＴＭニューラルネットワークにおける学習パラメータのパラメータ値として選択し、それにより、診断項目認識の精度が向上し、さらに医療報告書の精度が向上する。
図５は、本願の第５の実施例による医療報告書の生成方法を具体的に実現するフローチャートである。図５を参照すると、図１ａに記載の実施例に対して、本実施例による医療報告書の生成方法はＳ５０１〜Ｓ５０８を含み、詳細は以下のとおりである。すなわち、
Ｓ５０１では、認識される医用画像を受信する。
Ｓ５０１とＳ１０１の実現方法は同じであるため、Ｓ１０１の関連する説明で特定のパラメータを参照でき、ここで再度の説明を省略する。
Ｓ５０２において、前記医用画像を二値化処理し、二値化された医用画像を取得する。
本実施例において、生成装置は、医用画像における各オブジェクトのエッジをより明確にするように医用画像に対して二値化処理を実行することによって、各オブジェクトの輪郭および各オブジェクトの内部構造を容易に決定し、視覚的特徴ベクトルおよびキーワードシーケンスの抽出操作を容易に実現する。
本実施例において、ユーザのニーズに従って二値化の閾値を設定してもよく、生成装置は、当該医用画像のタイプ及び／又は医用画像における各画素点の平均画素値を決定することによって、当該二値化の閾値を決定してもよく、それにより、二値化された医用画像の表示効果が向上する。
Ｓ５０３では、二値化された前記医用画像の境界を認識し、前記医用画像を複数の医療サブ画像に分割する。
本実施例において、生成装置は、事前設定された境界認識アルゴリズムによって、二値化された医用画像から各オブジェクトの境界を抽出し、認識された境界に基づいて医用画像を分割し、それにより、各オブジェクトが独立した医療サブ画像を取得することができる。言うまでもなく、いくつかのオブジェクトが相互に関連し、境界が重なっているか隣接している場合、上記のいくつかのオブジェクトを１つの医療サブ画像内に統合することができる。異なるオブジェクトを領域に分割することにより、あるオブジェクトの視覚的特徴およびキーワード抽出操作に対する他のオブジェクトの影響を低減する。
さらに、前記医用画像を事前設定されたＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得することは、以下を含む：
Ｓ５０４では、各医療サブ画像を前記ＶＧＧニューラルネットワークにそれぞれインポートし、前記医療サブ画像の視覚的特徴分量およびキーワードサブシーケンスを取得する。
本実施例において、生成装置は、医用画像に基づいて分割された各医療サブ画像をＶＧＧニューラルネットワークにそれぞれインポートすることによって、各医療サブ画像に対応する視覚的特徴分量およびキーワードサブシーケンスをそれぞれの取得し、当該視覚的特徴分量は当該医療サブ画像におけるオブジェクトの形状、輪郭特徴を特徴付けるためのものであり、キーワードサブシーケンスは当該医療サブ画像に含まれるオブジェクトを表示するためのものである。医用画像を分割し、ＶＧＧニューラルネットワークにそれぞれインポートすることによって、ＶＧＧニューラルネットワーク計算ごとのデータ量を減らすことができるため、処理時間が大幅に短縮され、出力効率が向上する。境界に基づいて分割するため、無効な背景領域の画像のほとんどを効果的に削除でき、データ処理量全体が大幅に削減される。
Ｓ５０５では、各前記視覚的特徴分量に基づいて前記視覚的特徴ベクトルを生成し、および各前記キーワードサブシーケンスに基づいて前記キーワードシーケンスを形成する。
本実施例において、各医療サブ画像の視覚的特徴分量をマージし、当該医用画像の視覚的特徴ベクトルを形成する。同様に、各医療サブ画像のキーワードサブシーケンスをマージし、当該医用画像のキーワードシーケンスを形成する。なお、マージのプロセスでは、ある医療サブ画像の視覚的特徴分量のマージされた視覚的特徴ベクトルおける位置は、当該医療サブ画像のキーワードサブシーケンスのマージされたキーワードシーケンスにおける位置と対応するため、両者の相関性が維持される。
Ｓ５０６では、前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定する。
Ｓ５０７では、診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築する。
Ｓ５０８では、前記セグメント、前記キーワードシーケンスおよび前記診断項目に従って、前記医用画像の医療報告書を生成する。
Ｓ５０６〜Ｓ５０８とＳ１０３〜Ｓ１０５の実現方法は同じであるため、Ｓ１０３〜Ｓ１０５の関連する説明で特定のパラメータを参照でき、ここで再度の説明を省略する。
本願の実施例において、医用画像を境界で分割することにより、複数の医療サブ画像が取得され、各医療サブ画像に対応する視覚的特徴分量およびキーワードサブシーケンスがそれぞれ決定され、最後に医用画像の視覚的特徴ベクトルおよびキーワードシーケンスが構築され、それにより、ＶＧＧニューラルネットワークのデータ処理量が削減され、生成効率が向上する。
上記の実施例における各ステップのシリアル番号は実行順序を意味するものではなく、各プロセスの実行順序はその機能および内部ロジックによって決定され、本願の実施例の実施プロセスを限定するものではないことを理解すべきである。
図６は、本願の１つの実施例による医療報告書の生成装置の構造を示すブロック図であり、当該医療報告書の生成装置に含まれる各ユニットは、図１ａに対応する実施例における各ステップを実行するために使用される。詳細については、図１ａおよび図１ａに対応する実施例の関連説明を参照する。説明の便宜上、本実施例に関連する部分のみを示す。
図６を参照し、前記医療報告書の生成装置は、
認識される医用画像を受信するための医用画像受信ユニット６１と、
前記医用画像を事前設定された視覚幾何学グループＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得するための特徴ベクトル取得ユニット６２と、
前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定するための診断項目認識ユニット６３と、
診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築するための記述セグメント決定サブユニット６４と、
前記セグメント、前記キーワードシーケンスおよび前記診断項目に従って、前記医用画像の医療報告書を生成するための医療報告書生成ユニット６５と、を含む。
任意選択で、前記特徴ベクトル取得ユニット６２は、
前記医用画像における各画素点の画素値および各画素値の位置座標に基づいて、前記医用画像の画素行列を構築するための画素行列構築ユニットと、
前記ＶＧＧニューラルネットワークの５層プーリング層Ｍａｘｐｏｏｌによって前記画素行列を次元削減し、前記視覚的特徴ベクトルを取得するための視覚的特徴ベクトル生成ユニットと、
前記視覚的特徴ベクトルを前記ＶＧＧニューラルネットワークの全結合層にインポートし、前記視覚的特徴ベクトルに対応するインデックスシーケンスを出力するためのインデックスシーケンス生成ユニットと、
キーワードインデックステーブルに従って、前記インデックスシーケンスに対応するキーワードシーケンスを決定するためのキーワードシーケンス生成ユニットと、を含む。
任意選択で、前記診断項目認識ユニット６３は、
各キーワードは事前設定されたコーパスのシリアル番号に基づいて、前記キーワードシーケンスに対応するキーワード特徴ベクトルを生成するためのキーワード特徴ベクトル構築ユニットと、
前記キーワード特徴ベクトルおよび前記視覚的特徴ベクトルをそれぞれ前処理関数にインポートし、前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを取得するための前処理ユニットと、ここで、前記前処理関数は、具体的に以下のとおりである、すなわち、

Figure 0006980040
ここで、σ（ｚｊ）は、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素が前処理された値で、ｚｊは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素の値で、Ｍは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルに対応する要素の数であり、
前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを前記診断項目認識モデルの入力として、前記診断項目を出力するための前処理ベクトルインポートユニットと、を含む。
任意選択で、前記医療報告書の生成装置は、
複数の訓練画像の訓練視覚ベクトル、訓練キーワードシーケンスおよび訓練診断項目を取得するための訓練パラメータ取得ユニットと、
前記訓練視覚ベクトルおよび前記訓練キーワードシーケンスを長期および短期のＬＳＴＭニューラルネットワークの入力として、前記訓練診断項目を前記ＬＳＴＭニューラルネットワークの出力として、前記ＬＳＴＭニューラルネットワーク内の各学習パラメータを、前記ＬＳＴＭニューラルネットワークが収束条件を満たすように調整するための学習パラメータ訓練ユニットと、ここで、前記収束条件は下記のとおりである、すなわち、

Figure 0006980040
ここで、θ＊は調整された前記学習パラメータで、Ｖｉｓｕａｌは前記訓練視覚ベクトルで、Ｋｅｙｗｏｒｄは前記訓練キーワードシーケンスで、Ｓｔｃは前記訓練診断項目で、ｐ（Ｖｉｓｕａｌ，Ｋｅｙｗｏｒｄ｜Ｓｔｃ；θ）は、前記学習パラメータの値がθの場合、前記訓練視覚ベクトルおよび前記訓練キーワードシーケンスが前記ＬＳＴＭニューラルネットワークにインポートされ、出力結果が前記訓練診断項目となる確率値で、ａｒｇ ｍａｘθΣＳｔｃｌｏｇｐ（Ｖｉｓｕａｌ，Ｋｅｙｗｏｒｄ｜Ｓｔｃ；θ）は前記確率値が最大値を取るときの前記学習パラメータの値である。
調整されたＬＳＴＭニューラルネットワークを診断項目認識モデルとするための診断項目認識モデル生成ユニットと、をさらに含む。
任意選択で、前記医療報告書の生成装置は、
前記医用画像を二値化処理し、二値化された医用画像を取得するための二値化処理ユニットと、
二値化された前記医用画像の境界を認識し、前記医用画像を複数の医療サブ画像に分割するための境界分割ユニットと、をさらに含む。
前記特徴ベクトル取得ユニット６２は、
各医療サブ画像を前記ＶＧＧニューラルネットワークにそれぞれインポートし、前記医療サブ画像の視覚的特徴分量およびキーワードサブシーケンスを取得するための医療サブ画像認識ユニットと、
各前記視覚的特徴分量に基づいて前記視覚的特徴ベクトルを生成し、および各前記キーワードサブシーケンスに基づいて前記キーワードシーケンスを形成するための特徴ベクトル合成ユニットと、を含む。
従って、本願の実施例による医療報告書の生成装置は、同様に、医師による手書き入力を必要とせず、医用画像に含まれる特徴に従って対応する医療報告書を自動的に出力することができ、医療報告書の生成効率が向上し、人件費を削減し、患者の治療時間が短縮される。
図７は本願の別の実施例による医療報告書の生成装置の概略図である。図７に示すように、当該実施例の医療報告書の生成装置７は、プロセッサ７０と、メモリ７１と、医療報告書生成プログラムなど、前記メモリ７１に記憶され、前記プロセッサ７０で動作可能なコンピュータ読み取り可能なコマンド７２と、を含む。前記プロセッサ７０は、前記コンピュータ読み取り可能なコマンド７２を実行するときに上記各医療報告書の生成方法の実施例におけるステップ、例えば図１ａに示すＳ１０１〜Ｓ１０５を実現する。或いは、前記プロセッサ７０は、前記コンピュータ読み取り可能なコマンド７２を実行するときに上記各装置実施例における各ユニットの機能、例えば図６に示すモジュール６１〜６５の機能を実現する。
例示的に、前記コンピュータ読み取り可能なコマンド７２は、１つ以上のユニットに分割されてもよく、前記１つ以上のユニットは前記メモリ７１に格納され、前記プロセッサ７０によって実行され、本願に至る。前記１つ以上ユニットは具体的な機能を実行できる一連のコンピュータ読み取り可能なコマンドのコマンドセグメントであってもよく、このコマンドセグメントは、前記医療報告書の生成装置７における前記コンピュータ読み取り可能なコマンド７２の実行プロセスを記述するために使用される。例えば、前記コンピュータ読み取り可能なコマンド７２は医用画像受信ユニット、特徴ベクトル取得ユニット、診断項目認識ユニット、記述セグメント決定サブユニットおよび医療報告書生成ユニットに分割されてもよく、各ユニットの具体的な機能は上記のとおりである。
前記医療報告書の生成装置７は、デスクトップコンピュータ、ノートパソコン、ポケットコンピュータやクラウドサーバなどのコンピューティングデバイスであってもよい。前記医療報告書の生成装置はプロセッサ７０と、メモリ７１を含んでもよいが、これらに限定されない。図７は医療報告書の生成装置７の１例に過ぎず、医療報告書の生成装置７を限定するものではなく、図示よりも多くの部品またはより少ない部品を含み、または一部の部品若しくは異なる部品を組合せてもよく、例えば前記医療報告書の生成装置はさらに出入力装置、ネットワークアクセス装置やバスなどを含んでもよいことは、当業者であれば理解可能である。
前記プロセッサ７０は中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）であってもよいし、他の汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）または他のプログラマブルロジックデバイス、ディスクリートゲートやトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよい。汎用プロセッサはマイクロプロセッサであり、または当該プロセッサは任意の従来のプロセッサなどであってもよい。
前記メモリ７１は、例えば医療報告書の生成装置７のハードディスクやメモリなど、前記医療報告書の生成装置７の内部記憶ユニットであってもよい。前記メモリ７１は、例えば前記医療報告書の生成装置７に搭載されたプラグインハードディスク、スマートメモリカード（Ｓｍａｒｔ Ｍｅｄｉａ（登録商標） Ｃａｒｄ、ＳＭＣ）、セキュアデジタル（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ、 ＳＤ）カード、フラッシュカード（Ｆｌａｓｈ Ｃａｒｄ）など、前記医療報告書の生成装置７の外部記憶装置であってもよい。さらに、前記メモリ７１は、前記医療報告書の生成装置７の内部記憶ユニットと外部記憶装置の両方を備えてもよい。前記メモリ７１は前記コンピュータ読み取り可能なコマンドおよび前記医療報告書の生成装置に必要な他のプログラムおよびデータを記憶するために用いられる。前記メモリ７１はさらに出力されたまたは出力しようとするデータを一時的に記憶することができる。
また、本願の各実施例における各機能ユニットは、１つの処理ユニットに統合されていてもよいし、物理的に別々に存在していてもよいし、２つ以上のユニットが１つのユニットに統合されてもよい。上記の統合ユニットは、ハードウェアの形態またはソフトウェア機能ユニットの形態を用いることができる。
上述した実施例は本願の技術的解決手段を記述するためのものであり、これに限定されるものではない。上記の実施例を参照しながら本願を詳細に説明したが、当業者であれば、上記の各実施例に記載された技術的解決手段を変更し、またはその技術特徴の一部を等価置換することができることを理解すべきである。これらの変更や置き換えは、対応する技術的解決手段の本質が本発明の各実施例の技術的解決手段の要旨および範囲から逸脱することなく、本発明の保護の範囲に含まれる。
7 医療報告書の生成装置
61 医用画像受信ユニット
62 特徴ベクトル取得ユニット
63 診断項目認識ユニット
64 記述セグメント決定サブユニット
65 医療報告書生成ユニット
70 プロセッサ
71 メモリ
72 コンピュータプログラム

Claims (12)

  1. 認識される医用画像を受信することと、
    前記医用画像を事前設定された視覚幾何学グループＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得することと、
    前記視覚的特徴ベクトルおよび前記キーワードシーケンスを、前記医用画像の画像タイプに対応する事前設定された診断項目認識モデルにインポートし、前記医用画像によって特徴付けられる被撮影者の健康状態を示す診断項目を決定することと、
    診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築することと、
    前記セグメント、前記キーワードシーケンスおよび前記診断項目に基づいて、前記医用画像の医療報告書を生成することと、を含み、
    前記診断項目拡張モデルは、各診断項目が異なるパラメータ値を取るときに対応するセグメントを記録するハッシュ関数であることを特徴とする医療報告書の生成方法。
  2. 前記医用画像を事前設定された視覚幾何学グループＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得することは、
    前記医用画像における各画素点の画素値および各画素値の位置座標に基づいて、前記医用画像の画素行列を構築することと、
    前記ＶＧＧニューラルネットワークの５層プーリング層Ｍａｘｐｏｏｌによって、前記画素行列を次元削減し、前記視覚的特徴ベクトルを取得することと、
    前記視覚的特徴ベクトルを前記ＶＧＧニューラルネットワークの全結合層にインポートし、前記視覚的特徴ベクトルに対応するインデックスシーケンスを出力することと、
    キーワードインデックステーブルに従って、前記インデックスシーケンスに対応するキーワードシーケンスを決定することと、を含むことを特徴とする請求項１に記載の生成方法。
  3. 前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定することは、
    各キーワードの事前設定されたコーパスでのシリアル番号に基づいて、前記キーワードシーケンスに対応するキーワード特徴ベクトルを生成することと、
    前記キーワード特徴ベクトルおよび前記視覚的特徴ベクトルをそれぞれ前処理関数にインポートし、前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを取得することと、前記前処理関数は、具体的に以下のとおりである、すなわち、
    Figure 0006980040
     ここで、σ（ｚｊ）は、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素が前処理された値で、ｚｊは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素の値で、Ｍは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルに対応する要素の数であり、
    前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを前記診断項目認識モデルの入力として、前記診断項目を出力することとを含むことを特徴とする請求項１に記載の生成方法。
  4. 認識される医用画像を受信するための医用画像受信ユニットと、
    前記医用画像を事前設定された視覚幾何学グループＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得するための特徴ベクトル取得ユニットと、
    前記視覚的特徴ベクトルおよび前記キーワードシーケンスを、前記医用画像の画像タイプに対応する事前設定された診断項目認識モデルにインポートし、前記医用画像によって特徴付けられる被撮影者の健康状態を示す診断項目を決定するための診断項目認識ユニットと、
    診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築するための記述セグメント決定サブユニットと、
    前記セグメント、前記キーワードシーケンスおよび前記診断項目に従って、前記医用画像の医療報告書を生成するための医療報告書生成ユニットと、を含み、
    前記診断項目拡張モデルは、各診断項目が異なるパラメータ値を取るときに対応するセグメントを記録するハッシュ関数であることを特徴とする医療報告書の生成装置。
  5. 前記特徴ベクトル取得ユニットは、
    前記医用画像における各画素点の画素値および各画素値の位置座標に基づいて、前記医用画像の画素行列を構築するための画素行列構築ユニットと、
    前記ＶＧＧニューラルネットワークの５層プーリング層Ｍａｘｐｏｏｌによって、前記画素行列を次元削減し、前記視覚的特徴ベクトルを取得するための視覚的特徴ベクトル生成ユニットと、
    前記視覚的特徴ベクトルを前記ＶＧＧニューラルネットワークの全結合層にインポートし、前記視覚的特徴ベクトルに対応するインデックスシーケンスを出力するためのインデックスシーケンス生成ユニットと、
    キーワードインデックステーブルに基づいて、前記インデックスシーケンスに対応するキーワードシーケンスを決定するためのキーワードシーケンス生成ユニットと、を含むことを特徴とする請求項４に記載の生成装置。
  6. 前記診断項目認識ユニットは、
    各キーワードの事前設定されたコーパスのシリアル番号に基づいて、前記キーワードシーケンスに対応するキーワード特徴ベクトルを生成するためのキーワード特徴ベクトル構築ユニットと、
    前記キーワード特徴ベクトルおよび前記視覚的特徴ベクトルをそれぞれ前処理関数にインポートし、前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを取得するための前処理ユニットと、ここで、前記前処理関数は、具体的に以下のとおりである、すなわち、
    Figure 0006980040
     ここで、σ（ｚｊ）は、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素が前処理された値で、ｚｊは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素の値で、Ｍは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルに対応する要素の数であり、
    前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを前記診断項目認識モデルの入力として、前記診断項目を出力するための前処理ベクトルインポートユニットと、を含むことを特徴とする請求項４に記載の生成装置。
  7. メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサで動作可能なコンピュータ読み取り可能なコマンドと、を含んでおり、前記プロセッサは、前記コンピュータ読み取り可能なコマンドを実行するときに、下記のステップ、すなわち、
    認識される医用画像を受信するステップと、
    前記医用画像を事前設定された視覚幾何学グループＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得するステップと、
    前記視覚的特徴ベクトルおよび前記キーワードシーケンスを、前記医用画像の画像タイプに対応する事前設定された診断項目認識モデルにインポートし、前記医用画像によって特徴付けられる被撮影者の健康状態を示す診断項目を決定するステップと、
    診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築するステップであって、前記診断項目拡張モデルは、各診断項目が異なるパラメータ値を取るときに対応するセグメントを記録するハッシュ関数である、ステップと、
    前記セグメント、前記キーワードシーケンスおよび前記診断項目に基づいて、前記医用画像の医療報告書を生成するステップと、を実現することを特徴とする医療報告書の生成装置。
  8. 前記医用画像を事前設定された視覚幾何学グループＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得することは、
    前記医用画像における各画素点の画素値および各画素値の位置座標に基づいて、前記医用画像の画素行列を構築することと、
    前記ＶＧＧニューラルネットワークの５層プーリング層Ｍａｘｐｏｏｌによって、前記画素行列を次元削減し、前記視覚的特徴ベクトルを取得することと、
    前記視覚的特徴ベクトルを前記ＶＧＧニューラルネットワークの全結合層にインポートし、前記視覚的特徴ベクトルに対応するインデックスシーケンスを出力することと、
    キーワードインデックステーブルに従って、前記インデックスシーケンスに対応するキーワードシーケンスを決定することと、を含むことを特徴とする請求項７に記載の生成装置。
  9. 前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定することは、
    各キーワードの事前設定されたコーパスのシリアル番号に基づいて、前記キーワードシーケンスに対応するキーワード特徴ベクトルを生成することと、
    前記キーワード特徴ベクトルおよび前記視覚的特徴ベクトルをそれぞれ前処理関数にインポートし、前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを取得することと、
    ここで、前記前処理関数は、具体的に以下のとおりである、すなわち、
    Figure 0006980040
     ここで、σ（ｚｊ）は、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素が前処理された値で、ｚｊは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素の値で、Ｍは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルに対応する要素の数であり、
    前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを前記診断項目認識モデルの入力として、前記診断項目を出力することと、を含むことを特徴とする請求項７に記載の生成装置。
  10. コンピュータ読み取り可能なコマンドが記憶されており、前記コンピュータ読み取り可能なコマンドがプロセッサによって実行されるときに、下記のステップ、すなわち、
    認識される医用画像を受信するステップと、
    前記医用画像を事前設定された視覚幾何学グループＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得するステップと、
    前記視覚的特徴ベクトルおよび前記キーワードシーケンスを、前記医用画像の画像タイプに対応する事前設定された診断項目認識モデルにインポートし、前記医用画像によって特徴付けられる被撮影者の健康状態を示す診断項目を決定するステップと、
    診断項目拡張モデルに基づいて、前述した各診断項目を記述するためのセグメントをそれぞれ構築するステップであって、前記診断項目拡張モデルは、各診断項目が異なるパラメータ値を取るときに対応するセグメントを記録するハッシュ関数である、ステップと、
    前記セグメント、前記キーワードシーケンスおよび前記診断項目に従って、前記医用画像の医療報告書を生成するステップと、を実現することを特徴とするコンピュータ読み取り可能な記憶媒体。
  11. 前記医用画像を事前設定された視覚幾何学グループＶＧＧニューラルネットワークにインポートし、前記医用画像の視覚的特徴ベクトルおよびキーワードシーケンスを取得することは、
    前記医用画像における各画素点の画素値および各画素値の位置座標に基づいて、前記医用画像の画素行列を構築することと、
    前記ＶＧＧニューラルネットワークの５層プーリング層Ｍａｘｐｏｏｌによって、前記画素行列を次元削減し、前記視覚的特徴ベクトルを取得することと、
    前記視覚的特徴ベクトルを前記ＶＧＧニューラルネットワークの全結合層にインポートし、前記視覚的特徴ベクトルに対応するインデックスシーケンスを出力することと、
    キーワードインデックステーブルに従って、前記インデックスシーケンスに対応するキーワードシーケンスを決定することと、を含むことを特徴とする請求項１０に記載のコンピュータ読み取り可能な記憶媒体。
  12. 前記視覚的特徴ベクトルおよび前記キーワードシーケンスを事前設定された診断項目認識モデルにインポートし、前記医用画像に対応する診断項目を決定することは、
    各キーワードの事前設定されたコーパスのシリアル番号に基づいて、前記キーワードシーケンスに対応するキーワード特徴ベクトルを生成することと、
    前記キーワード特徴ベクトルおよび前記視覚的特徴ベクトルをそれぞれ前処理関数にインポートし、前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを取得することと、ここで、前記前処理関数は、具体的に以下のとおりである、すなわち、
    Figure 0006980040
     ここで、σ（ｚｊ）は、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素が前処理された値で、ｚｊは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルにおけるｊ番目の要素の値で、Ｍは、前記キーワード特徴ベクトルまたは前記視覚的特徴ベクトルに対応する要素の数であり、
    前処理された前記キーワード特徴ベクトルおよび前処理された前記視覚的特徴ベクトルを前記診断項目認識モデルの入力として、前記診断項目を出力することとを含むことを特徴とする請求項１０に記載のコンピュータ読み取り可能な記憶媒体。
JP2019569722A 2018-05-14 2018-07-19 医療報告書の生成方法および装置 Active JP6980040B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810456351.1A CN109147890B (zh) 2018-05-14 2018-05-14 一种医学报告的生成方法及设备
CN201810456351.1 2018-05-14
PCT/CN2018/096266 WO2019218451A1 (zh) 2018-05-14 2018-07-19 一种医学报告的生成方法及设备

Publications (2)

Publication Number Publication Date
JP2020523711A JP2020523711A (ja) 2020-08-06
JP6980040B2 true JP6980040B2 (ja) 2021-12-15

Family

ID=64801706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019569722A Active JP6980040B2 (ja) 2018-05-14 2018-07-19 医療報告書の生成方法および装置

Country Status (5)

Country Link
US (1) US20210057069A1 (ja)
JP (1) JP6980040B2 (ja)
CN (1) CN109147890B (ja)
SG (1) SG11202000693YA (ja)
WO (1) WO2019218451A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109935294A (zh) * 2019-02-19 2019-06-25 广州视源电子科技股份有限公司 一种文本报告输出方法、装置、存储介质及终端
CN110085299B (zh) * 2019-04-19 2020-12-08 合肥中科离子医学技术装备有限公司 一种图像识别去燥方法、系统及图像库
CN110246109B (zh) * 2019-05-15 2022-03-18 清华大学 融合ct影像和个性化信息的分析系统、方法、装置及介质
CN112420167A (zh) * 2019-08-20 2021-02-26 阿里巴巴集团控股有限公司 影像报告的生成方法、装置及设备
US11507831B2 (en) 2020-02-24 2022-11-22 Stmicroelectronics International N.V. Pooling unit for deep learning acceleration
CN112070755A (zh) * 2020-09-14 2020-12-11 内江师范学院 基于深度学习和迁移学习结合的新冠肺炎图像识别方法
CN112992308B (zh) * 2021-03-25 2023-05-16 腾讯科技（深圳）有限公司 医学图像报告生成模型的训练方法及图像报告生成方法
CN113724359A (zh) * 2021-07-14 2021-11-30 鹏城实验室 一种基于Transformer的CT报告生成方法
CN113539408B (zh) * 2021-08-31 2022-02-25 北京字节跳动网络技术有限公司 一种医学报告生成方法、模型的训练方法、装置及设备
CN113764073A (zh) * 2021-09-02 2021-12-07 宁波权智科技有限公司 一种医学影像分析方法及装置
CN113781459A (zh) * 2021-09-16 2021-12-10 人工智能与数字经济广东省实验室(广州) 一种面向血管疾病辅助报告生成方法及装置
CN113989675B (zh) * 2021-11-02 2022-06-14 四川睿迈威科技有限责任公司 基于遥感影像的地理信息提取深度学习训练样本交互制作方法
WO2023205177A1 (en) * 2022-04-19 2023-10-26 Synthesis Health Inc. Combining natural language understanding and image segmentation to intelligently populate text reports
CN115132314B (zh) * 2022-09-01 2022-12-20 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 检查印象生成模型训练方法、装置及生成方法
CN116797889B (zh) * 2023-08-24 2023-12-08 青岛美迪康数字工程有限公司 医学影像识别模型的更新方法、装置和计算机设备
CN117274408B (zh) * 2023-11-22 2024-02-20 江苏普隆磁电有限公司 一种钕铁硼磁体表面处理数据管理系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008259622A (ja) * 2007-04-11 2008-10-30 Fujifilm Corp レポート作成支援装置およびそのプログラム
WO2010134016A1 (en) * 2009-05-19 2010-11-25 Koninklijke Philips Electronics N.V. Retrieving and viewing medical images
US20120083669A1 (en) * 2010-10-04 2012-04-05 Abujbara Nabil M Personal Nutrition and Wellness Advisor
EP3100209B1 (en) * 2014-01-27 2022-11-02 Koninklijke Philips N.V. Extraction of information from an image and inclusion thereof in a clinical report
CN105232081A (zh) * 2014-07-09 2016-01-13 无锡祥生医学影像有限责任公司 医学超声辅助自动诊断装置及方法
JP6517681B2 (ja) * 2015-12-17 2019-05-22 日本電信電話株式会社 映像パターン学習装置、方法、及びプログラム
US20170337329A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Automatic generation of radiology reports from images and automatic rule out of images without findings
CN107767928A (zh) * 2017-09-15 2018-03-06 深圳市前海安测信息技术有限公司 基于人工智能的医学影像报告生成系统及方法

Also Published As

Publication number Publication date
CN109147890B (zh) 2020-04-24
US20210057069A1 (en) 2021-02-25
JP2020523711A (ja) 2020-08-06
WO2019218451A1 (zh) 2019-11-21
CN109147890A (zh) 2019-01-04
SG11202000693YA (en) 2020-02-27

Similar Documents

Publication Publication Date Title
JP6980040B2 (ja) 医療報告書の生成方法および装置
US11861829B2 (en) Deep learning based medical image detection method and related device
US10706333B2 (en) Medical image analysis method, medical image analysis system and storage medium
US11024066B2 (en) Presentation generating system for medical images, training method thereof and presentation generating method
WO2021036695A1 (zh) 一种待标注图像确定的方法、模型训练的方法及装置
US11604949B2 (en) Image processing method and apparatus, computer-readable storage medium, and computer device
CN109741806B (zh) 一种医学影像诊断报告辅助生成方法及其装置
KR20210048523A (ko) 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 기억 매체
KR20210021039A (ko) 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체
CN111429421B (zh) 模型生成方法、医学图像分割方法、装置、设备及介质
CN109035234A (zh) 一种结节检测方法、装置和存储介质
CN110276408B (zh) 3d图像的分类方法、装置、设备及存储介质
WO2022032824A1 (zh) 图像分割方法、装置、设备及存储介质
US20220076052A1 (en) Similarity determining method and device, network training method and device, search method and device, and electronic device and storage medium
CN112530550A (zh) 影像报告生成方法、装置、计算机设备和存储介质
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
WO2023207743A1 (zh) 图像检测方法、装置、计算机设备、存储介质及程序产品
US20200380659A1 (en) Body region identification device and method
Huang et al. Graph-based pyramid global context reasoning with a saliency-aware projection for covid-19 lung infections segmentation
CN110827283B (zh) 基于卷积神经网络的头颈血管分割方法及装置
TWI728369B (zh) 人工智慧雲端膚質與皮膚病灶辨識方法及其系統
Zhang et al. LungSeek: 3D Selective Kernel residual network for pulmonary nodule diagnosis
WO2023174063A1 (zh) 背景替换的方法和电子设备
CN113362334B (zh) 一种舌照处理方法及装置
CN113903433A (zh) 一种图像处理方法、装置和电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211116

R150 Certificate of patent or registration of utility model

Ref document number: 6980040

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150