JP7433750B2 - Video clip selector used for medical image creation and diagnosis - Google Patents

Video clip selector used for medical image creation and diagnosis Download PDF

Info

Publication number
JP7433750B2
JP7433750B2 JP2018120146A JP2018120146A JP7433750B2 JP 7433750 B2 JP7433750 B2 JP 7433750B2 JP 2018120146 A JP2018120146 A JP 2018120146A JP 2018120146 A JP2018120146 A JP 2018120146A JP 7433750 B2 JP7433750 B2 JP 7433750B2
Authority
JP
Japan
Prior art keywords
video clip
image
images
group
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018120146A
Other languages
Japanese (ja)
Other versions
JP2020024478A (en
Inventor
カディュー チャールズ
ホン ハ
ケープセル キリアン
ポイルヴァルト ニコラス
キャノン マイケル
ロマーノ ナタナエル
マテ ヨハン
ビレンコ ナタリア
チェン チャールズ
ミオレーヌ ニーナ
Original Assignee
キャプション ヘルス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キャプション ヘルス インコーポレイテッド filed Critical キャプション ヘルス インコーポレイテッド
Priority to JP2018120146A priority Critical patent/JP7433750B2/en
Publication of JP2020024478A publication Critical patent/JP2020024478A/en
Application granted granted Critical
Publication of JP7433750B2 publication Critical patent/JP7433750B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本願発明、診療用画像作製および診断に関し、より具体的には診療用画像作製および診断に用いるビデオクリップ選択器に関する。 The present invention relates to medical image creation and diagnosis, and more specifically to a video clip selector used for medical image creation and diagnosis.

診療用画像作製は、臨床分析および治療介入の目的で哺乳類の体の内側部分の目に見える画像を作り出すプロセスを指す。診療用画像作製は病気の診断および治療を容易に行えるように哺乳類の体の外側部分によって隠れている内部構造を見えるようにすることである。診療用画像作製は、画像を取得するための複数の異なる撮影手段を合体させるものである。通常用いる撮影手段にはコンピュータ断層撮影(CT)を含むX線照射撮影のような放射線デバイス、核磁気共鳴画像法(MRI)、診療用超音波検査または診療用超音波検査、内視鏡検査、硬度測定、触覚画像法、サーモグラフィ、診療用写真並びに陽電子放出断層撮影(PET)および単一光子放出断層撮影(SPECT)のような核医学画像検査がある。医学的診断を目的とする画像をどのように使用するか、または、どの組織または臓器もしくはその臓器の部分を目標とするかによって、異なる画像の群を取得するための異なる撮影手段が好まれる。 Medical imaging refers to the process of producing visible images of internal parts of a mammal's body for the purpose of clinical analysis and therapeutic intervention. Medical imaging is the visualization of internal structures hidden by the external parts of a mammal's body to facilitate the diagnosis and treatment of diseases. Medical image production involves combining a plurality of different imaging means for acquiring images. Commonly used imaging methods include radiographic devices such as X-ray irradiation including computed tomography (CT), magnetic resonance imaging (MRI), medical ultrasound or diagnostic ultrasound, endoscopy, These include hardness measurements, tactile imaging, thermography, medical photography, and nuclear medicine imaging tests such as positron emission tomography (PET) and single photon emission tomography (SPECT). Depending on how the images are used for medical diagnostic purposes, or which tissue or organ or part of the organ is targeted, different imaging means are preferred for acquiring different groups of images.

哺乳類の体の目標とする領域の診療用画像の作製は多数の異なる見える像(View)からなされる。厳密に言うと、診療用画像の群は実際には2次元の画像であるために、撮像デバイスの角度と近さによって目標とする領域の斜視図が異なるものになる。診療用画像作製の撮影手段の場合と同じように、医学的診断を目的とする画像をどのように使用するか、または、どの組織または臓器もしくはその臓器の部分を目標とするかによって、診療用画像中にある目標とする領域の特定の見える像が好まれる。 BACKGROUND OF THE INVENTION The production of medical images of targeted areas of a mammal's body is made from a number of different views. Strictly speaking, since the group of medical images are actually two-dimensional images, the perspective view of the target area will differ depending on the angle and proximity of the imaging device. As in the case of imaging methods for producing medical images, clinical diagnostics vary depending on how the images are used for medical diagnostic purposes, or which tissue or organ or part of that organ is targeted. A specific visible image of the targeted area in the image is preferred.

最後に、哺乳類の体の目標とする領域の診療用画像作製の品質は様々である。つまり、作製された画像に基づいて最終的に診断をする外科医ではなく、作業者、すなわち技師によって、診療用画像の明瞭度および焦点は変わる。例によっては、目標とする臓器を撮った画像から見える像は、撮像センサの配置が適切でなかったためにその見える像から目標とする臓器の肝心な特徴部分が抜けていて完全なものではない場合がある。他の例では、撮像センサの配置は適切でも、哺乳類の体の構造的な特徴のような外的な要因のために目標とする臓器の肝心な特徴部分の明瞭度が落ちる場合がある。 Finally, the quality of clinical imaging of targeted areas of the mammalian body varies. That is, the clarity and focus of a medical image varies depending on the operator, ie, the technician, rather than the surgeon who ultimately makes the diagnosis based on the images produced. In some cases, the image taken of the target organ may not be complete because important features of the target organ are missing because the imaging sensor was not placed properly. There is. In other examples, even if the imaging sensor is properly positioned, external factors, such as structural features of the mammal's body, may reduce the clarity of key features of the targeted organ.

診療用画像を作製する従来のワークフローは、所定の画像の群からなる集合を作製するために技師が撮影手段を患者に向けることから始まる。作製する所定の画像の群は、使用する撮影手段により決まり、静止画像またはビデオクリップ画像でよい。通常、目標とする臓器の特定の病気や機能障害を診断するという作製する画像の最終的な目的を技師は認識している。所定の画像を作製すると、作製した画像の群からなる集合は、代表的には「PACS」または「ピクチャ・アーカイバル・コミュニケーション・システム」と呼ばれる集中リポジトリに保存され、デジタルまたはアナログのいずれかのレポートが外科医の検査のために作製される。外科医は後で作製した画像の群からなる集合とレポートを読み出して作製した画像の群の分析を実行する。外科医がこの分析を行うには、正しい見える像および正しい品質を有する画像の群からなる集合の中から最も適した画像を選択する必要がある。 A conventional workflow for producing medical images begins with a technician pointing an imaging device at a patient to produce a predetermined set of images. The predetermined group of images to be produced depends on the imaging means used and may be still images or video clip images. Typically, technicians are aware of the ultimate purpose of the images they produce, which is to diagnose a specific disease or dysfunction in the target organ. Once a given image has been created, the collection of created images is stored in a central repository, typically called a "PACS" or "Picture Archival Communication System", and is stored in either digital or analog formats. A report is generated for the surgeon's review. The surgeon then retrieves the set of generated images and the report to perform an analysis of the generated image group. To perform this analysis, the surgeon needs to select the most suitable image from a set of images that have the correct appearance and the correct quality.

正しい見える像および正しい品質を有する正しい画像を選択するだけでなく、対象とする複数の異なる画像を同時に調査することによって診断を容易にするように選択した正しい画像を表示スクリーン上に効率的に配置することを外科医が行うことから、このプロセスは極めて時間がかかる場合がある。必要とされる品質の画像が作製した画像の集合にはないが必要である場合、または必要とされる見える像を有する画像が作製した画像の集合にはない場合、外科医は患者に指示して足りない画像を撮影するために再び技師のところに来てもらわなければならない。このようなことは患者、健康管理施設および外科医の力の大変な無駄使いになる。 Efficient placement of the selected correct image on the display screen to facilitate diagnosis by simultaneously examining multiple different images of interest as well as selecting the correct image with the correct visible image and correct quality This process can be extremely time consuming as it requires the surgeon to do the following: If an image of the required quality is not in the produced image set but is needed, or if an image with the required visible image is not in the produced image set, the surgeon instructs the patient to The technician will have to come back to take the missing images. This is a huge waste of patient, health care facility, and surgeon resources.

本章で要約される本願発明の実施形態の特長は前記した従来技術の欠点を解決するものであり、新規かつ非自明な、診療用画像作製用のクリップ選択のための方法、データ処理システムおよびコンピュータプログラム製品を提供する。本願発明の方法は、診療用撮像デバイスへのインタフェースを介して、選択した哺乳類の臓器の診療手順および目標とする部分を受け取るステップを含む。このステップの後、診療用撮像デバイスを用いて、前記目標とする部分の様々なビデオクリップ画像の群を取得し、取得したビデオクリップ画像の群を画像記憶装置に保存する。前記取得したビデオクリップ画像の群のビデオクリップの各々はさらに画像処理して、そのビデオクリップの見える像および品質を判定し、規則ベースから前記選択した哺乳類の臓器の診療手順および目標とする部分に対応する規則を読み出す。このステップで読み出した規則は診断手順を行うのに必要な特別な測定に必要なビデオクリップの見える像および品質を特定する。最終的に、読み出した規則はフィルタとして前記取得したビデオクリップ画像の群に適用して、特定された必要とされる見える像および品質を満たすビデオクリップ画像の群の部分集合を作成し、作成した前記取得したビデオクリップ画像の群の部分集合は画像記憶装置に保存される。 The features of embodiments of the present invention summarized in this section overcome the shortcomings of the prior art described above and provide a novel and non-obvious method, data processing system, and computer for clip selection for clinical image production. Provide program products. The method of the present invention includes receiving a medical procedure and targeted portion of a selected mammalian organ via an interface to a medical imaging device. After this step, a medical imaging device is used to acquire a group of various video clip images of the targeted portion, and the acquired group of video clip images is stored in an image storage device. Each of the video clips of the group of acquired video clip images is further image-processed to determine the visible image and quality of the video clip, and to apply the procedure and target portion of the selected mammalian organ from a rule base. Read the corresponding rule. The rules retrieved in this step specify the visible image and quality of the video clip required for the specific measurements needed to perform the diagnostic procedure. Finally, the retrieved rules are applied as a filter to the obtained group of video clip images to create and create a subset of the group of video clip images that meets the specified required visual image and quality. A subset of the group of acquired video clip images is stored in an image storage device.

本実施形態の一つの特長によれば、読み出した規則を適用して、特定された必要とされる見える像および品質を満たすビデオクリップがビデオクリップ画像の群の中に存在しないと判定された場合、診療用撮像デバイスのインタフェースを介して警告が発せられる。本実施形態の別の特長によれば、各ビデオクリップの画像処理はニューラルネットワークに各ビデオクリップを送ることを含み、このニューラルネットワークは送られてきたビデオクリップ中に所定の信頼度で見分けた見える像を示す出力を作成するように訓練されることを含む。代わりに、各ビデオクリップをコンテンツに基づく画像検索システムに送り、このコンテンツに基づく画像検索システムが送られてきたビデオクリップを所定の見える像を有する既知の画像からなるデータ記憶装置と比較して、送られてきたビデオクリップ中の見分けられた見える像を示す。 According to one feature of the present embodiment, applying the retrieved rules, if it is determined that there is no video clip in the group of video clip images that meets the specified required visible image and quality; , an alert is issued via the interface of the medical imaging device. According to another feature of the present embodiment, image processing of each video clip includes sending each video clip to a neural network, the neural network detecting images with a predetermined confidence in the sent video clips. including being trained to produce output indicative of an image. Instead, each video clip is sent to a content-based image retrieval system that compares the incoming video clip to a data store of known images having predetermined visible images. Shows the visible images in the video clips sent to you.

本実施形態のさらに別の特長によれば、ニューラルネットワークの出力中に作成された特定された信頼度レベルに基づいて、送られてきた画像の一般化された品質レベルを、コンピュータを用いて算出することを各ビデオクリップの画像処理はさらに含む。最後に、本実施形態もさらに別の特長によれば、読み出した規則によって見える像中にあることが必要なランドマーク特徴を特定する。このようにして、各ビデオクリップの画像処理は各ビデオクリップを送られたビデオクリップ中の特定の信頼度レベルで見分けられたランドマーク特徴を示す出力を生成するように訓練されたニューラルネットワークに送り、前記読み出した規則を適用するときに、前記特定の信頼度レベルで見分けられたランドマーク特徴がないことは前記ビデオクリップが低品質であることに対応し、前記特定の信頼度レベルで見分けられたランドマーク特徴があることは前記ビデオクリップが高品質であることに対応することを含む。 According to yet another feature of the present embodiment, a generalized quality level of the transmitted image is computed based on the identified confidence level created during the output of the neural network. Image processing of each video clip further includes: Finally, according to yet another feature of this embodiment, the retrieved rules identify landmark features that are required to be in the visible image. In this way, the image processing of each video clip is performed by sending each video clip to a neural network trained to produce an output indicative of the landmark features identified at a particular confidence level in the fed video clip. , when applying the retrieved rule, the absence of landmark features identified at the particular confidence level corresponds to the video clip being of low quality, and the absence of landmark features identified at the particular confidence level. The presence of landmark features includes corresponding to the video clip being of high quality.

本願発明の別の実施形態によれば、診療用画像データ処理システムがクリップ選択用の設定を有する。この診療用画像データ処理システムは一つ以上のコンピュータを含むホスト計算システムを含み、各コンピュータはメモリと少なくとも一つのプロセッサを有する。前記ホスト計算システムのメモリ内で診療用画像作製コンピュータプログラムが実行され、通信可能に結合された診療用撮像デバイスに指令を与える。前記診療用画像作製コンピュータプログラムはさらに診療用撮像デバイスにインタフェースを提供する。 According to another embodiment of the present invention, a medical image data processing system has settings for clip selection. The medical image data processing system includes a host computing system that includes one or more computers, each computer having memory and at least one processor. A medical imaging computer program executes within the memory of the host computing system and provides instructions to a communicatively coupled medical imaging device. The medical imaging computer program further provides an interface to a medical imaging device.

重要なことは、このプログラムはプログラム実行中に働いて診療用画像作製のためのクリップ選択をする方法を実行するコンピュータプログラム命令を含む。この方法は、診療用撮像デバイスへのインタフェースを介して哺乳類の体の診療手順および目標とする部分の選択を受け取ることを含む。受け取った後、診療用撮像デバイスが目標とする部分の複数のビデオクリップ画像の群を取得し、それらのビデオクリップ画像の群を画像記憶装置に保存する。保存されたビデオクリップ画像の群の各ビデオクリップは画像処理され、各ビデオクリップの見える像および品質を判定し、規則のベースから選択した診療手順および目標とする部分に合致する規則を読みこむ。この時、読み出した規則は保存されたビデオクリップ画像の群に必要な見える像および品質を特定する。最後に、読み出した規則をフィルタとして記憶されたビデオクリップ画像の群に適用して、特定した必要な見える像および品質を満たすビデオクリップ画像の群の部分集合を作製し、このビデオクリップ画像の群の部分集合は画像記憶装置に記憶される。 Importantly, the program includes computer program instructions that operate during execution of the program to perform a method of selecting clips for medical image production. The method includes receiving a medical procedure and a selection of a targeted portion of a mammal's body via an interface to a medical imaging device. Once received, the medical imaging device acquires a plurality of video clip images of the targeted portion and stores the video clip images in an image storage device. Each video clip in the group of stored video clip images is image processed to determine the visible image and quality of each video clip, and to read rules matching selected clinical procedures and target areas from the rule base. The retrieved rules then specify the required visual image and quality of the group of stored video clip images. Finally, the retrieved rule is applied as a filter to the stored group of video clip images to create a subset of the group of video clip images that meets the specified required visible image and quality; A subset of is stored in the image storage device.

追加する本願発明の特長は、以下に記載する発明の詳細な説明中にその一部は説明され、また別の一部は発明の詳細な説明から自明であり、また本願発明を実施することによって理解されるものである。本願発明の特長は、特に特許請求の範囲中で指摘する複数の要素およびそれらの組み合わせによって実現され、達成される。以上の発明の概略説明と以下の詳細な説明は代表的な内容であり、説明だけのものであり、特許請求の範囲の発明を限定するものではないことは当然にわかることである。 Some of the additional features of the claimed invention will be explained in the detailed description of the invention described below, and other parts will be obvious from the detailed description of the invention, and some of them will be apparent by carrying out the claimed invention. be understood. The features of the present invention will be realized and achieved by means of a plurality of elements and combinations thereof particularly pointed out in the claims. It is to be understood that the above general description of the invention and the following detailed description are representative and for illustration only, and do not limit the invention as claimed.

添付した図面は本明細書に取り込まれ、その一部を構成するものであり、本願発明の実施形態を図説し、発明の詳細な説明とともに本願発明の原理を説明するのに役立つ。添付図面が図説する実施形態は現在好ましいものである。しかし、本願発明はこれら図面により表わされている構成および手段そのものに限定されるものではない。 The accompanying drawings, which are incorporated in and constitute a part of this specification, illustrate embodiments of the invention and, together with the detailed description, serve to explain the principles of the invention. The embodiments illustrated in the accompanying drawings are presently preferred. However, the present invention is not limited to the configuration and means shown in these drawings.

図1は診療用画像作製のためのクリップの選択を実行するプロセスを図説する。FIG. 1 illustrates a process for performing clip selection for clinical image creation. 図2は診療用画像作製のためのクリップの選択を実行するデータ処理システムの概略図である。FIG. 2 is a schematic diagram of a data processing system that performs clip selection for medical image production. 図3は診療用画像作製のためのクリップの選択を実行するプロセスを図説するフローチャートである。FIG. 3 is a flowchart illustrating a process for performing clip selection for medical image creation.

本願発明の実施形態は診療用画像作製および診断ためのビデオクリップ選択を可能にする。本願発明の一実施形態によれば、哺乳類の臓器を同時期に撮った一組の複数のビデオクリップを処理用に選択し、選択した集合に含まれる各ビデオクリップは、哺乳類の臓器の見える像およびそのビデオクリップを撮るのに用いた撮影手段に従って各ビデオクリップを分類するように訓練されたニューラルネットワークに送られる。ニューラルネットワークが作り出す信頼度はビデオクリップの品質を判定する関数への入力として役立つ。次に行おうする取得したビデオクリップの使用が特定される。行おうとするビデオクリップの使用とは、例えば、所定の診断手順に関係する寸法の算出を進めるために、臓器の所定の寸法を算出することである。さらに、行おうとするビデオクリップの使用に合った、見える像、撮影手段および品質要求特性を示す規則ベースから読み出した規則が特定される。オプションになるが、この読み出した規則は、ビュアーの中でビデオクリップを提示する並べ方を示す。読み出した規則が示す、行おうとするビデオクリップの使用に合った、見える像、撮影手段および品質要求特性に基づいて、取得したビデオクリップをフィルタにかけてその特定の見える像、撮影手段および品質要求特性を有するビデオクリップの部分集合を作成する。最終的に、この作成したビデオクリップからなる部分集合は入力としてヘルスケアの専門家が見るために該ビデオクリップの部分集合を提供する診療用ビュアーに送られる。オプションになるが、ビュアーは読み出した規則にしたがって作成したビデオクリップからなる部分集合が提示するやり方を決める。特に、複数のビデオクリップからなる前記部分集合の提供のやり方には、ヘルスケアの専門家に前記部分集合の前記ビデオクリップのうち最も適切なものが最初に提示されるように前記部分集合の前記ビデオクリップの順番付けをやり直すことを含む。 Embodiments of the present invention enable medical imaging and video clip selection for diagnosis. According to one embodiment of the present invention, a set of multiple contemporaneous video clips of mammalian organs is selected for processing, and each video clip in the selected set is a visible image of the mammalian organ. and a neural network trained to classify each video clip according to the filming method used to capture that video clip. The confidence ratings produced by the neural network serve as input to a function that determines the quality of a video clip. A subsequent use of the obtained video clip is identified. The intended use of the video clip is, for example, to calculate predetermined dimensions of an organ in order to proceed with the calculation of dimensions relevant to a predetermined diagnostic procedure. Additionally, rules are identified that are read from the rule base and indicate the visible image, the means of capture, and the required quality characteristics for the intended use of the video clip. Optionally, the retrieved rules indicate how the video clips should be presented in the viewer. Based on the visible image, photographing means, and quality required characteristics suitable for the intended use of the video clip, which are indicated by the retrieved rules, the obtained video clip is filtered to obtain the specific visible image, photographing means, and quality required characteristics. Create a subset of video clips that have Ultimately, this created subset of video clips is sent as input to a clinical viewer that provides the subset of video clips for viewing by a health care professional. Optionally, the viewer determines how the created subset of video clips is presented according to the retrieved rules. In particular, the manner in which the subset of video clips is provided includes the provision of the subset of video clips such that the healthcare professional is first presented with the most appropriate video clip of the subset. Including reordering video clips.

発明のさらに詳細な説明では、図1が診療用画像作製のためのクリップ選択のプロセスを図解する。図1に示すように、診療用撮像デバイス100は哺乳類の目標とする臓器の画像の群を取得して画像集合130に入れる。画像集合130中の画像の各々は目標とする臓器の所定の見える像を映すものであり、特定の品質を有している。クリップ選択回路150は画像集合130中の各画像をロードして、その画像が映す見える像と判定された品質160の両方を判定する。その後、行おうとする手順110を決めて診療用撮像デバイス100に送り、画像の群に必要とされる品質および見える像に関する規則が行おうとする手順110に基づいて規則表120から選択される。さらに、オプションになるが、行おうとする手順110を進行させるために算出されるべき所定の寸法が決められる。選択された規則140はクリップ選択論理回路150に送られる。 In a more detailed description of the invention, FIG. 1 illustrates the process of clip selection for medical image production. As shown in FIG. 1, a medical imaging device 100 captures a group of images of a target organ of a mammal into an image collection 130. Each of the images in image set 130 depicts a certain visible image of the target organ and has a particular quality. Clip selection circuit 150 loads each image in image set 130 and determines both the visible image that image projects and the determined quality 160. Thereafter, the procedure 110 to be performed is determined and sent to the medical imaging device 100, and rules regarding the required quality and visible image of the group of images are selected from the rule table 120 based on the procedure 110 to be performed. Additionally, optionally, predetermined dimensions are determined that are to be calculated in order to proceed with the procedure 110 to be performed. The selected rule 140 is sent to clip selection logic 150.

クリップ選択論理回路150は選択した規則140を画像集合130中の各画像に適用するフィルタ機能を有し、このフィルタ機能は、規則140は画像集合130にフィルタをかけて、または画像集合130をソート(順番付けのやり直し)して、所定の手順110を支援するのに十分な見える像および品質を有する画像部分集合190を作成する。さらにオプションになるが、この画像部分集合190は最も望ましい見える像と品質の画像をトップとする順番になっている画像のみからなる。その後、画像部分集合190中に一つ以上の画像が存在するとクリップ選択論理回路150が判定する場合、画像部分集合190はデータ記憶装置175に保存され、特定された手順110からなる医療診断において用いられる。これと違って、クリップ選択論理回路150が、画像部分集合190が空の集合185のままであると検知すると、クリップ選択論理回路150は特定された手順110を進めるために必要な見える像および必要な品質のいずれか、または両方を満たす新しい画像の群を再び取得する必要があることを示すプロンプト195を診療用撮像デバイス100に与える。 Clip selection logic 150 has a filter function that applies a selected rule 140 to each image in image set 130 , the filter function is such that rule 140 filters image set 130 or sorts image set 130 . (reordering) to create an image subset 190 that has sufficient visible image and quality to support a given procedure 110. Optionally, this image subset 190 consists only of images in order with the most desirable viewing and quality images at the top. Thereafter, if clip selection logic 150 determines that one or more images are present in image subset 190, image subset 190 is stored in data storage 175 for use in the medical diagnosis comprising identified procedure 110. It will be done. Alternatively, if clip selection logic 150 detects that image subset 190 remains empty set 185, clip selection logic 150 detects the visible images and necessary information needed to proceed with identified procedure 110. A prompt 195 is provided to the medical imaging device 100 indicating that a new set of images meeting one or both of the above qualities should be acquired again.

図1に関連して説明されるプロセスはデータ処理システム中で実行されるものでよい。以下の説明において、図2は診療用画像作製のためのクリップ選択用の設定を有するデータ処理システムの概略を示す。データ処理システムは、メモリ220と、少なくとも一つのプロセッサ210と、ディスプレー230と、を含むホスト計算システム200を含む。ホスト計算システム200はまた目標とする臓器の診療用画像を取得する診療用撮像デバイス250と、取得した画像の群を保存する画像記憶装置240と結合している。オペレーティングシステム260がホスト計算システム200のメモリ中で実行される。オペレーティングシステム260はクリップ選択モジュール300のプログラムコードの実行を支援する。 The processes described in connection with FIG. 1 may be implemented in a data processing system. In the following description, FIG. 2 schematically shows a data processing system with settings for clip selection for medical image production. The data processing system includes a host computing system 200 that includes memory 220, at least one processor 210, and a display 230. The host computing system 200 is also coupled to a medical imaging device 250 for acquiring medical images of the target organ, and an image storage device 240 for storing the acquired images. An operating system 260 executes in memory of host computing system 200. Operating system 260 supports execution of the clip selection module 300 program code.

クリップ選択モジュール300のプログラムコードがメモリ中でプロセッサ210により実行されると、クリップ選択モジュール300のプログラムコードが働き、目標とする臓器に関係する手順の指示および指示された手順を受け取り、診療用撮像デバイス250へのインタフェースに入れ、さらに指示された手順にしたがって診療用撮像デバイス250によって取得される画像の集合を受け取り画像記憶装置240中に入れる。プログラムコードが実行されている間に、その働きにより、画像の集合の中の各画像が分析され、各画像の見える像および品質の両方を各画像に与えられる。このプロセスに関して、クリップ選択モジュール300のプログラムコードは画像の集合中の各画像をニューラルネットワーク280に送ってもよい。このニューラルネットワーク280は送られた画像に対応する、見える像および品質の確率的な指標を生成するように訓練されている。代わりに、クリップ選択モジュール300のプログラムコードによって、各画像をコンテンツに基づく画像検索システム270に送ってもよい。コンテンツに基づく画像検索システム270は、既知の見える像および既知の品質を有する画像の群に基づいて、所定の見える像および所定の品質に関わる各画像を分類するために、各画像からなる画像の群を既知の画像の群の集合と比較することができる。 When the clip selection module 300 program code is executed in memory by the processor 210, the clip selection module 300 program code operates to receive procedure instructions and directed procedures related to the target organ, and perform clinical imaging. A collection of images acquired by the medical imaging device 250 is received and placed into the image storage 240 in accordance with a directed procedure. While the program code is being executed, its operation analyzes each image in the collection of images and provides each image with both its appearance and quality. Regarding this process, the program code of clip selection module 300 may send each image in the collection of images to neural network 280. This neural network 280 is trained to generate a probabilistic measure of visible image and quality corresponding to the transmitted image. Alternatively, the program code of clip selection module 300 may send each image to content-based image retrieval system 270. The content-based image retrieval system 270 is configured to classify each image of a given visible image and a predetermined quality based on a group of images having a known visible image and a known quality. The group can be compared to a set of groups of known images.

オプションになるが、コンテンツに基づく画像検索システム270は、画像の所定の見える像に表示されることが予期される哺乳類の体のランドマーク特徴の画像中の外観に基づく品質を示すことができる。このようなランドマーク特徴が見えないことは低品質であることを示す。ランドマーク特徴の見える度合いが変わることは、品質の程度が変わることを示す。例えば、ランドマーク特徴が見えると予期しているときに画像中にそのランドマーク特徴がはっきりと見えることは高品質であることを示す。逆に、ランドマーク特徴が部分的に見えることは平凡な品質であることを示す。 Optionally, the content-based image retrieval system 270 can indicate quality based on the appearance in the image of mammalian body landmark features that are expected to be displayed in a given view of the image. Invisibility of such landmark features indicates poor quality. Varying degrees of visibility of landmark features indicate varying degrees of quality. For example, having landmark features clearly visible in an image when you expect them to be visible indicates high quality. Conversely, partially visible landmark features indicate mediocre quality.

別のオプションになるが、各画像に対してその画像を取得した時の画像取得デバイスの姿勢と理想的な姿勢との差に関する特徴(Echo)距離を各画像について算出する。もっと具体的に言うと、訓練用画像の集合であって、その中の各訓練用画像に対して既知の姿勢の注釈がつけられ、その既知の姿勢を用いてすべての訓練用画像の中からその既知の姿勢に対応する訓練用画像を取得する訓練用画像の集合と、オプションで用いる、最高の品質形態の訓練用画像を取得できることが事前にわかっている理想的な姿勢からのずれとは相関があるので、後で得られる画像を訓練用画像と比べることによって、特徴距離と言われる、姿勢の差を推定することができる。上記はコンテンツに基づく画像検索または特徴距離を示すように訓練画像により訓練されたニューラルネットワークによってなされる。後で得られる画像の品質は、その後で得られる画像の特徴距離が大きくなって所定の閾値の特徴距離に近づくと画像の品質が低くなるように、画像の品質と相関する特徴距離に基づいて決められる。 Another option is to calculate for each image a feature (Echo) distance related to the difference between the orientation of the image acquisition device when the image was acquired and the ideal orientation. More specifically, a set of training images in which each training image is annotated with a known pose, and the known pose is used to select the A set of training images to obtain training images corresponding to that known pose, and optionally a deviation from the ideal pose that is known in advance to obtain the best quality form of training images. Since there is a correlation, by comparing the images obtained later with the training images, it is possible to estimate the difference in posture, which is called a feature distance. The above is done by a neural network trained with training images to show content-based image retrieval or feature distance. The quality of the subsequently obtained image is based on the feature distance that correlates with the quality of the image, such that as the feature distance of the subsequently obtained image increases and approaches a predetermined threshold feature distance, the quality of the image decreases. It can be decided.

別のオプションとして、ニューラルネットワーク280は送られてきたビデオクリップ中の見える像が所定の信頼度レベルで見分けられたこと示すことができる。 As another option, neural network 280 can indicate that the visible images in the sent video clips have been identified with a predetermined confidence level.

クリップ選択モジュール300のプログラムコードによって画像の集合にある各画像の見える像と品質がいったん算出されると、プログラムコードはさらに働いて規則のベースから指示された手順に合致する所定の規則を選択し、選択した規則を画像の集合の中の各画像に適用する。この工程において、画像の集合中の各画像の判定された見える像および品質は、これらの見える像および品質が選択した規則が必要とするものを超えるものか否かを判定するために、選択された所定の規則に入力として送られる。もしも選択した規則が必要とするものを超えるものである場合、その送られた画像は画像記憶装置240にある画像からなる部分集合に加えられる。さもなければ、送られた画像は捨てられる。画像の集合にある各画像が前記した所定の規則によって処理されると、クリップ選択モジュール300のプログラムコードは画像記憶装置240にある画像の部分集合に画像が存在するか否かを判定する。もしも存在しなければ、クリップ選択モジュール300は診療用撮像デバイス250に命令して追加の画像の群を取得することが必要であることを示す警告を発生してインタフェースに入力する。 Once the visible image and quality of each image in the image collection has been calculated by the program code of the clip selection module 300, the program code further operates to select a predetermined rule from the base of rules that matches the directed procedure. , apply the selected rule to each image in the set of images. In this step, the determined visible images and qualities of each image in the image set are selected to determine whether these visible images and qualities exceed those required by the selected rule. is sent as input to a predetermined rule. If the selected rule exceeds what is required, the submitted image is added to the subset of images in image storage 240. Otherwise, the sent image will be discarded. Once each image in the image collection is processed according to the predetermined rules described above, the program code of clip selection module 300 determines whether the image is present in the subset of images in image storage 240. If not, the clip selection module 300 generates and inputs an alert to the interface indicating that it is necessary to instruct the medical imaging device 250 to acquire additional groups of images.

クリップ選択モジュール300の動作をさらに説明する図3は、診療用画像作製のためのクリップ選択をする工程を図解するフローチャートである。この工程は目標とする手順および目標とする臓器を特定して診療用撮像デバイスへのインタフェースに入力するブロック310から始まる。ブロック320では、特定された目標とする手順および目標とする臓器に適用する規則を見つける。その後、ブロック330で画像の集合にある第一の画像をデータ記憶装置から読み出し、その第一の画像に与えられた品質および見える像をメモリにロードする。オプションになるが、この第一の画像のデータ記憶装置からの読み出しは、診療用撮像デバイスが画像の集合を取得している間にリアルタイムで行われる。ブロック340では、ブロック350の判定をするために見つけた規則を与えられた品質および見える像に適用する。判定ブロック350では、もしも第一の画像が、特定された目標とする手順および目標とする臓器に対する画像として十分な品質および見える像を有しているならば、ブロック360でこの第一の画像は部分集合に加えられる。さもなければ、プロセスは判定ブロック370に進む。 FIG. 3, which further explains the operation of the clip selection module 300, is a flowchart illustrating the process of selecting clips for creating medical images. The process begins at block 310 with identifying and inputting a targeted procedure and targeted organ into an interface to a medical imaging device. Block 320 finds rules that apply to the identified targeted procedure and targeted organ. Thereafter, block 330 reads the first image in the image collection from the data storage device and loads the quality and visible image imparted to the first image into memory. Optionally, retrieving this first image from the data storage device occurs in real time while the medical imaging device is acquiring the image set. Block 340 applies the found rules to the given quality and visible image to make the decision of block 350. At decision block 350, if the first image has sufficient quality and visibility for the identified target procedure and target organ, then at block 360 the first image is added to the subset. Otherwise, the process continues to decision block 370.

判定ブロック370では、もしも処理用に追加の画像をさらに処理しなければならないときは、ブロック380で画像の集合中の次の画像を選択して、見つけた規則を適用するブロック340を行うプロセスを繰り返す。さもなければブロック390で部分集合中に画像があるか否かを判定する。もしも部分集合中に画像があるのならば、ブロック400で目標とする手順からなる診療の分析で利用するために部分集合が戻される。しかし、そうでないときは、ブロック410で必要な品質、必要な見える像またはそれら両方を有する追加の画像の群を取得する必要があることを示すプロンプトが診療用撮像デバイスへのインタフェースに提示される。 Decision block 370 indicates that if additional images are to be further processed for processing, block 380 selects the next image in the collection of images and performs the process of block 340 of applying the found rules. repeat. Otherwise, block 390 determines whether there are any images in the subset. If there are images in the subset, the subset is returned at block 400 for use in the analysis of the targeted procedure. However, if this is not the case, then at block 410 a prompt is presented at the interface to the medical imaging device indicating that additional groups of images should be acquired having the required quality, the required visible image, or both. .

本願発明はシステム、方法、コンピュータプログラム製品またはこれらの任意の組み合わせとして実現される。コンピュータプログラム製品は、プロセッサに本願発明の特長を実行させるコンピュータが読み取り可能なプログラム命令を記憶するコンピュータが読み取り可能な記憶媒体またはメディアを含む。コンピュータが読み取り可能な記憶媒体は命令を実行するデバイスによって用いられる命令を保持、記憶する具体的なデバイスである。コンピュータが読み取り可能な記憶媒体は、限定するわけではないが、例えば、電子記憶デバイス、磁気記憶媒体、光記憶媒体、電磁気記憶媒体、半導体記憶媒体または上記した媒体の任意の組み合わせとしてよい。 The present invention may be implemented as a system, method, computer program product, or any combination thereof. A computer program product includes a computer readable storage medium or media that stores computer readable program instructions that cause a processor to implement the features of the present invention. A computer-readable storage medium is a tangible device that retains and stores instructions for use by a device to execute the instructions. The computer readable storage medium may be, for example and without limitation, an electronic storage device, a magnetic storage medium, an optical storage medium, an electromagnetic storage medium, a semiconductor storage medium, or any combination of the above media.

本明細書中のコンピュータが読み取り可能なプログラム命令は、コンピュータが読み取り可能な記憶媒体から個別の計算/処理デバイスに、またはネットワークを介して外部コンピュータもしくは外部記憶デバイスにダウンロードできる。コンピュータが読み取り可能なプログラム命令は、スタンドアロンソフトウェアパッケージとして、すべてユーザーのコンピュータ上で実行され、一部ユーザーのコンピュータ上でかつ一部は遠くにあるコンピュータ上で実行され、またはすべて遠くにあるコンピュータもしくはサーバー上で実行される。本願発明の特長は、本願発明の実施形態にしたがう、フローチャートによる図解、ならびに/または方法、装置(システム)およびコンピュータプログラム製品からなるブロック概略図を参照して本明細書中で説明される。フローチャート図解および/またはブロック概略図中の各ブロックならびにフローチャート図解および/またはブロック概略図中の複数のブロックの組み合わせはコンピュータが読み取り可能な命令によって実装される。 The computer readable program instructions herein can be downloaded from a computer readable storage medium to a separate computing/processing device or via a network to an external computer or external storage device. The computer-readable program instructions may be executed as a stand-alone software package, entirely on a user's computer, partially on a user's computer and partially on a remote computer, or entirely on a remote computer or computer. Runs on the server. Features of the present invention are described herein with reference to flowchart illustrations and/or block schematic diagrams of methods, apparatus (systems), and computer program products in accordance with embodiments of the present invention. Each block in the flowchart illustrations and/or block diagrams, and combinations of blocks in the flowchart illustrations and/or block diagrams, is implemented by computer-readable instructions.

このようなコンピュータが読み取り可能な命令は汎用コンピュータ、専用目的コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサに与えられて、これらコンピュータまたは他のプログラム可能なデータ処理装置プロセッサで実行される命令は、フローチャートのブロックおよび/またはブロック概略図のブロック中に特定される機能/作用を実装する手段を作り出す。このようなコンピュータが読み取り可能な命令はまたコンピュータが読み取り可能な記憶媒体に記憶され、コンピュータが読み取り可能な記憶媒体はコンピュータ、プログラム可能なデータ処理装置および/または他の所定の形式で機能するデバイスに命令する。したがって、命令が記憶されているコンピュータが読み取り可能な記憶媒体は、フローチャートのブロックおよび/またはブロック概略図のブロック中に特定される機能/作用を実装する命令を含む製造物を含む。 Such computer-readable instructions may be provided to a processor of a general purpose computer, special purpose computer, or other programmable data processing device such that instructions for execution on the processor of the computer or other programmable data processing device may be , creating means for implementing the functions/acts identified in the blocks of the flowcharts and/or blocks of the block diagrams. Such computer-readable instructions may also be stored on a computer-readable storage medium, where the computer-readable storage medium may be a computer, programmable data processing apparatus, and/or other operative device in a given form. command. Accordingly, a computer-readable storage medium having instructions stored thereon includes an article of manufacture that includes instructions implementing the functions/acts identified in the blocks of the flowcharts and/or blocks of the block diagrams.

前記したコンピュータが読み取り可能な命令はコンピュータ、他のプログラム可能なデータ処理装置または他のデバイスにロードされてコンピュータ、他のプログラム可能なデータ処理装置または他のデバイス上で実行されて、コンピュータが実行するプロセスを作る。その結果、コンピュータ、他のプログラム可能なデータ処理装置または他のデバイス上で実行される命令は、フローチャートのブロックおよび/またはブロック概略図のブロック中に特定される機能/作用が実装される。 The computer readable instructions described above are loaded into a computer, other programmable data processing apparatus or other device and executed on the computer, other programmable data processing apparatus or other device, so that the computer readable instructions are executed by the computer. Create a process to As a result, instructions executed on a computer, other programmable data processing apparatus, or other device implement the functions/acts identified in the blocks of the flowchart diagrams and/or blocks of the block diagrams.

添付した図面中のフローチャートとブロック概略図は、本願発明の様々な実施形態にしたがうシステム、方法およびコンピュータプログラム製品の可能な実装形態に関するアーキテクチャ、機能および動作を説明する。この点に関して、フローチャートまたはブロック概略図中のブロックの各々は、特別な論理機能を実装するための一つ以上の実行可能な命令を含むモジュール、セグメントまたは部分を表す。代わりの実装のやり方では、ブロック中に示された機能が添付した図中に示された命令から生じる。例えば、連続して示される2つのブロックは、実際のところ実質的に同時に実行されてもよく、また必要とする機能によっては、すべてのブロックを逆の順番で実行してもよい。ブロック概略図および/またはフローチャート図解中の各ブロックならびにブロック概略図および/またはフローチャート図解中の複数のブロックの組み合わせは、専用目的のハードウェアに基づいたシステムによって実行することができ、このシステムは特定の機能または作用を実装し、専用の目的のハードウェアとコンピュータ命令の組み合わせを実行することはわかるはずである。 The flowcharts and block schematic diagrams in the accompanying drawings describe the architecture, functionality, and operation of possible implementations of systems, methods, and computer program products in accordance with various embodiments of the present invention. In this regard, each block in the flowcharts or block diagrams represents a module, segment, or portion that includes one or more executable instructions for implementing particular logical functions. In alternative implementations, the functionality depicted in the blocks may result from the instructions depicted in the accompanying figures. For example, two blocks shown in succession may in fact be executed substantially concurrently, or the blocks may be executed in the reverse order depending on the functionality required. Each block in the block schematic diagram and/or flowchart illustration, and combinations of blocks in the block schematic diagram and/or flowchart illustration, may be implemented by a system based on special purpose hardware, such as a It should be understood that a combination of dedicated purpose hardware and computer instructions implements the functions or acts of a computer.

最後に、本明細書中で用いられる専門用語は特定の実施形態のみを説明する目的で使用されたものであり、本願発明を限定すること意図するものではない。本願明細書中で用いられている単数形の「a」、「an」および「the」は、文脈から明示的に単数と示される場合を除き、複数形も含む。「含む(includes)」および/または「含んでいる(including)」という用語が本明細書中で用いられるとき、記載された特徴、整数、ステップ、工程、要素および/または部品が存在することを明らかにし、一つ以上の他の特徴、整数、ステップ、工程、要素、部品および/もしくはこれらの組み合わせが存在することまたは追加されることを除外するものではない。
Finally, the terminology used herein is for the purpose of describing particular embodiments only and is not intended to limit the invention. As used herein, the singular forms "a,""an," and "the" include plural references unless the context clearly dictates otherwise. When the terms "includes" and/or "including" are used herein, it does not imply that the described features, integers, steps, processes, elements and/or parts are present. This does not exclude the presence or addition of one or more other features, integers, steps, steps, elements, components and/or combinations thereof.

以下の特許請求の範囲中のすべての手段もしくはすべてのステップを含む機能を行なう要素と同一の構造、材料および動作またはこれらと同等なものは、特許請求の範囲で具体的に記載された特許請求の範囲中の他の要素と組み合わせてその機能を実行するための構造、材料もしくは動作を含むことを意図するものである。本願発明の詳細な説明は、説明と記載を目的として提示されているものであり、開示した形の本願発明がすべてであるとか、それに限定したりすることを意図するものではない。本願発明の技術的範囲および主旨から逸脱しない変形例や変更例が多数存在することは当業者には明らかである。本願発明の原理を最もよく説明するために、さらに考えられる特別な使用に適する様々な変形例を有する様々な実施形態に対応する本願発明を当業者が理解することができるように、本明細書の実施形態は選択され、記載されたものである。 The same structure, materials and operation as, or equivalents of, the elements performing the function of all means or steps recited in the claims below may be claimed as: It is intended to include structures, materials, or acts for performing that function in combination with other elements within the scope of the invention. The detailed description of the invention is presented for purposes of illustration and description and is not intended to be exhaustive or to limit the invention to the form disclosed. It will be apparent to those skilled in the art that there are many variations and modifications that do not depart from the scope and spirit of the invention. In order to best explain the principles of the invention, and to enable those skilled in the art to understand the invention as having various embodiments with various modifications suitable for the particular uses contemplated, this specification has been detailed. The embodiments of are those selected and described.

以上のべたように本明細書の発明を詳細に、かつその実施形態を参照して記載したので、以下の特許請求の範囲に定義された本願発明の技術的範囲から逸脱することのない変形例や変更例が可能であることは明らかである。 Since the invention of this specification has been described in detail and with reference to the embodiments as described above, there are variations that do not depart from the technical scope of the invention of this application as defined in the following claims. Obviously, modifications and variations are possible.

Claims (18)

診療用画像作製のためのクリップ選択の方法であって、
診療用撮像デバイスへのインタフェースを介して、診療用撮像デバイスが、選択した哺乳類の臓器の診療手順および目標とする部分を受け取り、
前記診療用撮像デバイス、前記目標とする部分の様々なビデオクリップ画像の群を取得し、
画像記憶装置に結合されたホスト計算システムが、前記ビデオクリップ画像の群を前記画像記憶装置に保存し、
前記ホスト計算システムが、前記ビデオクリップ画像の群の各ビデオクリップを画像処理して、該各ビデオクリップ
の見える像および品質を判定し、
前記ホスト計算システムが、選択した診療手順および目標とする部分に対応する規則であって前記ビデオクリップ画像の群に必要な見える像および必要な品質を特定する規則を規則ベースから読み出し、
前記ホスト計算システムが、前記読み出した規則を前記ビデオクリップ画像の群にフィルタとして適用して前記特定された必要な見える像および必要な品質を満たす前記ビデオクリップ画像の群の部分集合を作り、
前記ホスト計算システムが、前記ビデオクリップ画像の群の部分集合を前記画像記憶装置に保存することを含み、
前記読み出した規則を適用して前記特定された必要な見える像および必要な品質を満たすビデオクリップが前記ビデオクリップ画像の群中に存在しないと判定された場合、前記診療用撮像デバイスへのインタフェースを介して警告を発生する、方法。
A method for selecting clips for creating medical images, the method comprising:
through the interface to the medical imaging device, the medical imaging device receives a medical procedure and a targeted portion of the selected mammalian organ;
the medical imaging device acquires a group of various video clip images of the targeted portion;
a host computing system coupled to an image storage device stores the group of video clip images in the image storage device;
the host computing system image- processes each video clip of the group of video clip images to determine a visible image and quality of each video clip;
the host computing system reads from a rule base a rule corresponding to the selected clinical procedure and targeted portion that specifies a required visual image and required quality of the group of video clip images;
the host computing system applies the retrieved rule as a filter to the group of video clip images to create a subset of the group of video clip images that meets the identified required visible image and required quality;
the host computing system storing a subset of the group of video clip images on the image storage device ;
If it is determined that there is no video clip in the group of video clip images that satisfies the identified required visible image and required quality by applying the retrieved rules, controlling the interface to the medical imaging device; How to raise an alert via .
前記各ビデオクリップの画像処理は、送られてきたビデオクリップ中に所定の信頼度で見分けられた見える像を示す出力を作成するように訓練されたニューラルネットワークに各ビデオクリップを送ることを含む請求項1に記載する方法。 The image processing of each video clip includes sending each video clip to a neural network trained to create an output indicative of visible images discerned with a predetermined confidence in the sent video clip. The method described in Section 1. 前記各ビデオクリップの画像処理は、送られてきたビデオクリップを特定の見える像を有する既知の画像からなるデータ記憶装置と比較して、送られてきたビデオクリップ中にある、見分けられた見える像を示すコンテンツに基づく画像検索システムに、各ビデオクリップを送ることを含む請求項1に記載する方法。 The image processing of each video clip involves comparing the incoming video clip with a data store of known images having specific visible images to determine the identified visible images present in the incoming video clip. 2. The method of claim 1, comprising sending each video clip to a content-based image retrieval system showing the content. 前記各ビデオクリップの画像処理は、前記ニューラルネットワークの前記出力中に作成されている特定された信頼度レベルに基づいて、送られてきた画像の一般化された品質レベルをコンピュータにより算出することを含む請求項に記載の方法。 The image processing of each video clip comprises computing a generalized quality level of the transmitted image based on the identified confidence level created in the output of the neural network. 3. The method of claim 2 , comprising: 前記読み込んだ規則は、前記見える像中にあることが必要なランドマーク特徴をさらに特定し、前記各ビデオクリップの画像処理は、送られたビデオクリップ中の特定の信頼度レベルで見分けられたランドマーク特徴を示す出力を生成するように訓練されたニューラルネットワークに各ビデオクリップを送り、前記読み出した規則を適用するときに、前記特定の信頼度レベルで見分けられたランドマーク特徴がないことは前記ビデオクリップが低品質であることに対応し、前記特定の信頼度レベルで見分けられたランドマーク特徴があることは前記ビデオクリップが高品質であることに対応する請求項1に記載する方法。 The loaded rules further specify landmark features that need to be present in the visible image, and the image processing of each video clip determines the landmark features that need to be present in the visible image, and the image processing of each video clip identifies landmark features that need to be present in the visible image. When applying the retrieved rules by feeding each video clip to a neural network trained to produce an output indicative of the marked features, the absence of landmark features identified at the particular confidence level indicates that the 2. The method of claim 1, wherein the video clip is of low quality and the presence of landmark features identified at the particular confidence level corresponds to the video clip being of high quality. 前記診療用撮像デバイスを用いて、前記目標とする部分の様々なビデオクリップ画像の群をリアルタイムで取得している間に、取得したビデオクリップ画像の群の画像記憶装置への保存が行われる請求項1に記載する方法。 While the clinical imaging device is used to acquire a group of various video clip images of the target area in real time, the group of acquired video clip images is stored in an image storage device. The method described in Section 1. 1台以上のコンピュータであって、各コンピュータがメモリと少なくとも一つのプロセッサを有する1台以上のコンピュータを有するホスト計算システムと、
前記ホスト計算システムの前記メモリ中で実行され、制御命令を通信可能に結合した診療用撮像デバイスに与え、さらに前記診療用撮像デバイスに対するインタフェースを与える診療用画像作製コンピュータプログラムであって、該診療用画像作製コンピュータプログラムが実行されている間に働いて、
前記診療用撮像デバイスに対するインタフェースを介して、選択した哺乳類の臓器の診療手順および目標とする部分を受け取り、
前記診療用撮像デバイスを用いて、前記目標とする部分の様々なビデオクリップ画像の群を取得し、
前記ビデオクリップ画像の群を画像記憶装置に保存し、
前記ビデオクリップ画像の群の各ビデオクリップを画像処理して、該各ビデオクリップの見える像および品質を判定し、
選択した診療手順および目標とする部分に対応する規則であって前記ビデオクリップ画像の群に必要な見える像および必要な品質を特定する規則を規則ベースから読みこみ、
前記読み出した規則を前記ビデオクリップ画像の群にフィルタとして適用して前記特定された必要な見える像および必要な品質を満たす前記ビデオクリップ画像の群の部分集合を作り、
前記ビデオクリップ画像の群の部分集合を前記ホスト計算システムの前記画像記憶装置に保存
前記コンピュータプログラムがさらに実行され、前記読み出した規則を適用して、前記特定された必要とされる見える像および品質を満たすビデオクリップが前記ビデオクリップ画像の群の中に存在しないと判定される場合、前記診療用撮像デバイスの前記インタフェースを介して警告を発生する、コンピュータプログラム命令を含む診療用画像作製コンピュータプログラム
と、含むクリップ選択に適した診療用画像作製データ処理システム。
a host computing system having one or more computers, each computer having memory and at least one processor;
A medical imaging computer program executed in the memory of the host computing system and providing control instructions to a communicatively coupled medical imaging device and providing an interface to the medical imaging device, the medical imaging computer program comprising: Working while the image preparation computer program is running,
receiving a medical procedure and targeted portion of a selected mammalian organ via an interface to the medical imaging device;
acquiring a group of various video clip images of the targeted area using the medical imaging device;
storing the group of video clip images in an image storage device;
image processing each video clip of the group of video clip images to determine the visual image and quality of each video clip;
reading from the rule base a rule corresponding to the selected clinical procedure and target portion, the rule specifying the required visible image and required quality of the group of video clip images;
applying the retrieved rule as a filter to the group of video clip images to create a subset of the group of video clip images that satisfies the identified required visible image and required quality;
storing a subset of the group of video clip images in the image storage device of the host computing system;
the computer program is further executed applying the retrieved rules and determining that there is no video clip in the group of video clip images that meets the identified required visual image and quality; a medical imaging computer program including computer program instructions for generating an alert via the interface of the medical imaging device; and a medical imaging data processing system suitable for selecting clips to include.
各ビデオクリップの画像処理は、各ビデオクリップをニューラルネットワークに送ることを含み、該ニューラルネットワークが所定の信頼度レベルで見分けられた前記送られてきたビデオクリップ中の見える像を示す出力を発生するように訓練されている請求項に記載のシステム。 Image processing of each video clip includes sending each video clip to a neural network, which generates an output indicative of the visible image in the sent video clip as determined with a predetermined confidence level. 8. The system of claim 7 , wherein the system is trained to: 前記各ビデオクリップの画像処理は、各ビデオクリップをコンテンツに基づく画像検索システムに送ることを含み、該コンテンツに基づく画像検索システムは送られてきたビデオクリップを所定の見える像の既知の画像からなるデータ記憶装置と比較し、送られてきたビデオクリップ中の見分けられた見える像を示す請求項に記載のシステム。 The image processing of each video clip includes sending each video clip to a content-based image retrieval system, the content-based image retrieval system converting the sent video clips into known images of a predetermined visible image. 8. The system of claim 7 , wherein the system compares the data storage device with a distinct visible image in the transmitted video clip. 前記各ビデオクリップの画像処理は前記ニューラルネットワークの出力中に作られた所定の信頼度レベルに基づいて、送られてきた画像の一般化された品質レベルをコンピュータにより算出することをさらに含む請求項に記載のシステム。 5. The image processing of each video clip further comprises computing a generalized quality level of the transmitted image based on a predetermined confidence level created in the output of the neural network. 8. The system described in 8 . 前記読み出した規則によって見える像中にあることが必要なランドマーク特徴を特定し、 各ビデオクリップの前記画像処理は、
各ビデオクリップを送られたビデオクリップ中の特定の信頼度レベルで見分けられたランドマーク特徴を示す出力を生成するように訓練されたニューラルネットワークに送り、
前記読み出した規則を適用するときに、前記特定の信頼度レベルで見分けられたランドマーク特徴がないことは前記ビデオクリップが低品質であることに対応し、前記特定の信頼度レベルで見分けられたランドマーク特徴が見えることは前記ビデオクリップが高品質であることに対応することを含む請求項に記載のシステム。
Identifying landmark features that are required to be in the visible image according to the retrieved rules, and the image processing of each video clip includes:
sending each video clip to a neural network trained to generate an output indicative of landmark features identified at a particular confidence level in the sent video clip;
When applying the retrieved rule, the absence of landmark features identified at the particular confidence level corresponds to the video clip being of low quality, and the absence of landmark features identified at the particular confidence level. 8. The system of claim 7 , wherein visibility of landmark features corresponds to the video clip being of high quality.
診療用画像作製のためのクリップ選択プログラム製品であって、プログ
ラム命令を有するコンピュータが読み出し可能な記憶媒体を含み、前記プログラム命令は所定のデバイスによって実行可能であり、前記プログラム命令にしたがって該所定のデバイスが、
診療用撮像デバイスへのインタフェースを介して、選択した哺乳類の体の診療手順および目標とする部分を受け取り、
前記診療用撮像デバイスを用いて、前記目標とする部分の様々なビデオクリップ画像の群を取得し、
前記ビデオクリップ画像の群を画像記憶装置に保存し、
前記ビデオクリップ画像の群の各ビデオクリップを画像処理して、該各ビデオクリップの見える像および品質を判定し、
選択した診療手順および目標とする部分に対応する規則であって前記ビデオクリップ画像の群に必要な見える像および必要な品質を特定する規則を規則ベースから読み出し、
前記読み出した規則を前記ビデオクリップ画像の群にフィルタとして適用して前記特定された必要な見える像および必要な品質を満たす前記ビデオクリップ画像の群の部分集合を作り、
前記ビデオクリップ画像の群の部分集合を前記画像記憶装置に保存
前記デバイスによって実行される前記方法は、前記読み出した規則を適用して、前記特定された必要とされる見える像および品質を満たすビデオクリップが前記ビデオクリップ画像の群の中に存在しないと判定される場合、前記診療用撮像デバイスの前記インタフェースを介して警告を発生する、プログラム製品。
A program product for selecting clips for medical image production, the program product comprising a computer readable storage medium having program instructions, the program instructions being executable by a predetermined device, and wherein the program instructions The device is
receiving a medical procedure and targeted portion of the selected mammalian body via an interface to a medical imaging device;
acquiring a group of various video clip images of the targeted area using the medical imaging device;
storing the group of video clip images in an image storage device;
image processing each video clip of the group of video clip images to determine the visual image and quality of each video clip;
retrieving from the rule base a rule corresponding to the selected clinical procedure and targeted portion that specifies the required visible image and required quality of the group of video clip images;
applying the retrieved rule as a filter to the group of video clip images to create a subset of the group of video clip images that satisfies the identified required visible image and required quality;
storing a subset of the group of video clip images in the image storage device;
The method performed by the device applies the retrieved rules to determine that there is no video clip in the group of video clip images that meets the identified required visual image and quality. a program product that generates an alert via the interface of the medical imaging device if
前記各ビデオクリップの画像処理は、各ビデオクリップをニューラルネットワークに送り、該ニューラルネットワークが所定の信頼度レベルで見分けられた前記送られてきたビデオクリップ中の見える像を示す出力を発生することを含む請求項12に記載プログラム製品。 The image processing of each video clip includes sending each video clip to a neural network that generates an output indicative of the visible image in the sent video clip as distinguished with a predetermined confidence level. 13. The program product of claim 12 . 前記各ビデオクリップの画像処理は、各ビデオクリップをコンテンツに基づく画像検索システムに送り、該コンテンツに基づく画像検索システムは送られてきたビデオクリップを所定の見える像の既知の画像からなるデータ記憶装置と比較し、送られてきたビデオクリップ中の見分けられた見える像を示すことを含む請求項12に記載プログラム製品。 The image processing of each video clip involves sending each video clip to a content-based image retrieval system which stores the sent video clip in a data storage device comprising known images of a given visible image. 13. The program product of claim 12 , further comprising displaying a distinct visible image in the transmitted video clip. 前記した各ビデオクリップの画像処理は、前記ニューラルネットワークの出力中に作られた所定の信頼度レベルに基づいて、送られてきた画像の一般化された品質レベルをコンピュータにより算出することをさらに含む請求項13に記載プログラム製品。 Image processing of each video clip as described above further includes computing a generalized quality level of the transmitted image based on a predetermined confidence level created in the output of the neural network. 14. The program product of claim 13 . 前記読み出した規則によって見える像中にあることが必要なランドマーク特徴をさらに特定し、
前記各ビデオクリップの画像処理は、各ビデオクリップをニューラルネットワークに送ることを含み、前記ニューラルネットワークは送られたビデオクリップ中の特定の信頼度レベルで見分けられたランドマーク特徴を示す出力を生成し、前記読み出した規則を適用するときに、前記特定の信頼度レベルで見分けられたランドマーク特徴がないことは前記ビデオクリップが低品質であることに対応し、前記特定の信頼度レベルで見分けられたランドマーク特徴があることは前記ビデオクリップが高品質であることに対応する請求項12に記載プログラム製品。
further identifying landmark features that are required to be in the visible image according to the read rule;
Image processing of each video clip includes sending each video clip to a neural network that generates an output indicative of landmark features identified at a particular confidence level in the sent video clip. , when applying the retrieved rule, the absence of landmark features identified at the particular confidence level corresponds to the video clip being of low quality, and the absence of landmark features identified at the particular confidence level. 13. The program product of claim 12 , wherein the presence of landmark features corresponds to the video clip being of high quality.
前記したビデオクリップ画像の群の保存は前記診療用撮像デバイスを用いる前記目標とする部分の様々なビデオクリップ画像の群をリアルタイムで取得している間になされる請求項12に記載プログラム製品。 13. The program product of claim 12 , wherein the storing of the group of video clip images is performed while acquiring the group of various video clip images of the target area using the medical imaging device in real time. 診療用画像作製のためのクリップ選択の方法であって、
診療用撮像デバイスへのインタフェースを介して、診療用撮像デバイスが、選択した哺乳類の臓器の診療手順および目標とする部分を受け取り、
前記診療用撮像デバイス、前記目標とする部分の様々なビデオクリップ画像の群を取得し、
画像記憶装置に結合されたホスト計算システムが、前記ビデオクリップ画像の群を画像記憶装置に保存し、
前記ホスト計算システムが、前記ビデオクリップ画像の群の各ビデオクリップを画像処理して、該各ビデオクリップの見える像および品質を判定し、
前記ホスト計算システムが、選択した診療手順および目標とする部分に対応する規則であって前記ビデオクリップ画像の群に必要な見える像および必要な品質を特定する規則および/又はインタフェースの中でビデオクリップ画像を提示する並べ方を示す規則を規則ベースから読み出し、
前記ホスト計算システムが、前記読み出した規則を前記ビデオクリップ画像の群にフィルタとして適用して前記特定された必要な見える像および必要な品質を満たすおよび/又は前記並べ方を示す規則にしたがって作成した、前記ビデオクリップ画像の群の部分集合を作り、
前記ホスト計算システムが、前記ビデオクリップ画像の群の部分集合を前記画像記憶装置に保存し、
ここにおいて、前記各ビデオクリップの画像処理は、送られてきたビデオクリップ中に所定の信頼度で見分けられた見える像を示す出力を作成するように訓練されたニューラルネットワークに各ビデオクリップを送ることを含む方法。
A method for selecting clips for creating medical images, the method comprising:
through the interface to the medical imaging device, the medical imaging device receives a medical procedure and a targeted portion of the selected mammalian organ;
the medical imaging device acquires a group of various video clip images of the targeted portion;
a host computing system coupled to an image storage device, storing the group of video clip images in the image storage device;
the host computing system image- processes each video clip of the group of video clip images to determine a visible image and quality of each video clip;
The host computing system selects video clips in a rule and/or interface that corresponds to a selected clinical procedure and target portion and specifies the required visual image and required quality of the group of video clip images. Reads rules indicating how to arrange images to be presented from the rule base,
the host computing system applies the retrieved rules as a filter to the group of video clip images to meet the identified required visual image and required quality and/or created according to rules indicating the ordering; creating a subset of the group of video clip images;
the host computing system stores a subset of the group of video clip images on the image storage device;
Here, image processing of each video clip includes sending each video clip to a neural network trained to create an output indicative of visible images discerned with a predetermined confidence in the sent video clip. method including.
JP2018120146A 2018-06-25 2018-06-25 Video clip selector used for medical image creation and diagnosis Active JP7433750B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018120146A JP7433750B2 (en) 2018-06-25 2018-06-25 Video clip selector used for medical image creation and diagnosis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018120146A JP7433750B2 (en) 2018-06-25 2018-06-25 Video clip selector used for medical image creation and diagnosis

Publications (2)

Publication Number Publication Date
JP2020024478A JP2020024478A (en) 2020-02-13
JP7433750B2 true JP7433750B2 (en) 2024-02-20

Family

ID=69618740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018120146A Active JP7433750B2 (en) 2018-06-25 2018-06-25 Video clip selector used for medical image creation and diagnosis

Country Status (1)

Country Link
JP (1) JP7433750B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583249B (en) * 2020-05-12 2023-12-01 上海深至信息科技有限公司 Medical image quality monitoring system and method
CN113709384A (en) * 2021-03-04 2021-11-26 腾讯科技(深圳)有限公司 Video editing method based on deep learning, related equipment and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004290329A (en) 2003-03-26 2004-10-21 Konica Minolta Holdings Inc Medical image processor, medical network system and program for medical image processor
JP2006522664A (en) 2003-04-11 2006-10-05 ゼネラル・エレクトリック・カンパニイ Method and system for knowledge-based diagnostic imaging
JP2012073179A (en) 2010-09-29 2012-04-12 Dainippon Screen Mfg Co Ltd Pathological diagnosis support device, pathological diagnosis support method, control program for pathological diagnosis support and recording medium with control program recorded thereon
JP2017085194A (en) 2015-10-22 2017-05-18 キヤノン株式会社 Information processing apparatus and control method therefor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004290329A (en) 2003-03-26 2004-10-21 Konica Minolta Holdings Inc Medical image processor, medical network system and program for medical image processor
JP2006522664A (en) 2003-04-11 2006-10-05 ゼネラル・エレクトリック・カンパニイ Method and system for knowledge-based diagnostic imaging
JP2012073179A (en) 2010-09-29 2012-04-12 Dainippon Screen Mfg Co Ltd Pathological diagnosis support device, pathological diagnosis support method, control program for pathological diagnosis support and recording medium with control program recorded thereon
JP2017085194A (en) 2015-10-22 2017-05-18 キヤノン株式会社 Information processing apparatus and control method therefor

Also Published As

Publication number Publication date
JP2020024478A (en) 2020-02-13

Similar Documents

Publication Publication Date Title
US11166678B2 (en) Video clip selector for medical imaging and diagnosis
JP6392387B2 (en) Diagnostic imaging equipment
JP4545185B2 (en) Image processing apparatus, image processing apparatus control method, and image processing apparatus control program
JP6143433B2 (en) Medical image photographing apparatus and medical image display method
US10222954B2 (en) Image display apparatus, display control apparatus and display control method using thumbnail images
KR101470411B1 (en) Medical image display method using virtual patient model and apparatus thereof
US10248756B2 (en) Anatomically specific movie driven medical image review
JP2015529108A (en) Automatic detection and retrieval of previous annotations associated with image material for effective display and reporting
JP2011160882A (en) Medical image display apparatus, medical image display method, and program
KR20150010515A (en) Apparatus and method for photographing a medical image
US10726548B2 (en) Confidence determination in a medical imaging video clip measurement based upon video clip image quality
JP2023506298A (en) System and method for instant image quality feedback
JP7433750B2 (en) Video clip selector used for medical image creation and diagnosis
KR101555197B1 (en) Method and apparatus for managing medical image
CN114223040A (en) Apparatus at an imaging point for immediate suggestion of a selection to make imaging workflows more efficient
WO2015045410A1 (en) Image display control device, operating method for same, and image display control program
US10102638B2 (en) Device and method for image registration, and a nontransitory recording medium
US11684334B2 (en) Methods and systems for protocol management
JP2004337198A (en) Imaging device
US20200135327A1 (en) Information processing apparatus, information processing method, and storage medium
US20220084239A1 (en) Evaluation of an ultrasound-based investigation
TWI547898B (en) Method for storing medical images and imaging system thereof
JP2015146864A (en) Information processing device and medical system
JP2021007510A (en) Information processor, information processing method, and program
JP2015039615A (en) Medical image processor and medical image display system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20191129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200508

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210623

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20211206

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20211213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220721

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220727

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221221

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20230206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230721

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230721

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230724

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20230724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240207

R150 Certificate of patent or registration of utility model

Ref document number: 7433750

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150