JP7321836B2 - 情報処理装置、検査システム及び情報処理方法 - Google Patents
情報処理装置、検査システム及び情報処理方法 Download PDFInfo
- Publication number
- JP7321836B2 JP7321836B2 JP2019154070A JP2019154070A JP7321836B2 JP 7321836 B2 JP7321836 B2 JP 7321836B2 JP 2019154070 A JP2019154070 A JP 2019154070A JP 2019154070 A JP2019154070 A JP 2019154070A JP 7321836 B2 JP7321836 B2 JP 7321836B2
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- image
- subject
- information
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/40—Positioning of patients, e.g. means for holding or immobilising parts of the patient's body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Description
検査デバイスの少なくとも一部を含む第1の画像と被検体の少なくとも一部を含む第2の
画像とを取得する取得手段と、前記第1の画像に基づいて、前記検査デバイスの位置を推
定する第1の推定手段と、前記第2の画像に基づいて、前記被検体の位置姿勢情報を推定
する第2の推定手段と、前記第1及び第2の推定手段による推定結果から、前記被検体の
検査部位を特定する部位特定手段と、 被検体の検査を行う検査手段から順次取得される検査結果から、記録または外部に出力する検査結果を確定する確定指示と、該検査結果と関連付けて記録または外部に出力する検査部位情報を確定する確定指示とを受け付ける制御手段と、を有し、前記制御手段は、前記検査部位情報の確定指示を受け付けて、その後前記検査手段から得られた前記検査結果から記録または外部に出力する検査結果を確定する確定指示を受け付けることを特徴とする。
段と、検査デバイスの少なくとも一部を含む第1の画像と被検体の少なくとも一部を含む
第2の画像とを撮像する撮像手段と、前記第1の画像に基づいて、前記検査デバイスの位
置を推定する第1の推定手段と、前記第2の画像に基づいて、前記被検体の位置姿勢情報
を推定する第2の推定手段と、前記第1及び第2の推定手段による推定結果から、前記被
検体の検査部位を特定する部位特定手段と、 被検体の検査を行う検査手段から順次取得される検査結果から、記録または外部に出力する検査結果を確定する確定指示と、該検査結果と関連付けて記録または外部に出力する検査部位情報を確定する確定指示とを受け付ける制御手段と、を有し、前記制御手段は、前記検査部位情報の確定指示を受け付けて、その後前記検査手段から得られた前記検査結果から記録または外部に出力する検査結果を確定する確定指示を受け付けることを特徴とする。
た、検査デバイスの少なくとも一部を含む第1の画像と被検体の少なくとも一部を含む第
2の画像とを取得する取得ステップと、前記第1の画像に基づいて、前記検査デバイスの
位置を推定する第1の推定ステップと、前記第2の画像に基づいて、前記被検体の位置姿
勢情報を推定する第2の推定ステップと、前記第1及び第2の推定ステップにて推定され
た推定結果から、前記被検体の検査部位を特定する部位特定ステップと、 被検体の検査を行う検査手段から順次取得される検査結果から、記録または外部に出力する検査結果を確定する確定指示と、該検査結果と関連付けて記録または外部に出力する検査部位情報を確定する確定指示とを受け付ける制御手段と、を有し、前記制御ステップでは、前記検査部位情報の確定指示を受け付けて、その後前記検査手段から得られた前記検査結果から記録または外部に出力する検査結果を確定する確定指示を受け付けることを特徴とする。
実施の一形態について図面を参照して説明する。
図4は、超音波診断装置100による検査処理全体の動作を行うためのCPU7の処理フローを示すフローチャートである。すなわち、以下の各ステップはCPU7あるいはCPU7の指示により各部で実行されるものとする。
図12は、検査者によって検査部位を自動で設定するよう設定された場合の、図4のステップS404の別の様態を示すフローチャートである。ステップS1203とステップS703、ステップS1204とステップS704、ステップS1205とステップS705がそれぞれ対応している図7のフローに示す処理と基本的に同じ動作を行うステップの説明は省略する。
図7のステップS703あるいは図11のステップS1102、図13のステップS1302、ステップS1304等で行われる検査部位の特定処理についての変形例を示す。上述した実施形態では、人体全体の検査部位特定を想定して各動作の説明を行った。しかしながら、手などの限局した検査対象においても同様である。
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ(またはCPU、MPU等)が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
2 超音波プローブ2
3 カメラ
4 アーム
5 ディスプレイ
6 コントロールパネル
7 CPU
8 メモリ
9 不揮発性メモリ9
10 通信I/F
11 電源
12 送受信部
13 信号処理部
14 画像生成部
15 カメラ制御部
Claims (17)
- 撮像手段によって撮像された、検査デバイスの少なくとも一部を含む第1の画像と被検体の少なくとも一部を含む第2の画像とを取得する取得手段と、
前記第1の画像に基づいて、前記検査デバイスの位置を推定する第1の推定手段と、
前記第2の画像に基づいて、前記被検体の位置姿勢情報を推定する第2の推定手段と、
前記第1及び第2の推定手段による推定結果から、前記被検体の検査部位を特定する部位特定手段と、
被検体の検査を行う検査手段から順次取得される検査結果から、記録または外部に出力する検査結果を確定する確定指示と、該検査結果と関連付けて記録または外部に出力する検査部位情報を確定する確定指示とを受け付ける制御手段と、を有し、
前記制御手段は、前記検査部位情報の確定指示を受け付けて、その後前記検査手段から得られた前記検査結果から記録または外部に出力する検査結果を確定する確定指示を受け付けることを特徴とする情報処理装置。 - 前記制御手段は、前記検査結果の確定指示を受け付ける前に、前記検査手段から順次取得される検査結果と、受け付けた確定指示に基づく検査部位情報とを表示手段に表示することを特徴とする請求項1に記載の情報処理装置。
- 前記第2の推定手段は、前記被検体の含まれる複数の学習用画像で予め学習された学習モデルに基づいて、前記第2の画像を入力として、前記被検体の位置姿勢情報を出力することを特徴とする請求項1または2に記載の情報処理装置。
- 前記第1の推定手段は、前記検査デバイスの位置をフィルタ処理及び形状認識処理により推定することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
- 前記第2の推定手段は、前記被検体の位置姿勢情報として、前記被検体の複数の関節点とその位置を示す骨格情報を出力することを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
- 前記部位特定手段は、前記第1の推定手段によって推定された前記検査デバイスの位置からの前記複数の関節点までの距離に基づいて、前記被検体の検査部位を特定することを特徴とする請求項5に記載の情報処理装置。
- 前記部位特定手段は、前記第1の推定手段によって推定された前記検査デバイスの位置からの距離が近い関節点ほど、該関節点に大きい重みをつけて評価値を算出し、前記複数の関節点についてそれぞれ算出された評価値に基づいて前記被検体の検査部位を特定することを特徴とする請求項6に記載の情報処理装置。
- 前記第2の推定手段は、前記被検体の複数の関節点それぞれについて信頼度の情報も出力し、
前記部位特定手段は、前記信頼度の情報に基づいて前記被検体の検査部位を特定することを特徴とする請求項6または7に記載の情報処理装置。 - 前記第1の推定手段によって前記第1の画像を用いて前記検査デバイスの位置を推定する処理負荷は、前記第2の推定手段によって前記第2の画像を用いて前記被検体の位置姿勢を推定する処理負荷に比べて軽いことを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。
- 前記取得手段は1回の撮像で得られた画像から前記第1及び第2の画像を取得することを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。
- 前記第1の推定手段は、前記第1の画像から前記検査デバイスに配されたマーカーを検出することで前記検査デバイスの位置を検出することを特徴とする請求項1乃至10のいずれか1項に記載の情報処理装置。
- 前記第1の推定手段は、前記第1の画像から前記検査デバイスに配されたマーカーを検出することで前記検査デバイスの位置及び姿勢を検出することを特徴とする請求項1乃至10のいずれか1項に記載の情報処理装置。
- 前記検査手段は、超音波探触子であることを特徴とする請求項1乃至12のいずれか1項に記載の情報処理装置。
- 被検体の検査を行う検査手段と、
検査デバイスの少なくとも一部を含む第1の画像と被検体の少なくとも一部を含む第2の画像とを撮像する撮像手段と、
前記第1の画像に基づいて、前記検査デバイスの位置を推定する第1の推定手段と、
前記第2の画像に基づいて、前記被検体の位置姿勢情報を推定する第2の推定手段と、
前記第1及び第2の推定手段による推定結果から、前記被検体の検査部位を特定する部位特定手段と、
被検体の検査を行う検査手段から順次取得される検査結果から記録または外部に出力する検査結果を確定する確定指示と、該検査結果と関連付けて記録または外部に出力する検査部位情報を確定する確定指示とを受け付ける制御手段と、を有し、
前記制御手段は、前記検査部位情報の確定指示を受け付けて、その後前記検査手段から得られた前記検査結果から記録または外部に出力する検査結果を確定する確定指示を受け付けることを特徴とする検査システム。 - 撮像手段によって撮像された、検査デバイスの少なくとも一部を含む第1の画像と被検体の少なくとも一部を含む第2の画像とを取得する取得ステップと、
前記第1の画像に基づいて、前記検査デバイスの位置を推定する第1の推定ステップと、
前記第2の画像に基づいて、前記被検体の位置姿勢情報を推定する第2の推定ステップと、
前記第1及び第2の推定ステップにて推定された推定結果から、前記被検体の検査部位を特定する部位特定ステップと、
被検体の検査を行う検査手段から順次取得される検査結果から記録または外部に出力する検査結果を確定する確定指示と、該検査結果と関連付けて記録または外部に出力する検査部位情報を確定する確定指示とを受け付ける制御ステップと、を有し、
前記制御ステップでは、前記検査部位情報の確定指示を受け付けて、その後前記検査手段から得られた前記検査結果の確定指示を受け付けることを特徴とする情報処理方法。 - 請求項1乃至13のいずれか1項に記載の情報処理装置の制御の各手段の機能を実現するための手順が記述されたコンピュータで実行可能なプログラム。
- コンピュータに、請求項1乃至13のいずれか1項に記載の情報処理装置の各手段の機能を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019154070A JP7321836B2 (ja) | 2019-08-26 | 2019-08-26 | 情報処理装置、検査システム及び情報処理方法 |
EP20191398.5A EP3786886A1 (en) | 2019-08-26 | 2020-08-17 | Information processing apparatus, inspection system, information processing method, program, and storage medium |
US16/996,597 US11461894B2 (en) | 2019-08-26 | 2020-08-18 | Information processing apparatus, inspection system, information processing method, and storage medium |
CN202010870748.2A CN112508840A (zh) | 2019-08-26 | 2020-08-26 | 信息处理设备、检查系统、信息处理方法和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019154070A JP7321836B2 (ja) | 2019-08-26 | 2019-08-26 | 情報処理装置、検査システム及び情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021029676A JP2021029676A (ja) | 2021-03-01 |
JP7321836B2 true JP7321836B2 (ja) | 2023-08-07 |
Family
ID=72139540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019154070A Active JP7321836B2 (ja) | 2019-08-26 | 2019-08-26 | 情報処理装置、検査システム及び情報処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11461894B2 (ja) |
EP (1) | EP3786886A1 (ja) |
JP (1) | JP7321836B2 (ja) |
CN (1) | CN112508840A (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113751332A (zh) * | 2020-06-03 | 2021-12-07 | 泰连服务有限公司 | 视觉检查系统和检查零件的方法 |
WO2022202351A1 (ja) * | 2021-03-22 | 2022-09-29 | 富士フイルム株式会社 | 超音波診断装置および超音波診断装置の制御方法 |
WO2023171272A1 (ja) * | 2022-03-09 | 2023-09-14 | 富士フイルム株式会社 | 超音波診断装置、超音波診断装置の制御方法および測距装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015029791A (ja) | 2013-08-05 | 2015-02-16 | 株式会社東芝 | 医用機器操作支援装置及び超音波診断装置 |
JP2015089454A (ja) | 2013-11-06 | 2015-05-11 | 株式会社東芝 | 超音波診断装置 |
JP2018079070A (ja) | 2016-11-16 | 2018-05-24 | キヤノンメディカルシステムズ株式会社 | 超音波診断装置、及び走査支援プログラム |
JP2019040592A (ja) | 2018-06-04 | 2019-03-14 | 株式会社 ディー・エヌ・エー | 情報処理装置、情報処理プログラム、及び、情報処理方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6463552B1 (en) * | 1998-12-07 | 2002-10-08 | Lsi Logic Corporation | Scripting method and apparatus for testing devices |
US11109835B2 (en) * | 2011-12-18 | 2021-09-07 | Metritrack Llc | Three dimensional mapping display system for diagnostic ultrasound machines |
AU2017281281B2 (en) * | 2016-06-20 | 2022-03-10 | Butterfly Network, Inc. | Automated image acquisition for assisting a user to operate an ultrasound device |
US11478212B2 (en) * | 2017-02-16 | 2022-10-25 | Siemens Healthcare Gmbh | Method for controlling scanner by estimating patient internal anatomical structures from surface data using body-surface and organ-surface latent variables |
JP6921589B2 (ja) | 2017-04-04 | 2021-08-18 | キヤノン株式会社 | 情報処理装置、検査システム及び情報処理方法 |
JP7362354B2 (ja) * | 2019-08-26 | 2023-10-17 | キヤノン株式会社 | 情報処理装置、検査システム及び情報処理方法 |
-
2019
- 2019-08-26 JP JP2019154070A patent/JP7321836B2/ja active Active
-
2020
- 2020-08-17 EP EP20191398.5A patent/EP3786886A1/en active Pending
- 2020-08-18 US US16/996,597 patent/US11461894B2/en active Active
- 2020-08-26 CN CN202010870748.2A patent/CN112508840A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015029791A (ja) | 2013-08-05 | 2015-02-16 | 株式会社東芝 | 医用機器操作支援装置及び超音波診断装置 |
JP2015089454A (ja) | 2013-11-06 | 2015-05-11 | 株式会社東芝 | 超音波診断装置 |
JP2018079070A (ja) | 2016-11-16 | 2018-05-24 | キヤノンメディカルシステムズ株式会社 | 超音波診断装置、及び走査支援プログラム |
JP2019040592A (ja) | 2018-06-04 | 2019-03-14 | 株式会社 ディー・エヌ・エー | 情報処理装置、情報処理プログラム、及び、情報処理方法 |
Non-Patent Citations (1)
Title |
---|
CAO Zhe, et al.,OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields,arXiv,米国,Cornell University,2019年05月30日,arXiv: 1812.08008,p1-p14,https://arxiv.org/abs/1812.08008 |
Also Published As
Publication number | Publication date |
---|---|
EP3786886A1 (en) | 2021-03-03 |
JP2021029676A (ja) | 2021-03-01 |
US11461894B2 (en) | 2022-10-04 |
US20210065365A1 (en) | 2021-03-04 |
CN112508840A (zh) | 2021-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6367425B2 (ja) | 超音波診断装置 | |
CN106659474B (zh) | 用于自诊断和远程诊断的超声诊断设备以及操作超声诊断设备的方法 | |
JP7362354B2 (ja) | 情報処理装置、検査システム及び情報処理方法 | |
KR102442178B1 (ko) | 초음파 진단장치 및 그에 따른 초음파 진단 방법 | |
US11653897B2 (en) | Ultrasonic diagnostic apparatus, scan support method, and medical image processing apparatus | |
KR102255417B1 (ko) | 초음파 진단 장치 및 그에 따른 초음파 영상의 디스플레이 방법 | |
JP7321836B2 (ja) | 情報処理装置、検査システム及び情報処理方法 | |
KR102545008B1 (ko) | 초음파 영상 장치 및 그 제어 방법 | |
JP2021506470A (ja) | 超音波システムのためのエコー窓のアーチファクト分類及び視覚的インジケータ | |
US11647990B2 (en) | Implant assessment using ultrasound and optical imaging | |
JP6956483B2 (ja) | 超音波診断装置、及び走査支援プログラム | |
KR20170007209A (ko) | 의료 영상 장치 및 그 동작 방법 | |
US20230062672A1 (en) | Ultrasonic diagnostic apparatus and method for operating same | |
JP6720001B2 (ja) | 超音波診断装置、及び医用画像処理装置 | |
CN110418610A (zh) | 确定引导信号和用于为手持式超声换能器提供引导的系统 | |
KR20190085342A (ko) | 초음파 진단 장치의 제어 방법 및 초음파 진단 장치 | |
US20220273267A1 (en) | Ultrasonic imaging method and ultrasonic imaging system | |
US20190388061A1 (en) | Ultrasound diagnosis apparatus displaying shear wave data for object and method for operating same | |
US11766236B2 (en) | Method and apparatus for displaying ultrasound image providing orientation of fetus and computer program product | |
JP6538130B2 (ja) | 画像処理装置及びプログラム | |
JP2023073109A (ja) | 情報処理装置、医用画像診断装置、プログラム及び記憶媒体 | |
KR102169613B1 (ko) | 사용자의 모션 정보에 기초하여 사용자 인터페이스(ui)를 변경시키는 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220810 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230627 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230726 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7321836 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |