JP7295333B2 - 画像記録システム、画像記録方法及びraw画像データ作成プログラム - Google Patents
画像記録システム、画像記録方法及びraw画像データ作成プログラム Download PDFInfo
- Publication number
- JP7295333B2 JP7295333B2 JP2022506987A JP2022506987A JP7295333B2 JP 7295333 B2 JP7295333 B2 JP 7295333B2 JP 2022506987 A JP2022506987 A JP 2022506987A JP 2022506987 A JP2022506987 A JP 2022506987A JP 7295333 B2 JP7295333 B2 JP 7295333B2
- Authority
- JP
- Japan
- Prior art keywords
- raw image
- recording
- image
- raw
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
- G06T2207/30032—Colon polyp
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
Description
図1は、医療画像を撮影及び記録する撮影システム10の構成例である。撮影システム10は、内視鏡システム5と画像記録システム1とを含む。
図2は、画像記録システム1の第1構成例である。なお、図2には教師データ作成システム400と学習装置500も図示するが、画像記録システム1が画像を記録する際に、教師データ作成システム400と学習装置500が画像記録システム1に接続されている必要はない。
記録候補RAW画像群抽出部120が記録候補RAW画像群GIM2を抽出する手法の具体例を説明する。以下の手法はいずれか1つが採用されてもよいし、2以上の手法が組み合わされてもよい。
第2構成例では、記録候補RAW画像群抽出部120が内視鏡システム5のシステム情報に基づいて記録候補RAW画像群GIM2を抽出する。なお、第1構成例と第2構成例は組み合わされてもよい。即ち、記録候補RAW画像群抽出部120は、RAW画像の解析結果とシステム情報の解析結果の両方に基づいて記録候補RAW画像群GIM2を抽出してもよい。
図7は、画像記録システム1の第3構成例である。図7では、取得部110が画像変換部112を含む。なお、第1構成例及び第2構成例で説明した構成要素については適宜に説明を省略する。
第4構成例では、記録対象に選定されなかったRAW画像を圧縮データとして記録する。図8は、画像記録システム1の第4構成例である。図8では、RAW画像記録部130が圧縮部114を含む。また学習装置500のプロセッサ510が画像拡張部512を含む。なお、第1構成例及び第2構成例で説明した構成要素については適宜に説明を省略する。
Claims (16)
- 第1の時間区間における時系列に沿った複数のRAW画像を含む時系列RAW画像群を取得する取得部と、
前記時系列RAW画像群の中から、前記第1の時間区間の一部である第2の時間区間に含まれる記録候補RAW画像群を抽出する記録候補RAW画像群抽出部と、
前記記録候補RAW画像群に含まれる少なくとも1つのRAW画像を、記録すべきRAW画像である記録対象RAW画像として記録するRAW画像記録部と、
前記記録候補RAW画像群の中から前記記録対象RAW画像を選定するRAW画像記録重要度判断部と、
を含み、
前記RAW画像記録部は、
前記記録候補RAW画像群又は前記時系列RAW画像群のうち前記RAW画像記録重要度判断部に選定されなかったRAW画像を圧縮データに変換し、前記圧縮データを記録することを特徴する画像記録システム。 - 請求項1において、
前記記録対象RAW画像は、
前記記録対象RAW画像に紐づけられた教師ラベルと共に教師画像として機械学習に用いられることを特徴とする画像記録システム。 - 請求項1において、
前記RAW画像記録部は、
前記RAW画像記録重要度判断部により選定された前記記録対象RAW画像を記録することを特徴とする画像記録システム。 - 請求項3において、
前記RAW画像記録重要度判断部が1枚のRAW画像に対して行う処理の処理時間は、前記記録候補RAW画像群抽出部が1枚のRAW画像に対して行う処理の処理時間よりも長いことを特徴とする画像記録システム。 - 請求項3において、
前記RAW画像記録重要度判断部は、
前記記録候補RAW画像群の各RAW画像に対して重要度に基づく判定を行うことで、前記記録対象RAW画像を選定することを特徴とする画像記録システム。 - 請求項1において、
前記取得部は、
前記時系列RAW画像群に含まれるRAW画像に対する変換処理を行い、変換後画像を作成する画像変換部を含み、
前記記録候補RAW画像群抽出部は、
前記変換後画像に基づいて前記記録候補RAW画像群を抽出することを特徴とする画像記録システム。 - 請求項1において、
前記記録候補RAW画像群抽出部は、
前記時系列RAW画像群に含まれるRAW画像の撮影対象の状態を検出し、前記撮影対象の状態に基づいて前記記録候補RAW画像群を抽出することを特徴とする画像記録システム。 - 請求項1において、
前記記録候補RAW画像群抽出部は、
前記時系列RAW画像群に含まれるRAW画像の明るさを直接的又は間接的に検出し、前記RAW画像の明るさに基づいて前記記録候補RAW画像群を抽出することを特徴とする画像記録システム。 - 請求項1において、
前記取得部は、
内視鏡システムにより時系列に撮影された複数の医療画像を前記複数のRAW画像として取得することを特徴とする画像記録システム。 - 請求項1において、
前記取得部は、
内視鏡システムにより撮像された前記時系列RAW画像群を取得し、
前記記録候補RAW画像群抽出部は、
前記内視鏡システムの処置動作を検出し、前記処置動作に基づいて前記記録候補RAW画像群を抽出することを特徴とする画像記録システム。 - 請求項1において、
前記取得部は、
内視鏡システムにより撮像された前記時系列RAW画像群を取得し、
前記記録候補RAW画像群抽出部は、
前記内視鏡システムの挿入部の動きを検出し、前記挿入部の動きに基づいて前記記録候補RAW画像群を抽出することを特徴とする画像記録システム。 - 請求項1において、
前記取得部は、
内視鏡システムにより撮像された前記時系列RAW画像群と、前記内視鏡システムのシステム情報とを取得し、
前記記録候補RAW画像群抽出部は、
前記システム情報に基づいて前記記録候補RAW画像群を抽出することを特徴とする画像記録システム。 - 第1の時間区間における時系列に沿った複数のRAW画像を含む時系列RAW画像群を取得することと、
前記時系列RAW画像群の中から、前記第1の時間区間の一部である第2の時間区間に含まれる記録候補RAW画像群を抽出することと、
前記記録候補RAW画像群の中から、記録すべきRAW画像である記録対象RAW画像を選定することと、
前記記録候補RAW画像群に含まれる少なくとも1つのRAW画像を、前記記録対象RAW画像として記録することと、
前記記録候補RAW画像群又は前記時系列RAW画像群のうち前記記録対象RAW画像として選定されなかったRAW画像を圧縮データに変換し、前記圧縮データを記録することと、
を含むことを特徴とする画像記録方法。 - 請求項13において、
前記記録対象RAW画像は、
前記記録対象RAW画像に紐づけて教師画像とするための教師ラベルと共に、機械学習に用いられるRAW画像であることを特徴とする画像記録方法。 - 請求項13において、
前記記録対象RAW画像は、
画像拡張処理により拡張画像に変換された後に機械学習に用いられる画像であり、
前記圧縮データは、
前記拡張画像に変換されることなく機械学習に用いられる画像であることを特徴とする画像記録方法。 - 第1の時間区間における時系列に沿った複数のRAW画像を含む時系列RAW画像群を取得することと、
前記時系列RAW画像群の中から、前記第1の時間区間の一部である第2の時間区間に含まれる記録候補RAW画像群を抽出することと、
前記記録候補RAW画像群の中から、記録すべきRAW画像である記録対象RAW画像を選定することと、
前記記録候補RAW画像群に含まれる少なくとも1つのRAW画像を、前記記録対象RAW画像として記録することと、
前記記録候補RAW画像群又は前記時系列RAW画像群のうち前記記録対象RAW画像として選定されなかったRAW画像を圧縮データに変換し、前記圧縮データを記録することと
をコンピュータに実行させるRAW画像データ作成プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/009910 WO2021181440A1 (ja) | 2020-03-09 | 2020-03-09 | 画像記録システム及び画像記録方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021181440A1 JPWO2021181440A1 (ja) | 2021-09-16 |
JPWO2021181440A5 JPWO2021181440A5 (ja) | 2022-11-18 |
JP7295333B2 true JP7295333B2 (ja) | 2023-06-20 |
Family
ID=77671252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022506987A Active JP7295333B2 (ja) | 2020-03-09 | 2020-03-09 | 画像記録システム、画像記録方法及びraw画像データ作成プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US12041385B2 (ja) |
JP (1) | JP7295333B2 (ja) |
CN (1) | CN115244573A (ja) |
WO (1) | WO2021181440A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024042895A1 (ja) * | 2022-08-24 | 2024-02-29 | 富士フイルム株式会社 | 画像処理装置、内視鏡、画像処理方法、及びプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003271657A (ja) | 2002-03-15 | 2003-09-26 | Fuji Photo Film Co Ltd | 画像データベース装置 |
JP2007193592A (ja) | 2006-01-19 | 2007-08-02 | Konica Minolta Photo Imaging Inc | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2013171599A (ja) | 2012-02-20 | 2013-09-02 | Sony Corp | 表示制御装置および表示制御方法 |
JP2015173827A (ja) | 2014-03-14 | 2015-10-05 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
WO2019064704A1 (ja) | 2017-09-29 | 2019-04-04 | オリンパス株式会社 | 内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法 |
JP2019117577A (ja) | 2017-12-27 | 2019-07-18 | 本田技研工業株式会社 | プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8555169B2 (en) * | 2009-04-30 | 2013-10-08 | Apple Inc. | Media clip auditioning used to evaluate uncommitted media content |
US20130215144A1 (en) | 2012-02-20 | 2013-08-22 | Sony Corporation | Display control device and display control method |
JP2015107249A (ja) * | 2013-12-05 | 2015-06-11 | オリンパス株式会社 | 内視鏡の制御方法及び内視鏡システム |
JP6336098B2 (ja) * | 2015-03-17 | 2018-06-06 | オリンパス株式会社 | 生体観察システム |
WO2018008593A1 (ja) | 2016-07-04 | 2018-01-11 | 日本電気株式会社 | 画像診断学習装置、画像診断装置、方法およびプログラムを格納する記憶媒体 |
JP6871727B2 (ja) * | 2016-11-29 | 2021-05-12 | キヤノン株式会社 | 撮像装置、画像処理方法、及び、プログラム |
-
2020
- 2020-03-09 WO PCT/JP2020/009910 patent/WO2021181440A1/ja active Application Filing
- 2020-03-09 JP JP2022506987A patent/JP7295333B2/ja active Active
- 2020-03-09 CN CN202080098300.1A patent/CN115244573A/zh active Pending
-
2022
- 2022-09-08 US US17/940,079 patent/US12041385B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003271657A (ja) | 2002-03-15 | 2003-09-26 | Fuji Photo Film Co Ltd | 画像データベース装置 |
JP2007193592A (ja) | 2006-01-19 | 2007-08-02 | Konica Minolta Photo Imaging Inc | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2013171599A (ja) | 2012-02-20 | 2013-09-02 | Sony Corp | 表示制御装置および表示制御方法 |
JP2015173827A (ja) | 2014-03-14 | 2015-10-05 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
WO2019064704A1 (ja) | 2017-09-29 | 2019-04-04 | オリンパス株式会社 | 内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法 |
JP2019117577A (ja) | 2017-12-27 | 2019-07-18 | 本田技研工業株式会社 | プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115244573A (zh) | 2022-10-25 |
US20230007213A1 (en) | 2023-01-05 |
US12041385B2 (en) | 2024-07-16 |
JPWO2021181440A1 (ja) | 2021-09-16 |
WO2021181440A1 (ja) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8055033B2 (en) | Medical image processing apparatus, luminal image processing apparatus, luminal image processing method, and programs for the same | |
JP5276225B2 (ja) | 医用画像処理装置及び医用画像処理装置の作動方法 | |
JP6949999B2 (ja) | 画像処理装置、内視鏡システム、画像処理方法、プログラム及び記録媒体 | |
JP2010158308A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN112105286A (zh) | 内窥镜装置、内窥镜操作方法及程序 | |
JP2014042727A (ja) | 医療画像記録装置及びその記録方法並びに医療画像記録プログラム | |
JPWO2019130868A1 (ja) | 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム | |
US12041385B2 (en) | Image recording system, image recording method, and recording medium | |
JP2011024628A (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
JP7289241B2 (ja) | ファイリング装置、ファイリング方法及びプログラム | |
WO2016088628A1 (ja) | 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム | |
US20230298138A1 (en) | Methods and systems for extracting medical images | |
US10462440B2 (en) | Image processing apparatus | |
CN107408299B (zh) | 平面扫描视频记波影像的生成方法和服务器及存储介质 | |
JP5346907B2 (ja) | 医療用画像記録再生装置、及びプログラム | |
JP7158471B2 (ja) | 検査動画処理装置、検査動画処理装置の作動方法及び検査動画処理プログラム | |
JP2023548226A (ja) | 画像処理方法、電子機器および可読記憶媒体 | |
JP2022156811A (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム | |
CN114269221A (zh) | 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序 | |
US12035045B2 (en) | Endoscope processor, information processing method, and computer program | |
JP7234320B2 (ja) | 画像処理装置および画像処理装置の作動方法 | |
JP7447281B2 (ja) | プロセッサ装置、プロセッサ装置の作動方法 | |
WO2022191058A1 (ja) | 内視鏡画像処理装置、方法及びプログラム | |
JP5256270B2 (ja) | 医療用画像再生装置及び医療用画像再生方法並びにプログラム | |
CN114627045A (zh) | 医用图像处理系统、医用图像处理系统的工作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220907 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230608 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7295333 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |