JP7068438B2 - 画像処理装置、内視鏡システム、画像処理方法およびプログラム - Google Patents
画像処理装置、内視鏡システム、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP7068438B2 JP7068438B2 JP2020506006A JP2020506006A JP7068438B2 JP 7068438 B2 JP7068438 B2 JP 7068438B2 JP 2020506006 A JP2020506006 A JP 2020506006A JP 2020506006 A JP2020506006 A JP 2020506006A JP 7068438 B2 JP7068438 B2 JP 7068438B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- filter
- image
- pixel
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 110
- 238000003672 processing method Methods 0.000 title claims description 7
- 239000002131 composite material Substances 0.000 claims description 55
- 238000001514 detection method Methods 0.000 claims description 51
- 230000002194 synthesizing effect Effects 0.000 claims description 16
- 230000003595 spectral effect Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000035945 sensitivity Effects 0.000 claims description 8
- 238000000034 method Methods 0.000 description 62
- 238000005286 illumination Methods 0.000 description 49
- 238000010586 diagram Methods 0.000 description 28
- 238000002834 transmittance Methods 0.000 description 13
- 230000015572 biosynthetic process Effects 0.000 description 11
- 238000003786 synthesis reaction Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 9
- 239000000203 mixture Substances 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000000295 complement effect Effects 0.000 description 7
- 238000000926 separation method Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000001727 in vivo Methods 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 239000002344 surface layer Substances 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 239000003365 glass fiber Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Optics & Photonics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Description
〔内視鏡システムの構成〕
図1は、本開示の実施の形態1に係る内視鏡システムの概略構成図である。図2は、本開示の実施の形態1に係る内視鏡システムの機能構成を示すブロック図である。
まず、内視鏡2の詳細な構成について説明する。
内視鏡2は、撮像光学系200と、撮像素子201と、カラーフィルタ202と、ライトガイド203と、照明用レンズ204と、A/D変換部205と、撮像情報記憶部206と、操作部207と、を備える。
図3は、カラーフィルタ202の構成の一例を示す模式図である。図3に示すカラーフィルタ202は、赤色の波長帯域の光を透過するRフィルタと、緑色の波長帯域の光を透過する2つのGフィルタと、青色の波長帯域の光を透過するBフィルタとによって構成されたベイヤー配列をなす。赤色の波長帯域の光を透過するRフィルタが設けられた画素Pは、赤色の波長帯域の光を受光する。以下、赤色の波長帯域の光を受光する画素PをR画素という。同様に、緑色の波長帯域の光を受光する画素PをG画素、青色の波長帯域の光を受光する画素PをB画素、緑色の波長帯域の光を受光する画素PをG画素という。なお、以下においては、R画素、G画素およびB画素が原色画素として説明する。ここで、青色、緑色および赤色の波長帯域HB,HGおよびHRは、波長帯域HBが390nm~500nm、波長帯域HGが500nm~600nm、波長帯域HRが600nm~700nmである。
図4は、カラーフィルタ202を構成する各フィルタの透過特性の一例を示す図である。なお、図4においては、各フィルタの透過率の最大値が等しくなるように透過率曲線を模擬的に規格化している。図4において、曲線LBがBフィルタの透過率曲線を示し、曲線LGがGフィルタの透過率曲線を示し、曲線LRがRフィルタの透過率曲線を示し、また、図4において、横軸が波長(nm)を示し、縦軸が透過率(感度)を示す。
ライトガイド203は、グラスファイバ等を用いて構成され、光源装置3から供給された照明光の導光路をなす。
次に、光源装置3の構成について説明する。光源装置3は、照明部31と、照明制御部32と、を備える。
光源ドライバ31bは、照明制御部32の制御のもと、光源31aに対して電流を供給することによって、光源31aに照明光を出射させる。
駆動部31dは、ステッピングモータやDCモータ等を用いて構成され、照明制御部32の制御のもと、切替フィルタ31cを光源31aが出射する照明光の光路上に挿入または光路上から退避させる。具体的には、駆動部31dは、照明制御部32の制御のもと、内視鏡システム1が白色光観察方式(WLI方式)を行う場合、切替フィルタ31cを光源31aが出射する照明光の光路上から退避させる一方、内視鏡システム1が狭帯域光観察方式(NBI方式)を行う場合、切替フィルタ31cを光源31aが出射する照明光の光路上に挿入(配置)する。
次に、プロセッサ装置4の構成について説明する。
プロセッサ装置4は、内視鏡2から受信した画像データに対して画像処理を行って表示装置5へ出力する。プロセッサ装置4は、画像処理部41と、入力部42と、記憶部43と、制御部44と、を備える。
次に、表示装置5の構成について説明する。
表示装置5は、映像ケーブルを経由してプロセッサ装置4が生成した画像データを受信し、この画像データに対応する画像を表示する。また、表示装置5は、プロセッサ装置4から受信した内視鏡システム1に関する各種情報を表示する。表示装置5は、液晶または有機EL(Electro Luminescence)の表示モニタ等を用いて構成される。
次に、プロセッサ装置4が実行する処理について説明する。図7は、プロセッサ装置4が実行する処理の概要を示すフローチャートである。図8は、プロセッサ装置4が生成する画像を模式的に示す図である。なお、図8においては、説明を簡略化するため、過去フレームの画像データとして1フレーム(1枚)の画像データを用いる場合について説明するが、これに限定されることなく、複数の過去フレームの各々の画像データを用いてもよい。さらに、図7および図8においては、光源装置3は、白色光を内視鏡2に供給する場合について説明する。
次に、本開示の実施の形態2について説明する。実施の形態2は、上述した実施の形態1に係るカラーフィルタ202と構成が異なる。以下においては、実施の形態2のカラーフィルタの構成を説明後、実施の形態2に係るプロセッサ装置が実行する処理について説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して説明を省略する。
図9は、本開示の実施の形態2に係るカラーフィルタの構成の一例を示す模式図である。図9に示すカラーフィルタ202Aは、4×4で2次元格子状に並べられた16個のフィルタからなり、各フィルタを画素の配置に応じて並べられて配置したものである。カラーフィルタ202Aは、青色(B)の波長帯域HB、緑色(G)の波長帯域HGおよび赤色(R)の波長帯域HRの光を透過する。また、カラーフィルタ202Aは、赤色の波長帯域HRの光を透過するRフィルタと、緑色の波長帯域HGの光を透過するGフィルタ、青色の波長帯域HBの光を透過するBフィルタと、青色の波長帯域の光および緑色の波長帯域の光を透過するCyフィルタを有する。具体的には、カラーフィルタ202Aは、Cyフィルタが全体の1/2の割合(8つ)で市松状に配置され、Gフィルタが全体の1/4の割合(4つ)で配置され、フィルタBよびフィルタRの各々が1/8(2つ)の割合で配置されている。
次に、カラーフィルタ202Aを構成する各フィルタの透過特性について説明する。図10は、カラーフィルタ202Aを構成する各フィルタの透過特性の一例を示す図である。図10において、各フィルタの透過率の最大値が等しくなるように透過率曲線を模擬的に規格化している。図10において、曲線LBがBフィルタの透過率曲線を示し、曲線L GがGフィルタの透過率曲線を示し、曲線LRがRフィルタの透過率曲線を示し、曲線L CyがCyフィルタの透過率曲線を示す。また、図10において、横軸が波長を示し、縦軸が透過率を示す。
次に、プロセッサ装置4が実行する処理について説明する。図11は、プロセッサ装置4が実行する処理の概要を示すフローチャートである。図12は、プロセッサ装置4が生成する画像を模式的に示す図である。なお、図12においては、説明を簡略化するため、過去フレームの画像データとして1フレーム(1枚)の画像データを用いる場合について説明するが、これに限定されることなく、複数の過去フレームの各々の画像データを用いてもよい。さらに、以下においては、光源装置3が狭帯域照明光を内視鏡2へ供給する場合について説明する。なお、光源装置3が白色光を内視鏡2へ供給する場合、プロセッサ装置4は、上述した実施の形態1と同様の処理を行うことによって、R、GおよびB画像それぞれの画像を生成する。
次に、本開示の実施の形態3について説明する。実施の形態3は、上述した実施の形態2に係る画像処理部401と構成が異なる。具体的には、実施の形態3では、位置ずれ量に基づいて、参照画像を用いた補間画像を生成するか否かを判定する。以下においては、実施の形態3に係る画像処理部の構成を説明後、実施の形態3に係るプロセッサ装置が実行する処理について説明する。
次に、プロセッサ装置4が実行する処理について説明する。図14は、プロセッサ装置4が実行する処理の概要を示すフローチャートである。図15は、プロセッサ装置4が生成する画像を模式的に示す図である。なお、図15においては、説明を簡略化するため、過去フレームの画像データとして1フレーム(1枚)の画像データを用いる場合について説明するが、これに限定されることなく、複数の過去フレームの各々の画像データを用いてもよい。さらに、以下においては、光源装置3が狭帯域照明光を内視鏡2へ供給する場合について説明する。なお、光源装置3が白色光を内視鏡2へ供給する場合、プロセッサ装置4は、上述した実施の形態1と同様の処理を行うことによって、R、GおよびB画像それぞれの画像を生成する。
次に、本開示の実施の形態4について説明する。上述した実施の形態2では、位置ずれ量に基づいて、過去画像のCy画素の情報と最新画像のCy画素の情報とを単に合成していたが、実施の形態4では、位置ずれ量に基づいて合成する際の重み付けを行って合成する。以下において、実施の形態4に係るプロセッサ装置が実行する処理について説明する。なお、上述した実施の形態2に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明を省略する。
図16は、プロセッサ装置が実行する処理の概要を示すフローチャートである。図17は、プロセッサ装置4が生成する画像を模式的に示す図である。図17においては、説明を簡略化するため、過去フレームの画像データとして1フレーム(1枚)の画像データを用いる場合について説明するが、これに限定されることなく、複数の過去フレームの各々の画像データを用いてもよい。さらに、以下においては、光源装置3が狭帯域照明光を内視鏡2へ供給する場合について説明する。なお、光源装置3が白色光を内視鏡2へ供給する場合、プロセッサ装置4は、上述した実施の形態1と同様の処理を行うことによって、R、GおよびB画像それぞれの画像を生成する。
上述した実施の形態1~4では、カラーフィルタの構成を適宜変更することができる。図18は、本開示の実施の形態1~4の変形例に係るカラーフィルタの構成の一例を示す模式図である。図18に示すように、カラーフィルタ202Cは、5×5で2次元格子状に並べられた25個のフィルタからなる。カラーフィルタ202Cは、Cyフィルタが全体の1/2以上の割合(16つ)で配置され、Gフィルタが4つで配置され、フィルタBが4つで配置され、フィルタRが2つで配置されている。
2 内視鏡
3 光源装置
4 プロセッサ装置
5 表示装置
41 画像処理部
42 入力部
43 記憶部
44 制御部
201 撮像素子
202,202A,202C カラーフィルタ
401,401B 画像処理部
411 検出部
412 合成部
413 生成部
414 補間部
415 判定部
Claims (7)
- 2次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって画像データを所定のフレームで生成する撮像素子と、前記撮像素子における全画素の1/2以上の画素に配置されてなる第1のフィルタと、前記第1のフィルタと異なる分光感度特性を有する複数種類の第2のフィルタと、によって構成され、前記第1のフィルタおよび前記第2のフィルタを前記複数の画素に対応させて配置してなるカラーフィルタと、を備える内視鏡が接続可能な画像処理装置であって、
前記撮像素子が生成した複数フレームの前記画像データ間の各画素の位置ずれ量を検出する検出部と、
前記検出部が検出した前記位置ずれ量に基づいて、少なくとも1つ以上の過去フレームの前記画像データの前記第1のフィルタが配置された画素の情報を、基準フレームの前記画像データに合成して合成画像データを生成する合成部と、
前記合成部が生成した前記合成画像データに対して補間処理を行うことによって全画素位置に前記第1のフィルタの情報を含む第1の補間画像データを参照画像データとして生成する生成部と、
前記生成部が生成した前記参照画像データを参照して、前記基準フレームの前記画像データに対して補間処理を行うことによって全画素位置に前記第2のフィルタの情報を含む第2の補間画像データを、前記複数種類の第2のフィルタ毎に生成する補間部と、
を備え、
前記生成部は、前記検出部が検出した前記位置ずれ量に基づいて、前記合成画像データを用いて生成した前記参照画像データと、前記基準フレームの前記画像データを用いて生成した前記参照画像データとの重み付けを行って合成して新たな前記参照画像データを生成することを特徴とする画像処理装置。 - 前記検出部が検出した前記位置ずれ量が閾値未満であるか否かを判定する判定部をさらに備え、
前記生成部は、
前記判定部によって前記位置ずれ量が閾値未満であると判定された場合、前記合成画像データを用いて前記参照画像データを生成する一方、
前記判定部によって前記位置ずれ量が閾値未満でないと判定された場合、前記基準フレームの前記画像データに対して補間処理を行うことによって前記参照画像データを生成することを特徴とする請求項1に記載の画像処理装置。 - 前記第1のフィルタは、緑色の波長帯域の光を透過する緑フィルタであることを特徴とする請求項1または2に記載の画像処理装置。
- 前記第1のフィルタは、青色の波長帯域の光および緑色の波長帯域の光を透過するシアンフィルタであることを特徴とする請求項1または2に記載の画像処理装置。
- 被検体に挿入可能な内視鏡と、
前記内視鏡が接続される画像処理装置と、
を備え、
前記内視鏡は、
2次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって画像データを所定のフレームで生成する撮像素子と、
前記撮像素子における全画素の1/2以上の画素に配置されてなる第1のフィルタと、前記第1のフィルタと異なる分光感度特性を有する複数種類の第2のフィルタと、によって構成され、前記第1のフィルタおよび前記第2のフィルタを前記複数の画素に対応させて配置してなるカラーフィルタと、を備え、
前記画像処理装置は、
前記撮像素子が生成した複数フレームの前記画像データ間の各画素の位置ずれ量を検出する検出部と、
前記検出部が検出した前記位置ずれ量に基づいて、少なくとも1つ以上の過去フレームの前記画像データの前記第1のフィルタが配置された画素の情報を、基準フレームの前記画像データに合成して合成画像データを生成する合成部と、
前記合成部が生成した前記合成画像データに対して補間処理を行うことによって全画素位置に前記第1のフィルタの情報を含む第1の補間画像データを参照画像データとして生成する生成部と、
前記生成部が生成した前記参照画像データを参照して、前記基準フレームの前記画像データに対して補間処理を行うことによって全画素位置に前記第2のフィルタの情報を含む第2の補間画像データを、前記複数種類の第2のフィルタ毎に生成する補間部と、
を備え、
前記生成部は、前記検出部が検出した前記位置ずれ量に基づいて、前記合成画像データを用いて生成した前記参照画像データと、前記基準フレームの前記画像データを用いて生成した前記参照画像データとの重み付けを行って合成して新たな前記参照画像データを生成することを特徴とする内視鏡システム。 - 2次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって画像データを所定のフレームで生成する撮像素子と、前記撮像素子における全画素の1/2以上の画素に配置されてなる第1のフィルタと、前記第1のフィルタと異なる分光感度特性を有する複数種類の第2のフィルタと、によって構成され、前記第1のフィルタおよび前記第2のフィルタを前記複数の画素に対応させて配置してなるカラーフィルタと、を備える内視鏡が接続可能な画像処理装置が実行する画像処理方法であって、
前記撮像素子が生成した複数フレームの前記画像データ間の各画素の位置ずれ量を検出する検出ステップと、
前記位置ずれ量に基づいて、少なくとも1つ以上の過去フレームの前記画像データの前記第1のフィルタが配置された画素の情報を、基準フレームの前記画像データに合成して合成画像データを生成する合成ステップと、
前記合成画像データに対して補間処理を行うことによって全画素位置に前記第1のフィルタの情報を含む第1の補間画像データを参照画像データとして生成する生成ステップと、
前記参照画像データを参照して、前記基準フレームの前記画像データに対して補間処理を行うことによって全画素位置に前記第2のフィルタの情報を含む第2の補間画像データを、前記複数種類の第2のフィルタ毎に生成する補間ステップと、
を含み、
前記生成ステップは、前記検出ステップが検出した前記位置ずれ量に基づいて、前記合成画像データを用いて生成した前記参照画像データと、前記基準フレームの前記画像データを用いて生成した前記参照画像データとの重み付けを行って合成して新たな前記参照画像データを生成することを特徴とする画像処理方法。 - 2次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって画像データを所定のフレームで生成する撮像素子と、前記撮像素子における全画素の1/2以上の画素に配置されてなる第1のフィルタと、前記第1のフィルタと異なる分光感度特性を有する複数種類の第2のフィルタと、によって構成され、前記第1のフィルタおよび前記第2のフィルタを前記複数の画素に対応させて配置してなるカラーフィルタと、を備える内視鏡が接続可能な画像処理装置に、
前記撮像素子が生成した複数フレームの前記画像データ間の各画素の位置ずれ量を検出する検出ステップと、
前記位置ずれ量に基づいて、少なくとも1つ以上の過去フレームの前記画像データの前記第1のフィルタが配置された画素の情報を、基準フレームの前記画像データに合成して合成画像データを生成する合成ステップと、
前記合成画像データに対して補間処理を行うことによって全画素位置に前記第1のフィルタの情報を含む第1の補間画像データを参照画像データとして生成する生成ステップと、
前記参照画像データを参照して、前記基準フレームの前記画像データに対して補間処理を行うことによって全画素位置に前記第2のフィルタの情報を含む第2の補間画像データを、前記複数種類の第2のフィルタ毎に生成する補間ステップと、
を実行させ、
前記生成ステップは、前記検出ステップで検出した前記位置ずれ量に基づいて、前記合成画像データを用いて生成した前記参照画像データと、前記基準フレームの前記画像データを用いて生成した前記参照画像データとの重み付けを行って合成して新たな前記参照画像データを生成させることを特徴とするプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/009816 WO2019175991A1 (ja) | 2018-03-13 | 2018-03-13 | 画像処理装置、内視鏡システム、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019175991A1 JPWO2019175991A1 (ja) | 2021-02-25 |
JP7068438B2 true JP7068438B2 (ja) | 2022-05-16 |
Family
ID=67907542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020506006A Active JP7068438B2 (ja) | 2018-03-13 | 2018-03-13 | 画像処理装置、内視鏡システム、画像処理方法およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210007575A1 (ja) |
JP (1) | JP7068438B2 (ja) |
CN (1) | CN111712177B (ja) |
WO (1) | WO2019175991A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115049666B (zh) * | 2022-08-16 | 2022-11-08 | 浙江卡易智慧医疗科技有限公司 | 基于彩色小波协方差深度图模型的内镜虚拟活检装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008256515A (ja) | 2007-04-04 | 2008-10-23 | Hoya Corp | チャート劣化検出方法 |
JP2013197649A (ja) | 2012-03-16 | 2013-09-30 | Sony Corp | 画像処理装置と画像処理方法 |
JP2017158840A (ja) | 2016-03-10 | 2017-09-14 | 富士フイルム株式会社 | 内視鏡画像信号処理装置および方法並びにプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100992362B1 (ko) * | 2008-12-11 | 2010-11-04 | 삼성전기주식회사 | 컬러 보간 장치 |
US8237831B2 (en) * | 2009-05-28 | 2012-08-07 | Omnivision Technologies, Inc. | Four-channel color filter array interpolation |
JP5603676B2 (ja) * | 2010-06-29 | 2014-10-08 | オリンパス株式会社 | 画像処理装置及びプログラム |
CN105828693B (zh) * | 2013-12-20 | 2018-11-06 | 奥林巴斯株式会社 | 内窥镜装置 |
JP2016015995A (ja) * | 2014-07-04 | 2016-02-01 | Hoya株式会社 | 電子内視鏡システム及び電子内視鏡用プロセッサ |
-
2018
- 2018-03-13 CN CN201880089177.XA patent/CN111712177B/zh active Active
- 2018-03-13 JP JP2020506006A patent/JP7068438B2/ja active Active
- 2018-03-13 WO PCT/JP2018/009816 patent/WO2019175991A1/ja active Application Filing
-
2020
- 2020-09-04 US US17/012,149 patent/US20210007575A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008256515A (ja) | 2007-04-04 | 2008-10-23 | Hoya Corp | チャート劣化検出方法 |
JP2013197649A (ja) | 2012-03-16 | 2013-09-30 | Sony Corp | 画像処理装置と画像処理方法 |
JP2017158840A (ja) | 2016-03-10 | 2017-09-14 | 富士フイルム株式会社 | 内視鏡画像信号処理装置および方法並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN111712177B (zh) | 2023-08-18 |
JPWO2019175991A1 (ja) | 2021-02-25 |
CN111712177A (zh) | 2020-09-25 |
US20210007575A1 (en) | 2021-01-14 |
WO2019175991A1 (ja) | 2019-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106388756B (zh) | 图像处理装置及其工作方法以及内窥镜系统 | |
WO2015093295A1 (ja) | 内視鏡装置 | |
EP3085300A1 (en) | Endoscope device | |
WO2016079831A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび内視鏡装置 | |
JP6401800B2 (ja) | 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置 | |
WO2017159165A1 (ja) | 内視鏡装置、画像処理装置、画像処理方法およびプログラム | |
US20170251915A1 (en) | Endoscope apparatus | |
WO2018163500A1 (ja) | 内視鏡装置 | |
US11571111B2 (en) | Endoscope scope, endoscope processor, and endoscope adaptor | |
JPWO2019069414A1 (ja) | 内視鏡装置、画像処理方法およびプログラム | |
JP7068438B2 (ja) | 画像処理装置、内視鏡システム、画像処理方法およびプログラム | |
WO2016104408A1 (ja) | 内視鏡用のプロセッサ装置、及びその作動方法、並びに制御プログラム | |
WO2015194204A1 (ja) | 内視鏡装置 | |
JP6137892B2 (ja) | 撮像システム | |
JP6937902B2 (ja) | 内視鏡システム | |
JP7235540B2 (ja) | 医療用画像処理装置及び医療用観察システム | |
WO2019180983A1 (ja) | 内視鏡システム、画像処理方法およびプログラム | |
JP7234320B2 (ja) | 画像処理装置および画像処理装置の作動方法 | |
US11774772B2 (en) | Medical image processing device, medical observation system, and image processing method | |
WO2021039870A1 (ja) | 医療用画像処理装置および医療用観察システム | |
JP6801990B2 (ja) | 画像処理システムおよび画像処理装置 | |
WO2020230332A1 (ja) | 内視鏡、画像処理装置、内視鏡システム、画像処理方法およびプログラム | |
CN115280212A (zh) | 医疗观察系统、控制装置及控制方法 | |
WO2017022323A1 (ja) | 画像信号処理方法、画像信号処理装置および画像信号処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200831 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220428 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7068438 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |