JPWO2018105089A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JPWO2018105089A1
JPWO2018105089A1 JP2018555405A JP2018555405A JPWO2018105089A1 JP WO2018105089 A1 JPWO2018105089 A1 JP WO2018105089A1 JP 2018555405 A JP2018555405 A JP 2018555405A JP 2018555405 A JP2018555405 A JP 2018555405A JP WO2018105089 A1 JPWO2018105089 A1 JP WO2018105089A1
Authority
JP
Japan
Prior art keywords
image data
unit
frequency component
image
specific frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018555405A
Other languages
English (en)
Inventor
健 井岡
渉 鬼城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2018105089A1 publication Critical patent/JPWO2018105089A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

通常光観察画像に特殊光観察画像の特徴情報を合成した場合であっても、合成画像の色味が変わることを防止することができる画像処理装置、画像処理方法およびプログラムを提供する。画像処理装置は、Ｒ画像データ、Ｇ画像データおよびＢ画像データそれぞれを輝度成分Ｙと色差成分Ｃｂ，Ｃｒに変換する第１色空間変換部５１４と、ＮＢ画像データに含まれる第１特定周波数成分を抽出する抽出部５１３と、輝度成分Ｙと第１特定周波数成分とを合成する合成部５１５と、合成部５１５が合成した合成結果と、色差成分Ｃｂ，Ｃｒと、に基づいて、カラー画像データを生成するカラー画像生成部５１７と、を備える。

Description

本発明は、被検体の体内画像を撮像する内視鏡が生成した画像データに対して画像処理を行う画像処理装置、画像処理方法およびプログラムに関する。
近年、内視鏡の観察方式として、青色および緑色の波長帯域にそれぞれ含まれる二つの狭帯域光からなる照明光（以下、「特殊光」という）を用いた狭帯域光観察方式が知られている。
このような狭帯域光観察方式を行う内視鏡として、白色光で撮像した通常光観察画像に、特殊光で撮像した特殊光観察画像の情報を合成することによって、一つの観察画像で生体の粘膜表層に存在する毛細血管および粘膜微細模様等を観察する技術が知られている（特許文献１参照）。この技術では、特殊光観察画像に対して、ハイパスフィルタやバンドパスフィルタ等を用いて、特殊光観察画像から毛細血管および粘膜微細模様等の特徴情報を抽出し、この抽出した特徴情報を通常光観察画像に合成した合成画像を生成する。
特許第５５０１２１０号公報
しかしながら、上述した特許文献１では、フィルタによって抽出した特徴情報を通常光観察画像に合成しているため、通常光観察画像の輝度情報に、特徴情報に含まれる輝度情報を加算しているため、合成画像の色味が本来の通常光観察画像から変わってしまうという問題点があった。
本発明は、上記に鑑みてなされたものであって、通常光観察画像に特殊光観察画像の特徴情報を合成した場合であっても、合成画像の色味が変わることを防止することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、赤色の波長帯域の光を受光する第１画素と、緑色の波長帯域の光を受光する第２画素と、青色の波長帯域の光を受光する第３画素と、少なくとも前記赤色、前記緑色および前記青色のいずれよりも狭い波長帯域の狭帯域光を受光する第４画素と、を用いて所定の配列パターンを形成してなる撮像素子が生成した画像データを取得する取得部と、と、前記取得部が取得した前記画像データに対して、画素値を補間するデモザイキング処理を行って、前記赤色の波長帯域の光に対応する第１補間画像データ、前記緑色の波長帯域の光に対応する第２補間画像データ、前記青色の波長帯域の光に対応する第３補間画像データおよび前記狭帯域光に対応する第４補間画像データを生成する画像生成部と、前記第１補間画像データ、前記第２補間画像データおよび前記第３補間画像データそれぞれを輝度成分と色差成分に変換する色空間変換処理を行う色空間変換部と、前記第４補間画像データに含まれる第１特定周波数成分を抽出する第１抽出部と、前記色空間変換部が変換した前記輝度成分と前記第１抽出部が抽出した前記第１特定周波数成分とを合成する合成部と、前記合成部が合成した合成結果と、前記色差成分と、に基づいて、カラー画像データを生成するカラー画像生成部と、を備えることを特徴とする。
また、本発明に係る画像処理方法は、赤色の波長帯域の光を受光する第１画素と、緑色の波長帯域の光を受光する第２画素と、青色の波長帯域の光を受光する第３画素と、少なくとも前記赤色、前記緑色および前記青色のいずれを受光する第４画素と、を用いて所定の配列パターンを形成してなる撮像素子が生成した画像データを取得する取得ステップと、前記取得ステップで取得した前記画像データに対して、画素値を補間するデモザイキング処理を行って、前記赤色の波長帯域の光に対応する第１補間画像データ、前記緑色の波長帯域の光に対応する第２補間画像データ、前記青色の波長帯域の光に対応する第３補間画像データおよび前記狭帯域光に対応する第４補間画像データを生成する画像生成ステップと、前記第１補間画像データ、前記第２補間画像データおよび前記第３補間画像データそれぞれを輝度成分と色差成分に変換する色空間変換処理を行う色空間変換ステップと、前記第４補間画像データに含まれる第１特定周波数成分を抽出する第１抽出ステップと、前記色空間変換ステップで変換した前記輝度成分と前記第１抽出ステップで抽出した前記第１特定周波数成分とを合成する合成ステップと、前記合成ステップで合成した合成結果と、前記色差成分と、に基づいて、カラー画像データを生成するカラー画像生成ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、画像処理装置に、赤色の波長帯域の光を受光する第１画素と、緑色の波長帯域の光を受光する第２画素と、青色の波長帯域の光を受光する第３画素と、少なくとも前記赤色、前記緑色および前記青色のいずれよりも狭い波長帯域の狭帯域光を受光する第４画素と、を用いて所定の配列パターンを形成してなる撮像素子が生成した画像データを取得する取得ステップと、前記取得ステップで取得した前記画像データに対して、画素値を補間するデモザイキング処理を行って、前記赤色の波長帯域の光に対応する第１補間画像データ、前記緑色の波長帯域の光に対応する第２補間画像データ、前記青色の波長帯域の光に対応する第３補間画像データおよび前記狭帯域光に対応する第４補間画像データを生成する画像生成ステップと、前記第１補間画像データ、前記第２補間画像データおよび前記第３補間画像データそれぞれを輝度成分と色差成分に変換する色空間変換処理を行う色空間変換ステップと、前記第４補間画像データに含まれる第１特定周波数成分を抽出する第１抽出ステップと、前記色空間変換ステップで変換した前記輝度成分と前記第１抽出ステップで抽出した前記第１特定周波数成分とを合成する合成ステップと、前記合成ステップで合成した合成結果と、前記色差成分と、に基づいて、カラー画像データを生成するカラー画像生成ステップと、を実行させることを特徴とする。
本発明によれば、通常光観察画像に特殊光観察画像の特徴情報を合成した場合であっても、合成画像の色味が変わることを防止することができるという効果を奏する。
図１は、本発明の実施の形態１に係る内視鏡システムの全体構成を模式的に示す図である。 図２は、本発明の実施の形態１に係る内視鏡システムの要部の機能を示すブロック図である。 図３は、本発明の実施の形態１に係るカラーフィルタの構成を模式的に示す図である。 図４は、本発明の実施の形態１に係るカラーフィルタを構成する各広帯域フィルタの透過率と波長との関係を示す図である。 図５は、本発明の実施の形態１に係るカラーフィルタを構成する狭帯域フィルタＮＢの透過率と波長との関係を示す図である。 図６は、本発明の実施の形態１に係る抽出部を構成するフィルタの特性を模式的に示す図である。 図７は、本発明の実施の形態１に係るプロセッサが実行する処理の概要を示すフローチャートである。 図８は、本発明の実施の形態１の変形例に係る抽出部の構成を模式的に示す図である。 図９は、本発明の実施の形態１の変形例に係る抽出部を構成するフィルタの特性を模式的に示す図である。 図１０は、本発明の実施の形態２に係る内視鏡システムの要部の機能を示すブロック図である。 図１１は、本発明の実施の形態２に係るプロセッサが実行する処理の概要を示すフローチャートである。 図１２は、本発明の実施の形態３に係る内視鏡システムの要部の機能を示すブロック図である。 図１３は、本発明の実施の形態３に係るプロセッサが実行する処理の概要を示すフローチャートである。 図１４は、本発明の実施の形態４に係る内視鏡システムの要部の機能を示すブロック図である。 図１５は、本発明の実施の形態４に係るカラーフィルタの構成を模式的に示す図である。 図１６は、本発明の実施の形態４に係るカラーフィルタを構成する狭帯域フィルタＮＢおよび狭帯域フィルタＮＧの透過率と波長との関係を示す図である。 図１７は、本発明の実施の形態４に係るプロセッサが実行する処理の概要を示すフローチャートである。
以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。本実施の形態では、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡システムを例に説明する。また、以下の実施の形態により本発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
（実施の形態１）
〔内視鏡システムの構成〕
図１は、本発明の実施の形態１に係る内視鏡システムの全体構成を模式的に示す図である。図１に示す内視鏡システム１は、被検体の体腔内に挿入することによって被検体の体内を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源装置３と、内視鏡２が撮像して生成した画像データに対応する画像を表示する表示装置４と、内視鏡２が撮像して生成した画像データに所定の画像処理を施して表示装置４に表示させるとともに、内視鏡システム１全体の動作を統括的に制御するプロセッサ５と、を備える。
内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、プロセッサ５および光源装置３と接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。
挿入部２１は、後述する撮像装置（撮像部）を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。
操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、体腔内に生体鉗子、レーザメスおよび検査プローブ等の処理具を挿入する処置具挿入部２２２と、光源装置３、プロセッサ５に加えて、送気手段、送水手段、送ガス手段等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４を経由して開口部（図示せず）から表出する。
ユニバーサルコード２３は、ライトガイドと、集合ケーブルと、を少なくとも内蔵している。ユニバーサルコード２３は、光源装置３に着脱自在なコネクタ部２７を有する。コネクタ部２７は、コイル状のコイルケーブル２７ａが延設し、コイルケーブル２７ａの延出端にプロセッサ５と着脱自在な電気コネクタ部２８を有する。コネクタ部２７は、内部にＦＰＧＡ（Field Programmable Gate Array）を用いて構成される。
光源装置３は、例えばハロゲンランプや白色ＬＥＤ（Light Emitting Diode）等を用いて構成される。光源装置３は、プロセッサ５の制御のもと、内視鏡２の挿入部の先端側から被写体に向けて照明光を照射する。
表示装置４は、プロセッサ５の制御のもと、プロセッサ５が画像処理を施した画像信号に対応する画像および内視鏡システム１に関する各種情報を表示する。表示装置４は、液晶や有機ＥＬ（Electro Luminescence）等の表示パネル等を用いて構成される。
プロセッサ５は、内視鏡２から入力されたＲＡＷ画像データに対して所定の画像処理を施して表示装置４へ出力する。プロセッサ５は、ＣＰＵ（Central Processing Unit）等を用いて構成される。
次に、内視鏡システム１の要部の機能について説明する。図２は、内視鏡システム１の要部の機能を示すブロック図である。図２を参照して内視鏡システム１の各部の詳細および内視鏡システム１内の電気信号の経路について説明する。
〔内視鏡の構成〕
まず、内視鏡２の構成について説明する。
図２に示すように、内視鏡２は、光学系２０１と、撮像部２０２と、を備える。
光学系２０１は、光源装置３が出射した照明光の反射光を撮像部２０２の撮像面に受光して被写体像を結像する。光学系２０１は、１つまたは複数のレンズおよびプリズム等を用いて構成される。
撮像部２０２は、プロセッサ５の制御のもと、光学系２０１が受光面に結像した被写体像を受光して光電変換を行うことによって、被写体の画像データ（ＲＡＷ画像データ）を生成し、この生成した画像データをプロセッサ５へ出力する。具体的には、撮像部２０２は、基準のフレームレート、例えば６０ｆｐｓのフレームレートによって被検体を撮像して被検体の画像データを生成する。撮像部２０２は、撮像素子２１１と、カラーフィルタ２１２と、を有する。
撮像素子２１１は、２次元格子状に配置された複数の画素がそれぞれ受光した光を光電変換し、電気信号を生成するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像センサを用いて構成される。
カラーフィルタ２１２は、赤色の波長帯域の光を透過する広帯域フィルタＲと、緑色の波長帯域の光を透過する広帯域フィルタＧと、青色の波長帯域の光を透過する広帯域フィルタＢと、青色の波長帯域であって、青色の波長帯域よりも狭い波長帯域の光を透過する狭帯域フィルタＮＢと、を含むフィルタユニットを用いて構成され、このフィルタユニットを撮像素子２１１の画素に対応させて配置してなる。
図３は、カラーフィルタ２１２の構成を模式的に示す図である。図３に示すように、カラーフィルタ２１２は、赤色の成分を透過する２つの広帯域フィルタＲ、緑色の成分を透過する８つの広帯域フィルタＧ、青色の成分を透過する２つの広帯域フィルタＢおよび狭帯域の光を透過させる４つの狭帯域フィルタＮＢを１組とする所定の配列パターンを形成したフィルタユニットを用いて構成される。カラーフィルタ２１２は、上述した配列パターンを形成する個々のフィルタが２次格子状に配列された撮像素子２１１の複数の画素のいずれかに対応する位置に配置される。ここで、本実施の形態１における狭帯域の光は、粘膜表層の毛細血管観察用の青色の狭帯域光（３９０〜４４５ｎｍ）である。このように構成されたカラーフィルタ２１２を用いて撮像素子２１１で生成された画像データは、後述するプロセッサ５によって所定の画像処理が行われることによって、カラー画像に変換される。
図４は、カラーフィルタ２１２を構成する各広帯域フィルタの透過率と波長との関係を示す図である。図５は、カラーフィルタ２１２を構成する狭帯域フィルタＮＢの透過率と波長との関係を示す図である。図４および図５において、横軸が波長（ｎｍ）を示し、縦軸が透過率を示す。また、図４において、曲線ＬＢが広帯域フィルタＢの透過率と波長との関係を示し、曲線ＬＧが広帯域フィルタＧの透過率と波長との関係を示し、曲線ＬＲが広帯域フィルタＲの透過率と波長との関係を示す。また、図５において、曲線ＬＮＢが狭帯域フィルタＮＢの透過率と波長との関係を示す。さらに、図５において、狭帯域フィルタＮＢのピーク波長が３９０ｎｍから４４５ｎｍの範囲にある場合について説明する。
図４および図５に示すように、狭帯域フィルタＮＢの分光特性は、広帯域フィルタＢよりも狭く、広帯域フィルタＢの波長帯域に含まれる。なお、以下においては、広帯域フィルタＲが配置されてなる画素をＲ画素（第１画素）、広帯域フィルタＧが配置されてなる画素をＧ画素（第２画素）、広帯域フィルタＢが配置されてなる画素をＢ画素（第３画素）、狭帯域フィルタＮＢが配置されてなる画素をＮＢ画素（第４画素）という。
〔プロセッサの構成〕
次に、プロセッサ５の構成について説明する。
プロセッサ５は、図２に示すように、画像処理部５１と、入力部５２と、記録部５３と、制御部５４と、を備える。
画像処理部５１は、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）等を用いて構成される。画像処理部５１は、内視鏡２から画像データを取得し、取得した画像データに対して所定の画像処理を施して表示装置４へ出力する。画像処理部５１は、取得部５１１と、画像生成部５１２と、抽出部５１３と、第１色空間変換部５１４と、合成部５１５と、第２色空間変換部５１６と、カラー画像生成部５１７と、を有する。なお、本実施の形態１では、画像処理部５１が画像処理装置として機能する。
取得部５１１は、内視鏡２が撮像して生成した画像データを取得し、取得した画像データを画像生成部５１２へ出力する。具体的には、取得部５１１は、内視鏡２が生成した画像データに対応する画像を構成するＲ画素、Ｇ画素、Ｂ画素およびＮＢ画素それぞれの画素値（画素値Ｒ、画素値Ｇ、画素値Ｂおよび画素値ＮＢ）を撮像素子２１１から取得し、取得した各画素の画素値を画像生成部５１２へ出力する。
画像生成部５１２は、取得部５１１から入力された各画素（各チャンネル）の画素値に基づいて、画素値が欠損する画素の画素値を補完する周知のデモザイキング処理を行うことによって、赤色の波長帯域の光に対応するＲ画像（第１補間画像データ）、緑色の波長帯域の光に対応するＧ画像（第２補間画像データ）、青色の波長帯域の光に対応するＢ画像（第３補間画像データ）および狭帯域光に対応するＮＢ画像（第４補間画像データ）の各々を生成する。画像生成部５１２は、Ｒ画像、Ｇ画像およびＢ画像を第１色空間変換部５１４へ出力し、かつ、ＮＢ画像を抽出部５１３へ出力する。
抽出部５１３は、画像生成部５１２から入力された狭帯域画像であるＮＢ画像に対して、第１特定周波数成分を抽出し、この抽出した第１特定周波数成分を合成部５１５へ出力する。具体的には、抽出部５１３は、ＮＢ画像に対して、所定の閾値より高い高周波成分を抽出する。より具体的には、図６に示すように、抽出部５１３は、ＮＢ画素を構成する各画素の画素値に対して、例えば３×３のハイパスフィルタＦ１を用いて、ＮＢ画像の高周波成分ＮＢ_highをＮＢ画像の特徴成分として抽出し、この高周波成分を合成部５１５へ出力する。なお、抽出部５１３は、３×３のハイパスフィルタである必要はなく、適宜変更することができ、例えば４×４や５×５のハイパスフィルタであってもよい。もちろん、抽出部５１３は、複数のフィルタを組み合わせて構成してもよい。
第１色空間変換部５１４は、画像生成部５１２から入力されたＲ画像、Ｇ画像およびＢ画像に対して、周知の色空間変換処理、例えばＹＣｒＣｂ変換処理を行うことによって、輝度成分Ｙ、色差成分Ｃｒおよび色差成分Ｃｂそれぞれに変換し、輝度成分Ｙを合成部５１５へ出力し、かつ、色差成分Ｃｒおよび色差成分Ｃｂを第２色空間変換部５１６へ出力する。
合成部５１５は、抽出部５１３から入力された高周波成分ＮＢ_highと、第１色空間変換部５１４から入力された輝度成分Ｙと、を合成し、この合成した輝度成分Ｙ’（Ｙ’＝Ｙ＋ＮＢ_high）を第２色空間変換部５１６へ出力する。
第２色空間変換部５１６は、合成部５１５から入力された輝度成分Ｙ’、第１色空間変換部５１４から入力された色差成分Ｃｒおよび色差成分Ｃｂに対して、周知の色空間変換処理、例えばＲＧＢ変換処理を行うことによって、広帯域画像に狭帯域画像の特徴成分を付加した新たな観察画像Ｒ’、観察画像Ｇ’および観察画像Ｂ’の各々を生成する。第２色空間変換部５１６は、観察画像Ｒ’、観察画像Ｇ’および観察画像Ｂ’をカラー画像生成部５１７へ出力する。
カラー画像生成部５１７は、第２色空間変換部５１６から入力された観察画像Ｒ’、観察画像Ｇ’および観察画像Ｂ’に基づいて、カラー画像データを生成して表示装置４へ出力する。具体的には、カラー画像生成部５１７は、Ｒ’画像を構成する各画素の画素値、Ｇ’画像を構成する各画素の画素値およびＢ’画像を構成する各画素の画素値を合成してカラー画像を生成し、このカラー画像を表示装置４へ出力する。
入力部５２は、ボタンやスイッチ等を用いて構成され、内視鏡システム１が実行する各種の処理を指示する指示信号やパラメータ等を変更する変更信号の入力を受け付ける。
記録部５３は、ＲＯＭ（Reaｄ Only Memory）やＲＡＭ（Random Access Memory）等を用いて構成され、内視鏡２が生成した画像データ、および内視鏡システム１が実行するプログラムや処理中の情報を記録する。また、記録部５３は、内視鏡システム１が実行するプログラムを記録するプログラム記録部５３ａを有する。
制御部５４は、ＣＰＵ等を用いて構成され、内視鏡システム１を構成する各部を統括的に制御する。制御部５４は、光源装置３の照明光の出射タイミングや内視鏡２の撮像部２０２の撮像タイミング等を制御する。
〔プロセッサの処理〕
次に、プロセッサ５が実行する処理について説明する。図７は、プロセッサ５が実行する処理の概要を示すフローチャートである。
図７に示すように、まず、取得部５１１は、内視鏡２から画像データを取得する（ステップＳ１０１）。
続いて、画像生成部５１２は、取得部５１１から入力された各画素の画素値に基づいて、デモザイキング処理を行うことによって各色の画像を生成する（ステップＳ１０２）。
その後、第１色空間変換部５１４は、画像生成部５１２から入力されたＲ画像、Ｇ画像およびＢ画像に対して、色空間変換処理を行う（ステップＳ１０３）。具体的には、第１色空間変換部５１４は、画像生成部５１２から入力されたＲ画像、Ｇ画像およびＢ画像に対して、ＹＣｒＣｂ変換処理を行うことによって、輝度成分Ｙ、色差成分Ｃｒおよび色差成分Ｃｂそれぞれに変換する。
続いて、抽出部５１３は、画像生成部５１２から入力された狭帯域画像であるＮＢ画像に対し、第１特定周波数成分を抽出する（ステップＳ１０４）。具体的には、抽出部５１３は、ＮＢ画素を構成する各画素の画素値に対して、上述した図６に示すハイパスフィルタＦ１を用いて、ＮＢ画像の高周波成分ＮＢ_highをＮＢ画像の特徴成分として抽出する。
その後、合成部５１５は、第１色空間変換部５１４から入力された輝度成分Ｙに、抽出部５１３から入力された第１特定周波数成分を合成する（ステップＳ１０５）。具体的には、合成部５１５は、第１色空間変換部５１４から入力された輝度成分Ｙに、抽出部５１３から入力されたＮＢ画像の特徴成分である高周波成分ＮＢ_highを合成する。
続いて、第２色空間変換部５１６は、合成部５１５から入力された輝度成分Ｙ’、第１色空間変換部５１４から入力された色差成分Ｃｒおよび色差成分Ｃｂに対して、ＲＧＢに変換する色空間変換処理を行う（ステップＳ１０６）。
その後、カラー画像生成部５１７は、第２色空間変換部５１６から入力された観察画像Ｒ’、観察画像Ｇ’および観察画像Ｂ’に基づいて、カラー画像を生成する（ステップＳ１０７）。
続いて、内視鏡システム１による検査の終了を指示する指示信号が入力された場合（ステップＳ１０８：Ｙｅｓ）、プロセッサ５は、本処理を終了する。これに対して、内視鏡システム１による検査の終了を指示する指示信号が入力されていない場合（ステップＳ１０８：Ｎｏ）、プロセッサ５は、上述したステップＳ１０１へ戻る。
以上説明した本発明の実施の形態１によれば、通常光観察画像に特殊光観察画像の特徴情報を合成した場合であっても、合成画像の色味が変わることを防止することができる。
また、本発明の実施の形態１によれば、通常光観察画像と特殊光観察画像を合成する場合であっても、特殊光画像の特徴が高いコントラストで描写される新たな観察画像を得ることができる。
また、本発明の実施の形態１では、合成部５１５がＮＢ画像の高周波成分ＮＢ_highに対して入力部５２によって入力された重み係数αを乗算した値に、第１色空間変換部５１４から入力された輝度成分Ｙを合成してもよい（Ｙ’＝Ｙ＋α×ＮＢ_high）。
また、本発明の実施の形態１では、青色の狭帯域光（３９０〜４４５ｎｍ）を例に説明したが、深部の太い血管を強調するために緑色の狭帯域光（５３０〜５５０ｎｍ）であってもよい。
（実施の形態１の変形例）
次に、本発明の実施の形態１の変形例について説明する。本実施の形態１の変形例は、上述した実施の形態１に係る抽出部５１３と構成が異なる。以下においては、本実施の形態１の変形例に係る抽出部の構成のみを説明する。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して説明を省略する。
図８は、本実施の形態１の変形例に係る抽出部の構成を模式的に示す図である。図８に示す抽出部５１３ａは、低周波成分抽出部６００と、算出部６０１と、を有する。
低周波成分抽出部６００は、狭帯域画像であるＮＢ画像から低周波成分ＮＢ_lowを抽出する。低周波成分抽出部６００は、例えば図９に示す５×５のローパスフィルタＦ２を用いて構成される。
算出部６０１は、狭帯域画像であるＮＢ画像から低周波成分抽出部６００によって抽出された低周波成分ＮＢ_lowを減算することによって、狭帯域画像であるＮＢ画像から第１特定周波数成分である高周波成分ＮＢ_highを算出する。
以上説明した本発明の実施の形態１の変形例によれば、上述した実施の形態１と同様に、通常光観察画像に特殊光観察画像の特徴情報を合成した場合であっても、合成画像の色味が変わることを防止することができる。
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る内視鏡システムは、上述した実施の形態１に係る内視鏡システム１と構成が異なる。具体的には、本実施の形態２は、上述した実施の形態１に係るプロセッサ５と構成が異なる。さらに、本実施の形態２に係る内視鏡システムは、上述した実施の形態１に係るプロセッサ５が実行する処理と異なる。以下においては、本実施の形態２に係る内視鏡システムの構成を説明後、プロセッサが実行する処理について説明する。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して説明を省略する。
〔内視鏡システムの構成〕
図１０は、本実施の形態２に係る内視鏡システムの要部の機能を示すブロック図である。図１０に示す内視鏡システム１ａは、上述した実施の形態１に係る内視鏡システム１のプロセッサ５に換えて、プロセッサ５ａを備える。
〔プロセッサの構成〕
図１０に示すプロセッサ５ａは、上述した実施の形態１に係る画像処理部５１に換えて、画像処理部５１ａを備える。
画像処理部５１ａは、ＧＰＵやＦＰＧＡ等を用いて構成され、内視鏡２から画像データを取得し、取得した画像データに対して所定の画像処理を施して表示装置４へ出力する。画像処理部５１ａは、取得部５１１と、画像生成部５１２と、第１抽出部５１３ｂと、第２抽出部５１３ｃと、第１色空間変換部５１４と、加算部５１８と、減算部５１９と、合成部５２０ａと、第２色空間変換部５１６と、カラー画像生成部５１７と、を有する。なお、本実施の形態２では、画像処理部５１ａが画像処理装置として機能する。
第１抽出部５１３ｂは、画像生成部５１２から入力された狭帯域画像であるＮＢ画像に対して、第１特定周波数成分を抽出し、この抽出した第１特定周波数成分を加算部５１８へ出力する。具体的には、第１抽出部５１３ｂは、ＮＢ画像に対して、所定の第１閾値より高い高周波成分を抽出する。より具体的には、第１抽出部５１３ｂは、ＮＢ画素を構成する各画素の画素値に対して、例えば上述した実施の形態１と同様の３×３のハイパスフィルタＦ１を用いて、ＮＢ画像の高周波成分ＮＢ_highをＮＢ画像の特徴成分として抽出し、この高周波成分ＮＢ_highを加算部５１８へ出力する。
第２抽出部５１３ｃは、第１色空間変換部５１４から入力された広帯域画像の輝度成分Ｙに対して、第２特定周波数成分を抽出し、この抽出した第２特定周波数成分を加算部５１８および減算部５１９へ出力する。具体的には、第２抽出部５１３ｃは、広帯域画像の輝度成分Ｙに対して、所定の第２閾値より高い高周波成分を抽出する。より具体的には、第２抽出部５１３ｃは、輝度成分Ｙに対して、例えば上述した実施の形態１と同様の３×３のハイパスフィルタＦ１を用いて、広帯域画像の輝度成分Ｙの高周波成分Ｙ_highを抽出し、この高周波成分Ｙ_highを加算部５１８および減算部５１９へ出力する。なお、第１抽出部５１３ｂおよび第２抽出部５１３ｃが用いるハイパスフィルタの特性は、同じであってもよいし、互いに異なる特性であってもよいが、透過特性の近いものが好ましい。
加算部５１８は、第１抽出部５１３ｂから入力されたＮＢ画像の高周波成分ＮＢ_highと、第２抽出部５１３ｃから入力された広帯域画像の輝度成分Ｙの高周波成分Ｙ_highと、を、制御部５４を介して入力部５２によって入力された高周波成分ＮＢ_highと、高周波成分Ｙ_highとを加算する際の重み付け係数αと、に基づいて、加算成分である輝度成分Ｙ’_highを算出し、この輝度成分Ｙ’_highを合成部５２０ａへ出力する。具体的には、以下の式（１）によって、加算成分である輝度成分Ｙ’_highを算出する。
Ｙ’_high＝α×Ｙ’_high＋（１−α）×ＮＢ_high ・・・（１）
ここで、重み付け係数αは、０から１の自然数である。
減算部５１９は、第１色空間変換部５１４から入力された輝度成分Ｙと、第２抽出部５１３ｃから入力された広帯域画像の輝度成分Ｙの高周波成分Ｙ_highとに基づいて、低周波成分Ｙ_lowを算出し、この低周波成分Ｙ_lowを合成部５２０ａへ出力する。具体的には、減算部５１９は、第１色空間変換部５１４から入力された輝度成分Ｙから第２抽出部５１３ｃから入力された広帯域画像の輝度成分Ｙの高周波成分Ｙ_highを減算した差分成分（残差成分）である低周波成分Ｙ_lowを算出する。より具体的には、減算部５１９は、以下の式（２）によって、低周波成分Ｙ_lowを算出する。
Ｙ_low＝Ｙ−Ｙ_high ・・・（２）
合成部５２０ａは、加算部５１８から入力された加算成分である輝度成分Ｙ’_highと、減算部５１９から入力された差分成分である低周波成分Ｙ_lowと、に基づいて、輝度成分Ｙ’を算出し、この輝度成分Ｙ’を第２色空間変換部５１６へ出力する。
〔プロセッサの処理〕
次に、プロセッサ５ａが実行する処理について説明する。図１１は、プロセッサ５ａが実行する処理の概要を示すフローチャートである。図１１において、ステップＳ２０１は、上述した図７のステップＳ１０１に対応する。
ステップＳ２０２において、第１抽出部５１３ｂは、画像生成部５１２から入力されたＮＢ画像に対して、第１の特定周波数成分を抽出する。具体的には、第１抽出部５１３ｂは、ＮＢ画像の高周波成分ＮＢ_highを抽出する。
続いて、第２抽出部５１３ｃは、第１色空間変換部５１４から入力された広帯域画像の輝度成分Ｙに対して、第２特定周波数成分を抽出する（ステップＳ２０３）。具体的には、第２抽出部５１３ｃは、広帯域画像の輝度成分Ｙの高周波成分Ｙ_highを抽出する。
その後、加算部５１８は、入力部５２によって入力された重み付け係数αに従って、第１抽出部５１３ｂから入力されたＮＢ画像の高周波成分ＮＢ_highと、第２抽出部５１３ｃから入力された広帯域画像の輝度成分Ｙの高周波成分Ｙ_highと、を加算することによって輝度成分Ｙ’_highを算出する（ステップＳ２０４）。
続いて、減算部５１９は、第１色空間変換部５１４から入力された輝度成分Ｙと、第２抽出部５１３ｃから入力された広帯域画像の高周波成分Ｙ_highとに基づいて、低周波成分Ｙ_lowを算出する（ステップＳ２０５）。
その後、合成部５２０ａは、加算部５１８から入力された輝度成分Ｙ’_highと、減算部５１９から入力された低周波成分Ｙ_lowと、に基づいて、輝度成分Ｙ’を算出する（ステップＳ２０６）。
ステップＳ２０７〜ステップＳ２０９は、上述した図７のステップＳ１０６〜ステップＳ１０８それぞれに対応する。
以上説明した本発明の実施の形態２によれば、通常光観察画像に特殊光観察画像の特徴情報を合成した場合であっても、合成画像の色味が変わることを防止することができる。
なお、本発明の実施の形態２では、加算部５１８が入力部５２によって入力された重み付け係数αに従って、第１抽出部５１３ｂから入力されたＮＢ画像の高周波成分ＮＢ_highと、第２抽出部５１３ｃから入力された広帯域画像の輝度成分Ｙの高周波成分Ｙ_highと、を加算して加算成分の輝度成分Ｙ’_highを算出していたが、重み付け係数αを考慮することなく、第１抽出部５１３ｂから入力されたＮＢ画像の高周波成分ＮＢ_highと、第２抽出部５１３ｃから入力された広帯域画像の輝度成分Ｙの高周波成分Ｙ_highと、を単に加算して、加算成分の輝度成分Ｙ’_highを算出してもよい。
（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３に係る内視鏡システムは、上述した実施の形態２に係る内視鏡システム１ａと構成が異なる。具体的には、本実施の形態３は、上述した実施の形態２に係るプロセッサ５ａと構成が異なる。さらに、本実施の形態３に係る内視鏡システムは、上述した実施の形態２に係るプロセッサ５ａが実行する処理と異なる。具体的には、上述した実施の形態２では、入力部５２を介して重み付け係数αの値を入力していたが、本実施の形態３では、重み付け係数αを自動的に算出する。以下においては、本実施の形態３に係る内視鏡システムの構成を説明後、プロセッサが実行する処理について説明する。なお、上述した実施の形態２に係る内視鏡システム１ａと同一の構成には同一の符号を付して説明を省略する。
〔内視鏡システムの構成〕
図１２は、本実施の形態３に係る内視鏡システムの要部の機能を示すブロック図である。図１２に示す内視鏡システム１ｂは、上述した実施の形態２に係る内視鏡システム１ａのプロセッサ５ａに換えて、プロセッサ５ｂを備える。
〔プロセッサの構成〕
図１２に示すプロセッサ５ｂは、上述した実施の形態２に係る画像処理部５１ａに換えて、画像処理部５１ｂを備える。
画像処理部５１ｂは、ＧＰＵやＦＰＧＡ等を用いて構成され、内視鏡２から画像データを取得し、取得した画像データに対して所定の画像処理を施して表示装置４へ出力する。画像処理部５１ｂは、上述した実施の形態２に係る画像処理部５１ａの構成に加えて、係数算出部５２１をさらに有する。
係数算出部５２１は、第１抽出部５１３ｂから入力される狭帯域画像における各画素の高周波成分ＮＢ_high（ｉ，ｊ）と、第２抽出部５１３ｃから入力される広帯域画像における各画素の高周波成分Ｙ_high（ｉ，ｊ）と、に基づいて、加算部５１８が狭帯域画像の高周波成分ＮＢ_highと、広帯域画像の高周波成分Ｙ_highとを加算する際の重み付け係数αを算出する。
〔プロセッサの処理〕
次に、プロセッサ５ｂが実行する処理について説明する。図１３は、プロセッサ５ｂが実行する処理の概要を示すフローチャートである。図１３において、ステップＳ３０１〜ステップＳ３０３は、上述した図１１のステップＳ２０１〜ステップＳ２０３それぞれに対応する。
ステップＳ３０４において、係数算出部５２１は、第１抽出部５１３ｂから入力される狭帯域画像における各画素の高周波成分ＮＢ_high（ｉ，ｊ）と、第２抽出部５１３ｃから入力される広帯域画像における各画素の高周波成分Ｙ_high（ｉ，ｊ）と、に基づいて、１フレーム毎の重み付け係数αを算出する。具体的には、係数算出部５２１は、狭帯域画像における各画素の高周波成分ＮＢ_highの総和をＷａ_ＮＢ_high、広帯域画像における各画素の高周波成分Ｙ_highの総和Ｗａ_Ｙ_highとした場合、以下の式（３）〜（５）によって、重み付け係数αを算出する。
Figure 2018105089
 （ｉ，ｊ）は、画素の位置を示す。
ステップＳ３０５〜ステップＳ３１０は、上述した図１１のステップＳ２０４〜ステップＳ２０９それぞれに対応する。
以上説明した本発明の実施の形態３によれば、通常光観察画像に特殊光観察画像の特徴情報を合成した場合であっても、合成画像の色味が変わることを防止することができる。
なお、本発明の実施の形態３では、係数算出部５２１は、第１抽出部５１３ｂから入力される狭帯域画像における各画素の高周波成分ＮＢ_high（ｉ，ｊ）と、第２抽出部５１３ｃから入力される広帯域画像における各画素の高周波成分Ｙ_high（ｉ，ｊ）と、に基づいて、１フレーム毎の重み付け係数αを算出していたが、例えば画素毎に重み付け係数αを算出してもよい。具体的には、以下の式（６）によって、重み付け係数α（ｉ，ｊ）を算出する。
Figure 2018105089
 加算部５１８は、画素毎に係数算出部５２１によって算出された重み付け係数α（ｉ，ｊ）に従って、第１抽出部５１３ｂから入力されたＮＢ画像の高周波成分ＮＢ_high（ｉ，ｊ）と、第２抽出部５１３ｃから入力された広帯域画像の輝度成分Ｙの高周波成分Ｙ_high（ｉ，ｊ）と、を加算することによって輝度成分Ｙ’_high（ｉ，ｊ）を算出することができる。
（実施の形態４）
次に、本発明の実施の形態４について説明する。本実施の形態４に係る内視鏡システムは、上述した実施の形態２に係る内視鏡システム１ａと構成が異なるうえ、実行する処理が異なる。具体的には、上述した実施の形態２では、カラーフィルタが１種類（１バンド）の狭帯域光を透過していていたが、本実施の形態４では、カラーフィルタが少なくとも２種類（２バンド）の狭帯域光を透過する。以下においては、本実施の形態４に係る内視鏡システムの構成を説明後、プロセッサが実行する処理について説明する。なお、上述した実施の形態２に係る内視鏡システム１ａと同一の構成には同一の符号を付して説明を省略する。
〔内視鏡システムの構成〕
図１４は、本実施の形態４に係る内視鏡システムの要部の機能を示すブロック図である。図１４に示す内視鏡システム１ｃは、上述した実施の形態２に係る内視鏡システム１ａの内視鏡２およびプロセッサ５ａに換えて、内視鏡２ｃおよびプロセッサ５ｃを備える。
〔内視鏡の構成〕
まず、内視鏡２ｃの構成について説明する。
内視鏡２ｃは、上述した実施の形態２に係る内視鏡の撮像部２０２に換えて、撮像部２０２ｃを備える。撮像部２０２ｃは、上述した実施の形態２に係るカラーフィルタ２１２に換えて、カラーフィルタ２１２ｃを有する。
カラーフィルタ２１２ｃは、赤色の波長帯域の光を透過する広帯域フィルタＲと、緑色の波長帯域の光を透過する広帯域フィルタＧと、青色の波長帯域の光を透過する広帯域フィルタＢと、青色の波長帯域であって、青色の波長帯域よりも狭い波長帯域の光を透過する狭帯域フィルタＮＢと、緑色の波長帯域であって、緑色の波長帯域よりも狭い波長帯域の光を透過する狭帯域フィルタＮＧと、を含むフィルタユニットを用いて構成され、このフィルタユニットを撮像素子２１１の画素に対応させて配置してなる。
図１５は、カラーフィルタ２１２ｃの構成を模式的に示す図である。図１５に示すように、カラーフィルタ２１２ｃは、赤色の成分を透過する２つの広帯域フィルタＲ、緑色の成分を透過する８つの広帯域フィルタＧ、青色の成分を透過する２つの広帯域フィルタＢおよび狭帯域の光を透過させる２つの狭帯域フィルタＮＢと、緑色の波長帯域よりも狭い波長帯域の光を透過する２つの狭帯域フィルタＮＧと、を１組とする所定の配列パターンを形成したフィルタユニットを用いて構成される。カラーフィルタ２１２ｃは、上述した配列パターンを形成する個々のフィルタが２次格子状に配列された撮像素子２１１の複数の画素のいずれかに対応する位置に配置される。
図１６は、カラーフィルタ２１２ｃを構成する狭帯域フィルタＮＢおよび狭帯域フィルタＮＧの透過率と波長との関係を示す図である。図１６において、横軸が波長（ｎｍ）を示し、縦軸が透過率を示す。また、図１６において、曲線ＬＮＢが狭帯域フィルタＮＢの透過率と波長との関係を示し、曲線ＬＮＧが狭帯域フィルタＮＧの透過率と波長との関係を示す。さらに、図１６において、狭帯域フィルタＮＢのピーク波長を３９０ｎｍから４４５ｎｍの範囲、狭帯域フィルタＮＧのピーク波長を５３０ｎｍから５５０ｎｍの範囲にある場合について説明する。
図１６に示すように、狭帯域フィルタＮＢの分光特性は、広帯域フィルタＢよりも狭く、広帯域フィルタＢの波長帯域に含まれる。また、狭帯域フィルタＮＧの分光特性は、広帯域フィルタＧよりも狭く、広帯域フィルタＧの波長帯域に含まれる。なお、以下においては、狭帯域フィルタＮＧが配置されてなる画素をＮＧ画素という。
〔プロセッサの構成〕
次に、プロセッサ５ｃの構成について説明する。
図１４に示すプロセッサ５ｃは、上述した実施の形態２に係るプロセッサ５ａの画像処理部５１ａに換えて、画像処理部５１ｃを備える。画像処理部５１ｃは、画像処理部５１ｂの構成に加えて、第３抽出部５１３ｄをさらに有する。
画像生成部５１２ｃは、取得部５１１から入力された各画素（各チャンネル）の画素値に基づいて、画素値が欠損する画素の画素値を補完する周知のデモザイキング処理を行うことによって、赤色の波長帯域の光に対応するＲ画像（第１補間画像データ）、緑色の波長帯域の光に対応するＧ画像（第２補間画像データ）、青色の波長帯域の光に対応するＢ画像（第３補間画像データ）、狭帯域光に対応するＮＢ画像（第４補間画像データ）および狭帯域光に対応するＮＧ画像（第５補間画像データ）の各々を生成する。画像生成部５１２ｃは、Ｒ画像、Ｇ画像およびＢ画像を第１色空間変換部５１４、ＮＢ画像を第１抽出部５１３ｂおよびＮＧ画像を第３抽出部５１３ｄそれぞれに出力する。
第３抽出部５１３ｄは、画像生成部５１２ｃから入力されたＮＧ画像に対して、特定周波数成分を抽出し、この抽出した特定周波数成分を加算部５１８ｃへ出力する。具体的には、第３抽出部５１３ｄは、ＮＧ画像に対して、所定の閾値より高い高周波成分を抽出する。より具体的には、第３抽出部５１３ｄは、ＮＧ画像を構成する各画素の画素値に対して、例えば３×３のハイパスフィルタを用いて、ＮＧ画像の高周波成分ＮＧ_highをＮＧ画像の特徴成分として抽出し、この高周波成分ＮＧ_highを加算部５１８ｃへ出力する。
加算部５１８ｃは、狭帯域画像ＮＢの高周波成分ＮＢ_highと、狭帯域画像ＮＧの高周波成分ＮＧ_highと、広帯域画像の高周波成分Ｙ_highと、入力部５２を介して入力される重み付け係数α，βと、に基づいて、輝度成分Ｙ’_highを算出する。具体的には、加算部５１８ｃは、以下の式（７）によって輝度成分Ｙ’_highを算出する。
Ｙ’_high＝（１−α−β）Ｙ_high＋α×ＮＢ_high＋β×ＮＧ_high
・・・（７）
〔プロセッサの処理〕
次に、プロセッサ５ｃの処理について説明する。図１７は、プロセッサ５ｃが実行する処理の概要を示すフローチャートである。図１７において、ステップＳ４０１〜ステップＳ４０３は、上述した図１３のステップＳ３０１〜ステップＳ３０３それぞれに対応する。
ステップＳ４０４において、第３抽出部５１３ｄは、画像生成部５１２ｃから入力されたＮＧ画像に対して、第３の特定周波数成分を抽出する。具体的には、第３抽出部５１３ｄは、ＮＧ画像を構成する各画素の画素値に対して、例えば３×３のハイパスフィルタを用いて、ＮＧ画像の高周波成分ＮＧ_highをＮＧ画像の特徴成分として抽出し、この高周波成分ＮＧ_highを加算部５１８ｃへ出力する。
ステップＳ４０５〜ステップＳ４１０は、上述した図１３のステップＳ３０５〜ステップＳ３１０それぞれに対応する。
以上説明した本発明の実施の形態４によれば、通常光観察画像に特殊光観察画像の特徴情報を合成した場合であっても、合成画像の色味が変わることを防止することができる。
（その他の実施の形態）
また、本発明の実施の形態１〜４では、内視鏡システム１，１ａ〜１ｃに、内視鏡２，２ｃ、表示装置４、記録部５３および制御部５４の各々を設けていたが、これらの構成要素は発明の要旨を逸脱しない範囲内で削除してもよい。また、上述した実施の形態１〜４に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態１〜４に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した実施の形態１〜４で説明した構成要素を適宜組み合わせてもよい。
また、本発明の実施の形態では、上記してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
また、本発明の実施の形態では、入出力をＲＧＢ（原色）で説明していたが、これに限定されることなく、入出力をＣＭＹ（補色）であっても適用することができる。
また、本発明の実施の形態では、伝送ケーブルを介して画像データを画像処理装置へ送信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格（例えばＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標））に従って、画像データ等を画像処理装置へ送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。
また、本発明の実施の形態では、光源装置と画像処理装置（プロセッサ）とが別体で形成されていたが、これに限定されることなく、例えば画像処理装置と光源装置とが一体的に形成された構成としてもよい。
また、本発明の実施の形態では、同時式の内視鏡を例に説明したが、面順次の内視鏡であっても適用することができる。さらに、本発明の実施の形態では、狭帯域光以外にも、所定の狭帯域光を照射可能な内視鏡であっても適用することができる。さらにまた、本発明の実施の形態では、硬性内視鏡以外にも、軟性内視鏡（上下内視鏡）、副鼻腔内視鏡およびカプセル型内視鏡であっても適用することができる。
また、本発明の実施の形態では、被検体に挿入される内視鏡であったが、例えばカプセル型の内視鏡または被検体を撮像する撮像装置であっても適用することができる。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いて各処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
１，１ａ〜１ｃ 内視鏡システム
２，２ｃ 内視鏡
３ 光源装置
４ 表示装置
５，５ａ〜５ｃ プロセッサ
２１ 挿入部
２２ 操作部
５１，５１ａ〜５１ｃ 画像処理部
５２ 入力部
５３ 記録部
５３ａ プログラム記録部
５４ 制御部
２０１ 光学系
２０２，２０２ｃ 撮像部
２１１ 撮像素子
２１２，２１２ｃ カラーフィルタ
５１１，５１２ｃ 取得部
５１３，５１３ａ 抽出部
５１３ｂ 第１抽出部
５１３ｃ 第２抽出部
５１３ｄ 第３抽出部
５１４ 第１色空間変換部
５１５，５２０ａ 合成部
５１６ 第２色空間変換部
５１７ カラー画像生成部
５１８，５１８ｃ 加算部
５１９ 減算部
６０１ 算出部
５２１ 係数算出部
６００ 低周波成分抽出部

Claims (9)

  1. 赤色の波長帯域の光を受光する第１画素と、緑色の波長帯域の光を受光する第２画素と、青色の波長帯域の光を受光する第３画素と、少なくとも前記赤色、前記緑色および前記青色のいずれよりも狭い波長帯域の狭帯域光を受光する第４画素と、を用いて所定の配列パターンを形成してなる撮像素子が生成した画像データを取得する取得部と、
    前記取得部が取得した前記画像データに対して、画素値を補間するデモザイキング処理を行って、前記赤色の波長帯域の光に対応する第１補間画像データ、前記緑色の波長帯域の光に対応する第２補間画像データ、前記青色の波長帯域の光に対応する第３補間画像データおよび前記狭帯域光に対応する第４補間画像データを生成する画像生成部と、
    前記第１補間画像データ、前記第２補間画像データおよび前記第３補間画像データそれぞれを輝度成分と色差成分に変換する色空間変換処理を行う色空間変換部と、
    前記第４補間画像データに含まれる第１特定周波数成分を抽出する第１抽出部と、
    前記色空間変換部が変換した前記輝度成分と前記第１抽出部が抽出した前記第１特定周波数成分とを合成する合成部と、
    前記合成部が合成した合成結果と、前記色差成分と、に基づいて、カラー画像データを生成するカラー画像生成部と、
    を備えることを特徴とする画像処理装置。
  2. 前記第１抽出部は、所定の第１閾値より高い高周波成分を前記第１特定周波数成分として抽出することを特徴とする請求項１に記載の画像処理装置。
  3. 前記合成部が前記輝度成分と前記第１特定周波数成分とを合成する際の重み付け係数の入力を受け付ける入力部をさらに備え、
    前記合成部は、前記重み付け係数に従って、前記輝度成分と前記第１特定周波数成分とを合成することを特徴とする請求項１または２に記載の画像処理装置。
  4. 前記輝度成分に含まれる第２特定周波数成分を抽出する第２抽出部と、
    前記輝度成分から前記第２抽出部が抽出した前記第２特定周波数成分を減算した差分成分を算出する算出部と、
    前記第１抽出部が抽出した前記第１特定周波数成分と、前記第２抽出部が抽出した前記第２特定周波数成分を加算した加算成分を算出する加算部と、
    をさらに備え、
    前記合成部は、前記算出部が算出した前記差分成分と、前記加算部が算出した加算成分と、を合成することを特徴とする請求項２に記載の画像処理装置。
  5. 前記第１抽出部および前記第２抽出部は、所定の第２閾値より高い高周波成分を前記第１特定周波数成分または前記第２特定周波数成分として抽出することを特徴とする請求項４に記載の画像処理装置。
  6. 前記第１特定周波数成分と前記第２特定周波数成分とを加算する際の重み付け係数の入力を受け付ける入力部をさらに備え、
    前記加算部は、前記重み付け係数に従って、前記第１特定周波数成分と前記第２特定周波数成分とを加算して前記加算成分を算出することを特徴とする請求項５に記載の画像処理装置。
  7. 前記第１特定周波数成分と前記第２特定周波数成分とに基づいて、前記第１特定周波数成分と前記第２特定周波数成分とを加算する際の重み付け係数を算出する係数算出部をさらに備え、
    前記加算部は、前記重み付け係数に従って、前記第１特定周波数成分と前記第２特定周波数成分とを加算して前記加算成分を算出することを特徴とする請求項５に記載の画像処理装置。
  8. 画像処理装置が実行する画像処理方法であって、
    赤色の波長帯域の光を受光する第１画素と、緑色の波長帯域の光を受光する第２画素と、青色の波長帯域の光を受光する第３画素と、少なくとも前記赤色、前記緑色および前記青色のいずれを受光する第４画素と、を用いて所定の配列パターンを形成してなる撮像素子が生成した画像データを取得する取得ステップと、
    前記取得ステップで取得した前記画像データに対して、画素値を補間するデモザイキング処理を行って、前記赤色の波長帯域の光に対応する第１補間画像データ、前記緑色の波長帯域の光に対応する第２補間画像データ、前記青色の波長帯域の光に対応する第３補間画像データおよび前記狭帯域光に対応する第４補間画像データを生成する画像生成ステップと、
    前記第１補間画像データ、前記第２補間画像データおよび前記第３補間画像データそれぞれを輝度成分と色差成分に変換する色空間変換処理を行う色空間変換ステップと、
    前記第４補間画像データに含まれる第１特定周波数成分を抽出する第１抽出ステップと、
    前記色空間変換ステップで変換した前記輝度成分と前記第１抽出ステップで抽出した前記第１特定周波数成分とを合成する合成ステップと、
    前記合成ステップで合成した合成結果と、前記色差成分と、に基づいて、カラー画像データを生成するカラー画像生成ステップと、
    を含むことを特徴とする画像処理方法。
  9. 画像処理装置に、
    赤色の波長帯域の光を受光する第１画素と、緑色の波長帯域の光を受光する第２画素と、青色の波長帯域の光を受光する第３画素と、少なくとも前記赤色、前記緑色および前記青色のいずれよりも狭い波長帯域の狭帯域光を受光する第４画素と、を用いて所定の配列パターンを形成してなる撮像素子が生成した画像データを取得する取得ステップと、
    前記取得ステップで取得した前記画像データに対して、画素値を補間するデモザイキング処理を行って、前記赤色の波長帯域の光に対応する第１補間画像データ、前記緑色の波長帯域の光に対応する第２補間画像データ、前記青色の波長帯域の光に対応する第３補間画像データおよび前記狭帯域光に対応する第４補間画像データを生成する画像生成ステップと、
    前記第１補間画像データ、前記第２補間画像データおよび前記第３補間画像データそれぞれを輝度成分と色差成分に変換する色空間変換処理を行う色空間変換ステップと、
    前記第４補間画像データに含まれる第１特定周波数成分を抽出する第１抽出ステップと、
    前記色空間変換ステップで変換した前記輝度成分と前記第１抽出ステップで抽出した前記第１特定周波数成分とを合成する合成ステップと、
    前記合成ステップで合成した合成結果と、前記色差成分と、に基づいて、カラー画像データを生成するカラー画像生成ステップと、
    を実行させることを特徴とするプログラム。
JP2018555405A 2016-12-08 2016-12-08 画像処理装置、画像処理方法およびプログラム Pending JPWO2018105089A1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086633 WO2018105089A1 (ja) 2016-12-08 2016-12-08 画像処理装置、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JPWO2018105089A1 true JPWO2018105089A1 (ja) 2019-10-24

Family

ID=62490798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018555405A Pending JPWO2018105089A1 (ja) 2016-12-08 2016-12-08 画像処理装置、画像処理方法およびプログラム

Country Status (3)

Country Link
US (1) US10863149B2 (ja)
JP (1) JPWO2018105089A1 (ja)
WO (1) WO2018105089A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019082232A1 (ja) * 2017-10-23 2019-05-02 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法及びプログラム
US20220028301A1 (en) * 2019-01-30 2022-01-27 Sony Group Corporation Encryption device and encryption method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6943837B1 (en) * 1999-12-31 2005-09-13 Intel Corporation Method and apparatus for colormetric channel balancing for solid state image sensor using time division multiplexed sampling waveforms
JP4554944B2 (ja) * 2004-01-15 2010-09-29 Ｈｏｙａ株式会社 内視鏡装置
JP5501210B2 (ja) * 2010-12-16 2014-05-21 富士フイルム株式会社 画像処理装置
US8774519B2 (en) * 2012-08-07 2014-07-08 Apple Inc. Landmark detection in digital images
KR102069533B1 (ko) * 2013-05-03 2020-01-28 삼성전자주식회사 이미지 신호 처리장치 및 방법과 이를 이용한 영상 처리 시스템
KR102159256B1 (ko) * 2013-11-25 2020-09-23 삼성전자 주식회사 픽셀 어레이 및 이를 포함하는 이미지 센서
JP6588043B2 (ja) * 2015-02-10 2019-10-09 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理装置の作動方法およびプログラム
JPWO2017221335A1 (ja) * 2016-06-21 2019-04-11 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
WO2018105089A1 (ja) 2018-06-14
US10863149B2 (en) 2020-12-08
US20190253675A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
CN108109134B (zh) 图像处理装置及其工作方法
JP6495539B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5887367B2 (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
US10070771B2 (en) Image processing apparatus, method for operating image processing apparatus, computer-readable recording medium, and endoscope device
US10694100B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
JP5485215B2 (ja) 内視鏡装置
JP6329715B1 (ja) 内視鏡システムおよび内視鏡
WO2016079831A1 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび内視鏡装置
JP2014221168A (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
WO2016117036A1 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
WO2016084257A1 (ja) 内視鏡装置
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
US10574934B2 (en) Ultrasound observation device, operation method of image signal processing apparatus, image signal processing method, and computer-readable recording medium
US10863149B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
WO2018150627A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2017203996A1 (ja) 画像信号処理装置、画像信号処理方法および画像信号処理プログラム
JP7234320B2 (ja) 画像処理装置および画像処理装置の作動方法
WO2017017735A1 (ja) 画像処理装置、表示制御方法およびプログラム
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
WO2017046876A1 (ja) 内視鏡システム、画像処理装置および画像処理方法