JP6242552B1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP6242552B1
JP6242552B1 JP2017540665A JP2017540665A JP6242552B1 JP 6242552 B1 JP6242552 B1 JP 6242552B1 JP 2017540665 A JP2017540665 A JP 2017540665A JP 2017540665 A JP2017540665 A JP 2017540665A JP 6242552 B1 JP6242552 B1 JP 6242552B1
Authority
JP
Japan
Prior art keywords
color balance
image
unit
signal
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017540665A
Other languages
English (en)
Other versions
JPWO2017183488A1 (ja
Inventor
航史 小島
航史 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Application granted granted Critical
Publication of JP6242552B1 publication Critical patent/JP6242552B1/ja
Publication of JPWO2017183488A1 publication Critical patent/JPWO2017183488A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Abstract

本発明にかかる画像処理装置は、第1カラーバランス処理部(33)が、表示対象となる体内画像に対応する処理信号のカラーバランス補正を行い、この処理とは並行して、第2カラーバランス処理部(34)が、撮像信号取得部(31)から入力される処理信号のカラーバランス補正を行って画像信号を生成し、検波部(35)が、この画像信号が含む複数の色成分の信号を検波し、演算部が、検波結果に基づいて、前記カラーバランス調整処理を行うためのカラーバランスパラメータを順次算出する。パラメータ選択部は、フリーズ指示信号の有無に応じてカラーバランスパラメータを選択する。

Description

本発明は、画像処理装置に関する。
従来、医療分野においては、患者等の被検体の臓器を観察する際に内視鏡システムが用いられている。内視鏡システムは、例えば先端に撮像素子が設けられ、可撓性を有する細長形状をなし、被検体内に挿入される挿入部を有する内視鏡と、挿入部の基端側にケーブルを介して接続され、撮像素子が撮像した撮像信号に応じた体内画像の画像処理を行って、体内画像を表示部等に表示させる処理装置と、被検体内を照明するための照明光を出射する光源装置と、を備える。
内視鏡システムを用いて体内画像を取得する際には、被検体内に内視鏡を挿入した後、この内視鏡の先端から被検体内の生体組織に向けて、白色光や、所定の波長帯域の光からなる特殊光等の照明光を照射し、撮像素子が体内画像を撮像する。処理装置は、撮像素子によって撮像された撮像信号に基づく体内画像を表示部等に表示する。医師等のユーザは、表示部に表示される体内画像に基づいて被検体内の観察を行う。このような被検体内の観察に用いられる技術として、内視鏡から得られた体内画像を順次動画表示し、フリーズ指示に応じて体内画像を静止画表示可能な技術が知られている(例えば、特許文献1を参照)。特許文献1が開示する技術は、複数の体内画像を記憶するメモリを有し、フリーズ指示の入力があった場合に、メモリに記憶されている複数の体内画像から、ぶれが小さい体内画像を選択し、選択した体内画像を静止画表示する。
国際公開第2011/155429号
ところで、上述した体内画像をリアルタイム表示させる際に、カラーバランスの変動をリアルタイムに補正する場合がある。例えば、膀胱内の観察を行なう際、体内画像ごとに、尿による青色光吸収を補償するためのカラーバランス補正を行っている。特許文献1が開示する技術では、カラーバランス補正については考慮されておらず、フリーズ指示による静止画表示後、フリーズ処理を解除して再び動画表示を行った際に、動画表示される体内画像のカラーバランスが、観察に適したものにはなっていない場合があった。
本発明は、上記に鑑みてなされたものであって、リアルタイムに補正を行う場合であっても、フリーズ解除後に、観察に適したカラーバランスの画像を生成することができる画像処理装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、被写体を撮像して生成される撮像信号を時系列に沿って取得する撮像信号取得部と、前記撮像信号をもとにカラーバランス調整処理を施して、第1の画像信号を生成する第1カラーバランス処理部と、前記第1カラーバランス処理部が生成した前記第1の画像信号をもとに、表示用の画像信号を生成する表示画像生成部と、前記第1カラーバランス処理部と並列に入力される前記撮像信号をもとにカラーバランス調整処理を施して、第2の画像信号を生成する第2カラーバランス処理部と、前記第2カラーバランス処理部が生成した前記第2の画像信号が含む複数の色成分の信号を検波する検波部と、前記検波部による検波結果に基づいて、前記カラーバランス調整処理を行うためのカラーバランスパラメータを算出する演算部と、前記表示用の画像信号に応じた画像を表示装置にフリーズ表示させるフリーズ指示信号の入力を受け付ける入力部と、前記フリーズ指示信号の入力に基づいて、フリーズ対象の画像を決定するフリーズ処理部と、前記入力部が前記フリーズ指示信号の入力を受け付けていない場合、最新のカラーバランスパラメータを前記第1および第2カラーバランス処理部に入力し、前記入力部が前記フリーズ指示信号の入力を受け付けた場合、フリーズ対象の画像に対応するカラーバランスパラメータを前記第1カラーバランス処理部に入力するとともに、最新のカラーバランスパラメータを前記第2カラーバランス処理部に入力するパラメータ選択部と、を備えたことを特徴とする。
また、本発明にかかる画像処理装置は、上記発明において、前記撮像信号取得部が取得した複数の撮像信号を順次更新しながら記憶する画像バッファと、前記画像バッファが記憶する撮像信号に対応するカラーバランスパラメータを順次更新しながら記憶する補正用バッファと、前記フリーズ指示信号の入力があった場合に、前記画像バッファに記憶されている複数の撮像信号に応じた画像から、ぶれの小さい画像を選択する画像選択部と、をさらに備え、前記フリーズ処理部は、前記画像選択部が選択した画像を、フリーズ対象の画像として決定することを特徴とする。
また、本発明にかかる画像処理装置は、上記発明において、予め設定されたカラーバランスパラメータを記憶する補正値メモリと、前記予め設定されたカラーバランスパラメータを用いてカラーバランス調整処理を行う第1のモードと、前記演算部が算出したカラーバランスパラメータに基づいてカラーバランス調整処理を行う第2のモードとのいずれかのモードを設定するモード設定部と、をさらに備え、前記パラメータ選択部は、設定されているモードに応じて、前記第1カラーバランス処理部に入力するカラーバランスパラメータを選択することを特徴とする。
また、本発明にかかる画像処理装置は、上記発明において、前記補正用バッファは、モードの設定によらず前記カラーバランスパラメータの記憶処理を行い、前記パラメータ選択部は、前記第1のモードに設定された場合は、前記予め設定されたカラーバランスパラメータを前記第1カラーバランス処理部に入力し、前記第2のモードに設定された場合は、前記補正用バッファが記憶する最新のカラーバランスパラメータを前記第1カラーバランス処理部に入力し、前記第2のモードにおいて前記入力部が前記フリーズ指示信号の入力を受け付けた場合、フリーズ対象の画像に対応するカラーバランスパラメータを前記第1カラーバランス処理部に入力することを特徴とする。
本発明によれば、リアルタイムに補正を行う場合であっても、フリーズ解除後に、観察に適したカラーバランスの画像を生成することができるという効果を奏する。
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す図である。 図2は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示すブロック図である。 図3は、本発明の実施の形態1にかかる内視鏡システムの要部の構成を示すブロック図である。 図4は、本発明の実施の形態1にかかる内視鏡システムが行う画像処理を示すフローチャートである。 図5は、本発明の実施の形態2にかかる内視鏡システムの概略構成を示すブロック図である。 図6は、本発明の実施の形態2にかかる内視鏡システムの要部の構成を示すブロック図である。 図7は、本発明の実施の形態2にかかる内視鏡システムが行う画像処理を示すフローチャートである。
以下、本発明を実施するための形態(以下、「実施の形態」という)を説明する。実施の形態では、本発明にかかる画像処理装置を含むシステムの一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
(実施の形態1)
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す図である。図2は、本実施の形態1にかかる内視鏡システムの概略構成を示すブロック図である。なお、図2では、実線の矢印が画像にかかる電気信号の伝送を示し、破線の矢印が制御にかかる電気信号の伝送を示している。
図1および図2に示す内視鏡システム1は、被検体内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡2と、内視鏡2の先端から出射する照明光を発生する光源部3aを有し、内視鏡2が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム1全体の動作を統括的に制御する処理装置3と、処理装置3の信号処理により生成された体内画像を表示する表示装置4と、を備える。
内視鏡2は、可撓性を有する細長形状をなす挿入部21と、挿入部21の基端側に接続され、各種の操作信号の入力を受け付ける操作部22と、操作部22から挿入部21が延びる方向と異なる方向に延び、処理装置3(光源部3aを含む)に接続する各種ケーブルを内蔵するユニバーサルコード23と、を備える。本実施の形態1では、挿入部21が被検体の膀胱に挿入されて、該膀胱内の画像である体内画像を撮像するものとして説明する。膀胱内の観察では、特殊光として狭帯域光を用いる狭帯域光観察(Narrow Band Imaging:NBI)を行う。なお、白色光による観察も可能である。
挿入部21は、光を受光して光電変換を行うことにより信号を生成する画素が2次元状に配列された撮像素子244を内蔵した先端部24と、複数の湾曲駒によって構成された湾曲自在な湾曲部25と、湾曲部25の基端側に接続され、可撓性を有する長尺状の可撓管部26と、を有する。挿入部21は、被検体の体腔内に挿入され、外光の届かない位置にある生体組織などの被写体を撮像素子244によって撮像する。
先端部24は、グラスファイバ等を用いて構成されて光源部3aが発光した光の導光路をなすライトガイド241と、ライトガイド241の先端に設けられた照明レンズ242と、集光用の光学系243と、光学系243の結像位置に設けられ、光学系243が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像素子244(撮像部)と、を有する。
光学系243は、一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。
撮像素子244は、光学系243からの光を光電変換して電気信号(撮像信号)を生成する。具体的には、撮像素子244は、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサなどをそれぞれ有する複数の画素がマトリックス状に配列され、各画素が光学系243からの光を光電変換して電気信号を生成する受光部244aと、受光部244aの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、撮像信号として出力する読み出し部244bと、を有する。受光部244aには、カラーフィルタが設けられ、各画素が、赤色(R)、緑色(G)および青色(B)の各色成分の波長帯域のうちのいずれかの波長帯域の光を受光する。撮像素子244は、処理装置3から受信した駆動信号に従って先端部24の各種動作を制御する。撮像素子244は、例えばCCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いて実現される。また、撮像素子244は、単板のイメージセンサであってもよいし、例えば3板方式などの複数のイメージセンサを用いるものであってもよい。
操作部22は、湾曲部25を上下方向および左右方向に湾曲させる湾曲ノブ221と、被検体の体腔内に生検鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部222と、処理装置3に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ223と、を有する。処置具挿入部222から挿入される処置具は、先端部24の処置具チャンネル(図示せず)を経由して開口部(図示せず)から表出する。
ユニバーサルコード23は、ライトガイド241と、一または複数の信号線をまとめた集合ケーブル245と、を少なくとも内蔵している。集合ケーブル245は、撮像信号を伝送するための信号線や、撮像素子244を駆動するための駆動信号を伝送するための信号線、内視鏡2(撮像素子244)に関する固有情報などを含む情報を送受信するための信号線を含む。なお、本実施の形態では、信号線を用いて電気信号を伝送するものとして説明するが、光信号を伝送するものであってもよいし、無線通信により内視鏡2と処理装置3との間で信号を伝送するものであってもよい。
次に、処理装置3の構成について説明する。処理装置3は、撮像信号取得部31と、フリーズ処理部32と、第1カラーバランス処理部33と、第2カラーバランス処理部34と、検波部35と、表示画像生成部36と、入力部37と、制御部38と、記憶部39と、を備える。なお、本発明にかかる画像処理装置は、少なくとも第1カラーバランス処理部33と、第2カラーバランス処理部34と、検波部35と、表示画像生成部36と、制御部38とを用いて構成される。
撮像信号取得部31は、内視鏡2から、撮像素子244が撮像した撮像信号であって、体内画像を描出するための画像データを含む撮像信号を受信する。撮像信号取得部31は、取得した撮像信号に対してノイズ除去やA/D変換、同時化処理(例えば、カラーフィルタ等を用いて色成分ごとの撮像信号が得られた場合に行う)などの信号処理を施す。撮像信号取得部31は、上述した信号処理によりRGBの色成分が付与された体内画像を含む処理信号(処理後の撮像信号)を生成する。撮像信号取得部31は、生成した処理信号をフリーズ処理部32および第2カラーバランス処理部34に入力する。撮像信号取得部31は、CPU(Central Processing Unit)等の汎用プロセッサやASIC(Application Specific Integrated Circuit)等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
フリーズ処理部32は、入力部37がフリーズ指示信号の入力を受け付けた場合に、撮像信号取得部31から入力される処理信号に対応する体内画像を表示装置4にフリーズ表示する画像として決定する。フリーズ処理部32は、表示装置4にフリーズ表示する画像として決定した体内画像に対応する処理信号を、第1カラーバランス処理部33に入力する。また、フリーズ処理部32は、フリーズ指示信号の入力がない場合は、撮像信号取得部31から入力される処理信号を、順次第1カラーバランス処理部33に入力する。なお、フリーズ処理部32は、フリーズ対象の体内画像を決定すると、フリーズ処理による静止画表示期間内は、撮像信号取得部31から入力される処理信号を受けない、または入力された場合でも破棄して、第1カラーバランス処理部33には入力しない。フリーズ処理部32は、フリーズ処理が解除された後、撮像信号取得部31から新たに入力される処理信号を、動画表示用の体内画像として、第1カラーバランス処理部33に入力する。これにより、フリーズ処理後において表示装置4に表示される体内画像は、フリーズ処理による静止画表示期間の体内画像が抜けた、フリーズ処理直前の体内画像とは時系列的に間があいた体内画像が表示されることになる。このため、フリーズ処理前後に表示される体内画像において、時系列で隣り合う体内画像を動画表示する場合と比して、被写体像の変化が大きくなる場合がある。フリーズ処理部32は、CPUやASIC等によって構成される。
第1カラーバランス処理部33は、制御部38から入力されるカラーバランスパラメータに基づいて、フリーズ処理部32から入力される処理信号のカラーバランス調整処理を行う。具体的に、第1カラーバランス処理部33は、処理信号に対し、赤色(R)、緑色(G)および青色(B)の各チャンネルに入力する信号レベルの調整を行う。第1カラーバランス処理部33は、カラーバランス調整によって生成された画像信号を、表示画像生成部36に入力する。第1カラーバランス処理部33は、CPUやASIC等によって構成される。
第2カラーバランス処理部34は、制御部38から入力されるカラーバランスパラメータに基づいて、撮像信号取得部31から入力される処理信号のカラーバランス調整処理を行う。具体的に、第2カラーバランス処理部34は、処理信号に対し、制御部38から入力されるカラーバランスに基づいて、赤色(R)、緑色(G)および青色(B)の各チャンネル色成分の信号レベルの調整を行う。第2カラーバランス処理部34は、カラーバランス調整によって生成された画像信号を、検波部35に入力する。第2カラーバランス処理部34は、CPUやASIC等によって構成される。
検波部35は、第2カラーバランス処理部34から入力される画像信号に含まれる輝度成分のY信号、赤色成分のR信号、緑色成分のG信号、および青色成分のB信号から、信号値(各画素の輝度値)を検波し、各成分の信号値を検波値とする。検波部35は、生成した検波値を制御部38に入力する。なお、検波部35は、輝度値の平均値を検波値として出力するものであってもよいし、最大値または最小値等を検波値として出力するものであってもよい。検波部35は、CPUやASIC等によって構成される。
表示画像生成部36は、第1カラーバランス処理部33が生成した画像信号に対して、表示装置4で表示可能な態様の信号となるような信号処理を施して、表示用の画像信号を生成する。具体的に、表示画像生成部36は、画像信号に対して、エンハンス処理、または圧縮処理などを行って、表示用の画像信号を生成する。表示画像生成部36は、入力された信号がRGBの各色成分に分かれている場合は、各色成分について補間処理を施して、各画素位置にRGBの色成分を付与した画像信号を生成する。表示画像生成部36は、生成した表示用の画像信号を表示装置4に送信する。表示画像生成部36は、CPUやASIC等によって構成される。
また、表示画像生成部36は、第1カラーバランス処理部33から入力される画像信号に対応する体内画像がフリーズ対象の体内画像である場合は、予め設定されている期間、例えば、数フレームの体内画像を表示する期間、表示装置4にフリーズ対象の体内画像を静止画表示させる。
入力部37は、キーボード、マウス、スイッチ、タッチパネルを用いて実現され、内視鏡システム1の動作を指示する動作指示信号等の各種信号の入力を受け付ける。なお、入力部37は、操作部22に設けられたスイッチや、外部のタブレット型のコンピュータなどの可搬型端末を含んでいてもよい。
制御部38は、CPUやASIC、メモリ等によって構成され、撮像素子244および光源部3aを含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部38は、記憶部39に記憶されている撮像制御のための制御情報データ(例えば、読み出しタイミングなど)を参照し、集合ケーブル245に含まれる所定の信号線を介して駆動信号として撮像素子244へ送信する。
また、制御部38は、検波部35による検波結果や、入力部37が受け付けた指示信号に基づいて、第1カラーバランス処理部33および第2カラーバランス処理部34に入力するカラーバランスパラメータの入力制御を行う。
図3は、本発明の実施の形態1にかかる内視鏡システムの要部の構成を示すブロック図であって、制御部38の構成を説明するブロック図である。制御部38は、演算部381と、バッファ382と、固定値メモリ383と、第1選択部384と、第2選択部385と、モード設定部386とを有する。第1選択部384と第2選択部385とによりパラメータ選択部を構成する。
演算部381は、検波部35から入力される検波値に基づいて、カラーバランスパラメータを算出する。具体的に、演算部381は、G成分の検波値をDG、B成分の検波値をDBとしたときに、DB/DGを算出する。ここで、NBI観察を行なう際、黄色は赤色の疑似色として表示される。膀胱内には尿が含まれている場合があり、尿によって青色の光が吸収されると、本来黄色の部分の赤みが強くなって表示される。演算部381は、尿による青色光吸収を補償して、黄色の部分の色の補正を行うためのカラーバランスパラメータとして、上述したDB/DGを算出する。演算部381は、算出したカラーバランスパラメータをバッファ382に入力する。なお、演算部381は、DB/DGの逆数をカラーバランスパラメータとして算出してもよい。
バッファ382は、演算部381により算出されたカラーバランスパラメータを設定されたフレーム分記憶する。本実施の形態1では、バッファ382は、数フレーム分の体内画像に対応するカラーバランスパラメータを記憶する。バッファ382は、新たなカラーバランスパラメータが入力されると、現在記憶しているカラーバランスパラメータのうち、最も古いカラーバランスパラメータを、新たなカラーバランスパラメータで上書きすることで、算出時間の新しい方から順に数フレーム分のカラーバランスパラメータを順次更新しながら記憶する。
固定値メモリ383は、予め設定されたカラーバランスパラメータを記憶する。本実施の形態1では、固定値メモリ383は、NBI観察に適したカラーバランスとなるように予め設定されたカラーバランスパラメータを記憶する。このカラーバランスパラメータは、尿による青色の光の吸収は考慮されていないものとして説明するが、尿による青色の光の吸収を考慮して設定されるものであってもよい。
第1選択部384は、モード設定部386の制御のもと、バッファ382に記憶されているカラーバランスパラメータのうちの最新のカラーバランスパラメータ、および固定値メモリ383に記憶されているカラーバランスパラメータのいずれかを選択し、選択したカラーバランスパラメータを第1カラーバランス処理部33に入力する。ここでいう最新のカラーバランスパラメータは、最新フレームのカラーバランスパラメータである。また、第1選択部384は、入力部37が、フリーズ指示信号の入力を受け付けた場合に、フリーズ対象の体内画像に対応するカラーバランスパラメータをバッファ382から取得して、第1カラーバランス処理部33に入力する。第1選択部384は、フリーズ処理による静止画表示期間内は、バッファ382に記憶されるカラーバランスパラメータが更新された場合であっても、第1カラーバランス処理部33に対し、この更新されたカラーバランスパラメータの入力は行わない。
第1カラーバランス処理部33は、第1選択部384からカラーバランスパラメータ、具体的には、フリーズ処理部32から入力された処理信号に対応するDB/DGが入力されると、この処理信号のB成分の信号に対し、DB/DGの逆数を乗じて、B成分の信号値の調整を行う。
第2選択部385は、モード設定部386の制御のもと、設定されているモードに応じて、バッファ382に記憶されている最新のカラーバランスパラメータ、および固定値メモリ383に記憶されているカラーバランスパラメータのいずれかを選択し、選択したカラーバランスパラメータを第2カラーバランス処理部34に入力する。
モード設定部386は、入力部37が、観察モードの設定又は切り替えを指示するモード設定指示信号の入力を受け付けた場合、第1選択部384および第2選択部385に、モード設定指示信号に応じたカラーバランスパラメータの選択指示信号を入力する。観察モードとしては、固定値メモリ383に記憶され、予め設定されたカラーバランスパラメータでカラーバランス処理を行う通常観察モードと、演算部381により算出されたカラーバランスパラメータによって、体内画像ごとにカラーバランスの補正を行う補正観察モードとがある。
制御部38においては、上述したようにして、モード設定部386から入力される選択指示信号に基づいて、第1選択部384がカラーバランスパラメータを選択して第1カラーバランス処理部33に入力するとともに、第2選択部385がカラーバランスパラメータを選択して第2カラーバランス処理部34に入力する。また、制御部38は、入力部37がフリーズ指示信号の入力を受け付けた場合、第1選択部384に、フリーズ処理部32が決定したフリーズ対象画像に対応するカラーバランスパラメータを選択させ、選択したカラーバランスパラメータを第1カラーバランス処理部33に入力させる。この際、第1選択部384は、フリーズ処理部32が決定したフリーズ対象画像に対応するフレームのカラーバランスパラメータを選択する。補正観察モードにおけるフリーズ処理による静止画表示期間では、第2選択部385が、バッファ382に順次入力される最新のカラーバランスパラメータを第2カラーバランス処理部34に入力する。
記憶部39は、内視鏡システム1を動作させるための各種プログラム、および内視鏡システム1の動作に必要な各種パラメータ等を含むデータを記憶する。また、記憶部39は、処理装置3の識別情報を記憶する。ここで、識別情報には、処理装置3の固有情報(ID)、年式およびスペック情報等が含まれる。
また、記憶部39は、処理装置3の画像取得処理方法を実行するための画像取得処理プログラムを含む各種プログラムを記憶する。各種プログラムは、ハードディスク、フラッシュメモリ、CD−ROM、DVD−ROM、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、LAN(Local Area Network)、WAN(Wide Area Network)などによって実現されるものであり、有線、無線を問わない。
以上の構成を有する記憶部39は、各種プログラム等が予めインストールされたROM(Read Only Memory)、および各処理の演算パラメータやデータ等を記憶するRAM(Random Access Memory)やハードディスク等を用いて実現される。
続いて、光源部3aの構成について説明する。光源部3aは、照明部301と、照明制御部302と、を備える。照明部301は、照明制御部302の制御のもと、被写体(被検体)に対して、異なる露光量の照明光を順次切り替えて出射する。照明部301は、光源301aと、光源ドライバ301bと、を有する。
光源301aは、白色光や狭帯域光を出射する光源や、一または複数のレンズ等を用いて構成され、光源の駆動により光(照明光)を出射する。光源301aが発生した照明光は、ライトガイド241を経由して先端部24の先端から被写体に向けて出射される。本実施の形態1では、膀胱内の観察に適したNBI観察を行なうため、光源301aが、青色の狭帯域の光(例えば390nm〜445nm)および緑色の狭帯域の光(例えば530nm〜550nm)からなる狭帯域光を照明光として出射可能である。また、光源301aには、LED光源や、レーザー光源、キセノンランプ、ハロゲンランプなどの光源のうちのいずれかが用いられる。また、光源301aは、所定の波長帯域(ここでは、狭帯域)の光を透過するフィルタを用いて構成してもよい。
光源ドライバ301bは、照明制御部302の制御のもと、光源301aに対して電流を供給することにより、光源301aに照明光を出射させる。
照明制御部302は、制御部38からの制御信号(調光信号)に基づいて、光源301aに供給する電力量を制御するとともに、光源301aの駆動タイミングを制御する。
表示装置4は、映像ケーブルを介して処理装置3(表示画像生成部36)から受信した画像信号に対応する表示画像を表示する。表示装置4は、液晶または有機EL(Electro Luminescence)等のモニタを用いて構成される。
続いて、内視鏡システム1が行う画像処理について説明する。図4は、本発明の実施の形態1にかかる内視鏡システムが行う画像処理を示すフローチャートである。以下、制御部38の制御のもと、各部が動作するものとして説明する。また、以下の説明はNBI観察時における処理について説明するが、NBI観察を行う位置までの先端部24の移動は、例えば白色光による観察のもとで行われる。
制御部38は、撮像信号取得部31が内視鏡2から撮像信号を取得すると、観察モードが通常観察モードおよび補正観察モードのどちらに設定されているかを判断する(ステップS101)。制御部38は、通常観察モードに設定されていると判断した場合(ステップS101:通常観察モード)、ステップS108に移行する。これに対し、制御部38は、補正観察モードに設定されていると判断した場合(ステップS101:補正観察モード)、ステップS102に移行する。なお、第2カラーバランス処理部34は、撮像信号取得部31から処理信号が順次入力され、第2選択部385から入力されたカラーバランスパラメータに基づいて、処理信号のカラーバランス補正を行う。その後、検波部35によって、第2カラーバランス処理部34が生成した処理信号に対応する検波値が算出される。
ステップS102において、制御部38は、入力部37を介してフリーズ指示が入力されたか否かを判断する。制御部38は、フリーズ指示の入力がないと判断すると(ステップS102:No)、ステップS103に移行する。
ステップ103では、第1選択部384が、モード設定部386の制御のもと、バッファ382を参照して、最新のカラーバランスパラメータを選択し、選択したカラーバランスパラメータを第1カラーバランス処理部33に入力する。また、第2選択部385が、モード設定部386の制御のもと、バッファ382を参照して、最新のカラーバランスパラメータを選択し、選択したカラーバランスパラメータを第2カラーバランス処理部34に入力する。なお、第2カラーバランス処理部34は、入力された最新のカラーバランスパラメータに基づいて、処理信号のカラーバランス補正を行う。
ステップS103に続くステップS104では、第1カラーバランス処理部33が、フリーズ処理部32を介して入力された処理信号に対し、第1選択部384から入力されたカラーバランスパラメータに基づいてカラーバランス補正を行う。第1カラーバランス処理部33は、カラーバランス補正を行った画像信号を表示画像生成部36に入力する。その後、制御部38は、ステップS110に移行する。
これに対し、ステップS102において、制御部38は、フリーズ指示の入力があると判断すると(ステップS102:Yes)、ステップS105に移行する。
ステップS105では、フリーズ処理部32が、フリーズ指示信号の入力を受け付けた時間を参照して、フリーズ対象となる体内画像を選択する。その後、第1選択部384は、バッファ382を参照して、フリーズ対象として選択された体内画像に対応するカラーバランスパラメータを選択し、選択したカラーバランスパラメータを第1カラーバランス処理部33に入力する(ステップS106)。
その後、第1カラーバランス処理部33が、フリーズ対象として選択された体内画像に対応する処理信号に対し、第1選択部384から入力されたカラーバランスパラメータに基づいてカラーバランス補正を行う(ステップS107)。第1カラーバランス処理部33は、カラーバランス補正を行った画像信号を表示画像生成部36に入力する。その後、制御部38は、ステップS110に移行する。
また、ステップS108では、第1選択部384が、モード設定部386の制御のもと、固定値メモリ383を参照して、予め設定されているカラーバランスパラメータを選択し、選択したカラーバランスパラメータを第1カラーバランス処理部33に入力する。また、第2選択部385が、モード設定部386の制御のもと、固定値メモリ383を参照して、予め設定されているカラーバランスパラメータを選択し、選択したカラーバランスパラメータを第2カラーバランス処理部34に入力する。
その後、第1カラーバランス処理部33が、フリーズ処理部32を介して入力された処理信号に対し、第1選択部384から入力されたカラーバランスパラメータに基づいてカラーバランス補正を行う(ステップS109)。第1カラーバランス処理部33は、カラーバランス補正を行った画像信号を表示画像生成部36に入力する。その後、制御部38は、ステップS110に移行する。
ステップS110では、表示画像生成部36が、第1カラーバランス処理部33が生成した画像信号に対して、表示装置4で表示可能な態様の信号となるような信号処理を施して、表示用の画像信号を生成する。表示画像生成部36は、生成した表示用の画像信号を表示装置4に送信して、この表示用の画像信号に応じた画像を表示装置4に表示させる。なお、フリーズ対象として選択されている画像は、他の画像と比して長い表示時間で表示される。
表示画像生成部36による画像信号の生成、表示制御後、制御部38は、新たな撮像信号の入力があるか否かを判断する(ステップS111)。制御部38は、例えば、新たな撮像信号が入力されたと判断すると(ステップS111:Yes)、ステップS101に戻って上述した処理を繰り返し、新たな撮像信号が入力されていないと判断すると(ステップS111:No)、画像処理を終了する。
上述した画像処理では、撮像信号取得部31から処理信号が入力される度に、第2カラーバランス処理部34および検波部35により検波値が算出され、演算部381が、この検波値に基づいてカラーバランスパラメータを算出するようにしている。このため、フリーズ対象の画像が静止画表示された後、再び動画表示に戻った場合でも、適切なカラーバランスパラメータを用いて、動画表示に移行することが可能となる。
上述した本実施の形態1によれば、第1カラーバランス処理部33が、表示対象となる体内画像に対応する処理信号のカラーバランス補正を行い、この処理と並行して、第2カラーバランス処理部34によるカラーバランス補正処理と、演算部381によるカラーバランスパラメータの算出とを行うようにした。これにより、入力される撮像信号に対し、毎回カラーバランスパラメータを生成するため、表示する画像に対してリアルタイムに補正を行う際、画像のフリーズ処理を解除した後であっても、観察に適したカラーバランスの画像を生成することができる。
上述した本実施の形態1によれば、第2カラーバランス処理部34が、第2選択部385から最新のカラーバランスパラメータを取得して、カラーバランス補正を行うようにしたので、検波部35による検波結果の精度を維持することができる。
(実施の形態2)
次に、本発明の実施の形態2について説明する。上述した実施の形態1では、フリーズ指示の入力を受け付けたタイミングの画像を表示対象の画像として選択するものとして説明したが、本実施の形態2にかかる内視鏡システムは、フリーズ指示の入力を受け付けたタイミングから遡って、ぶれの小さい画像を、表示対象の画像として選択するプリフリーズ機能を有する。なお、本発明の実施の形態2にかかる内視鏡システムの構成において、上述した内視鏡システム1の構成と同じ構成要素のものには同じ符号が付してある。図5は、本発明の実施の形態2にかかる内視鏡システムの概略構成を示すブロック図である。
図5に示す内視鏡システム1Aは、上述した内視鏡2および表示装置4と、内視鏡2の先端から出射する照明光を発生する光源部3aを有し、内視鏡2が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム1A全体の動作を統括的に制御する処理装置3Aと、を備える。
処理装置3Aは、撮像信号取得部31と、フリーズ処理部32と、第1カラーバランス処理部33と、第2カラーバランス処理部34と、検波部35と、表示画像生成部36と、入力部37と、制御部38aと、記憶部39と、ベストフレーム選択部40と、画像バッファ41と、を備える。すなわち、本実施の形態2にかかる処理装置3Aは、上述した内視鏡システム1の構成に対し、制御部38に代えて制御部38aを有するとともに、ベストフレーム選択部40と、画像バッファ41とをさらに備えている。
ベストフレーム選択部40は、撮像信号取得部31から入力される処理信号を画像バッファ41およびフリーズ処理部32に入力する。ベストフレーム選択部40は、フリーズ指示信号の入力に応じて、画像バッファ41に記憶されている体内画像からぶれの小さい体内画像をベストフレームの画像として選択する画像選択部である。ベストフレーム選択部40は、選択したフレームにかかる情報を含むベストフレーム選択信号をフリーズ処理部32および制御部38aに入力する。ベストフレーム選択部40は、フリーズ指示信号の入力があった際に、画像バッファ41に記憶されている複数の体内画像のぶれを算出し、算出したぶれに基づいてベストフレームの体内画像を選択してもよいし、撮像信号取得部31から撮像信号が入力される都度、この撮像信号に応じた体内画像のぶれを算出して、算出したぶれと体内画像とを対応付けて画像バッファ41に記憶させるものであってもよい。体内画像のぶれは、公知の算出方法を用いて算出される。
フリーズ処理部32は、ベストフレーム選択部40が選択したフレーム番号の体内画像に対応する処理信号を取得して、この体内画像をフリーズ対象の体内画像とする。フリーズ処理部32は、取得したフリーズ対象の体内画像の処理信号を第1カラーバランス処理部33に入力する。
画像バッファ41は、ベストフレーム選択部40を介して入力される処理信号を、設定されたフレーム数分記憶する。本実施の形態2では、画像バッファ41は、数フレーム分の処理信号を記憶する。画像バッファ41は、新たな処理信号が入力されると、現在記憶している処理信号のうち、最も古い処理信号を、この新たな処理信号で上書きすることで、取得時間の新しい方から順に数フレーム分の体内画像を順次更新しながら記憶する。
図6は、本発明の実施の形態2にかかる内視鏡システムの要部の構成を示すブロック図であって、制御部38aの構成を説明するブロック図である。制御部38aは、演算部381と、固定値メモリ383と、第1選択部384と、第2選択部385と、モード設定部386と、第1バッファ387と、第2バッファ388と、を有する。本実施の形態2では、第1バッファ387と第2バッファ388とが、補正用バッファを構成している。
第1バッファ387は、演算部381により算出されたカラーバランスパラメータを設定されたフレーム分記憶する。本実施の形態2では、第1バッファ387は、画像バッファ41に記憶されている複数の処理信号(体内画像)に対応するカラーバランスパラメータを記憶する。第1バッファ387は、新たなカラーバランスパラメータが入力されると、現在記憶しているカラーバランスパラメータのうち、最も古いカラーバランスパラメータを、新たなカラーバランスパラメータで上書きすることで、算出時間の新しい方から順に数フレーム分のカラーバランスパラメータを順次更新しながら記憶する。
また、第1バッファ387は、ベストフレーム選択部40が選択したフレームにかかる情報を含むベストフレーム選択信号が入力されると、制御部38aの制御のもと、該当するフレームに対応するカラーバランスパラメータを、第2バッファ388に入力する。第1バッファ387は、ベストフレーム選択信号の入力がなければ、最新のカラーバランスパラメータを、第2バッファ388に入力する。
第2バッファ388は、第1バッファ387から入力されるカラーバランスパラメータを記憶する。第2バッファ388は、第1バッファ387から新たなカラーバランスパラメータが入力されると、入力されたカラーバランスパラメータを、現在記憶しているカラーバランスパラメータに上書きすることで、カラーバランスパラメータを順次更新しながら記憶する。
第1選択部384は、モード設定部386の制御のもと、第2バッファ388に記憶されているうちのカラーバランスパラメータ、および固定値メモリ383に記憶されているカラーバランスパラメータのいずれかを選択し、選択したカラーバランスパラメータを第1カラーバランス処理部33に入力する。また、第1選択部384は、入力部37が、フリーズ指示信号の入力を受け付けた場合に、フリーズ対象の体内画像に対応するカラーバランスパラメータを第2バッファ388から取得して、第1カラーバランス処理部33に入力する。
第2選択部385は、モード設定部386の制御のもと、第2バッファ388に記憶されているカラーバランスパラメータ、および固定値メモリ383に記憶されているカラーバランスパラメータのいずれかを選択し、選択したカラーバランスパラメータを第2カラーバランス処理部34に入力する。
制御部38aにおいては、モード設定部386から入力される選択指示信号に基づいて、第1選択部384がカラーバランスパラメータを選択して第1カラーバランス処理部33に入力するとともに、第2選択部385がカラーバランスパラメータを選択して第2カラーバランス処理部34に入力する。また、制御部38aは、ベストフレーム選択部40からベストフレーム選択信号が入力された場合、第1バッファ387に、このベストフレーム選択信号に対応するカラーバランスパラメータを選択させ、選択したカラーバランスパラメータを第2バッファ388に入力させる。第1選択部384は、第2バッファ388から、ベストフレームの体内画像に対応するカラーバランスパラメータを取得して、第1カラーバランス処理部33に入力する。
続いて、内視鏡システム1Aが行う画像処理について説明する。図7は、本発明の実施の形態2にかかる内視鏡システムが行う画像処理を示すフローチャートである。以下、制御部38aの制御のもと、各部が動作するものとして説明する。
制御部38aは、撮像信号取得部31が内視鏡2から撮像信号を取得すると、観察モードが通常観察モードおよび補正観察モードのどちらに設定されているかを判断する(ステップS201)。制御部38aは、通常観察モードに設定されていると判断した場合(ステップS201:通常観察モード)、ステップS208に移行する。これに対し、制御部38aは、補正観察モードに設定されていると判断した場合(ステップS201:補正観察モード)、ステップS202に移行する。なお、第2カラーバランス処理部34は、撮像信号取得部31が取得する処理信号が順次入力され、第2選択部385から入力されたカラーバランスパラメータに基づいて、処理信号のカラーバランス補正を行う。その後、検波部35によって、第2カラーバランス処理部34が生成した画像信号に対応する検波値が算出される。
ステップS202において、制御部38aは、入力部37を介してフリーズ指示が入力されたか否かを判断する。制御部38aは、フリーズ指示の入力がないと判断すると(ステップS202:No)、ステップS203に移行する。
ステップS203では、第1選択部384が、モード設定部386の制御のもと、第2バッファ388を参照して、最新のカラーバランスパラメータを選択し、選択したカラーバランスパラメータを第1カラーバランス処理部33に入力する。また、第2選択部385が、モード設定部386の制御のもと、第2バッファ388を参照して、最新のカラーバランスパラメータを選択し、選択したカラーバランスパラメータを第2カラーバランス処理部34に入力する。なお、第2カラーバランス処理部34は、入力された最新のカラーバランスパラメータに基づいて、処理信号のカラーバランス補正を行う。
ステップS203に続くステップS204では、第1カラーバランス処理部33が、フリーズ処理部32を介して入力された処理信号に対し、第1選択部384から入力されたカラーバランスパラメータに基づいてカラーバランス補正を行う。第1カラーバランス処理部33は、カラーバランス補正を行った画像信号を表示画像生成部36に入力する。その後、制御部38aは、ステップS210に移行する。
これに対し、ステップS202において、制御部38aは、フリーズ指示の入力があると判断すると(ステップS202:Yes)、ステップS205に移行する。
ステップS205では、ベストフレーム選択部40が、画像バッファ41のぶれに基づき、フリーズ対象となる体内画像を選択する。ベストフレーム選択部40は、選択したフレームにかかる情報を含むベストフレーム選択信号を制御部38aに入力する。これにより、ベストフレームの体内画像に対応するカラーバランスパラメータが、第1バッファ387から第2バッファ388に入力される。その後、第1選択部384は、第2バッファ388を参照して、フリーズ対象として選択されたベストフレームの体内画像に対応するカラーバランスパラメータを選択し、選択したカラーバランスパラメータを第1カラーバランス処理部33に入力する(ステップS206)。
その後、第1カラーバランス処理部33が、フリーズ対象として選択された体内画像に対応する処理信号に対し、第1選択部384から入力されたカラーバランスパラメータに基づいてカラーバランス補正を行う(ステップS207)。第1カラーバランス処理部33は、カラーバランス補正を行った画像信号を表示画像生成部36に入力する。その後、制御部38aは、ステップS210に移行する。
また、ステップS208では、第1選択部384が、モード設定部386の制御のもと、固定値メモリ383を参照して、予め設定されているカラーバランスパラメータを選択し、選択したカラーバランスパラメータを第1カラーバランス処理部33に入力する。また、第2選択部385が、モード設定部386の制御のもと、固定値メモリ383を参照して、予め設定されているカラーバランスパラメータを選択し、選択したカラーバランスパラメータを第2カラーバランス処理部34に入力する。
その後、第1カラーバランス処理部33が、フリーズ処理部32を介して入力された処理信号に対し、第1選択部384から入力されたカラーバランスパラメータに基づいてカラーバランス補正を行う(ステップS209)。第1カラーバランス処理部33は、カラーバランス補正を行った画像信号を表示画像生成部36に入力する。その後、制御部38aは、ステップS210に移行する。
ステップS210では、表示画像生成部36が、第1カラーバランス処理部33が生成した画像信号に対して、表示装置4で表示可能な態様の信号となるような信号処理を施して、表示用の画像信号を生成する。表示画像生成部36は、生成した表示用の画像信号を表示装置4に送信して、この表示用の画像信号に応じた画像を表示装置4に表示させる。なお、フリーズ対象として選択されている画像は、他の画像と比して、長い表示時間で表示される。
表示画像生成部36による画像信号の生成、表示制御後、制御部38aは、新たな撮像信号の入力があるか否かを判断する(ステップS211)。制御部38aは、例えば、新たな撮像信号が入力されたと判断すると(ステップS211:Yes)、ステップS201に戻って上述した処理を繰り返し、新たな撮像信号が入力されていないと判断すると(ステップS211:No)、画像処理を終了する。
上述した画像処理では、撮像信号取得部31から処理信号が入力される度に、第2カラーバランス処理部34および検波部35により検波値が算出され、演算部381が、この検波値に基づいてカラーバランスパラメータを算出するようにしている。このため、フリーズ対象の画像が静止画表示された後、再び動画表示に戻った場合でも、適切なカラーバランスパラメータを用いて、動画表示に移行することが可能となる。
上述した本実施の形態2によれば、第1カラーバランス処理部33が、表示対象となる体内画像に対応する処理信号のカラーバランス補正を行い、この処理と並行して、第2カラーバランス処理部34によるカラーバランス補正処理と、演算部381によるカラーバランスパラメータの算出とを行うようにした。これにより、表示する画像に対してリアルタイムに補正を行う際、フリーズを解除した後であっても、観察に適したカラーバランスの画像を生成することができる。
また、上述した実施の形態2によれば、フリーズ指示信号が入力されると、ベストフレーム選択部40が、画像バッファ41に記憶されている複数の体内画像からぶれの小さい体内画像を選択するようにしたので、フリーズ画像として表示する体内画像を、ぶれが小さい、観察に適した体内画像とすることができる。これにより、体内画像を一層見やすいものとすることができ、一段と正確な診断を行うことが可能となる。
また、上述した本実施の形態2によれば、第1バッファ387および第2バッファ388からなる補正用バッファが、カラーバランスパラメータのみを記憶するようにしているので、体内画像とともにカラーバランスパラメータを記憶する場合と比して、バッファの記憶容量を小さくすることができる。
なお、上述した実施の形態1,2では、撮像信号取得部31が、RGBの各色成分が付与された画像を含む処理信号を生成するものとして説明したが、YCbCr色空間に基づいて輝度(Y)成分および色差成分を含むYCbCr色空間を有する処理信号を生成するものであってもよいし、色相(Hue)、彩度(Saturation Chroma)、明度(Value Lightness Brightness)の三つの成分からなるHSV色空間や、三次元空間を用いるL***色空間などを用いて、色と輝度とに分けた成分を有する処理信号を生成するものであってもよい。
また、上述した実施の形態1,2では、モード設定部386によって、通常観察モードと補正観察モードとのいずれかの観察モードを設定するものとして説明したが、モード設定部386を有しない構成として、補正観察モードのみで動作するものであってもよい。
また、上述した実施の形態1,2では、演算部381、バッファ382、固定値メモリ383、第1選択部384、第2選択部385、モード設定部386、第1バッファ387、第2バッファ388が制御部38,38aにそれぞれ設けられているものとして説明したが、制御部38,38aとは独立して設けられてもよい。
また、上述した実施の形態1,2では、光源部3aから狭帯域光が出射され、受光部244aが照明光による反射光を受光する同時式の照明/撮像方式であるものとして説明したが、光源部3aが、各色成分の狭帯域の光を個別に順次出射して、受光部244aが、各色成分の光をそれぞれ受光する面順次式の照明/撮像方式であってもよい。
また、上述した実施の形態1,2では、光源部3aが内視鏡2とは別体で構成されているものとして説明したが、例えば、内視鏡2の先端に半導体光源を設けるなど、光源装置を内視鏡2に設けた構成であってもよい。さらに、内視鏡2に処理装置3の機能を付与してもよい。
また、上述した実施の形態1,2では、光源部3aが、処理装置3とは一体であるものとして説明したが、光源部3aおよび処理装置3が別体であって、例えば処理装置3の外部に照明部301および照明制御部302が設けられているものであってもよい。また、光源301aが先端部24の先端に設けられているものであってもよい。
また、上述した実施の形態1,2では、青色の狭帯域の光(例えば390nm〜445nm)および緑色の狭帯域の光(例えば530nm〜550nm)からなる狭帯域光を用いるNBI観察を行う例を説明したが、波長帯域の範囲や、狭帯域の組み合わせはこれに限らない。例えば、赤色の狭帯域や、赤外の狭帯域を含むものであってもよいし、白色光を用いるものであっても適用可能である。
また、上述した実施の形態1,2では、本発明にかかる内視鏡システムが、観察対象が被検体内の生体組織などである軟性の内視鏡2を用いた内視鏡システム1であるものとして説明したが、硬性の内視鏡や、材料の特性を観測する工業用の内視鏡、カプセル型の内視鏡、ファイバースコープ、光学視管などの光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡システムであっても適用できる。
また、上述した実施の形態1,2では、内視鏡システムを例に挙げて説明したが、例えばデジタルスチルカメラ等に設けられるEVF(Electronic View Finder)に映像を出力する場合にも適用可能である。
以上のように、本発明にかかる画像処理装置は、リアルタイムに補正を行う場合であっても、フリーズ解除後に、観察に適したカラーバランスの画像を生成するのに有用である。
1 内視鏡システム
2 内視鏡
3 処理装置
3a 光源部
4 表示装置
21 挿入部
22 操作部
23 ユニバーサルコード
24 先端部
25 湾曲部
26 可撓管部
31 撮像信号取得部
32 フリーズ処理部
33 第1カラーバランス処理部
34 第2カラーバランス処理部
35 検波部
36 表示画像生成部
37 入力部
38,38a 制御部
39 記憶部
40 ベストフレーム選択部
41 画像バッファ
301 照明部
302 照明制御部
381 演算部
382 バッファ
383 固定値メモリ
384 第1選択部
385 第2選択部
386 モード設定部
387 第1バッファ
388 第2バッファ

Claims (5)

  1. 被写体を撮像して生成される撮像信号を時系列に沿って取得する撮像信号取得部と、
    前記撮像信号に基づく画像を静止画として表示するためのフリーズ指示信号の入力があった場合、フリーズ対象の画像を決定して該フリーズ対象の画像に対応する前記撮像信号を出力するとともに、前記フリーズ指示信号の入力がない場合、最新の画像を表示対象の画像に決定し、該表示対象の画像に対応する前記撮像信号を出力するフリーズ処理部と、
    前記フリーズ処理部により決定された画像に対応する撮像信号をもとにカラーバランス調整処理を施して、第1の画像信号を生成する第1カラーバランス処理部と、
    前記第1カラーバランス処理部が生成した前記第1の画像信号をもとに、表示用の画像信号を生成する表示画像生成部と、
    前記第1カラーバランス処理部と並列に入力される前記撮像信号をもとにカラーバランス調整処理を施して、第2の画像信号を生成する第2カラーバランス処理部と、
    前記第2カラーバランス処理部が生成した前記第2の画像信号が含む複数の色成分の信号を検波する検波部と、
    前記検波部による検波結果に基づいて、前記カラーバランス調整処理を行うためのカラーバランスパラメータを算出する演算部と、
    前記フリーズ指示信号の入力がない場合、前記演算部で算出された最新のカラーバランスパラメータを前記第1および第2カラーバランス処理部に入力し、前記フリーズ指示信号の入力があった場合、フリーズ対象の画像に対応するカラーバランスパラメータを前記第1カラーバランス処理部に入力するとともに、前記演算部で算出された最新のカラーバランスパラメータを前記第2カラーバランス処理部に入力するパラメータ選択部と、
    を備えたことを特徴とする画像処理装置。
  2. 前記撮像信号取得部が取得した複数の撮像信号を順次更新しながら記憶する画像バッファと、
    前記画像バッファが記憶する撮像信号に対応するカラーバランスパラメータを順次更新しながら記憶する補正用バッファと、
    前記フリーズ指示信号の入力があった場合に、前記画像バッファに記憶されている複数の撮像信号に応じた画像から、ぶれの小さい画像を選択する画像選択部と、
    をさらに備え、
    前記フリーズ処理部は、前記画像選択部が選択した画像を、フリーズ対象の画像として決定する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 予め設定されたカラーバランスパラメータを記憶する補正値メモリと、
    前記予め設定されたカラーバランスパラメータを用いてカラーバランス調整処理を行う第1のモードと、前記演算部が算出したカラーバランスパラメータに基づいてカラーバランス調整処理を行う第2のモードとのいずれかのモードを設定するモード設定部と、
    をさらに備え、
    前記パラメータ選択部は、設定されているモードに応じて、前記第1カラーバランス処理部に入力するカラーバランスパラメータを選択する
    ことを特徴とする請求項2に記載の画像処理装置。
  4. 前記補正用バッファは、モードの設定によらず前記カラーバランスパラメータの記憶処理を行い、
    前記パラメータ選択部は、前記第1のモードに設定された場合は、前記予め設定されたカラーバランスパラメータを前記第1カラーバランス処理部に入力し、前記第2のモードに設定された場合は、前記補正用バッファが記憶する最新のカラーバランスパラメータを前記第1カラーバランス処理部に入力し、前記第2のモードにおいて記フリーズ指示信号の入力があった場合、フリーズ対象の画像に対応するカラーバランスパラメータを前記第1カラーバランス処理部に入力する
    ことを特徴とする請求項3に記載の画像処理装置。
  5. 前記フリーズ指示信号の入力を受け付ける入力部、
    をさらに備えたことを特徴とする請求項1に記載の画像処理装置。
JP2017540665A 2016-04-19 2017-04-07 画像処理装置 Active JP6242552B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016083603 2016-04-19
JP2016083603 2016-04-19
PCT/JP2017/014542 WO2017183488A1 (ja) 2016-04-19 2017-04-07 画像処理装置

Publications (2)

Publication Number Publication Date
JP6242552B1 true JP6242552B1 (ja) 2017-12-06
JPWO2017183488A1 JPWO2017183488A1 (ja) 2018-04-26

Family

ID=60115921

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017540665A Active JP6242552B1 (ja) 2016-04-19 2017-04-07 画像処理装置

Country Status (3)

Country Link
US (1) US10462440B2 (ja)
JP (1) JP6242552B1 (ja)
WO (1) WO2017183488A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6660707B2 (ja) * 2015-10-23 2020-03-11 Hoya株式会社 内視鏡システム
WO2021122536A1 (en) * 2019-12-19 2021-06-24 Ambu A/S Image capture selection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02213817A (ja) * 1989-02-15 1990-08-24 Toshiba Corp 電子内視鏡装置
JP2000139833A (ja) * 1998-11-04 2000-05-23 Olympus Optical Co Ltd 電子内視鏡装置
JP2005319213A (ja) * 2004-05-11 2005-11-17 Pentax Corp 蛍光観察内視鏡装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7590290B2 (en) * 2004-07-21 2009-09-15 Canon Kabushiki Kaisha Fail safe image processing apparatus
JP4137085B2 (ja) * 2005-04-21 2008-08-20 キヤノン株式会社 撮像装置
US8964054B2 (en) * 2006-08-18 2015-02-24 The Invention Science Fund I, Llc Capturing selected image objects
JP5366584B2 (ja) * 2009-02-16 2013-12-11 キヤノン株式会社 撮像装置、画像処理方法およびプログラム
WO2011155429A1 (ja) 2010-06-07 2011-12-15 オリンパスメディカルシステムズ株式会社 信号処理装置及び静止画生成方法
JP5661367B2 (ja) * 2010-08-02 2015-01-28 キヤノン株式会社 撮像装置及びその制御方法、プログラム、及び記録媒体
JP5629564B2 (ja) * 2010-12-07 2014-11-19 キヤノン株式会社 画像処理装置およびその制御方法
US9414740B2 (en) * 2013-03-14 2016-08-16 Arthrex, Inc. Endoscopic imaging system and method for adapting to remote stimulus
WO2015151747A1 (ja) * 2014-03-31 2015-10-08 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02213817A (ja) * 1989-02-15 1990-08-24 Toshiba Corp 電子内視鏡装置
JP2000139833A (ja) * 1998-11-04 2000-05-23 Olympus Optical Co Ltd 電子内視鏡装置
JP2005319213A (ja) * 2004-05-11 2005-11-17 Pentax Corp 蛍光観察内視鏡装置

Also Published As

Publication number Publication date
JPWO2017183488A1 (ja) 2018-04-26
US20190052854A1 (en) 2019-02-14
WO2017183488A1 (ja) 2017-10-26
US10462440B2 (en) 2019-10-29

Similar Documents

Publication Publication Date Title
JPWO2012081617A1 (ja) 撮像装置
JP6329715B1 (ja) 内視鏡システムおよび内視鏡
JP6109456B1 (ja) 画像処理装置および撮像システム
JP6378846B2 (ja) 画像処理装置
US20210307587A1 (en) Endoscope system, image processing device, total processing time detection method, and processing device
WO2016104386A1 (ja) 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
US11503982B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium for detecting a defective pixel in an image frame
US10574934B2 (en) Ultrasound observation device, operation method of image signal processing apparatus, image signal processing method, and computer-readable recording medium
WO2016088628A1 (ja) 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
JP6242552B1 (ja) 画像処理装置
JP6937902B2 (ja) 内視鏡システム
JP2017123997A (ja) 撮像システムおよび処理装置
JP6503522B1 (ja) 画像処理装置、画像処理システムおよび画像処理方法
JP5815162B2 (ja) 撮像装置
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
JP2018007840A (ja) 画像処理装置
WO2018079387A1 (ja) 画像処理装置および画像処理システム
WO2017022323A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP2017221276A (ja) 画像処理装置
WO2019130834A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171107

R151 Written notification of patent or utility model registration

Ref document number: 6242552

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250