JP6378846B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP6378846B2
JP6378846B2 JP2017558508A JP2017558508A JP6378846B2 JP 6378846 B2 JP6378846 B2 JP 6378846B2 JP 2017558508 A JP2017558508 A JP 2017558508A JP 2017558508 A JP2017558508 A JP 2017558508A JP 6378846 B2 JP6378846 B2 JP 6378846B2
Authority
JP
Japan
Prior art keywords
image
display
endoscope
processing unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017558508A
Other languages
English (en)
Other versions
JPWO2017221738A1 (ja
Inventor
山崎 隆一
隆一 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2017221738A1 publication Critical patent/JPWO2017221738A1/ja
Application granted granted Critical
Publication of JP6378846B2 publication Critical patent/JP6378846B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00059Operational features of endoscopes provided with identification means for the endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423Input/output
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2612Data acquisition interface
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2652Medical scanner
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37189Camera with image processing emulates encoder output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Description

本発明は、画像処理装置に関する。
従来、医療分野においては、被検体内部の観察のために内視鏡システムが用いられている。内視鏡は、一般に、患者等の被検体内に細長形状をなす可撓性の挿入部を挿入し、この挿入部先端から光源装置によって供給された照明光を照明し、この照明光の反射光を挿入部先端の撮像部で受光することによって体内画像を撮像する。このように内視鏡の撮像部によって撮像された体内画像は、内視鏡システムの処理装置において所定の画像処理を施された後に、内視鏡システムのディスプレイに表示される。医師等のユーザは、ディスプレイに表示される体内画像に基づいて、被検体の臓器の観察を行う。
内視鏡検査においては、観察目的や観察部位に応じて様々な内視鏡が使い分けられている。内視鏡システムでは、内視鏡の撮像素子に応じて画像処理の内容が異なるため、複数の画像処理回路を処理装置内に設ける、或いは、処理装置自体を内視鏡の種別に対応させてそれぞれ個別のものとする等により対応してきた。このため、より簡単な構成の1台の処理装置で、複数種の内視鏡に対応できるようにしたいという要望があった。
この要望を満たすため、FPGA(Field Programmable Gate Array)を用いて処理装置の画像処理回路を構成するとともに、各内視鏡に、それぞれ対応するプログラムデータを記憶させたメモリを設け、内視鏡の接続時に、処理装置が内視鏡内のプログラムデータをFPGAに読み込ませて、接続された内視鏡の撮像素子に対応した内容の画像処理を実行可能である論理回路に書き換えさせる内視鏡システムが提案されている(例えば、特許文献1参照)。
特開2013−150666号公報
しかしながら、特許文献1記載の技術では、異なる種別の内視鏡に差し替えられてリコンフィグレーションする場合に、画像信号の処理に関するプログラムデータのほか、表示用の画像処理にかかるプログラムデータもコンフィグレーションされる。このため、コンフィグレーションに時間を要したり、コンフィグレーション中にディスプレイに画像が表示されなかったりするという問題があった。
本発明は、上記に鑑みてなされたものであって、コンフィグレーションに要する時間を短縮し、かつコンフィグレーション中でもディスプレイに画像を表示することができる画像処理装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、接続された内視鏡が撮像した画像信号に対して信号処理を施す画像処理装置であって、書き換え可能な論理回路を用いて構成されており、前記内視鏡の種別に応じて前記画像信号の信号処理を行う画像信号処理部と、前記画像信号処理部によって信号処理が施された処理信号に対して、表示装置の表示態様に応じた表示用の画像処理を行うとともに、該画像処理によって生成した内視鏡画像の表示領域を含む表示画像を生成する表示用画像処理部と、当該画像処理装置に接続された前記内視鏡の種別を判定し、判定した前記種別に応じて前記画像信号処理部が行う信号処理の内容に対応したプログラムデータのコンフィグレーションを前記画像信号処理部に行わせるコンフィグレーション制御部と、前記表示用画像処理部により生成された前記表示画像を表示装置に表示させる表示制御部と、を備えたことを特徴とする。
また、本発明にかかる画像処理装置は、上記発明において、前記表示用画像処理部は、書き換え可能な論理回路を用いて構成されており、前記コンフィグレーション制御部は、当該画像処理装置の起動時、前記画像信号処理部および前記表示用画像処理部にコンフィグレーションを行わせ、該コンフィグレーション後に前記内視鏡が接続された場合に、前記画像信号処理部にコンフィグレーションを行わせることを特徴とする。
また、本発明にかかる画像処理装置は、上記発明において、前記内視鏡の種別に応じた前記プログラムデータを記憶するプログラムデータ記憶部をさらに備え、前記コンフィグレーション制御部は、前記画像信号処理部に、接続されている内視鏡に応じた前記プログラムデータを読み出させ、前記コンフィグレーションを行わせることを特徴とする。
また、本発明にかかる画像処理装置は、上記発明において、前記コンフィグレーション制御部は、前記画像信号処理部に、接続されている内視鏡から前記プログラムデータを読み出させ、前記コンフィグレーションを行わせることを特徴とする。
また、本発明にかかる画像処理装置は、上記発明において、前記画像信号処理部は、互いに異なる信号処理を行う書き換え可能な複数の論理回路を用いて構成されていることを特徴とする。
また、本発明にかかる画像処理装置は、上記発明において、前記コンフィグレーション制御部は、当該画像処理装置の起動時、前記表示用画像処理部のコンフィグレーションを、前記画像信号処理部のコンフィグレーションよりも先に行わせ、前記表示用画像処理部は、当該画像処理装置の起動後、前記画像信号処理部よりも先に起動することを特徴とする。
本発明によれば、コンフィグレーションに要する時間を短縮し、かつコンフィグレーション中でもディスプレイに画像を表示することができるという効果を奏する。
図1は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示す図である。 図2は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示すブロック図である。 図3は、図2に示す処理装置に装着可能である内視鏡を説明するための図である。 図4は、本発明の一実施の形態にかかる処理装置が行う画像処理を示すフローチャートである。 図5は、本発明の実施の形態の変形例にかかる内視鏡システムの概略構成を示すブロック図である。
以下、本発明を実施するための形態(以下、「実施の形態」という)を説明する。実施の形態では、本発明にかかる画像処理装置を含むシステムの一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。
図1は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示す図である。図2は、本実施の形態にかかる内視鏡システムの概略構成を示すブロック図である。なお、図2では、実線の矢印が画像にかかる電気信号の伝送を示し、破線の矢印が制御にかかる電気信号の伝送を示している。
図1および図2に示す内視鏡システム1は、被検体内に先端部を挿入することによって被検体内の画像(以下、内視鏡画像ともいう)を撮像する内視鏡2と、内視鏡2の先端から出射する照明光を発生する光源部3aを有し、内視鏡2が撮像した画像信号に所定の信号処理を施すとともに、内視鏡システム1全体の動作を統括的に制御する処理装置3と、処理装置3の信号処理により生成された内視鏡画像を表示する表示装置4と、を備える。
内視鏡2は、可撓性を有する細長形状をなす挿入部21と、挿入部21の基端側に接続され、各種の操作信号の入力を受け付ける操作部22と、操作部22から挿入部21が延びる方向と異なる方向に延び、処理装置3(光源部3aを含む)に接続する各種ケーブルを内蔵するユニバーサルコード23と、を備える。
挿入部21は、光を受光して光電変換を行うことにより信号を生成する画素が2次元状に配列された撮像素子244を内蔵した先端部24と、複数の湾曲駒によって構成された湾曲自在な湾曲部25と、湾曲部25の基端側に接続され、可撓性を有する長尺状の可撓管部26と、を有する。挿入部21は、被検体の体腔内に挿入され、外光の届かない位置にある生体組織等の被写体を撮像素子244によって撮像する。
先端部24は、グラスファイバ等を用いて構成されて光源部3aが発光した光の導光路をなすライトガイド241と、ライトガイド241の先端に設けられた照明レンズ242と、集光用の光学系243と、光学系243の結像位置に設けられ、光学系243が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像素子244(撮像部)と、を有する。
光学系243は、一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。
撮像素子244は、光学系243からの光を光電変換して電気信号(画像信号)を生成する。具体的には、撮像素子244は、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサ等をそれぞれ有する複数の画素がマトリックス状に配列され、各画素が光学系243からの光を光電変換して電気信号を生成する受光部244aと、受光部244aの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、画像信号として出力する読み出し部244bと、を有する。受光部244aには、カラーフィルタが設けられ、各画素が、赤色(R)、緑色(G)および青色(B)の各色成分の波長帯域のうちのいずれかの波長帯域の光を受光する。撮像素子244は、処理装置3から受信した駆動信号に従って先端部24の各種動作を制御する。撮像素子244は、例えばCCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いて実現される。また、撮像素子244は、単板のイメージセンサであってもよいし、例えば3板方式等の複数のイメージセンサを用いるものであってもよい。
操作部22は、湾曲部25を上下方向および左右方向に湾曲させる湾曲ノブ221と、被検体の体腔内に生検鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部222と、処理装置3に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ223と、を有する。処置具挿入部222から挿入される処置具は、先端部24の処置具チャンネル(図示せず)を経由して開口部(図示せず)から表出する。
ユニバーサルコード23は、ライトガイド241と、一または複数の信号線をまとめた集合ケーブル245と、を少なくとも内蔵している。集合ケーブル245は、画像信号を伝送するための信号線や、撮像素子244を駆動するための駆動信号を伝送するための信号線、内視鏡2(撮像素子244)に関する固有情報等を含む情報を送受信するための信号線を含む。なお、本実施の形態では、信号線を用いて電気信号を伝送するものとして説明するが、光信号を伝送するものであってもよいし、無線通信により内視鏡2と処理装置3との間で信号を伝送するものであってもよい。
また、内視鏡2には、内視鏡2の識別情報を示す識別情報メモリ27を有する。識別情報メモリ27は、内視鏡2の識別情報を記録するメモリであって、内視鏡2の処理装置3への装着時に処理装置3との通信処理によって内視鏡2の識別情報を処理装置3に出力する。或いは、内視鏡2の識別情報に対応した規則に従ってコネクタ23aに接続ピンが設けてあり、処理装置3は、内視鏡2の装着時に処理装置3側の接続ピンと内視鏡2側の接続ピンとの接続状態をもとに内視鏡2の識別情報を認識する場合もある。
次に、処理装置3の構成について説明する。処理装置3は、画像信号処理部31と、表示用画像処理部32と、OSD(On Screen Display)処理部33と、入力部34と、記憶部35と、制御部36と、を備える。なお、本発明にかかる画像処理装置は、少なくとも画像信号処理部31と、表示用画像処理部32と、記憶部35と、制御部36と、を用いて構成される。
画像信号処理部31は、内視鏡2から、撮像素子244が撮像した内視鏡画像を表す画像データである画像信号を受信する。画像信号処理部31は、内視鏡2からアナログの画像信号を受信した場合はA/D変換を行ってデジタルの画像信号を生成する。また、画像信号取得部31は、内視鏡2から光信号として画像信号を受信した場合は光電変換を行ってデジタルの画像信号を生成する。
画像信号処理部31は、内視鏡2から入力された画像信号に対し、画素欠陥補正、光学補正、色補正、オプティカルブラック減算等の前処理と、前処理によって生成された信号に対してノイズリダクション、ホワイトバランス調整、補間処理等の信号処理と、RGBの輝度を予め設定されているフォーマットに合わせる共通化処理とを施す。画素欠陥補正は、欠陥画素の周囲の画素の画素値に基づいて、欠陥画素の画素値を付与する。光学補正は、レンズの光学歪み等の補正を行う。色補正は、色温度の補正や、色偏差の補正を行う。画像信号処理部31は、上述した信号処理により生成された補正画像を含む処理信号を生成する。画像信号処理部31は、生成した処理信号を、表示用画像処理部32に入力する。
表示用画像処理部32は、画像信号処理部31から入力される信号に対して、表示装置4で表示可能な態様の信号となるような信号処理を施して、表示用の画像信号を生成する。具体的に、表示用画像処理部32は、画像信号に対して、ズーム処理、エンハンス処理、または圧縮処理等を行って、表示用の画像信号を生成する。表示用画像処理部32は、画像信号処理部31から入力された処理信号に応じた内視鏡画像を、OSD処理部33から入力され、内視鏡画像に関する文字情報等を重畳した合成画像(後述する)に嵌め込んで表示画像を生成する。表示用画像処理部32は、生成した表示画像を含む表示用の画像信号を表示装置4に送信する。
画像信号処理部31および表示用画像処理部32は、コンフィグレーションに応じて処理内容を書き換え可能なプログラマブルロジックデバイスであるFPGA(Field Programmable Gate Array)を用いて、後述するコンフィグレーション制御部362の制御に基づいて入力されたプログラムデータを読み込み、論理回路の書き換え(リコンフィグレーション)を行う。なお、表示用画像処理部32は、ASIC(Application Specific Integrated Circuit)等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成してもよい。
OSD処理部33は、表示用画像処理部32が生成した内視鏡画像を嵌めこむ領域を有する背景画像、例えば黒色の背景に、文字情報を重畳した合成画像を生成する合成処理、いわゆるオンスクリーンディスプレイ(OSD)処理を行う。文字情報は、患者情報、機器情報及び検査情報等を示す情報である。OSD処理部33は、例えば、接続される内視鏡2の種別に応じた機器情報や、撮像条件等に関する文字情報を生成し、背景画像に重畳して合成する。
OSD処理部33は、上述したOSD処理に関する情報、例えば、背景画像や、文字情報の重畳位置に関する情報等を記憶するOSD情報記憶部331を有する。OSD情報記憶部331は、ROM(Read Only Memory)やRAM(Random Access Memory)等を用いて実現される。
入力部34は、キーボード、マウス、スイッチ、タッチパネルを用いて実現され、内視鏡システム1の動作を指示する動作指示信号等の各種信号の入力を受け付ける。なお、入力部34は、操作部22に設けられたスイッチや、外部のタブレット型のコンピュータ等の可搬型端末を含んでいてもよい。
記憶部35は、内視鏡システム1を動作させるための各種プログラム、および内視鏡システム1の動作に必要な各種パラメータ等を含むデータを記憶する。また、記憶部35は、処理装置3の識別情報を記憶する。ここで、識別情報には、処理装置3の固有情報(ID)、年式およびスペック情報等が含まれる。
また、記憶部35は、処理装置3の画像取得処理方法を実行するための画像取得処理プログラムを含む各種プログラムを記憶する。各種プログラムは、ハードディスク、フラッシュメモリ、CD−ROM、DVD−ROM、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、LAN(Local Area Network)、WAN(Wide Area Network)等によって実現されるものであり、有線、無線を問わない。
また、記憶部35は、接続される内視鏡2の種別に応じたコンフィグレーション用の情報を記憶するコンフィグレーション情報記憶部351を有する。コンフィグレーション情報記憶部351は、内視鏡2から取得した識別情報をもとに、接続された内視鏡2の種別を判定する識別パラメータを記憶する識別パラメータ記憶部351aと、処理装置3に装着対象の複数の内視鏡の撮像素子のそれぞれに対応する内容の画像処理に応じた複数のプログラムデータを記憶するプログラムデータ記憶部351bとを有する。
以上の構成を有する記憶部35は、各種プログラム等が予めインストールされたROM、および各処理の演算パラメータやデータ等を記憶するRAMやハードディスク等を用いて実現される。
制御部36は、CPU(Central Processing Unit)等の汎用プロセッサやASIC等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成され、撮像素子244および光源部3aを含む各構成部の駆動制御、および各構成部に対する情報の入出力制御等を行う。制御部36は、記憶部35に記憶されている撮像制御のための制御情報データ(例えば、読み出しタイミング等)を参照し、集合ケーブル245に含まれる所定の信号線を介して駆動信号として撮像素子244へ送信する。
制御部36は、内視鏡2の接続を検出する検出部361と、画像信号処理部31および表示用画像処理部32におけるコンフィグレーションを制御するコンフィグレーション制御部362と、表示用画像処理部32が生成した表示用の画像信号に応じた画像を表示装置4に表示させる制御を行う表示制御部363とを有する。
検出部361は、接続された内視鏡2と処理装置3との間の電気的な導通や、接続検出用のピンの押下または配列等を検出することによって、内視鏡2と処理装置3との接続を検出する。
コンフィグレーション制御部362は、内視鏡2から識別情報を取得して、識別パラメータ記憶部351aに記憶されている識別パラメータと比較することによって、接続された内視鏡2の種別を判定する種別判定部362aを有する。
続いて、光源部3aの構成について説明する。光源部3aは、照明部301と、照明制御部302と、を備える。照明部301は、照明制御部302の制御のもと、被写体(被検体)に対して、異なる露光量の照明光を順次切り替えて出射する。照明部301は、光源301aと、光源ドライバ301bと、を有する。
光源301aは、白色光を出射するLED光源や、一または複数のレンズ等を用いて構成され、LED光源の駆動により光(照明光)を出射する。光源301aが発生した照明光は、ライトガイド241を経由して先端部24の先端から被写体に向けて出射される。また、光源301aは、LED光源や、レーザー光源、キセノンランプ、ハロゲンランプ等のいずれかを用いて実現される。
光源ドライバ301bは、照明制御部302の制御のもと、光源301aに対して電流を供給することにより、光源301aに照明光を出射させる。
照明制御部302は、制御部36からの制御信号(調光信号)に基づいて、光源301aに供給する電力量を制御するとともに、光源301aの駆動タイミングを制御する。
表示装置4は、映像ケーブルを介して処理装置3(表示用画像処理部32)から受信した画像信号に対応する表示画像を表示する。表示装置4は、液晶または有機EL(Electro Luminescence)等のモニタを用いて構成される。
内視鏡システム1において、処理装置3には、異なる種別の内視鏡2を接続することが可能である。図3は、図2に示す処理装置に装着可能である内視鏡を説明するための図である。例えば、処理装置3には、図3に示すように、種別が異なる内視鏡2A〜2Cのうちのいずれかが接続される。内視鏡2A〜2Cは、互いに種別の異なる撮像素子244_1〜244_3と、当該内視鏡を識別させるための識別情報を記憶する識別情報メモリ27_1〜27_3とをそれぞれ備えている。撮像素子244_1〜244_3は、受光部244a_1〜244a_3と、読み出し部244b_1〜244b_3とをそれぞれ有している。
コンフィグレーション制御部362は、図3に示す内視鏡2Aが装着された場合には、撮像素子244_1に応じて行われる信号処理の内容に対応したプログラムデータを画像信号処理部31に読み込ませて、コンフィグレーションさせる。これによって、画像信号処理部31は、内視鏡2Aが出力した画像信号に対する画像処理を実行可能となる。また、コンフィグレーション制御部362は、内視鏡2Bが装着された場合には、撮像素子244_2に応じて行われる信号処理の内容に対応したプログラムデータを画像信号処理部31に読み込ませて、コンフィグレーションさせ、内視鏡2Bが出力した画像信号に対する画像処理を実行可能とさせる。そして、コンフィグレーション制御部362は、内視鏡2Cが装着された場合には、撮像素子244_3に応じて行われる信号処理の内容に対応したプログラムデータを画像信号処理部31に読み込ませて、コンフィグレーションさせ、内視鏡2Cが出力した画像信号に対する画像処理を実行可能とさせる。したがって、それぞれ画像処理の内容が異なる内視鏡2A〜2Cのいずれもが、処理装置3に装着可能となる。
このように、内視鏡システム1では、処理装置3のプログラムデータ記憶部351bに、処理装置3に装着対象の複数の内視鏡の撮像素子のそれぞれに対応する内容の画像処理に応じた複数のプログラムデータを記憶させることによって、いずれの内視鏡が装着されても、装着された内視鏡の撮像素子に対応する画像処理に応じた論理回路を画像信号処理部31に再構築させることができる。
なお、図3では、3種の内視鏡2A〜2Cが装着可能である例を示したが、もちろんこれに限らない。本実施の形態では、装着対象の内視鏡2は複数種であればよく、各内視鏡の撮像素子に対応する画像処理の内容にそれぞれ対応したプログラムデータをプログラムデータ記憶部351bに予め記憶させておけばよい。
続いて、内視鏡システム1が行う画像処理について説明する。図4は、本発明の一実施の形態にかかる処理装置が行う画像処理を示すフローチャートである。以下、制御部36の制御のもと、各部が動作するものとして説明する。また、図4に示すフローチャートは、例えば、図3に示す内視鏡2Aが接続された後、処理装置3に電源が投入されたものとして説明する。
まず、処理装置3に電源が投入されると、コンフィグレーション制御部362が、表示用画像処理部32のコンフィグレーションを行う(ステップS101)。コンフィグレーション制御部362は、プログラムデータ記憶部351bに記憶されているプログラムデータを表示用画像処理部32に読み込ませて、コンフィグレーションさせる。なお、表示用画像処理部32がASICにより構成されている場合は、ステップS101を行わないようにしてもよい。
ステップS101に続くステップS102において、コンフィグレーションした表示用画像処理部32を起動する。これにより、表示用画像処理部32において、OSD処理部33により生成された合成画像であって、内視鏡2により取得された内視鏡画像が表示される領域が空欄の、例えばこの領域がブラックアウトした合成画像が表示画像として生成される。この表示画像は、表示制御部363による制御のもと、表示装置4に表示可能である。この表示画像において、接続されている内視鏡2Aに関する情報が文字情報として表示されるようにしてもよい。
ステップS102に続くステップS103において、種別判定部362aが、当該処理装置3に接続されている内視鏡2Aの種別の判定を行う。種別判定部362aは、内視鏡2Aから識別情報を取得して、識別パラメータ記憶部351aに記憶されている識別パラメータと比較することによって、接続された内視鏡2Aの種別を判定する。
ステップS103に続くステップS104において、コンフィグレーション制御部362は、画像信号処理部31のコンフィグレーションを行う。コンフィグレーション制御部362は、内視鏡2Aの撮像素子244_1に応じて行われる信号処理の内容に対応したプログラムデータを画像信号処理部31に読み込ませて、コンフィグレーションさせる。
ステップS104に続くステップS105において、コンフィグレーションした画像信号処理部31を起動する。起動後、内視鏡2Aから取得した画像信号に基づく内視鏡画像を含む画像情報と、該画像情報に関する文字情報とを重畳した合成画像である表示画像を、表示制御部363による制御のもと、表示装置4に表示することが可能となる。
その後、検出部361が、内視鏡の接続の検出を行う(ステップS106)。ここでは、検出部361が検出することによって、これまで処理装置3に接続されていた内視鏡2Aが差し替えられたか否かが判断される。ここで、検出部361が内視鏡2Aの差し替えを検出していない場合(ステップS106:No)、接続検出を繰り返す。これに対し、検出部361が内視鏡2Aの差し替えを検出した場合(ステップS106:Yes)、ステップS107に移行する。ここでは、例えば、内視鏡2Bに差し替えられたものとして説明する。
ステップS107において、種別判定部362aが、当該処理装置3に接続されている内視鏡2Bの種別の判定を行う。種別判定部362aは、内視鏡2Bから識別情報を取得して、識別パラメータ記憶部351aに記憶されている識別パラメータと比較することによって、接続された内視鏡の種別を判定する。
ステップS107に続くステップS108において、コンフィグレーション制御部362は、画像信号処理部31のリコンフィグレーションを行う。コンフィグレーション制御部362は、内視鏡2Bの撮像素子244_2に応じて行われる信号処理の内容に対応したプログラムデータを画像信号処理部31に読み込ませて、リコンフィグレーションさせる。
なお、ステップS106において単に内視鏡2Aが抜き差しされただけの場合、ステップS108において、コンフィグレーション制御部362は、画像信号処理部31のコンフィグレーションを行わないようにしてもよい。
ステップS108に続くステップS109において、コンフィグレーションした画像信号処理部31を起動する。起動後、内視鏡2Bから取得した画像信号に基づく内視鏡画像を含む画像情報と、該画像情報に関する文字情報とを重畳した合成画像である表示画像を、表示装置4に表示することが可能となる。
ステップS109に続くステップS110において、制御部36は、処理装置3の動作を終了する旨の指示があるか否かを判断する。制御部36は、例えば、入力部34により処理装置3の動作を終了する旨の指示入力が受け付けられていないと判断すると(ステップS110:No)、ステップS106に戻って上述した処理を繰り返し、入力部34により処理装置3の動作を終了する旨の指示入力が受け付けられたと判断すると(ステップS110:Yes)、上述したコンフィグレーションを終了する。
上述した本発明の一実施の形態によれば、処理装置3において、内視鏡が接続されてリコンフィグレーションする際に、コンフィグレーション制御部362による制御のもと、接続された内視鏡の撮像素子に応じて行われるプログラムデータをコンフィグレーションし、表示画像のためのプログラムデータはコンフィグレーションしないようにしたので、コンフィグレーションに要する時間を短縮することができる。
また、本発明の一実施の形態によれば、起動時に表示用画像処理部32のコンフィグレーションおよび起動を、画像信号処理部31のコンフィグレーションおよび起動よりも先に行うとともに、内視鏡が差し替えられた際に、内視鏡の撮像素子に応じて行われるプログラムデータをリコンフィグレーションし、表示画像のためのプログラムデータはリコンフィグレーションしないようにした。これにより、画像信号処理部31がリコンフィグレーション中であってもディスプレイに文字情報等の表示画像を表示装置4に表示させることができる。
(実施の形態の変形例)
本変形例では、内視鏡が備える撮像素子に応じて行われる信号処理を行う画像信号処理部を複数のFPGAにより構成し、各信号処理の内容に対応したプログラムデータを、それぞれリコンフィグレーションする。図5は、本発明の実施の形態の変形例にかかる内視鏡システムの概略構成を示すブロック図である。図5では、実線の矢印が画像にかかる電気信号の伝送を示し、破線の矢印が制御にかかる電気信号の伝送を示している。
本変形例にかかる内視鏡システム1Aは、被検体内に先端部を挿入することによって被検体内の内視鏡画像を撮像する内視鏡2と、内視鏡2の先端から出射する照明光を発生する光源部3aを有し、内視鏡2が撮像した画像信号に所定の信号処理を施すとともに、内視鏡システム1A全体の動作を統括的に制御する処理装置3Aと、処理装置3Aの信号処理により生成された内視鏡画像を表示する表示装置4と、を備える。すなわち、内視鏡システム1Aは、上述した内視鏡システム1Aの処理装置3に代えて、処理装置3Aを備える。
処理装置3Aは、画像信号処理部31Aと、表示用画像処理部32と、OSD処理部33と、入力部34と、記憶部35と、制御部36と、を備える。
画像信号処理部31Aは、内視鏡2から、撮像素子244が撮像した内視鏡画像を表す画像データである画像信号を受信する。画像信号処理部31Aは、内視鏡2から入力された画像信号に対し、撮像素子に応じた画素欠陥補正、光学補正、色補正、オプティカルブラック減算等の前処理を行う専用前処理部311と、前処理によって生成された信号に対して、接続される内視鏡が備える撮像素子に応じたノイズリダクション、ホワイトバランス調整、補間処理等の信号処理を行う専用処理部312と、RGBの輝度を予め設定されているフォーマットに合わせる共通化処理を行う共通化処理部313と、を有する。画像信号処理部31Aは、共通化処理部313の共通化処理により生成された処理信号を、表示用画像処理部32に入力する。
専用前処理部311、専用処理部312および共通化処理部313は、FPGAを用いて構成され、コンフィグレーション制御部362の制御に基づいて入力されたプログラムデータを読み込み、論理回路の書き換え(リコンフィグレーション)を行う。
本変形例においても、図4に示すフローチャートに沿ってコンフィグレーションが行われる。本変形例では、ステップS104およびS108において、専用前処理部311、専用処理部312および共通化処理部313のコンフィグレーションが行われる。本変形例のように、画像信号処理部31Aを細分化して、各部のコンフィグレーションを行うようにしてもよい。
本変形例においてコンフィグレーションを行う際、プログラムデータが共通である場合は、該当するブロックのコンフィグレーションを行わないようにしてもよい。例えば、共通化処理部313のプログラムデータが、接続され得る内視鏡において共通であれば、共通化処理部313のコンフィグレーションを行わなくてもよい。これにより、コンフィグレーションに要する時間を短縮し、処理負荷を軽減することができる。
なお、上述した実施の形態において、一つのFPGAにおいて、パーシャルコンフィグレーションを行うことによって、画像信号処理部31,31Aの一部のコンフィグレーションを行うようにしてもよい。
上述した実施の形態では、表示用画像処理部32のコンフィグレーションおよび起動を、画像信号処理部31,31Aのコンフィグレーションおよび起動よりも先に行うものとして説明したが、画像信号処理部31,31Aのコンフィグレーションおよび起動を、表示用画像処理部32のコンフィグレーションおよび起動よりも先に行うようにしてもよい。
また、上述した実施の形態では、コンフィグレーション情報記憶部351が、処理装置3に設けられているものとして説明したが、内視鏡2の識別データやコンフィグレーションにかかるプログラムデータが外部の記憶装置に記憶され、処理装置3が、この外部の記憶装置から情報を取得するものであってもよいし、コンフィグレーション情報記憶部351を内視鏡に設けるようにしてもよい。
また、上述した実施の形態では、処理装置3が、RGBの各色成分が付与された画像を含む処理信号を生成するものとして説明したが、YCbCr色空間に基づいて輝度(Y)成分および色差成分を含むYCbCr色空間を有する処理信号を生成するものであってもよいし、色相(Hue)、彩度(Saturation Chroma)、明度(Value Lightness Brightness)の三つの成分からなるHSV色空間や、三次元空間を用いるL***色空間等を用いて、色と輝度とに分けた成分を有する処理信号を生成するものであってもよい。
また、上述した実施の形態では、光源部3aからRGBの各色成分を含む白色の照明光が出射され、受光部が照明光による反射光を受光する同時式の照明/撮像方式であるものとして説明したが、光源部3aが、各色成分の光を個別に順次出射して、受光部が、各色成分の光をそれぞれ受光する面順次式の照明/撮像方式であってもよい。
また、上述した実施の形態では、光源部3aが内視鏡2とは別体で構成されているものとして説明したが、例えば、内視鏡2の先端に半導体光源を設ける等、光源装置を内視鏡2に設けた構成であってもよい。さらに、内視鏡2に処理装置3の機能を付与してもよい。
また、上述した実施の形態では、光源部3aが、処理装置3とは一体であるものとして説明したが、光源部3aおよび処理装置3が別体であって、例えば処理装置3の外部に照明部301および照明制御部302が設けられているものであってもよい。また、光源301aが先端部24の先端に設けられているものであってもよい。
また、上述した実施の形態では、本発明にかかる内視鏡システムは、観察対象が被検体内の生体組織等である軟性の内視鏡2を用いた内視鏡システム1であるものとして説明したが、硬性の内視鏡や、材料の特性を観測する工業用の内視鏡、カプセル型の内視鏡、ファイバースコープ、光学視管等の光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡システムであっても適用できる。
以上のように、本発明にかかる画像処理装置は、コンフィグレーションに要する時間を短縮し、かつコンフィグレーション中でもディスプレイに画像を表示するのに有用である。
1 内視鏡システム
2 内視鏡
3 処理装置
3a 光源部
4 表示装置
21 挿入部
22 操作部
23 ユニバーサルコード
24 先端部
25 湾曲部
26 可撓管部
31,31A 画像信号処理部
32 表示用画像処理部
33 OSD処理部
34 入力部
35 記憶部
36 制御部
301 照明部
302 照明制御部
311 専用前処理部
312 専用処理部
313 共通化処理部
331 OSD情報記憶部
351 コンフィグレーション情報記憶部
351a 識別パラメータ記憶部
351b プログラムデータ記憶部
361 検出部
362 コンフィグレーション制御部
363 表示制御部

Claims (4)

  1. 接続された内視鏡が撮像した画像信号に対して信号処理を施す画像処理装置であって、
    書き換え可能な論理回路を用いて構成され、前記内視鏡の種別に応じて前記画像信号の信号処理を行う画像信号処理部と、
    書き換え可能な論理回路を用いて構成され、前記画像信号処理部によって信号処理が施された処理信号に基づいて、表示装置の表示態様に応じた表示用の画像信号を生成する表示用画像処理部と、
    前記画像処理装置の起動時において表示用画像処理のコンフィグレーションを行わせるともに、当該画像処理装置に接続された前記内視鏡の種別に応じて前記画像処理部に対してコンフィグレーションを行わせ、前記画像信号処理部および前記表示画像処理部によるコンフィグレーション実行後、前記内視鏡の差し替えが検出された場合に、前記内視鏡の種別に応じて前記画像信号処理部に対してのみリコンフィグレーションを行わせるコンフィグレーション制御部と、
    前記表示用画像処理部により生成された前記表示用の画像信号に応じた表示画像を表示装置に表示させる表示制御部と、
    を備えたことを特徴とする画像処理装置。
  2. 前記画像処理装置に接続される前記内視鏡の種別に対応する画像処理の内容に応じたログラムデータを記憶するプログラムデータ記憶部、
    をさらに備えることを特徴とする請求項1に記載の画像処理装置。
  3. 前記画像信号処理部は、互いに異なる信号処理を行う書き換え可能な複数の論理回路を用いて構成されている
    ことを特徴とする請求項1に記載の画像処理装置。
  4. 前記表示用画像処理部が生成した表示用の画像信号を嵌め込む領域を有する背景画像に対して文字情報を重畳した合成処理を行うオンスクリーンディスプレイ処理部、
    をさらに備え、
    前記表示制御部は、前記表示用画像処理部が起動した後、前記オンスクリーンディスプレイ処理部で合成処理された画像を前記表示画像として表示装置に表示させる
    ことを特徴とする請求項1に記載の画像処理装置。
JP2017558508A 2016-06-23 2017-06-09 画像処理装置 Active JP6378846B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016124569 2016-06-23
JP2016124569 2016-06-23
PCT/JP2017/021433 WO2017221738A1 (ja) 2016-06-23 2017-06-09 画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2017221738A1 JPWO2017221738A1 (ja) 2018-06-28
JP6378846B2 true JP6378846B2 (ja) 2018-08-22

Family

ID=60783843

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017558508A Active JP6378846B2 (ja) 2016-06-23 2017-06-09 画像処理装置

Country Status (3)

Country Link
US (1) US20190082936A1 (ja)
JP (1) JP6378846B2 (ja)
WO (1) WO2017221738A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7048628B2 (ja) 2016-11-28 2022-04-05 アダプティブエンドウ エルエルシー 分離可能使い捨てシャフト付き内視鏡
JP7109729B2 (ja) * 2018-02-07 2022-08-01 株式会社エビデント 内視鏡装置、内視鏡装置の制御方法、内視鏡装置の制御プログラム、および記録媒体
EP3840685A1 (en) * 2018-08-24 2021-06-30 Intuitive Surgical Operations, Inc. Off-camera calibration parameters for an image capture device
JP7128135B2 (ja) * 2019-03-08 2022-08-30 富士フイルム株式会社 内視鏡画像学習装置、方法及びプログラム、内視鏡画像認識装置
US20200397277A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Videostroboscopy of vocal cords with a hyperspectral, fluorescence, and laser mapping imaging system
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7520853B2 (en) * 2001-12-28 2009-04-21 Karl Storz Imaging, Inc. Updateable endoscopic video imaging system
JP2003334163A (ja) * 2002-03-14 2003-11-25 Olympus Optical Co Ltd 内視鏡画像処理装置
JP2003265407A (ja) * 2002-03-15 2003-09-24 Olympus Optical Co Ltd 内視鏡装置
US7855727B2 (en) * 2004-09-15 2010-12-21 Gyrus Acmi, Inc. Endoscopy device supporting multiple input devices
WO2008003126A1 (en) * 2006-07-07 2008-01-10 Signostics Pty Ltd Improved medical interface
JP2011254381A (ja) * 2010-06-03 2011-12-15 Olympus Corp 画像処理装置
JP2012248031A (ja) * 2011-05-27 2012-12-13 Fujifilm Corp 電子機器、内視鏡装置及び電子機器のプログラムモジュール更新方法
JP5856792B2 (ja) * 2011-10-12 2016-02-10 Hoya株式会社 内視鏡装置
JP6463156B2 (ja) * 2015-01-30 2019-01-30 キヤノン株式会社 通信装置

Also Published As

Publication number Publication date
US20190082936A1 (en) 2019-03-21
JPWO2017221738A1 (ja) 2018-06-28
WO2017221738A1 (ja) 2017-12-28

Similar Documents

Publication Publication Date Title
JP6378846B2 (ja) 画像処理装置
JP6329715B1 (ja) 内視鏡システムおよび内視鏡
US20210307587A1 (en) Endoscope system, image processing device, total processing time detection method, and processing device
US10574934B2 (en) Ultrasound observation device, operation method of image signal processing apparatus, image signal processing method, and computer-readable recording medium
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP6774552B2 (ja) プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法
JP5926980B2 (ja) 撮像装置および撮像システム
WO2016088628A1 (ja) 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
US10462440B2 (en) Image processing apparatus
WO2017203996A1 (ja) 画像信号処理装置、画像信号処理方法および画像信号処理プログラム
JP6937902B2 (ja) 内視鏡システム
JP6503522B1 (ja) 画像処理装置、画像処理システムおよび画像処理方法
JP2017123997A (ja) 撮像システムおよび処理装置
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
JP2018007840A (ja) 画像処理装置
US11509834B2 (en) Image processing apparatus and image processing method
WO2017022323A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP2017221276A (ja) 画像処理装置
WO2018079387A1 (ja) 画像処理装置および画像処理システム
JP2005040181A (ja) 自家蛍光観察装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180727

R151 Written notification of patent or utility model registration

Ref document number: 6378846

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250