JP7230174B2 - 内視鏡システム、画像処理装置および画像処理装置の制御方法 - Google Patents

内視鏡システム、画像処理装置および画像処理装置の制御方法 Download PDF

Info

Publication number
JP7230174B2
JP7230174B2 JP2021503298A JP2021503298A JP7230174B2 JP 7230174 B2 JP7230174 B2 JP 7230174B2 JP 2021503298 A JP2021503298 A JP 2021503298A JP 2021503298 A JP2021503298 A JP 2021503298A JP 7230174 B2 JP7230174 B2 JP 7230174B2
Authority
JP
Japan
Prior art keywords
processing
image
unit
endoscope
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021503298A
Other languages
English (en)
Other versions
JPWO2020178962A1 (ja
Inventor
智樹 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2020178962A1 publication Critical patent/JPWO2020178962A1/ja
Application granted granted Critical
Publication of JP7230174B2 publication Critical patent/JP7230174B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00018Operational features of endoscopes characterised by signal transmission using electrical cables
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Description

本発明は、内視鏡を備える内視鏡システムおよび画像処理装置に関する。
従来、医療分野においては、被検体内部の観察のために内視鏡システムが用いられている。内視鏡は、一般に、患者等の被検体内に細長形状をなす可撓性の挿入部を挿入し、この挿入部先端から光源装置によって供給された照明光を照明し、この照明光の反射光を挿入部先端の撮像部で受光することによって体内画像を撮像する。内視鏡の撮像部によって撮像された体内画像は、内視鏡システムの処理装置において所定の画像処理が施された後に、内視鏡システムのディスプレイに表示される。医師等のユーザは、ディスプレイに表示される体内画像に基づいて、被検体の臓器を観察する。
ところで、処理装置では、画像の種類や画像処理の種別によって体内画像を取得してから、表示用の画像データが生成されるまでの処理時間が異なる。処理時間が長いと、内視鏡で撮像されてから表示装置に表示されるまでのタイムラグも長くなる。タイムラグが長くなると、被検体内における内視鏡の実際の位置と、表示装置を見て術者が認識する内視鏡の位置とにずれが生じ、適切な位置への処置ができない場合がある。
表示のタイムラグに関しては、装置の処理遅延を考慮して信号処理する技術が知られている(例えば、特許文献1を参照)。特許文献1では、画像処理装置とプロセッサとを同期することによって、それぞれに接続される表示装置が表示する画像を同期している。
特開2011-036488号公報
しかしながら、特許文献1では、異なる処理装置に接続される表示装置の表示画像を揃えているだけであり、内視鏡の実際の位置と、術者が認識した位置とのずれを抑制することはできない。また、特許文献1では、内視鏡や表示装置における処理時間については考慮されていなかった。内視鏡システムにおける処理では、内視鏡や表示装置においても処理装置と同様に信号処理に要する時間が画像の種類や装置の種別によって異なる。
本発明は、上記に鑑みてなされたものであって、内視鏡の実際の位置と、表示画像をみた術者が認識する内視鏡の位置とのずれを抑制することができる内視鏡システムおよび画像処理装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る内視鏡システムは、被検体を撮像して撮像信号を出力する内視鏡と、前記内視鏡から入力される前記撮像信号に対して画像処理を施す画像処理装置と、前記画像処理装置によって画像処理が施された前記撮像信号に基づいて前記被検体の画像を表示する表示装置と、を備え、前記内視鏡、前記画像処理装置および前記表示装置のいずれかに設けられ、前記内視鏡において前記撮像信号を生成して出力するまでに要する第1の処理時間と、前記画像処理装置において前記撮像信号が入力されてから前記表示装置に出力するまでの処理に要する第2の処理時間と、前記表示装置において前記撮像信号が入力されてから前記撮像信号に基づき前記画像が表示されるまでの処理に要する第3の処理時間との総和を算出する総処理時間検出部、を有することを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記内視鏡は、受光した光を光電変換し、該光電変換した電気信号を読み出すことによって前記撮像信号を生成する撮像素子と、前記撮像素子が生成した前記撮像信号に対して信号処理を施す第1の処理部と、を有し、前記画像処理装置は、前記内視鏡から入力される前記撮像信号に対して複数種類の処理を施す第2の処理部、を有し、前記表示装置は、前記画像処理装置から入力される前記撮像信号に基づいて、画像表示にかかる処理を施す第3の処理部、を有し、前記総処理時間検出部は、前記撮像素子および前記第1の処理部が処理に要する第1の処理時間と、前記第2の処理部が処理に要する第2の処理時間と、前記第3の処理部が処理に要する第3の処理時間とを総和することを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記総処理時間検出部によって算出された前記総和が、所定の閾値以上である場合に、前記内視鏡の現在位置と、前記表示装置において表示される被検体の画像から認識される前記内視鏡の位置とにずれが生じていることを報知する報知部、をさらに備えることを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記画像処理装置は、前記総処理時間検出部によって算出された前記総和が、所定の閾値以上である場合に、前記第2の処理部に、当該第2の処理部が実施する処理の一部を間引いた間欠処理を実施させる制御部、をさらに備えることを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記画像処理装置は、予め設定されている基準画像データを前記表示装置に出力する基準画像データ出力部と、前記表示装置の前記第3の処理部によって処理された前記基準画像データを取得して、前記基準画像データ出力部が前記表示装置に出力した第1の基準画像データと、前記表示装置から取得した第2の基準画像データとの位相を比較することによって、前記第3の処理部が処理に要する前記第3の処理時間を取得する位相比較部と、を備え、前記総処理時間検出部は、前記第1および第2の処理時間と、前記位相比較部が取得した、前記第3の処理時間との総和を算出することを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記総処理時間検出部は、前記内視鏡に格納された前記第1の処理時間と、前記画像処理装置に格納された前記第2の処理時間と、前記表示装置に格納された前記第3の処理時間との総和を算出することを特徴とする。
また、本発明に係る画像処理装置は、被検体を撮像して撮像信号を出力する内視鏡と、前記被検体の画像を表示する表示装置とに接続し、前記内視鏡から入力される前記撮像信号に対して画像処理を施す画像処理装置であって、前記内視鏡において前記撮像信号を生成して出力するまでに要する第1の処理時間と、前記画像処理装置において前記撮像信号が入力されてから前記表示装置に出力するまでの処理に要する第2の処理時間と、前記表示装置において前記撮像信号が入力されてから前記撮像信号に基づき前記画像が表示されるまでの処理に要する第3の処理時間との総和を算出する総処理時間検出部、を備えることを特徴とする。
本発明によれば、内視鏡の実際の位置と、表示画像をみた術者が認識する内視鏡の位置とのずれを抑制することができるという効果を奏する。
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す図である。 図2は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示すブロック図である。 図3は、本発明の実施の形態1にかかる内視鏡システムが備える画像処理部の構成を説明する図である。 図4は、本発明の実施の形態1にかかる内視鏡システムが行う画像処理によって表示される画像について説明する図である。 図5は、本発明の実施の形態1にかかる内視鏡システムが行う遅延検出処理を示すフローチャートである。 図6は、本発明の実施の形態2にかかる内視鏡システムが行う遅延検出処理を示すフローチャートである。 図7は、本発明の実施の形態3にかかる内視鏡システムが行う遅延検出処理を示すフローチャートである。 図8は、本発明の実施の形態4にかかる内視鏡システムの概略構成を示すブロック図である。 図9は、本発明の実施の形態4にかかる内視鏡システムが行う遅延時間取得処理について説明する図である。
以下、本発明を実施するための形態(以下、「実施の形態」という)を説明する。実施の形態では、本発明にかかる内視鏡システムの一例として、患者等の被検体を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態によって、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
(実施の形態1)
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す図である。図2は、本実施の形態1にかかる内視鏡システムの概略構成を示すブロック図である。
図1および図2に示す内視鏡システム1は、被検体内に先端部を挿入することによって被検体を撮像する内視鏡2と、内視鏡2の先端から出射する照明光を発生する照明部3aを有し、内視鏡2が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム1全体の動作を統括的に制御する処理装置3と、処理装置3の信号処理によって生成された体内画像を表示する表示装置4と、を備える。
内視鏡2は、可撓性を有する細長形状をなす挿入部21と、挿入部21の基端側に接続され、各種の操作信号の入力を受け付ける操作部22と、操作部22から挿入部21が延びる方向と異なる方向に延び、処理装置3(照明部3aを含む)に接続する各種ケーブルを内蔵するユニバーサルコード23と、を備える。
挿入部21は、光を受光して光電変換することによって信号を生成する画素が2次元状に配列された撮像素子244を内蔵した先端部24と、複数の湾曲駒によって構成された湾曲自在な湾曲部25と、湾曲部25の基端側に接続され、可撓性を有する長尺状の可撓管部26と、を有する。挿入部21は、被検体の体腔内に挿入され、外光の届かない位置にある生体組織などの被写体を撮像素子244によって撮像する。
先端部24は、グラスファイバ等を用いて構成されて照明部3aが発光した光の導光路をなすライトガイド241と、ライトガイド241の先端に設けられた照明レンズ242と、集光用の光学系243と、光学系243の結像位置に設けられ、光学系243が集光した光を受光して電気信号に光電変換する撮像素子244と、相関二重サンプリング(Correlated Double Sampling:CDS)法を用いてアナログの撮像信号に含まれるノイズ成分を低減するCDS部245と、CDS部245を経て出力されたアナログの撮像信号をデジタル信号に変換するA/D変換部246と、メモリ247とを有する。
光学系243は、一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。
撮像素子244は、光学系243からの光を光電変換して電気信号(画像信号)を生成する。具体的には、撮像素子244は、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサなどをそれぞれ有する複数の画素がマトリックス状に配列され、各画素が光学系243からの光を光電変換して電気信号を生成する受光部244aと、受光部244aの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、撮像信号として出力する読み出し部244bとを有する。撮像素子244からは、表示画像の情報を構成する画像データを含む撮像信号が出力される。撮像素子244は、例えばCCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いて実現される。
メモリ247は、撮像素子244が各種動作を実行するための実行プログラム及び制御プログラムや、内視鏡2の識別情報、内視鏡2における信号処理に要する遅延時間を記憶する。識別情報には、内視鏡2の固有情報(ID)、年式、スペック情報、および伝送方式等が含まれる。また、メモリ247は、撮像素子244が生成した画像データ等を一時的に記憶してもよい。遅延時間は、信号処理に起因するデータ伝送の遅延時間に相当し、ここではフレーム数で設定される。具体的に、遅延時間は、読み出し部244bによって読出しを開始してから、A/D変換部246の変換処理が完了するまでの時間をフレーム数に換算した値である。メモリ247は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ等によって構成される。
操作部22は、湾曲部25を上下方向および左右方向に湾曲させる湾曲ノブ221と、被検体の体腔内に生検鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部222と、処理装置3に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入出力部である複数のスイッチ223と、を有する。処置具挿入部222から挿入される処置具は、先端部24の処置具チャンネル(図示せず)を経由して開口部(図示せず)から表出する。
ユニバーサルコード23は、ライトガイド241と、複数の信号線をまとめた集合ケーブル248と、を少なくとも内蔵している。集合ケーブル248は、撮像信号を伝送するための信号線や、撮像素子244を駆動するための駆動信号を伝送するための信号線、内視鏡2(撮像素子244)に関する固有情報などを含む情報を送受信するための信号線を含む。なお、本実施の形態では、信号線を用いて電気信号を伝送するものとして説明するが、光信号を伝送するものであってもよいし、無線通信によって内視鏡2と処理装置3との間で信号を伝送するものであってもよい。
次に、処理装置3の構成について説明する。処理装置3は、照明部3aと、プロセッサ部3bとを備える。プロセッサ部3bは、画像処理部31と、第1通信部32と、総遅延時間検出部33と、同期信号生成部34と、第2通信部35と、入出力部36と、制御部37と、記憶部38と、を備える。プロセッサ部3bは、画像処理装置に相当する。
まず、照明部3aの構成について説明する。照明部3aは、光源部310と、照明制御部320と、を備える。
光源部310は、照明光を出射する光源や、複数のレンズ、所定の波長帯域の光を通過させるフィルタ等を用いて構成され、所定の波長帯域の光の照明光を出射する。光源部310は、光源310aと、光源ドライバ310bと、回転フィルタ310cと、駆動部310dと、駆動ドライバ310eと、を有する。
光源部310は、白色LEDおよび一または複数のレンズ等を用いて構成され、光源ドライバ310bの制御のもと、白色光を回転フィルタ310cへ出射する。光源310aが発生させた白色光は、回転フィルタ310cおよびライトガイド241を経由して先端部24の先端から被写体に向けて出射される。
光源ドライバ310bは、照明制御部320の制御のもと、光源310aに対して電流を供給することによって、光源310aに白色光を出射させる。
回転フィルタ310cは、光源310aが出射する白色光の光路上に配置され、回転することによって、光源310aが出射した白色光のうち所定の波長帯域の光のみを透過させる。具体的には、回転フィルタ310cは、赤色光(R)、緑色光(G)および青色光(B)それぞれの波長帯域を有する光を透過させる赤色フィルタ311、緑色フィルタ312および青色フィルタ313を有する。回転フィルタ310cは、回転することによって、赤、緑および青の波長帯域(例えば、赤:600nm~700nm、緑:500nm~600nm、青:400nm~500nm)の光を順次透過させる。これによって、光源310aが出射する白色光(W照明)を用いて、赤色光(R照明)、緑色光(G照明)および青色光(B照明)いずれかの光を内視鏡2に順次出射することができる(面順次方式)。
駆動部310dは、ステッピングモータやDCモータ等を用いて構成され、回転フィルタ310cを回転動作させる。
駆動ドライバ310eは、照明制御部320の制御のもと、駆動部310dに所定の電流を供給する。
照明制御部320は、制御部37からの制御信号に基づいて、光源310aに供給する電流量を制御する。また、照明制御部320は、制御部37の制御のもと、光源ドライバ310bを経て駆動部31dを駆動することによって、回転フィルタ310cを回転させる。
なお、光源310aを赤色LED、緑色LEDおよび青色LEDで構成し、光源ドライバ310bが各LEDに対して電流を供給することによって赤色光、緑色光または青色光を順次出射させるものであってもよい。また、白色LEDや、赤色LED、緑色LEDおよび青色LEDから同時に光を出射させるものや、レーザ、キセノンランプなどの放電灯等によって白色光を被検体に照射して画像を取得するものであってもよい。
画像処理部31は、内視鏡2から、撮像素子244が撮像した各色の照明光の撮像信号を受信する。画像処理部31は、内視鏡2から受信した撮像信号に対して所定の画像処理を施して表示用の撮像信号を生成して表示装置4へ出力する。画像処理部31は、CPU(Central Processing Unit)等の汎用プロセッサや、ASIC(Application Specific Integrated Circuit)、処理内容を書き換え可能なプログラマブルロジックデバイスであるFPGA(Field Programmable Gate Array)等の特定の機能を実行する各種演算回路等の専用プロセッサを、一つ、または複数を組み合わせて構成される。
図3は、本発明の実施の形態1にかかる内視鏡システムが備える画像処理部の構成を説明する図である。画像処理部31は、D/A変換部501と、調光検波部502と、AGC(Automatic Gain Control)部503と、ノイズ除去部504と、ホワイトバランス(WB)処理部505と、フリーズ処理部506と、ガンマ処理部507と、カラーマトリクス処理部508と、拡大縮小処理部509と、強調処理部510と、A/D変換部511と、第1フレームメモリ521と、第2フレームメモリ522と、第3フレームメモリ523とを有する。
D/A変換部501は、内視鏡2から入力されたデジタルの撮像信号をアナログ信号に変換する。以下、画像処理部51では、撮像信号に含まれるデータのうち、画像表示に関するデータ(画像データ)に対して各種の処理を実施する。
調光検波部502は、D/A変換部501から入力される画像データに含まれるRGB画像情報に基づいて、各画像に対応する明るさレベルを検出する。調光検波部502は、検出した明るさレベルに基づいて、照明部3aが発生する光量や発光タイミング等の発光条件を設定する。
AGC部503は、画像データに対して、信号値の増幅率(ゲイン)を調整して一定の出力レベルを維持する処理を施す。AGC部503は、調光検波部502が設定した発光条件に応じたゲイン調整を実施する。
ノイズ除去部504は、AGC部503から入力された画像データに対してノイズ低減処理を施す。ノイズ除去部504は、例えば第1フレームメモリ521を参照して前のフレームの画像データを取得し、取得した画像データと、ノイズ除去処理対象の画像データとを用いてノイズを除去する。ノイズ低減処理は、公知の手法を用いることができる。
WB処理部505は、ノイズ除去処理後の画像データに対してホワイトバランスを補正する処理を施す。ホワイトバランスの補正処理は、公知の手法を用いることができる。
フリーズ処理部506は、スイッチ223の押下によってフリーズ指示信号の入力を受け付けた場合に、第2フレームメモリ522を参照して、表示装置4にフリーズ表示させる画像データを選択する。フリーズ処理部506は、選択した画像データをガンマ処理部507に出力する。フリーズ処理部506は、例えば、第2フレームメモリ522に記憶されている画像データからぶれの小さい画像データを選択する。
一方、フリーズ処理部506は、フリーズ指示信号の入力を受け付けていない場合、第2フレームメモリ522における所定の画像データ、例えば取得(撮像)時刻が最新の画像データをガンマ処理部507に出力する。ここで、フリーズ処理部506は、最新の画像データを取得する際には、WB処理部505から画像データを取得してもよい。
なお、フリーズ処理部506は、フリーズ対象の画像データを選択後、フリーズ処理による静止画表示期間内では、WB処理部505から入力される画像データを第2フレームメモリ522に出力する処理のみを行う。フリーズ処理部506は、フリーズ処理が解除された後、WB処理部505から新たに入力される画像データを含めて、第2フレームメモリ522から最新の画像データの選択を行う。このため、フリーズ処理後において表示装置4に表示される画像は、フリーズ処理による静止画表示期間における最新の画像データが抜けた、フリーズ処理前とは時系列で間があいた画像が表示されることになる。所定のフレーム数の画像データが抜けることによって、フリーズ処理前後に表示される画像において、時系列で隣り合う画像を動画表示する場合と比して、被写体像の変化が大きくなる場合がある。
ガンマ処理部507は、フリーズ処理部506から入力された画像データに対してガンマ補正処理を施す。ガンマ処理部507は、画像データに対して、予め設定されているγ値を用いて、輝度の小さい暗い部分の明るさを明るくする階調補正を行う。ガンマ補正処理は、公知の手法を用いることができる。
カラーマトリクス処理部508は、ガンマ処理部507から入力された画像データに対し、色再現性を向上するための色補正を行う。カラーマトリクス処理部508は、画像データに対して、機器間で異なる色を統一的に管理する。カラーマトリクス処理部508は、例えば、内視鏡2、処理装置3および表示装置4の間の色を統一的に管理する。カラーマトリクス処理部508は、CMS(Color Management System)を用いて構成される。カラーマトリクス処理は、公知の手法を用いることができる。
拡大縮小処理部509は、予め設定された拡大率もしくは縮小率、または入出力部36を経て入力された拡大率もしくは縮小率に応じて、画像データのサイズを変更する処理を施す。なお、拡大縮小処理部509の処理は、設定によって拡大または縮小できなくすることもできる。ズーム処理の可否は、例えば入出力部36が受け付けた情報によって切り替えてもよい。
強調処理部510は、拡大縮小処理後の画像データに対し、輪郭強調処理を施す。強調処理部510の強調処理によって、輪郭が一層明確に表現された画像データが生成される。輪郭強調処理は、公知の手法を用いることができる。
A/D変換部511は、強調処理部510を経て出力されたアナログの画像データをデジタル信号に変換する。A/D変換部511は、デジタル変換後の画像データを、画像表示用の撮像信号として表示装置4に出力する。
第1フレームメモリ521、第2フレームメモリ522、第3フレームメモリ523は、接続する各部によって生成された画像データを設定されたフレーム分記憶する。本実施の形態1では、各フレームメモリは、数フレーム分の画像データを記憶する。各フレームメモリは、新たな画像データが入力されると、現在記憶している画像データのうち、最も古い画像データを、新たな画像データで上書きすることで、取得時間の新しい方から順に数フレーム分の画像データを順次更新しながら記憶する。第1フレームメモリ521、第2フレームメモリ522および第3フレームメモリ523は、RAM(Random Access Memory)、例えばVRAM(Video RAM)を用いて構成される。
第1通信部32は、内視鏡2が接続された際に、内視鏡2のメモリ247に記憶されている処理時間を取得する。第1通信部32は、CPU等の汎用プロセッサやASIC等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
総遅延時間検出部33は、内視鏡2、処理装置3および表示装置4において1フレーム分の撮像信号の生成から画像データを表示装置4に表示するまでの信号処理に要する遅延時間を検出する。具体的に、総遅延時間検出部33は、内視鏡2の遅延時間、処理装置3の遅延時間、および表示装置4の遅延時間の総和を算出する。本実施の形態1において総遅延時間検出部33が算出する値は、総遅延時間をフレーム数に換算した値である。総遅延時間検出部33は、CPU等の汎用プロセッサやASIC等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
同期信号生成部34は、処理装置3の動作の基準となるクロック信号(同期信号)を生成するとともに、生成した同期信号を照明部3aや、画像処理部31、制御部37、内視鏡2へ出力する。ここで、同期信号生成部34が生成する同期信号は、水平同期信号と垂直同期信号とを含む。
このため、照明部3a、画像処理部31、制御部37、内視鏡2は、生成された同期信号によって、互いに同期をとって動作する。
第2通信部35は、表示装置4が接続された際に、表示装置4のメモリ44に記憶されている、表示装置4における信号処理に要する処理時間を取得する。第2通信部35は、CPU等の汎用プロセッサやASIC等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
入出力部36は、キーボード、マウス、スイッチ、タッチパネルを用いて実現され、内視鏡システム1の動作を指示する動作指示信号等の各種信号の入力を受け付ける。また、入出力部36は、スピーカー、光源のうちの少なくとも一つを用いて実現され、音または光を出力する。なお、入出力部36は、操作部22に設けられたスイッチや、外部のタブレット型のコンピュータなどの可搬型端末を含んでいてもよい。
制御部37は、撮像素子244および照明部3aを含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部37は、記憶部38に記憶されている撮像制御のための制御情報データ(例えば、読み出しタイミングなど)を参照し、集合ケーブル248に含まれる所定の信号線を経由して駆動信号として撮像素子244へ送信する。制御部37は、CPU等の汎用プロセッサやASIC等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
記憶部38は、内視鏡システム1を動作させるための各種プログラム、および内視鏡システム1の動作に必要な各種パラメータ等を含むデータ、ならびに、処理装置3における信号処理に要する遅延時間を記憶する。また、記憶部38は、処理装置3の識別情報を記憶する。ここで、識別情報には、処理装置3の固有情報(ID)、年式およびスペック情報等が含まれる。処理時間は、処理装置3における信号処理に起因するデータ伝送の遅延時間に相当し、内視鏡2から画像データが入力されてから、画像データが表示装置4に出力されるまでの時間をフレーム数に換算した値である。また、記憶部38は、内視鏡2や表示装置4を含むシステム全体における信号処理を制御するための信号処理条件を記憶する信号処理情報記憶部381を有する。信号処理情報記憶部381には、例えば、総遅延時間検出部33が検出した総遅延時間に対して設定される一つまたは複数の閾値が記憶される。
また、記憶部38は、処理装置3の画像取得処理方法を実行するための画像取得処理プログラムを含む各種プログラムを記憶する。各種プログラムは、ハードディスク、フラッシュメモリ、CD-ROM、DVD-ROM、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを経由してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、LAN(Local Area Network)、WAN(Wide Area Network)などによって実現されるものであり、有線、無線を問わない。
以上の構成を有する記憶部38は、各種プログラム等が予めインストールされたROM(Read Only Memory)、および各処理の演算パラメータやデータ等を記憶するRAMやハードディスク等を用いて実現される。
表示装置4は、映像ケーブルを経由して処理装置3(画像処理部31)から受信した画像データに対応する表示画像を表示する。表示装置4は、表示処理部41と、表示部42と、メモリ44とを備える。
表示処理部41は、処理装置3から受信した画像データに対して所定の処理、例えば同時化処理や形式変換等を施して表示部42へ出力する。同時化処理は、光源部310がR照明光の照射時に撮像素子244が生成した画像データに基づくR画像データ、光源部310がG照明光の照射時に撮像素子244が生成した画像データに基づくG画像データ、および光源部310がB照明光の照射時に撮像素子244が生成した画像データに基づくB画像データの各々を同時化する処理である。
表示部42は、液晶または有機EL(Electro Luminescence)等のモニタを用いて構成される。
報知部43は、スピーカー、光源のうちの少なくとも一つを用いて実現され、音または光を出力する。報知部43は、表示遅延の度合いに応じて音、光を発する。
メモリ44は、表示装置4が各種動作を実行するための実行プログラム及び制御プログラムや、表示装置4における信号処理に要する処理時間を記憶する処理時間は、信号処理に起因するデータ伝送の遅延時間に相当し、処理装置3から画像データが入力されてから、表示部42に表示するまでの時間をフレーム数に換算した値である。メモリ44は、RAM、ROM、フラッシュメモリ等によって構成される。
ここで、内視鏡システム1において、信号処理に遅延が生じた場合の、内視鏡2によって撮像されたときの像と、表示装置4に表示される画像とについて、図4を参照して説明する。図4は、本発明の実施の形態1にかかる内視鏡システムが行う画像処理によって表示される画像について説明する図であって、撮像タイミングおよび表示タイミングを示すタイミングチャートである。図4において、横軸は時間経過を示す。図4の(a)は、内視鏡2の撮像素子244によって撮像された際の像を示す。図4の(b)は、遅延なく表示装置4に表示される画像を示す。図4の(c)は、1フレーム分の表示時間だけ遅延した場合に表示装置4に表示される画像を示す。図4の(d)は、2フレーム分の表示時間だけ遅延した場合に表示装置4に表示される画像を示す。
内視鏡2では、1フレーム分の画像データが、順次撮像される(図4の(a)参照)。具体的には、像F11、F12、F13、・・・、F16、F17、・・・の順で像が順次撮像される。像F12、F13、・・・、F16には、被写体Sが写っている。
内視鏡2で撮像された画像データが、上述した処理を経て表示装置4に表示される際、各処理において遅延が生じなければ、各フレームの画像データが、順次表示される(図4の(b)参照)。具体的には、像F11、F12、F13、・・・、F16、F17に対応する画像F21、F22、F23、・・・、F26、F27が順次表示される。各画像(画像F21、F22、F23、・・・、F26、F27、・・・)は、内視鏡2において撮像されたタイミングと同じタイミングで表示装置4に表示される。
これに対し、内視鏡2で撮像されてから上述した処理を経て表示装置4に表示されるまでの間に遅延が生じると、各フレームの画像データが、遅延した分遅れて順次表示される(図4の(b)、(c)参照)。例えば、1フレーム分の遅延が生じた場合、像F11、F12、F13、・・・、F16に対応する画像F31、F32、F33、・・・、F36は、内視鏡2において撮像されたタイミングに対して1フレーム分遅れて表示装置4に表示される(図4の(b)参照)。また、2フレーム分の遅延が生じた場合、像F11、F12、F13、F14、F15に対応する画像F41、F42、F43、F44、F45は、内視鏡2において撮像されたタイミングに対して2フレーム分遅れて表示装置4に表示される(図4の(c)参照)。
フレーム単位で表示に遅延が生じる場合、例えば、2フレーム分遅延する場合、内視鏡2の先端部24が、像F13が写る位置にある一方で、表示装置4の表示部42には、像F11に応じた画像F41が表示される。この場合、内視鏡2の実際の位置と、術者が認識する内視鏡2の位置であって、表示部42に表示される画像から識別される内視鏡2の位置とにずれが発生する。遅延フレーム数が大きくなれば、その分ずれも大きくなる。
本実施の形態1では、上述した表示遅延が発生する際に、その遅延度合いに応じて報知部43に報知処理を実行させる。
続いて、内視鏡システム1が行う遅延検出処理について説明する。図5は、本発明の実施の形態1にかかる内視鏡システムが行う遅延検出処理を示すフローチャートである。
処理装置3は、電源投入後、内視鏡2および表示装置4が接続されると、メモリ247、44から各装置の処理情報(遅延時間)を取得する(ステップS101)。
ステップS101に続くステップS102において、総遅延時間検出部33は、記憶部38を参照して処理装置3における処理時間(遅延時間)を取得し、各装置の遅延時間の総和を算出する。
ステップS102に続くステップS103において、制御部37は、各装置の遅延時間の総和と、閾値とを比較して、報知すべき遅延が生じ得るか否かを判断する。ここでの閾値は、予め設定され、記憶部38が記憶するものであり、フレーム数によって決定される値である。閾値としては、例えば、3以上のフレーム数が設定される。なお、入出力部36が受け付けた情報であって、術者等のユーザが設定した閾値に関する情報に応じて、閾値を設定(変更)してもよい。
ここで、制御部37は、各装置の遅延時間の総和が閾値以上である、すなわち、総和によって、報知すべき遅延が生じ得ると判断した場合(ステップS103:Yes)、ステップS104に移行する。一方、制御部37は、各装置の遅延時間の総和が閾値未満である、すなわち、総和によって、報知すべき遅延は生じないと判断した場合(ステップS103:No)、遅延検出処理を終了する。
ステップS104において、制御部37は、表示装置4の報知部43に、表示される画像に遅延が生じる旨を報知させる。報知部43は、音または光を出力することによって、術者に対し、内視鏡2の実際の位置と、術者が認識した内視鏡2の位置とにずれが発生している旨を報知する。
この際、報知の強度を段階的に変化させてもよい。例えば、報知用の複数の閾値を設定しておき、総遅延時間(フレーム数)が大きくなるほど、音の大きさや、光の強度を変化させてもよい。
また、報知部43のほか、入出力部36が報知処理を実行してもよい。
以上説明した実施の形態1では、内視鏡2、処理装置3および表示装置4の各装置における画像生成処理によって発生する遅延時間を検出し、検出結果に応じて報知部43が報知する。術者は、報知部43の報知処理によって、表示画像から自身が認識する内視鏡2の先端部24の位置が、実際の位置とずれていることを判断できる。本実施の形態1によれば、内視鏡2の実際の位置と、表示画像を観察する術者が認識する内視鏡2の位置とのずれを抑制することができる。
なお、実施の形態1では、遅延度合いに応じて報知部43が報知処理を実施する例を説明したが、表示部42に、内視鏡2の実際の位置と、術者が認識した内視鏡2の位置とにずれが発生している旨の情報を表示する構成としてもよい。
(実施の形態2)
次に、本発明の実施の形態2について、図6を参照して説明する。図6は、本発明の実施の形態2にかかる内視鏡システムが行う遅延検出処理を示すフローチャートである。なお、本実施の形態2にかかる内視鏡システムは、上述した内視鏡システムと構成が同じであるため、説明を省略する。以下、実施の形態1とは異なる処理について説明する。
処理装置3は、電源投入後、内視鏡2および表示装置4が接続されると、メモリ247、44から各装置の処理情報(遅延時間)を取得する(ステップS201)。
ステップS201に続くステップS202において、総遅延時間検出部33は、記憶部38を参照して処理装置3における処理時間(遅延時間)を取得し、各装置の遅延時間の総和を算出する。
ステップS202に続くステップS203において、制御部37は、各装置の遅延時間の総和と、閾値とを比較して、報知すべき遅延が生じ得るか否かを判断する。ここでの閾値は、実施の形態1と同じである。
ここで、制御部37は、各装置の遅延時間の総和が閾値以上である、すなわち、総和によって、報知すべき遅延が生じ得ると判断した場合(ステップS203:Yes)、ステップS204に移行する。一方、制御部37は、各装置の遅延時間の総和が閾値未満である、すなわち、総和によって、報知すべき遅延は生じないと判断した場合(ステップS203:No)、ステップS205に移行する。
ステップS204において、制御部37は、画像処理部31に対して、間欠処理を実施させる。間欠処理では、総遅延時間(フレーム数)に応じて、一部の処理を間引く。間引き対象の処理としては、例えば、フリーズ処理や強調処理等が挙げられる。総遅延時間が長い(フレーム数が大きい)ほど、間引く処理数も多くなる。この際、各処理の間引き優先順位が予め設定され、記憶部38に記憶される。制御部37は、総遅延時間と、この優先順位を参照して、間引く処理を決定する。
なお、異なる焦点の画像を合成して全焦点画像を生成する処理や、三次元画像を生成する処理、4K解像度に対応させる処理、動画の色ずれ補正処理等を実施する場合には、これらの処理が間引き対象の処理となる。
このほか、モニタ出力フォーマットに制約を加えて遅延時間を削減してもよいし、Display Portや、HDMI、DVIを用いている場合は、SDI等への変更を促してもよい。SDIに変更することによって、Display Portや、HDMI、DVIと比して、遅延時間を削減できる。
これに対し、ステップS205において、制御部37は、画像処理部31に対して、通常処理を実施させる。通常処理は、上述した画像処理部31の各部(図3参照)に、それぞれ処理を実行させる。
以上説明した実施の形態2では、内視鏡2、処理装置3および表示装置4の各装置における画像生成処理によって発生する遅延時間を検出し、検出結果に応じて画像処理の内容を変更する。本実施の形態2によれば、画像処理の一部を間引くことによって、遅延が解消され、その結果、内視鏡2の実際の位置と、表示画像を観察する術者が認識する内視鏡2の位置とのずれを抑制することができる。
(実施の形態3)
次に、本発明の実施の形態3について、図7を参照して説明する。図7は、本発明の実施の形態3にかかる内視鏡システムが行う遅延検出処理を示すフローチャートである。なお、本実施の形態3にかかる内視鏡システムは、上述した内視鏡システムと構成が同じであるため、説明を省略する。以下、実施の形態1、2とは異なる処理について説明する。実施の形態3では、遅延時間に基づいて、報知処理、または画像処理の変更処理を実行する。
処理装置3は、電源投入後、内視鏡2および表示装置4が接続されると、メモリ247、44から各装置の処理情報(遅延時間)を取得する(ステップS301)。
ステップS301に続くステップS302において、総遅延時間検出部33は、記憶部38を参照して処理装置3における処理時間(遅延時間)を取得し、各装置の遅延時間の総和を算出する。
ステップS302に続くステップS303において、制御部37は、各装置の遅延時間の総和と、第1閾値とを比較して、報知または処理変更すべき遅延が生じ得るか否かを判断する。ここでの第1閾値は、実施の形態1等と同様に、フレーム数で決まる数値である。
ここで、制御部37は、各装置の遅延時間の総和が第1閾値以上である、すなわち、総和によって、報知すべき遅延が生じ得ると判断した場合(ステップS303:Yes)、ステップS304に移行する。一方、制御部37は、各装置の遅延時間の総和が第1閾値未満である、すなわち、総和によって、報知すべき遅延は生じないと判断した場合(ステップS303:No)、遅延検出処理を終了する。
ステップS304において、制御部37は、各装置の遅延時間の総和と、第2閾値とを比較して、報知すべき遅延が生じ得るか否かを判断する。ここでの第2閾値は、フレーム数で決まる数値であって、第1閾値よりも大きい数値である。
ここで、制御部37は、各装置の遅延時間の総和が第2閾値以上である、すなわち、総和によって、報知すべき遅延が生じ得ると判断した場合(ステップS304:Yes)、ステップS305に移行する。一方、制御部37は、各装置の遅延時間の総和が第2閾値未満である、すなわち、総和によって、報知すべき遅延は生じないと判断した場合(ステップS304:No)、ステップS306に移行する。
ステップS305において、制御部37は、実施の形態1のステップS104と同様にして、表示装置4の報知部43に、表示される画像に遅延が生じる旨を報知させる。この際、制御部37は、画像処理部31に対して、上述した画像処理部31の各部(図3参照)に、それぞれ処理を実行させる通常処理を実施させる。
ステップS306において、制御部37は、実施の形態2のステップS204と同様にして、画像処理部31に対して、間欠処理を実施させる。
以上説明した実施の形態3では、内視鏡2、処理装置3および表示装置4の各装置における画像生成処理によって発生する遅延時間を検出し、検出結果に応じて、報知部43が報知するか、画像処理の内容を変更するかを選択する。本実施の形態3によれば、遅延の報知、または遅延の解消によって、内視鏡2の実際の位置と、表示画像を観察する術者が認識する内視鏡2の位置とのずれを抑制することができる。
(実施の形態4)
次に、本発明の実施の形態4について、図8、9を参照して説明する。図8は、本発明の実施の形態4にかかる内視鏡システムの概略構成を示すブロック図である。
図8に示す内視鏡システム1Aは、被検体内に先端部を挿入することによって被検体を撮像する内視鏡2と、内視鏡2の先端から出射する照明光を発生する照明部3aを有し、内視鏡2が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム1全体の動作を統括的に制御する処理装置3Aと、処理装置3Aの信号処理によって生成された体内画像を表示する表示装置4Aと、を備える。本実施の形態2にかかる内視鏡システム1Aは、上述した内視鏡システム1の処理装置3を処理装置3A、表示装置4を表示装置4Aに変えた以外は、同じ構成である。以下、実施の形態1とは構成が異なる構成について説明する。
表示装置4Aは、映像ケーブルを経由して処理装置3(画像処理部31)から受信した画像データに対応する表示画像を表示する。表示装置4は、表示処理部41と、表示部42と、報知部43とを備える。本実施の形態3にかかる表示装置4Aは、上述したメモリ44を有しない構成である。このため、処理装置3は、表示装置4Aから遅延時間を取得することができない。メモリ44を有する構成としてもよいが、本実施の形態2では、遅延時間を記憶していないものとする。
処理装置3Aは、照明部3aと、画像処理部31と、第1通信部32と、総遅延時間検出部33と、同期信号生成部34と、第2通信部35と、入出力部36と、制御部37と、記憶部38と、遅延時間取得部39とを備える。処理装置3Aは、上述した処理装置3に対し、第2通信部35に代えて遅延時間取得部39を備えた構成である。以下、遅延時間取得部39について説明する。
遅延時間取得部39は、テストパターン出力部391と、位相比較部92とを備える。遅延時間取得部39は、CPU等の汎用プロセッサやASIC等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
テストパターン出力部391は、予め設定された所定のパターンの画像データを表示装置4Aに出力する。
位相比較部392は、テストパターン出力部391が出力したパターンの画像と、表示装置4Aにおいて処理された表示画像のパターンとの位相を比較する。ここでの位相は、順次出力される画像の明度の出現パターンをさす。位相比較部392は、テストパターン出力部391が出力したパターンの画像と、表示装置4Aにおいて処理された表示画像のパターンとの位相の差を、遅延時間として求める。
図9は、本発明の実施の形態4にかかる内視鏡システムが行う遅延時間取得処理について説明する図であって、パターン出力タイミングおよび表示タイミングを示すタイミングチャートである。図9において、横軸は時間経過を示す。図9の(a)は、テストパターン出力部391から出力されたパターンに対応する画像を示す。図9の(b)は、表示装置4Aにおいて処理され、位相比較部に入力されたパターン画像を示す。表示装置4Aでは、処理装置3Aからテストパターンが入力されると、表示処理部41によって表示用の処理が施される。位相比較部392は、表示処理部41によって処理が施された後の画像データが入力される。この画像データは、表示部42によって表示されるフレームと同じフレームの画像として認識される。
テストパターン出力部391は、制御部37から表示装置4Aの遅延時間取得処理の実行指示を受けると、テストパターンを順次表示装置4Aに出力する(図9の(a)参照)。具体的には、パターン画像F51、F52、F53、・・・、F59、F60、・・・、F65の順でテストパターンが順次出力される。パターン画像F51、F52、F53、・・・、F59、F60、・・・、F65では、予め設定された間隔で、明度の異なるテストパターンが出力される。図9の(a)では、パターン画像F55、F60、F65が、明度の異なるテストパターンに該当する。
表示装置4Aにおいて処理されたテストパターンは、表示処理部41から位相比較部392に順次入力される(図9の(b)参照)。具体的には、パターン画像F71、F72、F73、・・・、F79、F80、・・・、F83の順でテストパターンが順次出力される。パターン画像F71、F72、F73、・・・、F79、F80、・・・、F83においても、明度の異なるテストパターンが出現する。図9の(b)では、パターン画像F75、F80が、明度の異なるテストパターンに該当する。
図9の(a)、(b)からも分かる通り、表示装置4Aの処理によって、2フレーム分の遅延が生じている。位相比較部392は、テストパターン出力部391が表示装置4Aに出力したテストパターンと、表示装置4Aから返ってくるテストパターンとの明度から位相を比較することによって、遅延時間を算出する。
本実施の形態4にかかる遅延検出処理は、上述した実施の形態1または2の処理に準じて実施される。この際、総遅延時間検出部33は、位相比較部392が算出した遅延時間を取得する(ステップ101、S201)。
以上説明した実施の形態4では、表示装置4Aの遅延時間が不明の場合であってもテストパターンを出力して、位相を比較することによって遅延時間を取得する。実施の形態3によれば、遅延時間が不明な装置であっても、その装置の遅延時間を取得して、遅延時間に応じた処理を実施することができる。
なお、上述した実施の形態1~4では、照明部3aが内視鏡2とは別体で構成されているものとして説明したが、例えば、内視鏡2の先端に半導体光源を設けるなど、光源装置を内視鏡2に設けた構成であってもよい。さらに、内視鏡2に処理装置3、3Aの機能を付与してもよい。
また、上述した実施の形態1~4では、照明部3aが、処理装置3、3Aとは一体であるものとして説明したが、照明部3aおよび処理装置3が別体であって、例えば処理装置3、3Aの外部に光源部310および照明制御部320が設けられているものであってもよい。
また、上述した実施の形態1~4において、プロセッサ部3bの機能の一部を、内視鏡2または表示装置4で実行してもよい。例えば、総遅延時間検出部33を、内視鏡2または表示装置4に設けて、処理装置3、3A以外において遅延時間を検出する構成としてもよい。
また、上述した実施の形態1~4では、本発明にかかる内視鏡システムが、観察対象が被検体内の生体組織などである軟性の内視鏡2を用いた内視鏡システム1であるものとして説明したが、硬性の内視鏡や、材料の特性を観測する工業用の内視鏡、カプセル型の内視鏡、ファイバースコープ、光学視管などの光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡システムであっても適用できる。
以上、本発明に係る内視鏡システムおよび画像処理装置は、内視鏡の実際の位置と、表示画像をみた術者が認識する内視鏡の位置とのずれを抑制するのに有用である。
1 内視鏡システム
2 内視鏡
3 処理装置
3a 照明部
3b プロセッサ部
4 表示装置
21 挿入部
22 操作部
23 ユニバーサルコード
24 先端部
25 湾曲部
26 可撓管部
31 画像処理部
32 第1通信部
33 総遅延時間検出部
34 同期信号生成部
35 第2通信部
36 入出力部
37 制御部
38 記憶部
39 遅延時間取得部
41 表示処理部
42 表示部
43 報知部
44、247 メモリ
241 ライトガイド
242 照明レンズ
243 光学系
244 撮像素子
245 CDS部
246、511 A/D変換部
501 D/A変換部
502 調光検波部
503 AGC部
504 ノイズ除去部
505 WB処理部
506 フリーズ処理部
507 ガンマ処理部
508 カラーマトリクス処理部
509 拡大縮小処理部
510 強調処理部
521 第1フレームメモリ
522 第2フレームメモリ
523 第3フレームメモリ

Claims (8)

  1. 被検体を撮像して撮像信号を出力する内視鏡と、
    前記内視鏡から入力される前記撮像信号に対して画像処理を施す画像処理装置と、
    前記画像処理装置によって画像処理が施された前記撮像信号に基づいて前記被検体の画像を表示する表示装置と、
    を備え、
    前記内視鏡、前記画像処理装置および前記表示装置のいずれかに設けられ、前記内視鏡において前記撮像信号を生成して出力するまでに要する第1の処理時間と、前記画像処理装置において前記撮像信号が入力されてから前記表示装置に出力するまでの処理に要する第2の処理時間と、前記表示装置において前記撮像信号が入力されてから前記撮像信号に基づき前記画像が表示されるまでの処理に要する第3の処理時間との総和を算出する総処理時間検出部、
    を有する内視鏡システム。
  2. 前記内視鏡は、
    受光した光を光電変換し、該光電変換した電気信号を読み出すことによって前記撮像信号を生成する撮像素子と、
    前記撮像素子が生成した前記撮像信号に対して信号処理を施す第1の処理部と、
    を有し、
    前記画像処理装置は、
    前記内視鏡から入力される前記撮像信号に対して複数種類の処理を施す第2の処理部、
    を有し、
    前記表示装置は、
    前記画像処理装置から入力される前記撮像信号に基づいて、画像表示にかかる処理を施す第3の処理部、
    を有し、
    前記総処理時間検出部は、前記撮像素子および前記第1の処理部が処理に要する第1の処理時間と、前記第2の処理部が処理に要する第2の処理時間と、前記第3の処理部が処理に要する第3の処理時間とを総和する
    請求項1に記載の内視鏡システム。
  3. 前記総処理時間検出部によって算出された前記総和が、所定の閾値以上である場合に、前記内視鏡の現在位置と、前記表示装置において表示される被検体の画像から認識される前記内視鏡の位置とにずれが生じていることを報知する報知部、
    をさらに備える請求項1に記載の内視鏡システム。
  4. 前記画像処理装置は、
    前記総処理時間検出部によって算出された前記総和が、所定の閾値以上である場合に、前記第2の処理部に、当該第2の処理部が実施する処理の一部を間引いた間欠処理を実施させる制御部、
    をさらに備える請求項2に記載の内視鏡システム。
  5. 前記画像処理装置は、
    予め設定されている基準画像データを前記表示装置に出力する基準画像データ出力部と、
    前記表示装置の前記第3の処理部によって処理された前記基準画像データを取得して、前記基準画像データ出力部が前記表示装置に出力した第1の基準画像データと、前記表示装置から取得した第2の基準画像データとの位相を比較することによって、前記第3の処理部が処理に要する前記第3の処理時間を取得する位相比較部と、
    を備え、
    前記総処理時間検出部は、前記第1および第2の処理時間と、前記位相比較部が取得した、前記第3の処理時間との総和を算出する
    請求項2に記載の内視鏡システム。
  6. 前記総処理時間検出部は、前記内視鏡に格納された前記第1の処理時間と、前記画像処理装置に格納された前記第2の処理時間と、前記表示装置に格納された前記第3の処理時間との総和を算出する
    請求項1に記載の内視鏡システム。
  7. 被検体を撮像して撮像信号を出力する内視鏡と、前記被検体の画像を表示する表示装置とに接続し、前記内視鏡から入力される前記撮像信号に対して画像処理を施す画像処理装置であって、
    前記内視鏡において前記撮像信号を生成して出力するまでに要する第1の処理時間と、前記画像処理装置において前記撮像信号が入力されてから前記表示装置に出力するまでの処理に要する第2の処理時間と、前記表示装置において前記撮像信号が入力されてから前記撮像信号に基づき前記画像が表示されるまでの処理に要する第3の処理時間との総和を算出する総処理時間検出部、
    を備える画像処理装置。
  8. 画像処理装置の制御方法であって、
    当該画像処理装置が備える総処理時間検出部が、
    内視鏡における撮像信号を生成して出力するまでに要する第1の処理時間を取得するステップと、
    当該画像処理装置における前記撮像信号が入力されてから表示装置に出力するまでの処理に要する第2の処理時間を取得するステップと、
    前記表示装置における前記撮像信号が入力されてから前記撮像信号に基づき画像が表示されるまでの処理に要する第3の処理時間を取得するステップと、
    前記第1の処理時間と、前記第2の処理時間と、前記第3の処理時間との総和を算出するステップと、
    を含む画像処理装置の制御方法。
JP2021503298A 2019-03-04 2019-03-04 内視鏡システム、画像処理装置および画像処理装置の制御方法 Active JP7230174B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/008466 WO2020178962A1 (ja) 2019-03-04 2019-03-04 内視鏡システムおよび画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2020178962A1 JPWO2020178962A1 (ja) 2021-12-02
JP7230174B2 true JP7230174B2 (ja) 2023-02-28

Family

ID=72337719

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021503298A Active JP7230174B2 (ja) 2019-03-04 2019-03-04 内視鏡システム、画像処理装置および画像処理装置の制御方法

Country Status (4)

Country Link
US (1) US20210307587A1 (ja)
JP (1) JP7230174B2 (ja)
CN (1) CN113271838A (ja)
WO (1) WO2020178962A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019163470A1 (ja) * 2018-02-22 2019-08-29 富士フイルム株式会社 内視鏡システム及びその作動方法
CN109222854A (zh) * 2018-11-19 2019-01-18 苏州新光维医疗科技有限公司 内窥镜摄像系统及其图像信号传输方法
CN114112456B (zh) * 2021-10-25 2024-04-02 新光维医疗科技(苏州)股份有限公司 内窥镜系统成像检测装置及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017126333A1 (ja) 2016-01-21 2017-07-27 ソニー株式会社 画像処理装置および方法
WO2018047730A1 (ja) 2016-09-08 2018-03-15 株式会社ソニー・インタラクティブエンタテインメント 画像処理システム、画像処理方法およびコンピュータプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4199510B2 (ja) * 2002-09-30 2008-12-17 Hoya株式会社 診断補助用装置
JP5096090B2 (ja) * 2007-09-19 2012-12-12 オリンパスメディカルシステムズ株式会社 生体内画像受信装置および生体内画像取得システム
JP5317886B2 (ja) * 2009-08-13 2013-10-16 Hoya株式会社 電子内視鏡システムおよび電子内視鏡用プロセッサ
CN102753078B (zh) * 2010-09-24 2015-03-18 奥林巴斯医疗株式会社 图像显示装置以及胶囊型内窥镜系统
JP2014204851A (ja) * 2013-04-12 2014-10-30 オリンパス株式会社 内視鏡装置
JP6389352B2 (ja) * 2013-08-13 2018-09-12 Hoya株式会社 内視鏡システム
JP5884873B1 (ja) * 2014-08-19 2016-03-15 カシオ計算機株式会社 画像抽出装置、画像抽出方法及びプログラム
JP6602969B2 (ja) * 2016-05-23 2019-11-06 オリンパス株式会社 内視鏡画像処理装置
JP2017225648A (ja) * 2016-06-23 2017-12-28 Hoya株式会社 電子内視鏡システム
JP6465452B2 (ja) * 2016-12-22 2019-02-06 オリンパス株式会社 内視鏡挿入形状観測装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017126333A1 (ja) 2016-01-21 2017-07-27 ソニー株式会社 画像処理装置および方法
WO2018047730A1 (ja) 2016-09-08 2018-03-15 株式会社ソニー・インタラクティブエンタテインメント 画像処理システム、画像処理方法およびコンピュータプログラム

Also Published As

Publication number Publication date
US20210307587A1 (en) 2021-10-07
CN113271838A (zh) 2021-08-17
WO2020178962A1 (ja) 2020-09-10
JPWO2020178962A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
US20210307587A1 (en) Endoscope system, image processing device, total processing time detection method, and processing device
WO2012033200A1 (ja) 撮像装置
JP6378846B2 (ja) 画像処理装置
JP6109456B1 (ja) 画像処理装置および撮像システム
WO2016104386A1 (ja) 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
US10574934B2 (en) Ultrasound observation device, operation method of image signal processing apparatus, image signal processing method, and computer-readable recording medium
WO2016088628A1 (ja) 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
JP6430880B2 (ja) 内視鏡システム、及び、内視鏡システムの作動方法
US10462440B2 (en) Image processing apparatus
JP6137892B2 (ja) 撮像システム
JP6937902B2 (ja) 内視鏡システム
US20180267291A1 (en) Endoscope system
JP2017123997A (ja) 撮像システムおよび処理装置
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
JP7234320B2 (ja) 画像処理装置および画像処理装置の作動方法
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
WO2017022323A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JPWO2020003601A1 (ja) 光源装置、光源の制御方法および内視鏡システム
JP2020171599A (ja) 画像生成装置、コンピュータプログラム及び画像生成方法
JP2017221276A (ja) 画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210519

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230215

R151 Written notification of patent or utility model registration

Ref document number: 7230174

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151