JP7049474B2 - 画像処理装置、内視鏡システム、および画像処理方法 - Google Patents

画像処理装置、内視鏡システム、および画像処理方法 Download PDF

Info

Publication number
JP7049474B2
JP7049474B2 JP2020547560A JP2020547560A JP7049474B2 JP 7049474 B2 JP7049474 B2 JP 7049474B2 JP 2020547560 A JP2020547560 A JP 2020547560A JP 2020547560 A JP2020547560 A JP 2020547560A JP 7049474 B2 JP7049474 B2 JP 7049474B2
Authority
JP
Japan
Prior art keywords
image
information signal
image information
signal
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020547560A
Other languages
English (en)
Other versions
JPWO2020059098A1 (ja
Inventor
大和 合渡
大和 神田
行弘 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2020059098A1 publication Critical patent/JPWO2020059098A1/ja
Application granted granted Critical
Publication of JP7049474B2 publication Critical patent/JP7049474B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理装置、内視鏡システム、および画像処理方法に関し、特に、コンピュータ支援診断（ＣＡＤ;Computer-Aided Diagnosis)による処理を行う画像処理装置、内視鏡システム、および画像処理方法に関する。
被検体の内部の被写体を撮像する内視鏡、及び、内視鏡により撮像された被写体の観察画像を生成するビデオプロセッサ等を具備する内視鏡システムが、医療分野及び工業分野等において広く用いられている。
一方、近年、内視鏡等によって得られた画像を、コンピュータ等による情報処理技術により、当該画像の情報の定量化および解析を行い、この結果を画像診断に対して積極的に利用しようとする、いわゆるコンピュータ支援診断（ＣＡＤ;Computer-Aided Diagnosis)による処理を行う画像処理（認識処理）が知られるようになっている。
このコンピュータ支援診断（ＣＡＤ）は、一般に、医師を支援するシステムである。すなわちコンピュータ支援診断（ＣＡＤ）は、コンピュータ自らが病名等を決定するのではなく、あくまで最終的な意思決定を行う医師のために判断材料を提供する支援システムである。
例えば、コンピュータを用いて解析した定量的な結果病巣の良悪性鑑別など意思決定が困難である症例において、資料となる情報（コンピュータによって分析された定量的な数値など）を提示することで、医師の意思決定を支援するものである。
また、このコンピュータ支援診断（ＣＡＤ）機能を利用することで、例えば、医療画像から検出した病巣候補を医師が見落とす危険を低減することができ、また、読影手順の短縮を図ることができるという効果も奏する。
ところで、このコンピュータ支援診断（ＣＡＤ）機能に用いられる認識処理は膨大な計算処理を要することが知られている。したがって、入力された画像に対してこの種の認識処理を実施する場合、高速な演算処理を可能とするプロセッサ等を使用しない限り、認識結果を出力する際に遅延が生じてしまう虞がある。
図１４は、上述の如きコンピュータ支援診断（ＣＡＤ）機能を利用した内視鏡システムの一例を示した図である。この図１４に示す内視鏡システム１０１は、コンピュータ支援診断（ＣＡＤ）機能を発揮する認識処理回路１５３を備える画像処理装置１０５を含むシステムである。
図１４に示すように、認識処理回路１５３を備える画像処理装置１０５を含む内視鏡システム１０１においては、内視鏡１０２において撮像した内視鏡画像を公知のビデオプロセッサ１０３において所定の画像処理を施した後、当該画像処理装置１０５において、所定の認識処理を施すようになっている。
具体的に、画像処理装置１０５においては、フレームキャプチャ回路１５１、データ転送回路１５２において、入力した画像を連続的に取り込み、認識処理回路１５３に送信する。この後、認識処理回路１５３において、上述の如きコンピュータ支援診断（ＣＡＤ）機能に基づく認識処理を実施する。認識処理回路１５３において認識処理された画像信号は、所定の出力画像生成回路１５４を経て、モニタ１０６に対して出力されるようになっている。
ここで、上述の認識処理回路１５３において実施される認識処理は、いわゆる、ＧＰ－ＧＰＵ(General-purpose computing on graphics processing units)が利用されることが一般的である。
このＧＰ－ＧＰＵは、ＧＰＵ(Graphics Processing Units)による汎用計算処理技術であり、近年その処理速度はより高速化が進んでいる。しかしながら上述したように、コンピュータ支援診断（ＣＡＤ）機能に用いられる認識処理は膨大な計算処理を要し、高い認識精度を実現する処理を全画像に対して遅延なく解析するのは困難である。このため、上記の如き認識処理回路１５３を備える画像処理装置１０５においては、高速化されたＧＰ－ＧＰＵを採用したとしても、結果的に入力された内視鏡画像信号に対して出力される画像信号が大きく遅延してしまう虞がある。
そして、この遅延が生じると、モニタに表示されている画像が内視鏡の動きに対して遅れてしまうことになるため、内視鏡操作に支障を来す虞があった。また、遅延を回避するために計算量が少ない認識処理を実行することは、一般的に認識精度の低下につながる虞がある。
本発明は上述した事情に鑑みてなされたものであり、コンピュータ支援診断（ＣＡＤ）等の高度な認識処理を実施可能な画像処理装置、内視鏡システム、および画像処理方法において、認識処理の精度を高めながら出力される映像信号の遅延効果を抑えることができる画像処理装置、内視鏡システム、および画像処理方法を提供することを目的とする。
本発明の一態様の画像処理装置は、画像生成部から連続的に出力される第１の画像情報信号を入力し、入力した当該第１の画像情報信号に応じた第２の画像情報信号を少なくとも第１のルートに対して出力すると共に、前記第１の画像情報信号に応じた画像情報信号である第３の画像情報信号を第２のルートに対して出力する映像分配部と、前記第２の画像情報信号を入力し、当該第２の画像情報信号に対して所定の解析を施して解析結果を出力する情報解析部と、前記映像分配部から出力される前記第３の画像情報信号と、前記情報解析部から出力される前記解析結果と、に基づいて第４の画像情報信号を生成し連続的に出力する情報付加部と、を具備し、前記情報付加部は、前記第３の画像情報信号を前記情報付加部に入力した際、当該第３の画像情報信号の生成元である前記第１の画像情報信号と同一の前記第１の画像情報信号に基づいて生成された前記第２の画像情報信号による前記解析結果を前記情報付加部に入力完了する前に前記第４の画像情報信号の生成を完了する。
本発明の一態様の内視鏡システムは、被検体を観察し撮像信号を出力する内視鏡と、画像処理装置であって、前記撮像信号に基づいて、画像生成部から連続的に出力される第１の画像情報信号を入力し、入力した当該第１の画像情報信号に応じた第２の画像情報信号を少なくとも第１のルートに対して出力すると共に、前記第１の画像情報信号に応じた画像情報信号である第３の画像情報信号を第２のルートに対して出力する映像分配部と、前記第２の画像情報信号を入力し、当該第２の画像情報信号に対して所定の解析を施して解析結果を出力する情報解析部と、前記映像分配部から出力される前記第３の画像情報信号と、前記情報解析部から出力される前記解析結果と、に基づいて第４の画像情報信号を生成し連続的に出力する情報付加部と、を具備し、前記情報付加部は、前記第３の画像情報信号を前記情報付加部に入力した際、当該第３の画像情報信号の生成元である前記第１の画像情報信号と同一の前記第１の画像情報信号に基づいて生成された前記第２の画像情報信号による前記解析結果を前記情報付加部に入力完了する前に前記第４の画像情報信号の生成を完了する画像処理装置と、を備える。
本発明の一態様の画像処理方法は、連続的な第１の画像情報信号に応じた第２の画像情報信号を少なくとも第１のルートに対して出力すると共に、前記第１の画像情報信号に応じた画像情報信号である第３の画像情報信号を第２のルートに対して出力し、前記第２の画像情報信号に対して所定の解析を施して解析結果を出力し、前記第３の画像情報信号と前記解析結果とを取得し、前記第３の画像情報信号と前記解析結果とに基づいて第４の画像情報信号を生成し連続的に出力し、前記第４の画像情報信号を生成しての連続的な出力において、前記第３の画像情報信号を取得した際、当該第３の画像情報信号の生成元である前記第１の画像情報信号と同一の前記第１の画像情報信号に基づいて生成された前記第２の画像情報信号による前記解析結果を取得する前に前記第４の画像情報信号の生成を完了する。
図１は、本発明の第１の実施形態に係る画像処理装置を含む内視鏡システムの構成を示すブロック図である。 図２は、第１の実施形態の画像処理装置の構成を示すブロック図である。 図３は、第１の実施形態の画像処理装置における映像分配回路の構成を示すブロック図である。 図４は、第１の実施形態の画像処理装置における情報解析回路の構成を示すブロック図である。 図５は、第１の実施形態の画像処理装置における情報付加回路の構成を示すブロック図である。 図６は、第１の実施形態の画像処理装置における映像分配回路、情報付加回路および情報解析回路における作用を説明するタイミングチャートである。 図７は、第１の実施形態の画像処理装置に入力する第１の画像情報信号の一例を示す図である。 図８は、第１の実施形態の画像処理装置において認識処理用（情報解析用）の画像領域の例を示す図である。 図９は、本発明の第２の実施形態の画像処理装置における情報解析回路の構成を示すブロック図である。 図１０は、本発明の第３の実施形態の画像処理装置における映像分配回路の構成を示すブロック図である。 図１１は、第３の実施形態の画像処理装置における情報解析回路の構成を示すブロック図である。 図１２は、第３の実施形態の画像処理装置における情報付加回路の構成を示すブロック図である。 図１３は、第３の実施形態の画像処理装置における映像分配回路、情報付加回路および情報解析回路における作用を説明するタイミングチャートである。 図１４は、従来の、コンピュータ支援診断（ＣＡＤ）等の認識処理を実施可能な画像処理装置の一構成例を示すブロック図である。
以下、本発明の実施の形態について図面を用いて説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像処理装置を含む内視鏡システムの構成を示すブロック図であり、図２は、第１の実施形態の画像処理装置の構成を示すブロック図である。
図１に示すように、本第１の実施形態に係る画像処理装置を含む内視鏡システム１は、被検体を観察し所定の撮像信号を出力する内視鏡２と、当該内視鏡２に接続され前記撮像信号を入力し所定の画像処理を施して出力するビデオプロセッサ３（画像生成部）と、被検体を照明するための照明光を供給する図示しない光源装置と、ビデオプロセッサ３から出力された撮像信号を入力し、当該撮像信号に対して所定の認識処理を施して出力する画像処理装置５と、当該画像処理装置５から出力された撮像信号に応じた観察画像を表示するモニタ６と、を有している。
内視鏡２は、図１に示すように、被検体の体腔内に挿入される公知の挿入部等を備え、当該挿入部の先端には、公知の撮像素子等により構成された撮像部２１が配設されている。この撮像部２１からは被検体に係る撮像信号が出力されるようになっている。
ビデオプロセッサ３は、内視鏡２に接続され前記撮像信号を入力し所定の画像処理を施す画像処理部３１が配設されている。この画像処理部３１からは所定の画像処理が施された撮像信号が出力されるようになっている。なお、画像処理部３１の出力がモニタ６等の表示装置に直接接続された場合、当該画像処理部３１から出力される撮像信号に係る内視鏡画像が当該モニタ６にそのまま表示可能となっている。
＜画像処理装置５の構成＞
図１、図２に示すように、画像処理装置５は、ビデオプロセッサ３から出力される第１の画像情報信号を入力し、第２の画像情報信号と第３の画像情報信号とに分配して出力する映像分配回路５１（映像分配部）と、映像分配回路５１からの第２の画像情報信号を入力し、当該第２の画像情報信号に対して所定の解析を施し、当該解析結果を出力する情報解析回路５３（情報解析部）と、映像分配回路５１から出力される第３の画像情報信号と情報解析回路５３から出力される前記解析結果とに基づいて第４の画像情報信号を生成し連続的に出力する情報付加回路５２（情報付加部）と、を具備する。
図２に示すように、本実施形態において前記映像分配回路５１および前記情報付加回路５２は、画像処理装置５内に配設された、いわゆるＦＰＧＡ(field-programmable gate array)５５において形成された回路として構成される。
また、本実施形態において前記情報解析回路５３は、ＧＰＵ(Graphics Processing Units)による汎用計算処理技術である、ＧＰ－ＧＰＵ(General-purpose computing on graphics processing units)５６により構成された回路である。
＜映像分配回路５１の構成＞
ここで、映像分配回路５１の構成について詳細に説明する。
図３は、本実施形態の画像処理装置５における映像分配回路５１の構成を示すブロック図である。
図２、図３に示すように映像分配回路５１は、外部装置であるビデオプロセッサ３から連続的に出力される第１の画像情報信号を入力し、入力した当該第１の画像情報信号に応じた第２の画像情報信号を少なくとも第１のルートに対して出力すると共に、前記第１の画像情報信号に応じた画像情報信号であって前記第２の画像情報信号とは異なる第３の画像情報信号を第２のルートに対して出力することを特徴とする。
＜情報解析用画像処理回路７１＞
すなわち映像分配回路５１は、前記第１の画像情報信号に基づいて前記第２の画像情報信号（解析用画像データ）を生成し出力する情報解析用画像処理回路７１を有する。この情報解析用画像処理回路７１は、入力した前記第１の画像情報信号に基づいて情報解析回路５３における所定の解析のための解析用画像データを生成し、当該解析用画像データを前記第２の画像情報信号として出力する。
ここで、本実施形態においては、情報解析用画像処理回路７１は、まず、入力した前記第１の画像情報信号における所定の領域（後述の情報解析回路５３において認識処理を施す領域）を切り出し、当該切り出した領域に係る前記解析用画像データを生成し、前記第２の画像情報信号として前記第１のルートに対して出力する。
具体的に、今、画像処理装置５にビデオプロセッサ３から出力された第１の画像情報信号（例えば、図７に示す内視鏡画像６２を含む全体の画像信号）が入力されたとする。なお、図７は、第１の実施形態の画像処理装置に入力する第１の画像情報信号の一例を示す図であり、モニタ６の表示画面６１に内視鏡画像６２を含む第１の画像情報信号全体の画像が表示されている状態を示している。
このとき、画像処理装置５における情報解析用画像処理回路７１には、ビデオプロセッサ３から出力された、内視鏡画像６２を含む第１の画像情報信号が入力されている。
ここで本実施形態における情報解析用画像処理回路７１は、当該第１の画像情報信号から所定領域である内視鏡画像６２を切り出す。この切り出す所定領域は、本実施形態においては、いわゆる八角形のマスク形状の内視鏡画像６２とする。なお、この内視鏡画像６２に係る画像データ量は、当該第１の画像情報信号全体のデータ量に比して小さくなっている。
この後、情報解析用画像処理回路７１は、当該切り出した内視鏡画像６２に係る前記析用画像データを生成し、前記第２の画像情報信号として後段の情報解析回路５３に向けて（第１のルートを経由して）出力する。
また、情報解析用画像処理回路７１は、入力した前記第１の画像情報信号に係る所定の物理的特性（例えば、色設定値、γ値、明るさ、輪郭の強調度合等）を平準化した前記解析用画像データを生成し、前記第２の画像情報信号として前記第１のルートに対して出力する。
すなわち、前記入力した第１の画像情報信号は、例えば、前段のビデオプロセッサ３等において、術者の好みにより上述した物理的特性（色設定値、γ値、明るさ、輪郭の強調度合等）に対して様々な設定がなされている可能性がある。情報解析用画像処理回路７１は、これらすでに各種設定が施された画像信号を一旦平準化することで、後段、すなわち情報解析回路５３における認識処理の精度を高めることに寄与するものである。
＜出力映像用画像処理回路７２＞
一方、映像分配回路５１は、前記第１の画像情報信号に基づいて前記第３の画像情報信号を生成し出力する出力映像用画像処理回路７２を有する。この出力映像用画像処理回路７２は、入力した前記第１の画像情報信号（ビデオプロセッサ３から出力された内視鏡画像に係る撮像信号）に対して所定の画像処理を施した前記第３の画像情報信号（出力用画像データ）を生成し前記第２のルートに対して遅延が最小限に抑えられた信号として出力するようになっている。
なお、出力映像用画像処理回路７２は、前記所定の画像処理機能として、入力した前記第１の画像情報信号（ビデオプロセッサ３から出力された内視鏡画像に係る撮像信号）に対して、視覚的に好ましい色調に調整する機能、または、強調処理機能等の画像補正機能を有してもよい。
＜情報解析回路５３の構成＞
次に、情報解析回路５３の構成について詳細に説明する。
図４は、本実施形態の画像処理装置５における情報解析回路５３の構成を示すブロック図である。
情報解析回路５３は、上述したように、本実施形態においてはＧＰ－ＧＰＵ５６により構成され、映像分配回路５１から出力される第２の画像情報信号（解析用画像データ）を入力し、当該第２の画像情報信号（解析用画像データ）に対して所定の解析（本実施形態においては認識処理による解析）を施し、当該解析結果を情報付加回路５２に向けて出力する。
また、図４に示すように情報解析回路５３は、前記第２の画像情報信号（解析用画像データ）を入力し、所定の解析を実施し、当該解析結果を出力する情報解析結果出力回路９１を備える。
＜情報解析結果出力回路９１＞
情報解析結果出力回路９１は、映像分配回路５１における情報解析用画像処理回路７１において生成された解析用画像データ（第２の画像情報信号）に対して、いわゆるコンピュータ支援診断（ＣＡＤ）機能に係る認識処理および当該認識処理をするために必要な画像処理を実施し、その認識処理に係る解析結果を後段の情報付加回路５２に対して出力する。
ここで、コンピュータ支援診断（ＣＡＤ）は、上述したように、例えば内視鏡等によって得られた画像を、コンピュータ等による情報処理技術により当該画像の情報の定量化および解析を行い、この結果を画像診断に対して積極的に利用することで医師を支援するシステムである。
また、情報解析結果出力回路９１は、このコンピュータ支援診断（ＣＡＤ）機能に係る認識処理等を実施する役目を果たし、すなわち、情報解析用画像処理回路７１において生成された解析用画像データ（第２の画像情報信号）から、例えば、図８に示すような注目領域６３を抽出し、当該抽出した注目領域に対して定量的な結果病巣の良悪性鑑別など意思決定が困難である症例に対して、資料となる情報（コンピュータによって分析された定量的な数値など）を提示することで、医師の意思決定を支援する役目を果たす。
上述したように本実施形態に係る情報解析回路５３は、ＧＰ－ＧＰＵ(General-purpose computing on graphics processing units)により構成される。上述したように、このＧＰ－ＧＰＵは、ＧＰＵ(Graphics Processing Units)による汎用計算処理技術である。
ところで、本実施形態においては、処理速度がより高速化されたＧＰ－ＧＰＵを採用するが、上述したように、コンピュータ支援診断（ＣＡＤ）機能に用いられる認識処理は膨大な計算処理を要する。このため、たとえ高速化されたＧＰ－ＧＰＵを採用したとしても、本実施形態における情報解析回路５３においては、入力された解析用画像データ（第２の画像情報信号）に対して出力される解析結果信号が遅延してしまう虞がある。
このような遅延が生じると、モニタに表示されている画像が内視鏡の動きに対して遅れてしまうことになるため、内視鏡操作に支障を来す虞があるが、本願発明は係る事情に鑑みてなされたものであり、情報解析回路５３においてコンピュータ支援診断（ＣＡＤ）等の高度な認識処理を実施し、なおかつ、認識処理の精度をより高めたとしても、当該画像処理装置５から出力される映像信号の遅延効果を抑えることを可能とするものである。
＜情報付加回路５２の構成＞
次に、情報付加回路５２の構成について詳細に説明する。
図５は、本実施形態の画像処理装置５における情報付加回路５２の構成を示すブロック図である。
情報付加回路５２は、上述したように、本実施形態においては前記映像分配回路５１とともにＦＰＧＡ(field-programmable gate array)５５により形成される。具体的には、前記第３の画像情報信号および前記解析結果信号を入力する情報付加信号出力回路８１がＦＰＧＡ５５上に形成されるようになっている。
なお、前記第３の画像情報信号は共に前記映像分配回路５１において生成され当該情報付加回路５２に向けて出力される。また、前記解析結果信号は、前記情報解析回路５３において生成され当該情報付加回路５２に向けて出力される。
＜情報付加信号出力回路８１＞
情報付加信号出力回路８１は、まず、映像分配回路５１における出力映像用画像処理回路７２において生成され出力される出力用画像データ（第３の画像情報信号）を入力する。この出力用画像データ（第３の画像情報信号）は、上述したように、出力映像用画像処理回路７２において、ビデオプロセッサ３から出力された内視鏡画像に係る撮像信号（第１の画像情報信号）に対して所定の画像処理が施されたものであって、当該出力映像用画像処理回路７２からは遅延が最小限に抑えられた状態で出力され、情報付加信号出力回路８１に入力されるようになっている。
情報付加信号出力回路８１は一方で、情報解析回路５３における情報解析結果出力回路９１から出力される解析結果信号を入力する。
情報付加信号出力回路８１は、遅延が最小限に抑えられた前記出力用画像データ（第３の画像情報信号）と、相対的に大きな遅延が発生している可能性がある前記解析結果信号とを合成し、第４の画像情報信号を生成し、後段の、例えばモニタ６に対して出力することを特徴とする。
＜本実施形態の作用＞
次に、本実施形態の作用について図６を参照して説明する。
図６は、第１の実施形態の画像処理装置における映像分配回路、情報付加回路および情報解析回路における作用を説明するタイミングチャートである。
上述したように、情報解析回路５３における情報解析結果出力回路９１には、映像分配回路５１における情報解析用画像処理回路７１から出力される解析用画像データ（第２の画像情報信号）が入力されるようになっている。
いま、図６に示すように、映像分配回路５１に入力される第１の画像情報信号に係る映像入力フレームが（Ｎ，Ｎ＋１，Ｎ＋２，Ｎ＋３，Ｎ＋４，Ｎ＋５，Ｎ＋６・・・）であるとする。映像分配回路５１における情報解析用画像処理回路７１において、この映像入力に基づいて上述の如く解析用画像データが生成され第２の画像情報信号として情報解析回路５３に向けて出力される。
なお、映像分配回路５１からは第１の画像情報信号に対して遅延が最小限に抑えられた第３の画像情報信号が、出力用画像データとして、情報付加回路５２に対して出力される。
この後、この第２の画像情報信号を入力した情報解析回路５３における情報解析結果出力回路９１において上述した認識処理が施されるが、このとき例えば、フレームＮに係る認識処理については、図６に示すように、フレームＮとフレームＮ＋１との連続するフレームを跨いで行う。そして、その認識処理に係る解析結果信号を、後段の情報付加回路５２に対して出力する。
さらに情報解析結果出力回路９１は、フレームＮ＋２に係る認識処理を、フレームＮ＋２とフレームＮ＋３との連続するフレームを跨いで行い、その認識処理に係る解析結果信号を、上述したフレームＮに係る解析結果信号に続いて後段の情報付加回路５２に対して出力する。
情報付加回路５２における情報付加信号出力回路８１は、まず、映像分配回路５１における出力映像用画像処理回路７２において生成され出力される出力用画像データ（第３の画像情報信号）を入力する。上述したように、この出力用画像データ（第３の画像情報信号）は、遅延が最小限に抑えられた状態で出力され、情報付加信号出力回路８１においては、この信号が図６に示す映像出力フレームとして出力されるようになっている。
情報付加信号出力回路８１は、一方で、情報解析回路５３における情報解析結果出力回路９１から上述の如く時系列的に連続して出力される解析結果を、前記映像出力フレームに対して重畳する。具体的には、情報解析結果出力回路９１において上述の如く求めた解析結果、すなわち、フレームＮに係る認識処理の解析結果、フレームＮ＋２に係る認識処理の解析結果・・・を、当該映像出力フレーム（Ｎ，Ｎ＋１，Ｎ＋２，Ｎ＋３，Ｎ＋４，Ｎ＋５，Ｎ＋６・・・）に対して適宜、重畳する処理を行う。
情報付加回路５２における情報付加信号出力回路８１は、上述の解析結果が重畳された前記映像出力フレーム（Ｎ，Ｎ＋１，Ｎ＋２，Ｎ＋３，Ｎ＋４，Ｎ＋５，Ｎ＋６・・・）を、第４の画像情報信号として、後段の、例えばモニタ６等に向けて出力する。
ここで、上述したように、映像分配回路５１（出力映像用画像処理回路７２）から情報付加回路５２（情報付加信号出力回路８１）に向けて出力される出力用画像データ（第３の画像情報信号）は、遅延が最小限に抑えられた状態で出力されるようになっている。また、情報付加信号出力回路８１からは、この信号が映像出力フレームとして出力される。具体的に、前記映像入力フレームに対するこの映像出力フレームの遅延は、図６に示すように、例えば、１フレームの期間を"ｆ"とすると"０．１ｆ"以内となっている。
これに対して、第１のルート（すなわち、映像分配回路５１から出力される第２の画像情報信号に対して情報解析回路５３において所定の認識処理を施し、その認識処理における解析結果を情報付加回路５２に向けて出力する情報解析処理ルート）を経た解析結果を前記映像出力フレーム重畳する場合、この解析結果が実際に反映されるフレームは、数フレーム分の遅延が生じてしまうおそれがある。
具体的には、例えば図６に示すように、フレームＮに係る認識処理の解析結果が映像出力フレームにおけるフレームＮ＋３～Ｎ＋４に重畳され、また、フレームＮ＋２に係る認識処理の解析結果が映像出力フレームにおけるフレームＮ＋５～Ｎ＋６に重畳されることも考えられ、この場合、数フレーム分の反映遅れが生じることとなる。
このように、情報解析回路５３（情報解析結果出力回路９１）から出力される"解析結果信号"における実際に認識処理が施された映像信号は、当該情報解析回路５３に入力された時点の解析用画像データ（第２の画像情報信号）に対して、数フレーム分（図６の例においては、約３フレーム分）遅延した状態となっている。
しかしながら、本実施形態の画像処理装置５においては、たしかに第１のルートを経た解析結果信号（情報解析回路５３における認識処理を施した解析結果信号）は、映像入力フレームに対して数フレーム分の遅延を生じるものの、実際に情報付加回路５２から出力される第４の画像情報信号は、遅延が最小限に抑えられた第２のルートからの画像情報信号（第３の画像情報信号）に基づく映像出力フレームを出力するものとしたので、モニタに表示される画像信号に遅延に起因する違和感は生じない。
一方、この遅延が最小限に抑えられた映像出力フレームに対して、数フレーム分遅れるものの認識処理を施した解析結果を重畳しているので、モニタに表示される画像信号に対して必要十分な認識処理解析情報を付加することができる。
以上説明したように本実施形態の画像処理装置５によると、外部装置（本実施形態においてはビデオプロセッサ３）から連続的に出力された第１の画像情報信号（例えば、内視鏡画像を含む画像）を入力し、この入力した第１の画像情報信号に対して遅延が最小限に抑えられた画像信号（第３の画像情報信号）を出力するルート（第２のルート）と、当該第１の画像情報信号に対して所定の解析（例えば、認識処理等の情報解析）を施すためのプリプロセスを施した第２の画像情報信号を生成し出力すると共に当該第２の画像情報信号に対して認識処理等の情報解析を施した解析結果信号を生成し出力するルート（第１のルート）とを、設け、前記遅延が最小限に抑えられた第３の画像情報信号と、的確に認識処理等の情報解析を施した解析結果信号とを合成して第４の画像情報信号として出力することを可能とした。
これにより、本実施形態の画像処理装置によると、処理負荷が多く相対的に大きな遅延を生じ易い認識処理を実施したとしても、出力される映像信号の遅延効果を抑えることができる画像処理装置を提供するができる。
また、本実施形態の画像処理装置は、第２のルートに係る遅延が最小限に抑えられた第３の画像情報信号に対しては、視覚的に好ましい色調への補正または強調補正を容易に施すことができることから、遅延の影響が小さいことと相俟ってユーザーに提供する画像の品質を維持したままで、コンピュータ支援診断（ＣＡＤ）等の高度な認識処理を実施可能とするものである。
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
第２の実施形態の画像処理装置は、主たる構成は第１の実施形態と同様であるが、情報解析回路の構成のみ異にすることを特徴とする。したがって、ここでは第１の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。
＜第２の実施形態における情報解析回路２５３（情報解析部）の構成＞
図９は、本発明の第２の実施形態の画像処理装置における情報解析回路の構成を示すブロック図である。
第２の実施形態において情報解析回路２５３は、第１の実施形態と同様にＧＰ－ＧＰＵにより構成され、映像分配回路５１から出力される第２の画像情報信号（解析用画像データ）を入力し、当該第２の画像情報信号（解析用画像データ）に対して所定の解析（本実施形態においては認識処理による解析）を施し、当該解析結果を出力する情報解析結果出力回路９１を有する。
また、図９に示すように情報解析回路２５３は、前記情報解析結果出力回路９１からの解析結果に対して所定の補正を施した後、後段の情報付加回路５２に向けて補正された解析結果信号を出力する解析結果補正回路９２を備える。
第１の実施形態と同様に、第２の実施形態においても情報解析結果出力回路９１は、映像分配回路５１における情報解析用画像処理回路７１において生成された解析用画像データ（第２の画像情報信号）に対して、いわゆるコンピュータ支援診断（ＣＡＤ）機能に係る認識処理および当該認識処理をするために必要な画像処理を実施し、その認識処理に係る解析結果を後段の解析結果補正回路９２に対して出力する。
解析結果補正回路９２は、情報解析結果出力回路９１から時系列的に連続して出力される、前記認識処理に係る解析結果のうち、少なくとも連続する２つの解析結果に基づいて解析結果を補正し、その補正された解析結果を解析結果信号として、情報付加回路５２における情報付加信号出力回路８１に向けて出力する。具体的に解析結果補正回路９２は、少なくとも連続する２つの解析結果に基づいて連続画像における注目領域の画像内の動きを解析し、重畳する枠の位置を最適化した結果を解析結果信号として出力する。
この解析結果補正回路９２の作用により、たとえ解析結果の重畳に遅延が生じても、動き量で解析結果を補正し、例えば、Ｎ＋２フレームの解析結果をＮ＋５に重畳するとき、Ｎフレームの解析結果とＮ＋２フレームの解析結果から、Ｎ＋５フレームにおいては注目領域がどこに位置していそうかを推定することができる。
また、第２の実施形態において情報付加回路５２は、解析結果補正回路９２から出力される補正された解析結果信号を、第３の画像情報信号（図６の映像出力フレーム参照）に対して重畳する。
その他の構成、作用については第１の実施形態と同様である。
本第２の実施形態の画像処理装置において、第１の実施形態と同様の効果を奏すると共に、少なくとも連続する２つの解析結果に基づいて解析結果を補正することにより、より的確な認識処理解析情報を映像出力フレームに重畳することができる。
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
図１０は、本発明の第３の実施形態の画像処理装置における映像分配回路の構成を示すブロック図、図１１は、第３の実施形態の画像処理装置における情報解析回路の構成を示すブロック図、図１２は、第３の実施形態の画像処理装置における情報付加回路の構成を示すブロック図である。
第３の実施形態の画像処理装置は、主たる構成は第１の実施形態と同様であるが、映像分配回路３５１（映像分配部）、情報解析回路３５３（情報解析部）および情報付加回路３５２（情報付加部）の構成を異にすることを特徴とする。ここでは第１の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。
本第３の実施形態においても、映像分配回路３５１および情報付加回路３５２は、画像処理装置５内に配設された、いわゆるＦＰＧＡ(field-programmable gate array)５５において形成された回路として構成される。
また、本第３の実施形態において情報解析回路３５３は、ＧＰＵ(Graphics Processing Units)による汎用計算処理技術である、ＧＰ－ＧＰＵ(General-purpose computing on graphics processing units)により構成された回路である。
＜第３の実施形態における映像分配回路３５１の構成＞
図１０は、第３の実施形態における映像分配回路３５１の構成を示すブロック図である。
第３の実施形態においても、映像分配回路３５１は、外部装置であるビデオプロセッサ３から連続的に出力される第１の画像情報信号を入力し、入力した当該第１の画像情報信号に応じた第２の画像情報信号を少なくとも第１のルートに対して出力すると共に、前記第１の画像情報信号に応じた画像情報信号であって前記第２の画像情報信号とは異なる第３の画像情報信号を第２のルートに対して出力することを特徴とする。
第３の実施形態にける映像分配回路３５１は、第１の実施形態と同様に、前記第１の画像情報信号に基づいて前記第２の画像情報信号（解析用画像データ）を生成し出力する情報解析用画像処理回路７１を有する。情報解析用画像処理回路７１の作用効果等については第１の実施形態と同様であるので、ここでの説明は省略する。
一方、映像分配回路３５１は、前記第１の画像情報信号に基づいて前記第３の画像情報信号を生成し出力する出力映像用画像処理回路７２を有する。この出力映像用画像処理回路７２の作用効果等についても第１の実施形態と同様であるので、ここでの説明は省略する。
＜同期信号生成回路７３＞
本第３の実施形態の映像分配回路３５１は、前記第１の画像情報信号に同期した同期信号を生成し出力する同期信号生成回路７３を有する。この同期信号生成回路７３において生成された同期信号は、後述する情報付加回路３５２における画像生成タイミング調整回路８２に対して出力されるようになっている。
なお、本第３の実施形態においては、同期信号生成回路７３は映像分配回路３５１内に設けたが、これに限らず、ＦＰＧＡ５５における他の箇所に形成されてもよく、また、ＦＰＧＡ５５以外の回路として構成されてもよい。
＜第３の実施形態における情報解析回路３５３の構成＞
次に、第３の実施形態における情報解析回路３５３の構成について詳細に説明する。
図１１は、本第３の実施形態における情報解析回路３５３の構成を示すブロック図である。
第３の実施形態において情報解析回路３５３は、上述したように、第１の実施形態と同様にＧＰ－ＧＰＵにより構成され、映像分配回路３５１から出力される第２の画像情報信号（解析用画像データ）を入力し、当該第２の画像情報信号（解析用画像データ）に対して所定の解析（本実施形態においては認識処理による解析）を施し、当該解析結果を情報付加回路３５２に向けて出力する。
また、図１１に示すように情報解析回路３５３は、前記第２の画像情報信号（解析用画像データ）を入力し、所定の解析を実施し、当該解析結果を出力する情報解析結果出力回路９１と、情報解析結果出力回路９１における解析が完了するごとに所定の完了通知信号を生成し、情報付加回路５２にむけて出力する解析完了通知出力回路９３と、と備える。
なお、第３の実施形態における情報解析結果出力回路９１の主たる作用効果は、第１の実施形態と同様であるの、ここでの説明は省略する。
＜解析完了通知出力回路９３＞
本第３の実施形態における解析完了通知出力回路９３は、情報解析結果出力回路９１から第２の画像情報信号に係る認識処理の解析結果、すなわち"解析結果信号"が出力される毎に当該解析が完了したことを示す"完了通知信号"を生成し、情報付加回路３５２における画像生成タイミング調整回路８２に向けて出力する。
＜第３の実施形態における情報付加回路３５２の構成＞
次に、第３の実施形態における情報付加回路３５２の構成について詳細に説明する。
図１２は、本実施形態における情報付加回路３５２の構成を示すブロック図である。
情報付加回路３５２は、本第３の実施形態においても第１の実施形態と同様に、前記映像分配回路３５１とともにＦＰＧＡ(field-programmable gate array)により形成される。具体的には、前記第３の画像情報信号および前記解析結果信号を入力する情報付加信号出力回路８１と、前記同期信号および前記完了通知信号を入力する画像生成タイミング調整回路８２と、がＦＰＧＡ５５上に形成されるようになっている。
なお、前記第３の画像情報信号および前記同期信号は共に前記映像分配回路３５１において生成され当該情報付加回路３５２に向けて出力される。また、前記解析結果信号および前記完了通知信号は共に前記情報解析回路３５３において生成され当該情報付加回路３５２に向けて出力される。
＜画像生成タイミング調整回路８２＞
第３の実施形態において画像生成タイミング調整回路８２は、まず、映像分配回路３５１における同期信号生成回路７３において生成された前記同期信号を入力する。この同期信号は、上述したように映像分配回路３５１に入力される第１の画像情報信号に基づいて同期信号生成回路７３において生成された同期信号である。
画像生成タイミング調整回路８２は一方で、情報解析回路３５３における解析完了通知出力回路９３から出力される"完了通知信号"を入力する。この"完了通知信号"は、上述したように、第２の画像情報信号に係る認識処理の解析結果、すなわち"解析結果信号"が出力される毎に当該解析が完了したことを示す信号である。
画像生成タイミング調整回路８２は、情報付加信号出力回路８１が解析結果信号を受信した直後に、この解析結果を映像出力フレームの適切なフレームに重畳できるように、前記同期信号に基づいて映像出力タイミング基準を生成し、情報付加信号出力回路８１に向けて出力するようになっている。
なお、画像生成タイミング調整回路８２は、同期信号生成回路７３からの前記同期信号に対して所定の位相差を有する信号を前記映像出力タイミング基準として生成する。または、画像生成タイミング調整回路８２は、同期信号生成回路７３からの前記同期信号に対して所定の時間的差分を有する信号を前記映像出力タイミング基準として生成する。さらに、画像生成タイミング調整回路８２は、同期信号生成回路７３からの前記同期信号の逓倍または分周された信号を前記映像出力タイミング基準として生成する。
＜第３の実施形態における情報付加信号出力回路８１＞
一方、第３の実施形態において情報付加信号出力回路８１は、まず、第１の実施形態と同様に、映像分配回路３５１における出力映像用画像処理回路７２において生成され出力される出力用画像データ（第３の画像情報信号）を入力する。
情報付加信号出力回路８１は一方で、情報解析回路３５３における情報解析結果出力回路９１から出力される解析結果信号を入力し、さらに、画像生成タイミング調整回路８２から出力される前記映像出力タイミング基準信号を入力する。
そして、第３の実施形態において情報付加信号出力回路８１は、この映像出力タイミング基準信号のタイミングに応じて、情報解析回路３５３からの解析結果信号を受信した直後に、この解析結果を映像出力フレームの適切なフレームに重畳する。
図１３は、第３の実施形態の画像処理装置における映像分配回路、情報付加回路および情報解析回路における作用を説明するタイミングチャートである。
具体的に、例えば図１３に示すように、今、情報解析回路３５３における認識処理においてフレームを跨いだ処理が施された場合において、情報付加信号出力回路８１が受信するフレーム"Ｎ"に係る「完了通知信号」が、映像出力フレームにおいてフレーム"Ｎ＋３"の先頭タイミングを僅かに過ぎたタイミングである場合、画像生成タイミング調整回路８２から出力される前記映像出力タイミング基準信号に従ってフレーム"Ｎ＋３"の先頭タイミングを僅かにずらし、フレーム"Ｎ"に係る解析結果信号をフレーム"Ｎ＋３"に重畳するように制御する。
このように、本第３の実施形態の画像処理装置によると、映像出力フレームに解析結果信号を重畳するタイミングを制御することにより、情報解析回路３５３における解析結果信号を受信した直後に、当該解析結果信号を映像出力フレームの適切なフレームに重畳することができ、出力画像信号に対して認識処理結果をより的確に反映させることができる。
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

Claims (12)

  1. 画像生成部から連続的に出力される第１の画像情報信号を入力し、入力した当該第１の画像情報信号に応じた第２の画像情報信号を少なくとも第１のルートに対して出力すると共に、前記第１の画像情報信号に応じた画像情報信号である第３の画像情報信号を第２のルートに対して出力する映像分配部と、
    前記第２の画像情報信号を入力し、当該第２の画像情報信号に対して所定の解析を施して解析結果を出力する情報解析部と、
    前記映像分配部から出力される前記第３の画像情報信号と、前記情報解析部から出力される前記解析結果と、に基づいて第４の画像情報信号を生成し連続的に出力する情報付加部と、
    を具備し、
    前記情報付加部は、前記第３の画像情報信号を前記情報付加部に入力した際、当該第３の画像情報信号の生成元である前記第１の画像情報信号と同一の前記第１の画像情報信号に基づいて生成された前記第２の画像情報信号による前記解析結果を前記情報付加部に入力完了する前に前記第４の画像情報信号の生成を完了することを特徴とする画像処理装置。
  2. 前記映像分配部は、前記第１の画像情報信号に基づく前記第２の画像情報信号を出力する情報解析用画像処理回路を有し、
    前記情報解析用画像処理回路は、入力した前記第１の画像情報信号に基づいて前記情報解析部において解析するための解析用画像データを生成し、当該解析用画像データを前記第２の画像情報信号として前記第１のルートに対して出力する
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 前記情報解析用画像処理回路は、入力した前記第１の画像情報信号における所定の領域を切り出し、当該切り出した領域に係る前記解析用画像データを生成し、前記第２の画像情報信号として前記第１のルートに対して出力する
    ことを特徴とする請求項２に記載の画像処理装置。
  4. 前記情報解析用画像処理回路は、入力した前記第１の画像情報信号に係る所定の物理的特性を平準化した前記解析用画像データを生成し、前記第２の画像情報信号として前記第１のルートに対して出力する
    ことを特徴とする請求項２に記載の画像処理装置。
  5. 前記映像分配部は、前記第１の画像情報信号に基づく前記第３の画像情報信号を出力する出力映像用画像処理回路を有し、
    前記出力映像用画像処理回路は、入力した前記第１の画像情報信号に対して所定の画像処理を施した前記第３の画像情報信号を生成し前記第２のルートに対して出力する
    ことを特徴とする請求項２に記載の画像処理装置。
  6. 前記第１の画像情報信号に同期した同期信号を生成し出力する同期信号生成回路をさらに有し、
    前記情報付加部は、前記同期信号に基づくタイミング基準に応じて前記第４の画像情報信号を生成するための画像生成タイミング調整回路を有する
    ことを特徴とする請求項１に記載の画像処理装置。
  7. 前記情報付加部は、前記同期信号に対して所定の位相差を有する信号を前記タイミング基準として前記第４の画像情報信号を生成する
    ことを特徴とする請求項６に記載の画像処理装置。
  8. 前記情報解析部は、前記第２の画像情報信号に係る前記解析結果を出力する毎に当該解析が完了したことを示す解析完了通知信号を出力する解析完了通知出力回路を有し、
    前記情報付加部は、前記解析完了通知信号を受信する度に前記同期信号との時間的差分を前記タイミング基準として前記第４の画像情報信号を生成する
    ことを特徴とする請求項７に記載の画像処理装置。
  9. 前記情報付加部は、前記同期信号の逓倍または分周された信号を前記タイミング基準として前記第４の画像情報信号を生成する
    ことを特徴とする請求項６に記載の画像処理装置。
  10. 前記情報解析部は、少なくとも時系列的に連続する２つの解析結果に基づいて前記解析結果を補正する解析結果補正回路を有する
    ことを特徴とする請求項１に記載の画像処理装置。
  11. 被検体を観察し撮像信号を出力する内視鏡と、
    画像処理装置であって、
    前記撮像信号に基づいて、画像生成部から連続的に出力される第１の画像情報信号を入力し、入力した当該第１の画像情報信号に応じた第２の画像情報信号を少なくとも第１のルートに対して出力すると共に、前記第１の画像情報信号に応じた画像情報信号である第３の画像情報信号を第２のルートに対して出力する映像分配部と、
    前記第２の画像情報信号を入力し、当該第２の画像情報信号に対して所定の解析を施して解析結果を出力する情報解析部と、
    前記映像分配部から出力される前記第３の画像情報信号と、前記情報解析部から出力される前記解析結果と、に基づいて第４の画像情報信号を生成し連続的に出力する情報付加部と、
    を具備し、
    前記情報付加部は、前記第３の画像情報信号を前記情報付加部に入力した際、当該第３の画像情報信号の生成元である前記第１の画像情報信号と同一の前記第１の画像情報信号に基づいて生成された前記第２の画像情報信号による前記解析結果を前記情報付加部に入力完了する前に前記第４の画像情報信号の生成を完了する画像処理装置と、
    を備えることを特徴とする内視鏡システム。
  12. 連続的な第１の画像情報信号に応じた第２の画像情報信号を少なくとも第１のルートに対して出力すると共に、前記第１の画像情報信号に応じた画像情報信号である第３の画像情報信号を第２のルートに対して出力し、
    前記第２の画像情報信号に対して所定の解析を施して解析結果を出力し、
    前記第３の画像情報信号と前記解析結果とを取得し、前記第３の画像情報信号と前記解析結果とに基づいて第４の画像情報信号を生成し連続的に出力し、
    前記第４の画像情報信号を生成しての連続的な出力において、前記第３の画像情報信号を取得した際、当該第３の画像情報信号の生成元である前記第１の画像情報信号と同一の前記第１の画像情報信号に基づいて生成された前記第２の画像情報信号による前記解析結果を取得する前に前記第４の画像情報信号の生成を完了することを特徴とする画像処理方法。
JP2020547560A 2018-09-20 2018-09-20 画像処理装置、内視鏡システム、および画像処理方法 Active JP7049474B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/034934 WO2020059098A1 (ja) 2018-09-20 2018-09-20 画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2020059098A1 JPWO2020059098A1 (ja) 2021-08-30
JP7049474B2 true JP7049474B2 (ja) 2022-04-06

Family

ID=69888674

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020547560A Active JP7049474B2 (ja) 2018-09-20 2018-09-20 画像処理装置、内視鏡システム、および画像処理方法

Country Status (4)

Country Link
US (1) US20210196100A1 (ja)
JP (1) JP7049474B2 (ja)
CN (1) CN112640443B (ja)
WO (1) WO2020059098A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7546270B2 (ja) 2020-09-23 2024-09-06 株式会社Ａｉメディカルサービス 検査支援装置、検査支援方法および検査支援プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003102675A (ja) 2001-09-28 2003-04-08 Fuji Photo Optical Co Ltd 光学的変倍機構を備えた電子内視鏡装置
JP2008124976A (ja) 2006-11-15 2008-05-29 Fujitsu Ltd 画像処理装置及び画像処理方法
JP2014128423A (ja) 2012-12-28 2014-07-10 Olympus Medical Systems Corp 内視鏡システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10165363A (ja) * 1996-12-06 1998-06-23 Olympus Optical Co Ltd 内視鏡用撮像信号処理装置
US7123288B2 (en) * 2001-09-28 2006-10-17 Fujinon Corporation Electronic endoscope eliminating influence of light distribution in optical zooming
JP4356327B2 (ja) * 2003-01-31 2009-11-04 コニカミノルタホールディングス株式会社 医用画像処理装置及び医用画像処理方法
JP4492299B2 (ja) * 2004-11-01 2010-06-30 沖電気工業株式会社 映像装置、映像表示方法及びプログラム
JP4598182B2 (ja) * 2005-01-05 2010-12-15 Ｈｏｙａ株式会社 電子内視鏡システム
JP5220705B2 (ja) * 2009-07-23 2013-06-26 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5317886B2 (ja) * 2009-08-13 2013-10-16 Ｈｏｙａ株式会社 電子内視鏡システムおよび電子内視鏡用プロセッサ
JP2013017752A (ja) * 2011-07-13 2013-01-31 Olympus Medical Systems Corp ノイズ除去装置、並びにこれを備える表示装置、カメラコントロールユニット、及び内視鏡システム
JP2014085473A (ja) * 2012-10-23 2014-05-12 Sharp Corp 映像処理装置および映像処理方法
JP6045396B2 (ja) * 2013-02-27 2016-12-14 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN103391425B (zh) * 2013-07-03 2016-08-10 深圳辉锐天眼科技有限公司 基于时分复用视频分析的监控智能化改造方法
WO2015134544A2 (en) * 2014-03-04 2015-09-11 Black Diamond Video Converter device and system including converter device
CN105916430B (zh) * 2014-11-25 2019-04-23 索尼公司 内窥镜系统以及内窥镜系统的操作方法
US10678843B2 (en) * 2015-01-06 2020-06-09 Maxell, Ltd. Image display device, image display method and image display system
JP6633065B2 (ja) * 2015-05-20 2020-01-22 ソニー・オリンパスメディカルソリューションズ株式会社 信号処理装置及び医療用観察システム
JP6458205B1 (ja) * 2017-02-16 2019-01-23 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
US11302439B2 (en) * 2017-06-27 2022-04-12 Sony Corporation Medical image processing apparatus, medical image processing method, and computing device
CN107807777B (zh) * 2017-09-28 2021-03-19 中国科学院长春光学精密机械与物理研究所 多核嵌入式电视跟踪器人机交互装置及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003102675A (ja) 2001-09-28 2003-04-08 Fuji Photo Optical Co Ltd 光学的変倍機構を備えた電子内視鏡装置
JP2008124976A (ja) 2006-11-15 2008-05-29 Fujitsu Ltd 画像処理装置及び画像処理方法
JP2014128423A (ja) 2012-12-28 2014-07-10 Olympus Medical Systems Corp 内視鏡システム

Also Published As

Publication number Publication date
CN112640443B (zh) 2023-05-19
JPWO2020059098A1 (ja) 2021-08-30
CN112640443A (zh) 2021-04-09
US20210196100A1 (en) 2021-07-01
WO2020059098A1 (ja) 2020-03-26

Similar Documents

Publication Publication Date Title
JP6392570B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理プログラム、及び内視鏡システム
JP2020058800A5 (ja)
JP5893808B2 (ja) 立体内視鏡画像処理装置
JP2014196953A (ja) 蛍光観察装置及び蛍光観察方法
US20160206291A1 (en) Live ultrasound image and historical ultrasound image frame overlapping
JP5698068B2 (ja) 画像処理装置、画像表示システム、放射線画像撮影システム、画像処理プログラム、及び画像処理方法
JP2017213097A (ja) 画像処理装置、画像処理方法およびプログラム
EP2671503A1 (en) Image processing apparatus
US11457876B2 (en) Diagnosis assisting apparatus, storage medium, and diagnosis assisting method for displaying diagnosis assisting information in a region and an endoscopic image in another region
JP2022155690A5 (ja)
JP7049474B2 (ja) 画像処理装置、内視鏡システム、および画像処理方法
JP5175781B2 (ja) 前眼部３次元画像処理装置
JP2006006435A (ja) 画像表示方法および装置並びにプログラム
JP2014018251A (ja) 眼科撮影装置及び眼科撮影プログラム
WO2016114155A1 (ja) 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム
JP7163913B2 (ja) 医療用システム及び制御ユニット
CN112334055A (zh) 医学观察系统、医学观察设备及医学观察设备的驱动方法
JP2019098005A (ja) 内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法
EP3595299A1 (en) Medical image display control device, medical image display device, medical information processing system, and medical image display control method
JP5932188B1 (ja) 内視鏡のためのビデオプロセッサ及びそれを備えた内視鏡システム
JP2017215688A (ja) 画像処理装置、画像処理方法
US20240188795A1 (en) Systems and methods for reducing noise in imagery in a computer-assisted medical system
US9336350B2 (en) Medical image display apparatus and method
US20220346632A1 (en) Image processing apparatus, image processing method, and non-transitory storage medium storing computer program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220325

R151 Written notification of patent or utility model registration

Ref document number: 7049474

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151