JP6104493B1 - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
JP6104493B1
JP6104493B1 JP2017502729A JP2017502729A JP6104493B1 JP 6104493 B1 JP6104493 B1 JP 6104493B1 JP 2017502729 A JP2017502729 A JP 2017502729A JP 2017502729 A JP2017502729 A JP 2017502729A JP 6104493 B1 JP6104493 B1 JP 6104493B1
Authority
JP
Japan
Prior art keywords
image
unit
data
optical
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017502729A
Other languages
English (en)
Other versions
JPWO2017038774A1 (ja
Inventor
健彦 伊藤
健彦 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Application granted granted Critical
Publication of JP6104493B1 publication Critical patent/JP6104493B1/ja
Publication of JPWO2017038774A1 publication Critical patent/JPWO2017038774A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00105Constructional details of the endoscope body characterised by modular construction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2415Stereoscopic endoscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • G02B23/243Objectives for endoscopes
    • G02B23/2438Zoom objectives
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本発明に係る内視鏡システム1は、左眼用光学系21A、右眼用光学系21B、撮像部20、画角補正データを記憶するメモリ24を有する内視鏡2と、メモリ24から画角補正データを取得する補正データ取得部311、及び、取得した画角補正データに基づいて左眼画像の画角と右眼画像の画角とを一致させるとともに、左眼画像の大きさと右眼画像の大きさとを一致させるように補正する補正部35を有する光源一体型プロセッサ3を備える。これにより、立体観察用の二つの光学系を有する光学ユニットとして、どの光学ユニットが処理装置に装着された場合であっても、装着された光学ユニットに対応した画像補正を適切に実行することができる撮像システムを提供する。

Description

本発明は、撮像システム、処理装置、処理方法及び処理プログラムに関する。
近年、デジタルカメラとして、両眼に相当する二つの撮像素子と各撮像素子に対応する二つの光学系を設けて被写体を撮像し、撮像された左右の二つの画像データから立体画像を得るように構成された一体型の立体カメラが提案されている(例えば、特許文献1参照)。このような立体カメラは、搭載している二つの光学系の個体差に対応した補正パラメータを保持し、この補正パラメータを用いて、二つの光学系の個体差に起因する左眼画像データ及び右目画像データの大きさの不一致を、立体カメラ内部で補正する機能を備えている。
ところで、医療分野等において使用される内視鏡と処理装置(プロセッサ)とが着脱可能である内視鏡システムにおいても、診断や検査の円滑化のために、観察対象を立体画像で観察したいという要求がある。この要求にこたえるための技術として、立体観察用の二つの光学系を有する光学ユニットと、各光学ユニットに対応する二つの撮像素子とを設けた内視鏡が知られている。この内視鏡が装着されたプロセッサは、装着された内視鏡から左右の画像データを受信し、この二つの画像データから立体画像を生成する。
特開2006−162991号公報
内視鏡には個体差があり、装着された内視鏡によって、内視鏡の二つの光学系の個体差に起因する画像間の大きさのバラツキが異なるため、プロセッサは、装着される内視鏡に適した画像補正を行うことができなかった。
本発明は、上記に鑑みてなされたものであって、立体観察用の二つの光学系を有する光学ユニットとして、どの光学ユニットが処理装置に装着された場合であっても、装着された光学ユニットに対応した画像補正を適切に実行することができる撮像システム、処理装置、処理方法及び処理プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる撮像システムは、光学ユニットと、前記光学ユニットが着脱自在に装着される構成を有する処理装置と、前記光学ユニットと前記処理装置とのいずれかに配置されてなる撮像装置と、を備えた撮像システムであって、前記光学ユニットは、被写体からの入射光を結像する第1の光学系と、前記被写体からの入射光を、前記第1の光学系とは視差を有して結像する第2の光学系と、前記第1の光学系と前記第2の光学系との画角の相違を補正するための画角補正データを記憶する第1の記憶部と、を備え、前記撮像装置は、前記第1の光学系で結像された光学像を撮像して第1の画像データを生成する第1の撮像部と、前記第2の光学系で結像された光学像を撮像して第2の画像データを生成する第2の撮像部と、を備え、前記処理装置は、前記第1の記憶部から前記画角補正データを取得するデータ取得部と、前記データ取得部が取得した画角補正データに基づいて、前記第1の画像データに対応する第1の画像の画角と前記第2の画像データに対応する第2の画像の画角とを一致させるとともに、前記第1の画像の大きさと前記第2の画像の大きさとを一致させるように、前記第1の画像データ及び前記第2の画像データの少なくともいずれか一方を補正する補正部と、を備えたことを特徴とする。
また、本発明にかかる撮像システムは、前記画角補正データは、前記第1の画像の画角及び大きさに対して前記第2の画像の画角及び大きさを一致させるように前記補正部に指示する指示データと、前記第2の画像の画角の前記第1の画像の画角に対する第1の倍率と、を少なくとも含むことを特徴とする。
また、本発明にかかる撮像システムは、前記処理装置は、該処理装置によって処理された画像を表示出力する表示部と、前記光学ユニットの種別及び前記表示部の規格に応じて予め設定された拡大縮小倍率である第2の倍率を基に前記補正部で使用される第1の拡大縮小倍率を生成し、前記データ取得部が取得した前記第1の倍率と前記第2の倍率とを基に前記補正部で使用される第2の拡大縮小倍率を生成するパラメータ生成部と、をさらに備え、前記補正部は、各画像からの抽出基準領域に基づいて前記第1の画像から抽出する第1の抽出領域の大きさを設定する一方、前記抽出基準領域及び前記データ取得部が取得した前記第1の倍率に基づいて前記第2の画像から抽出する第2の抽出領域の大きさを設定する領域設定部と、前記第1の画像から前記第1の抽出領域を抽出し、該抽出した前記第1の抽出領域を前記第1の拡大縮小倍率で拡大あるいは縮小した画像を補正後の第1の画像として出力する一方、前記第2の画像から前記第2の抽出領域を抽出し、該抽出した前記第2の抽出領域を前記第2の拡大縮小倍率で拡大あるいは縮小した画像を補正後の第2の画像として出力する拡大縮小部と、を備えたことを特徴とする。
また、本発明にかかる撮像システムは、前記処理装置は、前記第2の倍率を前記光学ユニットの種別及び前記表示部の規格にそれぞれ対応付けて記憶する第2の記憶部をさらに備え、前記第1の記憶部は、前記光学ユニットの種別を示す識別情報を記憶し、前記データ取得部は、前記第1の記憶部から前記光学ユニットの識別情報を取得し、該取得した識別情報が示す前記光学ユニットの種別及び前記表示部の規格に応じた前記第2の倍率を前記第2の記憶部から取得し、前記パラメータ生成部は、前記データ取得部が取得した前記第1の倍率及び前記第2の倍率を基に前記第1の拡大縮小倍率と前記第2の拡大縮小倍率とを生成することを特徴とする。
また、本発明にかかる撮像システムは、前記画角補正データは、前記第1の画像における前記抽出基準領域の位置を示す第1の位置データと、前記第2の画像における前記抽出基準領域の位置を示す第2の位置データとを含み、前記領域設定部は、前記データ取得部が取得した前記第1の位置データを基に前記第1の画像における前記抽出基準領域の位置を設定し、前記データ取得部が取得した前記第2の位置データを基に前記第2の画像における前記抽出基準領域の位置を設定することを特徴とする。
また、本発明にかかる撮像システムは、前記第1の光学系及び前記第2の光学系は、それぞれの画角を変化させる光学ズーム機能を有し、前記補正部は、前記データ取得部が取得した画角補正データに基づいて、前記第1の光学系及び前記第2の光学系の少なくともいずれか一方の前記光学ズーム機能を制御することで、前記第1の画像データに対応する第1の画像の画角と前記第2の画像データに対応する第2の画像の画角とを一致させるとともに、前記第1の画像の大きさと前記第2の画像の大きさとを一致させることを特徴とする。
また、本発明にかかる撮像システムは、前記光学ユニット及び前記撮像装置を備えた内視鏡装置と、前記撮像装置が撮像した画像データを処理する前記処理装置とを有することを特徴とする。
また、本発明にかかる処理装置は、被写体からの入射光を結像する第1の光学系と、前記被写体からの入射光を、前記第1の光学系とは視差を有して結像する第2の光学系と、前記第1の光学系と前記第2の光学系との画角の相違を補正するための画角補正データを記憶する第1の記憶部とを有する光学ユニットが着脱自在に装着され、前記光学ユニットと当該処理装置とのいずれかに配置されており、前記第1の光学系で結像された光学像を撮像して第1の画像データを生成する第1の撮像部と前記第2の光学系で結像された光学像を撮像して第2の画像データを生成する第2の撮像部とを有する撮像装置から出力された画像データを処理する処理装置であって、当該処理装置に装着された前記光学ユニットの前記第1の記憶部から前記画角補正データを取得するデータ取得部と、前記データ取得部が取得した画角補正データに基づいて、前記第1の画像データに対応する第1の画像の画角と前記第2の画像データに対応する第2の画像の画角とを一致させるとともに、前記第1の画像の大きさと前記第2の画像の大きさとを一致させるように、前記第1の画像データ及び前記第2の画像データの少なくともいずれか一方を補正する補正部と、を備えたことを特徴とする。
また、本発明にかかる処理方法は、被写体からの入射光を結像する第1の光学系と、前記被写体からの入射光を、前記第1の光学系とは視差を有して結像する第2の光学系とを有する光学ユニットが着脱自在に装着され、前記第1の光学系で結像された光学像を撮像して第1の画像データを生成する第1の撮像部及び前記第2の光学系で結像された光学像を撮像して第2の画像データを生成する第2の撮像部から出力された画像データを処理する処理装置が実行する処理方法であって、前記処理装置に装着された前記光学ユニットが有する第1の記憶部から、前記第1の光学系と前記第2の光学系との画角の相違を補正するための画角補正データを取得するデータ取得処理と、前記データ取得処理において取得した画角補正データに基づいて、前記第1の画像データに対応する第1の画像の画角と前記第2の画像データに対応する第2の画像の画角とを一致させるとともに、前記第1の画像の大きさと前記第2の画像の大きさとを一致させるように、前記第1の画像データ及び前記第2の画像データの少なくともいずれか一方を補正する補正処理と、を含むことを特徴とする。
また、本発明にかかる処理プログラムは、被写体からの入射光を結像する第1の光学系と、前記被写体からの入射光を、前記第1の光学系とは視差を有して結像する第2の光学系とを有する光学ユニットが着脱自在に装着され、前記第1の光学系で結像された光学像を撮像して第1の画像データを生成する第1の撮像部及び前記第2の光学系で結像された光学像を撮像して第2の画像データを生成する第2の撮像部から出力された画像データを処理する処理装置に、前記処理装置に装着された前記光学ユニットが有する第1の記憶部から、前記第1の光学系と前記第2の光学系との画角の相違を補正するための画角補正データを取得するデータ取得手順と、前記データ取得手順において取得した画角補正データに基づいて、前記第1の画像データに対応する第1の画像の画角と前記第2の画像データに対応する第2の画像の画角とを一致させるとともに、前記第1の画像の大きさと前記第2の画像の大きさとを一致させるように、前記第1の画像データ及び前記第2の画像データの少なくともいずれか一方を補正する補正手順と、を実行させることを特徴とする。
本発明によれば、立体観察用の二つの光学系を有する光学ユニットとして、どの光学ユニットが処理装置に装着された場合であっても、装着された光学ユニットに対応した画像補正を適切に実行することができる。
図1は、本発明の実施の形態における内視鏡システムの概略構成を示す模式図である。 図2は、図1に示す光源一体型プロセッサが内視鏡から入力された画像データに対して実行する処理の処理手順を示すフローチャートである。 図3は、図2に示す補正処理の処理手順を示すフローチャートである。 図4は、図3に示す基準領域位置設定処理を説明するための図である。 図5は、図3に示す抽出領域の大きさ設定処理を説明する図である。 図6は、図3に示す拡大縮小処理を説明するための図である。 図7は、図3に示す基準領域位置設定処理を説明するための図である。 図8は、図3に示す抽出領域の大きさ設定処理を説明する図である。 図9は、図3に示す拡大縮小処理を説明するための図である。 図10は、本発明の実施の形態における撮像システムの他の概略構成を示す模式図である。
以下の説明では、本発明を実施するための形態(以下、「実施の形態」という)として、医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。
(実施の形態)
図1は、本発明の実施の形態における内視鏡システムの概略構成を示す模式図である。図1に示すように、本実施の形態にかかる内視鏡システム1は、被検体内導入用の内視鏡2、コネクタ(不図示)を介して装着された内視鏡2(撮像装置)から送信される撮像信号に対して所定の画像処理を施す光源一体型プロセッサ3(処理装置)、内視鏡2による撮像信号に対応した立体映像を表示する表示装置4(表示部)、及び、各種指示情報の入力を受け付けて光源一体型プロセッサ3に指示情報を入力する入力装置5を備える。光源一体型プロセッサ3は、コネクタを介して、内視鏡2が着脱自在に装着される構成を有する。光源一体型プロセッサ3は、内部に光源部6を有するプロセッサである。
内視鏡2は、被検体内に挿入される可撓性の挿入部を有し、挿入部の先端部に設けられた撮像部20によって、被検体の体内を撮像した被検体内の画像データが生成される。内視鏡2は、先端部に、左眼用光学系21A(第1の光学系)、右眼用光学系21B(第2の光学系)、左眼用撮像素子22A(第1の撮像部)と右眼用撮像素子22B(第2の撮像部)と左眼用信号処理部23Aと右眼用信号処理部23Bとを備えた撮像部20、メモリ24(第1の記憶部)及び照明レンズ25を有する。内視鏡2は、先端から基端のコネクタ(不図示)まで延伸する照明ファイバ(ライトガイドケーブル)及び電気ケーブル(不図示)を有する。また、内視鏡2は、各種操作スイッチが設けられた操作スイッチ部(不図示)を有する。
左眼用光学系21Aは、一または複数のレンズを用いて構成され、左眼用撮像素子22Aの前段に設けられ、被写体からの入射光を結像する。
右眼用光学系21Bは、一または複数のレンズを用いて構成され、右眼用撮像素子22Bの前段に設けられ、被写体からの入射光を、左眼用光学系21Aとは視差を有して結像する。なお、左眼用光学系21A及び右眼用光学系21Bは、それぞれが画角を変化させる光学ズーム機能及び焦点を変化させるフォーカス機能を有していてもよい。
左眼用撮像素子22Aは、左眼用光学系21Aで結像された光学像を撮像して左眼画像データ(第1の画像データ)を生成する。左眼用撮像素子22Aは、CMOS撮像素子やCCD撮像素子であり、受光面に、光が照射された被写体からの光を受光し、受光した光を光電変換して画像データを生成する複数の画素が行列状に配置される。
右眼用撮像素子22Bは、右眼用光学系21Bで結像された光学像を撮像して右眼画像データ(第2の画像データ)を生成する。右眼用撮像素子22Bは、CMOS撮像素子やCCD撮像素子であり、受光面に、光が照射された被写体からの光を受光し、受光した光を光電変換して画像データを生成する複数の画素が行列状に配置される。
左眼用信号処理部23Aは、左眼用撮像素子22Aから出力された左眼画像データ(アナログ)に対してノイズ除去処理やクランプ処理を行うアナログ処理部及びA/D変換処理を行うA/D変換部を有し、左眼画像データ(デジタル)を、光源一体型プロセッサ3に出力する。なお、光源一体型プロセッサ3側に左眼用信号処理部23Aが設けられる構成もある。
右眼用信号処理部23Bは、右眼用撮像素子22Bから出力された右眼画像データ(アナログ)に対してノイズ除去処理やクランプ処理を行うアナログ処理部及びA/D変換処理を行うA/D変換部を有し、右眼画像データ(デジタル)を、光源一体型プロセッサ3に出力する。なお、光源一体型プロセッサ3側に右眼用信号処理部23Bが設けられる構成もある。
メモリ24は、内視鏡2の種別、型番、左眼用撮像素子22A、右眼用撮像素子22Bの種別等を示す識別情報を記録する。メモリ24は、左眼用光学系21Aと右眼用光学系21Bとの画角の相違を補正するための画角補正データを記憶する。画角補正データは、各内視鏡2に応じたデータである。画角補正データは、左眼画像データに対応する左眼画像(第1の画像)と右眼画像データに対応する右眼画像(第2の画像)とのうち、左眼画像の画角及び大きさに対して右眼画像の画角及び大きさを一致させるように補正部35に指示する指示データを含む。画角補正データは、右眼画像の画角の左眼画像の画角に対する倍率γ(第1の倍率)を含む。メモリ24は、光源一体型プロセッサ3における各画像からの抽出領域の基準の大きさを示す基準領域(抽出基準領域)の位置を示す位置データを記憶する。位置データは、左眼画像における基準領域の位置を示す第1の位置データと、右眼画像における基準領域の位置を示す第2の位置データとである。なお、メモリ24は、ホワイトバランス(WB)調整用のパラメータ等、左眼用撮像素子22A及び右眼用撮像素子22Bが撮像した画像データに対する画像処理用の各種パラメータを記録していてもよい。メモリ24が記録する各種情報は、内視鏡2が光源一体型プロセッサ3に装着された場合に光源一体型プロセッサ3との間の通信処理によって、電気ケーブル(不図示)を介して、光源一体型プロセッサ3の補正データ取得部311に出力される。
照明レンズ25は、コネクタから延伸するライトガイドケーブルの先端に位置する。内視鏡2が光源一体型プロセッサ3に装着されている場合には、後述する光源一体型プロセッサ3の光源部6から発せられた光は、ライトガイドケーブルを経由して、内視鏡2先端の照明レンズ25から被写体に照明される。
光源一体型プロセッサ3は、着脱自在に内視鏡2が装着され、装着された内視鏡2から送信される左眼画像データ及び右眼画像データに対して所定の画像処理を施し、立体画像を生成する。光源一体型プロセッサ3は、生成した立体画像を表示装置4に表示出力させる。
光源一体型プロセッサ3は、制御部31、記憶部32(第2の記憶部)、左右画像変換部33、第1画像処理部34、補正部35、第2画像処理部36、OSD(オンスクリーンディスプレイ)生成部37、合成部38、表示制御部39及び光源部6を有する。
制御部31は、CPU等を用いて実現される。制御部31は、光源一体型プロセッサ3の各構成に対する指示情報やデータの転送等を行うことによって、光源一体型プロセッサ3の各部位の処理動作を制御する。光源一体型プロセッサ3に内視鏡2が装着されている場合、制御部31は、各ケーブルを介して内視鏡2の左眼用撮像素子22A、右眼用撮像素子22B、左眼用信号処理部23A及び右眼用信号処理部23Bにそれぞれ接続し、これらの制御も行う。制御部31は、補正データ取得部311及びパラメータ生成部312を有する。
補正データ取得部311は、この光源一体型プロセッサ3に実際に装着された内視鏡2のメモリ24から画角補正データを取得する。補正データ取得部311は、左眼画像の画角及び大きさに対して右眼画像の画角及び大きさを一致させるように補正部35に指示する指示データと、この内視鏡2の右眼画像の画角の左眼画像の画角に対する倍率γと、左眼画像における基準領域の位置を示す第1の位置データと、右眼画像における基準領域の位置を示す第2の位置データと、をメモリ24から取得する。補正データ取得部311は、内視鏡2のメモリ24から該内視鏡2の種別を示す識別情報を取得し、該取得した識別情報が示す内視鏡2の種別及び表示装置4の規格に応じた倍率α(第2の倍率)を、後述する記憶部32から取得する。倍率αは、内視鏡2の種別及び表示装置4の規格に応じて予め設定された拡大縮小処理対象の画像に対する拡大縮小倍率である。倍率αは、表示装置4が表示する画像の大きさに合う大きさの画像を生成するために、入力された画像を拡大あるいは縮小する処理において用いられる。実施の形態では、倍率αは、左眼画像に対する拡大縮小倍率とし、右眼画像に対する拡大縮小倍率もαであるとして以降の説明を行う。
パラメータ生成部312は、補正データ取得部311が取得した倍率γを基に、後述する拡大縮小部352が実行する拡大縮小処理において、左眼画像から抽出された第1の抽出領域に対して使用される第1の拡大縮小倍率を生成する。パラメータ生成部312は、補正データ取得部311が取得した倍率γと倍率αとを基に、拡大縮小部352が実行する拡大縮小処理において、右眼画像から抽出された第2の抽出領域に対して使用される第2の拡大縮小倍率を生成する。
記憶部32は、揮発性メモリや不揮発性メモリを用いて実現され、光源一体型プロセッサ3を動作させるための各種プログラムを記憶する。記憶部32は、光源一体型プロセッサ3の処理中の情報を一時的に記録する。記憶部32は、各画像からの抽出領域の基準の大きさを示す基準領域を示す情報を記憶する。記憶部32は、倍率αを内視鏡2の種別及び表示装置4の規格にそれぞれ対応付けた拡大縮小倍率データ321を記憶する。記憶部32は、内視鏡2から出力された左眼画像データ、右眼画像データ、識別情報等の各種情報を記憶する。記憶部32は、光源一体型プロセッサ3の外部から装着されるメモリカード等を用いて構成されてもよい。
左右画像変換部33は、左眼用信号処理部23Aから入力された左眼画像データと、右眼用信号処理部23Bから入力された右眼画像データとを基に、例えばSide−by−Side方式を用いて、左眼画像データに対応する左眼画像と右眼画像データに対応する右眼画像とを横に並べて1枚の画像データに変換する。左右画像変換部33は、左眼用信号処理部23Aから入力された左眼画像データと、右眼用信号処理部23Bから入力された右眼画像データとを、後段の第1画像処理部34における画像処理に適した形式に変換する。
第1画像処理部34は、左右画像変換部33から入力された画像データに対し、オプティカルブラック(OB)減算処理、デモザイキング処理及びホワイトバランス(WB)調整処理等を行う。
補正部35は、補正データ取得部311が取得した画角補正データに基づいて、左眼画像データに対応する左眼画像の画角と右眼画像データに対応する右眼画像の画角とを一致させるとともに、左眼画像の大きさと右眼画像の大きさとを一致させるように、左眼画像データ及び右眼画像データの少なくともいずれか一方を補正する。実施の形態では、補正部35に対して、左眼画像の画角及び大きさに対して右眼画像の画角及び大きさを一致させるように指示データで指示されている。なお、二つの画像間で水平方向の大きさ及び垂直方向の大きさがそれぞれ一致する場合に、該二つの画像の大きさが一致するものとして、以降の説明を行う。補正部35は、処理領域設定部351及び拡大縮小部352を有する。
処理領域設定部351は、補正データ取得部311が取得した第1の位置データを基に左眼画像における基準領域の位置を設定する。処理領域設定部351は、補正データ取得部311が取得した第2の位置データを基に右眼画像における基準領域の位置を設定する。処理領域設定部351は、設定した左眼画像の基準領域に基づいて左眼画像から抽出する第1の抽出領域の大きさを設定する一方、設定した右眼画像の基準領域及び補正データ取得部311が取得した倍率γに基づいて右眼画像から抽出する第2の抽出領域の大きさを設定する。
拡大縮小部352は、左眼画像から第1の抽出領域を抽出し、該抽出した第1の抽出領域を第1の拡大縮小倍率で拡大あるいは縮小した画像を補正後の左眼画像として出力する。拡大縮小部352は、右眼画像から第2の抽出領域を抽出し、該抽出した第2の抽出領域を第2の拡大縮小倍率で拡大あるいは縮小した画像を補正後の右眼画像として出力する。第1の拡大縮小倍率及び第2の拡大縮小倍率は、パラメータ生成部312によって生成される。
第2画像処理部36は、補正部35が出力した補正後の右眼画像及び補正後の左眼画像に対して、構造強調処理(エッジ強調処理)等の画像処理を行い、立体表示用の画像データを生成する。
OSD生成部37は、立体表示用の画像データに重畳するための文字やメニュー等の画像データを生成する。
合成部38は、OSD生成部37が生成した画像を、第2画像処理部36から出力された立体表示用の画像データに合成した表示用の画像データを生成する。
表示制御部39は、合成部38が生成した表示用の画像データを、表示装置4が表示出力可能な形式の画像データに変換し、表示装置4に表示させる。表示制御部39は、デジタル信号からアナログ信号への変換器(DAC)やエンコーダを備え、合成部38から入力された画像データを、例えば、デジタル信号からアナログ信号に変換し、変換したアナログ信号の画像データをハイビジョン方式等のフォーマットに変更して、表示装置4へ出力する。
光源部6は、光源ドライバと光源とを有し、制御部31の制御のもと、内視鏡2に照明光を供給する。光源部6の光源は、例えば白色光を発する白色LEDで構成される。また、光源部6の光源は、それぞれ異なる波長帯域の光を発する複数のLED(例えば赤色LED、緑色LED、青色LED)を用い、各LEDが発する光を合波して所望の色調の照明光を得るものであってもよい。また、光源部6は、時系列で異なる色成分の光を出射する面順次式の構成を採用してもよい。また、光源部6は、レーザ光源を用いるものであってもよい。また、光源部6は、キセノンランプ、ハロゲンランプ等の光源と、光学フィルタ、絞り及び光源部6の各部材を制御する光源制御部品を備えた構成であってもよい。
表示装置4は、液晶又は有機EL(Electro Luminescence)を用いた表示ディスプレイ等を用いて構成される。表示装置4は、光源一体型プロセッサ3から出力された表示用画像を含む各種情報を表示する。
入力装置5は、マウス、キーボード及びタッチパネル等の操作デバイスを用いて実現され、各種指示データの入力を受け付け、受け付けた各種指示データを光源一体型プロセッサ3の制御部31に入力する。入力装置5は、被検体である患者に関する患者データ(たとえばID、生年月日、名前等)、及び、検査内容等のデータの入力を受け付ける。
図2は、光源一体型プロセッサ3が内視鏡2から入力された画像データに対して実行する処理の処理手順を示すフローチャートである。
図2に示すように、光源一体型プロセッサ3では、制御部31が、内視鏡2が光源一体型プロセッサ3に装着されたか否かを判断する(ステップS1)。制御部31は、内視鏡2が光源一体型プロセッサ3に装着されていないと判断した場合(ステップS1:No)、内視鏡2が光源一体型プロセッサ3に装着されたと判断するまでステップS1の判断処理を繰り返す。
内視鏡2が光源一体型プロセッサ3に装着されたと制御部31が判断した場合(ステップS1:Yes)、補正データ取得部311は、内視鏡2のメモリ24との間で通信処理を行い、メモリ24から内視鏡2の識別情報を取得する識別情報取得処理を行う(ステップS2)。
補正データ取得部311は、ステップS2において取得した識別情報が示す内視鏡2の種別、及び、光源一体型プロセッサ3に接続する表示装置4の規格に応じた倍率αを、記憶部32の拡大縮小倍率データ321から読み出して取得する倍率α取得処理を行う(ステップS3)。
補正データ取得部311は、メモリ24から、指示データ、倍率γ、第1の位置データ及び第2の位置データを含む画角補正データを取得する画角補正データ取得処理を行う(ステップS4)。ステップS2及びステップS4は、並列処理であってもよい。補正データ取得部311が取得した倍率α及び画角補正データは、補正部35に出力される。
パラメータ生成部312は、補正データ取得部311が取得した倍率γを基に第1の拡大縮小倍率を生成し、補正データ取得部311が取得した倍率γと倍率αとを基に第2の拡大縮小倍率を生成するパラメータ生成処理を行う(ステップS5)。パラメータ生成部312が生成した第1の拡大縮小倍率及び第2の拡大縮小倍率は、補正部35の拡大縮小部352に出力される。
制御部31は、内視鏡2から画像データが入力されたか否かを判断する(ステップS6)。制御部31は、内視鏡2から画像データが入力されていないと判断した場合(ステップS6:No)、処理を終了する。
内視鏡2から画像データが入力されたと制御部31が判断した場合(ステップS6:Yes)、左右画像変換部33が、入力された画像データである左眼画像データ及び右眼画像データを1枚の画像データに変換後、第1画像処理部34がOB減算処理、デモザイキング処理及びWB調整処理等の第1の画像処理を行う(ステップS7)。
補正部35は、第1の画像処理が行なわれた画像に対して、左眼画像データに対応する左眼画像の画角と右眼画像データに対応する右眼画像の画角とを一致させるとともに、左眼画像の大きさと右眼画像の大きさとを一致させる補正処理を行う(ステップS8)。補正部35における補正後の左眼画像及び右眼画像は、画角及び画像の大きさが一致したものとなる。
第2画像処理部36及び合成部38は、補正部35における補正後の左眼画像及び右眼画像に対し、エッジ強調処理等の画像処理を行って立体表示用の画像データを生成する第2の画像処理を行う(ステップS9)。表示制御部39は、第2の画像処理において生成された立体表示用の画像データを、表示装置4が表示出力可能な形式の画像データに変換し、表示装置4に表示させる画像表示制御処理を行う(ステップS10)。これによって、表示装置4には、画角及び画像の大きさが一致した左眼画像及び右眼画像に基づく立体画像が表示される。その後、ステップS6に戻り、処理が継続される。
図3は、図2に示す補正処理の処理手順を示すフローチャートである。図3に示すように、補正処理において、処理領域設定部351は、補正データ取得部311が取得した第1の位置データを基に左眼画像における基準領域の位置を設定する一方、第2の位置データを基に右眼画像における基準領域の位置を設定する基準領域位置設定処理を行う(ステップS11)。
処理領域設定部351は、左眼画像から抽出する第1の抽出領域の大きさを設定する一方、右眼画像から抽出する第2の抽出領域の大きさを設定する抽出領域の大きさ設定処理を行う(ステップS12)。
拡大縮小部352は、左眼画像から第1の抽出領域を抽出し、該抽出した第1の抽出領域を第1の拡大縮小倍率で拡大あるいは縮小した画像を補正後の左眼画像として出力する一方、右眼画像から第2の抽出領域を抽出し、該抽出した第2の抽出領域を第2の拡大縮小倍率で拡大あるいは縮小した画像を補正後の右眼画像として出力する拡大縮小処理を行う(ステップS13)。
図4〜図6を参照して、図3に示す各処理を説明する。図4は、図3に示す基準領域位置設定処理を説明するための図である。図5は、図3に示す抽出領域の大きさ設定処理を説明する図である。図6は、図3に示す拡大縮小処理を説明するための図である。
たとえば、図4の(a)のように、基準領域の大きさとして、水平方向及び垂直方向の大きさがともにnである正方形状の領域Cが設定されている場合であって、第1の位置データが、左眼画像における基準領域の左上頂点の位置Pを示し、第2の位置データが、右眼画像における基準領域の左上頂点の位置Pを示す場合を例に説明する。処理領域設定部351は、基準領域位置設定処理(ステップS11)において、図4の(b)に示すように、左眼画像Gにおける基準領域として、第1の位置データが示す位置Pに左上頂点が位置するように領域Cを配置した領域Cを設定する。処理領域設定部351は、図4の(b)に示すように、右眼画像Gにおける基準領域として、第2の位置データが示す位置Pに左上頂点が位置するように領域Cを配置した領域Cを設定する。なお、第2の位置データは、左眼画像における基準領域の左上頂点Pに対するずれ量Zであってもよく、その場合には、処理領域設定部351は、位置PからZ分ずらした位置に左上頂点が位置するように領域Cを配置させて、基準領域Cを設定してもよい。
実施の形態では、左眼画像の画角及び大きさに対して右眼画像の画角及び大きさを一致させるように指示されている。処理領域設定部351は、抽出領域の大きさ設定処理(ステップS12)において、図5に示すように、左眼画像Gに対しては、ステップS11において設定した基準領域Cをそのまま第1の抽出領域として設定する。処理領域設定部351は、右眼画像Gに対しては、右眼画像の画角を左眼画像の画角と一致させる補正を行うために、ステップS11において設定した右眼画像Gの基準領域Cを、矢印Yのように、水平方向及び垂直方向をそれぞれ(1/γ)倍した領域C2Rを第2の抽出領域として設定する。したがって、水平方向及び垂直方向の大きさがともに(n/γ)である正方形状の第2の抽出領域C2Rが設定される。なお、処理領域設定部351は、基準領域Cの中心の位置は固定させた状態で、基準領域Cを水平方向及び垂直方向にそれぞれ(1/γ)倍する。
拡大縮小処理(ステップS13)においては、図6の(a)に示すように、拡大縮小部352は、左眼画像G(図5参照)から第1の抽出領域Cを抽出し、右眼画像G(図5参照)から第2の抽出領域C2Rを抽出する。図4の(a)に示すように基準領域の大きさとして正方形状の領域Cが設定されている場合、ステップS5において、パラメータ生成部312は、補正対象ではない左眼画像に対する第1の拡大縮小倍率については倍率αを設定する。パラメータ生成部312は、倍率αで拡大縮小された補正後の左眼画像の大きさと、補正後の右眼画像の大きさとが一致するように、補正対象となる右眼画像に対する第2の拡大縮小倍率として、倍率αを倍率γで乗じた倍率(α×γ)に設定する。したがって、拡大縮小部352は、矢印Yのように、左眼画像Gから抽出した第1の抽出領域Cの水平方向の大きさ及び垂直方向の大きさをそれぞれα倍で拡大あるいは縮小した画像Oを生成する(図6の(b)参照)。拡大縮小部352は、矢印Yのように、抽出した第2の抽出領域C2Rの水平方向の大きさ及び垂直方向の大きさをそれぞれ(α×γ)倍で拡大あるいは縮小した画像Oを生成する(図6の(b)参照)。この結果、左眼画像O及び右眼画像Oは、水平方向及び垂直方向の大きさがともに(n×α)となり、画像の大きさが一致する。
このように、本実施の形態では、それぞれの内視鏡2のメモリ24に、内視鏡2の左眼用光学系21Aと右眼用光学系21Bとの画角の相違を補正するための画角補正データを記憶させている。光源一体型プロセッサ3に内視鏡2が装着されると、光源一体型プロセッサ3は、内視鏡2のメモリ24から画角補正データを読み出し、読み出した画角補正データに基づいて、左眼画像データに対応する左眼画像の画角と右眼画像データに対応する右眼画像の画角とを一致させるとともに、左眼画像の大きさと右眼画像の大きさとを一致させるように補正処理を実行する。言い換えると、実施の形態では、立体観察用の二つの光学系の個体差に起因する画像間の大きさのバラツキが内視鏡2ごとに異なる場合であっても、光源一体型プロセッサ3は、実際に装着された内視鏡2に対応する画角補正データを内視鏡2のメモリ24から読み出し、読み出した画角補正データに基づいて補正処理を行っている。したがって、実施の形態によれば、どのような内視鏡2が光源一体型プロセッサ3に装着された場合であっても、光源一体型プロセッサ3は、装着される内視鏡2に対応した画像補正を適切に実行することができる。
なお、基準領域の大きさとして、水平方向及び垂直方向の大きさが異なる長方形状の領域が設定されている場合には、第1の倍率として、水平方向については倍率αが設定されており、垂直方向については倍率αが設定されている場合がある。この場合の補正処理について説明する。図7は、図3に示す基準領域位置設定処理を説明するための図である。図8は、図3に示す抽出領域の大きさ設定処理を説明する図である。図9は、図3に示す拡大縮小処理を説明するための図である。
たとえば、図7の(a)のように、基準領域の大きさとして、水平方向の大きさがxであり、垂直方向の大きさがyである長方形状の領域Dが設定されている。処理領域設定部351は、基準領域位置設定処理(ステップS11)において、図7の(b)に示すように、左眼画像Fにおける基準領域として、位置Pに左上頂点が位置するように領域Dを配置した領域Dを設定し、右眼画像Fにおける基準領域として、位置Pに左上頂点が位置するように領域Dを配置した領域Dを設定する。
処理領域設定部351は、抽出領域の大きさ設定処理(ステップS12)において、図8に示すように、左眼画像Fに対しては、ステップS11において設定した基準領域Dをそのまま第1の抽出領域として設定する。処理領域設定部351は、右眼画像Fに対しては、右眼画像の画角を左眼画像の画角と一致させる補正を行うために、ステップS11において設定した右眼画像Fの基準領域Dを、矢印Y,Yのように、水平方向及び垂直方向をそれぞれ(1/γ)倍した領域D2Rを第2の抽出領域として設定する。したがって、右眼画像Fに対しては、水平方向の大きさが(x/γ)であり、垂直方向の大きさが(y/γ)である長方形状の第2の抽出領域D2Rが設定される。
拡大縮小処理(ステップS13)においては、図9の(a)に示すように、拡大縮小部352は、左眼画像F(図8参照)から第1の抽出領域Dを抽出し、右眼画像F(図8参照)から第2の抽出領域D2Rを抽出する。ここで、ステップS5では、パラメータ生成部312は、補正対象ではない左眼画像に対する第1の拡大縮小倍率として、水平方向の倍率をαに設定し、垂直方向の倍率をαに設定している。一方、ステップS5では、パラメータ生成部312は、補正対象となる右眼画像に対する第2の拡大縮小倍率として、倍率α,αを倍率γで乗じた倍率を設定している。具体的には、パラメータ生成部312は、第2の拡大縮小倍率として、水平方向の倍率を(α×γ)に設定し、垂直方向の倍率を(α×γ)に設定する。したがって、拡大縮小部352は、矢印Yのように、第1の抽出領域Dに対して、水平方向にα倍に拡大或いは縮小し、垂直方向にα倍に拡大或いは縮小した画像Pを生成する(図9の(b)参照)。拡大縮小部352は、矢印Yのように、第2の抽出領域D2Rに対して、水平方向に(α×γ)倍に拡大或いは縮小し、垂直方向に(α×γ)倍に拡大或いは縮小した画像Pを生成する(図9の(b)参照)。この結果、補正後の左眼画像P及び補正後の右眼画像Pは、水平方向の大きさが(x×α)となり、垂直方向の大きさが(y×α)となるため、画像の大きさが一致する。
また、実施の形態では、二つの撮像素子を設けて左眼画像データと右眼画像データとを取得する例について説明したが、CMOS撮像素子の受光面を左眼用領域及び右眼用領域の二つの領域に分けて、左眼画像データと右眼画像データとを一つのCMOS撮像素子で取得する構成であってもよい。
また、実施の形態では、拡大縮小部352による画像データへの拡大縮小処理によって左右画像の大きさを一致させる例について説明したが、制御部31が、左眼用光学系21A及び右眼用光学系21Bの少なくとも一方の光学ズーム機能をパラメータ生成部312で生成したパラメータに基づいて制御することで左右画像の画角及び大きさを一致させる補正処理を行ってもよい。
また、実施の形態では、光源部6が一体となった光源一体型プロセッサ3を例に説明したが、プロセッサと光源装置とが別体である場合にも同様に適用可能である。
また、実施の形態において、内視鏡2と光源一体型プロセッサ3との間で送受信される信号は、電気信号に限らず、電気信号を変換した光信号であってもよい。この場合には、光ファイバ等の光信号用の伝送路を用いて、内視鏡2と光源一体型プロセッサ3との間で光信号の伝送が行われる。内視鏡2と光源一体型プロセッサ3との間においては、有線通信に限らず、無線通信を用いて信号の送受信を行ってもよい。
また、実施の形態では、挿入部が可撓性である内視鏡が適用される内視鏡システムについて説明したが、挿入部が硬性である内視鏡が適用される内視鏡システムでもよい。また、撮像装置として機能する内視鏡に、光源と、撮像素子及び光源を制御する制御機能とを持たせてもよい。この場合、光源は、内視鏡の挿入部先端に設けられた半導体光源等であってもよい。また、内視鏡の挿入部先端に撮像素子を設けた構成に限らず、例えば、撮像素子が挿入部基端側に設けられ、挿入部の先端から基端へ光ファイバで伝送された光学像を撮像するように構成されていてもよい。また、挿入部先端に撮像素子を設けた内視鏡に限らず、ファイバスコープや光学視管などの光学式内視鏡の接眼部カメラヘッドを接続する構成であってもよい。
また、実施の形態として、内視鏡システム1を例に説明したが、内視鏡システムに限らず、左眼用光学系21A、右眼用光学系21B、撮像部20、メモリ24及び照明レンズ25を備えた撮像ユニットが、制御部31、記憶部32、左右画像変換部33、第1画像処理部34、補正部35及び第2画像処理部36を少なくとも備えた処理装置に着脱自在に装着される撮像システムに適用することも可能である。
図10は、本発明の実施の形態における撮像システムの他の概略構成を示す模式図である。本実施の形態にかかる撮像システムは、図10の撮像システム1Aに示すように、表示装置4及び入力装置5を有するカメラ本体部3Aに撮像部20が設けられた構成を有していてもよい。この場合には、カメラ本体部3Aに、左眼用光学系21A、右眼用光学系21B、メモリ24及び照明レンズ25を備えた光学ユニット2Aが着脱自在に装着され、カメラ本体部3Aでは、制御部31Aの補正データ取得部311が、装着された光学ユニット2Aのメモリ24から、光学ユニット2Aに対応する画角補正データを読み出す。
また、本実施の形態にかかる光源一体型プロセッサ、カメラ本体部、並びに、他の構成部で実行される各処理に対する実行プログラムは、インストール可能な形式または実行可能な形式のファイルでCD−ROM、フレキシブルディスク、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよく、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
1 内視鏡システム
1A 撮像システム
2 内視鏡
2A 光学ユニット
3 光源一体型プロセッサ
3A カメラ本体部
4 表示装置
5 入力装置
6 光源部
20 撮像部
21A 左眼用光学系(第1の光学系)
21B 右眼用光学系(第2の光学系)
22A 左眼用撮像素子(第1の撮像部)
22B 右眼用撮像素子(第2の撮像部)
23A 左眼用信号処理部
23B 右眼用信号処理部
24 メモリ
25 照明レンズ
31,31A 制御部
32 記憶部
33 左右画像変換部
34 第1画像処理部
35 補正部
36 第2画像処理部
37 OSD生成部
38 合成部
39 表示制御部
311 補正データ取得部
312 パラメータ生成部
321 拡大縮小倍率データ
351 処理領域設定部
352 拡大縮小部

Claims (6)

  1. 光学ユニットと、前記光学ユニットで結像された光学像を撮像する撮像装置と、前記撮像装置から送信される画像データに対して画像処理を施す処理装置と、を備えた撮像システムであって、
    前記光学ユニットは、
    被写体からの入射光を結像する第1の光学系と、
    前記被写体からの入射光を、前記第1の光学系とは視差を有して結像する第2の光学系と、
    前記第1の光学系と前記第2の光学系との画角の相違を補正するための画角補正データを記憶する第1の記憶部と、
    を備え、
    前記撮像装置は、
    前記第1の光学系で結像された光学像を撮像して第1の画像データを生成する第1の撮像部と、
    前記第2の光学系で結像された光学像を撮像して第2の画像データを生成する第2の撮像部と、
    を備え
    前記処理装置は、
    前記第1の記憶部から前記画角補正データを取得するデータ取得部と、
    前記データ取得部が取得した画角補正データに基づいて、前記第1の画像データに対応する第1の画像の画角と前記第2の画像データに対応する第2の画像の画角とを一致させるとともに、前記第1の画像の大きさと前記第2の画像の大きさとを一致させるように、前記第1の画像データ及び前記第2の画像データの少なくとも一方を補正する補正部と、
    を備え、
    前記画角補正データは、前記第1の画像の画角及び大きさに対して前記第2の画像の画角及び大きさを一致させるように前記補正部に指示する指示データと、前記第2の画像の画角の前記第1の画像の画角に対する第1の倍率と、を含むことを特徴とする撮像システム。
  2. 前記処理装置は、該処理装置によって処理された画像を表示出力する表示部と、
    前記光学ユニットの種別及び前記表示部の規格に応じて予め設定された拡大縮小倍率である第2の倍率を基に前記補正部で使用される第1の拡大縮小倍率を生成し、前記データ取得部が取得した前記第1の倍率と前記第2の倍率とを基に前記補正部で使用される第2の拡大縮小倍率を生成するパラメータ生成部と、
    をさらに備え、
    前記補正部は、
    各画像からの抽出基準領域に基づいて前記第1の画像から抽出する第1の抽出領域の大きさを設定する一方、前記抽出基準領域及び前記データ取得部が取得した前記第1の倍率に基づいて前記第2の画像から抽出する第2の抽出領域の大きさを設定する領域設定部と、
    前記第1の画像から前記第1の抽出領域を抽出し、該抽出した前記第1の抽出領域を前記第1の拡大縮小倍率で拡大あるいは縮小した画像を補正後の第1の画像として出力する一方、前記第2の画像から前記第2の抽出領域を抽出し、該抽出した前記第2の抽出領域を前記第2の拡大縮小倍率で拡大あるいは縮小した画像を補正後の第2の画像として出力する拡大縮小部と、
    を備えたことを特徴とする請求項に記載の撮像システム。
  3. 前記処理装置は、
    前記第2の倍率を前記光学ユニットの種別及び前記表示部の規格にそれぞれ対応付けて記憶する第2の記憶部をさらに備え、
    前記第1の記憶部は、前記光学ユニットの種別を示す識別情報を記憶し、
    前記データ取得部は、前記第1の記憶部から前記光学ユニットの識別情報を取得し、該取得した識別情報が示す前記光学ユニットの種別及び前記表示部の規格に応じた前記第2の倍率を前記第2の記憶部から取得し、
    前記パラメータ生成部は、前記データ取得部が取得した前記第1の倍率及び前記第2の倍率を基に前記第1の拡大縮小倍率と前記第2の拡大縮小倍率とを生成することを特徴とする請求項に記載の撮像システム。
  4. 前記画角補正データは、前記第1の画像における前記抽出基準領域の位置を示す第1の位置データと、前記第2の画像における前記抽出基準領域の位置を示す第2の位置データとを含み、
    前記領域設定部は、前記データ取得部が取得した前記第1の位置データを基に前記第1の画像における前記抽出基準領域の位置を設定し、前記データ取得部が取得した前記第2の位置データを基に前記第2の画像における前記抽出基準領域の位置を設定することを特徴とする請求項に記載の撮像システム。
  5. 前記第1の光学系及び前記第2の光学系は、それぞれの画角を変化させる光学ズーム機能を有し、
    前記補正部は、前記データ取得部が取得した画角補正データに基づいて、前記第1の光学系及び前記第2の光学系の少なくともいずれか一方の前記光学ズーム機能を制御することで、前記第1の画像データに対応する第1の画像の画角と前記第2の画像データに対応する第2の画像の画角とを一致させるとともに、前記第1の画像の大きさと前記第2の画像の大きさとを一致させることを特徴とする請求項1に記載の撮像システム。
  6. 当該撮像システムは、前記光学ユニット及び前記撮像装置を備えた内視鏡装置を有し、
    前記処理装置は、前記内視鏡装置から送信される画像データに対して画像処理を施すことを特徴とする請求項1に記載の撮像システム。
JP2017502729A 2015-09-01 2016-08-29 撮像システム Active JP6104493B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015171927 2015-09-01
JP2015171927 2015-09-01
PCT/JP2016/075218 WO2017038774A1 (ja) 2015-09-01 2016-08-29 撮像システム、処理装置、処理方法及び処理プログラム

Publications (2)

Publication Number Publication Date
JP6104493B1 true JP6104493B1 (ja) 2017-03-29
JPWO2017038774A1 JPWO2017038774A1 (ja) 2017-09-07

Family

ID=58187566

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017502729A Active JP6104493B1 (ja) 2015-09-01 2016-08-29 撮像システム

Country Status (5)

Country Link
US (1) US20170251911A1 (ja)
EP (1) EP3345530A1 (ja)
JP (1) JP6104493B1 (ja)
CN (1) CN106999024B (ja)
WO (1) WO2017038774A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6234638B2 (ja) * 2015-12-17 2017-11-22 オリンパス株式会社 ビデオプロセッサ
KR102443218B1 (ko) * 2016-01-06 2022-09-15 삼성전자주식회사 전자 장치 및 그의 동작 방법
JP7051287B2 (ja) * 2016-12-05 2022-04-11 株式会社ソニー・インタラクティブエンタテインメント システム、治具、および情報処理方法
DE102017203721A1 (de) * 2017-03-07 2018-09-13 Bitmanagement Software GmbH Vorrichtung und Verfahren zur Darstellung eines Raumbilds von einem Objekt in einer virtuellen Umgebung
US10410314B2 (en) * 2017-04-27 2019-09-10 Apple Inc. Systems and methods for crossfading image data
WO2019026929A1 (ja) * 2017-08-03 2019-02-07 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
US11699215B2 (en) * 2017-09-08 2023-07-11 Sony Corporation Imaging device, method and program for producing images of a scene having an extended depth of field with good contrast
JP6646034B2 (ja) 2017-12-14 2020-02-14 ファナック株式会社 ロボットシステム
US11417128B2 (en) * 2017-12-22 2022-08-16 Motorola Solutions, Inc. Method, device, and system for adaptive training of machine learning models via detected in-field contextual incident timeline entry and associated located and retrieved digital audio and/or video imaging
JP7294776B2 (ja) 2018-06-04 2023-06-20 オリンパス株式会社 内視鏡プロセッサ、表示設定方法、表示設定プログラムおよび内視鏡システム
CN115880198B (zh) * 2023-02-01 2023-07-07 荣耀终端有限公司 图像处理方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0829701A (ja) * 1994-07-18 1996-02-02 Olympus Optical Co Ltd 立体視内視鏡システム
JP2014188222A (ja) * 2013-03-27 2014-10-06 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6582358B2 (en) * 2000-09-12 2003-06-24 Olympus Optical Co., Ltd. Stereoscopic endoscope system
US8989349B2 (en) * 2004-09-30 2015-03-24 Accuray, Inc. Dynamic tracking of moving targets
US20100165080A1 (en) * 2008-12-26 2010-07-01 Fujifilm Corporation Image capturing apparatus and endoscope
DE102013103333A1 (de) * 2013-04-03 2014-10-09 Karl Storz Gmbh & Co. Kg Kamera zur Erfassung von optischen Eigenschaften und von Raumstruktureigenschaften
WO2015050016A1 (ja) * 2013-10-02 2015-04-09 オリンパスメディカルシステムズ株式会社 3次元画像システム
EP3070507B1 (en) * 2013-11-14 2019-05-15 Olympus Corporation Endoscope imaging device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0829701A (ja) * 1994-07-18 1996-02-02 Olympus Optical Co Ltd 立体視内視鏡システム
JP2014188222A (ja) * 2013-03-27 2014-10-06 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法

Also Published As

Publication number Publication date
EP3345530A1 (en) 2018-07-11
CN106999024B (zh) 2018-09-28
US20170251911A1 (en) 2017-09-07
JPWO2017038774A1 (ja) 2017-09-07
WO2017038774A1 (ja) 2017-03-09
CN106999024A (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
JP6104493B1 (ja) 撮像システム
JP6329715B1 (ja) 内視鏡システムおよび内視鏡
CN107113405B (zh) 图像处理装置、图像处理装置的工作方法、记录介质和内窥镜装置
JP6109456B1 (ja) 画像処理装置および撮像システム
JP6140100B2 (ja) 内視鏡装置及び画像処理装置並びに内視鏡装置の作動方法
US11064144B2 (en) Imaging element, imaging apparatus, and electronic equipment
US11394866B2 (en) Signal processing device, imaging device, signal processing meihod and program
JPWO2018088215A1 (ja) 内視鏡システム
JP6113385B1 (ja) 撮像システム
JP2014228851A (ja) 内視鏡装置、画像取得方法および画像取得プログラム
JP6137892B2 (ja) 撮像システム
WO2018088237A1 (ja) 画像処理装置および設定方法、並びにプログラム
WO2015194204A1 (ja) 内視鏡装置
JP6396717B2 (ja) 感度調整方法および撮像装置
EP3200450A1 (en) Transmission system and processing device
US20200286207A1 (en) Image processing device, image processing method, and computer readable recording medium
JP7235532B2 (ja) 医療用画像処理装置、画像処理方法およびプログラム
WO2017026277A1 (ja) 処理装置、処理方法及び処理プログラム
WO2018088238A1 (ja) 画像処理装置および制御方法、並びにプログラム
WO2018088236A1 (ja) 画像処理装置および方法、並びにプログラム
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
JP2017073718A (ja) 信号処理装置及び信号処理方法
JP2018151679A (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP2016146879A (ja) 信号処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170113

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170113

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170228

R151 Written notification of patent or utility model registration

Ref document number: 6104493

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250