JP7402637B2 - 撮像装置、その制御方法及びプログラム - Google Patents
撮像装置、その制御方法及びプログラム Download PDFInfo
- Publication number
- JP7402637B2 JP7402637B2 JP2019151778A JP2019151778A JP7402637B2 JP 7402637 B2 JP7402637 B2 JP 7402637B2 JP 2019151778 A JP2019151778 A JP 2019151778A JP 2019151778 A JP2019151778 A JP 2019151778A JP 7402637 B2 JP7402637 B2 JP 7402637B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pixels
- image
- mode
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 74
- 238000000034 method Methods 0.000 title claims description 35
- 230000008569 process Effects 0.000 claims description 27
- 230000005284 excitation Effects 0.000 claims description 21
- 230000003287 optical effect Effects 0.000 claims description 9
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 39
- 229960004657 indocyanine green Drugs 0.000 description 39
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 20
- 230000015572 biosynthetic process Effects 0.000 description 15
- 238000003786 synthesis reaction Methods 0.000 description 15
- 239000002131 composite material Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 101100042610 Arabidopsis thaliana SIGB gene Proteins 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 229910044991 metal oxide Inorganic materials 0.000 description 3
- 150000004706 metal oxides Chemical class 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 101100421503 Arabidopsis thaliana SIGA gene Proteins 0.000 description 2
- 101100294408 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) MOT2 gene Proteins 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 101150117326 sigA gene Proteins 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
- G02B27/1013—Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/48—Increasing resolution by shifting the sensor relative to the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/00078—Insertion part of the endoscope body with stiffening means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00112—Connection or coupling means
- A61B1/00114—Electrical cables in or with an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Studio Devices (AREA)
Description
本発明の実施形態は、撮像装置、その制御方法及びプログラムに関する。
撮像装置、例えば、内視鏡装置では、以前は、ＣＣＤ（Charge Coupled Device）イメージセンサが主流であったが、近年、低コスト化、単電源化、低消費電力化等の利点を有するＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが主流になっている。ＣＭＯＳイメージセンサでは、ローリングシャッタ方式が一般的に多く採用されている。
本明細書に開示の実施形態が解決しようとする課題の一つは、観察するのに充分な画質を確保することである。ただし、上記課題に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果を奏することも、本明細書等に開示の実施形態が解決する他の課題として位置づけることができる。
一部の実施形態によれば、白色光源及び励起光源とともに撮像システムを構成する撮像装置であって、入射光を２種類以上の波長帯域の光に分解する光学素子と、前記光学素子により分解された前記２種類以上の波長帯域の光をそれぞれ受光する複数の撮像素子と、ビニング処理が実行される第１モードにおいて、フレーム内の２つの期間のうちの１つの期間で消灯させるパルス制御を行うように前記白色光源を制御し、前記ビニング処理が実行されない第２モードにおいて、常に消灯させるように前記励起光源を制御する発光制御部と、を備え、前記ビニング処理が実行された画素をグループ単位で１画素として見たときに、前記複数の撮像素子のうちの少なくとも１つの撮像素子の画素は、他の少なくとも１つの撮像素子の画素に対して、水平方向及び垂直方向の少なくとも１方向において、半画素ずれて配置されている、撮像装置が提供される。
以下、図面を参照して、各実施形態に係る撮像装置を説明する。なお、実施形態は、以下の内容に限られるものではない。また、一つの実施形態や変形例に記載した内容は、原則として他の実施形態や変形例にも同様に適用される。
図１は、本実施形態に係る撮像装置１０を備える撮像システム１の構成例を示す図である。図１に示すように、本実施形態に係る撮像システム１は、撮像装置１０と、光源装置３０と、光ファイバ３１とを備える。
撮像装置１０は、例えば、医療用の硬性内視鏡として用いられ、被検体１００の体内を撮像する装置である。撮像装置１０は、スコープ１１と、カメラヘッド１２と、カメラケーブル１３と、ＣＣＵ（Camera Control Unit）１４とを備える。なお、撮像装置１０は、硬性内視鏡だけに限定されない。
スコープ１１は、撮像が行われる際に、被検体１００の体内に挿入される。スコープ１１の先端には、対物レンズ１１ａが設けられている。
カメラヘッド１２は、プリズム１２ａと、複数のイメージセンサ１２ｂ、１２ｃ、１２ｄと、イメージセンサ制御回路１２ｅとを備える。
プリズム１２ａは、入射された光を２種類以上の波長帯域の光に分解する。例えば、プリズム１２ａは、三色分解ダイクロイックプリズムである。例えば、プリズム１２ａは、入射された光を赤色（Ｒ＋ＩＲ）の光、緑色（Ｇ）の光及び青色（Ｂ）の光に分光する。プリズム１２ａは、光学素子の一例である。
複数のイメージセンサは、プリズム１２ａにより分解された２種類以上の波長帯域の光をそれぞれ受光する。例えば、複数のイメージセンサは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。例えば、複数のイメージセンサとして、イメージセンサ１２ｂ、１２ｃ、１２ｄは、プリズム１２ａにより分解された赤色（Ｒ＋ＩＲ）の光、緑色（Ｇ）の光及び青色（Ｂ）の光をそれぞれ受光する。イメージセンサ１２ｂは、例えば、赤色及び赤外線の波長帯域に対応し（図１では「Ｒ＋ＩＲｃｈ（チャンネル）」と記載）、プリズム１２ａの赤色の分光の出射面に設けられる。イメージセンサ１２ｃは、例えば、緑色の波長帯域に対応し（図１では「Ｇｃｈ」と記載）、プリズム１２ａの緑色の分光の出射面に設けられる。イメージセンサ１２ｄは、例えば、青色の波長帯域に対応し（図１では「Ｂｃｈ」と記載）、プリズム１２ａの青色の分光の出射面に設けられる。以下、イメージセンサ１２ｂ、１２ｃ、１２ｄを、それぞれ、Ｒ＋ＩＲｃｈ側のイメージセンサ１２ｂ、Ｇｃｈ側のイメージセンサ１２ｃ、Ｂｃｈ側のイメージセンサ１２ｄと記載することもある。イメージセンサ１２ｂ、１２ｃ、１２ｄの撮像面は、スコープ１１を含む光学系の結像面と略一致するように配置されている。イメージセンサ１２ｂ、１２ｃ、１２ｄは、撮像素子の一例である。
イメージセンサ１２ｂ、１２ｃ、１２ｄのそれぞれは、複数の画素（撮像要素）を備える。複数の画素は、撮像面において行列状に配置される。各画素は、イメージセンサ制御回路１２ｅによる駆動制御により、光を受光することにより映像信号（電気信号）を発生し、発生した映像信号を出力する。例えば、イメージセンサ１２ｂの各画素は、赤色の光を受光することにより、Ｒ信号（Ｒの映像信号）を出力する。また、イメージセンサ１２ｃの各画素は、緑色の光を受光することにより、Ｇ信号（Ｇの映像信号）を出力する。また、イメージセンサ１２ｄの各画素は、青色の光を受光することにより、Ｂ信号（Ｂの映像信号）を出力する。例えば、イメージセンサ１２ｂ、１２ｃ、１２ｄを備えるカメラヘッド１２は、カメラケーブル１３を介して、ＣＣＵ１４にＲＧＢ信号を出力する。なお、イメージセンサ１２ｂ、１２ｃ、１２ｄからは、アナログ形式の映像信号が出力される。或いは、イメージセンサ１２ｂ、１２ｃ、１２ｄが図示しないＡＤコンバータ（Analog to Digital）を内蔵する場合、イメージセンサ１２ｂ、１２ｃ、１２ｄからは、デジタル形式の映像信号が出力される。
ここで、本実施形態に係る撮像装置１０は、例えば、被検体１００に対して、ＩＣＧ（インドシアニングリーン）蛍光造影法による外科手術を行う際に用いられる。この場合、被検体１００に、ＩＣＧが投与される。ＩＣＧは、ＩＲレーザ３０ｄから出射される励起光により励起され、８００～８５０ｎｍ程度の近赤外蛍光（以下、蛍光と称する）を発する。ＩＣＧ蛍光造影法の場合、スコープ１１とプリズム１２ａとの間に、励起光をカットするフィルタが設けられており、上記蛍光はイメージセンサ１２ｂにより受光される。すなわち、イメージセンサ１２ｂは、励起光に基づく蛍光を受光することにより、Ｒ信号を出力する。
イメージセンサ１２ｂ、１２ｃ、１２ｄのそれぞれは、複数の画素の最初の行から最後の行に向かって、少なくとも１行毎に順次露光を開始し、露光が終了した行から順に映像信号を出力する処理を、１フレーム（画像）毎に繰り返すローリングシャッタ方式のイメージセンサである。ここで、露光とは、例えば、画素が電荷を蓄積することを意味する。
イメージセンサ制御回路１２ｅは、後述する制御回路１４ａから出力された制御信号、並びに、後述するタイミング信号発生回路１４ｆから出力された各種の同期信号に基づいてイメージセンサ１２ｂ、１２ｃ、１２ｄを駆動制御する。例えば、イメージセンサ１２ｂ、１２ｃ、１２ｄがアナログ形式の映像信号を出力する場合、イメージセンサ制御回路１２ｅは、制御信号及び各種の同期信号に基づいて、イメージセンサ１２ｂ、１２ｃ、１２ｄから出力されるアナログ形式の映像信号に適宜ゲイン（アナログゲイン）をかけて（映像信号を増幅して）、ゲインがかけられた映像信号をＣＣＵ１４に出力するように、イメージセンサ１２ｂ、１２ｃ、１２ｄを制御する。或いは、イメージセンサ１２ｂ、１２ｃ、１２ｄがデジタル形式の映像信号を出力する場合、イメージセンサ制御回路１２ｅは、制御信号及び各種の同期信号に基づいて、イメージセンサ１２ｂ、１２ｃ、１２ｄから出力されるデジタル形式の映像信号に適宜ゲイン（デジタルゲイン）をかけて、ゲインがかけられた映像信号をＣＣＵ１４に出力するように、イメージセンサ１２ｂ、１２ｃ、１２ｄを制御する。
カメラケーブル１３は、カメラヘッド１２とＣＣＵ１４との間で映像信号、制御信号及び同期信号を送受信するための信号線を収容するケーブルである。
ＣＣＵ１４は、カメラヘッド１２から出力された映像信号に各種の画像処理を施すことにより、ディスプレイ１０１に表示させる画像を示す画像データを生成し、ＣＣＵ１４に接続されたディスプレイ１０１に画像データを出力する。なお、各種の画像処理が施された映像信号は、ディスプレイ１０１に表示させる画像を示す画像データである。
ＣＣＵ１４は、制御回路１４ａと、記憶制御回路１４ｂと、画像処理回路１４ｃと、画像合成回路１４ｄと、出力回路１４ｅと、タイミング信号発生回路１４ｆと、記憶回路１４ｇとを備える。なお、イメージセンサ１２ｂ、１２ｃ、１２ｄがアナログ形式の映像信号を出力する場合、ＣＣＵ１４は、図示しないＡＤコンバータ等も備える。かかるＡＤコンバータは、例えば、イメージセンサ１２ｂ、１２ｃ、１２ｄから出力されたアナログ形式の映像信号をデジタル形式の映像信号に変換する。
制御回路１４ａは、撮像装置１０の各種の構成要素を制御する。例えば、制御回路１４ａは、イメージセンサ制御回路１２ｅ、記憶制御回路１４ｂ、画像処理回路１４ｃ、画像合成回路１４ｄ、出力回路１４ｅ及びタイミング信号発生回路１４ｆの各回路に対して制御信号を出力して、各回路を制御する。制御回路１４ａは、記憶回路１４ｇに記憶された撮像装置１０の制御プログラムを読み込み、読み込んだ制御プログラムを実行することで、撮像装置１０の各種の構成要素を制御する制御処理を実行する。或いは、制御回路１４ａは、内部に図示しない記憶回路を有しており、当該記憶回路に記憶された制御プログラムを実行する。制御回路１４ａは、例えば、ＭＰＵ（Micro-Processing Unit）等のプロセッサにより実現される。ここで、制御回路１４ａは、切替制御部の一例である。また、制御回路１４ａ、及び、上述したイメージセンサ制御回路１２ｅは、駆動制御部の一例である。
記憶制御回路１４ｂは、制御回路１４ａから出力された制御信号、並びに、タイミング信号発生回路１４ｆから出力された各種の同期信号に基づいて、カメラヘッド１２から出力された映像信号を記憶回路１４ｇに記憶させる制御を行う。また、記憶制御回路１４ｂは、制御信号及び同期信号に基づいて、記憶回路１４ｇに記憶された映像信号を１行毎に読み取る。そして、記憶制御回路１４ｂは、読み取った１行分の映像信号を画像処理回路１４ｃに出力する。
画像処理回路１４ｃは、制御回路１４ａから出力された制御信号、及び、タイミング信号発生回路１４ｆから出力された各種の同期信号に基づいて、記憶制御回路１４ｂから出力された映像信号に対して各種の画像処理を施す。これにより、画像処理回路１４ｃは、ディスプレイ１０１に表示させる画像を示す画像データを生成する。すなわち、画像処理回路１４ｃは、映像信号に基づいて、画像を生成する。例えば、画像処理回路１４ｃは、記憶制御回路１４ｂから出力された映像信号に対してゲイン（デジタルゲイン）をかけて、画像の明るさを調整する。また、画像処理回路１４ｃは、記憶制御回路１４ｂから出力された映像信号に対して、ノイズを低減させるノイズリダクション処理や輪郭を強調する輪郭強調処理等を行ってもよい。そして、画像処理回路１４ｃは、各種の画像処理が施された映像信号（ディスプレイ１０１に表示させる画像を示す画像データ）を画像合成回路１４ｄに出力する。画像処理回路１４ｃは、処理部の一例である。
画像合成回路１４ｄは、制御回路１４ａから出力された制御信号、並びに、タイミング信号発生回路１４ｆから出力された各種の同期信号に基づいて、画像処理回路１４ｃから出力された映像信号を合成して合成画像データを生成する。そして、画像合成回路１４ｄは、合成画像データをディスプレイ１０１に出力する。
例えば、記憶制御回路１４ｂ、画像処理回路１４ｃ及び画像合成回路１４ｄは、ＤＳＰ（Digital Signal Processor）等の１つのプロセッサにより実現される。また、例えば記憶制御回路１４ｂ、画像処理回路１４ｃ及び画像合成回路１４ｄ、タイミング信号発生回路１４ｆは、１つのＦＰＧＡ（Field Programmable Gate Array）により実現される。なお、制御回路１４ａ、記憶制御回路１４ｂ、画像処理回路１４ｃ、画像合成回路１４ｄは、１つの処理回路により実現されてもよい。この処理回路は、例えば、プロセッサにより実現される。
出力回路１４ｅは、画像合成回路１４ｄから出力された合成画像データをディスプレイ１０１に出力する。これにより、ディスプレイ１０１は、合成画像データが示す合成画像を表示する。合成画像は、画像の一例である。出力回路１４ｅは、例えば、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ドライバＩＣ（Integrated Circuit）やＳＤＩ（Serial Digital Interface）ドライバＩＣなどにより実現される。
タイミング信号発生回路１４ｆは、光源装置３０からの光の出射タイミング、イメージセンサ１２ｂ、１２ｃ、１２ｄの露光タイミング及び映像信号の出力タイミング、記憶制御回路１４ｂによる記憶回路１４ｇの制御タイミング等の各種のタイミングを一元管理する。
タイミング信号発生回路１４ｆは、図示しない発振回路により生成されたクロック信号を基に水平同期信号及び垂直同期信号や、撮像装置１０全体の同期をとるためのその他の同期信号等の各種の同期信号を生成する。そして、タイミング信号発生回路１４ｆは、生成した各種の同期信号をイメージセンサ制御回路１２ｅ、制御回路１４ａ、記憶制御回路１４ｂ、画像処理回路１４ｃ、画像合成回路１４ｄ及び出力回路１４ｅの各回路に出力する。
また、タイミング信号発生回路１４ｆは、クロック信号、及び、制御回路１４ａから出力された制御信号を基に、光源制御信号を生成する。光源制御信号は、光源装置３０から出射される光を制御するとともに撮像システム１全体の同期をとるための制御信号である。そして、タイミング信号発生回路１４ｆは、生成した光源制御信号を光源装置３０に出力する。
例えば、光源制御信号の波形は、矩形波であり、光源制御信号は、ハイ（ｈｉｇｈ）レベル及びロー（ｌｏｗ）レベルの２つのレベル（状態）を有する。例えば、光源制御信号は、ハイレベルの間、光源装置３０から光を出射させ、ローレベルの間、光源装置３０からの光の出射を停止させる制御信号である。
記憶回路１４ｇは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。ＲＯＭ（又は、フラッシュメモリやハードディスクなど）は、各種のプログラムを記憶する。例えば、ＲＯＭは、制御回路１４ａにより実行される制御プログラムを記憶する。また、ＲＡＭには、記憶制御回路１４ｂにより映像信号が一時的に格納される。
光源装置３０は、光源制御信号に基づいて、白色光又は励起光を出射する。光源装置３０は、駆動回路３０ａと、白色ＬＥＤ（Light Emitting Diode）３０ｂと、駆動回路３０ｃと、ＩＲレーザ３０ｄとを備える。
駆動回路３０ａは、タイミング信号発生回路１４ｆから出力される光源制御信号に基づいて、白色ＬＥＤ３０ｂを駆動させて点灯させる駆動制御を行う。白色ＬＥＤ３０ｂは、駆動回路３０ａによる駆動制御により、白色光を出射する。白色光は、例えば、可視光である。
駆動回路３０ｃは、タイミング信号発生回路１４ｆから出力される光源制御信号に基づいて、ＩＲレーザ３０ｄを駆動させて、ＩＲレーザ３０ｄから励起光を出射させる駆動制御を行う。ＩＲレーザ３０ｄは、駆動回路３０ｃによる駆動制御により、励起光を出射する。なお、励起光によりＩＣＧが励起されてＩＣＧから出射された蛍光（励起光に基づく蛍光）は、イメージセンサ１２ｂにより受光される。
光ファイバ３１は、光源装置３０からの白色光及び励起光をスコープ１１の先端部に導いて、スコープ１１の先端部から出射させる。
以上、本実施形態に係る撮像システム１の撮像装置１０の構成例について説明した。ここで、図１に示すように、ＣＣＵ１４の制御回路１４ａは、入力される切替信号に応じて、ＩＣＧカラーモードと、通常モードとを切り替える。例えば、被検体１００にＩＣＧを投与して外科手術を行う場合、制御回路１４ａに切替信号ＳＩＧ１が入力される。この場合、制御回路１４ａは、切替信号ＳＩＧ１に応じて、実行するモードを、ＩＣＧカラーモードに切り替える。例えば、被検体１００にＩＣＧを投与しないで外科手術を行う場合、制御回路１４ａに切替信号ＳＩＧ２が入力される。この場合、制御回路１４ａは、切替信号ＳＩＧ２に応じて、実行するモードを、通常モードに切り替える。ＩＣＧカラーモードは、第１モードの一例であり、通常モードは、第２モードの一例である。
まず、通常モードについて説明する。図２は、本実施形態に係る撮像装置１０の撮像動作の一例として、通常モードの撮像動作を示す図である。図２には、光源装置３０から出射される白色光の出射タイミングと、撮像装置１０のイメージセンサ１２ｂ、１２ｃ、１２ｄが備える複数の画素の各行の露光タイミングと、イメージセンサ１２ｂ、１２ｃ、１２ｄから出力される映像信号の出力タイミングと、出力回路１４ｅから出力される映像信号の出力タイミングとの関係の一例が示されている。図２において、横軸は、時間を示す。通常モードでは、撮像装置１０からディスプレイ１０１に出力される映像信号（画像）のフレームレートを、６０［ｆｐｓ（frame per second）］とし、読み出し期間を、１／６０［ｓ］とする。つまり、撮像装置１０からディスプレイ１０１に１フレームの映像信号が出力される期間、及び、読み出し期間が１／６０［ｓ］であるものとする。
まず、撮像の開始時において、制御回路１４ａは、白色ＬＥＤ３０ｂから白色光を連続的に出射させる光源制御信号を出力させるための制御信号を、タイミング信号発生回路１４ｆに出力する。タイミング信号発生回路１４ｆは、当該制御信号に基づいて、光源制御信号を駆動回路３０ａに出力し、駆動回路３０ａは、光源制御信号に基づいて、白色ＬＥＤ３０ｂを駆動させて、白色ＬＥＤ３０ｂから白色光を連続的に出射させる。
例えば、１フレーム目において、読み出し期間である時間Ｔ１から時間Ｔ２までの１／６０［ｓ］で、イメージセンサ１２ｂ、１２ｃ、１２ｄそれぞれの複数の画素の最初の行から最後の行に向かって１行毎に順次露光が開始される。具体的には、制御回路１４ａは、イメージセンサ１２ｂ、１２ｃ、１２ｄに読み出し期間１／６０［ｓ］で映像信号を出力させるための制御信号を、イメージセンサ制御回路１２ｅに出力する。イメージセンサ制御回路１２ｅは、当該制御信号に基づいて、イメージセンサ１２ｂ、１２ｃ、１２ｄを駆動制御する。この結果、読み出し期間１／６０［ｓ］で、イメージセンサ１２ｂは、プリズム１２ａから出射された赤色の波長帯域の光を受光し、全ての行から映像信号をＲ信号「Ｒ１」として出力する。また、イメージセンサ１２ｃは、プリズム１２ａから出射された緑色の波長帯域の光を受光し、全ての行から映像信号をＧ信号「Ｇ１」として出力する。また、イメージセンサ１２ｄは、プリズム１２ａから出射された青色の波長帯域の光を受光し、全ての行から映像信号をＢ信号「Ｂ１」として出力する。この場合、イメージセンサ１２ｂ、１２ｃ、１２ｄから、映像信号として、ＲＧＢ信号「Ｗ１」が出力される。ＲＧＢ信号「Ｗ１」は、Ｒ信号「Ｒ１」とＧ信号「Ｇ１」とＢ信号「Ｂ１」との合成信号を示す。すなわち、ＲＧＢ信号「Ｗ１」は、白色光を受光したイメージセンサ１２ｂから出力されたＲ信号「Ｒ１」と、白色光を受光したイメージセンサ１２ｃから出力されたＧ信号「Ｇ１」と、白色光を受光したイメージセンサ１２ｄから出力されたＢ信号「Ｂ１」とを含む。
次に、２フレーム目において、読み出し期間である時間Ｔ２から時間Ｔ３までの１／６０［ｓ］で、イメージセンサ１２ｂ、１２ｃ、１２ｄは、それぞれ、映像信号をＲ信号「Ｒ２」、Ｇ信号「Ｇ２」、Ｂ信号「Ｂ２」として出力する。この場合、イメージセンサ１２ｂ、１２ｃ、１２ｄから、映像信号として、ＲＧＢ信号「Ｗ２」が出力される。ＲＧＢ信号「Ｗ２」は、Ｒ信号「Ｒ２」とＧ信号「Ｇ２」とＢ信号「Ｂ２」との合成信号を示す。
ここで、イメージセンサ１２ｂ、１２ｃ、１２ｄから出力された映像信号は、画像処理回路１４ｃ及び画像合成回路１４ｄを介して１フレーム目の表示用画像となり、速やかに出力回路１４ｅからディスプレイ１０１に出力される。具体的には、画像処理回路１４ｃは、１フレーム目のＲＧＢ信号「Ｗ１」に基づいて表示用画像を生成する。画像処理回路１４ｃにより生成された表示用画像は、１／６０［ｓ］の期間において、出力回路１４ｅからディスプレイ１０１に出力される。２フレーム目以降においても、上述と同様の処理が行われる。
一方、ＩＣＧカラーモードでは、各フレームにおいて、１番目の読み出し期間でＲ信号「ＩＲ」を取得し、２番目の読み出し期間でＲＧＢ信号を取得する時分割制御を行う。ＩＣＧカラーモードでは、時分割制御を行うため、通常モードよりも高速でイメージセンサ１２ｂ、１２ｃ、１２ｄを駆動制御させる必要がある。例えば、ＩＣＧカラーモードでは、撮像装置１０からディスプレイ１０１に出力される映像信号（画像）のフレームレートを、６０［ｆｐｓ］とした場合、読み出し期間を、１／１２０［ｓ］とする。
ここで、ビニング処理という技術が知られている。ビニング処理では、隣接する画素を加算することにより、読み出しの画素数を減らすことができる。例えば、ＩＣＧカラーモードでは、ビニング処理を行うことにより、イメージセンサ１２ｂ、１２ｃ、１２ｄを高速駆動し易くなる。
しかしながら、ビニング処理を行った場合、一般的に、画像の解像度が低下することが知られている。すなわち、ＩＣＧカラーモードにおいて、ビニング処理を行った場合、イメージセンサ１２ｂ、１２ｃ、１２ｄを高速駆動し易くなるが、解像度が低下する。このため、画像を観察する医師等のユーザにとって、観察するのに画質が充分ではない場合がある。
また、ＩＣＧカラーモードでは、時分割制御で通常モードと同じ画素数を読み出す場合、信号処理の数が多くなる。このため、信号処理数の増大により、カメラケーブル１３などのケーブル１本あたりの径やケーブルの本数を増加させる場合、ケーブル全体の径が太くなる。
そこで、本実施形態に係る撮像装置１０は、ユーザが観察するのに充分な画質を確保することができるように、以下の処理を行う。本実施形態に係る撮像装置１０は、プリズム１２ａと、複数のイメージセンサと、を備える。プリズム１２ａは、入射光を２種類以上の波長帯域の光に分解する光学素子であり、複数のイメージセンサは、プリズム１２ａにより分解された２種類以上の波長帯域の光をそれぞれ受光する撮像素子である。具体的には、プリズム１２ａは、入射光を、赤色及び赤外線の波長帯域の光と、緑色の波長帯域の光と、青色の波長帯域の光とに分解する。複数のイメージセンサであるイメージセンサ１２ｂ、１２ｃ、１２ｄは、プリズム１２ａにより分解された赤色及び赤外線の波長帯域の光、緑色の波長帯域の光、青色の波長帯域の光をそれぞれ受光する。そして、ビニング処理が実行された画素をグループ単位で１画素として見たときに、イメージセンサ１２ｂ、１２ｃ、１２ｄのうちの少なくとも１つのイメージセンサの画素は、他の少なくとも１つのイメージセンサの画素に対して、水平方向及び垂直方向の少なくとも１方向において、半画素ずれて配置されている。
図３は、本実施形態に係る撮像装置１０のイメージセンサ１２ｂ、１２ｃ、１２ｄの画素の配置の一例を示す図である。図３に示すように、例えば、イメージセンサ１２ｂ、１２ｃ、１２ｄのうち、Ｇｃｈ側のイメージセンサ１２ｃの画素は、Ｒ＋ＩＲｃｈ側のイメージセンサ１２ｂ、及び、Ｂｃｈ側のイメージセンサ１２ｄの画素に対して、水平方向及び垂直方向において、１画素ずれて配置されている。
図４は、本実施形態に係る撮像装置１０がＩＣＧカラーモードを実行するときのイメージセンサ１２ｂ、１２ｃ、１２ｄの画素の配置の一例を示す図である。例えば、ＩＣＧカラーモードでは、制御回路１４ａ及びイメージセンサ制御回路１２ｅは、画素を読み出すときにイメージセンサ１２ｂ、１２ｃ、１２ｄにビニング処理を実行させる。イメージセンサ１２ｂ、１２ｃ、１２ｄがビニング処理を実行することにより、例えば、隣接する４画素が加算され、水平方向２画素×垂直方向２画素のグループが生成される。この場合、図４に示すように、ビニング処理が実行された画素をグループ単位で１画素として見たときに、Ｇｃｈ側のイメージセンサ１２ｃの画素は、Ｒ＋ＩＲｃｈ側のイメージセンサ１２ｂ、及び、Ｂｃｈ側のイメージセンサ１２ｄの画素に対して、水平方向及び垂直方向において、半画素ずれて配置されている。
具体的には、イメージセンサ１２ｂ、１２ｃ、１２ｄは、通常モードでは、１行単位で１画素ずつ読み出しているが、ＩＣＧカラーモードでは、２行単位で隣接する４画素（水平方向２画素×垂直方向２画素）を１つの画素として加算して、加算後の画素を読み出す。このため、ＩＣＧカラーモードでは、イメージセンサ１２ｂ、１２ｃ、１２ｄにビニング処理（４画素加算）を実行させることにより、読み出しの画素数を減らすことができる。したがって、ＩＣＧカラーモードでは、ビニング処理の実行により、イメージセンサ１２ｂ、１２ｃ、１２ｄを高速駆動し易くなる。言い換えれば、ＩＣＧカラーモードは、ビニング処理が実行されるモード（高速読み出しモード）であり、通常モードは、ビニング処理が実行されないモードであるといえる。
図５は、本実施形態に係る撮像装置１０の撮像動作の一例として、ＩＣＧカラーモードの撮像動作を示す図である。図５には、光源装置３０から出射される白色光及び励起光の出射タイミングと、撮像装置１０のイメージセンサ１２ｂ、１２ｃ、１２ｄが備える複数の画素の各行の露光タイミングと、イメージセンサ１２ｂ、１２ｃ、１２ｄから出力される映像信号の出力タイミングと、出力回路１４ｅから出力される映像信号の出力タイミングとの関係の一例が示されている。図５において、横軸は、時間を示す。ＩＣＧカラーモードでは、撮像装置１０からディスプレイ１０１に出力される映像信号（画像）のフレームレート（出力レート）を、通常モードと同じ６０［ｆｐｓ］とし、読み出し期間を、１／１２０［ｓ］とする。つまり、撮像装置１０からディスプレイ１０１に１フレームの映像信号が出力される期間が１／６０［ｓ］であり、読み出し期間が１／１２０［ｓ］であるものとする。
ＩＣＧカラーモードでは、各フレームにおいて、１番目の読み出し期間である１／１２０［ｓ］でＲ信号「ＩＲ」を取得し、２番目の読み出し期間である１／１２０［ｓ］でＲＧＢ信号を取得する時分割制御を行う。以下、ＩＣＧカラーモードの撮像動作について、具体的に説明する。
まず、撮像の開始時において、制御回路１４ａは、ＩＲレーザ３０ｄから励起光を連続的に出射させる第１の光源制御信号を出力させるための制御信号を、タイミング信号発生回路１４ｆに出力する。タイミング信号発生回路１４ｆは、当該制御信号に基づいて、第１の光源制御信号を駆動回路３０ｃに出力し、駆動回路３０ｃは、第１の光源制御信号に基づいて、ＩＲレーザ３０ｄを駆動させて、ＩＲレーザ３０ｄから励起光を連続的に出射させる。
また、各フレームにおいて、１番目の読み出し期間から２番目の読み出し期間に切り替わる期間であるブランキング期間にのみ、制御回路１４ａは、白色ＬＥＤ３０ｂから白色光を出射させる第２の光源制御信号を出力させるための制御信号を、タイミング信号発生回路１４ｆに出力する。タイミング信号発生回路１４ｆは、当該制御信号に基づいて、第２の光源制御信号を駆動回路３０ａに出力し、駆動回路３０ａは、第２の光源制御信号に基づいて、白色ＬＥＤ３０ｂを駆動させて、白色ＬＥＤ３０ｂから白色光を出射させる。
例えば、１フレーム目において、１番目の読み出し期間である時間Ｔ１から時間Ｔ２までの１／１２０［ｓ］で、イメージセンサ１２ｂから映像信号（後述のＲ信号「ＩＲ１」）が出力される。具体的には、制御回路１４ａは、イメージセンサ１２ｂに１番目の読み出し期間１／１２０［ｓ］で映像信号を出力させるための制御信号を、イメージセンサ制御回路１２ｅに出力する。イメージセンサ制御回路１２ｅは、当該制御信号に基づいて、イメージセンサ１２ｂを駆動制御する。この結果、１番目の読み出し期間である時間Ｔ１から時間Ｔ２までの１／１２０［ｓ］で、イメージセンサ１２ｂは、プリズム１２ａから出射された赤外線の波長帯域の光を受光し、全ての行から映像信号をＲ信号「ＩＲ１」として出力する。そして、記憶制御回路１４ｂは、イメージセンサ１２ｂの各行から出力された映像信号（Ｒ信号「ＩＲ１」）を一時的に記憶回路１４ｇに格納する。
また、１フレーム目において、１番目の読み出し期間である時間Ｔ１から時間Ｔ２までの１／１２０［ｓ］で、イメージセンサ１２ｂ、１２ｃ、１２ｄそれぞれの複数の画素の最初の行から最後の行に向かって１行毎に順次露光が開始される。ここで、露光開始と露光終了（出力開始）までの間には読み出し期間に相当する時間差がある。例えば、最初の行において、露光は時間Ｔ１から時間Ｔ２までの間に行われ、出力は時間Ｔ２に行われる。また、最後の行において、露光は時間Ｔ２から時間Ｔ３までの間に行われ、出力は時間Ｔ３に行われる。具体的には、制御回路１４ａは、イメージセンサ１２ｂ、１２ｃ、１２ｄにビニング処理を実行させ、かつ、２番目の読み出し期間１／１２０［ｓ］で映像信号を出力させるための制御信号を、イメージセンサ制御回路１２ｅに出力する。イメージセンサ制御回路１２ｅは、当該制御信号に基づいて、イメージセンサ１２ｂ、１２ｃ、１２ｄを駆動制御する。イメージセンサ１２ｂ、１２ｃ、１２ｄがビニング処理を実行することにより、隣接する４画素が加算され、水平方向２画素×垂直方向２画素のグループが生成される。この結果、２番目の読み出し期間である時間Ｔ２から時間Ｔ３までの１／１２０［ｓ］で、イメージセンサ１２ｂは、プリズム１２ａから出射された赤色及び赤外線の波長帯域の光を受光し、全てのグループから映像信号をＲ信号「Ｒ２＋ＩＲ２」として出力する。また、イメージセンサ１２ｃは、プリズム１２ａから出射された緑色の波長帯域の光を受光し、全てのグループから映像信号をＧ信号「Ｇ２」として出力する。また、イメージセンサ１２ｄは、プリズム１２ａから出射された青色の波長帯域の光を受光し、全てのグループから映像信号をＢ信号「Ｂ２」として出力する。そして、記憶制御回路１４ｂは、イメージセンサ１２ｂ、１２ｃ、１２ｄから出力された映像信号として、ＲＧＢ信号「Ｐ２」を一時的に記憶回路１４ｇに格納する。ＲＧＢ信号「Ｐ２」は、Ｒ信号「Ｒ２＋ＩＲ２」とＧ信号「Ｇ２」とＢ信号「Ｂ２」との合成信号を示す。すなわち、ＲＧＢ信号「Ｐ２」は、白色光、及び、励起光に基づく蛍光を受光したイメージセンサ１２ｂから出力されたＲ信号「Ｒ２＋ＩＲ２」と、白色光を受光したイメージセンサ１２ｃから出力されたＧ信号「Ｇ２」と、白色光を受光したイメージセンサ１２ｄから出力されたＢ信号「Ｂ２」とを含む。換言すると、図５に示すＲＧＢ信号「Ｐ２」は、白色光に基づく信号「Ｗ２＝Ｒ２＋Ｇ２＋Ｂ２」と蛍光に基づく信号「ＩＲ２」とを含む信号「Ｗ２＋ＩＲ２」である。
このように、制御回路１４ａは、複数の光源（白色ＬＥＤ３０ｂ、ＩＲレーザ３０ｄ）のうちの少なくとも１つの光源（白色ＬＥＤ３０ｂ）から光が出射される期間と同期するように、イメージセンサ１２ｂ、１２ｃ、１２ｄを駆動制御させる。また、イメージセンサ１２ｂ、１２ｃ、１２ｄにビニング処理を実行させることにより、読み出しの画素数を減らすことができる。なお、１番目の読み出し期間である時間Ｔ１から時間Ｔ２までの１／１２０［ｓ］に出力されるＲ信号「ＩＲ１」は、散乱が大きく、蛍光であるため、Ｒ信号「ＩＲ１」が表す画像の解像度は低く、白色光に基づく信号が表す画像に比べて解像度を必要としない。一方、２番目の読み出し期間である時間Ｔ２から時間Ｔ３までの１／１２０［ｓ］においては、ビニング処理が実行されるため、ＲＧＢ信号「Ｐ２」が表す画像の解像度は低下する。そのため、ビニング処理が実行されない場合と同じ出力画素数になるように、ビニング処理が実行された画素に対して、後述の処理が行われる。すなわち、後述の処理により、ＲＧＢ信号「Ｐ２」が表す画像の出力画素数は、ビニング処理が実行されない場合と同じ出力画素数になる。
同様に、２フレーム目において、１番目の読み出し期間である時間Ｔ３から時間Ｔ４までの１／１２０［ｓ］で、イメージセンサ１２ｂは、映像信号をＲ信号「ＩＲ３」として出力し、記憶制御回路１４ｂは、イメージセンサ１２ｂから出力された映像信号（Ｒ信号「ＩＲ３」）を一時的に記憶回路１４ｇに格納する。また、２番目の読み出し期間である時間Ｔ４から時間Ｔ５までの１／１２０［ｓ］で、イメージセンサ１２ｂ、１２ｃ、１２ｄは、それぞれ、映像信号をＲ信号「Ｒ４＋ＩＲ４」、Ｇ信号「Ｇ４」、Ｂ信号「Ｂ４」として出力する。そして、記憶制御回路１４ｂは、イメージセンサ１２ｂ、１２ｃ、１２ｄから出力された映像信号として、ＲＧＢ信号「Ｐ４」を一時的に記憶回路１４ｇに格納する。ＲＧＢ信号「Ｐ４」は、Ｒ信号「Ｒ４＋ＩＲ４」とＧ信号「Ｇ４」とＢ信号「Ｂ４」との合成信号を示す。
ここで、２フレーム目において、例えば、記憶回路１４ｇに格納された１フレーム目の映像信号は、画像処理回路１４ｃ及び画像合成回路１４ｄを介して、出力回路１４ｅからディスプレイ１０１に出力される。具体的には、画像処理回路１４ｃは、ＲＧＢ信号「Ｐ２」に基づいて、第１の表示用画像を生成する。次に、画像合成回路１４ｄは、例えば、Ｒ信号「ＩＲ１」とＲ信号「ＩＲ３」とを合成して合成画像「（ＩＲ１＋ＩＲ３）／２」を生成する。そして、画像合成回路１４ｄは、生成した合成画像のうち、輝度が閾値以上の部分を対象物として抽出し、抽出した部分に蛍光色が付与されたマーカである蛍光画像を生成する。当該蛍光色は、マーカ（蛍光画像）を生成したときに蛍光を示すために割り当てられた色であり、例えば、高彩度の緑色を示している。そして、画像合成回路１４ｄは、画像処理回路１４ｃにより生成された第１の表示用画像に、生成した蛍光画像を重畳して、第２の表示用画像を生成する。画像合成回路１４ｄにより生成された第２の表示用画像は、１／６０［ｓ］の期間において、出力回路１４ｅからディスプレイ１０１に出力される。３フレーム目以降においても、上述と同様の処理が行われる。
ここで、画像処理回路１４ｃは、ＲＧＢ信号「Ｐ２」から第１の表示用画像を生成する前に、ビニング処理が実行されない場合と同じ出力画素数になるように、ビニング処理が実行された画素に対して、以下の処理を施す。
ＩＣＧカラーモードでは、ビニング処理（本実施形態では４画素加算）が実行された画素をグループ単位で１画素としているため、イメージセンサ１２ｃの画素と、半画素ずれて配置されたイメージセンサ１２ｂ、１２ｄの画素とを用いて、４画素加算が実行された画素から、４画素分の画素値を取得する。例えば、図６に示すように、ビニング処理（４画素加算）が実行された場合において、Ｇｃｈ側のイメージセンサ１２ｃの画素Ｇａ、Ｇｂ、Ｇｃ、Ｇｄと、Ｒ＋ＩＲｃｈ側のイメージセンサ１２ｂの画素Ｒａ＋ＩＲａ、及び、Ｂｃｈ側のイメージセンサ１２ｄの画素Ｂａとは、半画素ずれて配置されている。
そこで、画像処理回路１４ｃは、ビニング処理が実行されない場合と同じ出力画素数になるように（例えば、図３に示す例と同じ出力画素数になるように）、画素Ｒａ＋ＩＲａの画素値と画素Ｇａの画素値と画素Ｂａの画素値とに基づいて、ＲＧＢ信号「Ｐａ」の画素値を取得する。ＲＧＢ信号「Ｐａ」は、白色光に基づく信号「Ｗａ＝Ｒａ＋Ｇａ＋Ｂａ」と蛍光に基づく信号「ＩＲａ」とを含む信号「Ｗａ＋ＩＲａ」である。同様に、画像処理回路１４ｃは、画素Ｒａ＋ＩＲａの画素値と画素Ｇｂの画素値と画素Ｂａの画素値とに基づいて、ＲＧＢ信号「Ｐｂ」の画素値を取得する。ＲＧＢ信号「Ｐｂ」は、白色光に基づく信号「Ｗｂ＝Ｒａ＋Ｇｂ＋Ｂａ」と蛍光に基づく信号「ＩＲａ」とを含む信号「Ｗｂ＋ＩＲａ」である。
また、画像処理回路１４ｃは、ビニング処理が実行されない場合と同じ出力画素数になるように、画素Ｒａ＋ＩＲａの画素値と画素Ｇｃの画素値と画素Ｂａの画素値とに基づいて、ＲＧＢ信号「Ｐｃ」の画素値を取得する。ＲＧＢ信号「Ｐｃ」は、白色光に基づく信号「Ｗｃ＝Ｒａ＋Ｇｃ＋Ｂａ」と蛍光に基づく信号「ＩＲａ」とを含む信号「Ｗｃ＋ＩＲａ」である。同様に、画像処理回路１４ｃは、画素Ｒａ＋ＩＲａの画素値と画素Ｇｄの画素値と画素Ｂａの画素値とに基づいて、ＲＧＢ信号「Ｐｄ」の画素値を取得する。ＲＧＢ信号「Ｐｄ」は、白色光に基づく信号「Ｗｄ＝Ｒａ＋Ｇｄ＋Ｂａ」と蛍光に基づく信号「ＩＲａ」とを含む信号「Ｗｄ＋ＩＲａ」である。
このように、画像処理回路１４ｃは、イメージセンサ１２ｃの画素と、半画素ずれて配置されたイメージセンサ１２ｂ、１２ｄの画素とを用いて、４画素加算が実行された画素から、４画素分の画素値を取得することにより、ビニング処理が実行されない場合と同じ出力画素数を得ることができる。
上記処理後、画像処理回路１４ｃは、上述した第１の表示用画像を生成する。そして、画像合成回路１４ｄは、上述した蛍光画像を生成し、第１の表示用画像に蛍光画像を重畳して第２の表示用画像を生成する。このとき、第２の表示用画像は、１／６０［ｓ］の期間において、出力回路１４ｅからディスプレイ１０１に出力される。
このように、本実施形態に係る撮像装置１０は、ＩＣＧカラーモードでは、ビニング処理が実行された画素をグループ単位で１画素として見たときに、Ｇｃｈ側のイメージセンサ１２ｃの画素は、Ｒ＋ＩＲｃｈ側のイメージセンサ１２ｂ、及び、Ｂｃｈ側のイメージセンサ１２ｄの画素に対して、水平方向及び垂直方向において、半画素ずれて配置されている。すなわち、ＩＣＧカラーモードでは、画素ずらし処理が行われている。このため、ＩＣＧカラーモードにおいて、ビニング処理の実行による解像度の低下は、上記画素ずらしにより、ある程度抑えられる。これにより、本実施形態に係る撮像装置１０は、ＩＣＧカラーモードにおいて、ビニング処理により高速駆動をし易くなり、更に、画素ずらし処理により解像度の低下を抑えることができる。したがって、本実施形態では、ユーザが観察するのに充分な画質を確保することができる。
また、本実施形態に係る撮像装置１０は、ＩＣＧカラーモードにおいて、上述した時分割制御で通常モードと同じ画素数を読み出すのではなく、上述した時分割制御で通常モードの半分の画素数を読み出せばよいので、信号処理の数を抑えることができる。本実施形態では、カメラケーブル１３などのケーブル１本あたりの径やケーブルの本数を抑えることができ、ケーブル全体の径の増大を抑えることができる。
上述したように、本実施形態では、ビニング処理の実行後において、Ｇｃｈ側のイメージセンサ１２ｃの画素が、Ｒ＋ＩＲｃｈ側のイメージセンサ１２ｂ、及び、Ｂｃｈ側のイメージセンサ１２ｄの画素に対して、水平方向及び垂直方向に、半画素ずれて配置される（図４を参照）。これを実現させるために、ビニング処理の実行前において、Ｇｃｈ側のイメージセンサ１２ｃの画素が、Ｒ＋ＩＲｃｈ側のイメージセンサ１２ｂ、及び、Ｂｃｈ側のイメージセンサ１２ｄの画素に対して、水平方向及び垂直方向に、１画素ずれて配置されている場合について説明した（図３を参照）。この場合、上述したように、イメージセンサ１２ｂ、１２ｃ、１２ｄは、ＩＣＧカラーモードにおいて、２行単位で隣接する４画素（水平方向２画素×垂直方向２画素）を１つの画素として加算して、加算後の画素を読み出す。しかし、ビニング処理の実行前の画素の配置は、これだけに限定されない。
例えば、ビニング処理の実行前において、Ｇｃｈ側のイメージセンサ１２ｃの画素は、Ｒ＋ＩＲｃｈ側のイメージセンサ１２ｂ、及び、Ｂｃｈ側のイメージセンサ１２ｄの画素に対して、１画素ピッチ以上ずれて配置されてもよい。具体的には、ビニング処理の実行前において、Ｇｃｈ側のイメージセンサ１２ｃの画素は、Ｒ＋ＩＲｃｈ側のイメージセンサ１２ｂ、及び、Ｂｃｈ側のイメージセンサ１２ｄの画素に対して、１．５画素ずれて配置される。この場合、イメージセンサ１２ｂ、１２ｃ、１２ｄは、ＩＣＧカラーモードにおいて、３行単位で隣接する９画素（水平方向３画素×垂直方向３画素）を１つの画素として加算して、加算後の画素を読み出す。この場合においても、ビニング処理が実行された画素をグループ単位で１画素として見たときに、Ｇｃｈ側のイメージセンサ１２ｃの画素は、Ｒ＋ＩＲｃｈ側のイメージセンサ１２ｂ、及び、Ｂｃｈ側のイメージセンサ１２ｄの画素に対して、水平方向及び垂直方向において、半画素ずれて配置される。
また、本実施形態では、水平方向及び垂直方向に画素をずらしているが、これに限定されない。例えば、画素ずらす方向は、水平方向のみでもよいし、垂直方向のみでもよい。
以上説明した少なくとも１つの実施形態によれば、ユーザが観察するのに充分な画質を確保することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１０ 撮像装置
１２ａ プリズム
１２ｂ、１２ｃ、１２ｄ イメージセンサ
１２ａ プリズム
１２ｂ、１２ｃ、１２ｄ イメージセンサ
Claims (8)
- 白色光源及び励起光源とともに撮像システムを構成する撮像装置であって、
入射光を２種類以上の波長帯域の光に分解する光学素子と、
前記光学素子により分解された前記２種類以上の波長帯域の光をそれぞれ受光する複数の撮像素子と、
ビニング処理が実行される第１モードにおいて、フレーム内の２つの期間のうちの１つの期間で消灯させるパルス制御を行うように前記白色光源を制御し、前記ビニング処理が実行されない第２モードにおいて、常に消灯させるように前記励起光源を制御する発光制御部と、
を備え、
前記ビニング処理が実行された画素をグループ単位で１画素として見たときに、前記複数の撮像素子のうちの少なくとも１つの撮像素子の画素は、他の少なくとも１つの撮像素子の画素に対して、水平方向及び垂直方向の少なくとも１方向において、半画素ずれて配置されている、
撮像装置。 - 前記第１モードと、前記第２モードとを切り替える切替制御部、
を更に備える請求項１に記載の撮像装置。 - 前記第１モードにおいて、前記第２モードと同じ出力画素数になるように、前記ビニング処理が実行された画素に対して処理を施す処理部、
を更に備える請求項２に記載の撮像装置。 - 前記第１モードにおいて、前記第２モードよりも高速で前記複数の撮像素子を駆動制御させる駆動制御部、
を更に備える請求項２又は３に記載の撮像装置。 - 前記第１モードにおいて前記複数の撮像素子の各々から出力される映像信号が表示部に出力される出力レートは、前記第２モードと同じである、
請求項４に記載の撮像装置。 - 前記発光制御部は、前記第１モードにおいて、常に点灯させるように前記励起光源を更に制御する、
請求項１乃至５の何れか１項に記載の撮像装置。 - 白色光源及び励起光源とともに撮像システムを構成する撮像装置の制御方法であって、前記撮像装置は、
入射光を２種類以上の波長帯域の光に分解する光学素子と、
前記光学素子により分解された前記２種類以上の波長帯域の光をそれぞれ受光する複数の撮像素子と、を備え、
前記制御方法は、
発光制御部が、ビニング処理が実行される第１モードにおいて、フレーム内の２つの期間のうちの１つの期間で消灯させるパルス制御を行うように前記白色光源を制御する工程と、
前記発光制御部が、前記ビニング処理が実行されない第２モードにおいて、常に消灯させるように前記励起光源を制御する工程と、
を有し、
前記ビニング処理が実行された画素をグループ単位で１画素として見たときに、前記複数の撮像素子のうちの少なくとも１つの撮像素子の画素は、他の少なくとも１つの撮像素子の画素に対して、水平方向及び垂直方向の少なくとも１方向において、半画素ずれて配置されている、
制御方法。 - コンピュータに請求項７に記載の制御方法の各工程を実行させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019151778A JP7402637B2 (ja) | 2019-08-22 | 2019-08-22 | 撮像装置、その制御方法及びプログラム |
| US16/988,898 US20210058572A1 (en) | 2019-08-22 | 2020-08-10 | Imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019151778A JP7402637B2 (ja) | 2019-08-22 | 2019-08-22 | 撮像装置、その制御方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021029510A JP2021029510A (ja) | 2021-03-01 |
| JP7402637B2 true JP7402637B2 (ja) | 2023-12-21 |
Family
ID=74646944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019151778A Active JP7402637B2 (ja) | 2019-08-22 | 2019-08-22 | 撮像装置、その制御方法及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20210058572A1 (ja) |
| JP (1) | JP7402637B2 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007235591A (ja) | 2006-03-01 | 2007-09-13 | Sony Corp | カメラ装置の制御方法及びこれを用いたカメラ装置 |
| JP2010021745A (ja) | 2008-07-10 | 2010-01-28 | Panasonic Corp | 固体撮像装置、固体撮像装置の駆動方法 |
| WO2014125724A1 (ja) | 2013-02-12 | 2014-08-21 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置 |
-
2019
- 2019-08-22 JP JP2019151778A patent/JP7402637B2/ja active Active
-
2020
- 2020-08-10 US US16/988,898 patent/US20210058572A1/en not_active Abandoned
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007235591A (ja) | 2006-03-01 | 2007-09-13 | Sony Corp | カメラ装置の制御方法及びこれを用いたカメラ装置 |
| JP2010021745A (ja) | 2008-07-10 | 2010-01-28 | Panasonic Corp | 固体撮像装置、固体撮像装置の駆動方法 |
| WO2014125724A1 (ja) | 2013-02-12 | 2014-08-21 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021029510A (ja) | 2021-03-01 |
| US20210058572A1 (en) | 2021-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019123796A1 (ja) | 内視鏡システム | |
| JP6355527B2 (ja) | 内視鏡システム及びその作動方法 | |
| JP7265823B2 (ja) | 撮像装置及びプログラム | |
| JP7374600B2 (ja) | 医療用画像処理装置及び医療用観察システム | |
| JP7116580B2 (ja) | 撮像装置、撮像装置を制御するための方法及びプログラム | |
| JP2018182580A (ja) | 撮像装置及び撮像装置の制御プログラム | |
| JP6355531B2 (ja) | 内視鏡用光源装置、内視鏡システム及びその作動方法 | |
| US10901199B2 (en) | Endoscope system having variable focal length lens that switches between two or more values | |
| JP6137892B2 (ja) | 撮像システム | |
| JP2019080114A (ja) | 撮像装置 | |
| JP7402637B2 (ja) | 撮像装置、その制御方法及びプログラム | |
| JP7352411B2 (ja) | 撮像装置 | |
| JP7551465B2 (ja) | 医療用画像処理装置及び医療用観察システム | |
| US10638077B2 (en) | Imaging device and control method | |
| JP7224963B2 (ja) | 医療用制御装置及び医療用観察システム | |
| US20210052149A1 (en) | Imaging apparatus | |
| JP6277138B2 (ja) | 内視鏡システム及びその作動方法 | |
| US11737646B2 (en) | Medical image processing device and medical observation system | |
| US11700456B2 (en) | Medical control device and medical observation system | |
| JP6312254B2 (ja) | 内視鏡システム及びその作動方法 | |
| JP6386889B2 (ja) | 内視鏡用光源装置、内視鏡システム及びその作動方法 | |
| JP2021003347A (ja) | 医療用画像処理装置及び医療用観察システム | |
| JP2020130538A (ja) | 医療用光源装置及び医療用観察システム | |
| JP4415162B2 (ja) | 電子内視鏡装置 | |
| JP2022082350A (ja) | 光源制御装置及び医療用観察システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20191001 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220727 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230410 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230417 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230525 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230818 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230908 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231211 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7402637 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |