WO2018193544A1 - 撮像装置および内視鏡装置 - Google Patents

撮像装置および内視鏡装置 Download PDF

Info

Publication number
WO2018193544A1
WO2018193544A1 PCT/JP2017/015698 JP2017015698W WO2018193544A1 WO 2018193544 A1 WO2018193544 A1 WO 2018193544A1 JP 2017015698 W JP2017015698 W JP 2017015698W WO 2018193544 A1 WO2018193544 A1 WO 2018193544A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
monochrome
unit
correction
corrected image
Prior art date
Application number
PCT/JP2017/015698
Other languages
English (en)
French (fr)
Inventor
博 坂井
愼一 今出
秀彰 高橋
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/015698 priority Critical patent/WO2018193544A1/ja
Publication of WO2018193544A1 publication Critical patent/WO2018193544A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23212Focusing based on image signals provided by the electronic image sensor
    • H04N5/232122Focusing based on image signals provided by the electronic image sensor based on the difference in phase of signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/04Picture signal generators
    • H04N9/045Picture signal generators using solid-state devices
    • H04N9/0455Colour filter architecture
    • H04N9/04551Mosaic colour filter

Abstract

撮像装置において、瞳分割光学系は、第1波長帯域の光を透過させる第1瞳と、前記第1波長帯域とは異なる第2波長帯域の光を透過させる第2瞳とを有する。撮像素子は、前記瞳分割光学系と、第1透過率特性を有する第1色フィルタとを透過した光を撮像し、かつ、前記瞳分割光学系と、前記第1透過率特性と一部が重複する第2透過率特性を有する第2色フィルタとを透過した光を撮像して撮像画像を出力する。補正部は、前記撮像画像に対して、前記第1透過率特性と前記第2透過率特性との重複する成分に基づく値を補正し、モノクロ補正画像または補正画像を生成する。表示部は、前記モノクロ補正画像を表示し、または、前記補正画像を処理することにより生成された前記モノクロ補正画像を表示する。

Description

撮像装置および内視鏡装置
 本発明は、撮像装置および内視鏡装置に関する。
 近年の撮像装置には、R(赤)、G(緑)、およびB(青)で構成される原色のカラーフィルタを有する撮像素子が広く用いられている。カラーフィルタの帯域が広くなるほど透過光量が増え、かつ撮像感度が高まる。このため、一般的な撮像素子では、R、G、Bのカラーフィルタの透過率特性を意図的にオーバーラップさせる手法が用いられている。
 位相差AF等において、2つの瞳の視差を用いた位相差検出が行われている。例えば、特許文献1には、第1瞳領域がRおよびGの光を透過させ、かつ第2瞳領域がGおよびBの光を透過させる瞳分割光学系を有する撮像装置が開示されている。この撮像装置に搭載されたカラー撮像素子で得られたR画像およびB画像の位置ずれに基づいて位相差が検出される。
日本国特開2013-044806号公報
 特許文献1に開示された撮像装置は、合焦位置から外れた位置にある被写体を撮像したとき、画像に色ずれが発生する。特許文献1に開示された瞳分割光学系を有した撮像装置は、R画像およびB画像のボケの形状および重心位置をG画像のボケの形状および重心位置に近似させることにより、色ずれによる2重像を軽減した画像を表示する。
 特許文献1に開示された撮像装置において、G画像のボケの形状を基準にR画像およびB画像の補正が行われるため、G画像の波形に歪みがない(2重像がない)ことが前提である。しかし、G画像の波形が歪む場合もある。以下では、図24から図26を用いて、G画像の波形の歪みについて説明する。
 図24は、白および黒の被写体の撮像画像I10を示す。図25および図26は、撮像画像I10におけるラインL10のプロファイルを示す。図25および図26における横軸は撮像画像の水平方向のアドレスであり、かつ縦軸は撮像画像の画素値である。図25は、各色のカラーフィルタの透過率特性がオーバーラップしていない場合のプロファイルを示す。図26は、各色のカラーフィルタの透過率特性がオーバーラップしている場合のプロファイルを示す。プロファイルR20およびプロファイルR21は、R画像のプロファイルである。R画像は、Rのカラーフィルタが配置された画素の情報を含む。プロファイルG20およびプロファイルG21は、G画像のプロファイルである。G画像は、Gのカラーフィルタが配置された画素の情報を含む。プロファイルB20およびプロファイルB21は、B画像のプロファイルである。B画像は、Bのカラーフィルタが配置された画素の情報を含む。
 図25ではG画像のプロファイルG20の波形に歪みがないことがわかるが、図26では、G画像のプロファイルG21の波形に歪みがあることがわかる。Gのカラーフィルタを透過した光がRおよびBの成分を含むため、G画像のプロファイルG21の波形に歪みが発生する。特許文献1に開示された撮像装置では、図25に示すプロファイルG20を前提としており、図26に示すプロファイルG21に生じる波形の歪みを前提としていない。そのため、図26に示すプロファイルG21で示されるG画像を基準にR画像およびB画像のボケの形状および重心位置を補正した場合、撮像装置は色ずれがある2重像を含む画像を表示するという課題がある。
 本発明は、画像の色ずれによる2重像を低減し、かつ画像の視認性を改善することができる撮像装置および内視鏡装置を提供することを目的とする。
 本発明の第1の態様によれば、撮像装置は、瞳分割光学系、撮像素子、補正部、および表示部を有する。前記瞳分割光学系は、第1波長帯域の光を透過させる第1瞳と、前記第1波長帯域とは異なる第2波長帯域の光を透過させる第2瞳とを有する。前記撮像素子は、前記瞳分割光学系と、第1透過率特性を有する第1色フィルタとを透過した光を撮像し、かつ、前記瞳分割光学系と、前記第1透過率特性と一部が重複する第2透過率特性を有する第2色フィルタとを透過した光を撮像して撮像画像を出力する。前記補正部は、前記撮像画像に対して、前記第1透過率特性と前記第2透過率特性との重複する成分に基づく値を補正し、モノクロ補正画像または補正画像を生成する。前記表示部は、前記モノクロ補正画像を表示し、または、前記補正画像を処理することにより生成された前記モノクロ補正画像を表示する。
 本発明の第2の態様によれば、撮像装置は、瞳分割光学系、撮像素子、補正部、および出力部を有する。前記瞳分割光学系は、第1波長帯域の光を透過させる第1瞳と、前記第1波長帯域とは異なる第2波長帯域の光を透過させる第2瞳とを有する。前記撮像素子は、前記瞳分割光学系と、第1透過率特性を有する第1色フィルタとを透過した光を撮像し、かつ、前記瞳分割光学系と、前記第1透過率特性と一部が重複する第2透過率特性を有する第2色フィルタとを透過した光を撮像して撮像画像を出力する。前記補正部は、前記撮像画像に対して、前記第1透過率特性と前記第2透過率特性との重複する成分に基づく値を補正し、モノクロ補正画像または補正画像を生成する。前記出力部は、前記モノクロ補正画像を表示し、または、前記補正画像を処理することにより生成された前記モノクロ補正画像を表示部に出力する。
 本発明の第3の態様によれば、第1または第2の態様において、前記撮像装置は、第1モノクロ補正画像および第2モノクロ補正画像の少なくとも1つの生成を前記補正部に指示する制御部を有してもよい。前記第1モノクロ補正画像は、前記第1透過率特性に基づく成分を有する前記撮像画像に対して、前記第1透過率特性と前記第2透過率特性との重複する成分に基づく値を補正することにより生成された前記モノクロ補正画像である。前記第2モノクロ補正画像は、前記第2透過率特性に基づく成分を有する前記撮像画像に対して、前記第1透過率特性と前記第2透過率特性との重複する成分に基づく値を補正することにより生成された前記モノクロ補正画像である。前記補正部は、前記制御部からの指示に応じて、前記第1モノクロ補正画像および前記第2モノクロ補正画像の少なくとも1つを生成してもよい。
 本発明の第4の態様によれば、第3の態様において、前記制御部は、ユーザーからの指示に応じて、前記第1モノクロ補正画像および前記第2モノクロ補正画像の少なくとも1つの生成を前記補正部に指示してもよい。
 本発明の第5の態様によれば、第3の態様において、前記制御部は、前記撮像画像の解析結果に応じて、前記第1モノクロ補正画像および前記第2モノクロ補正画像の少なくとも1つの生成を前記補正部に指示してもよい。
 本発明の第6の態様によれば、第3の態様において、前記制御部は、前記撮像画像のヒストグラムに応じて、前記第1モノクロ補正画像および前記第2モノクロ補正画像の少なくとも1つの生成を前記補正部に指示してもよい。
 本発明の第7の態様によれば、第3の態様において、前記制御部は、前記撮像画像のコントラストに応じて、前記第1モノクロ補正画像および前記第2モノクロ補正画像の少なくとも1つの生成を前記補正部に指示してもよい。
 本発明の第8の態様によれば、第3の態様において、前記制御部は、被写体の分光特性に応じて、前記第1モノクロ補正画像および前記第2モノクロ補正画像の少なくとも1つの生成を前記補正部に指示してもよい。
 本発明の第9の態様によれば、第1または第2の態様において、前記撮像装置は、画像選択部および制御部を有してもよい。前記画像選択部は、前記補正部によって生成された前記モノクロ補正画像のうち、第1モノクロ補正画像および第2モノクロ補正画像の少なくとも1つを選択し、選択された前記モノクロ補正画像を出力する。前記制御部は、前記撮像画像の解析結果に応じて、前記第1モノクロ補正画像および前記第2モノクロ補正画像の少なくとも1つの選択を前記画像選択部に指示する。前記第1モノクロ補正画像は、前記第1透過率特性に基づく成分を有する前記撮像画像に対して、前記第1透過率特性と前記第2透過率特性との重複する成分に基づく値を補正することにより生成された前記モノクロ補正画像である。前記第2モノクロ補正画像は、前記第2透過率特性に基づく成分を有する前記撮像画像に対して、前記第1透過率特性と前記第2透過率特性との重複する成分に基づく値を補正することにより生成された前記モノクロ補正画像である。前記補正部は、前記制御部による前記撮像画像の解析と並行して、前記第1モノクロ補正画像および前記第2モノクロ補正画像を生成してもよい。
 本発明の第10の態様によれば、第1または第2の態様において、前記撮像装置は、前記補正部によって生成された前記補正画像を処理して前記モノクロ補正画像を生成する画像処理部を有してもよい。
 本発明の第11の態様によれば、内視鏡装置は、第1または第2の態様の前記撮像装置を有する。
 上記の各態様によれば、撮像装置および内視鏡装置は、画像の色ずれによる2重像を低減し、かつ画像の視認性を改善することができる。
本発明の第1の実施形態の撮像装置の構成を示すブロック図である。 本発明の第1の実施形態の瞳分割光学系の構成を示すブロック図である。 本発明の第1の実施形態の帯域制限フィルタの構成を示す図である。 本発明の第1の実施形態におけるbayer画像の画素配列を示す図である。 本発明の第1の実施形態におけるR画像の画素配列を示す図である。 本発明の第1の実施形態におけるG画像の画素配列を示す図である。 本発明の第1の実施形態におけるB画像の画素配列を示す図である。 本発明の第1の実施形態における第1瞳のRGフィルタ、第2瞳のBGフィルタ、および撮像素子のカラーフィルタの分光特性の例を示す図である。 本発明の第1の実施形態における第1瞳のRGフィルタ、第2瞳のBGフィルタ、および撮像素子のカラーフィルタの分光特性の例を示す図である。 本発明の第2の実施形態の撮像装置の構成を示すブロック図である。 本発明の第3の実施形態の撮像装置の構成を示すブロック図である。 本発明の第3の実施形態におけるbayer’画像の画素配列を示す図である。 本発明の第4の実施形態の撮像装置の構成を示すブロック図である。 本発明の第4の実施形態における制御部の動作の手順を示すフローチャートである。 本発明の第4の実施形態におけるbayer画像のヒストグラムの例を示す図である。 本発明の第4の実施形態における制御部の動作の手順を示すフローチャートである。 本発明の第5の実施形態の撮像装置の構成を示すブロック図である。 本発明の第5の実施形態における制御部の動作の手順を示すフローチャートである。 本発明の第5の実施形態における被写体の分光特性の例を示す図である。 本発明の第6の実施形態の撮像装置の構成を示すブロック図である。 本発明の第7の実施形態の撮像装置の構成を示すブロック図である。 本発明の第8の実施形態の内視鏡装置の構成を示すブロック図である。 本発明の第8の実施形態において表示される画像の例を示す図である。 白および黒の被写体の撮像画像を示す図である。 白および黒の被写体の撮像画像におけるラインのプロファイルを示す図である。 白および黒の被写体の撮像画像におけるラインのプロファイルを示す図である。
 図面を参照し、本発明の実施形態を説明する。
 (第1の実施形態)
 図1は、本発明の第1の実施形態の撮像装置10の構成を示している。撮像装置10は、デジタルスチルカメラ、ビデオカメラ、カメラ付き携帯電話、カメラ付き携帯情報端末、カメラ付きパーソナルコンピュータ、監視カメラ、内視鏡、およびデジタル顕微鏡などである。図1に示すように、撮像装置10は、瞳分割光学系100、撮像素子110、デモザイク処理部120、表示画像生成部130、および表示部140を有する。表示画像生成部130は、補正部131を有する。
 撮像装置10の概略構成について説明する。瞳分割光学系100は、第1波長帯域の光を透過させる第1瞳101と、第1波長帯域とは異なる第2波長帯域の光を透過させる第2瞳102とを有する。撮像素子110は、瞳分割光学系100と、第1透過率特性を有する第1色フィルタとを透過した光を撮像し、かつ、瞳分割光学系100と、第1透過率特性と一部が重複する第2透過率特性を有する第2色フィルタとを透過した光を撮像して撮像画像を取得および出力する。補正部131は、撮像画像に対して、第1透過率特性と第2透過率特性との重複する成分に基づく値を補正し、モノクロ補正画像を生成する。表示部140は、モノクロ補正画像を表示する。
 撮像装置10の詳細な構成について説明する。瞳分割光学系100の第1瞳101は、R(赤)およびG(緑)の波長の光を透過させるRGフィルタを有する。瞳分割光学系100の第2瞳102は、B(青)およびG(緑)の波長の光を透過させるBGフィルタを有する。
 図2は、瞳分割光学系100の構成を示す。図2に示すように、瞳分割光学系100は、レンズ103、帯域制限フィルタ104、および絞り105を有する。例えば、レンズ103は、一般的には複数のレンズで構成されることが多い。図2においては簡単のために1枚のレンズのみが示されている。帯域制限フィルタ104は、撮像素子110に入射する光の光路上に配置されている。例えば、帯域制限フィルタ104は、絞り105の位置またはその近傍に配置されている。図2に示す例では、帯域制限フィルタ104は、レンズ103と絞り105との間に配置されている。絞り105は、レンズ103を通過した光の通過範囲を制限することにより、撮像素子110に入射する光の明るさを調節する。
 図3は、帯域制限フィルタ104の構成を示す。図3に示す例では、撮像素子110側から帯域制限フィルタ104を見たときに、帯域制限フィルタ104の左半分が第1瞳101を構成し、かつ帯域制限フィルタ104の右半分が第2瞳102を構成する。第1瞳101は、RおよびGの波長の光を透過させ、かつBの波長の光を遮断する。第2瞳102は、BおよびGの波長の光を透過させ、かつRの波長の光を遮断する。
 撮像素子110は、CCD(Charge Coupled Device)センサーおよびXYアドレス走査型のCMOS(Complementary Metal oxide Semiconductor)センサー等の光電変換素子である。撮像素子110の構成としては、単板原色ベイヤー配列、またはセンサーを3つ使用した3板等の方式がある。以下では単板原色ベイヤー配列のCMOSセンサー(500×500画素、深度10bit)を使用した例で本発明の実施形態を説明する。
 撮像素子110は、複数の画素を有する。また、撮像素子110は、第1色フィルタ、第2色フィルタ、および第3色フィルタを含むカラーフィルタを有する。カラーフィルタは、撮像素子110の各画素に配置されている。例えば、第1色フィルタはRフィルタであり、第2色フィルタはBフィルタであり、かつ第3色フィルタはGフィルタである。瞳分割光学系100を透過し、かつカラーフィルタを透過した光が撮像素子110の各画素に入射する。瞳分割光学系100を透過した光は、第1瞳101を透過した光と、第2瞳102を透過した光とである。撮像素子110は、第1色フィルタを透過した光が入射した第1画素の画素値と、第2色フィルタを透過した光が入射した第2画素の画素値と、第3色フィルタを透過した光が入射した第3画素の画素値とを含む撮像画像を取得および出力する。
 CMOSセンサーにおける光電変換により生成されたアナログ撮像信号に対して、撮像素子110によって、CDS(Correlated Double Sampling)、AGC(Analog Gain Control)、およびADC(Analog-to-Digital Converter)などのAFE処理(Analog Front End)が行われる。撮像素子110の外部の回路がAFE処理を行ってもよい。撮像素子110によって取得された撮像画像(bayer画像)は、デモザイク処理部120に転送される。
 デモザイク処理部120では、bayer画像がRGB画像に変換され、カラー画像が生成される。図4は、bayer画像の画素配列を示す。奇数行においてR(赤)およびGr(緑)の画素が交互に配置され、かつ偶数行においてGb(緑)およびB(青)の画素が交互に配置される。奇数列においてR(赤)およびGb(緑)の画素が交互に配置され、かつ偶数列においてGr(緑)およびB(青)の画素が交互に配置される。
 デモザイク処理部120は、bayer画像の画素値に対して、黒のレベル補正(OB(Optical Black)減算)を行う。さらに、デモザイク処理部120は、各画素の画素値をコピーすることにより、隣接画素の画素値を生成する。これにより、全ての画素において各色の画素値が揃ったRGB画像が生成される。例えば、デモザイク処理部120は、Rの画素値(R_00)にOB減算を行った後、画素値(R_00-OB)をコピーする。これにより、Rの画素に隣接するGr、Gb、およびBの画素におけるRの画素値が補間される。図5は、R画像の画素配列を示す。
 同様に、デモザイク処理部120は、Grの画素値(Gr_01)にOB減算を行った後、画素値(Gr_01-OB)をコピーする。また、デモザイク処理部120は、Gbの画素値(Gb_10)にOB減算を行った後、画素値(Gb_10-OB)をコピーする。これにより、Grの画素に隣接するRの画素およびGbの画素に隣接するBの画素におけるGの画素値が補間される。図6は、G画像の画素配列を示す。
 同様に、デモザイク処理部120は、Bの画素値(B_11)にOB減算を行った後、画素値(B_11-OB)をコピーする。これにより、Bの画素に隣接するR、Gr、およびGbの画素におけるBの画素値が補間される。図7は、B画像の画素配列を示す。
 デモザイク処理部120は、上記の処理により、R画像、G画像、およびB画像で構成されるカラー画像(RGB画像)を生成する。デモザイク処理の具体的な方法は、上記の方法に限らない。生成されたRGB画像に対してフィルタ処理が施されてもよい。デモザイク処理部120によって生成されたRGB画像は、表示画像生成部130に転送される。
 表示画像生成部130の補正部131が行う処理の詳細について説明する。図8は、第1瞳101のRGフィルタ、第2瞳102のBGフィルタ、および撮像素子110のカラーフィルタの分光特性(透過率特性)の例を示す。図8における横軸は波長λ[nm]であり、かつ縦軸はゲインである。線fRGは、RGフィルタの分光特性を示す。線fBGは、BGフィルタの分光特性を示す。波長λがRGフィルタの分光特性とBGフィルタの分光特性との境界である。RGフィルタは、波長λよりも長波長側の波長帯域の光を透過させる。BGフィルタは、波長λよりも短波長側の波長帯域の光を透過させる。線fは、撮像素子110のRフィルタの分光特性(第1透過率特性)を示す。線fは、撮像素子110のGフィルタの分光特性を示す。GrフィルタおよびGbフィルタのフィルタ特性は同等であるため、GrフィルタおよびGbフィルタはGフィルタとして表されている。線fは、撮像素子110のBフィルタの分光特性(第2透過率特性)を示す。撮像素子110の各フィルタの分光特性は、オーバーラップしている。
 線fが示す分光特性において波長λよりも長波長側の領域のうち線fおよび線fの間の領域を領域φと定義する。線fが示す分光特性において波長λよりも長波長側の領域を領域φRGと定義する。線fが示す分光特性において波長λよりも短波長側の領域のうち線fおよび線fの間の領域を領域φと定義する。線fが示す分光特性において波長λよりも短波長側の領域を領域φGBと定義する。
 R画像およびB画像に基づいて位相差を取得する方式では、例えばR(赤)情報およびB(青)情報の位相の差が取得される。Rフィルタが配置された撮像素子110のR画素における光電変換により、R情報が取得される。R情報は、図8の領域φ、領域φRG、および領域φGBの情報を含む。領域φおよび領域φRGの情報は、第1瞳101のRGフィルタを透過した光に基づく。領域φGBの情報は、第2瞳102のBGフィルタを透過した光に基づく。R情報において領域φGBの情報は、Rフィルタの分光特性とBフィルタの分光特性との重複する成分に基づく。領域φGBは波長λよりも短波長側であるため、領域φGBの情報は、色ずれによる2重像の原因となるB情報である。この情報は、R画像の波形を歪ませ、かつ2重像を発生させるため、R情報には好ましくない。
 一方、Bフィルタが配置された撮像素子110のB画素における光電変換により、B情報が取得される。B情報は、図8の領域φ、領域φRG、および領域φGBの情報を含む。領域φおよび領域φGBの情報は、第2瞳102のBGフィルタを透過した光に基づく。B情報において領域φRGの情報は、Bフィルタの分光特性とRフィルタの分光特性との重複する成分に基づく。領域φRGの情報は、第1瞳101のRGフィルタを透過した光に基づく。領域φRGは波長λよりも長波長側であるため、領域φRGの情報は、色ずれによる2重像の原因となるR情報である。この情報は、B画像の波形を歪ませ、かつ2重像を発生させるため、B情報には好ましくない。
 赤情報において、青情報を含む領域φGBの情報を低減させ、かつ青情報において、赤情報を含む領域φRGの情報を低減させる補正がなされる。補正部131は、R画像とB画像に対して、補正処理を行う。つまり、補正部131は、赤情報において領域φGBの情報を低減させ、かつ青情報において領域φRGの情報を低減させる。
 図9は、図8と同様の図である。図9において、線fBRは、図8における領域φGBおよび領域φRGを示す。線fで示されるGフィルタの分光特性と、線fBRで示される分光特性とは、一般的に相似である。補正部131は、この性質を利用して補正処理を行う。補正部131は、補正処理において、式(1)および式(2)により赤情報および青情報を算出する。
  R’=R-α×G ・・・(1)
  B’=B-β×G ・・・(2)
 式(1)において、Rは補正処理が行われる前の赤情報であり、かつR’は補正処理が行われた後の赤情報である。式(2)において、Bは補正処理が行われる前の青情報であり、かつB’は補正処理が行われた後の青情報である。この例において、αおよびβは、0よりも大きく、かつ1よりも小さい。αおよびβは、撮像素子110の分光特性に応じて設定される。撮像装置10が照明用の光源を有する場合、αおよびβは、撮像素子110の分光特性および光源の分光特性に応じて設定される。例えば、αおよびβは、図示していないメモリに格納されている。
 式(1)および式(2)で示される演算により、Rフィルタの分光特性とBフィルタの分光特性との重複する成分に基づく値が補正される。補正部131は、上記のように補正された画像(モノクロ補正画像)を生成する。補正部131は、生成されたR’画像およびB’画像のいずれか1つを出力することにより、モノクロ補正画像を出力する。例えば、補正部131は、R’画像を出力する。第1の実施形態において、R’画像およびB’画像のいずれか1つが表示部140に出力される。補正部131は、R’画像およびB’画像を生成し、かつ生成されたR’画像およびB’画像のいずれか1つのみを出力してもよい。あるいは、補正部131は、R’画像およびB’画像のうち予め決められた1つのみを生成してもよい。
 補正部131から出力されたモノクロ補正画像(R’画像)に対して、例えばγ補正、スケーリング処理、エッジの強調、およびローパスフィルタ処理等の高画質化処理が行われてもよい。スケーリング処理では、バイキュービックおよびNearest Neighbor等が利用される。ローパスフィルタ処理では、折返し歪み(aliasing)が補正される。
 デモザイク処理部120および表示画像生成部130は、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、およびマイクロプロセッサーなどで構成することができる。例えば、デモザイク処理部120および表示画像生成部130は、ASICおよびエンベデッドプロセッサーで構成される。デモザイク処理部120および表示画像生成部130は、それ以外のハードウエア、ソフトウエア、ファームウエア、またはこれらの組み合わせで構成されてもよい。
 表示部140は、バックライトが必要な透過型LCD(Liquid Crystal Display)および自発光タイプのEL(Electro Luminescence)素子(有機EL)などである。例えば、表示部140は透過型LCDで構成され、かつLCD駆動に必要な駆動部を有する。駆動部は、駆動信号を生成し、かつ駆動信号によりLCDを駆動する。
 第1の実施形態の撮像装置10は、補正部131を有することにより、画像の色ずれによる2重像を低減することができる。また、撮像装置10は、モノクロ補正画像を表示する表示部140を有することにより、画像の視認性を改善することができる。ユーザーは、R画像およびB画像に基づいて位相差を取得する方式において画像を観察する場合であっても、色ずれによる2重像が低減され、かつ視認性が向上した画像を観察することができる。表示部140はモノクロ補正画像を表示するため、表示部140に出力される情報量が低下する。そのため、表示部140の消費電力を削減することができる。
 (第2の実施形態)
 図10は、本発明の第2の実施形態の撮像装置10aの構成を示す。図10に示す構成について、図1に示す構成と異なる点を説明する。
 撮像装置10aは表示部140を有していない。表示部140は、撮像装置10aから独立して構成されている。撮像装置10aは、図1に示す撮像装置10の構成のうち表示部140を除く構成に加えて出力部150を有する。出力部150は、補正部131によって生成されたモノクロ補正画像を表示部140に出力する。例えば、出力部150は、表示部140と有線または無線により通信を行う通信機である。
 上記以外の点について、図10に示す構成は、図1に示す構成と同様である。
 第2の実施形態の撮像装置10aは、第1の実施形態の撮像装置10と同様に、画像の色ずれによる2重像を低減し、かつ画像の視認性を改善することができる。表示部140が撮像装置10aから独立しているため、撮像装置10aを小型化することができる。また、モノクロ補正画像を転送することにより、カラー画像に比べて、表示部140に対して画像を転送するときのフレームレートが向上し、かつビットレートが低減する。
 (第3の実施形態)
 図11は、本発明の第3の実施形態の撮像装置10bの構成を示す。図11に示す構成について、図1に示す構成と異なる点を説明する。
 撮像装置10bにおいて、デモザイク処理部120および表示画像生成部130の位置が、図1に示す撮像装置10における位置と異なる。撮像素子110から出力されたbayer画像が表示画像生成部130に入力される。表示画像生成部130において補正部131は、bayer画像に対して補正処理およびOB減算を行うことにより、補正画像であるbayer’画像を生成する。
 具体的には、補正部131は、bayer画像の画素値に対して、OB減算を行う。さらに、補正部131は、各画素の画素値をコピーすることにより、隣接画素の画素値を生成する。これにより、全ての画素において各色の画素値が揃ったRGB画像が生成される。例えば、補正部131は、Rの画素値(R_00)にOB減算を行った後、画素値(R_00-OB)をコピーする。これにより、Rの画素に隣接するGr、Gb、およびBの画素におけるRの画素値が補間される。
 同様に、補正部131は、Grの画素値(Gr_01)にOB減算を行った後、画素値(Gr_01-OB)をコピーする。また、補正部131は、Gbの画素値(Gb_10)にOB減算を行った後、画素値(Gb_10-OB)をコピーする。これにより、Grの画素に隣接するRの画素およびGbの画素に隣接するBの画素におけるGの画素値が補間される。
 同様に、補正部131は、Bの画素値(B_11)にOB減算を行った後、画素値(B_11-OB)をコピーする。これにより、Bの画素に隣接するR、Gr、およびGbの画素におけるBの画素値が補間される。
 補正部131は、上記の処理により、R画像、G画像、およびB画像で構成されるカラー画像(RGB画像)を生成する。その後、補正部131は、式(1)に基づいてR画像を補正することにより、色ずれによる2重像が低減されたR’画像を生成する。また、補正部131は、式(2)に基づいてB画像を補正することにより、色ずれによる2重像が低減されたB’画像を生成する。補正部131は、bayer画像におけるRの画素の位置と同一の位置における画素値をR’画像から抽出することにより、bayer’画像におけるR’の画素値を生成する。また、補正部131は、bayer画像におけるGrおよびGbの画素の位置と同一の位置における画素値をG画像から抽出することにより、bayer’画像におけるGr’およびGb’の画素値を生成する。また、補正部131は、bayer画像におけるBの画素の位置と同一の位置における画素値をB’画像から抽出することにより、bayer’画像におけるB’の画素値を生成する。
 図12は、bayer’画像の画素配列を示す。bayer’画像におけるR’(赤)、Gr’(緑)、Gb’(緑)、およびB’(青)の画素の配置は、図4に示すbayer画像におけるR、Gr、Gb、およびBの画素の配置と同様である。補正部131は、生成されたbayer’画像をデモザイク処理部120に出力する。もちろん、bayer’画像がデモザイク処理部120に入力される前に、bayer’画像に対して、既存のbayer画像に対して行っていた高画質処理等を行っても構わない。
 デモザイク処理部120は、bayer’画像にデモザイク処理を行うことにより、R’画像およびB’画像の少なくとも1つを生成する。つまり、デモザイク処理部120は、R’の画素値をコピーすることにより、R’の画素に隣接するGr’、Gb’、およびB’の画素におけるR’の画素値を補間する。あるいは、デモザイク処理部120は、B’の画素値をコピーすることにより、B’の画素に隣接するR’、Gr’、およびGb’の画素におけるB’の画素値を補間する。デモザイク処理部120は、R’画像およびB’画像のいずれか1つを表示部140に出力することにより、モノクロ補正画像を出力する。例えば、デモザイク処理部120は、R’画像を出力する。第3の実施形態において、R’画像およびB’画像のいずれか1つが表示部140に出力される。デモザイク処理部120は、R’画像およびB’画像を生成し、かつ生成されたR’画像およびB’画像のいずれか1つのみを出力してもよい。あるいは、デモザイク処理部120は、R’画像およびB’画像のうち予め決められた1つのみを生成してもよい。デモザイク処理部120は、補正部131によって生成された補正画像を処理してモノクロ補正画像を生成する画像処理部を構成する。デモザイク処理部120によって生成されたモノクロ補正画像に対してγ補正等の高画質化処理が行われてもよい。
 上記以外の点について、図11に示す構成は、図1に示す構成と同様である。
 表示部140は、撮像装置10bから独立して構成されてもよい。その場合、撮像装置10bは、出力部150を有する。出力部150は、モノクロ補正画像を処理した処理画像を表示部140に出力する。表示画像生成部130は、デモザイク処理部120の前段に配置されてもよい。
 第3の実施形態の撮像装置10bは、第1の実施形態の撮像装置10と同様に、画像の色ずれによる2重像を低減し、かつ画像の視認性を改善することができる。また、bayer’画像がデモザイク処理部120に入力される前に、bayer’画像に対して、既存のbayer画像に対して行っていた高画質処理等を行うこともできる。
 (第4の実施形態)
 図13は、本発明の第4の実施形態の撮像装置10cの構成を示す。図13に示す構成について、図1に示す構成と異なる点を説明する。
 撮像装置10cにおいて、図1に示す表示画像生成部130は表示画像生成部130cに変更される。表示画像生成部130cは、補正部131および制御部132を有する。制御部132は、第1モノクロ補正画像および第2モノクロ補正画像の少なくとも1つの生成を補正部131に指示する。第1モノクロ補正画像は、第1透過率特性に基づく成分を有する撮像画像に対して、第1透過率特性と第2透過率特性との重複する成分に基づく値を補正することにより生成されたモノクロ補正画像である。第2モノクロ補正画像は、第2透過率特性に基づく成分を有する撮像画像に対して、第1透過率特性と第2透過率特性との重複する成分に基づく値を補正することにより生成されたモノクロ補正画像である。補正部131は、制御部132からの指示に応じて、第1モノクロ補正画像および第2モノクロ補正画像の少なくとも1つを生成する。制御部132は、マイクロプロセッサーなどで構成される。例えば、第1モノクロ補正画像は、R’画像である。例えば、第2モノクロ補正画像は、B’画像である。
 制御部132は、撮像画像の解析結果に応じて、第1モノクロ補正画像および第2モノクロ補正画像の少なくとも1つの生成を補正部131に指示する。第1の例では、制御部132は、撮像画像のヒストグラムに応じて、第1モノクロ補正画像および第2モノクロ補正画像の少なくとも1つの生成を補正部131に指示する。第2の例では、制御部132は、撮像画像のコントラストに応じて、第1モノクロ補正画像および第2モノクロ補正画像の少なくとも1つの生成を補正部131に指示する。
 上記以外の点について、図13に示す構成は、図1に示す構成と同様である。
 図14は、第1の例における制御部132の動作の手順を示す。撮像素子110によって取得された撮像画像であるbayer画像が制御部132に入力される。制御部132は、bayer画像のヒストグラム解析を行う(ステップS100)。ステップS100の後、制御部132は、ヒストグラム解析によって決定されたモノクロ補正画像の生成を補正部131に指示する(ステップS110)。
 ステップS100における処理の詳細について説明する。制御部132は、bayer画像における各画素の色毎に画素値のヒストグラムを生成する。図15は、bayer画像のヒストグラムの例を示す。図15における横軸は画素値の階調であり、かつ縦軸は度数である。図15において、bayer画像における複数のR画素の画素値のヒストグラムと、bayer画像における複数のB画素の画素値のヒストグラムとが示されている。撮像素子110の深度10bit(0から1023)は、領域A1から領域A6に区別されている。領域A1は、画素値が0から169の領域である。領域A2は、画素値が170から339の領域である。領域A3は、画素値が340から509の領域である。領域A4は、画素値が510から679の領域である。領域A5は、画素値が680から849の領域である。領域A6は、画素値が850から1023の領域である。より左側の領域の画素値を有する画素はより暗く、より右側の領域の画素値を有する画素はより明るい。図15に示す例では、R画素の度数は、B画素の度数と比べて、より明るい領域に分布している。そのため、R画像は、B画像に比べてSNR(signal-to-noise ratio)が高いと判断できる。制御部132は、補正部131が生成するモノクロ補正画像をR’画像に決定する。
 第1の例では、制御部132は、複数のR画素の画素値のヒストグラムと、複数のB画素の画素値のヒストグラムとを生成する。制御部132は、R画素およびB画素のうち、より大きい画素値の度数がより多い画素に対応するモノクロ補正画像の生成を補正部131に指示する。
 図16は、第2の例における制御部132の動作の手順を示す。撮像素子110によって取得された撮像画像であるbayer画像が制御部132に入力される。制御部132は、bayer画像のコントラスト解析を行う(ステップS200)。ステップS200の後、制御部132は、コントラスト解析によって決定されたモノクロ補正画像の生成を補正部131に指示する(ステップS210)。
 ステップS200における処理の詳細について説明する。制御部132は、第1の例で生成されるヒストグラムと同様のヒストグラムを生成する。例えば、図15に示すヒストグラムが生成される。制御部132は、ヒストグラムに基づいてbayer画像のコントラストを算出する。図15に示す例では、R画素は、領域A6から領域A1まで分布している。一方、B画素は、領域A5から領域A1まで分布している。最大輝度値(最大画素値)を最小輝度値(最小画素値)で割った値でコントラストが定義される場合、R画素のコントラストはB画素のコントラストよりも高い。そのため、制御部132は、補正部131が生成するモノクロ補正画像をR’画像に決定する。
 第2の例では、制御部132は、複数のR画素の画素値のコントラストと、複数のB画素の画素値のコントラストとを算出する。制御部132は、R画素およびB画素のうち、コントラストがより高い画素に対応するモノクロ補正画像の生成を補正部131に指示する。
 表示部140は、撮像装置10cから独立して構成されてもよい。その場合、撮像装置10cは、出力部150を有する。出力部150は、補正部131によって生成されたモノクロ補正画像を表示部140に出力する。表示画像生成部130は、デモザイク処理部120の前段に配置されてもよい。
 第4の実施形態の撮像装置10cは、第1の実施形態の撮像装置10と同様に、画像の色ずれによる2重像を低減し、かつ画像の視認性を改善することができる。
 第1の例では、制御部132は、撮像画像のヒストグラムに応じて決定されたモノクロ補正画像の生成を補正部131に指示する。これにより、撮像装置10cは、色ずれによる2重像が低減され、かつSNRが高い画像を生成することができる。
 第2の例では、制御部132は、撮像画像のコントラストに応じて決定されたモノクロ補正画像の生成を補正部131に指示する。これにより、撮像装置10cは、色ずれによる2重像が低減され、かつコントラストが高い画像を生成することができる。
 (第5の実施形態)
 図17は、本発明の第5の実施形態の撮像装置10dの構成を示す。図17に示す構成について、図13に示す構成と異なる点を説明する。
 撮像装置10dは、図13に示す撮像装置10cの構成に加えて記憶部160を有する。撮像装置10dは、予め決められた被写体の撮像画像を取得する目的で使用される。制御部132は、被写体の分光特性に応じて、第1モノクロ補正画像および第2モノクロ補正画像の少なくとも1つの生成を補正部131に指示する。記憶部160は、被写体の分光特性を示す分光特性データを記憶する。記憶部160は、被写体毎に異なる複数の分光特性データを記憶してもよい。記憶部160は、ROM(Read Only Memory)などの不揮発性メモリである。記憶部160は、撮像装置10dから独立して構成されてもよい。
 上記以外の点について、図17に示す構成は、図13に示す構成と同様である。
 図18は、制御部132の動作の手順を示す。ユーザーは、図示していないユーザーインターフェースにより、被写体を選択する。ユーザーによって選択された被写体の情報は、図示していないシステムコントローラを介して表示画像生成部130cに入力される。制御部132は、ユーザーによって選択された被写体の分光特性データを記憶部160から読み出し、かつ分光特性データの解析を行う(ステップS300)。ステップS300の後、制御部132は、分光特性データの解析によって決定されたモノクロ補正画像の生成を補正部131に指示する(ステップS310)。
 ステップS300における処理の詳細について説明する。制御部132は、R画素およびB画素のうち、被写体の分光特性におけるゲインがより高い波長の光が入射する画素に対応するモノクロ補正画像の生成を補正部131に指示する。図19は、被写体の分光特性の例を示す。図19における横軸は波長[nm]であり、かつ縦軸はゲインである。図19に示す例では、600[nm]付近におけるゲインが高い。Rフィルタの分光特性における600[nm]のゲインは、Bフィルタの分光特性における600[nm]のゲインよりも高い。そのため、制御部132は、補正部131が生成するモノクロ補正画像をR’画像に決定する。
 記憶部160は、被写体の識別情報と、補正画像情報とを記憶してもよい。補正画像情報は、モノクロ補正画像をR’画像およびB’画像のどちらにするかを示す。被写体の識別情報と、補正画像情報とは、互いに関連付けられている。ユーザーは、図示していないユーザーインターフェースにより、被写体を選択する。制御部132は、ユーザーによって選択された被写体に対応するモノクロ補正画像の生成を補正部131に指示する。具体的には、制御部132は、ユーザーによって選択された被写体の識別情報に関連付けられた情報を記憶部160から読み出す。記憶部160から読み出された情報は、モノクロ補正画像をR’画像およびB’画像のどちらにするかを示す。制御部132は、記憶部160から読み出された情報に対応するモノクロ補正画像の生成を補正部131に指示する。記憶部160が被写体の分光特性データを記憶する場合と比べて、データ量が削減される。
 表示部140は、撮像装置10dから独立して構成されてもよい。その場合、撮像装置10dは、出力部150を有する。出力部150は、補正部131によって生成されたモノクロ補正画像を表示部140に出力する。表示画像生成部130は、デモザイク処理部120の前段に配置されてもよい。
 第5の実施形態の撮像装置10dは、第1の実施形態の撮像装置10と同様に、画像の色ずれによる2重像を低減し、かつ画像の視認性を改善することができる。
 制御部132は、被写体の分光特性に応じて決定されたモノクロ補正画像の生成を補正部131に指示する。これにより、撮像装置10dは、色ずれによる2重像が低減され、かつSNRが高い画像を生成することができる。
 (第6の実施形態)
 図20は、本発明の第6の実施形態の撮像装置10eの構成を示す。図20に示す構成について、図13に示す構成と異なる点を説明する。
 撮像装置10eは、図13に示す撮像装置10cの構成に加えて指示受付部170を有する。制御部132は、ユーザーからの指示に応じて、モノクロ補正画像をR’画像およびB’画像のどちらにするかを決定する。ユーザーが指示したモノクロ補正画像の情報が、補正部131に指示される。指示受付部170は、ユーザーからの指示を受け付ける。指示受付部170は、ボタン、スイッチ、およびキーなどのユーザーインターフェースを構成する。指示受付部170は、撮像装置10eから独立して構成されてもよい。
 例えば、ユーザーは、R’画像およびB’画像のいずれか1つを選択する指示を、指示受付部170を介して入力する。制御部132は、指示受付部170によって受け付けられた指示が示すモノクロ補正画像の生成を補正部131に指示する。
 上記以外の点について、図20に示す構成は、図13に示す構成と同様である。
 表示部140は、撮像装置10eから独立して構成されてもよい。その場合、撮像装置10eは、出力部150を有する。出力部150は、補正部131によって生成されたモノクロ補正画像を表示部140に出力する。表示画像生成部130は、デモザイク処理部120の前段に配置されてもよい。
 第6の実施形態の撮像装置10eは、第1の実施形態の撮像装置10と同様に、画像の色ずれによる2重像を低減し、かつ画像の視認性を改善することができる。
 制御部132は、ユーザーからの指示に応じて決定されたモノクロ補正画像の生成を補正部131に指示する。これにより、撮像装置10eは、ユーザーの好みに応じて、画像の色ずれによる2重像を低減し、かつ画像の視認性を改善することができる。
 (第7の実施形態)
 図21は、本発明の第7の実施形態の撮像装置10fの構成を示す。図21に示す構成について、図1に示す構成と異なる点を説明する。
 撮像装置10fにおいて、図1に示す表示画像生成部130は表示画像生成部130fに変更される。表示画像生成部130fは、補正部131、制御部132、および画像選択部133を有する。
 補正部131は、制御部132による撮像画像の解析と並行して、第1モノクロ補正画像および第2モノクロ補正画像を生成する。第1モノクロ補正画像は、第1透過率特性に基づく成分を有する撮像画像に対して、第1透過率特性と第2透過率特性との重複する成分に基づく値を補正することにより生成されたモノクロ補正画像である。第2モノクロ補正画像は、第2透過率特性に基づく成分を有する撮像画像に対して、第1透過率特性と第2透過率特性との重複する成分に基づく値を補正することにより生成されたモノクロ補正画像である。制御部132は、撮像画像の解析結果に応じて、第1モノクロ補正画像および第2モノクロ補正画像の少なくとも1つの選択を画像選択部133に指示する。画像選択部133は、補正部131によって生成されたモノクロ補正画像のうち、第1モノクロ補正画像および第2モノクロ補正画像の少なくとも1つを選択し、選択されたモノクロ補正画像を出力する。
 例えば、補正部131は、R’画像およびB’画像を生成し、生成されたR’画像およびB’画像を画像選択部133に出力する。補正部131によって生成されたR’画像およびB’は、画像選択部133に入力される。制御部132は、撮像画像であるbayer画像の解析結果に応じて、R’画像およびB’画像のいずれか1つの選択を画像選択部133に指示する。画像選択部133は、補正部131によって生成されたR’画像およびB’画像のうち、制御部132によって指示された画像を選択し、選択された画像を表示部140に出力する。
 上記以外の点について、図21に示す構成は、図1に示す構成と同様である。
 表示部140は、撮像装置10fから独立して構成されてもよい。その場合、撮像装置10fは、出力部150を有する。出力部150は、補正部131によって生成されたモノクロ補正画像を表示部140に出力する。
 第7の実施形態の撮像装置10fは、第1の実施形態の撮像装置10と同様に、画像の色ずれによる2重像を低減し、かつ画像の視認性を改善することができる。
 図13に示す撮像装置10cでは、補正部131は、制御部132による撮像画像の解析を待つ。制御部132からの指示を受けた後、補正部131は、制御部132からの指示が示すR’画像またはB’画像を生成する。一方、図21に示す撮像装置10fでは、補正部131は、制御部132による撮像画像の解析を待つことなく、R’画像およびB’画像を生成する。補正部131によるR’画像とB’画像との生成中に制御部132が撮像画像の解析を行う。そのため、制御部132からの指示を待つことなくモノクロ補正画像が生成され、画像選択部133では、制御部132からの指示に基づき、モノクロ補正画像が出力される。そのため、遅延時間が少なくなる。
 (第8の実施形態)
 図22は、本発明の第8の実施形態の内視鏡装置11の構成を示す。図22に示すように、内視鏡装置11は、瞳分割光学系100、撮像素子110、デモザイク処理部120、表示画像生成部130、表示部140、指示受付部170、位相差演算部180、光源部190、およびシステムコントローラ200を有する。
 瞳分割光学系100、撮像素子110、およびデモザイク処理部120の各々は、図1に示す瞳分割光学系100、撮像素子110、およびデモザイク処理部120の各々と同様に構成されている。工業用内視鏡において、瞳分割光学系100および撮像素子110は、観察および計測の対象物の内部に挿入される挿入部の先端に配置される。表示画像生成部130は、図1に示す表示画像生成部130と基本的には同様である。表示画像生成部130は、R’画像およびB’画像を生成し、かつ生成されたR’画像およびB’画像を表示部140に出力する。表示部140は、図1に示す表示部140と基本的には同様である。表示部140は、表示画像生成部130によって生成されたR’画像およびB’画像の各々をモノクロ表示する。
 指示受付部170は、被写体上の計測位置を示す計測点の指示をユーザーから受け付ける。位相差演算部180は、表示画像生成部130によって生成されたR’画像およびB’画像の位相差を演算する。位相差演算部180は、デモザイク処理部120によって生成されたR画像およびB画像の位相差を演算してもよい。位相差演算部180は、ASIC、FPGA、およびマイクロプロセッサーなどで構成される。光源部190は、システムコントローラ200からの指示に基づき、照明光を被写体に照射する。例えば、光源部190は、LED(Light Emitting Diode)で構成される。システムコントローラ200は、内視鏡装置11内の各部を制御する。
 ユーザーによって指示された計測点の情報が指示受付部170からシステムコントローラ200に入力される。システムコントローラ200は計測点の情報を位相差演算部180に出力する。位相差演算部180は、システムコントローラ200から入力された計測点における位相差を演算し、かつ演算結果をシステムコントローラ200に出力する。システムコントローラ200は、位相差演算部180から入力された位相差に基づいて、被写体までの距離および被写体の三次元形状を計測する。システムコントローラ200は、計測点を表示するためのグラフィックデータと、計測結果を表示するための文字データとを表示部140に出力する。表示部140は、計測点および計測結果が重畳された画像を表示する。
 図23は、表示部140に表示された画像の例を示す。モノクロ画像であるR’画像R10およびB’画像B10が表示される。例えば、ユーザーは、R’画像R10に対して計測点を指定する。ユーザーによって指定された計測点P10および計測点P11がR’画像R10に重畳表示される。また、計測点P10および計測点P11に対応する被写体上の2点間の距離(10[mm])が計測結果としてR’画像R10に重畳表示される。計測点P10に対応する点P12と、計測点P11に対応する点P13とがB’画像B10に重畳表示される。
 表示部140は、内視鏡装置11から独立して構成されてもよい。その場合、内視鏡装置11は、出力部150を有する。出力部150は、表示画像生成部130によって生成されたモノクロ補正画像を表示部140に出力する。表示画像生成部130は、デモザイク処理部120の前段に配置されてもよい。撮像装置10、撮像装置10a、撮像装置10b、撮像装置10c、撮像装置10d、撮像装置10e、および撮像装置10fの少なくとも1つは、位相差演算部180を有してもよい。
 第8の実施形態の内視鏡装置11は、第1の実施形態の撮像装置10と同様に、画像の色ずれによる2重像を低減し、かつ画像の視認性を改善することができる。ユーザーは、色ずれによる2重像が低減され、かつ視認性が向上した画像を観察できるため、計測点を指定しやすい。そのため、内視鏡装置11は、ユーザーの作業効率を向上させることができる。
 以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
 本発明の各実施形態によれば、撮像装置および内視鏡装置は、画像の色ずれによる2重像を低減し、かつ画像の視認性を改善することができる。
 10,10a,10b,10c,10d,10e,10f 撮像装置
 11 内視鏡装置
 100 瞳分割光学系
 101 第1瞳
 102 第2瞳
 103 レンズ
 104 帯域制限フィルタ
 105 絞り
 110 撮像素子
 120 デモザイク処理部
 130,130c,130f 表示画像生成部
 131 補正部
 132 制御部
 133 画像選択部
 140 表示部
 150 出力部
 160 記憶部
 170 指示受付部
 180 位相差演算部
 190 光源部
 200 システムコントローラ

Claims (11)

  1.  第1波長帯域の光を透過させる第1瞳と、前記第1波長帯域とは異なる第2波長帯域の光を透過させる第2瞳とを有する瞳分割光学系と、
     前記瞳分割光学系と、第1透過率特性を有する第1色フィルタとを透過した光を撮像し、かつ、前記瞳分割光学系と、前記第1透過率特性と一部が重複する第2透過率特性を有する第2色フィルタとを透過した光を撮像して撮像画像を出力する撮像素子と、
     前記撮像画像に対して、前記第1透過率特性と前記第2透過率特性との重複する成分に基づく値を補正し、モノクロ補正画像または補正画像を生成する補正部と、
     前記モノクロ補正画像を表示し、または、前記補正画像を処理することにより生成された前記モノクロ補正画像を表示する表示部と、
     を有する撮像装置。
  2.  第1波長帯域の光を透過させる第1瞳と、前記第1波長帯域とは異なる第2波長帯域の光を透過させる第2瞳とを有する瞳分割光学系と、
     前記瞳分割光学系と、第1透過率特性を有する第1色フィルタとを透過した光を撮像し、かつ、前記瞳分割光学系と、前記第1透過率特性と一部が重複する第2透過率特性を有する第2色フィルタとを透過した光を撮像して撮像画像を出力する撮像素子と、
     前記撮像画像に対して、前記第1透過率特性と前記第2透過率特性との重複する成分に基づく値を補正し、モノクロ補正画像または補正画像を生成する補正部と、
     前記モノクロ補正画像を表示し、または、前記補正画像を処理することにより生成された前記モノクロ補正画像を表示部に出力する出力部と、
     を有する撮像装置。
  3.  第1モノクロ補正画像および第2モノクロ補正画像の少なくとも1つの生成を前記補正部に指示する制御部を有し、
     前記第1モノクロ補正画像は、前記第1透過率特性に基づく成分を有する前記撮像画像に対して、前記第1透過率特性と前記第2透過率特性との重複する成分に基づく値を補正することにより生成された前記モノクロ補正画像であり、
     前記第2モノクロ補正画像は、前記第2透過率特性に基づく成分を有する前記撮像画像に対して、前記第1透過率特性と前記第2透過率特性との重複する成分に基づく値を補正することにより生成された前記モノクロ補正画像であり、
     前記補正部は、前記制御部からの指示に応じて、前記第1モノクロ補正画像および前記第2モノクロ補正画像の少なくとも1つを生成する
     請求項1または請求項2に記載の撮像装置。
  4.  前記制御部は、ユーザーからの指示に応じて、前記第1モノクロ補正画像および前記第2モノクロ補正画像の少なくとも1つの生成を前記補正部に指示する
     請求項3に記載の撮像装置。
  5.  前記制御部は、前記撮像画像の解析結果に応じて、前記第1モノクロ補正画像および前記第2モノクロ補正画像の少なくとも1つの生成を前記補正部に指示する
     請求項3に記載の撮像装置。
  6.  前記制御部は、前記撮像画像のヒストグラムに応じて、前記第1モノクロ補正画像および前記第2モノクロ補正画像の少なくとも1つの生成を前記補正部に指示する
     請求項3に記載の撮像装置。
  7.  前記制御部は、前記撮像画像のコントラストに応じて、前記第1モノクロ補正画像および前記第2モノクロ補正画像の少なくとも1つの生成を前記補正部に指示する
     請求項3に記載の撮像装置。
  8.  前記制御部は、被写体の分光特性に応じて、前記第1モノクロ補正画像および前記第2モノクロ補正画像の少なくとも1つの生成を前記補正部に指示する
     請求項3に記載の撮像装置。
  9.  前記補正部によって生成された前記モノクロ補正画像のうち、第1モノクロ補正画像および第2モノクロ補正画像の少なくとも1つを選択し、選択された前記モノクロ補正画像を出力する画像選択部と、
     前記撮像画像の解析結果に応じて、前記第1モノクロ補正画像および前記第2モノクロ補正画像の少なくとも1つの選択を前記画像選択部に指示する制御部と、
     を有し、
     前記第1モノクロ補正画像は、前記第1透過率特性に基づく成分を有する前記撮像画像に対して、前記第1透過率特性と前記第2透過率特性との重複する成分に基づく値を補正することにより生成された前記モノクロ補正画像であり、
     前記第2モノクロ補正画像は、前記第2透過率特性に基づく成分を有する前記撮像画像に対して、前記第1透過率特性と前記第2透過率特性との重複する成分に基づく値を補正することにより生成された前記モノクロ補正画像であり、
     前記補正部は、前記制御部による前記撮像画像の解析と並行して、前記第1モノクロ補正画像および前記第2モノクロ補正画像を生成する
     請求項1または請求項2に記載の撮像装置。
  10.  前記補正部によって生成された前記補正画像を処理して前記モノクロ補正画像を生成する画像処理部を有する
     請求項1または請求項2に記載の撮像装置。
  11.  請求項1または請求項2に記載の撮像装置を有する内視鏡装置。
PCT/JP2017/015698 2017-04-19 2017-04-19 撮像装置および内視鏡装置 WO2018193544A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/015698 WO2018193544A1 (ja) 2017-04-19 2017-04-19 撮像装置および内視鏡装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/015698 WO2018193544A1 (ja) 2017-04-19 2017-04-19 撮像装置および内視鏡装置
US16/601,821 US10778948B2 (en) 2017-04-19 2019-10-15 Imaging apparatus and endoscope apparatus

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/601,821 Continuation US10778948B2 (en) 2017-04-19 2019-10-15 Imaging apparatus and endoscope apparatus

Publications (1)

Publication Number Publication Date
WO2018193544A1 true WO2018193544A1 (ja) 2018-10-25

Family

ID=63856678

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/015698 WO2018193544A1 (ja) 2017-04-19 2017-04-19 撮像装置および内視鏡装置

Country Status (2)

Country Link
US (1) US10778948B2 (ja)
WO (1) WO2018193544A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013044806A (ja) * 2011-08-22 2013-03-04 Olympus Corp 撮像装置
JP2013246052A (ja) * 2012-05-25 2013-12-09 Olympus Corp 距離測定装置
JP2015011058A (ja) * 2013-06-26 2015-01-19 オリンパス株式会社 撮像装置及び撮像方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6248484B2 (ja) * 2013-09-11 2017-12-20 ソニー株式会社 立体視画像生成装置、立体視画像生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013044806A (ja) * 2011-08-22 2013-03-04 Olympus Corp 撮像装置
JP2013246052A (ja) * 2012-05-25 2013-12-09 Olympus Corp 距離測定装置
JP2015011058A (ja) * 2013-06-26 2015-01-19 オリンパス株式会社 撮像装置及び撮像方法

Also Published As

Publication number Publication date
US10778948B2 (en) 2020-09-15
US20200045282A1 (en) 2020-02-06

Similar Documents

Publication Publication Date Title
JP5816015B2 (ja) 固体撮像装置及びカメラモジュール
US8023014B2 (en) Method and apparatus for compensating image sensor lens shading
JP2013093914A (ja) 画像入力装置
JP2010093472A (ja) 撮像装置および撮像装置用信号処理回路
US8988591B2 (en) Solid-state imaging device, camera module, and focus adjustment method of camera module
WO2012117616A1 (ja) 撮像装置及び欠陥画素補正方法
JP5663564B2 (ja) 撮像装置並びに撮像画像処理方法と撮像画像処理プログラム
JP5624808B2 (ja) 撮像装置
US8441539B2 (en) Imaging apparatus
US9160937B2 (en) Signal processing apparatus and signal processing method, solid-state imaging apparatus, electronic information device, signal processing program, and computer readable storage medium
US10075687B2 (en) Imaging apparatus and imaging method to obtain high quality luminance images
JP5464982B2 (ja) 撮像装置および画像処理方法
JP2007318630A (ja) 画像入力装置、撮像モジュール、及び固体撮像装置
JPWO2010032720A1 (ja) 画像歪み補正方法及び画像処理装置
JP2010109863A (ja) 撮像装置及び携帯機器
WO2018193544A1 (ja) 撮像装置および内視鏡装置
US20070269133A1 (en) Image-data noise reduction apparatus and method of controlling same
WO2013099917A1 (ja) 撮像装置
JP5036524B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
WO2018193552A1 (ja) 撮像装置および内視鏡装置
WO2018193546A1 (ja) 撮像装置および内視鏡装置
JP5109911B2 (ja) 撮像装置および補間処理方法
JP5054659B2 (ja) 撮像装置
JP4781825B2 (ja) 撮像装置
JP2010171950A (ja) 撮像装置および撮像装置の色補正方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17906107

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17906107

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP