JP6798951B2 - 計測装置および計測装置の作動方法 - Google Patents

計測装置および計測装置の作動方法 Download PDF

Info

Publication number
JP6798951B2
JP6798951B2 JP2017167055A JP2017167055A JP6798951B2 JP 6798951 B2 JP6798951 B2 JP 6798951B2 JP 2017167055 A JP2017167055 A JP 2017167055A JP 2017167055 A JP2017167055 A JP 2017167055A JP 6798951 B2 JP6798951 B2 JP 6798951B2
Authority
JP
Japan
Prior art keywords
light
wavelength band
image
light source
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017167055A
Other languages
English (en)
Other versions
JP2019047258A (ja
Inventor
小川 清富
清富 小川
山本 直樹
直樹 山本
敏之 野口
敏之 野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2017167055A priority Critical patent/JP6798951B2/ja
Priority to US16/114,449 priority patent/US10620425B2/en
Publication of JP2019047258A publication Critical patent/JP2019047258A/ja
Application granted granted Critical
Publication of JP6798951B2 publication Critical patent/JP6798951B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • G02B23/243Objectives for endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00059Operational features of endoscopes provided with identification means for the endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1006Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/1013Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Description

本発明は、計測装置および計測装置の作動方法に関する。
近年の撮像装置には、R(赤)、G(緑)、およびB(青)で構成される原色のカラーフィルターを有する撮像素子が広く用いられている。カラーフィルターの透過波長帯域が広くなるほど透過光量が増え、かつ撮像感度が高まる。このため、一般的な撮像素子では、R、G、Bのカラーフィルターの透過率の波長特性を意図的にオーバーラップさせる手法が用いられている。
位相差AF等において、2つの瞳の視差に基づく位相差の計測が行われている。例えば、特許文献1には、第1の瞳領域がRおよびGの光を透過させ、かつ第2の瞳領域がGおよびBの光を透過させる瞳分割光学系を有する撮像装置が開示されている。この撮像装置に搭載された撮像素子で得られたベイヤー画像からR画像およびB画像が取り出される。第1の瞳領域に対応するR画像と第2の瞳領域に対応するB画像との位置ずれに基づいて位相差が検出される。
撮像素子に配置された複数のカラーフィルター間の色分離性が悪い場合、R画像およびB画像の間でクロストークが発生する。つまり、R画像が第2の瞳領域を透過した光であるB成分を含み、かつB画像が第1の瞳領域を透過した光であるR成分を含む。クロストークにより、検出される位相差に含まれる誤差すなわち計測誤差が増加する。特許文献1に開示された撮像装置は、G画像の画素値に基づいてR画像およびB画像の画素値を補正するクロストーク低減処理を実行する。これにより、その撮像装置は、クロストークの影響を減らすことができる。
特開2013−044806号公報
一般的に、撮像素子の小型化および高画素化が要求されている。そのため、撮像素子の画素ピッチが狭くなる傾向がある。画素ピッチが狭くなることにより、画像のS/N(signal−to−noise ratio)が低下する。画像のS/Nを上げるためには、カラーフィルターを透過する光の量を増加させることにより画素の感度を上げることが有効である。そのため、複数のカラーフィルター間の色分離性が悪くなることが多い。
上述したように、複数のカラーフィルター間の色分離性が悪い場合、R画像およびB画像間のクロストークの影響がある。特許文献1に開示された撮像装置は、クロストーク低減処理を実行することにより、クロストークの影響を減らす。具体的には、その撮像装置は、R画像の画素値およびB画像の画素値の各々からG画像の画素値の定数倍の値を減算する。そのため、R画像およびB画像の画素値が減少する。その結果、S/Nが低下することにより、計測誤差が増加する。
本発明は、計測誤差を減らすことができる計測装置および計測装置の作動方法を提供することを目的とする。
本発明は、第1の波長帯域の第1の光を透過可能とする第1の瞳と、前記第1の波長帯域とは異なる第2の波長帯域の第2の光を透過可能とする第2の瞳とを有する観察光学系と、前記観察光学系を透過した光が入射する位置に配置され、第3の波長帯域の第3の光を透過可能とする第1の光学フィルターを透過した前記第3の光に基づく第1の画素信号を生成する第1の画素と、前記第3の波長帯域と異なる第4の波長帯域の第4の光を透過可能とする第2の光学フィルターを透過した前記第4の光に基づく第2の画素信号を生成する第2の画素とを有する撮像素子と、第5の波長帯域の第5の光と、前記第5の波長帯域とは重ならない第6の波長帯域の第6の光とのみを含む照明光を出す光源と、前記第1の画素信号および前記第2の画素信号に基づく撮像画像から、前記第1の画素信号に基づく第1の画像と、前記第2の画素信号に基づく第2の画像とを取得する画像取得部と、前記第1の画像および前記第2の画像の位相差を計測する計測部と、を有し、前記第1の波長帯域の少なくとも一部および前記第3の波長帯域の少なくとも一部は互いに重なり、前記第1の波長帯域の少なくとも一部および前記第5の波長帯域の少なくとも一部は互いに重なり、前記第5の波長帯域の少なくとも一部および前記第3の波長帯域の少なくとも一部は互いに重なり、前記第1の波長帯域および前記第6の波長帯域は互いに重ならず、前記第2の波長帯域の少なくとも一部および前記第4の波長帯域の少なくとも一部は互いに重なり、前記第2の波長帯域の少なくとも一部および前記第6の波長帯域の少なくとも一部は互いに重なり、前記第6の波長帯域の少なくとも一部および前記第4の波長帯域の少なくとも一部は互いに重なり、前記第2の波長帯域および前記第5の波長帯域は互いに重ならず、前記照明光は被写体に照射され、前記被写体に照射された前記照明光に基づき前記被写体から得られる光であって、前記第5の光および前記第6の光のみを含む光が前記観察光学系に入射することを特徴とする計測装置である。
本発明の計測装置は、前記光源の状態を第1の状態と第2の状態とのいずれか一方に設定する光源制御部をさらに有し、前記第1の状態が前記光源に設定されたとき、前記光源は前記第5の光および前記第6の光のみを含む第1の照明光を出し、前記第2の状態が前記光源に設定されたとき、前記光源は前記第5の光および前記第6の光のいずれか一方のみを含む第2の照明光を出し、前記第2の状態が前記光源に設定されたとき、前記第1の画像および前記第2の画像のいずれか一方のみが表示部に出力されることを特徴とする。
本発明の計測装置は、前記第1の画像および前記第2の画像の明るさの相違度に基づいて前記第5の光および前記第6の光の光量を制御する光源制御部をさらに有することを特徴とする。
本発明の計測装置において、前記観察光学系は、単眼光学系として構成され、かつ瞳フィルターを有し、前記瞳フィルターは、透明な平板と、前記平板の表面に配置され、かつ第1の開口部および第2の開口部が形成された薄膜と、前記第1の開口部に配置され、かつ前記第1の光を透過させる第3の光学フィルターで構成された前記第1の瞳と、前記第2の開口部に配置され、かつ前記第2の光を透過させる第4の光学フィルターで構成された前記第2の瞳と、を有することを特徴とする。
本発明の計測装置において、前記光源は、前記第5の光を発生する1つ以上の第1の発光素子と、前記第6の光を発生する1つ以上の第2の発光素子と、を有することを特徴とする。
本発明の計測装置は、前記光源からの前記照明光を被写体に照射する照明光学系をさらに有し、前記光源は、前記第1の発光素子からの前記第5の光と、前記第2の発光素子からの前記第6の光とを混合し、かつ混合された前記第5の光および前記第6の光を含む前記照明光を出す光混合部をさらに有することを特徴とする。
本発明の計測装置は、前記被写体に挿入される挿入部をさらに有し、前記照明光学系は、前記光混合部からの前記照明光を前記挿入部の先端に伝える光伝送部を有することを特徴とする。
本発明の計測装置は、前記光源からの前記照明光を被写体に照射する照明光学系をさらに有し、前記照明光学系は、前記光源からの前記第5の光と、前記光源からの前記第6の光とを混合する光混合部を有することを特徴とする。
本発明の計測装置は、前記被写体に挿入される挿入部をさらに有し、前記照明光学系は、前記光混合部からの前記照明光を前記挿入部の先端に伝える光伝送部をさらに有することを特徴とする。
本発明の計測装置において、前記第1の波長帯域は、前記第1の光学フィルターの主波長を含み、前記第2の波長帯域は、前記第2の光学フィルターの主波長を含み、前記第5の波長帯域は、前記第1の光学フィルターの主波長を含み、前記第6の波長帯域は、前記第2の光学フィルターの主波長を含む。
本発明は、第1の波長帯域の第1の光を透過可能とする第1の瞳と、前記第1の波長帯域とは異なる第2の波長帯域の第2の光を透過可能とする第2の瞳とを有する観察光学系と、前記観察光学系を透過した光が入射する位置に配置され、第3の波長帯域の第3の光を透過可能とする第1の光学フィルターを透過した前記第3の光に基づく第1の画素信号を生成する第1の画素と、前記第3の波長帯域と異なる第4の波長帯域の第4の光を透過可能とする第2の光学フィルターを透過した前記第4の光に基づく第2の画素信号を生成する第2の画素とを有する撮像素子と、第5の波長帯域の第5の光と、前記第5の波長帯域とは重ならない第6の波長帯域の第6の光とのみを含む照明光を出す光源と、を有する計測装置の作動方法において、前記第1の画素信号および前記第2の画素信号に基づく撮像画像から、前記第1の画素信号に基づく第1の画像と、前記第2の画素信号に基づく第2の画像とを取得する画像取得ステップと、前記第1の画像および前記第2の画像の位相差を計測する計測ステップと、を有し、前記第1の波長帯域の少なくとも一部および前記第3の波長帯域の少なくとも一部は互いに重なり、前記第1の波長帯域の少なくとも一部および前記第5の波長帯域の少なくとも一部は互いに重なり、前記第5の波長帯域の少なくとも一部および前記第3の波長帯域の少なくとも一部は互いに重なり、前記第1の波長帯域および前記第6の波長帯域は互いに重ならず、前記第2の波長帯域の少なくとも一部および前記第4の波長帯域の少なくとも一部は互いに重なり、前記第2の波長帯域の少なくとも一部および前記第6の波長帯域の少なくとも一部は互いに重なり、前記第6の波長帯域の少なくとも一部および前記第4の波長帯域の少なくとも一部は互いに重なり、前記第2の波長帯域および前記第5の波長帯域は互いに重ならず、前記照明光は被写体に照射され、前記被写体に照射された前記照明光に基づき前記被写体から得られる光であって、前記第5の光および前記第6の光のみを含む光が前記観察光学系に入射することを特徴とする計測装置の作動方法である。
本発明の計測装置の作動方法において、前記第1の波長帯域は、前記第1の光学フィルターの主波長を含み、前記第2の波長帯域は、前記第2の光学フィルターの主波長を含み、前記第5の波長帯域は、前記第1の光学フィルターの主波長を含み、前記第6の波長帯域は、前記第2の光学フィルターの主波長を含む。
本発明によれば、計測装置および計測装置の作動方法は、計測誤差を減らすことができる。
本発明の第1の実施形態の計測装置の全体構成を示す図である。 本発明の第1の実施形態の計測装置が有する挿入部の先端部の断面図である。 本発明の第1の実施形態の計測装置が有する瞳フィルターの構成を示す図である。 本発明の第1の実施形態の計測装置が有する撮像素子の画素配列を示す図である。 本発明の第1の実施形態の計測装置が有する操作部の内部の構成を示すブロック図である。 本発明の第1の実施形態の計測装置の機能構成を示すブロック図である。 本発明の第1の実施形態における光源モード設定の手順を示すフローチャートである。 本発明の第1の実施形態における計測の手順を示すフローチャートである。 本発明の第1の実施形態におけるベイヤー画像の画素配列を示す図である。 本発明の第1の実施形態におけるR画像の画素配列を示す図である。 本発明の第1の実施形態におけるG画像の画素配列を示す図である。 本発明の第1の実施形態におけるB画像の画素配列を示す図である。 本発明の第1の実施形態における各フィルターの透過率特性および光源の分光特性を示すグラフである。 本発明の第1の実施形態における各フィルターの透過率特性を示すグラフである。 本発明の第1の実施形態における各フィルターの透過率特性を示すグラフである。 本発明の第1の実施形態における各フィルターの透過率特性および光源の分光特性を示すグラフである。 本発明の第1の実施形態における各フィルターの透過率特性および光源の分光特性を示すグラフである。 本発明の第1の実施形態の変形例の計測装置が有する操作部の内部の構成を示すブロック図である。 本発明の第1の実施形態の変形例の計測装置が有する操作部の内部の構成を示すブロック図である。 本発明の第1の実施形態の変形例の計測装置が有する第1のライトガイドおよび第2のライトガイドの端面を示す図である。 本発明の第1の実施形態の変形例の計測装置が有するライトガイドの端面を示す図である。 本発明の第2の実施形態における光源モード切替の手順を示すフローチャートである。 本発明の第3の実施形態における計測の手順を示すフローチャートである。
以下、図面を参照し、本発明の実施形態を説明する。以下では、計測装置の1つの例である計測内視鏡装置について説明する。計測装置は、デジタルスチルカメラ、ビデオカメラ、カメラ付き携帯電話、カメラ付き携帯情報端末、カメラ付きパーソナルコンピュータ、監視カメラ、およびデジタル顕微鏡などであってもよい。
(第1の実施形態)
図1は、本発明の第1の実施形態の計測装置1の全体構成を示す。図1に示すように、計測装置1は、内視鏡10および装置本体30を有する。内視鏡10は、細長な挿入部2(内視鏡)と、操作部3とを有する。装置本体30と内視鏡10とは、操作部3から延出するユニバーサルコード4によって接続されている。
挿入部2は、観察または計測の対象である被写体に挿入される。挿入部2は、先端部2a、湾曲部2b、および可撓管部2cを有する。先端部2aは、挿入部2の先端に配置されている。湾曲部2bは、複数の異なる方向に湾曲できるように構成されている。可撓管部2cは、可撓性を有し、かつ操作部3に接続されている。
操作部3は、湾曲操作部3aおよびボタン操作部3bを有する。挿入部2および湾曲操作部3aはスコープユニット9を構成する。ボタン操作部3bに対する湾曲操作部3aの装着とボタン操作部3bからの湾曲操作部3aの取り外しとが可能である。つまり、スコープユニット9は、交換可能に構成されている。例えば、スコープユニット9は、計測用スコープユニットおよび観察用スコープユニットのいずれか1つである。レバー3cが湾曲操作部3aに配置されている。ユーザーは、レバー3cを操作することにより、湾曲部2bを湾曲させることができる。複数のスイッチ3dがボタン操作部3bに配置されている。ユーザーは、スイッチ3dを操作することにより、計測装置1による撮像動作等を制御することができる。後述するように、光源がボタン操作部3b内に配置されている。
装置本体30の筐体32の表面には、表示部31が配置されている。装置本体30の筐体32の内部には、画像処理回路および制御回路等が配置されている。
図2は、計測用スコープユニットの先端部2aの構造を示す。図2において、先端部2aの中心軸を含む断面が示されている。ライトガイド7が挿入部2および湾曲操作部3aの内部に配置されている。例えば、ライトガイド7は、複数の光ファイバーの束である。ライトガイド7は、ボタン操作部3b内の光源からの照明光を先端部2aに伝える。先端部2aの先端面には、照明窓70およびレンズ11が配置されている。照明窓70は、ライトガイド7に接続されている。照明窓70は、ライトガイド7から出射された照明光を先端部2aの外部に出射する。ライトガイド7および照明窓70は、光源からの照明光を被写体に照射する照明光学系71を構成する。被写体に照射された照明光の反射光はレンズ11に入射する。
レンズ11、レンズ12、レンズ13、レンズ14、およびレンズ15が先端部2a内に配置されている。これらのレンズの光軸は一致している。瞳フィルター16がレンズ12およびレンズ13の間に配置されている。瞳フィルター16は、2つの瞳を有する。瞳フィルター16は、被写体からの光を2つの異なる色の光に分割することにより、視点が異なる2つの像の光を形成する。レンズ11から15および瞳フィルター16は、被写体からの光を先端部2a内の撮像素子8cに結像する観察光学系17を構成する。観察光学系17は、それに含まれる複数のレンズの光軸が略一致した単眼光学系として構成されている。観察用スコープユニットにおいて、瞳フィルター16は、被写体からの光をそのまま透過させる1つの瞳を有する。
プリズム8a、保護部材8b、および撮像素子8c(イメージャー、イメージセンサ)が先端部2a内に配置されている。プリズム8aは、レンズ15を透過した光を撮像素子8cの方向に反射させる。プリズム8aに入射した光は、プリズム8aの反射面で反射し、かつ撮像素子8cの撮像面に入射する。保護部材8bは、プリズム8aの反射面と接合されている。プリズム8aは、保護部材8bによって先端部2aに固定されている。
図3(a)および図3(b)は、瞳フィルター16の構成を示す。図3(a)および図3(b)において、レンズ11から15の光軸と平行な方向に瞳フィルター16を見たときの瞳フィルター16の構成が模式的に示されている。図3(a)に示すように、薄膜16aが透明な平板16fの表面に形成され、かつ第1の開口部16bおよび第2の開口部16cが薄膜16aに形成される。例えば、平板16fは円形である。薄膜16aは、黒クロム等の黒色の金属である。薄膜16aは、蒸着等により形成される。第1の開口部16bおよび第2の開口部16cの半径は同一である。第1の開口部16bおよび第2の開口部16cの半径が互いに異なってもよい。図3(a)の下側には、薄膜16aが表面に形成された平板16fについて、平板16f、開口部16b、および開口部16cの中心を通る断面A−Aが示されている。
半円状の第1のカラーフィルター16dと半円状の第2のカラーフィルター16eとが薄膜16aの表面に貼り付けられる。第1のカラーフィルター16dは第1の開口部16bを覆い、かつ第2のカラーフィルター16eは第2の開口部16cを覆う。被写体に照射された照明光の反射光が第1のカラーフィルター16dおよび第2のカラーフィルター16eに入射する。第1のカラーフィルター16dは赤色光および緑色光を透過させる。第2のカラーフィルター16eは青色光および緑色光を透過させる。図3(b)に示すように、第1の開口部16bに配置された第1のカラーフィルター16dは第1の瞳161を構成し、かつ第2の開口部16cに配置された第2のカラーフィルター16eは第2の瞳162を構成する。瞳フィルター16は、観察光学系17の明るさ絞りとして機能する。図3(b)の下側には、薄膜16aが表面に形成された平板16f、第1のカラーフィルター16d、および第2のカラーフィルター16eについて、平板16f、開口部16b、および開口部16cの中心を通る断面B−Bが示されている。
第1のカラーフィルター16dおよび第2のカラーフィルター16eは、屈折率の異なる多層の薄膜を蒸着した干渉フィルターである。また、第1のカラーフィルター16dおよび第2のカラーフィルター16eは、所望の波長帯域の光を透過させるバンドパスフィルターである。望ましくは、瞳フィルター16は、被写体側に薄膜16aが位置し、撮像素子8c側に第1のカラーフィルター16dおよび第2のカラーフィルター16eが位置するように観察光学系17内に配置される。
図4は、撮像素子8cの画素配列を示す。撮像素子8cは、2次元の行列状に配置された複数の画素18を有する。瞳フィルター16の第1の瞳161を透過した光と、瞳フィルター16の第2の瞳162を透過した光とが複数の画素18に入射する。複数の画素18は、R画素18R、G画素18G、およびB画素18Bを含む。各画素18は、カラーフィルターおよび光電変換素子を含む。各画素18のカラーフィルターは、顔料を含む吸収型のカラーフィルターである。
赤フィルターがR画素18Rの表面に配置されている。R画素18Rは、赤色光に基づく画素信号すなわちR信号を生成する。緑フィルターがG画素18Gの表面に配置されている。G画素18Gは、緑色光に基づく画素信号すなわちG信号を生成する。青フィルターがB画素18Bの表面に配置されている。B画素18Bは、青色光に基づく画素信号すなわちB信号を生成する。図4に示す複数の画素18の配列は、ベイヤー配列である。ベイヤー配列において、基本配列が行方向かつ列方向に規則的かつ周期的に配置される。基本配列は、1個のR画素18R、2個のG画素18G、および1個のB画素18Bを含む。
図5は、操作部3の内部の構成を示す。図5において、操作部3を構成する湾曲操作部3aおよびボタン操作部3bが互いに接続されている。中継部33、スコープ識別部34、信号線35、およびライトガイド7が湾曲操作部3a内に配置されている。中継部33は、信号線35に挿入されている。中継部33は、撮像素子8cと装置本体30との間で伝送する信号を増幅し中継する。スコープユニット9を識別するためのスコープ識別部34が中継部33に配置されている。例えば、スコープ識別部34は、抵抗値がスコープユニット9の種類毎に異なる抵抗で構成されている。
信号線35は、ボタン操作部3b内に配置された信号線45と、コネクター36を介して接続されている。信号線35および信号線45は、撮像素子8cと装置本体30とを接続する。信号線35および信号線45は、複数の信号線の束である。信号線35および信号線45は、撮像素子8cを制御するための制御信号を撮像素子8cに伝える信号線を含む。信号線35および信号線45は、撮像素子8cから出力された画素信号を装置本体30に伝える信号線を含む。信号線35および信号線45は、スコープ識別部34から出力された信号を装置本体30に伝える信号線を含む。信号線35および信号線45は、これら以外の機能を持つ信号線を含んでもよい。
コネクター36は、湾曲操作部3a内に配置された第1のコネクター36aと、ボタン操作部3b内に配置された第2のコネクター36bとを有する。第1のコネクター36aおよび第2のコネクター36bは、互いに接続されている。信号線35は、第1のコネクター36aに接続されている。信号線45は、第2のコネクター36bに接続されている。
光源を構成する光源ユニット37がボタン操作部3b内に配置されている。光源ユニット37は、光源駆動部38、赤発光素子39、緑発光素子40、青発光素子41、および光混合部42を有する。
光源駆動部38は、赤発光素子39、緑発光素子40、および青発光素子41の状態を制御する。光源駆動部38は、信号線46によって装置本体30に接続されている。光源駆動部38は、信号線46によって装置本体30から供給される制御信号に基づいて各発光素子を制御する。光源駆動部38は、電力を各発光素子に供給し、かつ各発光素子を点灯させる。
赤発光素子39、緑発光素子40、および青発光素子41は、発光ダイオード(LED)およびレーザーダイオード(LD)等の発光素子である。赤発光素子39は、赤色光を発生する。緑発光素子40は、緑色光を発生する。青発光素子41は、青色光を発生する。各発光素子からの光は光混合部42に入射する。
光混合部42は、レンズ43a、レンズ43b、レンズ43c、レンズ43d、ダイクロイックミラー44a、およびダイクロイックミラー44bを有する。レンズ43aは、赤発光素子39からの光を平行化する。レンズ43aを透過した光はダイクロイックミラー44bに入射する。レンズ43bは、緑発光素子40からの光を平行化する。レンズ43bを透過した光はダイクロイックミラー44aに入射する。レンズ43cは、青発光素子41からの光を平行化する。レンズ43cを透過した光はダイクロイックミラー44aに入射する。
ダイクロイックミラー44aは、レンズ43bを透過した光およびレンズ43cを透過した光の光路に配置されている。ダイクロイックミラー44aは、レンズ43cを透過した光を反射させ、かつレンズ43bを透過した光を透過させる。これにより、ダイクロイックミラー44aは、緑発光素子40からの光と、青発光素子41からの光とを混合する。ダイクロイックミラー44aで反射した光およびダイクロイックミラー44aを透過した光は、ダイクロイックミラー44bに入射する。
ダイクロイックミラー44bは、レンズ43aを透過した光、ダイクロイックミラー44aで反射した光、およびダイクロイックミラー44aを透過した光の光路に配置されている。ダイクロイックミラー44bは、レンズ43aを透過した光を反射させ、かつダイクロイックミラー44aからの光を透過させる。これにより、ダイクロイックミラー44bは、赤発光素子39からの光と、緑発光素子40からの光と、青発光素子41からの光とを混合する。ダイクロイックミラー44bで反射した光およびダイクロイックミラー44bを透過した光を含む照明光は、レンズ43dに入射する。レンズ43dは、照明光をライトガイド7に出射する。ライトガイド7は、光混合部42からの照明光を先端部2aに伝える。
図6は、計測装置1の機能構成を示す。図6に示すように、計測装置1は、観察光学系17、照明光学系71、スコープ識別部34、撮像素子8c、光源ユニット37、制御部50、および表示部31を有する。
観察光学系17は、図3(b)に示す第1の瞳161および第2の瞳162を有する。第1の瞳161は、赤波長帯域(第1の波長帯域)の赤色光(第1の光)を透過可能とする。第2の瞳162は、赤波長帯域とは異なる青波長帯域(第2の波長帯域)の青色光(第2の光)を透過可能とする。第1の瞳161は赤色光を透過させ、かつ第2の瞳162は青色光を透過させる。また、第1の瞳161および第2の瞳162は、赤波長帯域および青波長帯域の各々とは異なる緑波長帯域の緑色光を透過させる。第1の瞳161および第2の瞳162が透過させる緑色光の波長帯域は、互いに異なる。第1の瞳161は青色光をカットする。つまり、第1の瞳161は青色光を透過させない。第2の瞳162は赤色光をカットする。つまり、第2の瞳162は赤色光を透過させない。
観察光学系17は、単眼光学系として構成され、かつ図3(b)に示す瞳フィルター16を有する。図3(a)および図3(b)に示すように、瞳フィルター16は、平板16f、薄膜16a、第1の瞳161、および第2の瞳162を有する。薄膜16aは、透明な平板16fの表面に配置されている。第1の開口部16bおよび第2の開口部16cが薄膜16aに形成されている。第1の瞳161は、図3(a)に示す第1のカラーフィルター16d(第3の光学フィルター)で構成されている。第1のカラーフィルター16dは、第1の開口部16bに配置され、かつ赤色光を透過させる。第2の瞳162は、図3(a)に示す第2のカラーフィルター16e(第4の光学フィルター)で構成されている。第2のカラーフィルター16eは、第2の開口部16cに配置され、かつ青色光を透過させる。また、第1のカラーフィルター16dおよび第2のカラーフィルター16eは、赤波長帯域および青波長帯域の各々とは異なる緑波長帯域の緑色光を透過させる。第1のカラーフィルター16dおよび第2のカラーフィルター16eが透過させる緑色光の波長帯域は、互いに異なる。第1のカラーフィルター16dは青色光をカットする。第2のカラーフィルター16eは赤色光をカットする。
スコープ識別部34は、スコープユニット9を識別するための信号を出力する。
撮像素子8cは、観察光学系17を透過した光が入射する位置に配置されている。図4に示すように、撮像素子8cは、第1の瞳161を透過した赤色光と第2の瞳162を透過した青色光とが入射する複数の画素18を有する。第1の瞳161および第2の瞳162を透過した緑色光が複数の画素18に入射する。複数の画素18は、R画素18R(第1の画素)およびB画素18B(第2の画素)を含む。赤波長帯域(第3の波長帯域)の赤色光(第3の光)を透過可能とする赤フィルター(第1の光学フィルター)がR画素18Rに配置されている。赤フィルターは、赤色光を透過させる。R画素18Rは、赤フィルターを透過した赤色光に基づくR信号(第1の画素信号)を生成する。
赤波長帯域と異なる青波長帯域(第4の波長帯域)の青色光(第4の光)を透過可能とする青フィルター(第2の光学フィルター)がB画素18Bに配置されている。青フィルターは、青色光を透過させる。B画素18Bは、青フィルターを透過した青色光に基づくB信号(第2の画素信号)を生成する。
複数の画素18は、G画素18Gを含む。赤波長帯域および青波長帯域の各々とは異なる緑波長帯域の緑色光を透過可能とする緑フィルターがG画素18Gに配置されている。緑フィルターは、緑色光を透過させる。G画素18Gは、緑フィルターを透過した緑色光に基づくG信号(第3の画素信号)を生成する。撮像素子8cは、R信号、G信号、およびB信号で構成されたベイヤー画像を出力する。
光源ユニット37(光源)は、赤波長帯域(第5の波長帯域)の赤色光(第5の光)と、赤波長帯域(第5の波長帯域)とは重ならない青波長帯域(第6の波長帯域)の青色光(第6の光)とのみを含む照明光を出す。また、光源ユニット37は、赤色光および青色光に加えて、赤波長帯域および青波長帯域の各々とは異なる緑波長帯域の緑色光を含む照明光を出す。ここで、2つの波長帯域が重ならないとは、短波長側にある波長帯域の最長波長が、他方の波長帯域の最短波長よりも短いことをいう。
図5に示すように、光源ユニット37は、赤色光を発生する赤発光素子39(第1の発光素子)と、青色光を発生する青発光素子41(第2の発光素子)とを有する。また、光源ユニット37は、緑色光を発生する緑発光素子40を有する。
照明光学系71は、光源ユニット37からの照明光を被写体に照射する。光源ユニット37は、図5に示す光混合部42(光混合光学系)を有する。光混合部42は、赤発光素子39からの赤色光と、青発光素子41からの青色光とを混合する。光混合部42は、混合された赤色光および青色光を含む照明光を出す。また、光混合部42は、緑発光素子40からの緑色光と、赤色光と、青色光とを混合する。光混合部42は、混合された緑色光、赤色光、および青色光を含む照明光を出す。
図1に示すように、計測装置1は、被写体に挿入される挿入部2を有する。照明光学系71は、光混合部42からの照明光を挿入部2の先端すなわち先端部2aに伝えるライトガイド7を有する。ライトガイド7は、光伝送部(光伝送光学系)として機能する。
制御部50は、計測装置1内の各部を制御する。制御部50は、光源制御部500、撮像処理部501、画像取得部502、クロストーク低減処理部503、および計測部504を有する。
光源制御部500は、光源ユニット37の状態を制御する。具体的には、光源制御部500は、光源ユニット37が照明光を出力しているときの光源ユニット37のモード(状態)を2色点灯モードと白色点灯モードとのいずれか一方に設定する。2色点灯モードが光源ユニット37に設定されたとき、光源ユニットは赤色光および青色光を含む照明光を出す。このとき、光源制御部500は、赤発光素子39および青発光素子41を点灯させ、かつ緑発光素子40を消灯させる。白色点灯モードが光源ユニット37に設定されたとき、光源ユニット37は、赤色光、緑色光、および青色光を含む照明光すなわち白色光を出す。このとき、光源制御部500は、赤発光素子39、緑発光素子40、および青発光素子41を点灯させる。
撮像処理部501は、撮像素子8cによって生成されたベイヤー画像を撮像素子8cから取得する。撮像素子8cによって生成されたベイヤー画像は、R信号(第1の画素信号)、B信号(第2の画素信号)、およびG信号(第3の画素信号)を含む。
画像取得部502は、R信号およびB信号に基づくベイヤー画像(撮像画像)から、R信号に基づくR画像(第1の画像)と、B信号に基づくB画像(第2の画像)とを取得する。より詳細には、画像取得部502は、R信号、G信号、およびB信号に基づくベイヤー画像からR画像およびB画像を取得する。
クロストーク低減処理部503は、R画像に対して、R画素18RにおけるRフィルターの透過率特性と、B画素18BにおけるBフィルターの透過率特性との重複する成分に基づく値を補正する。また、クロストーク低減処理部503は、B画像に対して、R画素18RにおけるRフィルターの透過率特性と、B画素18BにおけるBフィルターの透過率特性との重複する成分に基づく値を補正する。これにより、クロストーク低減処理部503は、クロストークによる成分が低減されたR画像およびB画像を生成する。クロストークは、第1の瞳161を通りかつB画素18Bに到達する光、または第2の瞳162を通りかつR画素18Rに到達する光に基づく。
計測部504は、R画像およびB画像の位相差(視差)を計測する。計測部504は、位相差に基づいて被写体距離または被写体の3次元形状を算出する。例えば、画像の任意の1点がユーザーにより指定された場合、計測部504は先端部2aから被写体までの3次元距離である被写体距離を算出する。画像の任意の2点がユーザーにより指定された場合、計測部504は、2点間の3次元距離を算出することができる。計測部504は、3点以上で囲まれた領域の面積等を算出してもよい。計測部504は、画像上でユーザーにより指定された矩形領域内の各画素の位相差の分布から3次元点群データを生成してもよい。
表示部31は、LCD(Liquid Crystal Display)等のモニター(ディスプレイ)である。表示部31は、タッチパネルであってもよい。その場合、操作部3および表示部31は一体化される。ボタン操作部3bに対する操作により実行可能な機能の一部または全てを表示部31から実行することができる。
光源制御部500、撮像処理部501、画像取得部502、クロストーク低減処理部503、および計測部504は、プロセッサおよび論理回路の少なくとも1つで構成されてもよい。例えば、プロセッサは、CPU、DSP(Digital Signal Processor)、およびGPU(Graphics Processing Unit)の少なくとも1つである。例えば、論理回路は、ASIC(Application Specific Integrated Circuit)およびFPGA(Field−Programmable Gate Array)の少なくとも1つである。光源制御部500、撮像処理部501、画像取得部502、クロストーク低減処理部503、および計測部504は、1つまたは複数のプロセッサを含むことができる。光源制御部500、撮像処理部501、画像取得部502、クロストーク低減処理部503、および計測部504は、1つまたは複数の論理回路を含むことができる。
計測装置1のコンピュータが、光源制御部500、撮像処理部501、画像取得部502、クロストーク低減処理部503、および計測部504の動作を規定する命令を含むプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。つまり、光源制御部500、撮像処理部501、画像取得部502、クロストーク低減処理部503、および計測部504の機能はソフトウェアにより実現されてもよい。このプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。また、上述したプログラムは、このプログラムが保存された記憶装置等を有するコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により計測装置1に伝送されてもよい。プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように、情報を伝送する機能を有する媒体である。また、上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、前述した機能をコンピュータに既に記録されているプログラムとの組合せで実現できる差分ファイル(差分プログラム)であってもよい。
図7は、光源モード設定の手順を示す。図7を使用して、光源モード設定における計測装置1の動作を説明する。光源モード設定の処理は、例えば湾曲操作部3aがボタン操作部3bに接続されたことが検出された直後に実行される。
光源モード設定が開始された後、光源制御部500は、スコープ識別部34からの信号に基づいて、計測装置1に装着されたスコープユニット9を識別する(ステップS100)。
ステップS100の後、光源制御部500は、スコープユニット9の識別結果に基づいて、どのスコープユニット9が計測装置1に装着されたのかを判断する(ステップS105)。
ステップS105において、観察用スコープユニットが計測装置1に装着されたと光源制御部500が判断した場合、光源制御部500は、光源ユニット37の光源モードを白色点灯モードに設定する。その場合、光源制御部500は、光源駆動部38を介して、赤発光素子39、緑発光素子40、および青発光素子41を点灯させる(ステップS110)。ステップS110における処理が実行されることにより、光源モード設定が終了する。
ステップS105において、計測用スコープユニットが計測装置1に装着されたと光源制御部500が判断した場合、光源制御部500は、光源ユニット37の光源モードを2色点灯モードに設定する。その場合、光源制御部500は、光源駆動部38を介して、赤発光素子39および青発光素子41を点灯させ、かつ緑発光素子40を消灯させる(ステップS115)。ステップS115における処理が実行されることにより、光源モード設定が終了する。
例えば、白色点灯モードが光源ユニット37に設定された場合、ライブ画像が表示部31に表示され、計測は実行されない。2色点灯モードが光源ユニット37に設定された場合、以下のように計測が実行される。
図8は、計測の手順を示す。図8を使用して、計測における計測装置1の動作を説明する。計測用スコープユニットが計測装置1に装着された場合、図8に示す処理が実行される。このとき、光源ユニット37の光源モードは2色点灯モードである。
計測が開始された後、撮像素子8cは撮像を行う。これにより、撮像素子8cは、R信号、G信号、およびB信号で構成されたベイヤー画像を生成する。撮像処理部501は、ベイヤー画像を撮像素子8cから取得する(ステップS200)。
ステップS200の後、画像取得部502は色分離処理(デモザイク処理)を実行することにより、ベイヤー画像からR画像、G画像、およびB画像を取得する(ステップS205)。
ステップS205の後、クロストーク低減処理部503は、クロストーク低減処理を実行する。これにより、クロストーク低減処理部503は、クロストークによる成分が低減されたR画像およびB画像を生成する(ステップS210)。
ステップS210の後、計測部504は、計測処理を実行する。これにより、計測部504は、クロストーク低減処理が実行されたR画像およびB画像の位相差を計測する。例えば、計測部504は、設定された計測点におけるR画像およびB画像の位相差を演算する。また、計測部504は、位相差に基づいて被写体距離または被写体の3次元形状を算出する(ステップS215)。
ステップS215において、制御部50は、クロストーク低減処理が実行されたR画像およびB画像の少なくとも1つを表示部31に出力してもよい。表示部31は、R画像およびB画像の少なくとも1つを表示してもよい。例えば、表示部31は、R画像を表示する。
ステップS215の後、制御部50は計測結果を表示部31に出力する。表示部31は、計測結果を表示する(ステップS220)。ステップS220における処理は必須ではない。
ステップS220の後、制御部50は、計測を終了するか否かを判断する。例えば、制御部50は、スコープユニット9の状態に基づいて判断を行う。計測用スコープユニットが計測装置1に装着されている場合、制御部50は、計測を終了しないと判断する。計測用スコープユニットが計測装置1から取り外された場合、制御部50は、計測を終了すると判断する(ステップS225)。
ステップS225において、計測を終了しないと制御部50が判断した場合、ステップS200における処理が実行される。ステップS225において、計測を終了すると制御部50が判断した場合、計測が終了する。
クロストーク低減処理が実行されることにより、計測誤差が減り、計測精度が向上する。また、クロストーク低減処理が実行されることにより、計測時に表示されるR画像またはB画像の画質が向上する。しかしながら、クロストーク低減処理は必須ではない。したがって、ステップS205において生成されたR画像およびB画像がステップS215において使用されてもよい。クロストーク低減処理部503は必須ではない。
クロストーク低減処理部503によって処理されたR画像およびB画像に対して、γ補正、スケーリング処理、エッジの強調、およびローパスフィルタ処理等の高画質化処理が行われてもよい。スケーリング処理では、バイキュービックおよびNearest Neighbor等が利用される。ローパスフィルタ処理では、折返し歪み(aliasing)が補正される。
画像取得部502が実行する色分離処理の詳細を説明する。図9は、撮像素子8cから出力されたベイヤー画像の画素配列を示す。奇数行においてR(赤)およびGr(緑)の画素が交互に配置され、かつ偶数行においてGb(緑)およびB(青)の画素が交互に配置される。奇数列においてR(赤)およびGb(緑)の画素が交互に配置され、かつ偶数列においてGr(緑)およびB(青)の画素が交互に配置される。Rの画素値は、R信号を構成する。GrおよびGbの画素値は、G信号を構成する。Bの画素値は、B信号を構成する。
画像取得部502は、ベイヤー画像の画素値に対して、黒のレベル補正(OB(Optical Black)減算)を行う。さらに、画像取得部502は、各画素の画素値をコピーすることにより、隣接画素の画素値を生成する。これにより、全ての画素において各色の画素値が揃ったRGB画像が生成される。例えば、画像取得部502は、Rの画素値(R_00)にOB減算を行った後、画素値(R_00−OB)をコピーする。これにより、Rの画素に隣接するGr、Gb、およびBの画素におけるRの画素値が補間される。図10は、R画像の画素配列を示す。
同様に、画像取得部502は、Grの画素値(Gr_01)にOB減算を行った後、画素値(Gr_01−OB)をコピーする。また、画像取得部502は、Gbの画素値(Gb_10)にOB減算を行った後、画素値(Gb_10−OB)をコピーする。これにより、Grの画素に隣接するRの画素およびGbの画素に隣接するBの画素におけるGの画素値が補間される。図11は、G画像の画素配列を示す。
同様に、画像取得部502は、Bの画素値(B_11)にOB減算を行った後、画素値(B_11−OB)をコピーする。これにより、Bの画素に隣接するR、Gr、およびGbの画素におけるBの画素値が補間される。図12は、B画像の画素配列を示す。
画像取得部502は、上記の処理により、R画像、G画像、およびB画像を生成する。デモザイク処理の具体的な方法は、上記の方法に限らない。生成された各画像に対してフィルター処理が施されてもよい。
瞳フィルター16および画素18の各々に配置されたフィルターの透過率特性を説明する。図13から図17は、各フィルターの透過率特性を示す。図13から図17に示すグラフの横軸は波長である。図13から図178に示すグラフの縦軸は各フィルターの相対透過率である。透過率のグラフは、各波長における透過率を各フィルターの透過率が最大である波長における透過率で正規化した値を示す。また、図13、図16、および図17は、光源の分光特性も示す。図13、図16、および図17に示すグラフの縦軸は、光源が発する光の相対強度も示す。光の強度のグラフは、各波長における強度を各発光素子の強度が最大である波長における強度で正規化した値を示す。
図13において、第1の瞳161を構成する第1のカラーフィルター16dの透過率特性FARと、第2の瞳162を構成する第2のカラーフィルター16eの透過率特性FABとが示されている。
透過率特性FARおよび透過率特性FABは、互いに異なる。つまり、第1のカラーフィルター16dの透過波長帯域(第1の波長帯域)および第2のカラーフィルター16eの透過波長帯域(第2の波長帯域)は、互いに異なる。具体的には、第1のカラーフィルター16dの透過波長帯域(第1の波長帯域)は波長λよりも長い波長側の帯域である。第2のカラーフィルター16eの透過波長帯域(第2の波長帯域)は波長λよりも短い波長側の帯域である。第1のカラーフィルター16dの透過波長帯域(第1の波長帯域)および第2のカラーフィルター16eの透過波長帯域(第2の波長帯域)は、互いに重ならない。
第1のカラーフィルター16dは、第1の遮断波長および第2の遮断波長の間の波長の光を透過させるバンドパスフィルターである。第1のカラーフィルター16dの下側の遮断波長である第1の遮断波長は波長λよりも長い。第1のカラーフィルター16dの上側の遮断波長である第2の遮断波長は第1の遮断波長よりも長い。第2のカラーフィルター16eは、第3の遮断波長および第4の遮断波長の間の波長の光を透過させるバンドパスフィルターである。第2のカラーフィルター16eの上側の遮断波長である第4の遮断波長は波長λよりも短い。第2のカラーフィルター16eの下側の遮断波長である第3の遮断波長は第4の遮断波長よりも短い。
第1のカラーフィルター16dは、波長λよりも長い遮断波長をもち、それよりも長い波長の光を透過させるロングパスフィルターであってもよい。第2のカラーフィルター16eは、波長λよりも短い遮断波長をもち、それよりも短い波長の光を透過させるショートパスフィルターであってもよい。第1のカラーフィルター16dがそのロングパスフィルターであり、かつ第2のカラーフィルター16eがそのショートパスフィルターであってもよい。
図13において、R画素18Rに配置された赤フィルターの透過率特性FPRと、G画素18Gに配置された緑フィルターの透過率特性FPGと、B画素18Bに配置された青フィルターの透過率特性FPBとが示されている。各フィルターの透過率特性は、互いに重なる。
透過率特性FPRおよび透過率特性FPGが示すように、赤フィルターの透過波長帯域(第3の波長帯域)の主波長は緑フィルターの透過波長帯域の主波長よりも長い。透過率特性FPGおよび透過率特性FPBが示すように、緑フィルターの透過波長帯域の主波長は青フィルターの透過波長帯域(第4の波長帯域)の主波長よりも長い。したがって、赤フィルターの透過波長帯域の主波長は青フィルターの透過波長帯域の主波長よりも長い。各透過波長帯域の主波長は、各透過波長帯域において透過率が最大の波長である。
透過率特性FARが示す第1のカラーフィルター16dの透過波長帯域(第1の波長帯域)の少なくとも一部および透過率特性FPRが示す赤フィルターの透過波長帯域(第3の波長帯域)の少なくとも一部は互いに重なる。図13に示す例では、透過率特性FPRの主波長は、透過率特性FARの透過波長帯域に含まれる。透過率特性FABが示す第2のカラーフィルター16eの透過波長帯域(第2の波長帯域)の少なくとも一部および透過率特性FPBが示す青フィルターの透過波長帯域(第4の波長帯域)の少なくとも一部は互いに重なる。図13に示す例では、透過率特性FPBの主波長は、透過率特性FABの透過波長帯域に含まれる。
透過率特性FARが示す第1のカラーフィルター16dの透過波長帯域(第1の波長帯域)の少なくとも一部および透過率特性FPGが示す緑フィルターの透過波長帯域の少なくとも一部は互いに重なる。透過率特性FABが示す第2のカラーフィルター16eの透過波長帯域(第2の波長帯域)の少なくとも一部および透過率特性FPGが示す緑フィルターの透過波長帯域の少なくとも一部は互いに重なる。
図13において、赤発光素子39の分光特性LRおよび青発光素子41の分光特性LBが示されている。分光特性LRが示す赤発光素子39の光の波長帯域(第5の波長帯域)および分光特性LBが示す青発光素子41の光の波長帯域(第6の波長帯域)は、互いに重ならない。
透過率特性FARが示す第1のカラーフィルター16dの透過波長帯域(第1の波長帯域)の少なくとも一部および分光特性LRが示す赤発光素子39の光の波長帯域(第5の波長帯域)の少なくとも一部は互いに重なる。図13に示す例では、赤発光素子39の光の波長帯域(第5の波長帯域)は、第1のカラーフィルター16dの透過波長帯域(第1の波長帯域)に含まれる。図13に示す例では、第5の波長帯域の主波長は、第1の波長帯域に含まれる。透過率特性FARが示す第1のカラーフィルター16dの透過波長帯域(第1の波長帯域)および分光特性LBが示す青発光素子41の光の波長帯域(第6の波長帯域)は互いに重ならない。
透過率特性FABが示す第2のカラーフィルター16eの透過波長帯域(第2の波長帯域)の少なくとも一部および分光特性LBが示す青発光素子41の光の波長帯域(第6の波長帯域)の少なくとも一部は互いに重なる。図13に示す例では、青発光素子41の光の波長帯域(第6の波長帯域)は、第2のカラーフィルター16eの透過波長帯域(第2の波長帯域)に含まれる。図13に示す例では、第6の波長帯域の主波長は、第2の波長帯域に含まれる。透過率特性FABが示す第2のカラーフィルター16eの透過波長帯域(第2の波長帯域)および分光特性LRが示す赤発光素子39の光の波長帯域(第5の波長帯域)は互いに重ならない。
透過率特性FPRが示す赤フィルターの透過波長帯域(第3の波長帯域)および分光特性LRが示す赤発光素子39の光の波長帯域(第5の波長帯域)の少なくとも一部は互いに重なる。透過率特性FPGが示す緑フィルターの透過波長帯域および分光特性LRが示す赤発光素子39の光の波長帯域(第5の波長帯域)の少なくとも一部は互いに重なる。透過率特性FPBが示す青フィルターの透過波長帯域(第4の波長帯域)および分光特性LRが示す赤発光素子39の光の波長帯域(第5の波長帯域)の少なくとも一部は互いに重なる。図13に示す例では、赤発光素子39の光の波長帯域(第5の波長帯域)は、赤フィルター、緑フィルター、および青フィルターの各々の透過波長帯域に含まれる。
透過率特性FPRが示す赤フィルターの透過波長帯域(第3の波長帯域)および分光特性LBが示す青発光素子41の光の波長帯域(第6の波長帯域)の少なくとも一部は互いに重なる。透過率特性FPGが示す緑フィルターの透過波長帯域および分光特性LBが示す青発光素子41の光の波長帯域(第6の波長帯域)の少なくとも一部は互いに重なる。透過率特性FPBが示す青フィルターの透過波長帯域(第4の波長帯域)および分光特性LBが示す青発光素子41の光の波長帯域(第6の波長帯域)の少なくとも一部は互いに重なる。図13に示す例では、青発光素子41の光の波長帯域(第6の波長帯域)は、赤フィルター、緑フィルター、および青フィルターの各々の透過波長帯域に含まれる。
分光特性LRが示す赤発光素子39の光の波長帯域(第5の波長帯域)における各波長は、透過率特性FPGが示す緑フィルターの透過波長帯域の主波長よりも長い。分光特性LBが示す青発光素子41の光の波長帯域(第6の波長帯域)における各波長は、透過率特性FPGが示す緑フィルターの透過波長帯域の主波長よりも短い。
図14において、第1のカラーフィルター16dの透過率特性FAR、第2のカラーフィルター16eの透過率特性FAB、および青フィルターの透過率特性FPBが示されている。図14において、透過率分布F1および透過率分布F2が示されている。透過率分布F1は、透過率特性FABにおける透過率と、透過率特性FPBにおける透過率とを乗算した値で構成される。透過率分布F2は、透過率特性FARにおける透過率と、透過率特性FPBにおける透過率とを乗算した値で構成される。
図15において、第1のカラーフィルター16dの透過率特性FAR、第2のカラーフィルター16eの透過率特性FAB、および赤フィルターの透過率特性FPRが示されている。図15において、透過率分布F3および透過率分布F4が示されている。透過率分布F3は、透過率特性FABにおける透過率と、透過率特性FPRにおける透過率とを乗算した値で構成される。透過率分布F4は、透過率特性FARにおける透過率と、透過率特性FPRにおける透過率とを乗算した値で構成される。
透過率特性FPBが示す青フィルターの透過波長帯域は、λSBからλLBである。透過率特性FPRが示す赤フィルターの透過波長帯域は、λSRからλLRである。
波長がλよりも短い波長帯域の各波長において、透過率分布F1は透過率分布F3よりも大きい。つまり、波長がλよりも短い波長帯域の各波長において、第2のカラーフィルター16eおよび青フィルターで構成されたフィルターの透過率は、第2のカラーフィルター16eおよび赤フィルターで構成されたフィルターの透過率よりも大きい。
波長がλよりも長い波長帯域の各波長において、透過率分布F4は透過率分布F2よりも大きい。つまり、λよりも長い波長帯域の各波長において、第1のカラーフィルター16dおよび赤フィルターで構成されたフィルターの透過率は、第1のカラーフィルター16dおよび青フィルターで構成されたフィルターの透過率よりも大きい。
図16において、第1のカラーフィルター16dの透過率特性FAR、第2のカラーフィルター16eの透過率特性FAB、および青フィルターの透過率特性FPBが示されている。また、図16において、白色光の分光特性LWが示されている。また、図16において、照明光成分L1および照明光成分L2が示されている。照明光成分L1は、照明光が白色光である場合に第2のカラーフィルター16eおよび青フィルターを透過する照明光を示す。照明光成分L2は、照明光が白色光である場合に第1のカラーフィルター16dおよび青フィルターを透過する照明光を示す。
図17において、第1のカラーフィルター16dの透過率特性FAR、第2のカラーフィルター16eの透過率特性FAB、および青フィルターの透過率特性FPBが示されている。また、図17において、赤発光素子39の分光特性LRおよび青発光素子41の分光特性LBが示されている。また、図17において、照明光成分L3および照明光成分L4が示されている。照明光成分L3は、第2のカラーフィルター16eおよび青フィルターを透過する青発光素子41の光を示す。照明光成分L4は、第1のカラーフィルター16dおよび青フィルターを透過する赤発光素子39の光を示す。
B画素18Bにおいて、照明光成分L1および照明光成分L2が検出される。あるいは、B画素18Bにおいて、照明光成分L3および照明光成分L4が検出される。照明光成分L2および照明光成分L4は、第1の瞳161を通りかつB画素18Bに到達する光に基づくクロストーク成分である。このクロストーク成分は、B信号のクロストークとしてB画像に現れる。第1のカラーフィルター16dの透過率特性FARと青フィルターの透過率特性FPBとが重複するため、照明光成分L2および照明光成分L4はB画素18Bにおいて検出される。照明光成分L2および照明光成分L4は、B画像の波形を歪ませ、かつ2重像を発生させる。そのため、照明光成分L2および照明光成分L4は、B画像には好ましくない。
照明光成分L1の面積SL1に対する照明光成分L2の面積SL2の割合SL2/SL1は、クロストークの強さに対応する。同様に、照明光成分L3の面積SL3に対する照明光成分L4の面積SL4の割合SL4/SL3は、クロストークの強さに対応する。割合SL4/SL3は、割合SL2/SL1よりも小さい。つまり、第1の実施形態の2色点灯モードではクロストークが低減される。
R画像においてもB画像と同様に、第2の瞳162を通りかつR画素18Rに到達する光に基づくクロストークによる成分が含まれる。第1の実施形態の2色点灯モードではそのクロストークが低減される。
波長がλよりも短い波長帯域において、緑フィルターの透過率特性FPGと、赤フィルターの透過率特性FPRとは、一般的に相似である。また、波長がλよりも長い波長帯域において、緑フィルターの透過率特性FPGと、青フィルターの透過率特性FPBとは、一般的に相似である。クロストーク低減処理部503は、この性質を利用してクロストーク低減処理を実行する。クロストーク低減処理部503は、クロストーク低減処理において、式(1)および式(2)によりR信号およびB信号を補正する。
R’=R−α×G ・・・(1)
B’=B−β×G ・・・(2)
式(1)において、Rは補正される前のR信号であり、かつR’は補正された後のR信号である。式(2)において、Bは補正される前のB信号であり、かつB’は補正された後のB信号である。この例において、αおよびβは、0よりも大きく、かつ1よりも小さい。αおよびβは、撮像素子8cの各フィルターの透過率特性および光源の分光特性に応じて設定される。例えば、αおよびβは、図示していないメモリに格納されている。
上記のように、2色点灯モードにおいて光源ユニット37は、赤色光および青色光のみを含む照明光を出す。そのため、照明光が白色光である場合と比較して、クロストークが低減する。クロストーク低減処理部503がクロストーク低減処理を実行することにより、クロストークがさらに低減する。その結果、計測装置1は、計測誤差を減らすことができる。
クロストークが発生すると、画像におけるエッジが2重になりやすい。例えば、計測部504がR画像およびB画像を利用してステレオ計測を行う場合、計測部504はステレオマッチング処理を実行する。ステレオマッチング処理において、2つの画像の一方に対して指定された計測点に対応する位置が2つの画像の他方において算出される。クロストークが発生すると、ステレオマッチング処理における誤対応が発生することがある。つまり、計測点に対応する位置として誤った位置が算出される。その結果、計測誤差が増加することがある。また、クロストークが発生すると、計測点として指定された位置が不正確になりやすい。その結果、計測誤差が増加することがある。第1の実施形態では、このような計測誤差の増大の可能性が減る。
ライブ画像の観察においてクロストーク低減処理が常に実行された場合、表示される画像の画質が向上する。しかしながら、消費電力が増加する。第1の実施形態では、ライブ画像の観察においてクロストーク低減処理が実行されなくてもよい。ライブ画像の観察においてクロストーク低減処理が実行されなくても、クロストークは低減される。クロストークが低減することで画像のエッジは2重になりにくくなり、ライブ画像の観察中における画質が向上する。そのため、計測装置1は、消費電力を減らすことができる。
クロストーク低減処理部503は、計測時のみクロストーク低減処理を実行してもよい。
計測装置1は、白色光源およびフィルターを含む光源ユニットを有してもよい。光源ユニットは、光路へのフィルターの挿入と光路からのフィルターの抜去とが可能なように構成される。2色点灯モードでは、白色光に含まれる緑色光をカットするノッチフィルターが光路中に挿入され、2色の照明光が生成される。白色点灯モードでは光路からフィルターが抜去される。
光源ユニット37が緑発光素子40を有していなくてもよい。その場合、2色点灯モードのみが光源ユニット37に設定される。つまり、計測専用の計測装置1が提供される。
光源ユニット37は、第6の光として青色光を発生する発光素子と、第5の光として緑色光および赤色光を発生する発光素子とを有してもよい。その場合、第1の瞳161は、緑色光および赤色光を透過させ、かつ青色光をカットするように構成される。第2の瞳162は、青色光を透過させ、かつ緑色光および赤色光をカットするように構成される。特に、第2の瞳162を通りかつG画素18GおよびR画素18Rに到達する光に基づくクロストーク成分が低減する。緑色光および赤色光を発生する発光素子は、2つ以上の発光素子で構成されてもよい。
光源ユニット37は、第6の光として青色光および緑色光を発生する発光素子と、第5の光として赤色光を発生する発光素子とを有してもよい。その場合、第1の瞳161は、赤色光を透過させ、青色光および緑色光をカットするように構成される。第2の瞳162は、青色光および緑色光を透過させ、赤色光をカットするように構成される。特に、第1の瞳161を通りかつG画素18GおよびB画素18Bに到達する光に基づくクロストーク成分が低減する。青色光および緑色光を発生する発光素子は、2つ以上の発光素子で構成されてもよい。
(第1の実施形態の変形例)
第1の実施形態の変形例において、操作部3は、図18に示す操作部3Aおよび図19に示す操作部3Bに変更される。図18に示す構成について、図5に示す構成と異なる点を説明する。
操作部3Aを構成する湾曲操作部3a1およびボタン操作部3b1が互いに接続されている。光源ユニット37aは、湾曲操作部3a1の内部に配置されている。挿入部2および湾曲操作部3a1はスコープユニット9を構成する。スコープユニット9は、光源ユニット37aを有する。光源ユニット37aが配置されたスコープユニット9は、観察用スコープユニットを構成する。
光源ユニット37aは、光源駆動部38a、白色LED51、およびレンズ52を有する。光源駆動部38aは、白色LED51の状態を制御する。白色LED51は、白色の照明光を発生する。白色LED51からの照明光は、レンズ52に入射する。レンズ52は、照明光をライトガイド7に出射する。
信号線46は、ボタン操作部3b1内に配置された信号線53と、コネクター54を介して接続されている。信号線46および信号線53は、光源駆動部38aと装置本体30とを接続する。コネクター54は、湾曲操作部3a1内に配置された第1のコネクター54aと、ボタン操作部3b1内に配置された第2のコネクター54bとを有する。第1のコネクター54aおよび第2のコネクター54bは、互いに接続されている。信号線46は、第1のコネクター54aに接続されている。信号線53は、第2のコネクター54bに接続されている。
図7に示すステップS105において、観察用スコープユニットが計測装置1に装着されたと光源制御部500が判断した場合、光源制御部500は、光源ユニット37aの光源モードを白色点灯モードに設定する。その場合、光源制御部500は、光源駆動部38aを介して、白色LED51を点灯させる(ステップS110)。
上記以外の点について、図18に示す構成は、図5に示す構成と同様である。
図19に示す構成について、図5に示す構成と異なる点を説明する。
操作部3Bを構成する湾曲操作部3a2およびボタン操作部3b1が互いに接続されている。光源ユニット37bは、湾曲操作部3a2の内部に配置されている。挿入部2および湾曲操作部3a2はスコープユニット9を構成する。スコープユニット9は、光源ユニット37bを有する。光源ユニット37bが配置されたスコープユニット9は、計測用スコープユニットを構成する。ライトガイド7においてボタン操作部3b1側の端部は第1のライトガイド7aおよび第2のライトガイド7bに分岐している。第1のライトガイド7aおよび第2のライトガイド7bは、挿入部2側において1つの束になっている。第1のライトガイド7aを構成する複数の光ファイバーおよび第2のライトガイド7bを構成する複数の光ファイバーがライトガイド7に含まれる。
光源ユニット37bは、光源駆動部38b、赤発光素子39、青発光素子41、レンズ55、およびレンズ56を有する。光源駆動部38bは、赤発光素子39および青発光素子41の状態を制御する。赤発光素子39からの赤色光は、レンズ55に入射する。レンズ55は、赤色光を第1のライトガイド7aに出射する。青発光素子41からの青色光は、レンズ56に入射する。レンズ56は、青色光を第2のライトガイド7bに出射する。
信号線46、信号線53、およびコネクター54はそれぞれ、図18に示す 信号線46、信号線53、およびコネクター54と同じである。
図7に示すステップS105において、計測用スコープユニットが計測装置1に装着されたと光源制御部500が判断した場合、光源制御部500は、光源ユニット37bの光源モードを2色点灯モードに設定する。その場合、光源制御部500は、光源駆動部38bを介して、赤発光素子39および青発光素子41を点灯させる(ステップS115)。
上記以外の点について、図19に示す構成は、図5に示す構成と同様である。
図20は、ボタン操作部3b1側における第1のライトガイド7aおよび第2のライトガイド7bの端面を示す。第1のライトガイド7aおよび第2のライトガイド7bはそれぞれ、複数の光ファイバーを含む。
図21は、先端部2a側におけるライトガイド7の端面を示す。ライトガイド7の内部において、第1のライトガイド7aを構成する光ファイバーと、第2のライトガイド7bを構成する光ファイバーとが交互に配置されている。ライトガイド7は、第1のライトガイド7aに入射した赤色光および第2のライトガイド7bに入射した青色光を先端部2a側の端面において均一に混合し、かつ照明光を被写体に照射する。
第1のライトガイド7aおよび第2のライトガイド7bを含むライトガイド7と、照明窓70とは、光源である光源ユニット37bからの照明光を被写体に照射する照明光学系71を構成する。照明光学系71は、光源ユニット37bからの赤色光(第5の光)と、光源ユニット37からの青色光(第6の光)とを混合する光混合部を有する。
照明光学系71は、光混合部からの照明光を挿入部2の先端すなわち先端部2aに伝える光伝送部を有する。図19に示す例では、ライトガイド7が光混合部および光伝送部を構成する。光混合部および光伝送部は、互いに分離されていてもよい。
(第2の実施形態)
第1の実施形態の計測装置1を使用して、本発明の第2の実施形態を説明する。第1の実施形態において、クロストークは低減されるが、若干のクロストークが残ることがある。若干のクロストークにより、被写体の細かい構造が判別しにくくなることがある。第2の実施形態の計測装置1は、観察のための画像におけるクロストークを解消することを目的とする。
第2の実施形態において、光源制御部500は、光源ユニット37(光源)の状態を第1の状態と第2の状態とのいずれか一方に設定する。第1の状態が光源ユニット37に設定されたとき、光源ユニット37は赤色光(第5の光)および青色光(第6の光)のみを含む第1の照明光を出す。第2の状態が光源ユニット37に設定されたとき、光源ユニット37は赤色光および青色光のいずれか一方のみを含む第2の照明光を出す。第2の状態が光源ユニット37に設定されたとき、R画像(第1の画像)およびB画像(第2の画像)のいずれか一方のみが表示部31に出力される。
第2の実施形態において、計測用スコープユニットが計測装置1に装着されているときの光源モードは、第1の状態に対応する計測モードと、第2の状態に対応するライブ観察モードとのいずれか1つに設定される。計測モードにおいて、光源ユニット37は赤色光および青色光のみを含む第1の照明光を出す。ライブ観察モードにおいて、光源ユニット37は赤色光および青色光のいずれか一方のみを含む第2の照明光を出す。ユーザーは、操作部3のスイッチ3dを操作することにより、光源モードの切替を指示することができる。
図22は、光源モード切替の手順を示す。計測用スコープユニットが計測装置1に装着され、かつユーザーにより光源モードの切替が指示されたときに光源モード切替が実行される。図22を使用して、光源モード切替における計測装置1の動作を説明する。
光源モード切替が開始された後、光源制御部500は、スイッチ3dからの信号に基づいて、ユーザーにより指示されたモードを識別する(ステップS300)。
ステップS300の後、光源制御部500は、ユーザーにより指示されたモードの識別結果に基づいて、どのモードへの切替が指示されたのかを判断する(ステップS305)。
ステップS305において、ライブ観察モードへの切替が指示されたと光源制御部500が判断した場合、光源制御部500は、光源ユニット37の光源モードをライブ観察モードに設定する。その場合、光源制御部500は、赤発光素子39を点灯させ、かつ青発光素子41を消灯させる制御パラメーターを光源駆動部38に設定する(ステップS310)。
ステップS310の後、光源制御部500は、光源制御を切り替える。つまり、光源制御部500は、光源駆動部38を介して、赤発光素子39を点灯させ、かつ青発光素子41を消灯させる(ステップS320)。ステップS320における処理が実行されることにより、光源モード切替が終了する。
ステップS305において、計測モードへの切替が指示されたと光源制御部500が判断した場合、光源制御部500は、光源ユニット37の光源モードを計測モードに設定する。その場合、光源制御部500は、赤発光素子39および青発光素子41を点灯させる制御パラメーターを光源駆動部38に設定する(ステップS315)。
ステップS315の後、光源制御部500は、光源制御を切り替える。つまり、光源制御部500は、光源駆動部38を介して、制御パラメーターに基づいて赤発光素子39および青発光素子41を点灯あるいは消灯させる(ステップS320)。ステップS320における処理が実行されることにより、光源モード切替が終了する。
ライブ観察モードが光源ユニット37に設定された場合、制御部50はR画像のみを表示部31に出力し、かつR画像を表示部31に表示させる。表示部31は、R画像を表示する。
計測モードが光源ユニット37に設定された場合、制御部50はR画像およびB画像の少なくとも1つを表示部31に出力し、かつR画像およびB画像の少なくとも1つを表示部31に表示させる。表示部31は、R画像およびB画像の少なくとも1つを表示する。
ライブ観察モードにおいて、光源制御部500は、光源駆動部38を介して、青発光素子41を点灯させ、かつ赤発光素子39を消灯させてもよい。その場合、B画像のみが表示部31に出力される。
観察用スコープユニットが計測装置1に装着されているときの光源モードは、第1の実施形態と同様の白色点灯モードである。観察用スコープユニットが計測装置1に装着されているときの光源モードは、上記のライブ観察モードと同じであってもよい。
ライブ観察モードにおいて、青発光素子41が点灯しないため、青色光に対応する光に基づくクロストーク成分はG画素18GおよびR画素18Rに入射しない。そのため、クロストークが解消する。その結果、ライブ観察モードにおいて表示部31に表示される画像の画質が向上する。
ライブ観察モードにおいて、青発光素子41が点灯しない。そのため、ライブ観察モードにおいて赤発光素子39に供給される電流は、計測モードにおいて赤発光素子39に供給される電流よりも多くてもよい。つまり、ライブ観察モードが光源ユニット37に設定されたときに光源ユニット37が出す第2の照明光の光量は、計測モードが光源ユニット37に設定されたときに光源ユニット37が出す第1の照明光の光量よりも多くてもよい。これにより、照明光量が不足しやすいシーンにおいて表示部31に表示される画像のS/Nが向上する。例えば、照明光量が不足しやすいシーンは、遠くの被写体を観察するシーン、または拡散反射率が低い被写体を観察するシーンである。
(第3の実施形態)
第1の実施形態の計測装置1を使用して、本発明の第3の実施形態を説明する。第1の実施形態において、被写体に色の偏りがある場合、R画像およびB画像の一方のS/NがR画像およびB画像の他方のS/Nよりも極端に低くなることがある。例えば、被写体が全体的に赤く錆びている場合、B画像のS/NはR画像のS/Nよりも低くなる。R画像およびB画像の間でS/Nの差が大きい場合、計測誤差が増加しやすい。第3の実施形態の計測装置1は、被写体に色の偏りがある場合における計測誤差の増加を回避することを目的とする。
第3の実施形態において、光源制御部500は、R画像(第1の画像)およびB画像(第2の画像)の明るさの相違度に基づいて、光源ユニット37が発する赤色光(第5の光)および光源ユニット37が発する青色光(第6の光)の光量を制御する。具体的には、光源制御部500は、R画像およびB画像の明るさの差が小さくなるように光量を制御する。例えば、光源制御部500は、R画像およびB画像のうち他方よりも暗い画像が明るくなるように光量を制御する。光源制御部500は、R画像およびB画像の明るさのバランスを制御する。
以下の例では、R画像およびB画像の明るさの相違度は、各画像の画素値の比として表される。R画像およびB画像の明るさの相違度は、各画像の画素値の差分として表されてもよい。
図23は、計測の手順を示す。図23に示す処理について、図8に示す処理と異なる点を説明する。
計測が開始された後、光源制御部500は、光源ユニット37に光量レベルを設定する。具体的には、光源制御部500は、赤発光素子39が発する赤色光の光量レベルLvRを0.5に設定し、かつ青発光素子41が発する青色光の光量レベルLvBを0.5に設定する(ステップS230)。光量レベルLvRおよび光量レベルLvBの和は1.0である。ステップS230の後、ステップS200における処理が実行される。
ステップS205の後、光源制御部500は、画素値平均LumRおよび画素値平均LumBを算出する(ステップS235およびステップS240)。ステップS235において光源制御部500は、R画像の全部または一部の画素の画素値を平均化することにより、画素値平均LumRを算出する。ステップS240において光源制御部500は、B画像の全部または一部の画素の画素値を平均化することにより、画素値平均LumBを算出する。
ステップS235およびステップS240の後、光源制御部500は、画素値平均LumRおよび画素値平均LumBの比Raを算出する(ステップS245)。ステップS245において光源制御部500は、式(3)により比Raを算出する。
Ra=LumR/LumB ・・・(3)
ステップS245の後、光源制御部500は、比Raと所定のしきい値とを比較し、比Raの範囲を判断する。範囲R1は、第1の範囲または第2の範囲である。第1の範囲は、比Raがしきい値Th1よりも大きく、かつ比Raがしきい値Th2以下である範囲である。第2の範囲は、比Raがしきい値Th3以上であり、かつ比Raがしきい値Th4よりも小さい範囲である。範囲R2は、比Raがしきい値Th2よりも大きく、かつ比Raがしきい値Th3よりも小さい範囲である(ステップS250)。
例えば、しきい値Th1は0.25である。しきい値Th2は0.9である。しきい値Th3は1.1である。しきい値Th4は4.0である。各しきい値の値は、この例に限らない。各しきい値の大きさの関係が変わらない限り、各しきい値は上記の各値と異なってもよい。
ステップS250において、比Raの範囲が範囲R1であると光源制御部500が判断した場合、光源制御部500は、赤発光素子39が発する赤色光の光量および青発光素子41が発する青色光の光量を変更する(ステップS260)。ステップS260において光源制御部500は、式(4)により、変更後の光量レベルLvR’を算出し、かつ式(5)により、変更後の光量レベルLvB’を算出する。光源制御部500は、算出された光量レベルLvR’および光量レベルLvB’を光源ユニット37に設定する。ステップS260の後、ステップS225における処理が実行される。
LvR’=LvR/(LvB*Ra+LvR) ・・・(4)
LvB’=LvB*Ra/(LvB*Ra+LvR) ・・・(5)
ステップS260において光源制御部500は、R画像およびB画像の明るさの差が小さくなるように光量を制御する。例えば、比Raの範囲が範囲R1の第1の範囲である場合、B画像がR画像よりも明るい。その場合、光源制御部500は、赤発光素子39の光量を上げ、かつ青発光素子41の光量を下げることにより、赤発光素子39および青発光素子41の光量のバランスを変更する。比Raの範囲が範囲R1の第2の範囲である場合、R画像がB画像よりも明るい。その場合、光源制御部500は、赤発光素子39の光量を下げ、かつ青発光素子41の光量を上げることにより、赤発光素子39および青発光素子41の光量のバランスを変更する。
ステップS250において、比Raの範囲が範囲R2であると光源制御部500が判断した場合、ステップS215における処理が実行される。つまり、R画像およびB画像の明るさの差が小さい場合、計測部504は計測処理を実行する。
ステップS250において、比Raの範囲が範囲R1および範囲R2以外であると光源制御部500が判断した場合、制御部50は警告を表示部31に出力する。表示部31は、警告を表示する(ステップS255)。つまり、R画像およびB画像の明るさの差が極端に大きい場合、ステップS255において制御部50は、被写体が計測に適さないことをユーザーに通知する。ステップS255における処理は必須ではない。ステップS255の後、ステップS225における処理が実行される。
上記以外の点について、図23に示す処理は、図8に示す処理と同様である。
第3の実施形態において光源制御部500は、R画像およびB画像の明るさの相違度に基づいて、光源ユニット37の光量を制御する。R画像およびB画像のうちS/Nが低い画像のS/Nが向上する。そのため、計測装置1は、全体的に赤く錆びた被写体のように、色の偏りがある被写体の計測における計測誤差の増加を回避することができる。
R画像およびB画像の明るさの相違度が極端に大きい場合、計測部504による計測の実行が回避される。そのため、計測装置1は、赤または青で塗装された被写体のように、R画像およびB画像の位相差に基づく計測に適さない被写体の計測が実行されることにより計測誤差の大きい結果を得るリスクを回避することができる。
R画像およびB画像の明るさの相違度が極端に大きい場合、制御部50は警告を表示部31に表示させる。そのため、計測装置1は、被写体が計測に適さないことをユーザーに通知することができる。
ステップS255において、表示部5が警告を表示する代わりに、光源制御部500が光量レベルLvRおよび光量レベルLvBの各値を、ステップS260において設定される値の3倍の値に一時的に設定してもよい。これにより、発光素子39および発光素子41がフラッシュ発光する。R画像およびB画像の明るさの相違度が極端に大きい場合、計測装置1は、計測に適した画像を取得することができる。
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
1 計測装置
2 挿入部
2a 先端部
2b 湾曲部
2c 可撓管部
3,3A,3B 操作部
3a,3a1,3a2 湾曲操作部
3b,3b1 ボタン操作部
3c レバー
3d スイッチ
4 ユニバーサルコード
7 ライトガイド
7a 第1のライトガイド
7b 第2のライトガイド
8a プリズム
8b 保護部材
8c 撮像素子
9 スコープユニット
10 内視鏡
11,12,13,14,15,43a,43b,43c,43d,52,55,56 レンズ
16 瞳フィルター
16a 薄膜
16b 第1の開口部
16c 第2の開口部
16d 第1のカラーフィルター
16e 第2のカラーフィルター
16f 平板
17 観察光学系
18 画素
18R R画素
18G G画素
18B B画素
30 装置本体
31 表示部
32 筐体
33 中継部
34 スコープ識別部
35,45,46,53 信号線
36,54 コネクター
36a,54a 第1のコネクター
36b,54b 第2のコネクター
37,37a,37b 光源ユニット
38,38a,38b 光源駆動部
39 赤発光素子
40 緑発光素子
41 青発光素子
42 光混合部
44a,44b ダイクロイックミラー
50 制御部
51 白色LED
70 照明窓
71 照明光学系
161 第1の瞳
162 第2の瞳
500 光源制御部
501 撮像処理部
502 画像取得部
503 クロストーク低減処理部
504 計測部

Claims (12)

  1. 第1の波長帯域の第1の光を透過可能とする第1の瞳と、前記第1の波長帯域とは異なる第2の波長帯域の第2の光を透過可能とする第2の瞳とを有する観察光学系と、
    前記観察光学系を透過した光が入射する位置に配置され、第3の波長帯域の第3の光を透過可能とする第1の光学フィルターを透過した前記第3の光に基づく第1の画素信号を生成する第1の画素と、前記第3の波長帯域と異なる第4の波長帯域の第4の光を透過可能とする第2の光学フィルターを透過した前記第4の光に基づく第2の画素信号を生成する第2の画素とを有する撮像素子と、
    第5の波長帯域の第5の光と、前記第5の波長帯域とは重ならない第6の波長帯域の第6の光とのみを含む照明光を出す光源と、
    前記第1の画素信号および前記第2の画素信号に基づく撮像画像から、前記第1の画素信号に基づく第1の画像と、前記第2の画素信号に基づく第2の画像とを取得する画像取得部と、
    前記第1の画像および前記第2の画像の位相差を計測する計測部と、
    を有し、
    前記第1の波長帯域の少なくとも一部および前記第3の波長帯域の少なくとも一部は互いに重なり、
    前記第1の波長帯域の少なくとも一部および前記第5の波長帯域の少なくとも一部は互いに重なり、
    前記第5の波長帯域の少なくとも一部および前記第3の波長帯域の少なくとも一部は互いに重なり、
    前記第1の波長帯域および前記第6の波長帯域は互いに重ならず、
    前記第2の波長帯域の少なくとも一部および前記第4の波長帯域の少なくとも一部は互いに重なり、
    前記第2の波長帯域の少なくとも一部および前記第6の波長帯域の少なくとも一部は互いに重なり、
    前記第6の波長帯域の少なくとも一部および前記第4の波長帯域の少なくとも一部は互いに重なり、
    前記第2の波長帯域および前記第5の波長帯域は互いに重ならず、
    前記照明光は被写体に照射され、
    前記被写体に照射された前記照明光に基づき前記被写体から得られる光であって、前記第5の光および前記第6の光のみを含む光が前記観察光学系に入射する
    ことを特徴とする計測装置。
  2. 前記光源の状態を第1の状態と第2の状態とのいずれか一方に設定する光源制御部をさらに有し、
    前記第1の状態が前記光源に設定されたとき、前記光源は前記第5の光および前記第6の光のみを含む第1の照明光を出し、
    前記第2の状態が前記光源に設定されたとき、前記光源は前記第5の光および前記第6の光のいずれか一方のみを含む第2の照明光を出し、
    前記第2の状態が前記光源に設定されたとき、前記第1の画像および前記第2の画像のいずれか一方のみが表示部に出力される
    ことを特徴とする請求項1に記載の計測装置。
  3. 前記第1の画像および前記第2の画像の明るさの相違度に基づいて前記第5の光および前記第6の光の光量を制御する光源制御部をさらに有する
    ことを特徴とする請求項1に記載の計測装置。
  4. 前記観察光学系は、単眼光学系として構成され、かつ瞳フィルターを有し、
    前記瞳フィルターは、
    透明な平板と、
    前記平板の表面に配置され、かつ第1の開口部および第2の開口部が形成された薄膜と、
    前記第1の開口部に配置され、かつ前記第1の光を透過させる第3の光学フィルターで構成された前記第1の瞳と、
    前記第2の開口部に配置され、かつ前記第2の光を透過させる第4の光学フィルターで構成された前記第2の瞳と、
    を有することを特徴とする請求項1に記載の計測装置。
  5. 前記光源は、
    前記第5の光を発生する1つ以上の第1の発光素子と、
    前記第6の光を発生する1つ以上の第2の発光素子と、
    を有する
    ことを特徴とする請求項1に記載の計測装置。
  6. 前記光源からの前記照明光を被写体に照射する照明光学系をさらに有し、
    前記光源は、前記第1の発光素子からの前記第5の光と、前記第2の発光素子からの前記第6の光とを混合し、かつ混合された前記第5の光および前記第6の光を含む前記照明光を出す光混合部をさらに有する
    ことを特徴とする請求項5に記載の計測装置。
  7. 前記被写体に挿入される挿入部をさらに有し、
    前記照明光学系は、前記光混合部からの前記照明光を前記挿入部の先端に伝える光伝送部を有する
    ことを特徴とする請求項6に記載の計測装置。
  8. 前記光源からの前記照明光を被写体に照射する照明光学系をさらに有し、
    前記照明光学系は、前記光源からの前記第5の光と、前記光源からの前記第6の光とを混合する光混合部を有する
    ことを特徴とする請求項1に記載の計測装置。
  9. 前記被写体に挿入される挿入部をさらに有し、
    前記照明光学系は、前記光混合部からの前記照明光を前記挿入部の先端に伝える光伝送部をさらに有する
    ことを特徴とする請求項8に記載の計測装置。
  10. 前記第1の波長帯域は、前記第1の光学フィルターの主波長を含み、
    前記第2の波長帯域は、前記第2の光学フィルターの主波長を含み、
    前記第5の波長帯域は、前記第1の光学フィルターの主波長を含み、
    前記第6の波長帯域は、前記第2の光学フィルターの主波長を含む
    請求項1から請求項9のいずれか一項に記載の計測装置。
  11. 第1の波長帯域の第1の光を透過可能とする第1の瞳と、前記第1の波長帯域とは異なる第2の波長帯域の第2の光を透過可能とする第2の瞳とを有する観察光学系と、
    前記観察光学系を透過した光が入射する位置に配置され、第3の波長帯域の第3の光を透過可能とする第1の光学フィルターを透過した前記第3の光に基づく第1の画素信号を生成する第1の画素と、前記第3の波長帯域と異なる第4の波長帯域の第4の光を透過可能とする第2の光学フィルターを透過した前記第4の光に基づく第2の画素信号を生成する第2の画素とを有する撮像素子と、
    第5の波長帯域の第5の光と、前記第5の波長帯域とは重ならない第6の波長帯域の第6の光とのみを含む照明光を出す光源と、
    を有する計測装置の作動方法において、
    前記第1の画素信号および前記第2の画素信号に基づく撮像画像から、前記第1の画素信号に基づく第1の画像と、前記第2の画素信号に基づく第2の画像とを取得する画像取得ステップと、
    前記第1の画像および前記第2の画像の位相差を計測する計測ステップと、
    を有し、
    前記第1の波長帯域の少なくとも一部および前記第3の波長帯域の少なくとも一部は互いに重なり、
    前記第1の波長帯域の少なくとも一部および前記第5の波長帯域の少なくとも一部は互いに重なり、
    前記第5の波長帯域の少なくとも一部および前記第3の波長帯域の少なくとも一部は互いに重なり、
    前記第1の波長帯域および前記第6の波長帯域は互いに重ならず、
    前記第2の波長帯域の少なくとも一部および前記第4の波長帯域の少なくとも一部は互いに重なり、
    前記第2の波長帯域の少なくとも一部および前記第6の波長帯域の少なくとも一部は互いに重なり、
    前記第6の波長帯域の少なくとも一部および前記第4の波長帯域の少なくとも一部は互いに重なり、
    前記第2の波長帯域および前記第5の波長帯域は互いに重ならず、
    前記照明光は被写体に照射され、
    前記被写体に照射された前記照明光に基づき前記被写体から得られる光であって、前記第5の光および前記第6の光のみを含む光が前記観察光学系に入射する
    ことを特徴とする計測装置の作動方法。
  12. 前記第1の波長帯域は、前記第1の光学フィルターの主波長を含み、
    前記第2の波長帯域は、前記第2の光学フィルターの主波長を含み、
    前記第5の波長帯域は、前記第1の光学フィルターの主波長を含み、
    前記第6の波長帯域は、前記第2の光学フィルターの主波長を含む
    請求項11に記載の計測装置の作動方法。
JP2017167055A 2017-08-31 2017-08-31 計測装置および計測装置の作動方法 Active JP6798951B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017167055A JP6798951B2 (ja) 2017-08-31 2017-08-31 計測装置および計測装置の作動方法
US16/114,449 US10620425B2 (en) 2017-08-31 2018-08-28 Measurement apparatus and method of operating measurement apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017167055A JP6798951B2 (ja) 2017-08-31 2017-08-31 計測装置および計測装置の作動方法

Publications (2)

Publication Number Publication Date
JP2019047258A JP2019047258A (ja) 2019-03-22
JP6798951B2 true JP6798951B2 (ja) 2020-12-09

Family

ID=65436050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017167055A Active JP6798951B2 (ja) 2017-08-31 2017-08-31 計測装置および計測装置の作動方法

Country Status (2)

Country Link
US (1) US10620425B2 (ja)
JP (1) JP6798951B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018193552A1 (ja) * 2017-04-19 2018-10-25 オリンパス株式会社 撮像装置および内視鏡装置
JP7184657B2 (ja) * 2019-01-24 2022-12-06 富士フイルム株式会社 内視鏡システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5434669A (en) * 1990-10-23 1995-07-18 Olympus Optical Co., Ltd. Measuring interferometric endoscope having a laser radiation source
JP3164609B2 (ja) * 1990-10-31 2001-05-08 オリンパス光学工業株式会社 内視鏡装置
JP5259033B2 (ja) * 2001-08-03 2013-08-07 オリンパス株式会社 内視鏡システム
US20060241496A1 (en) * 2002-01-15 2006-10-26 Xillix Technologies Corp. Filter for use with imaging endoscopes
EP1709474A4 (en) * 2003-09-26 2010-01-06 Tidal Photonics Inc APPARATUS AND METHODS RELATING TO COLOR IMAGING ENDOSCOPE SYSTEMS
JP5216429B2 (ja) * 2008-06-13 2013-06-19 富士フイルム株式会社 光源装置および内視鏡装置
WO2010063184A1 (en) * 2008-12-03 2010-06-10 Mediatek Inc. Method for performing parallel cabac processing with ordered entropy slices, and associated apparatus
JP2013044806A (ja) 2011-08-22 2013-03-04 Olympus Corp 撮像装置
JP2013106692A (ja) * 2011-11-18 2013-06-06 Hoya Corp 分光内視鏡装置
CN103460024B (zh) * 2012-02-03 2017-09-22 松下知识产权经营株式会社 摄像装置和摄像系统
JP6013284B2 (ja) * 2013-06-26 2016-10-25 オリンパス株式会社 撮像装置及び撮像方法
WO2016194179A1 (ja) * 2015-06-03 2016-12-08 オリンパス株式会社 撮像装置、内視鏡装置及び撮像方法

Also Published As

Publication number Publication date
US10620425B2 (en) 2020-04-14
US20190064499A1 (en) 2019-02-28
JP2019047258A (ja) 2019-03-22

Similar Documents

Publication Publication Date Title
US10383711B2 (en) Focus scanning apparatus recording color
JP6137921B2 (ja) 画像処理装置、画像処理方法及びプログラム
EP2904956B1 (en) Endoscope system, processor device for endoscope system, operation method for endoscope system, and operation method for processor device
CN103415240B (zh) 内窥镜系统
US8081843B2 (en) Image-pickup apparatus
US20140031628A1 (en) Endoscope system, processor device of endoscope system, and method for controlling display of endoscope image
JP5558688B2 (ja) 眼科装置および画像生成方法
JP6013284B2 (ja) 撮像装置及び撮像方法
US20160295085A1 (en) Endoscope system, processing apparatus and endoscope operating method
US20130076879A1 (en) Endoscopic image processing device, endoscope apparatus, and image processing method
JP5256675B2 (ja) 撮像装置
JP6991957B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP6798951B2 (ja) 計測装置および計測装置の作動方法
WO2017221507A1 (ja) 内視鏡システム
JP5460152B2 (ja) 眼科装置
JP5414369B2 (ja) 眼底カメラ及び制御方法
US11252382B1 (en) 3 MOS camera
JP6017749B1 (ja) 撮像装置、撮像装置の作動方法
JP6529214B2 (ja) 撮像装置
JPS63246716A (ja) 内視鏡画像取込み方法および内視鏡装置
JP2014233387A (ja) 内視鏡及び内視鏡システム
CN115087849A (zh) 摄像单元及测定装置
JP5610005B2 (ja) 撮像装置
WO2019123600A1 (ja) 撮像装置
JP5493640B2 (ja) 焦点検出装置、および、撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201119

R151 Written notification of patent or utility model registration

Ref document number: 6798951

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250