JP5814698B2 - 自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法 - Google Patents

自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法 Download PDF

Info

Publication number
JP5814698B2
JP5814698B2 JP2011183593A JP2011183593A JP5814698B2 JP 5814698 B2 JP5814698 B2 JP 5814698B2 JP 2011183593 A JP2011183593 A JP 2011183593A JP 2011183593 A JP2011183593 A JP 2011183593A JP 5814698 B2 JP5814698 B2 JP 5814698B2
Authority
JP
Japan
Prior art keywords
automatic exposure
angle
image
unit
exposure control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011183593A
Other languages
English (en)
Other versions
JP2013042998A (ja
JP2013042998A5 (ja
Inventor
直也 栗山
直也 栗山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2011183593A priority Critical patent/JP5814698B2/ja
Priority to CN201280041426.0A priority patent/CN103764013B/zh
Priority to PCT/JP2012/063594 priority patent/WO2013027455A1/ja
Priority to EP12825059.4A priority patent/EP2749202B8/en
Publication of JP2013042998A publication Critical patent/JP2013042998A/ja
Priority to US14/098,316 priority patent/US9462192B2/en
Publication of JP2013042998A5 publication Critical patent/JP2013042998A5/ja
Application granted granted Critical
Publication of JP5814698B2 publication Critical patent/JP5814698B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • A61B1/00181Optical arrangements characterised by the viewing angles for multiple fixed viewing angles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00059Operational features of endoscopes provided with identification means for the endoscope

Description

本発明は、自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法等に関する。
従来、体腔内の組織に対して照明光を照射し、それらの反射光から作成した画像信号を用いて診断・処置を行う内視鏡装置が広く使用されている。撮像装置である内視鏡装置において、挿入部の先端には、CCDやCMOSなどの撮像素子と、被写体像を光学的に撮像素子へ結像する対物レンズが設けられている。内視鏡の対物レンズには、一般的に、病変部の見落としを防止するため広視野の対物レンズが用いられる。例えば、通常の内視鏡では視野角が140°程度である。
また、特許文献1には、被写体のより広い範囲を観察するために、前方の被写体の観察と同時に側方の被写体の観察を行うことが可能な対物レンズが開示されている。
これらの撮像光学系を用いて、観察に好適な明るさの被写体像を取得するために、内視鏡装置には、照明光量を自動的に調節する機能(即ち調光機能)が搭載されている。
特開2010−169792号公報 特開2007−14695号公報
さて、上述の前方と側方の被写体を観察できる対物レンズを、調光機能を有する内視鏡装置に適用したとする。この場合、上述の調光機能は通常の画角を有する内視鏡を想定して設計されており、前方視野における画素値に基づいて機能する。このため、側方視野では光量が適切に制御されず、折角の広視野が十分活用できないという課題がある。
例えば特許文献2には、接続された内視鏡に応じて手動/自動調光を切り替える手法が開示されている。しかしながら、この手法では、手動調光と自動調光を切り替えるだけであるため、側方視野において光量が適切に制御されないという課題を解決できない。
本発明の幾つかの態様によれば、視野範囲を適切に露光制御することが可能な自動露光制御装置、制御装置、内視鏡装置及び自動露光制御方法等を提供できる。
本発明の一態様は、被写体に照射された光の反射光を受光する撮像光学系により結像された、前記被写体の像を含む画像を取得する画像取得部と、前記画像が撮像された際の前記撮像光学系の画角を表す画角情報を取得する画角情報取得部と、取得された前記画角情報に基づいて自動露光の制御を行う自動露光制御部と、を含む自動露光制御装置に関係する。
本発明の一態様によれば、撮像光学系による撮像画像が取得され、その撮像画像が撮像された際の画角情報が取得され、その画角情報に基づいて自動露光の制御が行われる。これにより、視野範囲を適切に露光制御することが可能になる。例えば、広角の撮像光学系を用いた場合であっても、その広角の視野範囲を適切に露光制御することが可能になる。
本発明の他の態様は、被写体に対して照射するための光を出射する光源部と、前記被写体に照射された前記光の反射光を受光する撮像光学系により、前記被写体の像を含む画像の撮像を行う撮像部と、前記画像が撮像された際の前記撮像光学系の画角を表す画角情報を取得する画角情報取得部と、取得された前記画角情報に基づいて自動露光の制御を行う自動露光制御部と、を含む内視鏡装置に関係する。
また、本発明の更に他の態様は、被写体に照射された光の反射光を受光する撮像光学系による撮像により、前記被写体の像を含む画像を取得し、前記画像が撮像された際の前記撮像光学系の画角を表す画角情報を取得し、取得された前記画角情報に基づいて自動露光の制御を行う自動露光制御方法に対応する。
対物レンズの詳細な構成例。 図2(A)〜図2(D)は、従来の内視鏡と広視野内視鏡により得られる画像の違いについての説明図。 第1の実施形態における内視鏡装置の構成例。 ベイヤ配列における画素配列の例。 自動露光制御部の詳細な構成例。 自動露光領域の設定例。 画角係数の設定例。 広角のスコープにおける自動露光重みの設定例。 通常の画角のスコープにおける自動露光重みの変形設定例。 通常の画角のスコープにおける自動露光重みの第2の変形設定例。 自動露光重みの変形設定例についての説明図。 自動露光制御部の第1の変形構成例。 分割自動露光領域についての説明図。 自動露光制御部の第2の変形構成例。 画像処理部の詳細な構成例。 第2の実施形態における内視鏡装置の構成例。 最大自動露光領域、自動露光領域の設定例。 拡大画角係数の設定例。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の概要
まず本実施形態の概要について説明する。図1に、本実施形態の対物光学系の構成例を示す。図1に示すように、前方視野からの光線LC1は面SF1から入射し、側方視野からの光線LC2は面SF3から入射する。これらの光線LC1、LC2が面SF1、SF2により屈折又は反射され、撮像光学系へ導かれることにより、前方視野と側方視野を観察することが可能となる。このような対物光学系を用いることで、従来の内視鏡よりも広い範囲で体腔内を観察できる内視鏡装置を提供することができる。
このような、より広い範囲を観察することができる広視野内視鏡と、従来の内視鏡により得られる画像の違いについて、図2(A)〜図2(D)を用いて説明する。
図2(A)に示すように、管腔状の臓器において病変部をスクリーニングする場合、内視鏡挿入部を挿入又は抜去しながら観察を行うため、臓器の壁面にある病変部は、ヒダ等の凹凸に遮蔽されてしまう。そのため、図2(B)に示すように、通常の内視鏡装置では画像から病変部を確認することができず、病変部を見落としてしまう。
一方、図2(C)に示すように、広視野内視鏡を用いてスクリーニングをする場合、側方視野によってヒダの裏にある病変部を観察することが可能である。そのため、図2(D)に示すように、画像から病変部を確認することができる。
さて、内視鏡装置には、画像の明るさを調整して視認性を向上するために調光機能が備わっている。従来の調光機能は、通常の画角(例えば140度)を有する内視鏡を想定して設計されており、前方視野における画素値に基づいて機能する。このため、上述の対物光学系を用いた内視鏡では、側方視野において観察に十分な光量が得られず、折角の広視野が十分活用できない場合がある。また、スクリーニング時などでは、側方視野において内視鏡と被写体の距離が近くなるため、側方視野において画像が白飛びし、病変部を見落とす可能性がある。
なお、上述の特許文献2には、接続された内視鏡に応じて手動/自動調光を切り替える技術が公開されている。しかしながら、この手法では、内視鏡毎に調光する対象となる視野を切り替えることができないため、側方視野を適切に調光するという課題を解決することはできない。また、他の解決策として、観察に用いる内視鏡に応じてユーザーが手動で調光対象を判断し、切り替える構成が考えられる。しかしながら、この手法では、操作が煩雑になりユーザーの負担が増加する。
そこで本実施形態では、図3に示すように、例えばメモリー240に記憶されたスコープID等に基づいて画角情報を取得する。そして図6に示すように、その画角情報に基づいて自動露光領域を設定し、その領域を露光制御対象の領域として自動露光の制御を行う。これにより、側方視野を観察できる広視野の内視鏡であっても、その側方視野の画像を適切な明るさに制御することが可能となる。また、画角情報に応じて自動的に露光制御できるため、ユーザーの操作負担を軽減できる。
2.第1の実施形態
2.1.内視鏡装置
次に本実施形態の詳細について説明する。図3に、第1の実施形態における内視鏡装置の構成例を示す。この内視鏡装置は、光源部100、挿入部200、制御装置300(信号処理部)、表示部400、外部I/F部500を含む。
光源部100は、白色光源110と、集光レンズ120を含む。白色光源110は白色光を発する。集光レンズ120は、その白色光源110で発せられた光を後述するライトガイドファイバー210に集光する。
挿入部200は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。挿入部200は、ライトガイドファイバー210と、照明レンズ220と、撮像部230と、メモリー240を含む。撮像部230は、対物レンズ231と、撮像素子232と、A/D変換部233を含む。
ライトガイドファイバー210は、光源部100で集光された光を挿入部200の先端まで導く。照明レンズ220は、そのライトガイドファイバー210により先端まで導かれてきた光を拡散させて観察対象(被写体10)に照射する。対物レンズ231は、観察対象から戻る反射光を撮像素子232に結像する。撮像素子232は、検出した反射光に基づくアナログ信号を、A/D変換部233に出力する。A/D変換部233は、後述する制御部340から出力される制御信号に基づいて、撮像素子232から出力されるアナログ信号をデジタル信号に変換し、変換後の画像を内視鏡画像として制御装置300に出力する。メモリー240は、挿入部200に付与されたスコープIDを保持する。メモリー240は、後述する画角情報取得部310に接続されている。
なお以下では、説明のため挿入部200を適宜スコープと表記する。内視鏡診断において、上部消化管や下部消化管といった診断部位に応じて、様々な種類のスコープが用いられる。各スコープには、対象とする診断部位や、ズーム機能などの機能を特定できる識別番号が付与されており、その識別番号を本明細書ではスコープIDと表記する。
ここで、撮像素子232は、原色ベイヤ配列を有しており、撮像素子232により得られる内視鏡画像は原色ベイヤ画像である。図4に示すように、原色ベイヤ画像とは、各画素がRGBいずれかの信号を有した画像であり、そのRGBの画素が市松状に配列された画像である。
制御装置300は、画角情報取得部310と、自動露光制御部320と、画像処理部330と、制御部340を含む。撮像部230により取得される内視鏡画像は、自動露光制御部320と、画像処理部330に出力される。画角情報取得部310は、自動露光制御部320に接続されている。自動露光制御部320は、白色光源110に接続されており、その白色光源110を制御する。画像処理部330は、表示部400に接続されている。制御部340は、撮像部230と、画角情報取得部310と、画像処理部330と、表示部400と、外部I/F部500に双方向に接続しており、これらの構成要素を相互に制御する。
画角情報取得部310は、メモリー240に保持されているスコープIDに基づいて、スコープの画角情報を取得する。ここで、画角情報とは、そのスコープIDに対応するスコープの画角を表す情報であり、スコープの撮像光学系が有する最大画角である。取得された画角情報は、自動露光制御部320に出力される。
自動露光制御部320は、画角情報取得部310により取得される画角情報に基づいて、撮像部230により取得される内視鏡画像の画素値が観察に好適な値となるように、白色光源110が発する白色光の光量を制御する。なお以下では、白色光源110が発する白色光の光量を制御することを、調光制御(又は調光)と表記する。
画像処理部330は、撮像部230により撮像された内視鏡画像に対して画像処理を行う。後述するように、画像処理部330は、例えば階調変換処理やノイズ低減処理を行う。画像処理部330は、処理後の画像を表示部400に対して出力する。
制御部340は、撮像部230と、画角情報取得部310と、画像処理部330と、表示部400と、外部I/F部500に接続されており、これらを制御する制御信号を出力する。
表示部400は、前記画像処理部330より出力される前記内視鏡画像を、内視鏡モニタ等の画像表示装置上に出力する。
外部I/F部500は、内視鏡装置に対するユーザーからの入力等を行うためのインターフェースである。外部I/F部500は、例えば電源のオン/オフを行うための電源スイッチや、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。
なお、内視鏡画像は原色ベイヤ画像に限定されず、補色や面順次といった原色ベイヤ以外の内視鏡撮像方式より取得される画像であっても構わない。
2.2.自動露光制御部
図5に、自動露光制御部320の詳細な構成例を示す。自動露光制御部320は、自動露光領域設定部321と、自動露光重み設定部322と、正反射領域検出部323と、露光制御部324を含む。
画角情報取得部310により取得される画角情報は、自動露光領域設定部321と、自動露光重み設定部322に出力される。撮像部230により取得される内視鏡画像は、自動露光領域設定部321と、正反射領域検出部323と、露光制御部324に出力される。自動露光領域設定部321は、自動露光重み設定部322に接続されている。自動露光重み設定部322は、露光制御部324に接続されている。正反射領域検出部323は、露光制御部324に接続されている。露光制御部324は、白色光源110に接続されている。
自動露光領域設定部321は、画角情報取得部310により取得される画角情報に基づいて、撮像部230により取得される内視鏡画像上に自動露光領域を設定し、設定した自動露光領域の情報を露光制御部324に出力する。
自動露光重み設定部322は、画角情報取得部310により取得される画角情報に基づいて、自動露光領域設定部321により設定される自動露光領域の各画素に自動露光重みを設定し、設定した自動露光重みを露光制御部324に出力する。
正反射領域検出部323は、撮像部230により取得される内視鏡画像の画素値に基づいて、内視鏡画像の中の正反射領域を検出し、検出した正反射領域の情報を露光制御部324に出力する。
露光制御部324は、撮像部230により取得される前記内視鏡画像の画素値と、自動露光重み設定部322により設定される自動露光重みと、正反射領域検出部323により検出される正反射領域に基づいて、調光制御を行う。これらの構成要素の詳細については後述する。
2.3.自動露光領域設定部
上述の自動露光領域設定部321が行う処理について詳細に説明する。図6に、自動露光領域の設定例を示す。本実施形態においては、内視鏡画像とその自動露光領域の中心は一致している。W、Hはそれぞれ内視鏡画像の幅、高さを表し、W、Hはそれぞれ自動露光領域の幅、高さを表す。下式(1)にWとWの関係を示し、下式(2)にHとHの関係を示す。
ここで、αは、画角情報に基づいて決定される0.0〜1.0の画角係数である。図7に、画角係数αの設定例を示す。図2(D)で上述のように、側方視野をユーザーが観察したい場合、最大画角が広い広視野内視鏡が利用される。以下では、その広視野内視鏡は180°以上のその最大画角を有するとする。視野180°以上の内視鏡において、上記のように画角係数αを設定することで、スコープの最大画角が大きいほど広く側方視野を自動露光領域が含むことになる。これにより、ユーザーが観察したい側方視野において、より観察に適した調光を行うことができる。
なお、上記の実施形態では画角係数αを図7のように設定したが、本実施形態はこれに限定されない。即ち、画角情報に基づいて取得した最大画角に応じて、その最大画角が広ければ広いほど画角係数αを大きく設定するのならば、画角係数αをどのように設定しても構わない。
また、上記の実施形態では自動露光領域の形状が矩形である場合を説明したが、本実施形態はこれに限定されず、例えば自動露光領域は円形であっても構わない。
2.4.自動露光重み設定部
次に、上述の自動露光重み設定部322が行う処理について詳細に説明する。自動露光重み設定部322は、画角情報に基づいて、自動露光領域の各画素に対して0.0〜1.0の自動露光重みを設定する。
具体的には、内視鏡が通常の最大画角(例えば140°程度)を有する場合、自動露光重み設定部322は、自動露光領域全体において自動露光重みを1.0に設定する。この場合、後述する露光制御部324は、自動露光領域の画素値の平均値、又は画素値の総和に基づいて調光を行う。
一方、図8に示すように、内視鏡が通常より広角な最大画角を有する広視野内視鏡の場合、自動露光重み設定部322は、自動露光領域内の画素に対して、画素の座標に応じた自動露光重みを設定する。図8に示す自動露光重みの設定例では、自動露光領域中心から画素までの距離に応じて自動露光重みを設定する。自動露光領域中心からの距離は下式(3)により算出する。
ここで、(p,q)は、自動露光重みを設定する画素の座標を表す。D(p,q)は、座標(p、q)における自動露光領域中心からの正規化距離を表す。max()は、入力値を比較し、入力値の中の最大値を出力する関数を表す。W、Hは、内視鏡画像の幅、高さであり、W、Hは、自動露光領域の幅、高さである。上述の図6において、座標(p,q)の原点(0,0)を自動露光領域の左上とし、自動露光領域中心を(W/2,H/2)とする。
図2(D)で説明したように、広視野内視鏡の場合、側方視野において病変観察が可能な点に特徴がある。図8に示すように、前方視野よりも側方視野の画素において大きな自動露光重みを設定することで、側方視野において観察に好適な明るさとなる内視鏡画像を取得できる。なお、本実施形態は図8に示す自動露光重みの設定例に限定されない。即ち、前方視野の画素に比べて側方視野の画素に対して、比較的大きいその自動調光重みを設定するのであれば、どのようにその自動調光重みを設定しても構わない。
2.5.自動露光重みの変形設定例
なお、図9に示すように、内視鏡が通常の最大画角を有する場合における自動露光重みを設定しても構わない。このように自動露光重みを設定することで、詳細に観察したい被写体が存在すると考えられる内視鏡画像中心(本実施形態においては自動露光領域中心と一致)において、観察に好適な明るさとなるよう調光できる。
また、図10に示すように、内視鏡が通常の最大画角を有する場合において、自動露光領域中心付近のごく狭い領域に自動露光重み1.0を、それ以外の領域に自動露光重み0.0を設定しても構わない。このように自動露光重みを設定することで、精密に観察したい内視鏡画像中心付近の被写体に対して照射する照明光を、より観察に適した光量に調節することができる。
また、図11に示すように、自動露光重み設定部322は、撮像部230により取得される内視鏡画像を受けて、その内視鏡画像の画素値に基づいて0.0〜1.0の範囲の自動露光重みを設定してもよい。
具体的には、自動露光重み設定部322は、原色ベイヤ画像である内視鏡画像より作成した輝度画像の画素値に基づいて、自動露光重みを設定する。まず、座標(x,y)における輝度画像の画素値Y(x,y)を下式(4)により算出する。
ここで、RAW(x,y)は、座標(x,y)における内視鏡画像の画素値である。
下式(5)に示すように、輝度値Y(x,y)を用いて自動露光重みを設定する。
ここで、W(p,q)は、座標(p,q)における自動露光重みを表す。Rは、自動露光領域を表す。(p,q)∈Rは、座標(p,q)に位置する画素が自動露光領域に含まれることを表す。h()は、自動露光領域に含まれる輝度画像の累積ヒストグラムを表す。累積ヒストグラムとは、Y(p,q)以下の画素値を有する画素の数であって、自動露光領域内に存在する画素数を表し、0.0〜1.0の範囲に正規化されている。
例えば、図10で上述した自動露光重みを設定(スポット測光)し、管腔状の被写体を観察したとする。この場合、前方視野より相対的に大きい側方視野の画素値が調光の評価に利用されないため、側方視野に対して必要以上の照明光が照射されることで側方視野において白飛びが発生する可能性がある。また、図8で上述した自動露光重みを設定し、ポリープのように突出した被写体を前方視野中心に捉えて観察したとする。この場合、側方視野より相対的に大きい前方視野の画素値が調光の評価に利用されないため、前方視野に対して必要以上の照明光が照射されることで前方視野において白飛びが発生する可能性がある。
この点、上記変形例によれば、累積ヒストグラムに基づいて自動露光重みを設定することにより、大きな画素値を有する画素に大きなその自動露光重みを設定することが可能となる。このようにその自動露光重みを設定することで、被写体の形状によらず、前記自動露光領域内で照明光が強く照射されている領域の画素値に基づいて、白飛びを抑制して調光することができる。
2.6.正反射領域検出部
次に、上述の正反射領域検出部323が行う処理について詳細に説明する。正反射領域検出部323は、上式(4)により作成した輝度画像の中から、所定の輝度閾値以上の画素値を有する領域を抽出する。抽出される領域は、正反射領域及び白飛び領域である。
ここで、正反射領域とは、照明レンズ220より被写体に照射された照明光が、被写体により正反射されて撮像素子232上に結像されている領域である。また、白飛び領域とは、照明光が正反射された領域ではないが、強く照明光が照射されているため、反射光の強度が撮像素子232で検出可能な上限を超えた領域である。
白飛び領域は、被写体表面で乱反射された照明光を含むため、白飛び領域の周辺の画素値は大きな値となる。一方、正反射領域は、照明光が被写体表面に対して入射する角度と反射する角度が一致する領域である。正反射領域の周辺では、入射角と反射角が一致しないため、正反射領域とその周辺では画素値の差が大きい。即ち、正反射領域の周辺の画素値は、白飛び領域の周辺の画素値に比べて小さい。
このため、正反射領域検出部323は、抽出された領域周辺の画素値に基づいて、その領域が正反射領域及び白飛び領域のいずれであるかを判別する。具体的には、正反射領域検出部323は、画素値が飽和した領域(例えば画素値が閾値以上の領域)を抽出し、抽出した飽和領域をラベリングし、同一のラベルが付与されたラベル領域毎に周囲画素の平均画素値を算出する。周囲画素とは、抽出されたラベル領域と隣接する画素である。正反射領域検出部323は、ラベル領域毎に算出した周囲画素の平均画素値と所定の周辺閾値とを比較し、その周辺閾値未満であれば、そのラベル領域を正反射領域として検出する。
2.7.自動露光制御部
次に、上述の露光制御部324が行う処理について詳細に説明する。まず、露光制御部324は、内視鏡画像に基づいて、上式(4)により輝度画像を作成する。そして、下式(6)に基づいて自動露光評価値Vを算出し、算出した自動露光評価値Vと、所定の自動露光目標値とに基づいて調光制御を行う。
ここで、(p,q)は、内視鏡画像上の座標を表す。W(p,q)は、座標(p,q)における自動露光重みを表す。Mは、正反射領域を表す。下式(7)は、座標(p,q)に位置する画素が正反射領域に含まれないことを表す。
露光制御部324は、算出した自動露光評価値と自動露光目標値との差分絶対値が、定の閾値未満の場合、現状の調光を維持する。一方、その差分絶対値が所定の閾値以上の場合、所定の期間の経過後に自動露光評価値が自動露光目標値となるように、所定の期間において一定の変化率により調光を行う。
2.8.自動露光評価値の変形設定例
上記の実施形態では、輝度画像の画素値の重み付き平均値を自動露光評価値としたが、本実施形態はこれに限定されず、例えば輝度画像の画素値の重み付き積和を自動露光評価値としても構わない。
また、本実施形態では、下式(8)により自動露光評価値Vを算出しても構わない。このように輝度値の最大値に基づいて調光することにより、内視鏡画像による観察において不適当な白飛びの発生頻度を低減することができる。
また、本実施形態では、自動露光領域に含まれる画素のうち正反射領域に含まれない画素の全てから自動露光評価値を算出してもよいし、自動露光領域に含まれる画素のうち正反射領域に含まれない画素の中から一定間隔で間引いて自動露光評価値を算出しても構わない。このように間引いて自動露光目標値を算出することで、演算量を低減できる。
また、上記の実施形態では、輝度画像の画素値に基づいて自動露光評価値を算出しているが、本実施形態はこれに限定されず、例えば内視鏡画像の画素値に基づいて自動露光評価値を算出しても構わない。
例えば、本実施形態では、内視鏡画像は図4に示す原色ベイヤ画像であり、内視鏡画像の各画素は、RGB信号のいずれかを有している。このRGB信号のいずれかのみを用いて、自動露光評価値を算出しても構わない。この場合、各信号はそれぞれ一部の画素にのみ存在するが、公知の補間処理により全画素で各信号を補間した後、その自動露光評価値を算出しても構わない。また、RGBいずれかの信号を有する画素のみから、その自動露光評価値を算出しても構わない。
2.9.自動露光目標値の変形設定例
また、上記の実施形態では、画角情報に基づいて自動露光評価値を算出し、その自動露光目標値を利用して調光を行うが、本実施形態はこれに限定されない。例えば、自動露光評価値の算出手法は画角情報によらず不変とし、画角情報に応じて自動露光目標値を変更しても構わない。例えば広視野内視鏡であれば、自動露光目標値を、通常の内視鏡で用いる自動露光目標値の1/2に設定する。
図2(C)で上述のように、広視野内視鏡では、前方視野もしくは側方視野における内視鏡と被写体との距離が大きく異なる可能性がある。そのため、広視野内視鏡の場合に、自動露光目標値を変更しないと、前方視野もしくは側方視野のいずれかの視野において白飛びが発生する恐れがある。例えば管腔状の被写体の場合、側方視野において内視鏡先端と被写体との距離が近いため、側方視野が明るく照明され、側方視野が白飛びしやすい傾向にある。
この点、上記変形例によれば、通常内視鏡の場合よりも広視野内視鏡の場合の自動露光目標値を小さく設定することで、広視野内視鏡の側方視野において、白飛びが発生する頻度を低下させることができる。
なお、本実施形態では広視野内視鏡の場合の自動露光目標値は通常内視鏡の場合の1/2に限定されず、内視鏡の画角の広さに応じて画角が広いほど自動露光目標値を小さく設定するのであれば、どのようにその自動露光目標値を設定しても構わない。
2.10.自動露光制御部の第1の変形構成例
図12に、自動露光制御部320の第1の変形構成例を示す。図12に示す自動露光制御部320は、自動露光領域設定部321と、正反射領域検出部323と、露光制御部324と、分割部325を含む。
自動露光領域設定部321は、分割部325に接続されている。分割部325は、露光制御部324に接続されている。自動露光領域設定部321及び正反射領域検出部323は、図5で上述の構成例と同様である。
図13に示すように、分割部325は、自動露光領域設定部321により設定される自動露光領域を、複数の分割自動露光領域に分割し、その分割自動露光領域を露光制御部324に出力する。具体的には、自動露光領域をw×h個(w、hは自然数)の分割自動露光領域に分割する。図13では、説明を簡単にするため、分割自動露光領域にインデックスを割り付ける。即ち、水平方向のインデックスを0〜w−1とし、垂直方向のインデックスを0〜h−1とする。R(w,h)は、水平方向のインデックスがwであり、垂直方向のインデックスがhである分割自動露光領域を表す。
露光制御部324は、撮像部230により取得された内視鏡画像の画素値と、分割部325により分割された分割自動露光領域と、正反射領域検出部323により検出された正反射領域とに基づいて、調光制御を行う。具体的には、下式(9)により各分割自動露光領域の分割自動露光評価値を算出する。
ここで、V(w,h)は、分割自動露光領域R(w,h)の評価値である分割評価値を表す。ave()は入力値の平均を出力する関数を表す。(p,q)∈R(w,h)は、(p,q)に位置する内視鏡画像の画素が分割自動露光領域R(w,h)に含まれていることを表す。
露光制御部324は、求めた分割自動露光評価値に基づいて、白飛び領域が存在しないように画像全体における明るさのバランスを考慮して調光を行う(例えば、特開平5−313224号公報に開示される手法)。具体的には、露光制御部324は、所定の閾値以上である分割自動露光評価値のみに基づいて調光制御を行う。このようにすることで、白飛びを抑制することができる。
2.11.自動露光制御部の第2の変形構成例
図14に、自動露光制御部320の第2の変形構成例を示す。図14に示す自動露光制御部320は、自動露光領域設定部321と、正反射領域検出部323と、露光制御部324と、飽和領域検出部326を含む。
撮像部230により取得される内視鏡画像は、自動露光領域設定部321と、正反射領域検出部323と、飽和領域検出部326に出力される。自動露光領域設定部321は、露光制御部324に接続されている。飽和領域検出部326は、露光制御部324に接続されている。自動露光領域設定部321及び正反射領域検出部323は、図5で上述の構成例と同様である。
飽和領域検出部326は、撮像部230により取得される内視鏡画像の画素値に基づいて、内視鏡画像の中から飽和領域を検出し、検出した飽和領域の情報を露光制御部324に出力する。具体的には、飽和領域検出部326は、内視鏡画像より作成した輝度画像の画素値が所定の閾値以上である領域を、飽和領域として検出する。
ここで、飽和領域とは、撮像素子232上に検出上限以上の強度を持つ反射光が集光されることにより、反射光の強弱に関わらず内視鏡画像の画素値が大きい値(例えば画素値のレンジの最大値)で一定となった領域である。上述した正反射領域や白飛び領域は、飽和領域である。
露光制御部324は、自動露光領域設定部321により設定される自動露光領域と、正反射領域検出部323により検出される正反射領域と、飽和領域検出部326により検出される飽和領域とに基づいて、調光を行う。
具体的には、露光制御部324は、自動露光領域かつ白飛び領域である画素数を自動露光評価値として設定する。白飛び領域は、飽和領域から正反射領域を除いた領域である。露光制御部324は、求めた自動露光評価値を用いて段階的に調光を行う。段階的な調光は、例えば白色光源110に供給する電力を段階的に制御することで実現される。露光制御部324は、自動露光評価値が所定の調光上限値より大きい場合、調光の段階を1段階下げ、被写体へと照射する照明光の光量を減少させる。一方、自動露光評価値が所定の調光下限値より小さい場合、調光の段階を1段階上げ、被写体へと照射する照明光の光量を増加させる。ここで、調光上限値は、調光下限値より大きな値である。
このような調光制御を行うことで、観察において不適切な白飛び領域を最小限に抑制できる。また、白飛び領域を抑制しながら、自動露光領域内の被写体に対し照射される照明光の光量を、可能な限り増大させることができる。
2.12.画像処理部
図15に、画像処理部330の詳細な構成例を示す。画像処理部330は、前処理部331と、階調変換処理部332と、ノイズ低減処理部333と、後処理部334を含む。
撮像部230により取得される内視鏡画像は、前処理部331に出力される。前処理部331は、階調変換処理部332と、ノイズ低減処理部333に接続されている。階調変換処理部332は、ノイズ低減処理部333に接続されている。ノイズ低減処理部333は、後処理部334に接続されている。後処理部334は、表示部400に接続されている。
前処理部331は、撮像部230により取得される内視鏡画像に対して、例えば既存のホワイトバランス処理や補間処理等の画像処理を行い、前処理後の内視鏡画像を階調変換処理部332とノイズ低減処理部333に出力する。
階調変換処理部332は、前処理部331により前処理された内視鏡画像に対して、階調変換処理を行い、階調変換後の内視鏡画像をノイズ低減処理部333に出力する。階調変換処理の詳細については後述する。
ノイズ低減処理部333は、階調変換処理部332による階調変換処理の前後における内視鏡画像の画素値に基づいて、階調変換処理後の内視鏡画像に対してノイズ低減処理を行い、ノイズ低減処理した内視鏡画像を後処理部334に出力する。ノイズ低減処理の詳細については後述する。
後処理部334は、ノイズ低減処理部333から出力される内視鏡画像に対して、例えば既存の色変換処理や輪郭強調処理等の画像処理を行い、後処理後の内視鏡画像を表示部400に出力する。
2.13.階調変換処理部
階調変換処理部が行う処理について詳細に説明する。階調変換処理部332は、画素の位置や階調値に依存するスペースバリアントな階調変換処理(例えば、特表2008−511048号公報に開示される手法)を行う。
このような階調変換処理を行うことで、内視鏡画像内の局所的なコントラストを保ったまま、観察に不適な黒つぶれや白飛びを抑制することができる。図2(C)で上述のように、広視野内視鏡による観察では、前方視野及び側方視野において内視鏡と被写体との距離が大きく異なる場合がある。このような場合であっても、自動露光制御部320が行う調光により白飛びの抑制は可能だが、照明光量が不十分なため内視鏡画像の一部で観察が困難となる可能性がある。また、完全に白飛びをなくすことができるとは限らない。これらの照明光量が不十分な領域や、残存する白飛び領域に対して適応的な階調変換処理を行うことで、内視鏡画像において観察可能な領域を広げることができる。
なお、本実施形態では、人間の視覚特性をモデル化した局所的な色順応に基づくスペースバリアントな階調変換処理を行っても構わない。
2.14.ノイズ低減処理部
次に、ノイズ低減処理部333が行う処理について詳細に説明する。ノイズ低減処理部333は、例えば下式(10)〜(12)に示す公知のバイラテラルフィルターを用いたフィルター処理を行う。式9〜11によりそのノイズ低減処理が行われる。
ここで、S(x,y)は、座標(x,y)において、階調変換処理後の内視鏡画像RAW’(x,y)に対してノイズ低減処理を行った画素値を表す。Fは、座標(x,y)を中心とするバイラテラルフィルターの適用範囲を表す。Wdiffは、バイラテラルフィルターの適用範囲内の画素値をノイズ低減処理に用いる際の重みであり、画素値差に基づく重みを表す。σdiffは、画素値差に基づいてWdiffを算出する際に利用するパラメーターを表す。Wdistは、バイラテラルフィルターの適用範囲内の画素値をノイズ低減処理に用いる際の重みであり、座標(x,y)から画素までの距離に基づく重みを表す。σdistは、距離に基づいてWdistを算出する際に利用するパラメーターを表す。(i,j)は、バイラテラルフィルター内のインデックスである。本実施形態ではインデックスi及びjはそれぞれ、―I≦i≦I、―J≦j≦Jを満たす。I及びJは自然数であり、バイラテラルフィルターのサイズは、(2×I+1)×(2×J+1)となる。なお以下では議論の単純化のため、J=Iであるとする。
上記のバイラテラルフィルターは、σdiff、σdist及びIを変更することで、ノイズ低減の強さを調整することができる。具体的には、これらの値を大きくすることで、ノイズ低減処理を強く行うことができる。本実施形態では、階調変換処理前後の内視鏡画像の画素値RAW(x,y)及びRAW’(x,y)に基づいて、ノイズ低減の強さを調整し、RAW’(x,y)に対してノイズ低減処理を行う。
RAW(x,y)に基づいてσdiffを調整する処理について詳細に説明する。まず、階調変換処理前の内視鏡画像の画素値RAW(x,y)に基づいて、σdiffを決定する。例えば、下式(13)によりσdiffを決定する。
ここで、βは、予め定められた正の値である。例えば、βは、撮像素子232に入射する光量に応じて発生するノイズ量に基づいて決定する。そして、下式(14)に示すように、RAW(x,y)とRAW’(x,y)の比に基づいてσdiffを補正し、σ’diffを求める。
そして、補正したσ’diffを上式(10)〜(12)におけるσdiffとしてノイズ低減処理を行う。
光電変換による電荷の発生量が確率的に揺らぐことに起因するノイズは、ショットノイズと呼ばれる。撮像画像のノイズにおいてショットノイズが支配的な場合、入射光量が2倍になると、ノイズ量は√2倍となる。このため、上式(13)に示すようにRAW(x,y)に基づいてノイズ低減処理を行うことで、発生したノイズ量に対し適切にノイズ低減することができる。また、上式(14)に示すように、RAW(x,y)とRAW’(x,y)の比に基づいてσdiffを補正することで、階調変換処理により増減した内視鏡画像のノイズ量に対して、適切にノイズ低減することができる。
σdist及びIも、σdiffと同様の手法により設定すればよい。σdist及びIは、RAW(x,y)に応じてノイズ低減の強さを制御するのであれば、どのように決定しても構わない。
2.15.パラメーターσdiffの変形設定例
なお、本実施形態では、σ’diffに上限や下限を設けても構わない。σ’diffに上限や下限を設けることで、極端にノイズ低減されるという不都合、又は全くノイズ低減が行われないという不都合をなくすことができる。
上記の実施形態では、RAW(x,y)に応じたσdiffを算出したが、本実施形態はこれに限定されず、例えば複数のσdiffを予め用意しておき、RAW(x,y)に基づいてそれらを選択的に利用しても構わない。
また、上記の実施形態では、RAW(x,y)に基づいてσdiffを決定したが、本実施形態はこれに限定されず、例えばRAW’(x,y)に基づいてσdiffを決定しても構わない。
また、上記の実施形態では、RAW(x,y)及びRAW’(x,y)の比に基づいてσdiffの補正を行ったが、本実施形態はこれに限定されず、例えばRAW(x,y)及びRAW’(x,y)の差分に基づいてσdiffの補正を行っても構わない。
ここで、上記の実施形態では、バイラテラルフィルター処理によりノイズ低減を行う例を説明したが、本発明はこれらに限定されるものではなく、ノイズ低減の強さが調整可能ならばいかなるノイズ低減処理を利用しても構わない。他のノイズ低減処理を利用した場合、上記のバイラテラルフィルター処理と同様に、RAW(x,y)に基づいてノイズ低減の強さを制御し、ノイズ低減処理を行えばよい。
2.16.露光制御の変形例
また、上記の実施形態では、自動露光制御部320は白色光源110の発する白色光の光量を制御したが、本実施形態はこれに限定されず、自動露光制御部320は内視鏡画像の明るさを制御可能な構成であればいかなる構成でも構わない。
例えば、撮像部230が図示しない絞りを有し、自動露光制御部320がその絞りの絞り量を制御することで、撮像素子232に入射する光量を制御しても構わない。この場合、絞り量を大きくすることで、撮像素子232に入射する光量を減少させることができる。
また、自動露光制御部320が撮像素子232の露光時間を制御することで、内視鏡画像の明るさを制御しても構わない。この場合、露光時間を短くすることで、内視鏡画像の明るさを暗くすることができる。
また、画像処理部330が内視鏡画像の画素値にゲインをかける機能を更に有し、自動露光制御部320がそのゲインを制御することで、内視鏡画像の明るさを制御しても構わない。この場合、そのゲインを小さくすることで、内視鏡画像の明るさを暗くすることができる。
以上の実施形態によれば、図3に示すように、自動露光制御装置は、画像取得部と、画角情報取得部310と、自動露光制御部320を含む。画像取得部は、被写体10に照射された光の反射光を受光する撮像光学系により撮像された、被写体10の像を含む画像を取得する。画角情報取得部310は、その画像が撮像された際の撮像光学系の画角を表す画角情報を取得する。自動露光制御部320は、取得された画角情報に基づいて自動露光の制御を行う。
本実施形態では、画像取得部は、例えば図3のA/D変換部233や、あるいは着脱可能な挿入部200からの画像データを受信する図示しないインターフェース部等が対応する。撮像光学系は、例えば図3の対物レンズ231、撮像素子232が対応する。
このようにすれば、視野範囲がいかなる範囲であっても適切に露光制御することが可能になる。具体的には、内視鏡の画角に応じて撮像画像の露光量を制御できるため、いかなる画角の内視鏡であっても、その画角において主に対象となる観察範囲において、白飛び又は黒つぶれが抑制された適切な露光制御を行うことができる。例えば、図2(C)で説明したように、管腔状の臓器をスクリーニングする場合、観察範囲である側方視野を適切な露光状態で観察でき、病変の見落としを軽減できる。また、画角に応じて自動的に露光制御されるため、ユーザーが露光設定を手動で切り替える必要がなく、ユーザーの手を煩わせることがない。
ここで、画角情報とは、スコープの画角を表す情報であり、スコープにより撮像される視野範囲(視野角)に対応する情報である。例えば、画角情報は、画角そのものであってもよいし、正規化された画角であってもよいし、それらを符号化した情報であってもよい。また、画角情報は、上記第1の実施形態のように拡大操作を行わない場合のスコープの最大画角を表す情報であってもよいし、後述する第2の実施形態のように拡大操作に伴い変化した場合の画角を表す情報であってもよい。
また、本実施形態では、自動露光制御部320は、画角情報と画像の画素値とに基づいて、画像における露光状態を評価するための自動露光評価値を算出し、算出した自動露光評価値に基づいて自動露光の制御を行う。
具体的には、図5に示すように、自動露光制御部320は自動露光領域設定部321を有する。図6で説明したように、自動露光領域設定部321は、画角情報に応じたサイズW、Hの自動露光領域を画像に対して設定する。自動露光制御部320は、設定された自動露光領域内の画素の画素値に基づいて自動露光評価値を算出する。
より具体的には、図7や上式(1)、(2)で説明したように、自動露光領域設定部321は、画角情報が表す画角が広いほど、大きいサイズの自動露光領域を設定する。
図2(C)等で上述のように、画角が広いほど画像全体を適切に露光制御することは困難である。この点、本実施形態によれば、スコープの画角が広いほど、より広い自動露光領域に対して露光制御を行うことができるため、画像の広い範囲の適切な露光制御が可能になる。例えば、側方視野を撮像するスコープが装着された場合、その側方視野を露光制御範囲に含めることができる。
また、本実施形態では、図5に示すように、自動露光制御部320は自動露光重み設定部322を有する。図8、図9で説明したように、自動露光重み設定部322は、自動露光評価値を算出する領域である自動露光領域内の画素に対する重みを、自動露光重みとして設定する。上式(6)で説明したように、自動露光制御部320は、自動露光領域内の画素の画素値Y(x,y)と自動露光重みW(x,y)とに基づいて、自動露光評価値を算出する。
具体的には、自動露光重み設定部322は、画角情報が表す画角に応じて自動露光重みを設定する。
より具体的には、図8で説明したように、自動露光重み設定部322は、画角情報が、第1の画角よりも広角の第2の画角を表す場合に、自動露光領域の中の中央領域における自動露光重みよりも、中央領域の外側の周辺領域における自動露光重みを、大きい重みに設定する。
このようにすれば、広角のスコープを用いる場合に、自動露光評価値の算出において自動露光領域の中の周辺領域に対するウエイトを相対的に大きくできる。これにより、広角のスコープを用いる場合に、画像の周辺部を相対的に重視した露光制御を行うことができる。
ここで、第1の画角とは、内視鏡スコープにおける通常の画角であり、例えばデフォルト設定の画角である。また、通常の画角とは、主に前方視野が撮像される画角に対応し、例えば光軸に直交する方向の視野を含まない画角(即ち180°未満の画角、例えば140°)である。
また、自動露光領域の中央領域とは、自動露光領域の中心を含む領域であり、例えば図8において距離0〜0.3の領域である。中央領域の外側の周辺領域とは、自動露光領域の中の領域であって、中央領域よりも外側に位置する領域である。周辺領域は、中央領域の周囲を囲む領域であってもよいし、囲まない1又は複数の領域であってもよい。例えば周辺領域は、図8において距離0.7〜1.0の領域である。
また、本実施形態では、上式(5)で説明したように、自動露光重み設定部322は、自動露光領域内の画素の画素値Y(x,y)に基づいて自動露光重みW(x,y)を設定してもよい。
具体的には、自動露光重み設定部322は、自動露光領域内の画素の輝度値Y(x,y)が大きいほど、自動露光重みW(x,y)を大きい重みに設定してもよい。
このようにすれば、輝度値が大きい画素ほど自動露光評価値に大きく反映されるため、輝度値が大きい領域を相対的に重視した露光制御を行うことができる。これにより、白飛び領域の発生を抑制した露光制御が可能になる。
また、本実施形態では、自動露光制御部320は、画角情報が第1の画角を表す場合に、自動露光領域内の画素の画素値の平均値又は総和値を自動露光評価値として求め、求めた自動露光評価値を、自動露光の制御のターゲットである自動露光目標値に近づける制御を行う。
例えば、本実施形態では、通常の画角の場合に上式(6)においてW(x,y)=1として自動露光評価値Vを求める。
このようにすれば、通常の画角のスコープと広角のスコープとで異なる自動露光重みを設定し、露光制御を行うことができる。また、画角に応じて小さいサイズの自動露光領域が設定された場合、その領域内では明るさのバラツキが小さいと考えられるため、画素値の平均値や総和を評価値とすることで、自動露光領域内を均一に露光制御できる。
また、本実施形態では、図12、図13に示すように、自動露光制御部320は、自動露光領域を複数の分割自動露光領域R(h,w)に分割する自動露光領域分割部を有してもよい。この場合、上式(9)で説明したように、自動露光制御部320は、その複数の分割自動露光領域R(h,w)の各分割自動露光領域における画素の画素値Y(x,y)の平均値V(h,w)を算出し、算出した平均値V(h,w)に基づいて自動露光の制御を行う。
このようにすれば、画像における明るさの分布に応じて露光制御を行うことが可能になる。例えば、平均値V(h,w)が閾値以上の分割領域を用いることで、高輝度領域に対して露光制御できる。また、平均値V(h,w)が閾値以下の分割領域を用いることで、高輝度領域の影響を排除した露光制御を行うことができる。
また、本実施形態では、上式(8)で説明したように、自動露光制御部320は、自動露光領域内の画素の画素値の最大値を自動露光評価値として設定してもよい。
このようにすれば、自動露光領域内の画素値の最大値を自動露光目標値に近づける制御を行うことができる。これにより、自動露光領域内において飽和領域の発生を抑制した露光制御が可能になる。
また、本実施形態では、図5に示すように、自動露光制御部320は正反射領域検出部323を有する。正反射領域検出部323は、自動露光領域内の画素の画素値に基づいて、照明光が被写体により正反射されている領域である正反射領域を検出する。上式(6)で説明したように、自動露光制御部320は、自動露光領域Rのうちの正反射領域M以外の領域の画素の画素値に基づいて、自動露光評価値Vを算出する。
また、本実施形態では、図14に示すように、自動露光制御部320は、自動露光領域内の画素の画素値が飽和した領域である飽和領域を検出する飽和領域検出部326を有してもよい。この場合、自動露光制御部320は、その飽和領域のうちの正反射領域以外の領域に基づいて自動露光の制御を行う。
より具体的には、自動露光制御部320は、飽和領域のうちの正反射領域以外の領域に含まれる画素数を、自動露光評価値として設定し、その画素数が閾値より多い場合、露光量を小さくする制御を行う。
このようにすれば、自動露光領域の中の白飛び領域の画素数に基づいて露光制御できる。また、白飛び領域の画素数を閾値より少なくする制御が行われるため、白飛び領域の発生を抑制できる。また、正反射領域を除いた画素数で制御することで、光量に依らず発生すると考えられる正反射領域の影響を抑制できる。
また、本実施形態では、自動露光制御部320は、自動露光評価値を、自動露光の制御のターゲットである自動露光目標値に近づける制御(例えば、自動露光評価値と自動露光目標値の差分絶対値を閾値未満にする制御)を、自動露光の制御として行う。
このようにすれば、画角情報に応じて設定した自動露光評価値を自動露光目標値に近づけることができ、画角に応じた適切な露光制御を行うことができる。
また、本実施形態では、「2.9.自動露光目標値の変形設定例」で説明したように、自動露光制御部320は、画角情報に応じて自動露光目標値を設定してもよい。
より具体的には、自動露光制御部320は、画角情報が、第1の画角よりも広角の第2の画角を表す場合に、画角情報が第1の画角を表す場合における自動露光目標値よりも小さい値の自動露光目標値を設定してもよい。
図2(C)等で説明したように、広角のスコープでは、通常の画角のスコープよりも画像内での明るさの差が大きく、白飛び領域が発生しやすい傾向にある。この点、本実施形態によれば、広角のスコープの場合に自動露光領域が比較的暗めに露光制御されるため、画像内の明るい領域が白飛びしてしまうことを抑制できる。
また、本実施形態では、画角情報取得部310は、撮像光学系を有する内視鏡装置を識別する識別情報(機種ID)に基づいて、画角情報を取得する。
ここで、識別情報とは、スコープを識別するための情報であり、例えばスコープの型式や型番、スペック等に対応する情報である。スコープは、着脱式のものであってもよいし、内視鏡装置に備え付けられた固定のものであってもよい。例えば、図3で説明したように、スコープのメモリー240に記憶されたスコープIDが識別情報として用いられる。あるいは、識別情報は、ユーザーにより外部I/F部500から入力されてもよい。
また、本実施形態では、自動露光制御部320は、被写体に照射する光の光量を制御することにより自動露光の制御を行う。例えば本実施形態では、図5で説明したように、露光制御部324が、白色光源110が出射する照明光の光量を制御する。
また、「2.16.露光制御の変形例」で説明したように、撮像光学系が絞りを有し、自動露光制御部が、その絞りの絞り値(例えばF値)を制御することにより前記自動露光の制御を行ってもよい。
また、「2.16.露光制御の変形例」で説明したように、撮像光学系が、被写体からの反射光を受光する撮像素子232を有し、自動露光制御部320が、その撮像素子232による撮像の露光時間を制御することにより自動露光の制御を行ってもよい。
また、「2.16.露光制御の変形例」で説明したように、画像処理部330が、画像に対してゲインをかける処理を行い、自動露光制御部320が、そのゲインを制御することにより自動露光の制御を行ってもよい。
このようにすれば、撮像画像における露光量の制御を実現できる。なお、本実施形態では、上記の露光制御に限定されず、撮像画像の露光量を調整できる制御又は処理であれば露光制御に用いることが可能である。
また、本実施形態では、図3に示すように、制御装置300は、自動露光制御装置と、画像取得部により取得される画像に対して画像処理を行う画像処理部330とを含む。
図15に示すように、画像処理部330は、自動露光の制御により得られた画像の画素値に基づいて、その画像に対して階調変換処理を行う階調変換処理部332を有する。
より具体的には、「2.13.階調変換処理部」で説明したように、階調変換処理部332は、画像における局所領域に応じて適応的に処理を行うスペースバリアントな階調変換処理を行う。
このようにすれば、階調変換処理により画像内の低輝度領域の輝度を上げ、画像内の高輝度領域の輝度を下げることができる。即ち、露光制御後においても残存する白飛び領域や黒つぶれ領域を、より視認性の高い明るさに調整できる。これにより、内視鏡画像内において観察に好適な領域を広げることができる。
ここで、スペースバリアントな階調変換処理とは、局所領域の位置や局所領域内の画素値に応じて適応的に行う階調変換処理である。例えば、局所領域に適用する階調変換カーブの特性を、その局所領域内の画素値に応じて設定する処理である。
また、本実施形態では、図15に示すように、画像処理部330は、階調変換処理後の画像のノイズを低減する処理を行うノイズ低減処理部333を有する。
具体的には、ノイズ低減処理部333は、階調変換処理前及び階調変換処理後の少なくとも一方における画像の画素の画素値に基づいて、ノイズの低減度合いを調整する。
より具体的には、上式(14)で説明したように、ノイズ低減処理部333は、階調変換処理前後における画像の画素の画素値の変化に基づいて低減度合いを調整する。その画素値の変化は、階調変換処理前後における画素値の差及び比の少なくとも一方である。
上式(13)で説明したように、ノイズ低減処理部333は、画素値の変化が大きいほど前記ノイズの低減度合いを強くする。
このようにすれば、適応階調変換処理によるゲインに応じてノイズ低減処理の強さを制御することが可能になる。これにより、ゲインの増減に伴い変化するノイズを適切に低減することができる。
ここで、ノイズの低減度合いとは、ノイズ低減処理において画像のノイズをどの程度低減させるかを表す度合いであり、例えば平滑化フィルターのパラメーターや周波数特性等により表される。上式(10)〜(12)で説明したバイラテラルフィルターでは、パラメーターσdiffやσdist、Iがノイズの低減度合いに対応し、これらのパラメーターが大きいほどノイズの低減度合いが大きい。
また、本実施形態では、画像取得部は、撮像光学系の前方及び側方の被写体の像を少なくとも含む画像を取得する。具体的には、図1等で説明したように、撮像光学系は、前方の被写体を観察するとともに側方の被写体を観察するための対物レンズを有する。例えば、対物レンズの視野角は、180°よりも大きい。
このようにすれば、広角のスコープにより撮像された画像として、側方視野が撮像された画像を取得できる。また、図2(D)等で説明したように、大腸のヒダ裏等を観察することが可能になる。
ここで、前方視野(前方の視野範囲)とは、対物レンズの光軸方向を含む視野範囲である。側方視野(側方の視野範囲)とは、対物レンズの光軸に直交する方向を含む視野範囲である。例えば前方視野は、光軸に対して0度〜45度の範囲であり、側方視野は、光軸に対して45度〜135度の範囲である。あるいは、通常の画角140度の範囲が前方視野であり、それよりも外側の視野範囲が側方視野であってもよい。あるいは、図1で説明した対物レンズを用いる場合、面SF1から導入される光線LC1に対応する視野範囲が前方視野であり、面SF3から導入される光線LC2に対応する視野範囲が側方視野であってもよい。
3.第2の実施形態
3.1.内視鏡装置
図16に、第2の実施形態における内視鏡装置の構成例を示す。図16に示す内視鏡装置は、光源部100、挿入部200、制御装置300、表示部400、外部I/F部500を含む。挿入部200及び制御装置300以外の構成要素は、第1の実施形態と同様であるため、適宜説明を省略する。
挿入部200は、ライトガイドファイバー210と、照明レンズ220と、撮像部230と、メモリー240を含む。撮像部230以外は、第1の実施形態と同様である。撮像部230は、対物レンズ231と、撮像素子232と、A/D変換部233を含む。対物レンズ231以外は、第1の実施形態と同様である。対物レンズ231は光学系の拡大率を変更可能な拡大機能を有しており、ユーザーは外部I/F部500を操作することにより任意のタイミングでその拡大率を変更できる。より具体的には、外部I/F部500の操作により制御部340が制御信号を生成し、その制御信号に基づいて対物レンズ231の拡大率が変更される。
制御装置300は、画角情報取得部310と、自動露光制御部320と、画像処理部330と、制御部340を含む。画角情報取得部310及び自動露光制御部320以外は、第1の実施形態と同様である。
画角情報取得部310は、制御部340により生成された制御信号に基づいて、対物レンズ231の拡大率を取得する。そして、その拡大率と、メモリー240に保持されたスコープIDとに基づいて、画角情報を取得する。本実施形態において画角情報とは、拡大操作に伴い変化した画角に対応する情報、及び拡大操作を行わない場合の画角に対応する情報である。通常、拡大操作に伴い内視鏡の画角は狭くなるため、拡大操作を行わない場合の画角は、第1の実施形態で説明した最大画角である。なお以下では、拡大操作に伴い変化した画角を拡大画角と表記する。画角情報取得部310は、取得した画角情報を自動露光制御部320に出力する。
自動露光制御部320は、自動露光領域設定部321と、自動露光重み設定部322と、正反射領域検出部323と、露光制御部324を含む。なお、自動露光制御部320の接続構成は、第1の実施形態(例えば図5)と同様である。自動露光領域設定部321及び露光制御部324以外は、その処理や作用が第1の実施形態と同様であるため説明を省略する。自動露光領域設定部321及び露光制御部324は、その処理や作用が以下の点において第1の実施形態と異なる。
自動露光領域設定部321は、画角情報取得部310により取得される画角情報に基づいて、撮像部230により取得される内視鏡画像上に自動露光領域を設定し、設定した自動露光領域の情報を露光制御部324に出力する。
具体的には図17に示すように、画角情報に含まれる最大画角に基づいて最大自動露光領域を設定し、画角情報に含まれる拡大画角に基づいて最大自動露光領域を縮小し、縮小した領域を自動露光領域として設定する。自動露光領域設定部321は、最大画角に基づく最大自動露光領域を、第1の実施形態で説明した自動露光領域と同様に上式(1)、(2)により設定する。本実施形態における自動露光領域のサイズW、Hと、最大自動露光領域のサイズW、Hとの関係を、下式(15)、(16)に示す。
ここで、αは、拡大画角に基づいて決定される1.0未満の拡大画角係数である。図18に、拡大画角係数αの設定例を示す。図18において、拡大画角は、最大画角により正規化されている。
拡大操作に伴って内視鏡光学系の被写界深度が狭くなるため、被写体画像において合焦する領域も狭くなる。この点、図18のように拡大画角係数αを設定することで、拡大率が大きい(拡大画角が小さい)ほど自動露光領域を小さくできる。これにより、合焦する領域に絞って調光でき、拡大観察したい被写体に照射する光量をより高精度に制御できる。即ち、拡大操作に伴う画角の変化に応じて自動露光領域のサイズを変更することで、主に拡大観察したい被写体において、好適な明るさが得られるよう調光することができる。
露光制御部324は、撮像部230により取得される内視鏡画像の画素値と、自動露光重み設定部322により設定される自動露光重みと、正反射領域検出部323により検出される正反射領域に基づいて自動露光評価値を算出し、その自動露光評価値と所定の自動露光目標値に基づいて調光する。本実施形態では、自動露光目標値の設定手法が第1の実施形態と異なる。
具体的には、拡大機能を有する広視野内視鏡において、拡大操作を行わず広視野観察を行う場合には、拡大観察時よりも自動露光目標値を低く設定する。図2(C)で説明したように、広視野観察では、前方視野及び側方視野における内視鏡と被写体との距離が大きく異なる場合があり、拡大率に応じて自動露光目標値を変更しないと、前方及び側方のいずれかの視野において白飛びが発生する可能性がある。この白飛びが発生する頻度を低下させるため、広視野観察時には自動露光目標値を低く設定する。
一方、拡大観察では、非拡大観察よりも視野が狭くなるため、視野内でのスコープ先端と被写体との距離があまり変化しない。そのため、自動露光目標値を広視野観察時よりも高く設定することで、白飛びを抑制しつつ被写体に照射する光量を増大することができる。
3.2.変形例
なお、上記の実施形態では、スコープの最大画角に基づいて最大自動露光領域を設定したが、本実施形態はこれに限定されず、例えば最大画角に依らず固定のサイズの最大自動露光領域を設定しても構わない。即ち、スコープの拡大画角のみに依って自動露光領域が設定されても構わない。
この場合、画角情報取得部310は、メモリー240からスコープIDを受け取らず、制御部340からの制御信号に基づいて取得する拡大率のみを画角情報として受け取る。そして、画角情報取得部310は、予め保持したテーブルに基づいて、拡大率を実現する拡大画角を取得する。このような構成にすれば、最大自動露光領域を設定する必要がなくなり、演算量を低減できる。
以上の実施形態によれば、図16で説明したように、撮像光学系(例えば対物レンズ231、撮像素子232)は、拡大率を変更可能な光学系である。画角情報取得部310は、その撮像光学系の拡大率に基づいて、画角情報を取得する。
より具体的には、自動露光制御部320は、自動露光領域設定部321を有する。図17、図18で説明したように、自動露光領域設定部321は、画角情報に基づいて、拡大率が大きいほど(拡大率に応じて変化する画角が小さいほど)小さいサイズの自動露光領域を、画像に対して設定する。自動露光制御部320は、設定された自動露光領域内の画素の画素値に基づいて自動露光評価値を算出し、算出した自動露光評価値に基づいて自動露光の制御を行う。
上述したように、拡大操作に伴い内視鏡撮像光学系の被写界深度は狭くなり、内視鏡画像内で合焦する領域も狭くなる。この点、本実施形態によれば、拡大操作に伴い変化する内視鏡の画角に応じて露光制御の対象領域を設定し、その領域内の被写体に照射する光量を制御できる。これにより、いかなる拡大率であっても、内視鏡画像内においてその拡大率のもと合焦する範囲に対して、より高精度に観察に適切な光量を照射することができる。
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
10 被写体、100 光源部、110 白色光源、120 集光レンズ、
200 挿入部、210 ライトガイドファイバー、220 照明レンズ、
230 撮像部、231 対物レンズ、232 撮像素子、
233 A/D変換部、240 メモリー、300 制御装置、
310 画角情報取得部、320 自動露光制御部、
321 自動露光領域設定部、322 自動露光重み設定部、
323 正反射領域検出部、324 露光制御部、325 分割部、
326 飽和領域検出部、330 画像処理部、331 前処理部、
332 階調変換処理部、333 ノイズ低減処理部、334 後処理部、
340 制御部、400 表示部、500 外部I/F部、
〜H,W〜W 領域のサイズ、LC1,LC2 光線、
R(h,w) 分割自動露光領域、SF1〜SF3 面、α 画角係数、
α 拡大画角係数

Claims (34)

  1. 被写体に照射された光の反射光を受光する撮像光学系により撮像された、前記被写体の像を含む画像を取得する画像取得部と、
    前記画像が撮像された際の前記撮像光学系の画角を表す画角情報を取得する画角情報取得部と、
    取得された前記画角情報に基づいて自動露光の制御を行う自動露光制御部と、
    を含み、
    前記自動露光制御部は、
    前記画角情報に応じたサイズの自動露光領域を、前記画像に対して設定する自動露光領域設定部と、
    前記自動露光領域内の画素に対する重みを、自動露光重みとして設定する自動露光重み設定部と、
    を有し、
    前記自動露光制御部は、
    前記自動露光領域内の画素の画素値と前記自動露光重みとに基づいて、前記画像における露光状態を評価するための自動露光評価値を算出し、算出した前記自動露光評価値に基づいて前記自動露光の制御を行うことを特徴とする自動露光制御装置。
  2. 請求項において、
    前記自動露光重み設定部は、
    前記画角情報が表す前記画角に応じて前記自動露光重みを設定することを特徴とする自動露光制御装置。
  3. 請求項において、
    前記自動露光重み設定部は、
    前記画角情報が、第1の画角よりも広角の第2の画角を表す場合に、前記自動露光領域の中の中央領域における前記自動露光重みよりも、前記中央領域の外側の周辺領域における前記自動露光重みを、大きい重みに設定することを特徴とする自動露光制御装置。
  4. 請求項において、
    前記自動露光重み設定部は、
    前記自動露光領域内の画素の画素値に基づいて前記自動露光重みを設定することを特徴とする自動露光制御装置。
  5. 請求項において、
    前記自動露光重み設定部は、
    前記自動露光領域内の画素の輝度値が大きいほど、前記自動露光重みを大きい重みに設定することを特徴とする自動露光制御装置。
  6. 被写体に照射された光の反射光を受光する撮像光学系により撮像された、前記被写体の像を含む画像を取得する画像取得部と、
    前記画像が撮像された際の前記撮像光学系の画角を表す画角情報を取得する画角情報取得部と、
    取得された前記画角情報に基づいて自動露光の制御を行う自動露光制御部と、
    を含み、
    前記自動露光制御部は、
    前記画角情報に応じたサイズの自動露光領域を、前記画像に対して設定する自動露光領域設定部と、
    前記自動露光領域内の画素の画素値に基づいて、照明光が前記被写体により正反射されている領域である正反射領域を検出する正反射領域検出部と、
    を有し、
    前記自動露光制御部は、
    前記自動露光領域のうちの前記正反射領域以外の領域の画素の画素値に基づいて、前記画像における露光状態を評価するための自動露光評価値を算出し、算出した前記自動露光評価値に基づいて前記自動露光の制御を行うことを特徴とする自動露光制御装置。
  7. 請求項において、
    前記自動露光制御部は、
    前記自動露光領域内の画素の画素値が飽和した領域である飽和領域を検出する飽和領域検出部を有し、
    前記自動露光制御部は、
    前記飽和領域のうちの前記正反射領域以外の領域に基づいて、前記自動露光の制御を行うことを特徴とする自動露光制御装置。
  8. 請求項において、
    前記自動露光制御部は、
    前記飽和領域のうちの前記正反射領域以外の領域に含まれる画素数を、前記自動露光評価値として設定し、前記画素数が閾値より多い場合、露光量を小さくする制御を行うことを特徴とする自動露光制御装置。
  9. 請求項1又は6において、
    前記自動露光領域設定部は、
    前記画角情報が表す前記画角が広いほど、大きいサイズの前記自動露光領域を設定することを特徴とする自動露光制御装置。
  10. 請求項1又は6において、
    前記自動露光制御部は、
    前記画角情報が第1の画角を表す場合に、前記自動露光領域内の画素の画素値の平均値又は総和値を前記自動露光評価値として求め、求めた前記自動露光評価値を、前記自動露光の制御のターゲットである自動露光目標値に近づける制御を行うことを特徴とする自動露光制御装置。
  11. 請求項1又は6において、
    前記自動露光制御部は、
    前記自動露光領域を複数の分割自動露光領域に分割する自動露光領域分割部を有し、
    前記自動露光制御部は、
    前記複数の分割自動露光領域の各分割自動露光領域における画素の画素値の平均値を算出し、算出した前記平均値に基づいて前記自動露光の制御を行うことを特徴とする自動露光制御装置。
  12. 請求項1又は6において、
    前記自動露光制御部は、
    前記自動露光領域内の画素の画素値の最大値を、前記自動露光評価値として設定することを特徴とする自動露光制御装置。
  13. 請求項1又は6において、
    前記自動露光制御部は、
    前記自動露光評価値を、前記自動露光の制御のターゲットである自動露光目標値に近づける制御を、前記自動露光の制御として行うことを特徴とする自動露光制御装置。
  14. 請求項13において、
    前記自動露光制御部は、
    前記画角情報に応じて前記自動露光目標値を設定することを特徴とする自動露光制御装置。
  15. 請求項14において、
    前記自動露光制御部は、
    前記画角情報が、第1の画角よりも広角の第2の画角を表す場合に、前記画角情報が前記第1の画角を表す場合における前記自動露光目標値よりも小さい値の前記自動露光目標値を設定することを特徴とする自動露光制御装置。
  16. 請求項1又は6において、
    前記画角情報取得部は、
    前記撮像光学系を有する内視鏡装置を識別する識別情報に基づいて、前記画角情報を取得することを特徴とする自動露光制御装置。
  17. 請求項1又は6において、
    前記撮像光学系は、
    拡大率を変更可能な光学系であり、
    前記画角情報取得部は、
    前記撮像光学系の前記拡大率に基づいて、前記画角情報を取得することを特徴とする自動露光制御装置。
  18. 請求項17において、
    前記自動露光領域設定部は、
    前記画角情報に基づいて、前記拡大率が大きいほど小さいサイズの前記自動露光領域を、前記画像に対して設定
    前記自動露光制御部は、
    前記自動露光領域内の画素の画素値に基づいて前記自動露光評価値を算出し、算出した前記自動露光評価値に基づいて前記自動露光の制御を行うことを特徴とする自動露光制御装置。
  19. 請求項1又は6において、
    前記自動露光制御部は、
    前記被写体に照射する光の光量を制御することにより前記自動露光の制御を行うことを特徴とする自動露光制御装置。
  20. 請求項1又は6において、
    前記撮像光学系は、絞りを有し、
    前記自動露光制御部は、
    前記絞りの絞り値を制御することにより前記自動露光の制御を行うことを特徴とする自動露光制御装置。
  21. 請求項1又は6において、
    前記撮像光学系は、前記反射光を受光する撮像素子を有し、
    前記自動露光制御部は、
    前記撮像素子による撮像の露光時間を制御することにより前記自動露光の制御を行うことを特徴とする自動露光制御装置。
  22. 請求項1又は6において、
    画像取得部は、
    前記撮像光学系の前方及び側方の被写体の像を少なくとも含む画像を取得することを特徴とする自動露光制御装置。
  23. 請求項22において、
    前記撮像光学系は、
    前記前方の被写体を観察するとともに前記側方の被写体を観察するための対物レンズを有することを特徴とする自動露光制御装置。
  24. 請求項23において、
    前記対物レンズの視野角は、
    180°よりも大きいことを特徴とする自動露光制御装置。
  25. 請求項1又は6に記載の自動露光制御装置と、
    前記画像取得部により取得される前記画像に対して画像処理を行う画像処理部と、
    を含むことを特徴とする制御装置。
  26. 請求項25において、
    前記画像処理部は、
    前記自動露光の制御により得られた前記画像に対して階調変換処理を行う階調変換処理部を有することを特徴とする制御装置。
  27. 請求項26において、
    前記階調変換処理部は、
    前記画像における局所領域に応じて適応的に処理を行うスペースバリアントな階調変換処理を行うことを特徴とする制御装置。
  28. 請求項26において、
    前記画像処理部は、
    前記階調変換処理後の前記画像のノイズを低減する処理を行うノイズ低減処理部を有することを特徴とする制御装置。
  29. 請求項28において、
    前記ノイズ低減処理部は、
    前記階調変換処理前及び前記階調変換処理後の少なくとも一方における前記画像の画素の画素値に基づいて、ノイズの低減度合いを調整することを特徴とする制御装置。
  30. 請求項28において、
    前記ノイズ低減処理部は、
    前記階調変換処理前後における前記画像の画素の画素値の変化に基づいてノイズの低減度合いを調整し、
    前記画素値の前記変化は、
    前記階調変換処理前後における前記画素値の差及び比の少なくとも一方であることを特徴とする制御装置。
  31. 請求項30において、
    前記ノイズ低減処理部は、
    前記画素値の前記変化が大きいほど前記ノイズの低減度合いを強くすることを特徴とする制御装置。
  32. 請求項25において、
    前記画像処理部は、
    前記画像に対してゲインをかける処理を行い、
    前記自動露光制御部は、
    前記ゲインを制御することにより前記自動露光の制御を行うことを特徴とする制御装置。
  33. 被写体に対して照射するための光を出射する光源部と、
    前記被写体に照射された前記光の反射光を受光する撮像光学系により、前記被写体の像を含む画像の撮像を行う撮像部と、
    前記画像が撮像された際の前記撮像光学系の画角を表す画角情報を取得する画角情報取得部と、
    取得された前記画角情報に基づいて自動露光の制御を行う自動露光制御部と、
    を含み、
    前記自動露光制御部は、
    前記画角情報に応じたサイズの自動露光領域を、前記画像に対して設定する自動露光領域設定部と、
    前記自動露光領域内の画素に対する重みを、自動露光重みとして設定する自動露光重み設定部と、
    を有し、
    前記自動露光制御部は、
    前記自動露光領域内の画素の画素値と前記自動露光重みとに基づいて、前記画像における露光状態を評価するための自動露光評価値を算出し、算出した前記自動露光評価値に基づいて前記自動露光の制御を行うことを特徴とする内視鏡装置。
  34. 内視鏡装置が、被写体に照射された光の反射光を受光する撮像光学系による撮像により、前記被写体の像を含む画像を取得し、
    前記内視鏡装置が、前記画像が撮像された際の前記撮像光学系の画角を表す画角情報を取得し、
    前記内視鏡装置が、前記画角情報に応じたサイズの自動露光領域を、前記画像に対して設定し、
    前記内視鏡装置が、前記自動露光領域内の画素に対する重みを、自動露光重みとして設定し、
    前記内視鏡装置が、前記自動露光領域内の画素の画素値と前記自動露光重みとに基づいて、前記画像における露光状態を評価するための自動露光評価値を算出し、
    前記内視鏡装置が、算出した前記自動露光評価値に基づいて自動露光の制御を行うことを特徴とする内視鏡装置の作動方法
JP2011183593A 2011-08-25 2011-08-25 自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法 Active JP5814698B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011183593A JP5814698B2 (ja) 2011-08-25 2011-08-25 自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法
CN201280041426.0A CN103764013B (zh) 2011-08-25 2012-05-28 自动曝光控制装置、控制装置、内窥镜装置和自动曝光控制方法
PCT/JP2012/063594 WO2013027455A1 (ja) 2011-08-25 2012-05-28 自動露光制御装置、制御装置、内視鏡装置及び自動露光制御方法
EP12825059.4A EP2749202B8 (en) 2011-08-25 2012-05-28 Automatic exposure control device and automatic exposure control method
US14/098,316 US9462192B2 (en) 2011-08-25 2013-12-05 Automatic exposure control device, control device, endoscope device and automatic exposure control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011183593A JP5814698B2 (ja) 2011-08-25 2011-08-25 自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法

Publications (3)

Publication Number Publication Date
JP2013042998A JP2013042998A (ja) 2013-03-04
JP2013042998A5 JP2013042998A5 (ja) 2014-09-25
JP5814698B2 true JP5814698B2 (ja) 2015-11-17

Family

ID=47746210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011183593A Active JP5814698B2 (ja) 2011-08-25 2011-08-25 自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法

Country Status (5)

Country Link
US (1) US9462192B2 (ja)
EP (1) EP2749202B8 (ja)
JP (1) JP5814698B2 (ja)
CN (1) CN103764013B (ja)
WO (1) WO2013027455A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9456735B2 (en) * 2012-09-27 2016-10-04 Shahinian Karnig Hrayr Multi-angle rear-viewing endoscope and method of operation thereof
KR20150049585A (ko) * 2013-10-30 2015-05-08 삼성전자주식회사 용종 검출 장치 및 그 동작방법
KR102278806B1 (ko) * 2014-03-17 2021-07-19 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 조직 접촉 검출과 자동-노출 및 조명 제어를 위한 시스템 및 방법
CN104580923A (zh) * 2014-12-30 2015-04-29 重庆金山科技(集团)有限公司 电子内窥镜曝光装置及曝光方法
US10623651B2 (en) 2015-02-12 2020-04-14 Sony Corporation Image processing device, image processing method, and image processing system
JP6450832B2 (ja) * 2015-03-17 2019-01-09 浜松ホトニクス株式会社 蛍光画像生成装置及び蛍光画像生成方法
JP6574105B2 (ja) * 2015-04-28 2019-09-11 Hoya株式会社 内視鏡装置および内視鏡システム
CN104917976B (zh) * 2015-06-05 2018-08-21 北京大恒图像视觉有限公司 一种相机自动曝光和自动增益调节方法
EP3563752B1 (en) * 2015-07-13 2023-11-01 Sony Group Corporation Medical observation device and a method of exposure control of an imaging section of a medical observation device
JP6234638B2 (ja) * 2015-12-17 2017-11-22 オリンパス株式会社 ビデオプロセッサ
JP2017118296A (ja) * 2015-12-24 2017-06-29 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
US9986169B2 (en) 2016-02-04 2018-05-29 KARL STORZ, Imaging, Inc. Exposure control method and system for an image capture device
US20170296037A1 (en) * 2016-04-14 2017-10-19 Olympus Corporation Endoscope apparatus
WO2017183339A1 (ja) * 2016-04-21 2017-10-26 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2018143400A (ja) * 2017-03-03 2018-09-20 ソニー株式会社 画像処理装置および方法、並びに内視鏡システム
JP2018157918A (ja) 2017-03-22 2018-10-11 ソニー株式会社 手術用制御装置、制御方法、手術システム、およびプログラム
US11463629B2 (en) 2017-06-12 2022-10-04 Sony Corporation Medical system, medical apparatus, and control method
CN111343387B (zh) * 2019-03-06 2022-01-21 杭州海康慧影科技有限公司 一种摄像设备的自动曝光方法及装置
JP7281308B2 (ja) * 2019-03-07 2023-05-25 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
WO2020215274A1 (zh) * 2019-04-25 2020-10-29 深圳市大疆创新科技有限公司 无人机及其拍摄控制方法
CN113691720B (zh) * 2020-05-19 2023-05-12 浙江宇视科技有限公司 一种激光云台摄像机的聚焦方法、装置、存储介质及设备
JP2022020501A (ja) 2020-07-20 2022-02-01 ソニーグループ株式会社 医療用アーム制御システム、医療用アーム制御方法及びプログラム
US11375141B1 (en) 2021-02-09 2022-06-28 Arthrex, Inc. Endoscopic camera region of interest autoexposure
CN112887630A (zh) * 2021-04-06 2021-06-01 南昌欧菲光电技术有限公司 自动曝光方法及电子设备、计算机可读存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0789178B2 (ja) * 1986-12-19 1995-09-27 オリンパス光学工業株式会社 外付けカメラを用いた内視鏡用自動調光装置
JP3199793B2 (ja) * 1991-11-11 2001-08-20 オリンパス光学工業株式会社 撮像装置
JPH05313224A (ja) 1992-05-12 1993-11-26 Ricoh Co Ltd カメラ用自動露出決定装置
JPH10239740A (ja) * 1997-02-28 1998-09-11 Toshiba Corp 内視鏡装置
JP4464518B2 (ja) * 2000-03-14 2010-05-19 オリンパス株式会社 内視鏡
JP2005124755A (ja) * 2003-10-22 2005-05-19 Olympus Corp 内視鏡用画像処理装置
CN100339042C (zh) * 2003-11-12 2007-09-26 奥林巴斯株式会社 内窥镜
GB2417381A (en) 2004-08-20 2006-02-22 Apical Limited Dynamic range compression preserving local image contrast
JP2007014695A (ja) * 2005-07-11 2007-01-25 Olympus Medical Systems Corp 内視鏡装置
JP2009219719A (ja) * 2008-03-18 2009-10-01 Fujifilm Corp 内視鏡装置
EP2385407B1 (en) 2009-01-21 2019-03-13 Olympus Corporation Optical system
WO2010084914A1 (ja) 2009-01-21 2010-07-29 オリンパス株式会社 光学素子及びそれを用いた光学ユニット
JP5289987B2 (ja) * 2009-01-21 2013-09-11 オリンパス株式会社 光学素子及びそれを用いた光学ユニット
JP2011010131A (ja) * 2009-06-26 2011-01-13 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP5855358B2 (ja) 2011-05-27 2016-02-09 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法

Also Published As

Publication number Publication date
JP2013042998A (ja) 2013-03-04
CN103764013B (zh) 2016-05-04
WO2013027455A1 (ja) 2013-02-28
US20140092226A1 (en) 2014-04-03
EP2749202A4 (en) 2015-04-15
US9462192B2 (en) 2016-10-04
EP2749202A1 (en) 2014-07-02
EP2749202B1 (en) 2016-09-14
EP2749202B8 (en) 2016-10-26
CN103764013A (zh) 2014-04-30

Similar Documents

Publication Publication Date Title
JP5814698B2 (ja) 自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法
US9498153B2 (en) Endoscope apparatus and shake correction processing method
JP5855358B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
EP2926718B1 (en) Endoscope system
JP6168879B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP5865606B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP5953187B2 (ja) 合焦制御装置、内視鏡システム及び合焦制御方法
JP5698476B2 (ja) 内視鏡システム、内視鏡システムの作動方法及び撮像装置
US20120105612A1 (en) Imaging apparatus, endoscope apparatus, and image generation method
JP6137921B2 (ja) 画像処理装置、画像処理方法及びプログラム
US9513221B2 (en) Fluorescence observation apparatus
US20110228064A1 (en) Endoscope system, imaging apparatus, and control method
JP6132901B2 (ja) 内視鏡装置
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP5940306B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
US20120071718A1 (en) Endoscope apparatus and method of controlling endoscope apparatus
JPWO2016039269A1 (ja) 内視鏡システム、内視鏡システムの作動方法
WO2016088628A1 (ja) 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
US7822247B2 (en) Endoscope processor, computer program product, endoscope system, and endoscope image playback apparatus
JP2022050280A (ja) 撮像制御装置、内視鏡システム、および撮像制御方法
JP2016106932A (ja) 内視鏡画像処理装置、内視鏡画像処理方法、プログラム、及び、内視鏡システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140808

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150918

R151 Written notification of patent or utility model registration

Ref document number: 5814698

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250