JP6168879B2 - 内視鏡装置、内視鏡装置の作動方法及びプログラム - Google Patents

内視鏡装置、内視鏡装置の作動方法及びプログラム Download PDF

Info

Publication number
JP6168879B2
JP6168879B2 JP2013134769A JP2013134769A JP6168879B2 JP 6168879 B2 JP6168879 B2 JP 6168879B2 JP 2013134769 A JP2013134769 A JP 2013134769A JP 2013134769 A JP2013134769 A JP 2013134769A JP 6168879 B2 JP6168879 B2 JP 6168879B2
Authority
JP
Japan
Prior art keywords
unit
illumination
light
distance information
distribution pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013134769A
Other languages
English (en)
Other versions
JP2015008785A (ja
Inventor
成康 小林
成康 小林
滝沢 一博
一博 滝沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013134769A priority Critical patent/JP6168879B2/ja
Priority to US14/314,110 priority patent/US9763558B2/en
Publication of JP2015008785A publication Critical patent/JP2015008785A/ja
Application granted granted Critical
Publication of JP6168879B2 publication Critical patent/JP6168879B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Description

本発明は、内視鏡装置、内視鏡装置の作動方法及びプログラム等に関する。
電子内視鏡の主要被写体は体内画像であるが、体内には外光が及ばない。よって、内視鏡装置を用いて撮像画像を取得する場合には、内視鏡装置が被写体に照明光をあてる必要がある。そして当該照明光の照射により取得される撮像画像の視認性を高めるためには、照射の際に観察部位が適正露光になっていることが求められる。
例えば、特許文献1には被写体に対して適正露光を確保する手法が開示されている。特許文献1に開示されている手法は、光電センサと対象物との距離データを検出し、この距離データに基づいて照明光の照明光量、及び照明方向を制御することで、常に一定の最適な照明条件下で対象物を観察する、というものである。
特開昭62−161004号公報
特許文献1は、ロボットによる部品のパターン認識を主要な目的としている。一方、内視鏡観察の主要な目的は病変部の検出であるが、パターンマッチングのような自明の被写体を探し出すわけではない。その点では、撮影画像全体が被写体であるといえるため、画面中の一点を好適な照明条件にするのではなく、画面全体が均一に照明されるようになっている必要がある。
しかし、照明光の照明条件を制御した場合でも、多くの場合画像内の輝度ムラが発生する。特に複数の光源を用いて配光パターンを制御する場合には、個々の照射口における照射領域の境界付近で画像の輝度が低くなる。このようにして生じる輝度ムラを解消し、画面全体を均一に照明することを考慮しなければ、内視鏡装置における適正露光を実現することは難しい。
本発明の幾つかの態様によれば、距離情報に基づいて照明光の配光パターンを決定し、当該配光パターンに従った照明光を照射するとともに、撮像画像に対して階調補正処理を施すことで、生体内画像の撮像において適正露光を実現する内視鏡装置、内視鏡装置の作動方法及びプログラム等を提供することができる。
本発明の一態様は、被写体を撮影する撮像部と、前記被写体を照明する照射口を有する照明部とが先端部に設けられる内視鏡スコープと、前記内視鏡スコープの前記先端部から、前記被写体までの距離情報の取得処理を行う距離情報取得部と、取得した前記距離情報に基づいて、前記照明部から照射する照明光の配光パターンを決定する配光パターン決定部と、前記撮像部が取得した撮像画像に対して、階調補正処理を施す階調補正部と、を含む内視鏡装置に関係する。
本発明の一態様では、距離情報に基づいて照明光の配光パターンを決定するとともに、撮像画像に対して階調補正処理を施す。よって、配光パターンを用いた被写体に照射される光量の制御と、撮像された画像に対する階調補正処理に両方を実行するため、生体内画像の撮像において効果的に適正露光を実現すること等が可能になる。
また本発明の他の態様は、被写体を撮影する撮像部と、前記被写体を照明する照射口を有する照明部とが先端部に設けられる内視鏡スコープを含む内視鏡装置の作動方法であって、前記内視鏡スコープの前記先端部から、前記被写体までの距離情報を取得する距離情報取得処理を行い、取得した前記距離情報に基づいて、前記照明部から照射する照明光の配光パターンを決定する配光パターン決定処理を行い、前記撮像部が取得した撮像画像に対して、階調補正処理を施す、内視鏡装置の作動方法に関係する。
また本発明の他の態様は、被写体を撮影する撮像部と、前記被写体を照明する照射口を有する照明部とが先端部に設けられる内視鏡スコープを含む内視鏡装置を動作させるプログラムであって、前記内視鏡スコープの先端から、前記被写体までの距離情報を取得するステップと、取得した前記距離情報に基づいて、前記照明部から照射する照明光の配光パターンを決定するステップと、前記撮像部が取得した撮像画像に対して、階調補正処理を施すステップと、を内視鏡装置に実行させるプログラムに関係する。
本実施形態に係る内視鏡装置の構成例。 距離情報に対するエリア分割の例。 内視鏡スコープの先端部の構成例。 距離情報の例。 図5(A)〜図5(C)は内視鏡装置の典型的な観察状態における内視鏡スコープと被写体との相対位置関係を説明する図。 距離情報の他の例。 エリア分割された距離情報の例。 各エリアの平均距離情報の例。 各エリアの平均距離情報及び全エリアでの平均距離情報に基づく変換結果の例。 距離情報のパターン分類例。 距離情報の他の例。 配光パターンの例。 本実施形態に係る内視鏡装置の他の構成例。 本実施形態に係る内視鏡装置の他の構成例。 本実施形態に係る内視鏡装置の他の構成例。 本実施形態に係る内視鏡装置の他の構成例。 図17(A)〜図17(C)はゲインマップを用いた処理に関するタイムチャート。 図18(A)は内視鏡スコープの先端部の他の例、図18(B)は撮像画像における各照射口の照射範囲の例。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の手法
まず本実施形態の手法について説明する。上述したように内視鏡装置による生体内画像の撮像においては、太陽光等の環境光が被写体に到達しないため、内視鏡装置の照明部により照明光を照射する必要がある。その場合、観察すべき被写体に照射される光量が強すぎれば、当該被写体は撮像画像において明るく撮像されすぎる(例えば輝度値が高すぎて白飛びする)ため観察に適した状態と言えない。同様に、光量が弱すぎれば当該被写体は撮像画像において暗く撮像されすぎる(例えば輝度値が低すぎて黒つぶれする)ため観察に適した状態でない。つまり、照明光(照射光)の照射は観察部位が適正露光となるように行われる必要がある。
しかし、太陽光等の環境光ではなく照明部から照射される照射光を用いる場合には、被写体まで到達する光量が、照明部から当該被写体までの距離に大きく左右される。具体的には、照明部から近い被写体は明るく撮像され、照明部から遠い被写体は暗く撮像される。よって照明部から観察対象である被写体までの距離情報に基づいて照明部を制御することで、適正露光を実現する手法が効果的であると考えられる。
例えば特許文献1には、光電センサと対象物との距離データを検出し、この距離データに基づいて照明光の照明光量及び照明方向を制御する手法が開示されている。しかし特許文献1は、ロボットの部品等を撮像する場面を想定している。よって、撮像画像には所望の部品以外も撮像されることが想定されるが、部品が適正露光であればよく、撮像画像中の部品以外を撮像した領域についての露光は考慮していない。その点、内視鏡装置の撮像においては、生体内をスクリーニングして病変部を探索する用途を想定すればわかりやすいように、撮像段階において明確に注目すべき領域を決定することは難しい。よって特許文献1のように特定被写体を適正露光とする手法を内視鏡装置に適用したとしても、撮像画像における被写体の視認性向上には効果的であるとは言えない。
また、特許文献1の図2を参照すればわかるように、特許文献1では撮像部(TVカメラ)と照明部(照明装置)が必ずしも一体として設けられる必要はない。さらに、照明部が駆動装置(照明装置用駆動装置)により照明方向を変更できる構成となっており、これにより所望の被写体についての適正露光を実現している。その点、内視鏡装置の撮像においては、撮像部及び照明部は体内に挿入される内視鏡スコープに設けられるものであるため、患者の負担を考慮すれば、当該内視鏡スコープを細くする構成とすることが求められる。そのため、撮像部と照明部の位置関係が限定されたり、照明部の照明方向を変更する駆動部を設けることができないといった可能性が高く、この点でも特許文献1の手法を適用したとしても効果的でないといえる。
そこで本出願人は、内視鏡スコープから被写体までの距離を表す距離情報に基づいて、配光パターンを決定し、決定した配光パターンに従った照明光を照射する手法を提案する。ここで配光パターンとは、照明部の各照射方向における照射光の強度(光量)をパターン化したデータのことである。例えば、撮像画像を取得した場合に、当該撮像画像において右部に撮像される被写体に対して照射される光量、当該撮像画像において左部に撮像される被写体に対して照射される光量、当該撮像画像において中央部に撮像される被写体に対して照射される光量、の3つを定義できる場合であれば、(左部光量,中央部光量,右部光量)により表される情報が配光パターンとなる。
例えば、図3を用いて後述するように、照明部がそれぞれ異なる領域を照射する複数の照射口を有する場合には、配光パターンは各照射口から照射される光量を決定するデータとなる。具体的には、5つの照射口を有する場合であれば、照射光の程度を表す情報(図12の例であれば、基準光量に対して「同じ」、「暗く」、「明るく」という情報)を5つ組み合わせることで1つの配光パターンを表す。図12のパターン1のように「同じ、同じ、同じ、同じ、同じ」という情報も1つの配光パターンであるし、パターン2のように「暗く、暗く、暗く、暗く、明るく」という情報も1つの配光パターンである。
なお、以下では照明部が複数の照射口を有する例について説明するが、各方向に対する照射光を制御する手法はこれには限定されない。例えば、レンズやフィルタ等の光学系を用いることで、各方向に対する照射光の光量を制御してもよい。その場合であっても、配光パターンが、照明部の各照射方向における照射光の光量をパターン化したデータである点は同様である。
また本出願人は、上記配光パターンに基づく照射光の照射に加えて、取得された撮像画像に対して階調補正処理を行う手法を提案する。上述したように内視鏡装置では内視鏡スコープを細く構成するために、照明部の構成は簡素化されやすい。そのため、配光パターンとして複雑なパターンを設定することは困難であり、例えば上述した3方向や5方向の光量を規定するシンプルなパターンを用いることになる。それに対して、生体はヒダ等の凹凸を有するように複雑な形状をしており、内視鏡スコープから各被写体までの距離を表す距離情報(狭義には距離マップ)は複雑なものとなりやすい。そのため、配光パターンを用いただけでは適正露光とすることができない領域が発生する可能性がある。
また、複数の照射口を用いる手法においては、所与の照射口からの照射光は当該照射口の正面方向では強いのに対して、当該正面方向から離れるに従って弱くなる。そのため、被写体によっては全ての照射口からの照射光が充分届かないことで極端に暗くなってしまったり、逆に複数の照射口からの照射光が到達することで周囲に比べて明るくなってしまう。この場合にも、配光パターンだけでは適正露光とできない可能性があると言える。例えば、内視鏡スコープの先端部が図18(A)に示したように、撮像部に対応する対物レンズ16と、2つの照射口12a,12bを有する構成である場合には、図18(B)に示したように、照射口12aが撮像画像の右側領域を照射し、照射口12bが撮像画像の左側領域を照射する。この場合、各照射口からの照射光は、照射範囲を表す円形領域の中心部で強く、当該中心部から離れるほど弱くなる。結果として、いずれの照射範囲の中心部からも遠い斜線で示した領域等では、光量が少なく、配光パターンを用いた適正露光が難しい可能性が考えられる。
つまり、シンプルな照明部の構成、シンプルな配光パターンを用いることで、適正露光とすることができない領域が発生する可能性があるため、本実施形態では当該領域に対しては階調補正処理を用いて対応するものとする。
本実施形態は、図1に示したように、被写体を撮影する撮像部11と、被写体を照明する照射口を有する照明部14とが先端部に設けられる内視鏡スコープ1と、内視鏡スコープ1の先端部から、被写体までの距離情報の取得処理を行う距離情報取得部21と、取得した距離情報に基づいて、照明部14から照射する照明光の配光パターンを決定する配光パターン決定部22と、撮像部11が取得した撮像画像に対して、階調補正処理を施す階調補正部23を含む内視鏡装置に関係する。
これにより、配光パターンを用いることで距離に応じた露光状態の違いを照明部の制御により調整しつつ、撮像画像に対して階調補正処理を行うことで照明部で補いきれない領域についても適正露光を実現する。よって、特許文献1の例と異なり撮像画像の広い範囲(狭義には撮像画像全体)で適正露光とすることを求められる内視鏡装置においても、所望の露光状態を実現し、被写体の視認性を高めること等が可能になる。
以下、第1。第2の実施形態について説明する。第1の実施形態では配光パターンによる照明部の制御及び階調補正処理を併用する基本的な手法を説明する。また、第2の実施形態では、階調補正処理において作成されるゲインマップを他の処理において利用する手法について説明する。ゲインマップは具体的には、ノイズ低減処理、配光パターンの決定処理、光源の光量制御等に用いられる。
2.第1の実施形態
第1の実施形態について説明する。具体的には、本実施形態に係る内視鏡装置のシステム構成例を説明した後、距離情報に基づく配光パターンの決定処理、変形例について説明する。
2.1 システム構成例
図1に本実施形態に係る内視鏡装置のシステム構成例を示す。本実施形態の内視鏡装置は、内視鏡スコープ1と、プロセッサ部2と、表示部3と、光源部4とを含む。ただし、内視鏡装置、及び内視鏡装置の各部は図1の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
内視鏡スコープ1は、CCDセンサなどで構成される撮像部11と、光源からの光を被写体に照射する照明部14を含む。そして照明部14は、光源からの光の射出口となる照射口12と、照射口12のそれぞれの光量を調整する為の偏光手段13を有している。なお、本実施形態では、撮像部11はCCD等のイメージセンサを2枚有しており、被写体の像をそれぞれの撮像素子を左右の画像(ステレオ画像)として出力する。
プロセッサ部2は、内視鏡スコープ1からの画像信号を、観察に好適なデータに変換する画像処理を行う。表示部3はCRTや液晶モニタ等の動画表示可能な装置である。光源部4は、ハロゲンランプまたはLEDなどの光源を有しており、光ファイバ等で構成されたライトガイドケーブル41により内視鏡スコープ1の先端から光を照射する。
次にプロセッサ部2について詳細に説明する。プロセッサ部2は図1に示したように、距離情報取得部21と、配光パターン決定部22と、階調補正部23と、画像処理部24を含む。
距離情報取得部21は、撮像部11より取得したステレオ画像データから、内視鏡スコープ1の先端から被写体(図1には不図示)までの距離を表す距離情報を取得する。ここでの距離情報は、画素単位に距離値(当該画素に対応する被写体までの距離を表す信号値)を記憶した距離マップでもよいし、距離を表す他の情報であってもよい。
距離情報取得部21は、取得したステレオ画像データを構成する左右の画像を比較して距離情報を算出し、配光パターン決定部22に出力する。距離情報の取得には、例えばステレオマッチングのような技術を適用すればよい。具体的には、距離情報取得部21は、例えば撮像されたステレオ画像を構成する左画像を基準画像とし、左画像の局所領域の中央に位置する注目画素を通るエピポーラ線上で右画像の局所領域とのマッチング演算を行い、最大相関となる位置を視差として算出する。距離情報取得部21では更に算出された視差をZ方向の距離に変換して距離情報(狭義には距離マップ)を取得する。ただし、ステレオ画像を用いた距離情報の取得処理であるステレオマッチングについては、種々の手法が知られており、本実施形態ではそれらの任意の手法を適用可能であるため、距離情報取得処理の詳細については省略する。
配光パターン決定部22は、算出した距離情報から内視鏡スコープ1の配光パターンを決定し、偏光手段制御信号を出力する。距離情報に基づく配光パターンの決定処理の詳細については後述する。
階調補正部23は、撮像部11より取得したステレオ画像データに、適応的階調補正処理、例えば、レティネックスアルゴリズムを用いた補正処理を施す。具体的には、輝度値が小さい画素に対しては大きいゲイン値(ゲイン量)を設定し、輝度値が大きい画素に対しては小さいゲイン値を設定することで、撮像画像の各画素に対応したゲインマップを作成し、当該ゲインマップにより表されるゲイン値によるゲインアップ処理を行うものであってもよい。このようにすれば、配光パターンを用いた照明部14の制御によっても充分な明るさとならなかった被写体(輝度値が小さくなった撮像画像内の領域)の視認性を高めることが可能になる。レティネックスアルゴリズム等の階調補正処理については広く知られているため、これ以上詳細な説明については省略する。
画像処理部24は、階調補正部23で画像処理されたステレオ画像データに、観察に適した画像にするための種々の画像処理や、表示部3で表示するための画像サイズ変換等を施す。
2.2 配光パターンの決定処理
次に、配光パターンの決定処理について説明する。配光パターン決定部22は、距離情報取得部21から受信した距離情報に基づいて、距離マップを作成し、撮影画像に対して当該距離マップの値に応じて近距離、遠距離の検出を行う。配光パターン決定部22は、求めた検出結果に基づいて配光パターンを決定する。以下、配光パターン決定部22の具体的な動作について説明する。
配光パターン決定部22は、受信した距離情報から距離マップを作成し、9個のエリアに分割する。次に各エリアの平均距離情報の算出を行う。算出方法は、各エリアにおける総距離情報を総距離情報数で割る等の一般的に用いられている手法を用いる。ここで、総距離情報とは、エリアに含まれる距離値の総和を表し、総距離情報数とはエリアに含まれる距離値の数(例えば距離マップのうちのエリア内の画素数に相当)を表す。
そして、全エリアの平均距離情報を同じく算出し、各エリアの平均距離情報と全エリアの平均距離情報を比較して、各エリアの遠近を0(近)と1(遠)と2(同)とした遠近値に変換する。各エリアの遠近値を、予め決めたエリア番号と桁位置を順番どおりに組み合わせ9桁の距離データとして変換する。ここで、各エリアの番号は、例えば図2に示したものである。
配光パターン決定部22は、予め照明部14の照射口の数および位置に関する情報を保有しており、保有した情報と、算出した距離データとの組み合わせにより配光パターンを選択する。
次に具体例を用いて配光パターンの選定方法を示す。内視鏡スコープ1の先端部の構成例を図3に示す。図3の12a〜12eは照明の照射口、15a〜15bは処置具を通すための鉗子口、16a〜16bは撮像用の対物レンズである。
内視鏡スコープ1が食道や大腸などの管腔を観察している場合、ステレオ画像データから求められる距離情報は図4のようになる。管腔の観察においては、内視鏡スコープ1と被写体である管腔壁面との位置関係は図5(A)に示したようになるため、撮像部11の光軸方向にある被写体までの距離は大きくなり、当該光軸方向とは離れた方向にある被写体までの距離は近くなる。光軸方向の被写体は撮像画像の中央部に撮像され、光軸方向から離れるほど被写体は撮像画像の周縁部に撮像されることが一般的であることから、距離マップは図4となるものである。なお、図4では距離が遠いほど暗く(黒く)、距離が近いほど明るく(白く)表すものとしている。
距離情報取得部21は、受け取ったステレオ画像データとステレオマッチングなどの手法を用いて、図4に示したような距離情報を配光パターン決定部22に出力する。配光パターン決定部22は、受け取った距離情報から図6に示したような距離マップを作成する。図6の距離値は10段階で表しているが、これに限定されないことはいうまでもない。図6においては、例えば1はもっとも近い距離であることを示し、10はもっとも遠い距離であることを示す。図6は図4の距離情報に対応する例であり、中央付近に8〜10の値(遠距離)が多く、周辺部は1〜2の値(近距離)が多くなっている。
なお、以上の説明では距離情報取得部21では図4に示すような情報を取得し、配光パターン決定部22において図4に比べて粒度の低い情報である図6を求めるものとしたがこれに限定されない。例えば、配光パターン決定部22においても図4を用いて以下で説明する処理を行ってもよい。或いは、詳細な距離情報が不要であれば距離情報取得部21において、図6に示したような粗い情報を取得してもよい。また、本実施形態における距離情報とは、図4と図6の両方を含む概念である。
次に配光パターン決定部22は、算出した距離情報を用いて、全エリアについての平均距離情報を算出する。それとともに、距離情報を図7に示すように9分割し、各エリアの平均距離情報を算出する。算出した各平均距離情報の例を図8に示す。
次に、全エリアでの平均距離情報と、各エリアの平均距離情報を比較する。エリア1〜4とエリア6〜9の平均距離情報は、全エリアでの平均距離情報よりも値が小さいことから近距離と判断し、エリア1〜4とエリア6〜9の遠近判定を0(近)とする。さらに、エリア5は、全エリアの平均距離情報よりも値が大きいことから遠距離と判断し、エリア5の遠近判定を1(遠)とする。以上の比較結果を遠近の値に変換した結果を図9に示す。
さらに、配光パターン決定部22は、変換した値をエリア番号順に9桁の距離値に変換する。図9の例であれば、「000010000」という情報になる。次に配光パターン決定部22は、変換した9桁の値を用いて、予め撮像部の照射口の数と位置とに合わせて配光パターンのテーブルを決定する。
9桁に対応した距離情報の種類は、3の9乗となり約2万種が存在することになってしまうが、実際にそれだけの種類の距離情報を考慮する必要はない。なぜなら、内視鏡における観察状態は、幾つかの典型例により表すことが可能なためである。典型例を図10のパターン1〜パターン5に示す。パターン1は、図5(B)に示したように、壁面に対して正対して観察をしている状態であり、この場合、光軸方向の被写体までの距離と、光軸方向から離れた方向の被写体までの距離の差はさほど大きくない。結果として、図5(B)の観察状態ではパターン1に示したように全体の距離がほぼ同じ状態となる。また、図5(A)を用いて上述したように、管腔に沿った方向で観察している状態では、パターン2に示したように、光軸方向(中央)の被写体までの距離が遠いのに対して、光軸方向から離れる方向(周縁部)の被写体までの距離が近い。結果として図4や図10のパターン2に示したように、エリア5の距離値が大きく、他のエリアは同じ値であり、当該値はエリア5よりも小さい。
そして、図5(A)、図5(B)以外の観察状態としては、図5(A)と図5(B)の中間状態を考えればよく、具体的には図5(C)に示したように壁面に対して斜めになっている状態となる。図5(A)、図5(B)及び図5(C)を考えれば、内視鏡装置における典型的な観察状態はカバー可能である。ただし、壁面に対して斜めとなる状態としては、撮像画像において左右方向で距離が異なる場合、上下方向で距離が異なる場合、斜め方向(左上から右下、或いは右上から左下)で距離が異なる場合が考えられるため、パターン3〜5の3つに分類するものとする。パターン3であれば、図11に示したように縦方向での距離値は同じであるのに対して、横方向での距離値が異なる。パターン4であれば、横方向での距離値は同じであるのに対して、縦方向の距離値が異なる。パターン5であれば、周縁部のエリアは近いエリア(図10の例であればエリア1)、最も遠いエリア(エリア9)、中間のエリア(エリア3,7)があるが、その平均をとると中央のエリア(エリア5)に近い値となる。
配光パターン決定部22は、パターン1〜5の各パターンの特徴に基づいて、取得した距離情報がどのパターンに該当するかを判定する。例えば中央を示す5桁目が1(遠)で、他が0(近)もしくは2(同)であればパターン2であると判定する。また、左側面を示す1桁、4桁、7桁目が同じ1(遠)で、順に右側面を示す2桁、3桁目が、2(同)もしくは0(近)であればパターン3であると判定する。
配光パターン決定部22は、距離情報のパターンの判定結果に基づいて、当該距離情報のパターンに対応する配光パターンを決定する。内視鏡スコープ1の先端部が図3に示した構成である場合、すなわち照明部14が上下左右中央の5つの照明口を有する場合の距離情報のパターンと配光パターンの関係を図12に示す。
基本的な方針としては、距離が遠い被写体に対しては照射光の光量を増やし、距離が近い被写体に対しては照射光の光量を減らすような配光パターンを決定すればよい。そのため、距離情報がパターン1であれば、全ての照射口からの照射光の光量を、基準光量と同じにすればよい。
また、パターン2のように周辺が近く、中央部が遠い(例えば9桁の値が「000010000」となる)場合には、周辺部を暗くする為、照射口12a〜12dの光量を少なくし、中央部を明るくする為、照射口12eの光量を多くする配光パターンを選択する。
同様に距離情報がパターン3であり、特に図10に示したように左部が近く右部が遠い場合には、配光パターン決定部22は、左部を暗くする為、照射口12dの光量を少なくし、右部を明るくする為、照射口12bの光量を多くし、その他の照射口は基準光量と同じとする配光パターンを選択する。なお、パターン3において図10の例とは異なり、左部が遠く、右部が近い距離情報のパターンも考えられる。その場合には、照射口12bの光量を少なくし、照射口12dの光量を多くする配光パターンが選択される。パターン4,5についても同様であり、明るい側と暗い側が変化することがあり得るため、配光パターンもそれに合わせて変更する必要がある。
配光パターン決定部22は、さらに選択した配光パターンに基づいて内視鏡スコープの偏光手段13(照射口が12a〜12eの5つであれば、変更手段も13a〜13eの5つになる)のそれぞれに偏光手段制御信号を出力し、照射口からの光量を調整する。
なお、内視鏡スコープ1の天地の認識が観察時ごとに変化するが、図3に示す内視鏡スコープ1の先端部の照射口12a〜12eと撮像用の対物レンズ16a〜16bの位置関係が変わることはない為、取得したステレオ画像データにおける上下左右の認識のまま、配光パターンの決定が可能である。
配光パターンの決定は、1フレームの距離情報がすべて算出された段階で行えばよい。しかし、内視鏡装置においてフレーム遅延が発生すると、被験者の体内を傷つける危険性があるため、フレーム遅延は極力回避すべきである。そこで、1フレーム前の距離情報マップとの差分を算出するなど、フレーム相関を用いて現フレームの距離情報を推定してもよい。
配光パターン決定部22の配光パターン決定処理に基づいて、被写体までの距離に応じて内視鏡スコープ1の照射口12a〜12eからの光量を調整することができ、観察視野内の被写体を一様に照明することが可能になる。
2.3 変形例
なお、本実施形態は種々の変更が可能である。例えば、上述の説明では内視鏡スコープ1の照射口12a〜12eを、図3で示す5箇所としたが、照射口の数は5箇所に限定する必要はない。照射口の数が多いほどきめ細かい制御が可能となる。一方、少ない場合には光量制御が粗くなるが、本実施形態における階調補正部23が配光制御の粗さを補う働きをするため、大きな性能低下はない。また、照明口を少なくすることで、内視鏡スコープ1を細く構成すること等が可能になる。
また、図1では、プロセッサ部2の初段に階調補正部23が配置されているが、接続順はこの限りではない。当然、何らかの画像処理を実施した後に階調補正部23による補正処理を実施してもよい。
さらに、距離情報取得の手法に関しても、種々の変更が考えられる。例えば本実施形態に係る内視鏡装置の構成は、図13に示すものであってもよい。図13では、撮像部11は単一イメージャであり、画像データもモノラル画像データである。この実施形態では、画像データ101の輝度信号そのものを距離情報の代替データとして扱う。すなわち、暗い画像は遠距離画像であると判定し、明るい画像は近距離画像であると判定するものとする。この場合、被写体の色の影響も受ける上、推定できる距離情報の精度もステレオマッチングを用いる場合に比べて低下することが想定されるが、内視鏡スコープ1自体のコストの低減等が可能である。
また、距離情報は測距センサを用いて取得してもよい。この場合の内視鏡装置の構成例を図14に示す。図14では、内視鏡スコープ1の先端部に距離センサ102が備え付けられており、距離センサ102から距離情報を直接取得している。センサの実装スペースを確保する必要は生じるが、精度の高い距離情報の取得が可能である。
2.4 第1の実施形態の具体例
以上の本実施形態では、内視鏡装置は図1に示したように、被写体を撮影する撮像部11と、被写体を照明する照射口12を有する照明部14とが先端部に設けられる内視鏡スコープ1と、内視鏡スコープ1の先端部から、被写体までの距離情報の取得処理を行う距離情報取得部21と、取得した距離情報に基づいて、照明部14から照射する照明光の配光パターンを決定する配光パターン決定部22と、撮像部11が取得した撮像画像に対して、階調補正処理を施す階調補正部23を含む。
ここで距離情報とは、内視鏡スコープ1から被写体までの距離を表す情報であり、照明部14からの照明光の配光パターンの決定処理に用いられることを考慮すれが、狭義には内視鏡スコープ1に設けられた照射口12から被写体までの距離を表す情報となる。具体的には、各画素に対して、当該画素に対応する被写体までの距離を表す値を持たせた距離マップ等であってもよく、さらに具体的には図4や図6、図11等の情報であってもよい。また、配光パターンとは上述したように照明部14の各照射方向における照射光の強度(光量)をパターン化したデータであり、例えば図12に示した情報である。
これにより、距離情報に基づいて配光パターンを決定することができるため、距離に応じた明るさの差異を吸収して撮像画像の広い領域で適正露光を実現することが可能になる。内視鏡装置のように環境光を用いずに自ら照射光を照射する装置においては、距離による明るさ変動が大きいことから特に有用である。さらに配光パターンを用いることで、照明部14の各照射方向(例えば図3の構成例であれば正面方向、上下方向、左右方向)での光量を制御できる。特許文献1のように照明部の照射方向(狭義には正面方向)自体を機械的に変更する場合では、当該照射方向以外の領域には充分な光が照射されないのに対して、本実施形態の手法を用いることで広い領域(例えば撮像画像全体に対応する領域)に対して適正露光を実現するだけの強度の光を照射することができる。さらに本実施形態では、階調補正処理を併用するものとしているため、照明部14の構成が図18(A)に示したように、シンプルなものであることに起因する明るさムラ(例えば図18(B)の斜線部が暗くなること)等についても対応でき、被写体の視認性向上等が可能となる。
また、照明部14は図3や図18(A)に示したように、少なくとも二つ以上の照明口(12a〜12e等)を有し、配光パターン決定部22は、二つ以上の照明口の各照射口から照射される照明光の光量を調整する情報を、距離情報に基づいて、配光パターンとして決定してもよい。
これにより、複数の照射口を有する照明部14を用いることで、本実施形態の手法を実現することが可能になる。本実施形態の手法では、図10の距離情報のパターン例に示したように、被写体の明るさ分布として種々の状態があると推定されるところ、当該種々の状態に適切に対応するという汎用性が必要がある。そのため、照明部14は各照射方向において、当該照射方向への光量を制御可能な構成とすることが好ましい。そしてそのような構成のうち容易に実現可能なものとしては、各照射方向に対応する複数の照射口を設けることが考えられる。この場合には、配光パターン決定部22で決定される配光パターンとは、複数の照射口の各照射口から照射される照明光の光量を調整(決定)する情報となる。具体的には、決定された配光パターンに従って偏光手段13が制御されることで、各照射口から照射される照明光の光量が調整される。
また、照明部14は、撮像画像の第1の領域に撮像される被写体に対して、第1の照明光を照明光として照射する第1の照明口と、撮像画像のうち第1の領域とは異なる第2の領域に撮像される被写体に対して、第2の照明光を照明光として照射する第2の照明口を有してもよい。そして配光パターン決定部22は、第1の照明口から照射される第1の照明光の光量と、第2の照明口から照射される第2の照明光の光量を調整する情報を、距離情報に基づいて、配光パターンとして決定する。
ここで第1の領域とは、図18(B)のように撮像画像が取得されるうちの右側に描かれた円領域であり、第2の領域とは図18(B)の左側に描かれた円領域であってもよい。ただし、第1の領域と第2の領域が異なるとは、2つの領域が一致することがないという意味であり、撮像画像中に第1の領域と第2の領域の両方に含まれるような重複領域があってもよい。
また、照明部14は、内視鏡スコープ1の先端部において、撮像部11に対して第1の方向側に設けられ、第1の照明光を照明光として照射する第1の照明口と、内視鏡スコープ1の先端部において、撮像部11に対して第1の方向側とは異なる第2の方向側に設けられ、第2の照明光を照明光として照射する第2の照明口を有してもよい。この場合にも、配光パターン決定部22は、第1の照明口から照射される第1の照明光の光量と、第2の照明口から照射される第2の照明光の光量を調整する情報を、距離情報に基づいて、配光パターンとして決定する。
ここで、第1の方向及び第2の方向とは、内視鏡スコープ1を平面視した場合に、当該平面に沿った方向のうちの異なる2つの方向を表す。例えば、図3や図18(A)は内視鏡スコープ1を平面視して図示したものであり、第1の方向とは例えば図18(A)における紙面右側であり、第2の方向とは例えば図18(A)における紙面左側である。
これにより、照明部14の各照射方向に対して、それぞれ照射口を対応づけることが可能になる。このようにすれば、第1の照射方向の光を第1の光量とし、第2の照射方向の光を第2の光量としたい場合には、各照射口からの光量を制御することにより実現可能となる。
また、撮像部11は図1の対物レンズ16に示したように、複数の視点を有し、複数の視点のそれぞれに対応する撮像画像を複数取得するものであってもよい。そして、距離情報取得部21は、取得された複数の撮像画像から得られる視差情報に基づいて、距離情報を取得する。
これにより、ステレオマッチング処理により距離情報を取得することが可能になる。図1に対物レンズ16を2つ示したように、ステレオ画像を取得するための構成は必要になるものの、距離情報の取得のために撮像部11以外の構成を設ける必要がない。例えば、3次元画像を表示する内視鏡装置等であれば、表示画像の生成においてステレオ画像を用いることになるため、配光パターン決定処理のための距離情報取得においても当該ステレオ画像を流用可能となり、効率的な構成により内視鏡装置を実現可能となる。
また、距離情報取得部21は、距離を測定する計測器(例えば図14に示した距離センサ102)からの距離情報を取得してもよい。
これにより、測距センサ等のような距離計測用の機器を用いて距離情報を取得することが可能になる。専用の機器を設ける必要は生じるものの、ステレオマッチング処理に比べて処理負荷が軽い。また、ステレオマッチング処理では画像のコントラストが低い場合等には視差情報及び当該視差情報を用いた距離情報の精度が低下するおそれがあるが、測距センサであれば画像の内容による影響を受けない。
また、以上の本実施形態は、被写体を撮影する撮像部と、被写体を照明する照射口を有する照明部とが先端部に設けられる内視鏡スコープを含む内視鏡装置の作動方法(或いは、内視鏡装置の制御方法、画像処理方法)であって、内視鏡スコープの先端部から、被写体までの距離情報を取得する距離情報取得処理を行い、取得した距離情報に基づいて、照明部から照射する照明光の配光パターンを決定する配光パターン決定処理を行い、撮像部が取得した撮像画像に対して、階調補正処理を施す内視鏡装置の作動方法(或いは、内視鏡装置の制御方法、画像処理方法)に適用できる。
なお、本実施形態の内視鏡装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、CPU等のプロセッサがプログラムを実行することで、本実施形態の内視鏡装置等が実現される。具体的には、非一時的な情報記憶装置に記憶されたプログラムが読み出され、読み出されたプログラムをCPU等のプロセッサが実行する。ここで、情報記憶装置(コンピュータにより読み取り可能な装置)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(DVD、CD等)、HDD(ハードディスクドライブ)、或いはメモリ(カード型メモリ、ROM等)などにより実現できる。そして、CPU等のプロセッサは、情報記憶装置に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち、情報記憶装置には、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。
3.第2の実施形態
第2の実施形態について説明する。第2の実施形態では、階調補正部23で求められるゲインマップを他の処理において利用する手法について説明する。ゲインマップとは、上述したように輝度値が小さい画素に対しては大きいゲイン値を設定し、輝度値が大きい画素に対しては小さいゲイン値を設定することで作成される情報であり、撮像画像に対するゲインアップ処理を決定するものである。ゲインマップは具体的には、ノイズ低減処理、配光パターンの決定処理、光源の光量制御等に用いられる。
3.1 ゲインマップを用いたノイズ低減処理
図15に本実施形態に係る内視鏡装置のシステム構成例を示す。第1の実施形態と同一の機能を有するものに関しては、同一の符号を付与するとともに説明を省略する。本実施形態のプロセッサ部2は、第1の実施形態の構成に加えて、ノイズ低減部25を有している。ノイズ低減部25は、ステレオ画像データに重畳するランダムノイズを低減する機構を有している。
本実施形態の階調補正部23は、画像の領域ごとに設定するゲイン量を規定するゲインマップを算出し、階調補正を行っている。本実施形態では、階調補正部23はこのゲインマップ情報をノイズ低減部25に出力する。
ノイズ低減部25は、受信したゲインマップ情報の各ゲイン値を、所定の閾値と比較し、各閾値の範囲内にある画素ごとにエリア分けを行う。次にエリア分けしたエリアごとにノイズ低減レベル(ノイズ低減処理の強度)を決定し、ノイズ低減処理を施す。例えば、ゲイン値が大きいエリアに関しては、ノイズ低減レベルを強くする。乗算するゲインが大きいほどノイズも増加してしまうが、ゲインが大きい領域ではノイズ低減処理のレベルが高くなるため、ノイズの増加を抑止できる。つまり、ゲインマップを用いたノイズ低減処理を行う、すなわちゲインにあわせてノイズ低減レベルを可変することで、画像全体としての画質を向上させる。
画像処理部24は、第1の実施形態と同じく、受信したノイズ低減画像データに対して、所定の処理を行う。
なお本実施形態では、ノイズ低減処理を行うブロックをノイズ低減部25として、独立した形式で説明したが、ノイズ低減処理を画像処理部24で行うものとしてもよい。
3.2 ゲインマップを用いた光量制御
また、ゲインマップ情報を用いた処理はノイズ低減処理に限定されるものではない。図16にゲインマップを用いて光量制御を行う場合の内視鏡装置のシステム構成例を示す。
図16では、光源部4の発光量を制御する光量制御部301に階調補正部23から光量制御信号303が入力されている。階調補正部23は階調補正処理において求めたゲインマップのゲイン値を判定し、ゲイン値が所定の閾値を超える箇所が所定の比率を超過した場合に、光量制御部301に光量制御信号を出力し、次フレームの照明光を若干(5〜10%程度)明るくするように制御する。ただし、次フレームのステレオ画像データが明るすぎて白とびを起こすようならば、光量を元に戻す。
画像処理によるゲイン乗算は、ノイズの増加も引き起こすため、過大なゲインをかけることは望ましくない。ゲイン値が増える要因は、ステレオ撮像データが暗すぎることであるため、撮影環境を明るくすればゲイン値の増加を回避できる。本実施形態では、ゲイン値が大きい箇所の比率が大きい場合、すなわち画像処理によるノイズ増加が予測される場合に光量アップをはかっているため、ゲイン値を少なくすることができ、不要なノイズ増加を防止できる。
3.3 ゲインマップを用いた配光パターン決定処理
また、ゲインマップ情報を用いた配光パターン決定処理を行ってもよい。ゲインマップを用いた光量制御において上述したように、ゲイン値が大きい領域とは光量が足りていない領域であると推測することができる。逆にゲイン値が小さい領域とは充分な光量であると推測できる。
第1の実施形態においては距離情報に基づいて配光パターンを決定していたが、これは距離情報に基づいて被写体の光量の状態を推測し、当該推測の結果を用いて明るさを補償する照明光の制御を行っているものである。ここで、明るさを補償するとは、光量の足りないと推測される領域で光量を増加させ、光量が充分であると推測される領域で光量を減少させる処理である。すなわち、ゲインマップからも光量の状態を推測可能であるならば、距離情報を用いた場合と同様に、明るさを補償する配光パターンの決定処理をゲインマップに基づいて行うことが可能であると言える。
具体的には例えば、ゲインマップを図10に示した距離情報のパターンと同様に類型化し、どのゲインマップのパターンに該当するかを判定し、判定結果であるゲインマップのパターンに対応する配光パターンを決定すればよい。
なお、距離情報のパターンの判定と、ゲインマップのパターンの判定を独立に行い、2つの判定結果を複合して配光パターンを決定してもよい。或いは、距離情報とゲインマップの両方をパラメータとして用いて類型化を行ってもよく、距離情報及びゲインマップを用いた配光パターンの決定処理は、種々の変形実施が可能である。
3.4 ゲインマップについての補足説明
階調補正処理においては、各画素に作用されるゲイン値は、画像中の他の画素の画素値(例えば輝度値)等との関係に基づいて相対的に決定されるものである。つまり、各画素に対するゲイン値の集合であるゲインマップは、1枚の画像が作成されたタイミング以後でなければ作成することができない。
照射のタイミングと画像生成のタイミングを示すタイムチャートを図17(A)〜図17(C)に示す。図17(A)に示したように、光1の照射により画像1が生成(撮像)される場合には、上述したように画像1に基づくゲインマップは画像1の生成終了タイミングであるt1以降でなければ作成できない。つまり、画像1に対して生成したゲインマップを用いた階調補正処理を行うためには、当該階調補正処理はt1以降に開始することになり、階調補正処理後の画像が表示されるのは例えばt2等になる。画像1は光1の照射による画像であるから、図17(A)の例であれば照射タイミングと表示タイミングとが1フレームずれることになる。
よって、フレーム遅延を極力抑止すべきであるという考えを用いるのであれば、例えば図17(B)に示した手法を用いてもよい。図17(B)ではt1以降に作成される画像1に基づくゲインマップを、次のフレームで作成される画像である画像2に対して作用させる。ゲインマップが事前に作成済みであれば、画像2に対する階調補正処理は画像2の生成処理と平行して行うことができるため、階調補正処理後の画像2は光2の照射終了タイミングからの遅延が非常に少ない状態で出力可能となる。ただし、画像2に対しては本来であれば画像2に基づいて作成されたゲインマップを用いるべきであるところ、1フレーム前の画像である画像1に基づくゲインマップを用いることになる。よって、図17(B)の手法は画像1と画像2で画像間の差異が少ない場合のように、画像1に基づくゲインマップと画像2に基づくゲインマップが近い場合に用いるとよい。
また、画像1に基づくゲインマップを画像2に対して用いることが適切でない場合には、図17(C)に示した手法等を用いてもよい。図17(C)では、種々の情報を用いて画像2に基づくゲインマップを、画像2の取得前に推測する。そして推測したゲインマップによる階調補正処理を画像2に対して行う。図17(C)の手法では、図17(B)と同様にフレーム遅延を回避可能である。さらにゲインマップの推定処理の精度が充分であれば、図17(B)の手法に比べて精度のよい階調補正処理を行うことが可能である。
ゲインマップの推定手法は種々考えられるが、例えばタイミングt1で取得される画像1に基づくゲインマップをベースとして、過去画像である画像1、画像2に対する照明光である光2を決定する配光パターン(光2の照射前に決定済み)等による補正処理を行うことが考えられる。或いは、配光パターン決定部22で決定した配光パターン情報を用いて、輝度ムラが解消されない状態を予測する手法でゲインマップの推定処理を行うこともできる。例えば内視鏡スコープ1の先端部の構成が図18(A)に示したように、撮像部に対応する対物レンズ16の左右に照射口12a、12bが設けられる場合を考える。この場合、撮像画像における各照射口の照射範囲(照明光が充分到達する範囲)は図18(B)に示したようになり、斜線で示した中央付近の上下は十分に光が届かないことが明白であり、当該領域ではゲイン値が大きくなることが推測できる。
3.5 第2の実施形態の具体例
以上の本実施形態では、内視鏡装置は図15に示したように、撮像画像に含まれるノイズ成分を低減するノイズ低減部25をさらに含み、ノイズ低減部25は、階調補正部23が階調補正処理において算出したゲインマップに基づいて、ノイズ低減処理のレベル、及びノイズ低減処理の処理対象領域の少なくとも一方の決定処理を行う。
具体的には、ノイズ低減部25は、ゲインマップにより表されるゲイン値が大きい領域に対するノイズ低減処理のレベルを、ゲイン値が小さい領域に対するノイズ低減処理のレベルに比べて高くする処理、及びゲイン値が大きい領域と、ゲイン値が小さい領域のうち、ゲイン値が大きい領域をノイズ低減処理の処理対象領域とする処理の少なくとも一方の処理を行ってもよい。
これにより、階調補正処理において求めたゲインマップを用いてノイズ低減処理を行うことが可能になる。ゲインマップにより表されるゲインが大きい領域とは、信号値(例えば輝度値)が小さく、当該領域の信号値をゲインにより持ち上げた場合には当該領域に含まれるノイズも大きくなってしまう。よってそのような領域に対してノイズ低減処理のレベルを高く設定する、或いはそのような領域をノイズ低減処理の処理対象領域とすることで、ゲインアップによるノイズの増大を抑止し、視認性の高い画像を提供すること等が可能になる。
また、配光パターン決定部22は、階調補正部23が階調補正処理において算出したゲインマップと、距離情報とに基づいて、照明光の配光パターンを決定してもよい。
具体的には、配光パターン決定部22は、ゲインマップにより表されるゲイン値が大きい領域に対して、ゲイン値が小さい領域に比べて、照射される照明光の光量が大きくなるように配光パターンを決定してもよい。
これにより、配光パターンの決定処理を、距離情報だけでなくゲインマップも用いて行うことが可能になる。ゲイン値が大きい領域は光量が足りていない可能性が高いため、当該領域に対する光量を強くする配光パターンを決定することで、当該領域を適正露光とすることが可能になる。
また、内視鏡装置は図16に示したように、照明光の光源の光量制御を行う光量制御部301をさらに含み、光量制御部301は、階調補正部23が階調補正処理において算出したゲインマップに基づいて、光源の光量制御を行ってもよい。
具体的には、光量制御部301は、ゲインマップにより表されるゲイン値が所与のゲイン閾値よりも大きい領域が、所与の領域閾値に比べて大きい場合に、光源の光量を大きくする光量制御を行ってもよい。
ここで、光量制御部301で制御される光量は、照明部14の各照射方向への光量に対して一律に寄与することを想定している。例えば、図15等のような構成であれば、各照射口12からの光量は、光源部4での光源の光量と、各照射口に対応する偏光手段13とにより決定される。この場合、光源の光量を強くした場合には、全ての照射口12からの光量も一律に強くなる。つまり、光量制御部301での制御は、配光パターン決定部22での配光パターンの決定処理とは異なる観点で行われる制御である。
これにより、光量が足りていないと推定される領域がある場合に、光源の光量制御により対応することが可能になる。ただし、上述したように光源の光量制御を行うと、各照射方向への光量が一律に強くなるため、元々明るい領域があった場合には当該明るい領域が明るくなりすぎる(撮像画像の対応する領域が白飛びする)可能性もある。よって白飛びを検出した場合には光源の光量を下げる等の制御を光量制御部301で行うことが好ましい。なお、光源の光量を大きくする光量制御は、上述したように、ゲイン値が一定以上大きい画素の割合と所与の閾値のと比較により行ってもよいし、ゲイン値の最大値と所与の閾値との比較により行ってもよく、種々の変形実施が可能である。
以上、本発明を適用した2つの実施の形態1〜2およびその変形例について説明したが、本発明は、各実施の形態1〜2やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態1〜2や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態1〜2や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
1 内視鏡スコープ、2 プロセッサ部、3 表示部、4 光源部、11 撮像部、
12 照射口、13 偏光手段、14 照明部、16 対物レンズ、
21 距離情報取得部、22 配光パターン決定部、23 階調補正部、
24 画像処理部、25 ノイズ低減部、41 ライトガイドケーブル、
102 距離センサ、301 光量制御部

Claims (17)

  1. 被写体を撮影する撮像部と、前記被写体を照明する照射口を有する照明部とが先端部に設けられる内視鏡スコープと、
    前記内視鏡スコープの前記先端部から、前記被写体までの距離情報の取得処理を行う距離情報取得部と、
    取得した前記距離情報に基づいて、前記照明部から照射する照明光の配光パターンを決定する配光パターン決定部と、
    前記撮像部が取得した撮像画像に対して、階調補正処理を施す階調補正部と、
    前記撮像画像に含まれるノイズ成分を低減するノイズ低減部と、
    を含み、
    前記ノイズ低減部は、
    前記階調補正部が前記階調補正処理において算出したゲインマップに基づいて、ノイズ低減処理のレベル、及び前記ノイズ低減処理の処理対象領域の少なくとも一方の決定処理を行うことを特徴とする内視鏡装置。
  2. 請求項において、
    前記ノイズ低減部は、
    前記ゲインマップにより表されるゲイン値が大きい領域に対する前記ノイズ低減処理の前記レベルを、前記ゲイン値が小さい領域に対する前記ノイズ低減処理の前記レベルに比べて高くする処理、及び、
    前記ゲイン値が大きい領域と、前記ゲイン値が小さい領域のうち、前記ゲイン値が大きい領域を前記ノイズ低減処理の前記処理対象領域とする処理の少なくとも一方の処理を行うことを特徴とする内視鏡装置。
  3. 被写体を撮影する撮像部と、前記被写体を照明する照射口を有する照明部とが先端部に設けられる内視鏡スコープと、
    前記内視鏡スコープの前記先端部から、前記被写体までの距離情報の取得処理を行う距離情報取得部と、
    取得した前記距離情報に基づいて、前記照明部から照射する照明光の配光パターンを決定する配光パターン決定部と、
    前記撮像部が取得した撮像画像に対して、階調補正処理を施す階調補正部と、
    を含み、
    前記配光パターン決定部は、
    前記階調補正部が前記階調補正処理において算出したゲインマップと、前記距離情報とに基づいて、前記照明光の前記配光パターンを決定することを特徴とする内視鏡装置。
  4. 請求項において、
    前記配光パターン決定部は、
    前記ゲインマップにより表されるゲイン値が大きい領域に対して、前記ゲイン値が小さい領域に比べて、照射される前記照明光の光量が大きくなるように前記配光パターンを決定することを特徴とする内視鏡装置。
  5. 被写体を撮影する撮像部と、前記被写体を照明する照射口を有する照明部とが先端部に設けられる内視鏡スコープと、
    前記内視鏡スコープの前記先端部から、前記被写体までの距離情報の取得処理を行う距離情報取得部と、
    取得した前記距離情報に基づいて、前記照明部から照射する照明光の配光パターンを決定する配光パターン決定部と、
    前記撮像部が取得した撮像画像に対して、階調補正処理を施す階調補正部と、
    前記照明光の光源の光量制御を行う光量制御部と、
    を含み、
    前記光量制御部は、
    前記階調補正部が前記階調補正処理において算出したゲインマップに基づいて、前記光源の前記光量制御を行うことを特徴とする内視鏡装置。
  6. 請求項において、
    前記光量制御部は、
    前記ゲインマップにより表されるゲイン値が所与のゲイン閾値よりも大きい領域が、所与の領域閾値に比べて大きい場合に、前記光源の光量を大きくする前記光量制御を行うことを特徴とする内視鏡装置。
  7. 請求項1乃至6のいずれかにおいて、
    前記照明部は、
    少なくとも二つ以上の照明口を有し、
    前記配光パターン決定部は、
    前記二つ以上の照明口の各照射口から照射される前記照明光の光量を調整する情報を、前記距離情報に基づいて、前記配光パターンとして決定することを特徴とする内視鏡装置。
  8. 請求項において、
    前記照明部は、
    前記撮像画像の第1の領域に撮像される前記被写体に対して、第1の照明光を前記照明光として照射する第1の照明口と、
    前記撮像画像のうち前記第1の領域とは異なる第2の領域に撮像される前記被写体に対して、第2の照明光を前記照明光として照射する第2の照明口を有し、
    前記配光パターン決定部は、
    前記第1の照明口から照射される前記第1の照明光の光量と、前記第2の照明口から照射される前記第2の照明光の光量を調整する情報を、前記距離情報に基づいて、前記配光パターンとして決定することを特徴とする内視鏡装置。
  9. 請求項において、
    前記照明部は、
    前記内視鏡スコープの前記先端部において、前記撮像部に対して第1の方向側に設けられ、第1の照明光を前記照明光として照射する第1の照明口と、
    前記内視鏡スコープの前記先端部において、前記撮像部に対して前記第1の方向側とは異なる第2の方向側に設けられ、第2の照明光を前記照明光として照射する第2の照明口を有し、
    前記配光パターン決定部は、
    前記第1の照明口から照射される前記第1の照明光の光量と、前記第2の照明口から照射される前記第2の照明光の光量を調整する情報を、前記距離情報に基づいて、前記配光パターンとして決定することを特徴とする内視鏡装置。
  10. 請求項1乃至9のいずれかにおいて、
    前記撮像部は、複数の視点を有し、前記複数の視点のそれぞれに対応する前記撮像画像を複数取得するものであり、
    前記距離情報取得部は、
    取得された複数の前記撮像画像から得られる視差情報に基づいて、前記距離情報を取得することを特徴とする内視鏡装置。
  11. 請求項1乃至10のいずれかにおいて、
    前記距離情報取得部は、
    距離を測定する計測器からの前記距離情報を取得することを特徴とする内視鏡装置。
  12. 被写体を撮影する撮像部と、前記被写体を照明する照射口を有する照明部とが先端部に設けられる内視鏡スコープを含む内視鏡装置の作動方法であって、
    前記内視鏡スコープの前記先端部から、前記被写体までの距離情報を取得する距離情報取得処理を行い、
    取得した前記距離情報に基づいて、前記照明部から照射する照明光の配光パターンを決定する配光パターン決定処理を行い、
    前記撮像部が取得した撮像画像に対して、階調補正処理を施し、
    前記階調補正処理において算出したゲインマップに基づいて、ノイズ低減処理のレベル、及び前記ノイズ低減処理の処理対象領域の少なくとも一方の決定処理を行って、前記撮像画像に含まれるノイズ成分を低減することを特徴とする内視鏡装置の作動方法。
  13. 被写体を撮影する撮像部と、前記被写体を照明する照射口を有する照明部とが先端部に設けられる内視鏡スコープを含む内視鏡装置の作動方法であって、
    前記内視鏡スコープの前記先端部から、前記被写体までの距離情報を取得する距離情報取得処理を行い、
    取得した前記距離情報に基づいて、前記照明部から照射する照明光の配光パターンを決定する配光パターン決定処理を行い、
    前記撮像部が取得した撮像画像に対して、階調補正処理を施し、
    前記配光パターン決定処理において、
    前記階調補正処理において算出したゲインマップと、前記距離情報とに基づいて、前記照明光の前記配光パターンを決定することを特徴とする内視鏡装置の作動方法。
  14. 被写体を撮影する撮像部と、前記被写体を照明する照射口を有する照明部とが先端部に設けられる内視鏡スコープを含む内視鏡装置の作動方法であって、
    前記内視鏡スコープの前記先端部から、前記被写体までの距離情報を取得する距離情報取得処理を行い、
    取得した前記距離情報に基づいて、前記照明部から照射する照明光の配光パターンを決定する配光パターン決定処理を行い、
    前記撮像部が取得した撮像画像に対して、階調補正処理を施し、
    前記階調補正処理において算出したゲインマップに基づいて、前記照明光の光源の光量制御を行うことを特徴とする内視鏡装置の作動方法。
  15. 被写体を撮影する撮像部と、前記被写体を照明する照射口を有する照明部とが先端部に設けられる内視鏡スコープを含む内視鏡装置を動作させるプログラムであって、
    前記内視鏡スコープの先端から、前記被写体までの距離情報を取得するステップと、
    取得した前記距離情報に基づいて、前記照明部から照射する照明光の配光パターンを決定するステップと、
    前記撮像部が取得した撮像画像に対して、階調補正処理を施すステップと、
    前記階調補正処理において算出したゲインマップに基づいて、ノイズ低減処理のレベル、及び前記ノイズ低減処理の処理対象領域の少なくとも一方の決定処理を行って、前記撮像画像に含まれるノイズ成分を低減するステップと、
    を内視鏡装置に実行させるプログラム。
  16. 被写体を撮影する撮像部と、前記被写体を照明する照射口を有する照明部とが先端部に設けられる内視鏡スコープを含む内視鏡装置を動作させるプログラムであって、
    前記内視鏡スコープの先端から、前記被写体までの距離情報を取得するステップと、
    取得した前記距離情報に基づいて、前記照明部から照射する照明光の配光パターンを決定するステップと、
    前記撮像部が取得した撮像画像に対して、階調補正処理を施すステップと、
    を内視鏡装置に実行させ
    前記配光パターンを決定するステップにおいて、
    前記階調補正処理において算出したゲインマップと、前記距離情報とに基づいて、前記照明光の前記配光パターンを決定するプログラム。
  17. 被写体を撮影する撮像部と、前記被写体を照明する照射口を有する照明部とが先端部に設けられる内視鏡スコープを含む内視鏡装置を動作させるプログラムであって、
    前記内視鏡スコープの先端から、前記被写体までの距離情報を取得するステップと、
    取得した前記距離情報に基づいて、前記照明部から照射する照明光の配光パターンを決定するステップと、
    前記撮像部が取得した撮像画像に対して、階調補正処理を施すステップと、
    前記階調補正処理において算出したゲインマップに基づいて、前記照明光の光源の光量制御を行うステップと、
    を内視鏡装置に実行させるプログラム。
JP2013134769A 2013-06-27 2013-06-27 内視鏡装置、内視鏡装置の作動方法及びプログラム Active JP6168879B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013134769A JP6168879B2 (ja) 2013-06-27 2013-06-27 内視鏡装置、内視鏡装置の作動方法及びプログラム
US14/314,110 US9763558B2 (en) 2013-06-27 2014-06-25 Endoscope apparatus, method for operating endoscope apparatus, and information storage device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013134769A JP6168879B2 (ja) 2013-06-27 2013-06-27 内視鏡装置、内視鏡装置の作動方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2015008785A JP2015008785A (ja) 2015-01-19
JP6168879B2 true JP6168879B2 (ja) 2017-07-26

Family

ID=52116247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013134769A Active JP6168879B2 (ja) 2013-06-27 2013-06-27 内視鏡装置、内視鏡装置の作動方法及びプログラム

Country Status (2)

Country Link
US (1) US9763558B2 (ja)
JP (1) JP6168879B2 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6282554B2 (ja) * 2014-07-28 2018-02-21 飛鳥メディカル株式会社 レーザー治療器
JP6613554B2 (ja) * 2014-09-30 2019-12-04 株式会社ニコン 画像処理装置およびプログラム
US10292571B2 (en) * 2015-02-23 2019-05-21 Uroviu Corporation Handheld surgical endoscope with wide field of view (FOV) and illumination brightness adjusted by area within the FOV
US10874287B2 (en) 2015-02-23 2020-12-29 Uroviu Corp. Handheld surgical endoscope
US10278563B2 (en) 2015-02-23 2019-05-07 Uroviu Corp. Handheld surgical endoscope with detachable cannula
US10869592B2 (en) 2015-02-23 2020-12-22 Uroviu Corp. Handheld surgical endoscope
JP6645682B2 (ja) * 2015-03-17 2020-02-14 キヤノン株式会社 距離取得装置、距離画像信号補正装置、撮像装置、距離画像量子化装置、および方法
WO2017022324A1 (ja) * 2015-08-05 2017-02-09 オリンパス株式会社 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP6611543B2 (ja) * 2015-10-05 2019-11-27 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
DE102016002174B4 (de) * 2016-02-24 2018-06-28 Schölly Fiberoptic GmbH Bildaufnahmeverfahren und Bildaufnahmevorrichtung mit verbesserter Regelung einer Lichtleistung
US20170366773A1 (en) * 2016-06-21 2017-12-21 Siemens Aktiengesellschaft Projection in endoscopic medical imaging
JP6822475B2 (ja) 2016-07-12 2021-01-27 ソニー株式会社 内視鏡装置及び内視鏡装置の作動方法
US11832797B2 (en) 2016-09-25 2023-12-05 Micronvision Corp. Endoscopic fluorescence imaging
US11684248B2 (en) 2017-09-25 2023-06-27 Micronvision Corp. Endoscopy/stereo colposcopy medical instrument
CN110753510B (zh) * 2017-06-20 2022-10-04 奥林巴斯株式会社 光源装置、内窥镜系统以及照明控制方法
US11771304B1 (en) 2020-11-12 2023-10-03 Micronvision Corp. Minimally invasive endoscope
US11980342B2 (en) 2020-11-12 2024-05-14 Micronvision Corp. Minimally invasive endoscope
JP2021191316A (ja) * 2018-07-03 2021-12-16 オリンパス株式会社 内視鏡システム
GB2576574B (en) * 2018-08-24 2023-01-11 Cmr Surgical Ltd Image correction of a surgical endoscope video stream
EP4003138A4 (en) 2019-07-25 2023-08-30 Uroviu Corp. DISPOSABLE ENDOSCOPY CANNULA WITH INTEGRATED FORCEPS
US11579076B2 (en) 2020-09-25 2023-02-14 Samsung Electronics Co., Ltd. Method and apparatus for correcting error of optical sensor, apparatus for estimating bio-information
JP2022077591A (ja) * 2020-11-12 2022-05-24 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体
WO2023287813A1 (en) * 2021-07-13 2023-01-19 Boston Scientific Scimed Inc. Medical illumination systems and methods of using the same

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5969055A (ja) * 1982-10-15 1984-04-19 オリンパス光学工業株式会社 内視鏡電子カメラのシエ−ジング補正装置
JPS60225820A (ja) * 1984-04-24 1985-11-11 Olympus Optical Co Ltd 内視鏡用照明光学系
JPH07101167B2 (ja) 1986-01-10 1995-11-01 株式会社日立製作所 画像センサの照明方法およびその装置
JPH05211996A (ja) * 1992-02-03 1993-08-24 Toshiba Corp スコープ画像の均一性補正方法
AU3991799A (en) * 1998-05-14 1999-11-29 Metacreations Corporation Structured-light, triangulation-based three-dimensional digitizer
US6825884B1 (en) * 1998-12-03 2004-11-30 Olympus Corporation Imaging processing apparatus for generating a wide dynamic range image
WO2000069324A1 (fr) * 1999-05-18 2000-11-23 Olympus Optical Co., Ltd. Endoscope
US9149175B2 (en) * 2001-07-26 2015-10-06 Given Imaging Ltd. Apparatus and method for light control in an in-vivo imaging device
EP1678523B1 (de) * 2003-10-29 2007-07-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Abstandssensor und verfahren zur abstandserfassung
US8285041B2 (en) * 2004-09-14 2012-10-09 Olympus Corporation Image processing apparatus, image recording apparatus, and image processing method
JP5030415B2 (ja) * 2005-11-16 2012-09-19 オリンパス株式会社 内視鏡装置
EP2207056B1 (en) * 2007-10-30 2013-01-09 Olympus Corporation Endoscope device
EP2072003B1 (en) * 2007-12-17 2016-08-10 Olympus Corporation Image display apparatus and image display system
JP5090579B2 (ja) * 2010-07-14 2012-12-05 オリンパスメディカルシステムズ株式会社 内視鏡システム、その光源装置
JP5669513B2 (ja) * 2010-10-13 2015-02-12 オリンパス株式会社 画像処理装置、画像処理プログラム、及び、画像処理方法
JP2012135432A (ja) * 2010-12-27 2012-07-19 Fujifilm Corp 内視鏡
JP5701664B2 (ja) * 2011-04-07 2015-04-15 オリンパス株式会社 撮像装置
JP5450527B2 (ja) * 2011-08-10 2014-03-26 富士フイルム株式会社 内視鏡装置
JP5926909B2 (ja) * 2011-09-07 2016-05-25 オリンパス株式会社 蛍光観察装置
US9080992B2 (en) * 2012-01-30 2015-07-14 SeeScan, Inc. Adjustable variable resolution inspection systems and methods
EP2846531A4 (en) * 2012-05-01 2015-12-02 Central Engineering Co Ltd STEREO CAMERA AND STEREO CAMERA SYSTEM
KR20140102521A (ko) * 2013-02-14 2014-08-22 삼성전자주식회사 내시경 장치 및 그 제어 방법
WO2014160510A2 (en) * 2013-03-13 2014-10-02 Massachusetts Institute Of Technology Photometric stereo endoscopy

Also Published As

Publication number Publication date
JP2015008785A (ja) 2015-01-19
US9763558B2 (en) 2017-09-19
US20150005575A1 (en) 2015-01-01

Similar Documents

Publication Publication Date Title
JP6168879B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP5814698B2 (ja) 自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法
JP5864880B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP7289653B2 (ja) 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
JP6137921B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2010100842A1 (ja) 撮像装置、運転者監視装置、顔部測距方法およびプログラム
US9427174B2 (en) Endoscope apparatus and control method for adjusting light beam based on geometry of body
CN110740676B (zh) 内窥镜系统、内窥镜图像处理方法以及记录介质
US9052286B2 (en) Fluorescence endoscope apparatus
WO2016136700A1 (ja) 画像処理装置
US10943333B2 (en) Method and apparatus of sharpening of gastrointestinal images based on depth information
US20170366724A1 (en) Image processing device, image processing method, program and image processing system
CN112243091B (zh) 三维内窥镜系统、控制方法和存储介质
US20160034787A1 (en) Detection device, learning device, detection method, learning method, and information storage device
JPWO2016059983A1 (ja) 撮像システム
CN111948798A (zh) 内窥镜系统及用于检测内窥镜的末端与组织接触的方法
US20120092471A1 (en) Endoscopic device
JP2016072694A (ja) 画像処理装置およびその制御方法、プログラムならびに記録媒体
US20200104983A1 (en) Method and Apparatus of Sharpening of Gastrointestinal Images Based on Depth Information
JP2007215907A (ja) 内視鏡プロセッサ、内視鏡システム、及びブラックバランス調整プログラム
WO2016088628A1 (ja) 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
JP2019205055A (ja) 画像処理装置、画像処理装置の制御方法、及び、プログラム
US20190109986A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium
US10849482B2 (en) Endoscopic system, image processing apparatus, and image processing method
JP7490457B2 (ja) 処理装置、処理システム、撮像装置、処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170627

R151 Written notification of patent or utility model registration

Ref document number: 6168879

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250