JP6758287B2 - 制御装置及び医療用撮像システム - Google Patents

制御装置及び医療用撮像システム Download PDF

Info

Publication number
JP6758287B2
JP6758287B2 JP2017519139A JP2017519139A JP6758287B2 JP 6758287 B2 JP6758287 B2 JP 6758287B2 JP 2017519139 A JP2017519139 A JP 2017519139A JP 2017519139 A JP2017519139 A JP 2017519139A JP 6758287 B2 JP6758287 B2 JP 6758287B2
Authority
JP
Japan
Prior art keywords
subject
autofocus
optical member
image
autofocus operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017519139A
Other languages
English (en)
Other versions
JPWO2016185952A1 (ja
Inventor
栄 岡崎
栄 岡崎
弘高 平野
弘高 平野
敬裕 山元
敬裕 山元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Corp
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Olympus Medical Solutions Inc filed Critical Sony Corp
Publication of JPWO2016185952A1 publication Critical patent/JPWO2016185952A1/ja
Application granted granted Critical
Publication of JP6758287B2 publication Critical patent/JP6758287B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/30Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Automatic Focus Adjustment (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Description

本開示は、制御装置及び医療用撮像システムに関する。
手術や検査の際に患者の生体組織を観察するために当該生体組織を撮影するシステムとして、内視鏡システムや顕微鏡システム(以下、撮像システムと総称する)が知られている。撮像システムにおいては、被写体に対して自動的に焦点合わせを行うオートフォーカス(AF)機能が備えられたものがある。例えば、特許文献1には、被写体からの光の光量変化を検出し、当該光量変化が所定の範囲内である場合には光学系を駆動させてAF動作を実行し、当該光量変化が所定の範囲外である場合にはAF動作を行わずに光学系を初期位置に移動させる顕微鏡システムが開示されている。
特開平5−232378号公報
しかしながら、上記特許文献1に記載の技術では、光量変化が所定の範囲外である場合、すなわちAF動作を正常に実行できないと判断された場合には、光学系が初期位置に移動されるだけであるため、結果的に、焦点の合っていない不鮮明な映像が得られる可能性が高い。従って、手術や検査を行うためには、手動で光学系の位置を調整する等、術者が焦点合わせのための追加的な作業を行う必要がある。上記事情に鑑みれば、ユーザにとってより利便性の高い撮像システムが求められていた。
そこで、本開示では、ユーザの利便性をより向上させることが可能な、新規かつ改良された制御装置及び医療用撮像システムを提案する。
本開示によれば、少なくとも1つの光学部材を移動させることによりオートフォーカス動作を実行させるオートフォーカス制御部と、前記オートフォーカス動作によって被写体である生体組織への合焦が可能かどうかを判定するオートフォーカス動作判定部と、を備え、前記オートフォーカス動作判定部によって、前記オートフォーカス動作により前記被写体への合焦ができないと判定された場合に、前記オートフォーカス制御部は、前記少なくとも1つの光学部材を、撮影用途に応じて予め設定される予測合焦位置に移動させる、制御装置が提供される。
また、本開示によれば、被写体である生体組織を撮影する撮像素子と、前記撮像素子に前記被写体からの光を集光するとともに、合焦動作のために少なくとも1つの光学部材が光軸上を移動可能に構成される光学系と、前記少なくとも1つの光学部材を移動させることによりオートフォーカス動作を実行させるオートフォーカス制御部と、前記オートフォーカス動作によって前記被写体への合焦が可能かどうかを判定するオートフォーカス動作判定部と、を備え、前記オートフォーカス動作判定部によって、オートフォーカス動作により前記被写体への合焦ができないと判定された場合に、前記オートフォーカス制御部は、前記少なくとも1つの光学部材を、撮影用途に応じて予め設定される予測合焦位置に移動させる、医療用撮像システムが提供される。
本開示によれば、オートフォーカス動作によって前記被写体への合焦ができないと判定された場合に、オートフォーカス動作の際に移動される少なくとも1つの光学部材(例えばフォーカスレンズ等)が、撮影の用途に応じて予め設定される予測合焦位置に移動する。当該予測合焦位置としては、撮影の用途に応じて想定される被写体距離に基づいて、当該被写体距離において被写体に焦点が合うような当該少なくとも1つの光学部材の位置が設定され得る。従って、当該少なくとも1つの光学部材が予測合焦位置に移動することにより、被写体である生体組織に対して比較的焦点の合った映像が得られることとなる。よって、術者は、焦点合わせ等の追加的な作業を行うことなく、そのまま手術や検査を実行することが可能となるため、術者の利便性をより向上させることができる。
以上説明したように本開示によれば、ユーザの利便性をより向上させることが可能になる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
本実施形態に係る撮像システムの一構成例を示すブロック図である。 コントラスト方式におけるAF動作の概念について説明するための説明図である。 コントラスト方式におけるAF動作の概念について説明するための説明図である。 本実施形態に係る撮像方法の処理手順の一例を示すフロー図である。 位相差方式におけるAF動作の概念について説明するための説明図である。 位相差方式におけるAF動作の概念について説明するための説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.撮像システムの構成
2.撮像方法
3.変形例
3−1.位相差方式が用いられる場合
3−2.デプスマップ方式が用いられる場合
3−3.三角測距方式が用いられる場合
4.補足
なお、以下では、本開示の一実施形態に係る撮像システムに対して各種の操作を行うユーザのことを、便宜的に術者と記載する。ただし、当該記載は撮像システムを使用するユーザを限定するものではなく、撮像システムに対する各種の操作は、他の医療スタッフ等、あらゆるユーザによって実行されてよい。
(1.撮像システムの構成)
図1を参照して、本開示の一実施形態に係る撮像システムの構成について説明する。図1は、本実施形態に係る撮像システムの一構成例を示すブロック図である。
図1を参照すると、本実施形態に係る撮像システム1は、撮像装置10と、当該撮像装置10の動作に係る各種の信号処理を行う制御装置20と、を備える。本実施形態では、撮像システム1は、医療用の撮像システム1であり、手術時や検査時に患者の生体組織を撮影することを目的としている。撮像システム1は、例えば内視鏡システムや顕微鏡システムであり得る。内視鏡システムでは、手術時又は検査時に、患者の体腔内に挿入された内視鏡によって当該体腔内の生体組織が撮影される。一方、顕微鏡システムでは、開腹手術時又は開頭手術時に、支持アーム等によって術部の上方に支持される顕微鏡部(例えば、鏡筒内に光学系及び撮像素子が搭載されて構成される)によって術部が撮影される。術者は、内視鏡又は顕微鏡部によって撮影された術部又は検査部位の映像を参照しながら、手術又は検査を行うことができる。
図1では、撮像システム1の一例として、内視鏡システムに対応する構成を図示している。例えば、撮像装置10はカメラヘッドに対応し、制御装置20はカメラコントロールユニット(CCU:Camera Controll Unit)に対応する。撮像装置10と制御装置20とは、光ファイバ及び/又は電気信号ケーブルによって接続されており、光信号及び/又は電気信号によって各種の情報を送受信することができる。
なお、図1では、本実施形態の説明のために必要な構成のみを主に図示し、その他の構成の図示を省略している。ただし、撮像システム1は、内視鏡や、撮影時に被写体である患者の生体組織に対して照射される照明光を当該内視鏡に供給する光源装置等、一般的な内視鏡システムが備える各種の構成を備え得る。
撮影時には、内視鏡の細径の挿入部が患者の体腔内に挿入される。内視鏡の挿入部の先端には照明窓が設けられており、当該照明窓から、光源装置から供給された照明光が被写体に対して照射される。内視鏡の挿入部の先端には、当該照明光による被写体からの反射光(観察光)を取り込む観察窓も設けられており、当該観察窓から取り込まれた観察光は、内視鏡の鏡筒の内部に設けられる導光部材によって、当該内視鏡の基端まで導かれる。内視鏡の基端に撮像装置10(すなわちカメラヘッド)が取り付けられており、観察光が、後述する撮像装置10の内部に設けられる撮像素子105に集光されることにより、被写体像が撮影される。
以下、撮像装置10及び制御装置20の構成についてより詳細に説明する。まず、撮像装置10の構成について説明する。
撮像装置10は、光学系101と、撮像素子105と、を有する。また、撮像装置10は、その機能として、ズームレンズ駆動部107と、フォーカスレンズ駆動部111と、撮像素子駆動部115と、を有する。
光学系101は、内視鏡内を導光されてきた観察光を撮像素子105に集光する。光学系101は、ズームレンズ102及びフォーカスレンズ103を含む。なお、図1では、代表的にズームレンズ102及びフォーカスレンズ103のみを図示しているが、光学系101は、他のレンズやフィルター等、各種の光学部材を含んでもよい。光学系101を構成する光学部材の種類や数、各光学部材の光学特性等は、当該光学系101によって撮像素子105の受光面上に被写体像が結像されるように、適宜調整されている。
ズームレンズ102は、光学系101の倍率を調整するためのレンズである。ズームレンズ102は光軸上を移動可能に構成されており、ズームレンズ102の光軸上での位置が制御されることにより、光学系101の倍率が調整される。なお、ズームレンズ102は、光学系101の倍率を調整するための光学部材の一例である。本実施形態では、光学系101に含まれる少なくとも1つの光学部材の光軸上での位置が調整されることにより当該光学系101の倍率が調整されればよく、倍率の調整のために移動可能に構成される光学部材の数及び種類は限定されない。
フォーカスレンズ103は、光学系101の合焦距離を調整するためのレンズである。フォーカスレンズ103は光軸上を移動可能に構成されており、フォーカスレンズ103の光軸上での位置が制御されることにより、光学系101の合焦距離が調整される。なお、フォーカスレンズ103は、光学系101の合焦距離を調整するための光学部材の一例である。本実施形態では、光学系101に含まれる少なくとも1つの光学部材の光軸上での位置が調整されることにより当該光学系101の合焦距離が調整されればよく、合焦距離の調整のために移動可能に構成される光学部材の数及び種類は限定されない。
撮像素子105は、観察光をその受光面で受光することにより、被写体を撮影する。具体的には、撮像素子105は、ホトダイオード等の受光素子が配列されてなる受光面を有し、当該受光面で観察光を受光することにより、光電変換により、当該観察光に対応する電気信号、すなわち被写体像に対応する電気信号である撮像信号を取得する。撮像素子105の構成は限定されず、撮像素子105としては、例えばCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal−Oxide−Semiconductor)イメージセンサ等の、各種の公知の撮像素子が用いられてよい。撮像素子105によって取得された撮像信号は、後述する制御装置20の撮像信号処理部117に送信される。
ズームレンズ駆動部107は、例えばモータ、及び当該モータに対して駆動電流を供給するドライバ回路等によって構成され、ズームレンズ102を光軸に沿って移動させる。ズームレンズ駆動部107の動作は、図示しないズームレンズ駆動制御部によって制御される。当該ズームレンズ駆動制御部は、CPU(Central Processing Unit)やDSP(Digital Signal Processor)等の各種のプロセッサ、又はプロセッサとメモリ等の記憶素子とがともに搭載されてなるマイコン等によって構成され、ズームレンズ駆動部107の動作を制御する。当該ズームレンズ駆動制御部は、FPGA(Field−Programmable Gate Array)、ドライバIC(Integrated Circuit)、及び/又は専用のLSI(Large−Scale Integration)(すなわちASIC(Application Specific Integrated Circuit))等の各種の集積回路によって構成されてもよい。当該ズームレンズ駆動制御部の機能は、当該ズームレンズ駆動制御部を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより実現され得る。
具体的には、後述する制御装置20のズーム動作制御部127によって算出されるズームレンズ102の移動量に従って、当該ズームレンズ駆動制御部によってズームレンズ駆動部107の駆動が制御されることにより、当該移動量の分だけズームレンズ102が移動し、光学系101の倍率が調整される。なお、光学系101の倍率の調整のためにズームレンズ102以外の他の光学部材も移動可能に構成される場合であれば、当該ズームレンズ駆動制御部からの制御により、ズームレンズ駆動部107によって、当該他の光学部材も光軸上を移動してよい。
なお、ズームレンズ駆動部107及び当該ズームレンズ駆動制御部の構成及び機能は、一般的な撮像装置(例えば内視鏡システムのカメラヘッド)に搭載される、ズーム機能を実現するための機構の構成及び機能と同様であってよい。従って、ここでは、ズームレンズ駆動部107及び当該ズームレンズ駆動制御部の構成及び機能についてのより詳細な説明は省略する。
フォーカスレンズ駆動部111は、例えばモータ、及び当該モータに対して駆動電流を供給するドライバ回路等によって構成され、フォーカスレンズ103を光軸に沿って移動させる。フォーカスレンズ駆動部111の動作は、図示しないフォーカスレンズ駆動制御部によって制御される。当該フォーカスレンズ駆動制御部は、CPUやDSP等の各種のプロセッサ、又はマイコン等によって構成され、フォーカスレンズ駆動部111の動作を制御する。当該フォーカスレンズ駆動制御部は、FPGA、ドライバIC、及び/又は専用のLSI(すなわちASIC)等の各種の集積回路によって構成されてもよい。当該フォーカスレンズ駆動制御部の機能は、当該フォーカスレンズ駆動制御部を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより実現され得る。
具体的には、撮像システム1は、オートフォーカス(AF)機能を有している。後述する制御装置20のオートフォーカス制御部118(AF制御部118)によって所定のAFの方式に従って算出されるフォーカスレンズ103の移動量に従って、当該フォーカスレンズ駆動制御部によってフォーカスレンズ駆動部111の駆動が制御されることにより、当該移動量の分だけフォーカスレンズ103が移動し、光学系101の合焦距離が調整される。なお、光学系101の合焦距離の調整のためにフォーカスレンズ103以外の他の光学部材も移動可能に構成される場合であれば、当該フォーカスレンズ駆動制御部からの制御により、フォーカスレンズ駆動部111によって、当該他の光学部材も光軸上を移動してよい。
なお、フォーカスレンズ駆動部111及び当該フォーカスレンズ駆動制御部の構成及び機能は、一般的な撮像装置(例えば内視鏡装置のカメラヘッド)に搭載される、AF機能を実現するための機構の構成及び機能と同様であってよい。従って、ここでは、フォーカスレンズ駆動部111及び当該フォーカスレンズ駆動制御部の構成及び機能についてのより詳細な説明は省略する。
撮像素子駆動部115は、撮像素子105を駆動するためのドライバに対応する。撮像素子駆動部115は、所定のタイミングで撮像素子105に対して駆動信号(撮像素子105に搭載されるトランジスタ等を駆動するための信号)を供給することにより、撮像素子105に、撮影動作、リセット動作等の動作を所定のタイミングで実行させ、被写体像に対応する撮像信号を取得させる。なお、図示は省略するが、撮像素子駆動部115の動作を制御する撮像素子駆動制御部が、撮像装置10又は制御装置20に設けられ得る。撮像素子駆動制御部は、CPUやDSP等の各種のプロセッサ、又はマイコン等によって構成され、上記駆動信号を撮像素子105に供給するタイミングを撮像素子駆動部115に対して指示することにより、撮像素子駆動部115を介して、撮像素子105の駆動を制御する。なお、当該撮像素子駆動制御部の機能は、当該撮像素子駆動制御部を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより実現され得る。
撮像システム1では、撮影の開始及び終了は、スイッチ等の入力装置(図示せず)を介した術者による指示に従って制御され得る。具体的には、撮像システム1には、撮影を開始する旨の指示信号を入力するための入力装置が設けられており、当該入力装置を介した術者の指示に従って、上記撮像素子駆動制御部によって撮像素子105の駆動が制御されることにより、撮影の開始及び終了が実行され得る。
なお、撮像素子駆動部115及び当該撮像素子駆動制御部の構成及び機能は、一般的な撮像装置(例えば内視鏡装置のカメラヘッド)に搭載される、撮像素子による被写体の撮影機能を実現するための機構の構成及び機能と同様であってよい。従って、ここでは、撮像素子駆動部115及び当該撮像素子駆動制御部の構成及び機能についてのより詳細な説明を省略する。
なお、上述したズームレンズ駆動制御部、フォーカスレンズ駆動制御部及び/又は撮像素子駆動制御部に対応する構成は、撮像装置10に搭載されてもよいし、制御装置20に搭載されてもよい。また、図示は省略するが、制御装置20には、撮像装置10との間で各種の情報をやり取りするための光ファイバ及び/又は電気信号ケーブルが接続されるコネクタ(図示せず)が設けられ得る。当該コネクタは、当該コネクタ内に各種の情報処理を実行する集積回路を搭載可能に構成されてもよく、上記ズームレンズ駆動制御部、フォーカスレンズ駆動制御部及び/又は撮像素子駆動制御部に対応する構成は、当該コネクタ内に搭載されてもよい。
以上、撮像装置10の構成について説明した。ただし、撮像装置10の構成はかかる例に限定されない。本実施形態では、撮像装置10は、撮像素子105、及び当該撮像素子105に観察光を集光するための光学系101を少なくとも有するとともに、AF機能に対応して当該光学系101に含まれる少なくとも1つの光学部材が駆動可能に構成されればよく、撮像装置10の具体的な装置構成は任意であってよい。撮像装置10としては、各種の公知な構成が適用されてよい。
次に、制御装置20の構成について説明する。制御装置20は、その機能として、撮像信号処理部117と、AF制御部118と、AF動作判定部125と、ズーム動作制御部127と、を有する。
制御装置20は、上述したように例えばCCUに対応し、各種のプロセッサ及びメモリ等の記憶素子によって構成される。上記の制御装置20の各機能は、制御装置20を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより実現される。
ズーム動作制御部127は、撮像システム1のズーム動作に係る各種の制御を行う。具体的には、撮像システム1には、術者によって、ズーム動作を行う旨の指示信号(ズーム指示信号)が入力され得る。当該ズーム指示信号は、例えばスイッチ等、撮像システム1に設けられる図示しない各種の入力装置を介して入力される。ズーム指示信号には、倍率についての指示も含まれており、ズーム動作制御部127は、ズーム指示信号に基づいて、指示された倍率を実現し得るズームレンズ102の移動量を決定する。決定された移動量についての情報は、図示しないズームレンズ駆動制御部に送信される。当該ズームレンズ駆動制御部によって、ズームレンズ駆動部107を介して、決定された移動量の分だけズームレンズ102が移動されることにより、術者の指示に従って光学系101の倍率が調整される。なお、光学系101の倍率の調整のためにズームレンズ102以外の他の光学部材も移動可能に構成される場合であれば、ズーム動作制御部127は、当該他の光学部材の光軸上での移動量も併せて決定してよい。
なお、ズーム動作制御部127の機能は、一般的な既存の撮像システムに搭載される倍率調整に係る機能と同様であってよいため、ここではより詳細な説明は省略する。
撮像信号処理部117は、撮像素子105によって取得された撮像信号に対して、ガンマ補正処理やホワイトバランスの調整処理等、被写体像を表示装置(図示せず)に表示するための各種の信号処理を行う。撮像信号処理部117によって各種の信号処理が施された後の撮像信号(以下、映像信号と呼称する)が表示装置に送信され、当該表示装置において、当該映像信号に基づいて被写体の映像が映し出される。術者は、当該表示装置を介して被写体である生体組織の様子を観察することができる。また、撮像信号処理部117は、映像信号を、後述するAF制御部118のAFフレーム決定部119にも提供する。
AF制御部118は、撮像装置10のAF動作に係る各種の制御を行う。図1では、一例として、AFの方式がコントラスト方式である場合に対応した、AF制御部118の機能構成を図示している。コントラスト方式とは、光学系101に含まれる少なくとも1つの光学部材(図示する例ではフォーカスレンズ103)を移動させながら、被写体像のコントラストが最大になる当該光学部材の位置を探索し、当該コントラストが最大になる位置に当該光学部材を移動させることにより合焦動作を行う方式である。
ただし、本実施形態では、撮像システム1に適用されるAFの方式は限定されない。当該AFの方式としては、各種の公知の方式が用いられてよい。しかしながら、本実施形態では、撮像システム1には、好適に、パッシブ方式のAFの方式が適用され得る。
ここで、一般的に、AFの方式は、アクティブ方式とパッシブ方式の2種類に大きく分類される。アクティブ方式は、例えば近赤外光等を被写体に対して照射してその反射光を受光することにより被写体との距離を測定し、測定された距離に基づいて当該被写体に焦点が合うように光学系を構成する光学部材を移動させることにより、合焦動作を行う方式である。一方、パッシブ方式は、測距用の光等を自ら発することなく、撮影された被写体像から得られる情報に基づいて被写体に焦点が合うように光学系を構成する光学部材を移動させることにより、合焦動作を行う方式である。
上述したように、撮像システム1は例えば内視鏡システムであり得るが、内視鏡システムでは、AFの方式としてアクティブ方式は採用され難い。何故ならば、アクティブ方式では、内視鏡の先端に測距用の構成を設ける必要があるため、内視鏡の先端が大型化してしまい、患者の身体に掛かる負担が増大する恐れがあるからである。撮像システム1が顕微鏡システムである場合でも、術者の作業空間を確保するために、術部を撮影する顕微鏡部の構成が大型化することは好ましくない。従って、本実施形態では、撮像システム1におけるAFの方式としては、好適に、パッシブ方式が適用され得るのである。
パッシブ方式のAFの方式としては、上述したコントラスト方式の他にも、一般的に位相差方式、デプスマップ(DepthMap)方式、三角測距方式と呼称されている各種の方式が知られている。これらの方式は、いずれも、撮影された被写体像から得られる情報に基づいて合焦動作を行うものであるが、当該被写体像のコントラストが比較的小さい場合(いわゆるローコントラストの場合)には、合焦動作を正常に行うことが困難である(すなわち、AF動作によって被写体への合焦を行うことが困難である)という特徴がある。このような、被写体像がローコントラストの場合に合焦動作を正常に行うことが困難となるAFの方式は、コントラストに基づいてAF動作が実行される方式ともみなすことができるため、以下の説明では、このようなAFの方式のことを、便宜的に、コントラストに基づく方式とも呼称することとする。パッシブ方式のAFの方式の多くはコントラストに基づく方式であるため、本実施形態は、AFの方式としてコントラストに基づく方式が適用されている撮像システム1を対象としたものであるとも言える。
図1に戻り、AF制御部118の機能についての説明を続ける。AF制御部118は、その機能として、AFフレーム決定部119と、コントラスト検出部121と、フォーカスレンズ移動量決定部123と、を有する。なお、AF制御部118は、術者によって入力されるAF動作を行う旨の指示信号(AF指示信号)に従って、AF動作に係る一連の処理を実行する。当該AF指示信号は、例えばスイッチ等、撮像システム1に設けられる図示しない各種の入力装置を介して入力され得る。
AFフレーム決定部119は、撮像信号処理部117によって得られた映像信号に基づいて被写体像を生成し、当該被写体像の中から、AF動作を行う際に焦点を合わせる対象となる領域(AFフレーム)を決定する。AFフレーム決定部119は、決定したAFフレームについての情報をコントラスト検出部121に提供する。
コントラスト検出部121は、被写体像において、AFフレーム決定部119によって決定されたAFフレームに対応する領域のコントラストを検出する。AF制御部118では、AFフレームに対応する領域のコントラストを被写体像のコントラストとみなして、AF動作が行われることとなる。コントラスト検出部121は、検出したAFフレームに対応する領域のコントラスト(すなわち、被写体像のコントラスト)についての情報を、フォーカスレンズ移動量決定部123に提供する。
フォーカスレンズ移動量決定部123は、コントラスト検出部121によって検出された被写体像のコントラストについての情報に基づいて、フォーカスレンズ103の移動量を決定する。具体的には、フォーカスレンズ移動量決定部123は、前回ステップにおける被写体像のコントラストと、現在ステップにおける被写体像のコントラストと、に基づいて、当該コントラストがより大きくなる方向に所定の距離だけフォーカスレンズ103が光軸上を移動するように、当該フォーカスレンズ103の移動量を決定する。なお、最初のステップでは(前回ステップにおける被写体像のコントラストについての情報が存在しない場合には)、予め設定される所定の方向に所定の距離だけフォーカスレンズ103を移動させるように、当該フォーカスレンズ103の移動量が決定されればよい。
決定されたフォーカスレンズ103の移動量についての情報は、図示しないフォーカスレンズ駆動制御部に送信される。当該フォーカスレンズ駆動制御部によって、フォーカスレンズ駆動部111を介して、決定された移動量の分だけフォーカスレンズ103が移動される。
以下、以上説明した一連の処理が繰り返し実行されることにより、コントラスト方式でのAF動作が実行される。すなわち、フォーカスレンズ103が移動した後に撮像素子105によって得られた撮像信号に基づいて、撮像信号処理部117によって映像信号が生成される。当該映像信号に基づいて、AFフレーム決定部119、コントラスト検出部121及びフォーカスレンズ移動量決定部123が上述した処理を再度実行し、決定された移動量に従ってフォーカスレンズ駆動制御部によってフォーカスレンズ103が移動される。これらの処理が繰り返し実行されることにより、最終的に、被写体像のコントラストが最大になる位置にフォーカスレンズ103が移動され、被写体に対して焦点の合った映像が得られることとなり、一連のAF動作に係る処理が終了する。
なお、光学系101の合焦距離の調整のためにフォーカスレンズ103以外の他の光学部材も移動可能に構成される場合であれば、フォーカスレンズ移動量決定部123は、当該他の光学部材の光軸上での移動量も併せて決定してよい。
また、以上説明したAF制御部118における一連の処理(AFフレームの決定処理、コントラストの検出処理、及びフォーカスレンズ103の移動量決定処理)は、一般的な既存のコントラスト方式のAF動作において行われている一連の処理と同様であってよい。各処理における具体的な方法としては、コントラスト方式でのAF動作において用いられている各種の公知の方法が用いられてよいため、ここでは詳細な説明は省略する。例えば、コントラスト方式でのAF動作の詳細については、本願出願人による先行出願である特許第2748637号明細書の記載を参照することができる。
ここで、撮像システム1に、コントラスト方式のような、被写体像のコントラストに基づく方式がAFの方式として適用されている場合には、ローコントラストの被写体を撮影する際に、AF制御部118よるAF動作が正常に行われない可能性がある。
図2及び図3は、コントラスト方式におけるAF動作の概念について説明するための説明図である。図2は、コントラスト方式におけるAF動作を正常に実行し得る場合における被写体像のコントラストの一例を示している。図2に示すように、コントラストの変化が比較的大きな被写体の場合には、当該コントラストが最大になるフォーカスレンズ103の位置を比較的容易に見付けることができるため、AF動作が正常に実行され得る。一方、図3に示すように、コントラストの変化が比較的小さな被写体の場合には、当該コントラストが最大になるフォーカスレンズ103の位置を見付けることが困難であるため、AF動作が正常に行われない可能性がある。
ここで、一般的に、医療用の撮像システムにおいては、患者の血液や内臓、骨等の生体組織を撮影することが想定される。しかしながら、これらの生体組織はローコントラストである場合が多く、コントラストに基づく方式によってAF動作を行う場合には、AF動作を正常に行うことが困難となることが考えられる。例えば、ノイズ等に起因するコントラストの微少な増減により、本来の合焦位置ではない誤った位置にフォーカスレンズ等の光学部材を移動させてしまう事態が生じ得る。あるいは、コントラスト方式が用いられる場合であれば、コントラストが最大となる位置(すなわち合焦位置)を決定することができずにフォーカスレンズ等の光学部材が光軸上を移動し続けてしまい、手術や検査を円滑に実行することが困難になる可能性がある。このように、撮像システムにおいてAF動作が正常に実行されないことは、術者にとって大きなストレスとなり得る。
このような事態に対して、既存の技術として、例えば、上記特許文献1には、AF機能が搭載された顕微鏡システムにおいて、AF動作を正常に実行することができないと判定された場合に、当該AF動作を停止し、光学系を初期位置に移動させる顕微鏡システムが開示されている。しかしながら、特許文献1に記載の技術では、AF動作を正常に実行することができないと判定された場合には、光学系が初期位置に戻されてしまうため、結果的に、焦点の合っていない映像が得られる可能性が高い。従って、手術や検査を行うためには、術者が手動で焦点合わせを行う必要がある。よって、必ずしも術者にとって利便性が高いシステムが実現されているとは言えなかった。
そこで、本実施形態では、AF動作判定部125によって、AF動作を正常に実行可能かどうか、すなわち、AF動作によって被写体への合焦が可能かどうかが判定される。そして、AF動作によって被写体への合焦ができないと判定された場合には、AF制御部118におけるAF動作に係る処理を停止し、撮影用途に応じて予め設定される所定の位置にフォーカスレンズ103を移動させる。ここで、当該所定の位置としては、撮影用途に応じて想定される被写体距離に基づいて、当該被写体距離において被写体に焦点が合うようなフォーカスレンズ103の位置が設定され得る。従って、フォーカスレンズ103が当該位置に移動した後に得られる映像は、被写体である生体組織に焦点の合った映像である可能性が高い。以下の説明では、撮影用途に応じて予め設定される当該所定の位置のことを、予測合焦位置とも呼称する。
このように、本実施形態によれば、AF動作を正常に行うことが困難な場合に、フォーカスレンズ103が予測合焦位置に移動することにより、被写体である生体組織に対してより焦点の合った鮮明な映像が得られることとなる。従って、術者は、焦点合わせ等の追加的な作業を行うことなく、そのまま手術や検査を実行することが可能となる。よって、本実施形態によれば、より利便性の高い撮像システム1が提供され得る。
AF動作判定部125によるAF動作判定処理、及びその後の撮像システム1における処理について、より詳細に説明する。上述したように、AF動作判定部125は、AF動作を正常に実行可能かどうか、すなわち、AF動作によって被写体への合焦が可能かどうか(AF動作によって被写体に焦点が合うようなフォーカスレンズ103の位置を決定可能かどうか)を判定する。なお、AF動作判定部125によるAF動作判定処理は、AF動作が実行されている最中に、所定の間隔で随時実行され得る。
図示する構成例のようにコントラスト方式が適用される場合であれば、例えば、AF動作判定部125は、AF動作中に最終的なフォーカスレンズ103の位置(すなわち、被写体像のコントラストが最大になるようなフォーカスレンズ103の位置)が決定されない状態で所定の時間が経過した場合に、AF動作によって被写体への合焦ができないと判定することができる。また、例えば、AF動作判定部125は、AF動作中にフォーカスレンズ103がその可動範囲の端点に所定の回数到達した場合に、AF動作によって被写体への合焦ができないと判定することができる。あるいは、これらの判定基準が組み合わされて用いられてもよい。すなわち、被写体像のコントラストが最大になるようなフォーカスレンズ103の位置が決定されない状態で所定の時間が経過した場合、又は、AF動作中にフォーカスレンズ103がその可動範囲の端点に所定の回数到達した場合に、AF動作判定部125は、AF動作によって被写体への合焦ができないと判定してもよい。
なお、当該所定の時間、及び当該所定の回数としては、一般的にAF動作の判定処理に用いられ得る値が適宜適用されてよい。当該所定の時間は、例えば約5秒間であり得る。また、当該所定の回数は、例えば各端点に1回ずつであり得る。また、上記の例では、AF動作判定部125は、AF動作中にフォーカスレンズ103がその可動範囲の端点に所定の回数到達したかどうかをAF動作の判定基準としているが、当該判定基準は、AF動作中にフォーカスレンズ103がその可動範囲に含まれる特定の範囲の端点に所定の回数到達したかどうか、であってもよい。つまり、AF動作判定部125は、AF動作中にフォーカスレンズ103が適切な合焦位置を見付けられない状態でその可動範囲内の一部の範囲を移動したかどうかに応じて、AF動作を正常に実行可能かどうかを判定してもよい。
例えば、AF動作判定部125には、フォーカスレンズ移動量決定部123から、決定されたフォーカスレンズ103の移動量についての情報、及びAF動作が終了したかどうかについての情報が提供され得る。AF動作判定部125は、これらの情報に基づいて、上述したようなAF動作の判定処理を実行することができる。
ただし、AF動作判定部125によるAF動作の判定処理の基準はかかる例に限定されない。本実施形態では、AF動作を正常に実行可能かどうかの判定基準としては、一般的にコントラスト方式でのAF動作において用いられている各種の公知の判定基準が用いられてよい。
なお、撮像システム1において、AFの方式として他の方式が適用される場合には、AF動作判定部125は、その適用されているAFの方式に応じた方法で、AF動作を正常に実行可能かどうかを適宜判定すればよい。AF動作を正常に実行可能かどうかを判定する方法としては、一般的に様々な方法が知られている。例えば、AFの方式としてコントラストに基づく方式が適用されている既存の各種の撮像装置においては、被写体がいわゆるローコントラストであることを判定するための様々な方法が提案されている。AF動作判定部125は、適用されているAFの方式に基づいて、各種の公知の方法により判定処理を行ってよい。
AF動作判定部125によって、AF動作によって被写体への合焦が可能であると判定された場合には、AF制御部118によって上述したAF動作に係る一連の処理が継続される、すなわち、そのままAF動作が継続される。
一方、AF動作判定部125によって、AF動作によって被写体への合焦ができないと判定された場合には、AF動作判定部125は、フォーカスレンズ移動量決定部123にその旨の情報を提供する。この場合には、AF制御部118におけるAF動作に係る処理が停止され、フォーカスレンズ移動量決定部123は、予測合焦位置にフォーカスレンズ103が移動するように当該フォーカスレンズ103の移動量を決定し、フォーカスレンズ駆動制御部(図示せず)及びフォーカスレンズ駆動部111を介して、当該移動量に従ってフォーカスレンズ103を移動させる。
当該予測合焦位置としては、上述したように、撮影用途に応じて想定される被写体距離に基づいて、当該被写体距離において被写体に焦点が合うようなフォーカスレンズ103の位置が設定され得る。従って、フォーカスレンズ103が当該予測合焦位置に移動することにより、被写体である生体組織に対して比較的焦点の合った映像が得られることとなる。
なお、「撮影用途」には、術式、診療科、及び術者の嗜好等が含まれ得る。術式及び/又は診療科が定まれば、どのような被写体距離でどのような生体組織を観察するかが高い確率で予想され得るため、術式及び/又は診療科に基づいて予測合焦位置を設定することにより、当該予測合焦位置としてより適切な位置を設定することが可能となる。また、同一の生体組織を観察する場合であっても、術者の嗜好によって、最適な被写体距離は異なる可能性がある。従って、撮像システム1を使用して術部を観察する術者に応じて予測合焦位置が設定されることにより、術者にとってより使い勝手の良い撮像システム1が実現され得る。
また、予測合焦位置は、撮像装置10に取り付けられる光学系の光学特性に応じて設定されてもよい。例えば、撮像システム1においては、撮影用途(術式等)に応じて、互いに異なる種類の内視鏡が取り換えられて使用されることが想定される。一般的に、内視鏡では、その種類、すなわち当該内視鏡の光学系に応じて、使用が推奨される被写体距離が設定されていることが多い。従って、予測合焦位置を設定する際には、撮像装置10に取り付けられる内視鏡の種類に基づいて、当該内視鏡の光学系に応じて設定され得る被写体距離を考慮して、被写体に焦点が合うように当該予測合焦位置が設定されてもよい。なお、内視鏡以外に他の光学系が介在する場合には、当該他の光学系の光学特性も加味して、予測合焦位置が設定されてもよい。あるいは、撮像システム1が顕微鏡システムであって、撮像装置10に対応し得る部位である顕微鏡部に対して追加の光学系が取り付けられる場合であれば、当該追加の光学系の光学特性に応じて予測合焦位置が設定されてもよい。
なお、予測合焦位置は、上述したような予測合焦位置を決定し得る要因(術式、診療科、術者の嗜好、及び内視鏡の光学系等)に応じて、術者によって手術前に手動で設定されてよい。あるいは、例えば内視鏡の種類に応じて予測合焦位置が設定され得る場合であれば、撮像システム1に、取り付けられた内視鏡の種類を検出する機能が設けられてもよく、当該検出機能による検出結果に基づいて、内視鏡の種類に応じて自動的に予測合焦位置が設定されてもよい。
以上、図1を参照して、本実施形態に係る撮像システム1の構成について説明した。なお、図1に示す構成はあくまで一例であり、撮像システム1は、システム全体として以上説明した処理を実行可能であればよく、その具体的な装置構成は任意であってよい。例えば、図1において撮像装置10に搭載されている機能のうちのいくつかが制御装置20に搭載されてもよいし、逆に、制御装置20に搭載されている機能のうちのいくつかが撮像装置10に搭載されてもよい。
あるいは、図1に示す各ブロックに対応する機能は、より多くの複数の装置に分割されて搭載されてもよいし、1つの装置にその全てが搭載されてもよい。例えば、図1では、撮像システム1の一例として内視鏡システムに対応する構成を図示しているが、本実施形態では、撮像システム1は顕微鏡システムであってもよい。撮像システム1が顕微鏡システムである場合であれば、図示する全ての構成が1つの装置に搭載されて、撮像システム1が構成され得る。
また、上述のような本実施形態に係る撮像システム1の機能を実現するためのコンピュータプログラムを作製し、PC(Personal Computer)等の情報処理装置に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
(2.撮像方法)
図4を参照して、以上説明した撮像システム1において実行される撮像方法の処理手順について説明する。図4は、本実施形態に係る撮像方法の処理手順の一例を示すフロー図である。
なお、本実施形態に係る撮像方法では、被写体を撮影するための一連の処理の中でも、当該被写体に対して焦点を合わせるための合焦動作処理において本実施形態に特徴的な処理が実行される。従って、図4では、本実施形態に係る撮像方法における一連の処理の中でも、合焦動作処理における処理手順について図示している。図4に示す一連の処理は、例えば術者によってAF指示信号が入力された場合に実行され得る処理である。
なお、実際には、撮像システム1では、映像信号が取得されている最中に図4に示す一連の処理が実行されることにより、被写体に対して焦点の合った映像が得られることとなる。すなわち、図4に示すステップS101における処理に先立って、撮像信号に基づいて映像信号を取得する処理(図1に示す撮像信号処理部117によって実行される処理に対応する)が実行されている。
図4を参照すると、本実施形態に係る撮像方法における合焦動作処理では、まず、例えばAF指示信号の入力をトリガとして、AF動作が実行される(ステップS101)。例えば、コントラスト方式が適用される場合であれば、ステップS103では、フォーカスレンズ103を移動させながら、被写体像のコントラストが最大になる当該フォーカスレンズ103の位置を探索する処理が実行される。当該処理は、図1に示すAF制御部118、フォーカスレンズ駆動制御部(図示せず)及びフォーカスレンズ駆動部111によって実行される処理に対応している。ただし、本実施形態はかかる例に限定されず、ステップS103では、他の各種のAFの方式に基づくAF動作が実行されてよい。
次に、AF動作中に、AF動作を正常に実行可能かどうか、すなわち、AF動作によって被写体への合焦が可能かどうかが判定される(ステップS103)。具体的には、ステップS103では、ステップS101で実行されたAF動作の方式に応じた方法で、当該AF動作によって被写体への合焦が可能かどうかが判定され得る。
例えば、コントラスト方式が適用される場合であれば、ステップS103では、AF動作中に被写体像のコントラストが最大になるようなフォーカスレンズ103の位置が決定されない状態で所定の時間が経過した場合、又は、AF動作中にフォーカスレンズ103がその可動範囲の端点に所定の回数到達した場合に、AF動作によって被写体への合焦ができないと判定され、それ以外の場合には、AF動作によって被写体への合焦が可能であると判定される。
ただし、本実施形態はかかる例に限定されず、ステップS103では、各種のAFの方式において一般的に行われているAF動作の実行可否の判定処理が実行されてよい。なお、ステップS103に示す処理は、図1に示すAF動作判定部125によって実行される処理に対応している。
ステップS103における判定処理は、AF動作の最中に、所定の間隔で随時実行され得る。ステップS103においてAF動作によって被写体への合焦が可能であると判定された場合には、ステップS101に戻り、AF動作が継続される。そして、所定の間隔の後、ステップS103において再度AF動作によって被写体への合焦が可能かどうかが判定される。ステップS101及びステップS103における処理が繰り返し実行されている間に、AF動作が正常に終了した場合、すなわち、被写体への合焦が正確に行われた場合には、本実施形態に係る撮像方法における一連の処理も終了する。
一方、ステップS103においてAF動作によって被写体への合焦ができないと判定された場合には、ステップS105に進む。ステップS105では、撮影用途に応じて予め設定された所定の位置(予測合焦位置)にフォーカスレンズ103が移動される。当該予測合焦位置としては、撮影用途に応じて想定される被写体距離に基づいて、当該被写体距離において被写体に焦点が合うようなフォーカスレンズ103の位置が設定され得る。なお、ステップS105に示す処理は、図1に示すフォーカスレンズ移動量決定部123、フォーカスレンズ駆動制御部(図示せず)及びフォーカスレンズ駆動部111によって実行される処理に対応している。
ステップS105でフォーカスレンズ103が予測合焦位置に移動されると、本実施形態に係る撮像方法における一連の処理が終了する。このように、AF動作を正常に実行することができないと判定された場合に、予測合焦位置にフォーカスレンズ103が移動することにより、術者が焦点合わせのための追加的な作業を行わなくても、比較的焦点の合った鮮明な映像が取得されることとなり、術者の利便性を向上させることができる。
以上、図4を参照して、本実施形態に係る撮像方法の処理手順について説明した。
(3.変形例)
以上説明した実施形態におけるいくつかの変形例について説明する。なお、以下に説明する各変形例は、以上説明した実施形態に対して、AFの方式が変更されたものに対応する。
(3−1.位相差方式が用いられる場合)
図1に示す撮像システム1において、AFの方式として位相差方式が用いられた場合について説明する。位相差方式とは、観察光を受光面内の互いに異なる位置に結像させて得られた2つの被写体像の像間隔に基づいて被写体との距離を算出し、算出された当該被写体との距離に基づいて当該被写体に対して焦点が合うようにフォーカスレンズ103を移動させることにより合焦動作を行う方式のことである。
図5及び図6は、位相差方式におけるAF動作の概念について説明するための説明図である。図5は、位相差方式におけるAF動作を正常に実行し得る場合における被写体像のコントラストの一例を示している。図5に示すように、コントラストが比較的大きな被写体の場合には、2つの被写体像の像間隔を比較的明確に検出することができるため、当該像間隔に基づいて被写体との距離を算出することができ、AF動作を実行することができる。
一方、図6に示すように、コントラストが比較的小さい被写体の場合には、2つの被写体像の対応関係を取ることが難しく、当該2つの被写体像の像間隔を検出することが困難であるため、被写体との距離を算出することができず、AF動作が正常に行われない可能性がある。
このように、位相差方式でのAF動作においても、上述した実施形態と同様に、ローコントラストの被写体に対しては、AF動作を正常に実行できない可能性がある。従って、位相差方式が用いられる場合においても、AF動作によって被写体への合焦ができないと判定された場合に予測合焦位置にフォーカスレンズを移動させるように撮像システムを構成することにより、術者にとってより利便性の高い撮像システムが実現され得る。
AFの方式として位相差方式が適用された撮像システムは、図1に示す撮像システム1の構成において、AF制御部118におけるAF動作に係る機能、及びAF動作判定部125における判定基準が変更されたものに対応する。具体的には、位相差方式が適用された撮像システムでは、例えば、図1に示すAF制御部118は、AF動作に係る処理として、機能2つの被写体像の像間隔を取得する処理、当該像間隔に基づいて被写体との距離を算出する処理、及び、算出された当該被写体との距離に基づいて当該被写体に対して焦点が合う位置までのフォーカスレンズ103の移動量を算出する処理、を実行する。また、例えば、AF動作判定部125は、位相差方式でのAF動作において一般的に用いられている各種の方法によって、AF動作によって被写体への合焦が可能かどうかを判定する。
なお、位相差方式が用いられる場合には、撮像装置10内に、撮影用の撮像素子105とは別に測距のために他の撮像素子が設けられてもよく、当該他の撮像素子によって得られた2つの被写体像に基づいてAF動作が行われてもよい。あるいは、撮像素子105の受光面の中の一部に測距用の領域が確保されており、当該測距用の領域に対応する受光面において得られた2つの被写体像に基づいてAF動作が行われてもよい。この場合には、1つの撮像素子105によって、被写体の撮影と、AF動作のための測距と、をともに行うことができるため、撮像装置10の構成をより簡易なものとすることができる。
(3−2.デプスマップ方式が用いられる場合)
図1に示す撮像システム1において、AFの方式としていわゆるデプスマップ方式が用いられた場合について説明する。デプスマップ方式とは、空間認識技術を用いたAFの方式であり、被写体像のぼけ具合(デフォーカス度合い)に基づいて被写体との距離を算出し、算出された当該被写体との距離に基づいて当該被写体に対して焦点が合うようにフォーカスレンズ103を移動させることにより合焦動作を行う方式のことである。
ここで、ローコントラストの被写体においては、デフォーカス度合いを正確に検出することが困難であることが知られている。つまり、デプスマップ方式でのAF動作においても、上述した実施形態と同様に、ローコントラストの被写体に対しては、AF動作を正常に実行できない可能性がある。従って、デプスマップ方式が用いられる場合においても、AF動作によって被写体への合焦ができないと判定された場合に予測合焦位置にフォーカスレンズを移動させるように撮像システムを構成することにより、術者にとってより利便性の高い撮像システムが実現され得る。
AFの方式としてデプスマップ方式が適用された撮像システムは、図1に示す撮像システム1の構成において、AF制御部118におけるAF動作に係る機能、及びAF動作判定部125における判定基準が変更されたものに対応する。具体的には、デプスマップ方式が適用された撮像システムでは、例えば、図1に示すAF制御部118は、AF動作に係る処理として、被写体像のデフォーカス度合いを検出する処理、検出された被写体像のデフォーカス度合いに基づいて被写体との距離を算出する処理、及び、算出された当該被写体との距離に基づいて当該被写体に対して焦点が合う位置までのフォーカスレンズ103の移動量を算出する処理、を実行する。また、例えば、AF動作判定部125は、デプスマップ方式でのAF動作において一般的に用いられている各種の方法によって、AF動作によって被写体への合焦が可能かどうかを判定する。
(3−3.三角測距方式が用いられる場合)
図1に示す撮像システム1において、AFの方式としていわゆる三角測距方式が用いられた場合について説明する。三角測距方式とは、3Dステレオグラムの技術を用いたAFの方式であり、観察光を受光面内の互いに異なる位置に結像させて得られた2つの被写体像から得られる視差情報に基づいて三角測量の原理により被写体との距離を算出し、算出された当該被写体との距離に基づいて当該被写体に対して焦点が合うようにフォーカスレンズ103を移動させることにより合焦動作を行う方式のことである。
ここで、ローコントラストの被写体においては、2つの被写体像の対応関係を取ることが難しく、視差情報を正確に得ることが困難である。つまり、三角測距方式でのAF動作においても、上述した実施形態と同様に、ローコントラストの被写体に対しては、AF動作を正常に実行できない可能性がある。従って、三角測距方式が用いられる場合においても、AF動作によって被写体への合焦ができないと判定された場合に予測合焦位置にフォーカスレンズを移動させるように撮像システムを構成することにより、術者にとってより利便性の高い撮像システムが実現され得る。
AFの方式として三角測距方式が適用された撮像システムは、図1に示す撮像システム1の構成において、AF制御部118におけるAF動作に係る機能、及びAF動作判定部125における判定基準が変更されたものに対応する。具体的には、三角測距方式が適用された撮像システムでは、例えば、図1に示すAF制御部118は、AF動作に係る処理として、2つの被写体像から視差情報を取得する処理、当該視差情報及び基線距離(2つの被写体像の結像位置に対応する受光素子間の距離)に基づいて三角測量の原理に基づいて被写体との距離を算出する処理、及び、算出された当該被写体との距離に基づいて当該被写体に対して焦点が合う位置までのフォーカスレンズ103の移動量を算出する処理、を実行する。また、例えば、AF動作判定部125は、三角測距方式でのAF動作において一般的に用いられている各種の方法によって、AF動作によって被写体への合焦が可能かどうかを判定する。
なお、三角測距方式が用いられる場合には、撮像装置10内に、撮影用の撮像素子105とは別に測距のために他の撮像素子が設けられてもよく、当該他の撮像素子によって得られた2つの被写体像に基づいてAF動作が行われてもよい。あるいは、撮像素子105の受光面の中の一部に測距用の領域が確保されており、当該測距用の領域に対応する受光面において得られた2つの被写体像に基づいてAF動作が行われてもよい。この場合には、1つの撮像素子105によって、被写体の撮影と、AF動作のための測距と、をともに行うことができるため、撮像装置10の構成をより簡易なものとすることができる。
(4.補足)
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的なものではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)少なくとも1つの光学部材を移動させることによりオートフォーカス動作を実行させるオートフォーカス制御部と、前記オートフォーカス動作によって被写体である生体組織への合焦が可能かどうかを判定するオートフォーカス動作判定部と、を備え、前記オートフォーカス動作判定部によって、前記オートフォーカス動作により前記被写体への合焦ができないと判定された場合に、前記オートフォーカス制御部は、前記少なくとも1つの光学部材を、撮影用途に応じて予め設定される予測合焦位置に移動させる、制御装置。
(2)前記予測合焦位置は、前記被写体の撮影が行われる手術の術式に応じて設定される、前記(1)に記載の制御装置。
(3)前記予測合焦位置は、前記被写体の撮影が行われる診療科に応じて設定される、前記(1)又は(2)に記載の制御装置。
(4)前記予測合焦位置は、撮影された前記被写体を観察する術者に応じて設定可能である、前記(1)〜(3)のいずれか1項に記載の制御装置。
(5)前記予測合焦位置は、前記制御装置に接続される撮像装置に取り付けられた光学系の光学特性に応じて設定される、前記(1)〜(4)のいずれか1項に記載の制御装置。
(6)前記オートフォーカス動作は、被写体像のコントラストに基づいて実行される、前記(1)〜(5)のいずれか1項に記載の制御装置。
(7)前記オートフォーカス動作は、前記少なくとも1つの光学部材を移動させながら被写体像のコントラストが最大となる位置を探索し、当該コントラストが最大となる位置に前記少なくとも1つの光学部材を移動させることにより合焦を行う動作である、前記(6)に記載の制御装置。
(8)オートフォーカス動作中に被写体像のコントラストが最大となる前記少なくとも1つの光学部材の位置が決定されない状態で所定の時間が経過した場合に、当該オートフォーカス動作によって前記被写体への合焦ができないと判定され、前記少なくとも1つの光学部材が前記予測合焦位置に移動する、前記(7)に記載の制御装置。
(9)オートフォーカス動作中に前記少なくとも1つの光学部材が可動範囲に含まれる特定の範囲の端点に所定の回数到達した場合に、当該オートフォーカス動作によって前記被写体への合焦ができないと判定され、前記少なくとも1つの光学部材が前記予測合焦位置に移動する、前記(7)又は(8)に記載の制御装置。
(10)前記オートフォーカス動作は、被写体からの光を受光面内の互いに異なる位置に結像させて得られた2つの被写体像の像間隔に基づいて前記被写体との距離を算出し、当該距離に基づいて前記少なくとも1つの光学部材を移動させることにより合焦を行う動作である、前記(6)に記載の制御装置。
(11)前記オートフォーカス動作は、被写体像のデフォーカス度合いに基づいて前記被写体との距離を算出し、当該距離に基づいて前記少なくとも1つの光学部材を移動させることにより合焦を行う動作である、前記(6)に記載の制御装置。
(12)前記オートフォーカス動作は、被写体からの光を受光面内の互いに異なる位置に結像させて得られた2つの被写体像から得られる視差情報に基づいて三角測量の原理により前記被写体との距離を算出し、当該距離に基づいて前記少なくとも1つの光学部材を移動させることにより合焦を行う動作である、前記(6)に記載の制御装置。
(13)被写体である生体組織を撮影する撮像素子と、前記撮像素子に前記被写体からの光を集光するとともに、合焦動作のために少なくとも1つの光学部材が光軸上を移動可能に構成される光学系と、前記少なくとも1つの光学部材を移動させることによりオートフォーカス動作を実行させるオートフォーカス制御部と、前記オートフォーカス動作によって前記被写体への合焦が可能かどうかを判定するオートフォーカス動作判定部と、を備え、前記オートフォーカス動作判定部によって、オートフォーカス動作により前記被写体への合焦ができないと判定された場合に、前記オートフォーカス制御部は、前記少なくとも1つの光学部材を、撮影用途に応じて予め設定される予測合焦位置に移動させる、医療用撮像システム。
1 撮像システム
10 撮像装置
20 制御装置
101 光学系
102 ズームレンズ
103 フォーカスレンズ
105 撮像素子
107 ズームレンズ駆動部
111 フォーカスレンズ駆動部
115 撮像素子駆動部
117 撮像信号処理部
118 AF制御部
119 AFフレーム決定部
121 コントラスト検出部
123 フォーカスレンズ移動量決定部
125 AF動作判定部
127 ズーム動作制御部

Claims (10)

  1. 少なくとも1つの光学部材を移動させることによりオートフォーカス動作を実行させるオートフォーカス制御部と、
    前記オートフォーカス動作によって被写体である生体組織への合焦が可能かどうかを判定するオートフォーカス動作判定部と、
    を備え、
    前記オートフォーカス動作判定部によって、前記オートフォーカス動作により前記被写体への合焦ができないと判定された場合に、前記オートフォーカス制御部は、前記少なくとも1つの光学部材を、前記少なくとも1つの光学部材を含む撮像装置の種類に応じて予め設定される予測合焦位置に移動させる、
    制御装置。
  2. 前記撮像装置の種類を検出する検出部をさらに備え、
    前記オートフォーカス制御部は、前記検出部により検出された前記撮像装置の種類に基づいて、前記予測合焦位置を予め設定する、
    請求項1に記載の制御装置。
  3. 前記オートフォーカス動作は、被写体像のコントラストに基づいて実行される、
    請求項1に記載の制御装置。
  4. 前記オートフォーカス動作は、前記少なくとも1つの光学部材を移動させながら被写体像のコントラストが最大となる位置を探索し、当該コントラストが最大となる位置に前記少なくとも1つの光学部材を移動させることにより合焦を行う動作である、
    請求項に記載の制御装置。
  5. オートフォーカス動作中に被写体像のコントラストが最大となる前記少なくとも1つの光学部材の位置が決定されない状態で所定の時間が経過した場合に、当該オートフォーカス動作によって前記被写体への合焦ができないと判定され、前記少なくとも1つの光学部材が前記予測合焦位置に移動する、
    請求項に記載の制御装置。
  6. オートフォーカス動作中に前記少なくとも1つの光学部材が可動範囲に含まれる特定の範囲の端点に所定の回数到達した場合に、当該オートフォーカス動作によって前記被写体への合焦ができないと判定され、前記少なくとも1つの光学部材が前記予測合焦位置に移動する、
    請求項に記載の制御装置。
  7. 前記オートフォーカス動作は、被写体からの光を受光面内の互いに異なる位置に結像させて得られた2つの被写体像の像間隔に基づいて前記被写体との距離を算出し、当該距離に基づいて前記少なくとも1つの光学部材を移動させることにより合焦を行う動作である、
    請求項に記載の制御装置。
  8. 前記オートフォーカス動作は、被写体像のデフォーカス度合いに基づいて前記被写体との距離を算出し、当該距離に基づいて前記少なくとも1つの光学部材を移動させることにより合焦を行う動作である、
    請求項に記載の制御装置。
  9. 前記オートフォーカス動作は、被写体からの光を受光面内の互いに異なる位置に結像させて得られた2つの被写体像から得られる視差情報に基づいて三角測量の原理により前記被写体との距離を算出し、当該距離に基づいて前記少なくとも1つの光学部材を移動させることにより合焦を行う動作である、
    請求項に記載の制御装置。
  10. 被写体である生体組織を撮影する撮像素子と、
    前記撮像素子に前記被写体からの光を集光するとともに、合焦動作のために少なくとも1つの光学部材が光軸上を移動可能に構成される光学系と、
    前記少なくとも1つの光学部材を移動させることによりオートフォーカス動作を実行させるオートフォーカス制御部と、
    前記オートフォーカス動作によって前記被写体への合焦が可能かどうかを判定するオートフォーカス動作判定部と、
    を備え、
    前記オートフォーカス動作判定部によって、オートフォーカス動作により前記被写体への合焦ができないと判定された場合に、前記オートフォーカス制御部は、前記少なくとも1つの光学部材を、前記撮像素子と前記光学系とを備える撮像装置の種類に応じて予め設定される予測合焦位置に移動させる、
    医療用撮像システム。
JP2017519139A 2015-05-18 2016-05-10 制御装置及び医療用撮像システム Active JP6758287B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015100962 2015-05-18
JP2015100962 2015-05-18
PCT/JP2016/063931 WO2016185952A1 (ja) 2015-05-18 2016-05-10 制御装置及び医療用撮像システム

Publications (2)

Publication Number Publication Date
JPWO2016185952A1 JPWO2016185952A1 (ja) 2018-04-19
JP6758287B2 true JP6758287B2 (ja) 2020-09-23

Family

ID=57319974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017519139A Active JP6758287B2 (ja) 2015-05-18 2016-05-10 制御装置及び医療用撮像システム

Country Status (4)

Country Link
US (2) US10278566B2 (ja)
EP (1) EP3282296B1 (ja)
JP (1) JP6758287B2 (ja)
WO (1) WO2016185952A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016185952A1 (ja) * 2015-05-18 2016-11-24 ソニー株式会社 制御装置及び医療用撮像システム
CN109963072B (zh) * 2017-12-26 2021-03-02 Oppo广东移动通信有限公司 对焦方法、装置、存储介质及电子设备
CN110381246B (zh) * 2018-04-13 2021-03-26 杭州海康微影传感科技有限公司 图像采集设备
WO2021150921A1 (en) 2020-01-22 2021-07-29 Photonic Medical Inc Open view, multi-modal, calibrated digital loupe with depth sensing
EP4092462A1 (en) * 2021-05-18 2022-11-23 Leica Instruments (Singapore) Pte. Ltd. Laser assisted autofocus
WO2023042354A1 (ja) * 2021-09-16 2023-03-23 オリンパスメディカルシステムズ株式会社 内視鏡プロセッサ、プログラム、およびフォーカスレンズの制御方法
US20230240518A1 (en) * 2022-01-28 2023-08-03 Visionsense Ltd. System and method for surgical instrument tracking with autofocus

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3078083B2 (ja) 1992-02-19 2000-08-21 オリンパス光学工業株式会社 自動合焦装置
JP3594254B2 (ja) 1994-10-06 2004-11-24 オリンパス株式会社 内視鏡装置
JP2001350082A (ja) * 2000-06-07 2001-12-21 Olympus Optical Co Ltd 自動焦点調節装置
US6734410B2 (en) 2000-08-30 2004-05-11 Pentax Precision Co., Ltd. Surveying instrument having an optical distance meter and an autofocus system, and a surveying instrument having a detachable autofocus system
US6749561B2 (en) 2001-08-23 2004-06-15 Smith & Nephew, Inc. Autofocusing endoscopic system
US7522209B2 (en) 2002-12-26 2009-04-21 Hoya Corporation Automatic focusing apparatus including optical flow device calculation
JP2004205981A (ja) * 2002-12-26 2004-07-22 Pentax Corp 自動焦点調節装置
JP5757099B2 (ja) 2010-02-15 2015-07-29 株式会社ニコン 焦点調節装置、及び焦点調節プログラム
JP5864880B2 (ja) * 2011-04-07 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP5951211B2 (ja) * 2011-10-04 2016-07-13 オリンパス株式会社 合焦制御装置及び内視鏡装置
JP6406868B2 (ja) * 2013-07-16 2018-10-17 キヤノン株式会社 撮像装置及び撮像方法
JP6274794B2 (ja) 2013-09-12 2018-02-07 株式会社ミツトヨ 情報処理装置、情報処理方法、プログラム、及び画像測定装置
WO2016185952A1 (ja) * 2015-05-18 2016-11-24 ソニー株式会社 制御装置及び医療用撮像システム

Also Published As

Publication number Publication date
US10912450B2 (en) 2021-02-09
EP3282296A1 (en) 2018-02-14
EP3282296A4 (en) 2018-12-12
US20190216301A1 (en) 2019-07-18
WO2016185952A1 (ja) 2016-11-24
EP3282296B1 (en) 2023-10-04
US20180084979A1 (en) 2018-03-29
US10278566B2 (en) 2019-05-07
JPWO2016185952A1 (ja) 2018-04-19

Similar Documents

Publication Publication Date Title
JP6758287B2 (ja) 制御装置及び医療用撮像システム
US9485405B2 (en) Focus control device, endoscope device, and focus control method
JP6323184B2 (ja) 画像処理装置、画像処理方法、並びにプログラム
JP6143436B2 (ja) 眼科装置、制御方法よびプログラム
CN105579880B (zh) 内窥镜用摄像系统、内窥镜用摄像系统的工作方法
JP2012125293A (ja) 制御装置、内視鏡装置及びフォーカス制御方法
JP6666467B2 (ja) 医療用観察装置、及び制御方法
US11160451B2 (en) Apparatus, method, program, and system
WO2017221507A1 (ja) 内視鏡システム
JP5274100B2 (ja) 医療用観察装置
JP2014083352A (ja) 撮影装置及び撮影装置における合焦方法
JP6116188B2 (ja) 眼底撮像装置
US20140118691A1 (en) Ophthalmic apparatus, imaging control apparatus, and imaging control method
JP7207296B2 (ja) 撮像装置とフォーカス制御方法およびフォーカス判定方法
WO2013061939A1 (ja) 内視鏡装置及びフォーカス制御方法
WO2014208224A1 (ja) オートフォーカス装置
JP6067309B2 (ja) 内視鏡システムおよび内視鏡用プロセッサ
WO2022019057A1 (ja) 医療用アーム制御システム、医療用アーム制御方法及びプログラム
JP7299046B2 (ja) 医療用観察制御装置及び医療用観察システム
JP4933909B2 (ja) 眼科装置
CN117671101A (zh) 图像处理装置、图像处理方法和存储介质
JP2014106300A (ja) 医療用観察装置、そのフォーカス制御方法及びそのフォーカス制御プログラム
JP2014000485A (ja) 制御装置および制御方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190214

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190215

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190426

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190426

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200901

R150 Certificate of patent or registration of utility model

Ref document number: 6758287

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150