JP7315560B2 - 医療用制御装置及び医療用観察装置 - Google Patents

医療用制御装置及び医療用観察装置 Download PDF

Info

Publication number
JP7315560B2
JP7315560B2 JP2020538197A JP2020538197A JP7315560B2 JP 7315560 B2 JP7315560 B2 JP 7315560B2 JP 2020538197 A JP2020538197 A JP 2020538197A JP 2020538197 A JP2020538197 A JP 2020538197A JP 7315560 B2 JP7315560 B2 JP 7315560B2
Authority
JP
Japan
Prior art keywords
medical
display device
brightness
display
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020538197A
Other languages
English (en)
Other versions
JPWO2020039716A1 (ja
Inventor
泰平 道畑
浩資 妙見
敏 三井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Olympus Medical Solutions Inc
Sony Group Corp
Original Assignee
Sony Corp
Sony Olympus Medical Solutions Inc
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Olympus Medical Solutions Inc, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020039716A1 publication Critical patent/JPWO2020039716A1/ja
Application granted granted Critical
Publication of JP7315560B2 publication Critical patent/JP7315560B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/202Gamma control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • G09G2320/0646Modulation of illumination source brightness and image signal correlated to each other
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/08Biomedical applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Description

本開示は、医療用制御装置及び医療用観察装置に関する。
医療現場において、撮像装置は、患者の体内等の観察対象を撮像する際に、観察対象以外の鉗子やガーゼ等を被写体に含んで撮像してしまう場合が有り得る。この場合、表示装置に表示される撮像画像の明るさが鉗子やガーゼの明るさに合ってしまい、表示装置に表示される画像の明るさが全体的に明るくなることがある。これにより、表示される画像に白飛びが生じ、術者が観察したい部分の情報や色が欠けてしまうことがある。
一般的に、白飛びを低減するために、イメージセンサのダイナミックレンジを拡大することが有効である。例えば、セルサイズが大きく大判のイメージセンサを用いることで、イメージセンサのダイナミックレンジを拡大することができる。これにより、広いダイナミックレンジに対応した画像を撮像することができるため、当該画像が表示装置に表示された際の白飛びを低減することができる。また、白飛びを低減するために、撮像時のシャッタースピードの変更により時間的に異なって撮像された複数枚の明暗画像が合成されるHDR(High Dynamic Range)撮影を行うことも有効である。これにより、広いダイナミックレンジに対応した画像を生成することができるため、当該画像が表示された際の白飛びを低減することができる。
参考までに、下記特許文献1には、広ダイナミックレンジ画像を狭ダイナミックレンジ画像に変換する際に、ユーザの操作に基づき画像中の任意の位置の輝度を最適化する技術が開示されている。
特開2002-135589号公報
しかしながら、内視鏡システムでは、カメラヘッドの小型化が求められるため、大判のイメージセンサを用いることが難しい。また、長蓄積露光画像と短蓄積露光画像の2枚を合成してHDR画像を生成する撮影方法は、被写体又は撮像装置が動くことにより画像にブレが生じてしまうため、撮像装置を移動させながら体内の様子を観察する内視鏡システムにこのような撮影方法を用いることは望ましくない。そこで、内視鏡システムでは、大判のイメージセンサを用いず、かつ上記撮影方法を用いずに白飛びを低減することが求められていた。
そこで、本開示では、医療用撮像画像の白飛びを低減することが可能な、新規かつ改良された医療用制御装置及び医療用観察装置を提案する。
本開示によれば、画像を表示する表示装置に、観察対象からの光を受光する撮像装置が生成する撮像信号から生成される医療用撮像画像を表示させる表示制御部と、前記表示制御部に所定の明るさの前記医療用撮像画像を表示させるように、前記観察対象に照射される光の光量、または、前記撮像装置に入射する光の光量を制御することで前記撮像信号の明るさを制御する明るさ制御部と、を備え、前記明るさ制御部は、前記表示装置のダイナミックレンジが第1の値よりも大きな第2の値である場合、前記観察対象に照射される光の光量、または、前記撮像装置に入射する光の光量を小さくすることで、前記ダイナミックレンジが前記第1の値である場合に前記医療用撮像画像を前記所定の明るさで表示するための前記撮像信号の明るさよりも、前記撮像信号の明るさを暗くする制御を行う、医療用制御装置が提供される。
また、本開示によれば、光を発光する光源と、観察対象を撮像する撮像装置と、画像を表示する表示装置に、観察対象からの光を受光する撮像装置が生成する撮像信号から生成される医療用撮像画像を表示させる表示制御部と、前記表示制御部に所定の明るさの前記医療用撮像画像を表示させるように、前記光源から前記観察対象に照射される光の光量、または、前記撮像装置に入射する光の光量を制御することで前記撮像信号の明るさを制御する明るさ制御部と、を備え、前記明るさ制御部は、前記表示装置のダイナミックレンジが第1の値よりも大きな第2の値である場合、前記観察対象に照射される光の光量、または、前記撮像装置に入射する光の光量を小さくすることで、前記ダイナミックレンジが前記第1の値である場合に前記医療用撮像画像を前記所定の明るさで表示するための前記撮像信号の明るさよりも、前記撮像信号の明るさを暗くする制御を行う、医療用観察装置が提供される。
以上説明したように本開示によれば、医療用撮像画像の白飛びを低減することが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る概要を示す説明図である。 第1の実施形態に係る医療用観察システムの構成例を示す説明図である。 同実施形態に係る医療用観察装置の機能構成例を示すブロック図である。 同実施形態に係る医療用観察装置における入出力関係の例を示す説明図である。 同実施形態に係る表示装置における入出力関係の例を示す説明図である。 同実施形態に係る医療用撮像画像の表示例を示す説明図である。 同実施形態に係る医療用観察システムの動作の流れを示すシーケンス図である。 同実施形態に係る判定処理における処理の流れを示すフローチャートである。 同実施形態に係る補正処理における処理の流れを示すフローチャートである。 同実施形態に係る表示処理における処理の流れを示すフローチャートである。 第2の実施形態に係る医療用観察システムの構成例を示す説明図である。 同実施形態に係る複数の表示装置向けのガンマ補正の例を示す説明図である。 同実施形態に係る医療用観察システムの動作の流れを示すシーケンス図である。 同実施形態に係る補正処理における処理の流れを示すフローチャートである。 変形例に係る判定処理を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.概要
2.第1の実施形態
2.1.システム構成例
2.2.機能構成例
2.3.動作例
3.第2の実施形態
3.1.システム構成例
3.2.機能構成例
3.3.動作例
4.変形例
5.まとめ
<<1.概要>>
以下では、図1を参照しながら、本開示の一実施形態に係る概要について説明する。図1は、本開示の一実施形態に係る概要を示す説明図である。なお、以下では、本開示の一実施形態に係る医療用制御装置が、医療現場で用いられる内視鏡システムに適用された例について説明する。ただし、当該医療用制御装置が適用される対象は内視鏡システムに限定されない。例えば、当該医療用制御装置は、撮像装置を用いて外部から患者等の観察対象を撮像する医療用観察システムに適用されてもよい。
内視鏡システムにおいて、撮像装置は、患者の体内等の観察対象を撮像する際に、観察対象以外の鉗子やガーゼ等を被写体に含んで撮像してしまう場合が有り得る。この場合、表示装置に表示される撮像画像の明るさが鉗子やガーゼの明るさに合ってしまい、表示装置に表示される画像の明るさが全体的に明るくなることがある。これにより、表示される画像に白飛びが生じ、術者が観察したい部分の情報や色が欠けてしまうことがある。
一般的に、白飛びを低減するために、イメージセンサのダイナミックレンジを拡大することが有効である。例えば、セルサイズが大きく大判のイメージセンサを用いることで、イメージセンサのダイナミックレンジを拡大することができる。これにより、広いダイナミックレンジに対応した画像を撮像することができるため、当該画像が表示装置に表示された際の白飛びを低減することができる。また、白飛びを低減するために、撮像時のシャッタースピードの変更により時間的に異なって撮像された複数枚の明暗画像が合成されるHDR(High Dynamic Range)撮影を行うことも有効である。これにより、広いダイナミックレンジに対応した画像を生成することができるため、当該画像が表示された際の白飛びを低減することができる。
しかしながら、内視鏡システムでは、カメラヘッドの小型化が求められるため、大判のイメージセンサを用いることが難しい。また、長蓄積露光画像と短蓄積露光画像の2枚を合成してHDR画像を生成する撮影方法は、被写体又は撮像装置が動くことにより画像にブレが生じてしまうため、撮像装置を移動させながら体内の様子を観察する内視鏡システムにこのような撮影方法を用いることは望ましくない。そこで、内視鏡システムでは、大判のイメージセンサを用いず、かつ上記撮影方法を用いずに白飛びを低減することが求められていた。
本開示の実施形態では、上記の点に着目して発想されたものであり、医療用撮像画像の白飛びを低減することが可能な技術を提案する。例えば、観察対象からの光を受光する撮像装置が生成する撮像信号の明るさを制御し、画像を表示する表示装置に撮像信号から生成される医療用撮像画像を表示させる医療用制御装置を提案する。
具体的に、医療用制御装置は、表示装置20のダイナミックレンジが高い程、撮像信号の明るさがより暗くなるように撮像信号の明るさを制御する。これは、ダイナミックレンジが高い範囲の表示装置ほど、医療用撮像画像の明るさを明るく表示でき、明るさを明るくするほど表示される医療用撮像画像に白飛びが生じる可能性が高いからである。医療用制御装置は、表示装置に表示される医療用撮像画像の明るさに応じて、観察対象を撮像する際の明るさを暗くして撮像することで、表示装置にて医療用撮像画像の明るさを明るくして表示した際に生じる白飛びを低減することができる。
本開示の一実施形態では、ダイナミックレンジが高い範囲を示す表示装置は、ダイナミックレンジがハイダイナミックレンジ(HDR:High Dynamic Range)の表示装置である。ここで、HDRの表示装置とは、表示できる画像の最大輝度が1000nit以上である表示装置である。一方、ダイナミックレンジが低い範囲を示す表示装置は、ダイナミックレンジがスタンダードダイナミックレンジ(SDR:Standard Dynamic Range)の表示装置である。ここで、SDRの表示装置とは、表示できる画像の最大輝度が1000nit未満である表示装置である。なお、ダイナミックレンジに基づく表示装置の種類は、上述のHDRの表示装置とSDRの表示装置に限定されず、他のダイナミックレンジに基づく表示装置であってもよい。以下では、医療用撮像画像が表示される表示装置は、HDRの表示装置又はSDRの表示装置のいずれか一方である例について説明する。
図1に示す1点鎖線のグラフは、SDRの表示装置における入出力関係を示しており、2点鎖線のグラフは、HDRの表示装置における入出力関係を示している。本開示の一実施形態に係る撮像信号は、図1に示すように、ガンマ補正及び逆ガンマ補正が行われた上で、最終的な撮像信号として出力される。
例えば、医療用撮像画像を表示する表示装置がHDRの表示装置である場合、明るさを暗くして観察対象が撮像されるため、図1の撮像時の撮像信号のグラフが示すように、HDRの表示装置の出力はSDRの表示装置の出力よりも小さい。しかしながら、HDRの表示装置の場合の撮像信号に対してガンマ補正と逆ガンマ補正が行われることで、図1の補正後の撮像信号のグラフが示すように、HDRの表示装置はSDRの表示装置の出力よりも大きく出力をすることができる。
以上、図1を参照しながら、本開示の一実施形態に係る概要について説明した。続いて、第1の実施形態について説明する。
<<2.第1の実施形態>>
以下では、図2~図10を参照しながら、第1の実施形態について説明する。
<2.1.システム構成例>
以下では、図2を参照しながら、本開示の実施形態に係る医療用観察システムの構成例について説明する。図2は、第1の実施形態に係る医療用観察システム1の構成例を示す説明図である。
図2に示すように、第1の実施形態に係る医療用観察システム1は、例えば、医療用観察装置10と、表示装置20とを有する。例えば、図2に示す医療用観察装置10が手術時に用いられる場合、術者は、医療用観察装置10により撮像されて、表示装置20の表示画面に表示された医療用撮像画像を参照しながら術部を観察し、当該術部に対して、術式に応じた手技などの各種処置を行う。また、術者を補助する補助者も同様に、表示装置20の表示画面に表示された医療用撮像画像を参照しながら術者が行う各種処置の補助を行う。なお、以下では、術者及び補助者等の手術に関わる者は、総称してユーザとも称される。
なお、第1の実施形態に係る医療用観察システム1は、図2に示す例に限られない。例えば、第1の実施形態に係る医療用観察システム1は、医療用観察装置10における各種動作を制御する医療用制御装置(図示せず)を、さらに有していてもよい。図2に示す医療用観察システム1では、後述するように、医療用観察装置10が制御部(後述する)を備えることにより、医療用観察装置10が医療用制御装置(図示せず)の機能を有している例を示している。
医療用制御装置(図示せず)としては、例えば、“メディカルコントローラ”や、“サーバなどのコンピュータ”などが、挙げられる。また、医療用制御装置(図示せず)は、例えば、上記のような機器に組み込むことが可能な、IC(Integrated Circuit)であってもよい。
また、第1の実施形態に係る医療用観察システム1は、医療用観察装置10と表示装置20との一方または双方を複数有する構成であってもよい。医療用観察装置10を複数有する場合、各々の医療用観察装置10において、後述する表示制御処理が行われる。また、第1の実施形態に係る医療用観察システム1が医療用観察装置10と表示装置20とを複数有する構成である場合、医療用観察装置10と表示装置20とが一対一に対応付けられていてもよいし、複数の医療用観察装置10が1つの表示装置20に対応付けられていてもよい。複数の医療用観察装置10が1つの表示装置20に対応付けられている場合、表示装置20では、例えば切り替え操作などが行われることによって、どの医療用観察装置10において撮像された医療用撮像画像を表示画面に表示させるのかが、切り替えられる。
以下、図2に示す第1の実施形態に係る医療用観察システム1を構成する各装置について説明する。
(1)医療用観察装置10
図2に示す医療用観察装置10は、例えば、挿入部材130と、光源ユニット132と、ライトガイド134と、カメラヘッド136と、ケーブル138と、制御ユニット140とを備える。
また、図2では示していないが、医療用観察装置10は、例えば、MPU(Micro Processing Unit)などの演算回路で構成される、1または2以上のプロセッサ(図示せず)と、ROM(Read Only Memory。図示せず)と、RAM(Random Access Memory。図示せず)と、記録媒体(図示せず)と、通信デバイス(図示せず)とを、備えていてもよい。医療用観察装置10は、例えば、医療用観察装置10が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
プロセッサ(図示せず)は、医療用観察装置10における制御部(後述する)として機能する。ROM(図示せず)は、プロセッサ(図示せず)が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、プロセッサ(図示せず)により実行されるプログラムなどを一時的に記憶する。
記録媒体(図示せず)は、医療用観察装置10における記憶部(図示せず)として機能する。記録媒体(図示せず)には、例えば、本実施形態に係る表示制御方法に係るデータや、各種アプリケーションなどの、様々なデータが記憶される。ここで、記録媒体(図示せず)としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記録媒体(図示せず)は、医療用観察装置10から着脱可能であってもよい。
通信デバイス(図示せず)は、医療用観察装置10が備える通信手段であり、表示装置20などの外部装置と、無線または有線で通信を行う役目を果たす。ここで、通信デバイス(図示せず)としては、例えば、IEEE802.15.1ポートおよび送受信回路(無線通信)や、IEEE802.11ポートおよび送受信回路(無線通信)、通信アンテナおよびRF回路(無線通信)、あるいはLAN端子および送受信回路(有線通信)などが挙げられる。
(1-1)挿入部材130
挿入部材130は、細長形状を有し、入射光を集光する光学系を内部に備える。挿入部材130の先端は、例えば、患者の体腔内に挿入される。挿入部材130の後端はカメラヘッド136の先端と着脱可能に接続される。また、挿入部材130は、ライトガイド134を介して光源ユニット132と接続され、光源ユニット132から光が供給される。
挿入部材130は、例えば、可撓性を有さない素材で形成されてもよいし、可撓性を有する素材で形成されてもよい。挿入部材130を形成する素材によって、医療用観察装置10は、硬性鏡または軟性鏡と呼ばれうる。
(1-2)光源ユニット132
光源ユニット132は、ライトガイド134を介して挿入部材130と接続される。光源ユニット132は、ライトガイド134を介して挿入部材130に光を供給する。
光源ユニット132は、例えば、波長が異なる光を発光する複数の光源を有する。光源ユニット132が有する複数の光源としては、例えば、赤色の光を発光する光源、緑色の光を発光する光源、および青色の光を発光する光源が挙げられる。赤色の光を発光する光源としては、例えば、1または2以上の赤色発光ダイオードが挙げられる。緑色の光を発光する光源としては、例えば、1または2以上の緑色発光ダイオードが挙げられる。青色の光を発光する光源としては、例えば、1または2以上の青色発光ダイオードが挙げられる。なお、光源ユニット132が有する複数の光源が、上記に示す例に限られないことは、言うまでもない。光源ユニット132は、例えば、複数の光源を単一チップで有し、または、複数の光源を複数のチップで有する。
光源ユニット132は、制御ユニット140と有線または無線で接続され、光源ユニット132における発光は、制御ユニット140により制御される。
挿入部材130に供給された光は、挿入部材130の先端から出射され、患者の体腔内組織などの観察対象に照射される。そして、観察対象からの反射光は、挿入部材130内の光学系によって集光される。
(1-3)カメラヘッド136
カメラヘッド136は、観察対象を撮像する機能を有する。カメラヘッド136は、信号伝送部材であるケーブル138を介して制御ユニット140と接続される。
カメラヘッド136は、イメージセンサを有し、挿入部材130によって集光された観察対象からの反射光を光電変換することにより観察対象を撮像し、撮像信号(医療用撮像画像を示す信号)を生成する。そして、カメラヘッド136は、生成した撮像信号を制御ユニット140へケーブル138を介して出力する。カメラヘッド136が有するイメージセンサとしては、例えば、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などの撮像素子を複数用いたイメージセンサが、挙げられる。
内視鏡装置として機能する医療用観察装置10では、例えば、挿入部材130、光源ユニット132、およびカメラヘッド136が、“患者の体内に挿入されて、体内を撮像する撮像装置”の役目を果たす。
なお、内視鏡装置として機能する医療用観察装置10は、例えば、いわゆるステレオカメラとして機能する複数の撮像装置を備える構成であってもよい。ステレオカメラとして機能する撮像装置の構成において、光学系は、第1の例に係る医療用観察システムを構成する医療用観察装置10と同様に、ガリレオ式光学系であってもよいし、グリノー式光学系であってもよい。
(1-4)制御ユニット140
制御ユニット140は、撮像装置を制御する。より具体的には、制御ユニット140は、光源ユニット132およびカメラヘッド136それぞれを制御する。
また、制御ユニット140は、通信デバイス(図示せず)を含み、カメラヘッド136から出力された撮像信号を任意の無線通信または任意の有線通信で、表示装置20へ送信する。制御ユニット140は、撮像信号と表示制御信号とを表示装置20へ送信してもよい。
制御ユニット140が含む通信デバイス(図示せず)としては、例えば、IEEE802.15.1ポートおよび送受信回路(無線通信)や、IEEE802.11ポートおよび送受信回路(無線通信)、通信アンテナおよびRF回路(無線通信)、光通信用デバイス(有線通信または無線通信)、あるいはLAN端子および送受信回路(有線通信)などが挙げられる。通信デバイス(図示せず)は、複数の通信方式によって、1または2以上の外部装置と通信を行うことが可能な構成であってもよい。
また、制御ユニット140は、カメラヘッド136から出力された撮像信号に対して所定の処理を行い、所定の処理が行われた撮像信号を表示装置20へ送信してもよい。撮像信号に対する所定の処理としては、例えば、ホワイトバランスの調整や、電子ズーム機能に係る画像の拡大または縮小、画素間補正などが、挙げられる。
なお、制御ユニット140は、撮像信号に基づく医療用撮像画像を記憶してもよい。制御ユニット140としては、例えばCCU(Camera Control Unit)が挙げられる。
内視鏡装置として機能する医療用観察装置10は、例えば図2を参照して示したハードウェア構成を有する。内視鏡装置として機能する医療用観察装置10では、例えば、挿入部材130、光源ユニット132、およびカメラヘッド136が、撮像装置の役目を果たし、制御ユニット140により撮像装置における撮像が制御される。
(2)表示装置20
表示装置20は、第1の実施形態に係る医療用観察システム1における表示手段であり、医療用観察装置10からみて外部の表示デバイスに該当する。表示装置20は、例えば、医療用観察装置10において撮像された医療用撮像画像や、UI(User Interface)に係る画像などの、様々な画像を表示画面に表示する。具体的に、表示装置20は、制御ユニット140から送信される撮像信号に基づき医療用撮像画像を生成し、生成した医療用撮像画像を表示画面に表示する。
また、表示装置20は、任意の方式により3D表示が可能な構成を有していてもよい。表示装置20における表示は、例えば、医療用観察装置10、または、医療用制御装置(図示せず)によって制御される。
医療用観察システム1において表示装置20は、手術室の壁面や天井、床面などの、手術室内においてユーザにより視認されうる任意の場所に設置される。
表示装置20としては、例えば、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ、CRT(Cathode Ray Tube)ディスプレイなどが挙げられる。
なお、表示装置20は、上記に示す例に限られない。例えば、表示装置20は、ヘッドマウントディスプレイやアイウェア型の装置などのような、ユーザなどが身体に装着して用いる任意のウェアラブル装置であってもよい。
表示装置20は、例えば、表示装置20が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
<2.2.機能構成例>
続いて、図3~図7を参照しながら、医療用観察システム1の機能構成例について説明する。
<2.2.1.医療用観察装置10の機能構成例>
以下では、図3及び図4を参照しながら、第1の実施形態に係る医療用観察装置10の機能構成例について説明する。図3は、第1の実施形態に係る医療用観察装置10の機能構成例を示すブロック図である。図3に示すように、第1の実施形態に係る医療用観察装置10は、例えば、撮像部100、制御部110、及び通信部120を備える。
(1)撮像部100
撮像部100は、観察対象を撮像する。撮像部100は、例えば、図2にて示した挿入部材130、光源ユニット132、およびカメラヘッド136で構成される。撮像部100における撮像は、例えば制御部110によって制御される。
(2)制御部110
制御部110は、例えば上述したプロセッサ(図示せず)で構成され、医療用観察装置10全体を制御する役目を果たす。また、制御部110は、後述する撮像制御処理及び表示制御処理を主導的に行う役目を果たす。なお、制御部110における撮像制御処理及び表示制御処理は、複数の処理回路(例えば、複数のプロセッサなど)で分散して行われてもよい。
より具体的に、制御部110は、図3に示すように、明るさ制御部112、及び表示制御部114を有する。
(2-1)明るさ制御部112
明るさ制御部112は、撮像部100を構成する撮像装置を制御する。例えば、明るさ制御部112は、撮像装置が観察対象を撮像する際の明るさを制御するための撮像制御処理を行う。具体的に、明るさ制御部112は、表示装置20を判定するための判定情報に基づき、表示装置20のダイナミックレンジを特定する。次いで、明るさ制御部112は、特定された表示装置20のダイナミックレンジに対応する明るさの目標値を決定する。より具体的に、撮像制御処理では、以下に示す判定情報取得処理、判定処理、及び明るさの目標値の決定処理が行われる。
(判定情報取得処理)
明るさ制御部112は、まず、医療用観察装置10に接続されている表示装置20を判定するための判定情報を取得する。当該判定情報は、操作情報とダイナミックレンジ情報とを含み得る。
操作情報とは、ユーザによる所定の操作により入力される操作に関する情報である。例えば、ユーザは、医療用撮像画像を表示する表示装置20を選択する選択操作を行う。明るさ制御部112は、ユーザが選択した表示装置20に関する情報を操作情報(判定情報)として取得する。
ダイナミックレンジ情報とは、表示装置20のダイナミックレンジを示す情報である。明るさ制御部112は、例えば、医療用観察装置10に接続されている表示装置20からダイナミックレンジ情報を取得する。また、明るさ制御部112は、医療用観察装置10に接続されている表示装置20から識別情報を取得し、当該識別情報に基づき、表示装置20のダイナミックレンジ情報を取得してもよい。例えば、明るさ制御部112は、取得した識別情報に基づき、医療用観察装置10の記憶部に予め登録されている表示装置20のダイナミックレンジ情報を参照することで、表示装置20のダイナミックレンジ情報を取得する。
なお、明るさ制御部112は、医療用観察装置10と表示装置20とが片方向通信のみ可能なケーブル等で接続されている場合、表示装置20からダイナミック情報又は識別情報を取得できないため、上述の操作情報を取得する。一方、明るさ制御部112は、医療用観察装置10と表示装置20とが双方向通信可能なケーブル等で接続されている場合、上述のダイナミックレンジ情報又は識別情報を表示装置20から取得する。片方向通信のみ可能なケーブルは、例えば、SDI(Serial Digital Interface)ケーブル等である。また、双方向通信可能なケーブルは、例えば、HDMI(High-Difintiion Multimedia Interface)ケーブル又はDisplay Portケーブル等である。なお、SDIケーブルにより医療用観察装置10と表示装置20が接続される場合、医療用観察装置10は表示装置20へユーザIDを送信し、表示装置20は当該ユーザIDに応じて逆ガンマ補正及び明るさの調整を行ってもよい。この場合、ユーザIDは、ユーザが使用する表示装置20と対応付けられているものとする。
(判定処理)
明るさ制御部112は、取得した判定情報に基づき、表示装置20のダイナミックレンジを特定する。例えば、明るさ制御部112は、所定の選択操作に基づき、表示装置20のダイナミックレンジを特定する。具体的に、明るさ制御部112は、判定情報として取得した操作情報より、ユーザが選択操作により選択した表示装置20を確認する。そして、明るさ制御部112は、ユーザに選択された表示装置20のダイナミックレンジを、医療用観察装置10に接続された表示装置20のダイナミックレンジとして特定する。また、明るさ制御部112は、判定情報として取得したダイナミックレンジ情報に基づき、表示装置20のダイナミックレンジを特定する。具体的に、明るさ制御部112は、判定情報として取得したダイナミックレンジ情報が示すダイナミックレンジを、医療用観察装置10に接続された表示装置20のダイナミックレンジとして特定する。
明るさ制御部112は、判定処理にて特定した表示装置20のダイナミックレンジに基づき、撮像部100にどのように観察対象を撮像させるかを決定する。例えば、表示装置20のダイナミックレンジがHDRである場合、表示装置20は、輝度を高くして医療用撮像画像を表示する。そのため、明るさ制御部112は、撮像部100に明るさを暗くして観察対象を撮像させると決定する。一方、表示装置20のダイナミックレンジがSDRである場合、表示装置20は、輝度を高くすることなく医療用撮像画像を表示する。そのため、明るさ制御部112は、撮像部100に明るさを暗くせずに観察対象を撮像させると決定する。
(明るさ目標値の決定処理)
明るさ制御部112は、判定処理の結果に応じて、観察対象を撮像する際の明るさの目標値を決定する。例えば、撮像部100に明るさを暗くして観察対象を撮像させると決定した場合、明るさ制御部112は、表示装置20のダイナミックレンジと、所定のダイナミックレンジとを比較し、比較の結果に基づき明るさの目標値を決定する。具体的に、明るさ制御部112は、表示装置20のダイナミックレンジの最大値と、所定のダイナミックレンジの最大値との差分を抽出し、当該差分に基づき、明るさの目標値を決定する。
例えば、明るさ制御部112は、表示装置20のダイナミックレンジの最大値が、所定のダイナミックレンジの最大値のn倍(nは実数)である場合、表示装置20における明るさの目標値を、所定のダイナミックレンジに対応する目標値の1/n倍とする。具体的に、医療用観察装置10に接続された表示装置20のダイナミックレンジがHDRであり、HDRの表示装置20のダイナミックレンジの最大値がSDRの表示装置20のダイナミックレンジの最大値の2倍であったとする。この場合、明るさ制御部112は、HDRの表示装置20における明るさの目標値をSDRの表示装置20の明るさ目標値の1/2倍とする。
なお、明るさの目標値は、撮像装置が観察対象を撮像する際の明るさが明るくなるように決定されてもよい。また、表示装置20における明るさの目標値を算出する際の所定のダイナミックレンジに対応する目標値に乗算する倍率は、1/n倍に限定されず、任意の倍率が設定されてもよい。
(明るさの制御処理)
明るさ制御部112は、例えば、光源ユニット132が発光する光の光量を制御することで、撮像部100が観察対象を撮像する際の明るさを調整する。具体的に、撮像時の明るさを明るくしたい場合、明るさ制御部112は、光源ユニット132が発光する光の光量を多くする。これにより、観察対象に投射される光量が多くなるため、撮像時の明るさが明るくなり、撮像信号の明るさも明るくなる。一方、撮像時の明るさを暗くしたい場合、明るさ制御部112は、光源ユニット132が発光する光の光量を少なくする。これにより、観察対象に投射される光量が少なくなるため、撮像時の明るさが暗くなり、撮像信号の明るさも暗くなる。
(その他の制御処理)
また、明るさ制御部112は、例えば、ズーム機能(光学ズーム機能および電子ズーム機能)を含む、AF機能の制御などの一般的に電子撮像式の顕微鏡部に備えられる1または2以上の機能の制御を行ってもよい。
(2-2)表示制御部114
表示制御部114は、表示装置20における医療用撮像画像の表示を制御する。医療用撮像画像の表示の制御としては、例えば、表示制御部114は、表示制御処理を行い、医療用撮像画像が表示装置20に表示される際の明るさの制御を行う。
ここで、図4を参照しながら、ガンマ補正について説明する。図4は、第1の実施形態に係る医療用観察装置10における入出力関係の例を示す説明図である。図4に示すグラフの横軸は、医療用観察装置10に入力されるデータを示し、縦軸は、医療用観察装置10から出力されるデータを示す。
通常、表示装置20には、入力された撮像信号に対応する画像がそのまま出力されることが理想である。当該理想のように画像が出力されるには、表示装置における入出力関係を示すガンマ値が1.0に設定されている必要がある。しかしながら、一般的には、表示装置20におけるガンマ値は1.0ではなく2.2に設定されており、入力された撮像信号のRGBの値を小さくして撮像信号に対応する医療用撮像画像を暗くする逆ガンマ補正という処理が行われている。そのため、表示装置20に対して撮像信号を撮像時の状態のまま入力すると、表示装置20における逆ガンマ補正により医療用撮像画像が暗く表示される。そのため、撮像信号が表示装置に入力される前に予めRGBの値を大きくしておくことで、表示装置20にて医療用撮像画像が暗く表示されることを防ぐことができる。上述のように、RGBの値を予め大きくする処理は、ガンマ補正と称される。
なお、ガンマ値が1.0である場合の入出力関係は、図4に示す破線のようになる。また、ガンマ値が2.2の場合の入出力関係は、図4に示す1点鎖線のようになり、当該関係はSDRの表示装置20における入出力関係に相当する。なお、HDRの表示装置20における入出力関係は、図4に示す二点鎖線のようになる。当該二点鎖線は、HLG(Hybrid Log Gamma)方式に基づく入出力関係を示している。なお、HDRの表示装置20における入出力関係は、PQ(Perceptual Quantization)方式に基づく入出力関係であってもよい。
第1の実施形態に係る医療用観察装置10では、表示制御部114が撮像信号に対して表示装置20が有するガンマ値に基づきガンマ補正を行い、ガンマ補正が行われた撮像信号から生成される医療用撮像画像を表示装置20に表示させる。例えば、表示制御部114は、表示装置20と所定のガンマ値を有する表示装置20とに表示される医療用撮像画像の中間の輝度値が同一となるように、撮像信号に対してガンマ補正を行う。具体的に、表示制御部114は、医療用撮像画像がHDRの表示装置20に表示される場合、HDRの表示装置20とガンマ値が2.2のSDRの表示装置20とに表示される医療用撮像画像の中間の輝度値が同一となるようにガンマ補正を行う。これにより、表示装置20は、HDRの表示装置20とSDRの表示装置20の両方における医療用撮像画像の視認性が同一となるように、各々の表示装置20に医療用撮像画像を表示することができる。
(3)通信部120
通信部120は、医療用観察装置10が備える通信手段であり、表示装置20などの外部装置と無線または有線で通信を行う役目を果たす。通信部120は、例えば上述した通信デバイス(図示せず)で構成される。通信部120における通信は、例えば制御部110によって制御される。
<2.2.2.表示装置20の機能構成例>
以下では、図5及び図6を参照しながら、第1の実施形態に係る表示装置20の機能構成例について説明する。図5は、第1の実施形態に係る表示装置20における入出力関係の例を示す説明図である。図5に示すグラフの横軸は、表示装置20に入力されるデータを示し、縦軸は、表示装置20から出力されるデータを示す。
表示装置20は、少なくとも制御部(図示しない)を備える。当該制御部は、ガンマ補正によりRGBの値が予め大きくされた撮像信号に対して、逆ガンマ補正を行う。これにより、当該制御部は、撮像信号のRGBの値を小さくすることで、図5に破線で示されている理想的な入出力関係により近づけた上で、撮像信号を医療用撮像画像として表示装置20に表示させる。
医療用撮像画像がSDRの表示装置20に表示される場合、当該制御部は、図5の1点鎖線が示す入出力関係に基づき、逆ガンマ補正を行う。なお、一点鎖線が示す入出力関係は、ガンマ値が2.2の場合の入出力関係を示している。また、医療用撮像画像がHDRの撮像画像に表示される場合、当該制御部は、図5に示す二点鎖線が示す入出力関係に基づき、逆ガンマ補正を行う。なお、二点鎖線が示す入出力関係は、HLG(Hybrid Log Gamma)方式に基づく入出力関係を示している。なお、HDRの表示装置20における入出力関係は、PQ(Perceptual Quantization)方式に基づく入出力関係であってもよい。
ここで、図6を参照しながら、表示装置20が表示する医療用撮像画像について説明する。図6は、第1の実施形態に係る医療用撮像画像の表示例を示す説明図である。図6の上部の図は、SDRの表示装置20に表示された医療用撮像画像、下部の図は、HDRの表示装置20に表示された医療用撮像画像を示している。また、図6の左側の図は、撮像時の医療用撮像画像、右側の図は、補正後の医療用撮像画像を示している。
上部左側の医療用撮像画像は、SDRの表示装置に表示されるため、明るさを暗くせず、普通の明るさで撮像されており、観察対象50には白飛びが生じている。上部左側の医療用撮像画像が補正された上部右側の医療用撮像画像の明るさは、補正により上部左側の医療用撮像画像の明るさよりも明るくなっており、観察対象50には白飛びが生じたままとなっている。
下部左側の医療用撮像画像は、HDRの表示装置に表示されるため、上部左側の医療用撮像画像の明るさよりも暗い明るさで撮像されており、観察対象50には白飛びが生じていない。下部左側の医療用撮像画像が補正された下部右側の医療用撮像画像の明るさは、補正により下部左側の医療用撮像画像の明るさよりも明るくなっているが、観察対象50には白飛びが生じていない。
<2.3.動作例>
以下では、図7~図10を参照しながら、第1の実施形態に係る医療用観察システム1の動作例について説明する。
(1)医療用観察システム1全体の動作例
まず、医療用観察システム1が表示装置20に医療用撮像画像を表示するまでの一連の動作例について説明する。図7は、第1の実施形態に係る医療用観察システム1の動作の流れを示すシーケンス図である。
図7に示すように、まず、制御部110は、判定情報を取得する(ステップS1000)。次いで、制御部110は、取得した判定情報に基づき、医療用観察装置10に接続されている表示装置20のダイナミックレンジを判定する判定処理を行う(ステップS1002)。なお、判定処理の詳細処理については、後述される。次いで、制御部110は、判定処理の結果に基づき、明るさの目標値を決定する(ステップS1004)。そして、制御部110は、決定した目標値の明るさとなる医療用撮像画像を撮像するように、撮像部100へ撮像指示を出力する(ステップS1006)。
制御部110から撮像指示を入力された撮像部100は、撮像指示に従い観察対象を撮像し(ステップS1008)、撮像によって得られた撮像信号を制御部110へ出力する(ステップS1010)。
撮像部100から撮像信号を入力された制御部110は、撮像信号に対して、撮像信号が送信される表示装置20に応じた補正処理を行う(ステップS1012)。なお、補正処理の詳細処理については後述される。補正処理後、制御部110は、通信部120を介して補正した撮像信号を表示装置20へ送信する(ステップS1014)。
撮像信号を受信した表示装置20は、撮像信号を医療用撮像画像として表示するための表示処理を行う(ステップS1016)。なお、表示処理の詳細処理については、後述される。医療用観察システム1は、当該表示処理にて表示装置20に医療用撮像画像が表示されると動作を終了する。
(2)判定処理
次いで、第1の実施形態に係る制御部110における、判定処理の詳細処理について説明する。図8は、第1の実施形態に係る判定処理における処理の流れを示すフローチャートである。
図8に示すように、まず、制御部110は、取得した判定情報より、医療用観察装置10に接続されている表示装置20のダイナミックレンジを特定する(ステップS1200)。次いで、制御部110は、特定したダイナミックレンジがHDRであるか否かを確認する(ステップS1202)。特定したダイナミックレンジがHDRである場合(ステップS1202/YES)、制御部110は、明るさを暗くして撮像部100に観察対象を撮像させると決定する(ステップS1204)。一方、特定したダイナミックレンジがHDRでない場合(ステップS1202/NO)、制御部110は、明るさを暗くせずに撮像部100に観察対象を撮像させると決定する(ステップS1206)。そして、制御部110は、判定処理を終了する。
(3)補正処理
次いで、第1の実施形態に係る制御部110における、補正処理の詳細処理について説明する。図9は、第1の実施形態に係る補正処理における処理の流れを示すフローチャートである。
図9に示すように、まず、制御部110は、入力された撮像信号のホワイトバランスを調整する(ステップS1400)。次いで、制御部110は、表示装置20のダイナミックレンジに応じたガンマ補正を行う(ステップS1402)。例えば、ダイナミックレンジがHDRである場合、制御部110は、HDRに対応するガンマ値を用いて、撮像信号に対してガンマ補正を行う。また、ダイナミックレンジがSDRである場合、制御部110は、SDRに対応するガンマ値を用いて、撮像信号に対してガンマ補正を行う。そして、制御部110は、ガンマ補正後の撮像信号をRGBからYCbCrへ変換し(ステップS1404)、補正処理を終了する。
(4)表示処理
次いで、第1の実施形態に係る表示装置20における、表示処理の詳細処理について説明する。図10は、第1の実施形態に係る表示処理における処理の流れを示すフローチャートである。
図10に示すように、まず、表示装置20は、受信した撮像信号をYCbCrからRGBへ変換する(ステップS1600)。次いで、表示装置20は、変換した撮像信号に対して、表示装置20のダイナミックレンジに応じた逆ガンマ補正を行う(ステップS1602)。例えば、ダイナミックレンジがHDRである場合、表示装置20は、HDRに対応するガンマ値を用いて、撮像信号に対して逆ガンマ補正を行う。また、ダイナミックレンジがSDRである場合、表示装置20は、SDRに対応するガンマ値を用いて、撮像信号に対して逆ガンマ補正を行う。そして、表示装置20は、補正された撮像信号に対応する医療用撮像画像を生成し、生成した医療用撮像画像を表示し(ステップS1604)、表示処理を終了する。
以上、図2~図10を参照しながら、第1の実施形態について説明した。続いて、第2の実施形態について説明する。
<<3.第2の実施形態>>
以下では、図11~図14を参照しながら、第2の実施形態について説明する。上述の第1の実施形態では、医療用観察装置10に1台の表示装置20のみが接続される例について説明した。第2の実施形態では、医療用観察装置10に複数台の表示装置20が接続される例について説明する。なお、以下では、第1の実施形態と相違する点のみを説明し、第1の実施形態と重複する点の説明を省略する。
<3.1.システム構成例>
以下では、図11を参照しながら、第2の実施形態に係る医療用観察システム2の構成例について説明する。図11は、第2の実施形態に係る医療用観察システム2の構成例を示す説明図である。図11に示すように、第2の実施形態に係る医療用観察システム2は、例えば、医療用観察装置10と、表示装置20Aと、表示装置20Bとを有する。
なお、医療用観察装置10に複数台の表示装置20が接続される点以外の第2の実施形態に係る医療用観察システム2のシステム構成は、上述した第1の実施形態に係る医療用観察システム1のシステム構成と同一である。したがって、本節では、医療用観察システム2のシステム構成に関する詳細な説明を省略する。
<3.2.機能構成例>
以下では、第2の実施形態に係る医療用観察装置10の機能構成例について説明する。なお、第2の実施形態に係る医療用観察装置10の機能構成は、第1の実施形態に係る医療用観察装置10の機能構成と同一である。ただし、制御部110における一部処理が異なる。したがって、本節では、制御部110における当該一部処理についてのみ説明する。
(1)制御部110
第2の実施形態に係る制御部110の機能構成は、第1の実施形態に係る制御部110の機能構成と同一である。ただし、各々の構成要素における処理が一部異なる。
(1-1)明るさ制御部112
第2の実施形態に係る明るさ制御部112は、明るさ目標値を決定する際の基準となる表示装置20を、複数の表示装置20の中から選択する点が第1の実施形態に係る明るさ制御部112と異なる。複数の表示装置20が存在する場合、明るさ制御部112は、撮像信号が複数の表示装置20の中から選択される表示装置20のダイナミックレンジに対応する明るさとなるように、撮像装置における撮像を制御する。
複数の表示装置20の中から選択される表示装置20は、例えば、所定のユーザに対応付けられている表示装置20である。具体的に、所定のユーザに対応付けられている表示装置20として、メインの術者に対応付けられた表示装置20が選択され得る。さらに、所定のユーザに対応付けられている表示装置20として、メインの術者の補助者に対応付けられた表示装置20が選択され得る。また、複数の表示装置20の中から選択される表示装置20は、例えば、複数の表示装置20の中で表示装置20のダイナミックレンジが高い表示装置20であってもよい。具体的に、ダイナミックレンジが高い表示装置20として、HDRの表示装置20が選択され得る。複数の表示装置20の中から特定の表示装置20を選択すると、明るさ制御部112は、第1の実施形態と同様にして、明るさの目標値を決定する。
(1-2)表示制御部114
第2の実施形態に係る表示制御部114は、複数の表示装置20の各々に医療用撮像画像を表示させるために、各々の表示装置20の特性に合わせた複数の撮像信号を生成する点が第1の実施形態に係る表示制御部114と異なる。
複数の表示装置20が存在する場合、表示制御部114は、複数の表示装置20の各々が有するガンマ値に基づきガンマ補正が行われた撮像信号から生成される医療用撮像画像を、複数の表示装置20の各々に表示させる。ここで、図12を参照しながら、第2の実施形態に係るガンマ補正の例について説明する。図12は、第2の実施形態に係る複数の表示装置20向けのガンマ補正の例を示す説明図である。図12の左側の図は、HDRの表示装置20向けのガンマ補正の例を示し、右側の図は、SDRの表示装置20向けのガンマ補正の例を示している。
例えば、表示制御部114は、撮像信号に対して図12の左側のグラフに示すガンマ補正を行うことで、複数の表示装置20の中のHDRの表示装置20向けの撮像信号を生成する。また、表示制御部114は、撮像信号に対して図12の右側のグラフに示すガンマ補正を行うことで、複数の表示装置20の中のSDRの表示装置20向けの撮像信号を生成する。なお、表示制御部114は、図12の左側のグラフに示すガンマ補正では、入力される撮像信号の全てを使ってガンマ補正を行うのに対し、右側のグラフに示すガンマ補正では、入力される撮像信号の低レベルの部分だけを使ってガンマ補正を行う。これにより、表示制御部114は、SDRの表示装置20に表示させる医療用撮像画像の高輝度部分を飽和させることができる。
また、表示制御部114は、明るさ制御部112によって決定されたHDRの表示装置20に応じた明るさの目標値に対応する明るさとなる医療用撮像画像をSDRの表示装置20に表示させるために、撮像画像全体に対してゲインを乗じてもいい。具体的には、明るさ制御部112によって決定されたHDRの表示装置20に応じた明るさの目標値とSDRの表示装置20に応じた明るさの目標値との比に基づく係数をゲインとして医療用撮像画像に乗じてもいい。これによりHDRの表示装置20に応じた明るさとなる医療用撮像画像をSDRの表示装置20に表示する際に、SDIの表示装置20においても良好な明るさで撮像画像を表示可能である。
<3.3.動作例>
以下では、図13及び図14を参照しながら、第2の実施形態に係る医療用観察システム2の動作例について説明する。
(1)医療用観察システム2全体の動作例
まず、医療用観察システム2が複数の表示装置20に医療用撮像画像を表示するまでの一連の動作例について説明する。図13は、第2の実施形態に係る医療用観察システム2の動作の流れを示すシーケンス図である。
図13に示すように、まず、制御部110は、判定情報を取得する(ステップS2000)。次いで、制御部110は、取得した判定情報に基づき、医療用観察装置10に接続されている表示装置20A、及び表示装置20Bの各々のダイナミックレンジを判定する判定処理を行う(ステップS2002)。なお、判定処理の詳細処理は、第1の実施形態にて説明した判定処理と同一であるため、本節における説明は省略される。次いで、制御部110は、判定処理の結果に基づき、明るさの目標値を決定する(ステップS2004)。そして、制御部110は、決定した目標値の明るさとなる医療用撮像画像を撮像するように、撮像部100へ撮像指示を出力する(ステップS2006)。
制御部110から撮像指示を入力された撮像部100は、撮像指示に従い観察対象を撮像し(ステップS2008)、撮像によって得られた撮像信号を制御部110へ出力する(ステップS2010)。
撮像部100から撮像信号を入力された制御部110は、撮像信号に対して、撮像信号が送信される表示装置20A及び表示装置20Bの各々に応じた補正処理を行う(ステップS2012)。なお、補正処理の詳細処理については、後述される。補正処理後、制御部110は、通信部120を介して補正した撮像信号を表示装置20A及び表示装置20Bの各々へ送信する(ステップS2014及びステップS2016)。
撮像信号を受信した表示装置20A及び表示装置20Bは、撮像信号を医療用撮像画像として表示するための表示処理をそれぞれ行う(ステップS2018及びステップS2020)。なお、表示処理の詳細処理は、第1の実施形態にて説明した表示処理と同一であるため、本節における説明は省略される。医療用観察システム2は、当該表示処理にて表示装置20A及び表示装置20Bに医療用撮像画像が表示されると動作を終了する。
(2)補正処理
次いで、第2の実施形態に係る制御部110における、補正処理の詳細処理について説明する。図14は、第2の実施形態に係る補正処理における処理の流れを示すフローチャートである。
図14に示すように、まず、制御部110は、入力された撮像信号のホワイトバランスを調整する(ステップS2200)。次いで、制御部110は、複数の表示装置20の各々のダイナミックレンジに応じたガンマ補正を行い、複数の撮像信号を生成する(ステップS2202)。例えば、表示装置20AのダイナミックレンジがHDRである場合、制御部110は、HDRに対応するガンマ値を用いて、撮像信号に対してガンマ補正を行い、表示装置20Aに送信するための撮像信号を生成する。また、例えば、表示装置20BのダイナミックレンジがSDRである場合、制御部110は、SDRに対応するガンマ値を用いて、撮像信号に対してガンマ補正を行い、表示装置20Bに送信するための撮像信号を生成する。そして、制御部110は、ガンマ補正後の撮像信号をRGBからYCbCrへ変換し(ステップS2204)、補正処理を終了する。
以上、図11~図14を参照しながら、第2の実施形態について説明した。続いて、本開示の実施形態の変形例について説明する。
<<4.変形例>>
以下では、本開示の実施形態の変形例を説明する。なお、以下に説明する変形例は、単独で本開示の実施形態に適用されてもよいし、組み合わせで本開示の実施形態に適用されてもよい。また、変形例は、本開示の実施形態で説明した構成に代えて適用されてもよいし、本開示の実施形態で説明した構成に対して追加的に適用されてもよい。
<4.1.第1の変形例>
以下では、本開示の実施形態に係る第1の変形例について説明する。
上述の実施形態では、制御部110がダイナミックレンジに基づき明るさの目標値を決定する例について説明した。第1の変形例では、制御部110がさらに表示装置20の表示モードに基づき、明るさの目標値を決定する例について説明する。
表示モードの例として、医療用撮像画像を3Dで表示する3Dモードと、医療用撮像画像を2Dで表示する2Dモードとが挙げられる。一般的に、医療用撮像画像を3Dモードで表示可能な表示装置20(例えば3Dメガネ)では、医療用撮像画像を2Dモードで表示する表示装置20の場合と比べ、明るさが暗く表示される。そこで、3Dモードの場合、制御部110は、医療用撮像画像が2Dモードの場合よりも暗く表示されることを考慮した上で明るさの目標値を決定する。例えば、制御部110は、撮像装置が明るさを明るくして観察対象を撮像し、表示装置20である3Dメガネが明るさを暗くして医療用撮像画像を表示することを考慮した明るさの目標値を決定する。なお、2Dモードの場合、制御部110は、上述した実施形態と同様にして明るさの目標値を決定してよい。
上述のように、制御部110は、表示装置20の表示モードも考慮して明るさの目標値を決定することで、表示装置20により最適な明るさの医療用撮像画像を表示することができ、ユーザが医療用撮像画像を視認する際の視認性を向上することができる。
<4.2.第2の変形例>
以下では、図15を参照しながら、本開示の実施形態に係る第2の変形例について説明する。図15は、変形例に係る判定処理を示す説明図である。
上述の実施形態では、制御部110がダイナミックレンジに基づき明るさの目標値を決定する例、及び制御部110が表示装置20の表示モードに基づき明るさの目標値を決定する例について説明した。第2の変形例では、制御部110がさらに撮像装置の種類に基づき、明るさの目標値を決定する例について説明する。
上述の実施形態では、観察対象の撮像時に観察対象に対して可視光(例えば白色光)を当てる撮像装置の例を説明した。撮像装置には、例えば、観察対象の撮像時に観察対象に対して特殊光を当てる撮像装置が用いられてもよい。特殊光を用いて撮像される医療用撮像画像は、白飛びせずに撮像される。したがって、撮像装置が特殊光を用いて観察対象を撮像する撮像装置である場合、制御部110は、撮像装置が明るさを暗くせずに観察対象を撮像し、表示装置20が明るさを明るくせずに医療用撮像画像を表示することを考慮した明るさの目標値を決定する。
また、撮像装置には、所定の時間ごとに可視光と特殊光とを切り替えて観察対象を撮像する撮像装置が用いられてもよい。なお、所定の時間ごとに可視光と特殊光とを切り替えて撮像された複数の医療用撮像画像は、重畳された上で表示装置20に表示される。可視光を用いて撮像された医療用撮像画像は、上述のように明るさが暗くなるように撮像されている。そのため、重畳された医療用撮像画像の表示時、重畳された医療用撮像画像に対して表示装置20が特に処理を行わない場合、重畳された医療用撮像画像は暗く表示されてしまう。そのため、制御部110は、撮像装置が可視光と特殊光とを切り替えて観察対象を撮像する撮像装置である場合、表示装置20が明るさを明るくして重畳された医療用撮像画像を表示することを考慮した明るさの目標値を決定する。
なお、撮像装置が可視光を用いて観察対象を撮像する場合、制御部110は、撮像装置に明るさを暗くして観察対象を撮像させる。一方、撮像装置が特殊光を用いて観察対象を撮像する場合、制御部110は、撮像装置に明るさを暗くせずに観察対象を撮像させる。
なお、所定の時間ごとに可視光と特殊光とを切り替えて観察対象を撮像する撮像装置が用いられる場合、上述の実施形態にて説明した判定処理のフローが異なるため、当該判定処理について図15を参照しながら説明する。図15に示すように、まず、制御部110は、撮像装置が観察対象に当てる光の種類を確認する(ステップS3200)。次いで、制御部110は、観察対象に当てる光が可視光であるか否かを確認する(ステップS3202)。観察対象に当てる光が可視光である場合(ステップS3202/YES)、制御部110は、明るさを暗くして撮像部100に観察対象を撮像させると決定する(ステップS3204)。一方、観察対象に当てる光が可視光でない場合(ステップS3202/NO)、制御部110は、明るさを暗くせずに撮像部100に観察対象を撮像させると決定する(ステップS3206)。そして、制御部110は、判定処理を終了する。
上述のように、制御部110は、撮像装置の種類も考慮して明るさの目標値を決定することで、表示装置20により最適な明るさの医療用撮像画像を表示することができ、ユーザが医療用撮像画像を視認する際の視認性を向上することができる。
<4.3.第3の変形例>
以下では、本開示の実施形態に係る第3の変形例について説明する。
表示制御部114は、医療用撮像画像が表示装置20に表示される際の医療用撮像画像の輝度に応じて、表示装置20に表示される文字の輝度を調整する。例えば、表示制御部114は、医療用撮像画像が表示装置20に表示される際の医療用撮像画像の輝度に応じて、OSD(On Screen Display)により表示される情報(以下では、OSD情報とも称される)の輝度を下げてもよい。表示装置20のダイナミックレンジがHDRである場合、表示装置20は、暗く撮像された医療用撮像画像を表示する際に表示装置20の輝度を高くする。これにより、OSD情報も明るく表示されるため、OSD情報の視認性が低下し得る。そこで、表示制御部114は、観察対象の撮像時に撮像装置が明るさを暗くした比率と同じ比率でOSD情報を表示する際の輝度を下げて、表示装置20にOSD情報を表示させる。これにより、表示制御部114は、表示装置20に医療用撮像画像よりもOSD情報を暗く表示させることができる。
上述のように、表示制御部114は、表示装置20にOSD情報の輝度を医療用撮像画像の輝度よりも下げて、OSD情報を表示させることで、ユーザがOSD情報を視認する際の視認性を向上することができる。
<4.4.第4の変形例>
以下では、本開示の実施形態に係る第4の変形例について説明する。
表示装置20のダイナミックレンジがHDRである場合、上述の実施形態に係る撮像装置は、明るさを暗くして観察対象を撮像するため、暗く撮像した分だけデジタルゲインが大きくなる。デジタルゲインが大きくなることにより、SN比(Signal-Noise Ratio)が悪化し、医療用撮像画像中のノイズが増加する。そこで、制御部110は、表示装置20のダイナミックレンジがHDRである場合、撮像信号に対してノイズリダクション処理を行ってもよい。例えば、制御部110は、補正処理にてノイズリダクション処理を行う。なお、制御部110は、表示装置20のダイナミックレンジがSDRである場合もノイズリダクション処理を行ってもよい。なお、表示装置20のダイナミックレンジがSDRである場合よりもHDRである場合の方が医療用撮像画像に含まれるノイズは多い。そのため、制御部110は、表示装置20のダイナミックレンジがHDRである場合、SDRである場合よりもノイズリダクション処理の強度を強くし、ノイズリダクション処理を行うことが望ましい。
上述のように、表示制御部114は、撮像信号に対してノイズリダクション処理を行うことで、撮像信号に含まれるノイズを低減し、ユーザが医療用撮像画像を視認する際の視認性を向上することができる。
<4.5.第5の変形例>
以下では、本開示の実施形態に係る第5の変形例について説明する。
上述の実施形態では、制御部110が光源ユニット132から投射される光量を制御することで、撮像時の明るさを調整する例について説明した。撮像時の明るさは、撮像装置のカメラヘッド136が有するイメージセンサの絞りを制御することで調整されてもよい。例えば、上述の実施形態では、制御部110は、光源ユニット132から投射される光量を少なくすることで、撮像時の明るさを暗くしたが、イメージセンサの絞りを小さくすることでレンズを通る光量を少なくし、撮像時の明るさを暗くしてもよい。
イメージセンサの絞りが小さくなることに伴い、被写界深度がより深くなる。これにより、観察対象が撮像装置に対して近づいたり遠ざかったりした際に焦点が合う範囲が広くなるため、ユーザは、観察対象をより観察しやすくなる。
<<5.まとめ>>
以上説明したように、本開示の実施形態に係る医療用制御装置は、観察対象からの光を受光する撮像装置が生成する撮像信号の明るさを制御する。また、医療用制御装置は、画像を表示する表示装置20に、撮像信号から生成される医療用撮像画像を表示させる。さらに、医療用制御装置は、表示装置20のダイナミックレンジが高い程、撮像信号の明るさがより暗くなるように撮像信号の明るさを制御する。これにより、医療用制御装置は、SDRの表示装置20に表示された医療用撮像画像では飽和していた部分を、HDRの表示装置20では復元して表示することができる。
よって、医療用撮像画像の白飛びを低減することが可能な、新規かつ改良された医療用制御装置及び医療用観察装置を提供することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、医療用観察装置10、表示装置20及び医療用制御装置は、単独の装置として実現されてもよい。また、例えば、医療用制御装置が、医療用観察装置10及び表示装置20とネットワーク等で接続されたサーバ装置として実現されてもよい。
また、本明細書において説明した医療用観察装置10は、各構成要素の一部または全部が別々の装置として実現されることでシステムとして構成されてもよい。例えば、医療用観察装置10は光源及び撮像装置を備え、制御部は外部装置により実現されるシステムであってもよい。
また、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記録媒体(非一時的な媒体:non-transitory media)に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にRAMに読み込まれ、CPUなどのプロセッサにより実行される。
また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
観察対象からの光を受光する撮像装置が生成する撮像信号の明るさを制御する明るさ制御部と、
画像を表示する表示装置に、前記撮像信号から生成される医療用撮像画像を表示させる表示制御部と、
を備え、
前記明るさ制御部は、前記表示装置のダイナミックレンジが高い程、前記撮像信号の明るさがより暗くなるように前記撮像信号の明るさを制御する、医療用制御装置。
(2)
前記明るさ制御部は、前記表示装置のダイナミックレンジを特定し、特定された前記表示装置のダイナミックレンジに対応する明るさの目標値を決定する、前記(1)に記載の医療用制御装置。
(3)
前記明るさ制御部は、所定の選択操作に基づき、前記表示装置のダイナミックレンジを特定する、前記(2)に記載の医療用制御装置。
(4)
前記明るさ制御部は、前記表示装置のダイナミックレンジを示すダイナミックレンジ情報に基づき、前記表示装置のダイナミックレンジを特定する、前記(2)に記載の医療用制御装置。
(5)
前記ダイナミックレンジ情報は、前記表示装置から取得される、前記(4)に記載の医療用制御装置。
(6)
前記ダイナミックレンジ情報は、前記表示装置から取得される識別情報に基づき取得される、前記(4)に記載の医療用制御装置。
(7)
前記明るさ制御部は、前記表示装置のダイナミックレンジと、所定のダイナミックレンジとを比較し、比較の結果に基づき前記目標値を決定する、前記(2)~(6)のいずれか一項に記載の医療用制御装置。
(8)
前記明るさ制御部は、前記表示装置のダイナミックレンジの最大値と、前記所定のダイナミックレンジの最大値との差分に基づき、前記目標値を決定する、前記(7)に記載の医療用制御装置。
(9)
前記明るさ制御部は、前記表示装置のダイナミックレンジの最大値が、前記所定のダイナミックレンジの最大値のn倍(nは実数)である場合、前記表示装置における前記目標値を、前記所定のダイナミックレンジに対応する目標値の1/n倍とする、前記(8)に記載の医療用制御装置。
(10)
複数の前記表示装置が存在する場合、
前記明るさ制御部は、前記撮像信号が複数の前記表示装置の中から選択される前記表示装置のダイナミックレンジに対応する明るさとなるように、前記撮像装置における撮像を制御する、前記(1)~(9)のいずれか一項に記載の医療用制御装置。
(11)
複数の前記表示装置の中から選択される前記表示装置は、所定のユーザに対応付けられている前記表示装置である、前記(10)に記載の医療用制御装置。
(12)
複数の前記表示装置の中から選択される前記表示装置は、複数の前記表示装置の中で前記表示装置のダイナミックレンジが高い前記表示装置である、前記(10)又は(11)に記載の医療用制御装置。
(13)
前記表示制御部は、前記撮像信号に対して前記表示装置が有するガンマ値に基づきガンマ補正を行い、前記ガンマ補正が行われた前記撮像信号から生成される前記医療用撮像画像を前記表示装置に表示させる、前記(1)~(12)のいずれか一項に記載の医療用制御装置。
(14)
前記表示制御部は、前記表示装置と所定のガンマ値を有する表示装置とに表示される前記医療用撮像画像の中間の輝度値が同一となるように、前記撮像信号に対して前記ガンマ補正を行う、前記(13)に記載の医療用制御装置。
(15)
複数の前記表示装置が存在する場合、
前記表示制御部は、複数の前記表示装置の各々が有する前記ガンマ値に基づき前記ガンマ補正が行われた前記撮像信号から生成される前記医療用撮像画像を、複数の前記表示装置の各々に表示させる、前記(13)又は(14)に記載の医療用制御装置。
(16)
前記明るさ制御部は、さらに、前記表示装置の表示モードに基づき、前記目標値を決定する、前記(2)に記載の医療用制御装置。
(17)
前記明るさ制御部は、さらに、前記撮像装置の種類に基づき、前記目標値を決定する、前記(2)又は(16)に記載の医療用制御装置。
(18)
前記表示制御部は、前記医療用撮像画像が前記表示装置に表示される際の前記医療用撮像画像の輝度に応じて、前記表示装置に表示される文字の輝度を調整する、前記(1)~(17)のいずれか一項に記載の医療用制御装置。
(19)
光を発光する光源と、
観察対象を撮像する撮像装置と、
前記光を照射された前記観察対象からの反射光を受光する前記撮像装置が生成する撮像信号の明るさを制御し、前記撮像信号から生成される医療用撮像画像を表示装置に表示させる制御部と、
を備え、
前記制御部は、前記表示装置のダイナミックレンジが高い程、前記撮像信号の明るさがより暗くなるように前記撮像信号の明るさを制御する、医療用観察装置。
1、2 医療用観察システム
10 医療用観察装置
20 表示装置
100 撮像部
110 制御部
112 明るさ制御部
114 表示制御部
120 通信部
130 挿入部材
132 光源ユニット
134 ライトガイド
136 カメラヘッド
138 ケーブル
140 制御ユニット

Claims (19)

  1. 画像を表示する表示装置に、観察対象からの光を受光する撮像装置が生成する撮像信号から生成される医療用撮像画像を表示させる表示制御部と、
    前記表示制御部に所定の明るさの前記医療用撮像画像を表示させるように、前記観察対象に照射される光の光量、または、前記撮像装置に入射する光の光量を制御することで前記撮像信号の明るさを制御する明るさ制御部と、
    を備え、
    前記明るさ制御部は、前記表示装置のダイナミックレンジが第1の値よりも大きな第2の値である場合、前記観察対象に照射される光の光量、または、前記撮像装置に入射する光の光量を小さくすることで、前記ダイナミックレンジが前記第1の値である場合に前記医療用撮像画像を前記所定の明るさで表示するための前記撮像信号の明るさよりも、前記撮像信号の明るさを暗くする制御を行う
    医療用制御装置。
  2. 前記明るさ制御部は、前記表示装置のダイナミックレンジを特定し、特定された前記表示装置のダイナミックレンジに対応する前記撮像信号の明るさの目標値を決定する、請求項1に記載の医療用制御装置。
  3. さらに、前記明るさ制御部は、前記ダイナミックレンジが前記第1の値である第1の表示装置に前記医療用撮像画像を表示する場合は、前記撮像信号の明るさを、前記医療用撮像画像を前記所定の明るさで表示するための第1の明るさにする制御を行い、さらに前記ダイナミックレンジが前記第2の値である第2の表示装置に前記医療用撮像画像を表示する場合は、前記撮像信号の明るさを前記第1の明るさよりも暗い第2の明るさにする制御を行う
    請求項1に記載の医療用制御装置。
  4. 前記明るさ制御部は、前記表示装置のダイナミックレンジを示すダイナミックレンジ情報に基づき、前記表示装置のダイナミックレンジを特定する、請求項2に記載の医療用制御装置。
  5. 前記ダイナミックレンジ情報は、前記表示装置から取得される、請求項4に記載の医療用制御装置。
  6. 前記ダイナミックレンジ情報は、前記表示装置から取得される識別情報に基づき取得される、請求項4に記載の医療用制御装置。
  7. 前記明るさ制御部は、前記表示装置のダイナミックレンジと、所定のダイナミックレンジとを比較し、比較の結果に基づき前記目標値を決定する、請求項2、4~6のいずれか1つに記載の医療用制御装置。
  8. 前記明るさ制御部は、前記表示装置のダイナミックレンジの最大値と、前記所定のダイナミックレンジの最大値との差分に基づき、前記目標値を決定する、請求項7に記載の医療用制御装置。
  9. 前記明るさ制御部は、前記表示装置のダイナミックレンジの最大値が、前記所定のダイナミックレンジの最大値のn倍(nは正の値)である場合、前記表示装置における前記目標値を、前記所定のダイナミックレンジに対応する目標値の1/n倍とする、請求項8に記載の医療用制御装置。
  10. 複数の前記表示装置が存在する場合、
    前記明るさ制御部は、前記撮像信号が複数の前記表示装置の中から選択される前記表示装置のダイナミックレンジに対応する明るさとなるように、前記撮像装置における撮像を制御する、請求項1~9のいずれか1つに記載の医療用制御装置。
  11. 複数の前記表示装置の中から選択される前記表示装置は、所定のユーザに対応付けられている前記表示装置である、請求項10に記載の医療用制御装置。
  12. 複数の前記表示装置の中から選択される前記表示装置は、複数の前記表示装置の中で前記表示装置のダイナミックレンジが高い前記表示装置である、請求項10または11に記載の医療用制御装置。
  13. 前記表示制御部は、前記撮像信号に対して前記表示装置が有するガンマ値に基づきガンマ補正を行い、前記ガンマ補正が行われた前記撮像信号から生成される前記医療用撮像画像を前記表示装置に表示させる、請求項1~12のいずれか1つに記載の医療用制御装置。
  14. 前記表示制御部は、前記表示装置と所定のガンマ値を有する表示装置とに表示される前記医療用撮像画像の中間の輝度値が同一となるように、前記撮像信号に対して前記ガンマ補正を行う、請求項13に記載の医療用制御装置。
  15. 複数の前記表示装置が存在する場合、
    前記表示制御部は、複数の前記表示装置の各々が有する前記ガンマ値に基づき前記ガンマ補正が行われた前記撮像信号から生成される前記医療用撮像画像を、複数の前記表示装置の各々に表示させる、請求項13または14に記載の医療用制御装置。
  16. 前記明るさ制御部は、さらに、前記表示装置の表示モードに基づき、前記目標値を決定する、請求項2に記載の医療用制御装置。
  17. 前記明るさ制御部は、さらに、前記撮像装置の種類に基づき、前記目標値を決定する、請求項2または16に記載の医療用制御装置。
  18. 前記表示制御部は、前記医療用撮像画像が前記表示装置に表示される際の前記医療用撮像画像の輝度に応じて、前記表示装置に表示される文字の輝度を調整する、請求項1~17のいずれか1つに記載の医療用制御装置。
  19. 光を発光する光源と、
    観察対象を撮像する撮像装置と、
    画像を表示する表示装置に、観察対象からの光を受光する撮像装置が生成する撮像信号から生成される医療用撮像画像を表示させる表示制御部と、
    前記表示制御部に所定の明るさの前記医療用撮像画像を表示させるように、前記光源から前記観察対象に照射される光の光量、または、前記撮像装置に入射する光の光量を制御することで前記撮像信号の明るさを制御する明るさ制御部と、
    を備え、
    前記明るさ制御部は、前記表示装置のダイナミックレンジが第1の値よりも大きな第2の値である場合、前記観察対象に照射される光の光量、または、前記撮像装置に入射する光の光量を小さくすることで、前記ダイナミックレンジが前記第1の値である場合に前記医療用撮像画像を前記所定の明るさで表示するための前記撮像信号の明るさよりも、前記撮像信号の明るさを暗くする制御を行う
    医療用観察装置。
JP2020538197A 2018-08-21 2019-06-14 医療用制御装置及び医療用観察装置 Active JP7315560B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018154787 2018-08-21
JP2018154787 2018-08-21
PCT/JP2019/023765 WO2020039716A1 (ja) 2018-08-21 2019-06-14 医療用制御装置及び医療用観察装置

Publications (2)

Publication Number Publication Date
JPWO2020039716A1 JPWO2020039716A1 (ja) 2021-09-24
JP7315560B2 true JP7315560B2 (ja) 2023-07-26

Family

ID=69592616

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020538197A Active JP7315560B2 (ja) 2018-08-21 2019-06-14 医療用制御装置及び医療用観察装置

Country Status (5)

Country Link
US (1) US20210338040A1 (ja)
EP (1) EP3841956A4 (ja)
JP (1) JP7315560B2 (ja)
CN (1) CN112566539A (ja)
WO (1) WO2020039716A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7454409B2 (ja) 2020-03-03 2024-03-22 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用制御装置の制御方法
US20210290037A1 (en) * 2020-03-17 2021-09-23 Sony Olympus Medical Solutions Inc. Medical image processing apparatus and medical observation system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339634A (ja) 2002-05-28 2003-12-02 Olympus Optical Co Ltd 電子内視鏡システムの信号処理装置
JP2007260019A (ja) 2006-03-28 2007-10-11 Olympus Corp 内視鏡装置
WO2016104386A1 (ja) 2014-12-26 2016-06-30 オリンパス株式会社 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
JP2016195378A (ja) 2016-01-05 2016-11-17 ソニー株式会社 撮像システム、撮像方法およびプログラム
JP2016538008A (ja) 2013-09-30 2016-12-08 ケアストリーム ヘルス インク Hdrイメージングを使用しかつハイライトを除去する口腔内撮像方法及びシステム
WO2018042717A1 (ja) 2016-09-01 2018-03-08 オリンパス株式会社 電子内視鏡、及び内視鏡システム
JP2018074199A (ja) 2016-10-24 2018-05-10 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6148333A (ja) * 1984-08-13 1986-03-10 オリンパス光学工業株式会社 内視鏡撮像装置
JP4192418B2 (ja) 2000-10-27 2008-12-10 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP3731814B2 (ja) * 2001-05-07 2006-01-05 富士写真フイルム株式会社 蛍光画像表示装置
JP3583124B2 (ja) * 2001-11-02 2004-10-27 シャープ株式会社 液晶表示装置及び表示制御方法
US8483479B2 (en) * 2009-05-11 2013-07-09 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display
JP6071805B2 (ja) * 2013-08-27 2017-02-01 富士フイルム株式会社 画像領域指定装置および方法、並びに放射線画像処理装置および方法
JP6820507B2 (ja) * 2015-09-14 2021-01-27 パナソニックIpマネジメント株式会社 映像受信方法、映像送信方法、映像受信装置及び映像送信装置
JP7088185B2 (ja) * 2017-06-12 2022-06-21 ソニーグループ株式会社 医療用システム、医療用装置および制御方法
JP2019057794A (ja) * 2017-09-20 2019-04-11 キヤノン株式会社 撮像装置およびその制御方法、プログラムならびに記録媒体
JP2019121815A (ja) * 2017-12-28 2019-07-22 キヤノン株式会社 撮像装置、撮像装置の制御方法、および、プログラム
US10609424B2 (en) * 2018-03-09 2020-03-31 Dolby Laboratories Licensing Corporation Single-layer progressive coding for supporting multi-capability HDR composition

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339634A (ja) 2002-05-28 2003-12-02 Olympus Optical Co Ltd 電子内視鏡システムの信号処理装置
JP2007260019A (ja) 2006-03-28 2007-10-11 Olympus Corp 内視鏡装置
JP2016538008A (ja) 2013-09-30 2016-12-08 ケアストリーム ヘルス インク Hdrイメージングを使用しかつハイライトを除去する口腔内撮像方法及びシステム
WO2016104386A1 (ja) 2014-12-26 2016-06-30 オリンパス株式会社 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
JP2016195378A (ja) 2016-01-05 2016-11-17 ソニー株式会社 撮像システム、撮像方法およびプログラム
WO2018042717A1 (ja) 2016-09-01 2018-03-08 オリンパス株式会社 電子内視鏡、及び内視鏡システム
JP2018074199A (ja) 2016-10-24 2018-05-10 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体

Also Published As

Publication number Publication date
US20210338040A1 (en) 2021-11-04
WO2020039716A1 (ja) 2020-02-27
EP3841956A1 (en) 2021-06-30
CN112566539A (zh) 2021-03-26
JPWO2020039716A1 (ja) 2021-09-24
EP3841956A4 (en) 2021-10-27

Similar Documents

Publication Publication Date Title
WO2013027455A1 (ja) 自動露光制御装置、制御装置、内視鏡装置及び自動露光制御方法
JP3927995B2 (ja) 画像表示制御装置と画像表示制御方法及び撮像装置
WO2019072190A1 (zh) 图像处理方法、电子装置和计算机可读存储介质
CN110168605B (zh) 用于动态范围压缩的视频信号处理装置、视频信号处理方法和计算机可读介质
WO2012033200A1 (ja) 撮像装置
JP2010193098A (ja) 撮像装置及び画像処理方法
JP2015029865A (ja) 画像処理装置および方法、眼底画像処理装置、画像撮影方法、並びに眼底画像撮影装置および方法
WO2017141544A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP7315560B2 (ja) 医療用制御装置及び医療用観察装置
WO2016104386A1 (ja) 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
EP3318175A1 (en) Image processing apparatus and imaging system
US20180049632A1 (en) Endoscope apparatus
CN111726506A (zh) 内窥镜的图像处理方法、装置、存储介质
JP2008048251A (ja) 撮影装置及び撮影方法
JP2018098670A (ja) 撮像装置、撮像装置の制御方法及びプログラム
US20220217260A1 (en) Signal processing device, imaging device, and signal processing method
US11523065B2 (en) Imaging device and gain setting method
JP7023643B2 (ja) 医療用観察装置、および医療用観察システム
CN116437221B (zh) 一种内窥镜视频图像的截取方法及系统
US11375167B2 (en) Image processing apparatus and observation system
US11980348B2 (en) Medical control apparatus and method of controlling medical control apparatus
JP2005143672A (ja) X線画像診断装置
JP7454409B2 (ja) 医療用制御装置及び医療用制御装置の制御方法
JP2015216415A (ja) 情報処理装置、電子機器、および制御プログラム
CN114302035A (zh) 一种图像处理方法、装置、电子设备及内窥镜系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230713

R150 Certificate of patent or registration of utility model

Ref document number: 7315560

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150