JP7277088B2 - 医療用観察装置、および医療用観察システム - Google Patents

医療用観察装置、および医療用観察システム Download PDF

Info

Publication number
JP7277088B2
JP7277088B2 JP2018154664A JP2018154664A JP7277088B2 JP 7277088 B2 JP7277088 B2 JP 7277088B2 JP 2018154664 A JP2018154664 A JP 2018154664A JP 2018154664 A JP2018154664 A JP 2018154664A JP 7277088 B2 JP7277088 B2 JP 7277088B2
Authority
JP
Japan
Prior art keywords
medical
image
display
imaging device
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018154664A
Other languages
English (en)
Other versions
JP2020028374A5 (ja
JP2020028374A (ja
Inventor
昌章 植田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Priority to JP2018154664A priority Critical patent/JP7277088B2/ja
Priority to US16/537,641 priority patent/US11102424B2/en
Publication of JP2020028374A publication Critical patent/JP2020028374A/ja
Publication of JP2020028374A5 publication Critical patent/JP2020028374A5/ja
Priority to JP2023076478A priority patent/JP2023095970A/ja
Application granted granted Critical
Publication of JP7277088B2 publication Critical patent/JP7277088B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • A61B90/25Supports therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00216Electrical control of surgical instruments with eye tracking or head position tracking control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00367Details of actuation of instruments, e.g. relations between pushing buttons, or the like, and activation of the tool, working tip, or the like
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/0042Surgical instruments, devices or methods, e.g. tourniquets with special provisions for gripping
    • A61B2017/00429Surgical instruments, devices or methods, e.g. tourniquets with special provisions for gripping with a roughened portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00973Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2059Mechanical position encoders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/373Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • A61B2090/3945Active visible markers, e.g. light emitting diodes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/508Supports for surgical instruments, e.g. articulated arms with releasable brake mechanisms
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/08Biomedical applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components

Description

本開示は、医療用観察装置、および医療用観察システムに関する。
近年、医療現場においては、例えば、脳神経外科手術などの微細手術(マイクロサージャリ)をサポートするためや、内視鏡手術を行うために、患部などの観察対象を拡大観察することが可能な医療用観察装置が用いられる場合がある。医療用観察装置としては、例えば、光学式の顕微鏡を備える医療用観察装置と、電子撮像式の顕微鏡として機能する撮像デバイスを備える医療用観察装置とが挙げられる。以下では、上記光学式の顕微鏡を備える医療用観察装置を「光学式の医療用観察装置」と示す。また、以下では、上記撮像デバイスを備える医療用観察装置を、「電子撮像式の医療用観察装置」または単に「医療用観察装置」と示す場合がある。また、以下では、医療用観察装置が備える撮像デバイスにより観察対象が撮像された撮像画像(動画像、または、静止画像。以下、同様とする。)を「医療用撮像画像」と示す。
電子撮像式の医療用観察装置では、撮像デバイスの高画質化が進んでおり、また、撮像された画像が表示される表示装置の高画質化も進んでいる。これらにより、光学式の医療用観察装置による観察と同程度の画質を有する医療用撮像画像を、表示装置の表示画面に表示することが可能となっている。また、電子撮像式の医療用観察装置を用いる利用者(例えば、術者や術者の助手などの医療従事者。以下、同様とする。)は、光学式の医療用観察装置を用いる場合のように光学式の顕微鏡を構成する接眼レンズを覗き込む必要はないので、撮像デバイスの位置をより自由に移動させることが可能である。そのため、電子撮像式の医療用観察装置が用いられることによって微細手術などをより柔軟にサポートすることができるという利点があり、医療現場での電子撮像式の医療用観察装置の利用が進んでいる。
このような中、角度を設定する操作に応じて撮像画像を回転させる技術が開発されている。上記技術としては、例えば下記の特許文献1に記載の技術が挙げられる。
特開平10-323325号公報
医療用観察装置が用いられる手術では、1つの撮像デバイスで撮像された医療用撮像画像を複数の医療従事者が見て手技を行う場合がある。例えば術者(執刀医)と助手という2名の医療従事者で手技が行われる例を挙げると、術者および助手それぞれの正面に表示装置が配置される。このとき、撮像デバイスの天地方向は、術者の向きに合わせることが一般的である。
ここで、術者の位置では、撮像デバイスの天地、医療従事者の向いている方向、および表示装置の配置方向が揃っている。そのため、術者の正面に配置されている表示装置の表示画面の下側には術者自身の手が写ることとなり、術者は、違和感なく手技を行うことができる。
しかしながら、助手の位置では、撮像デバイスの天地、医療従事者の向いている方向、および表示装置の配置方向が揃っていない。そのため、助手の正面に配置されている表示装置の表示画面の下側には助手自身の手が写らず、表示画面内の天地方向が医療従事者の向いている方向とズレてしまい、その結果、助手による直感的な手技が妨げられる場合があった。
上記の例に示すように、医療用観察装置が用いられる手術では、助手のような一部の医療従事者が直感的な手技を行うことができない可能性がある。そして、医療用観察装置を用いて直感的な手技を行うことができないことは、例えば医療用観察装置を用いる医療従事者の利便性の低下へと繋がりうる。
本開示では、医療用撮像画像が表示される表示画面を見る者の利便性の向上を図ることが可能な、新規かつ改良された医療用観察装置、および医療用観察システムを提案する。
本開示によれば、複数の画素を有し、観察対象が撮像された第1の医療用撮像画像を撮像する第1の撮像デバイスと、上記第1の撮像デバイスよりも有効画素数が多い複数の画素を有し、上記観察対象が撮像された第2の医療用撮像画像を撮像する第2の撮像デバイスとを有する撮像部と、上記第1の医療用撮像画像と、上記第2の医療用撮像画像に対して設定される領域に対応する画像とを、それぞれの画像に対応する表示装置の表示画面に表示させる表示制御部と、を備え、上記第1の医療用撮像画像と上記第2の医療用撮像画像とのうちの一方は、右目用の医療用撮像画像であり、上記第1の医療用撮像画像と上記第2の医療用撮像画像とのうちの他方は、左目用の医療用撮像画像である、医療用観察装置が、提供される。
また、本開示によれば、第1の表示装置と、第2の表示装置と、観察対象が撮像された医療用撮像画像を、上記第1の表示装置の表示画面と上記第2の表示装置の表示画面とに表示させる医療用観察装置と、を有し、上記医療用観察装置は、複数の画素を有し、観察対象が撮像された第1の医療用撮像画像を撮像する第1の撮像デバイスと、上記第1の撮像デバイスよりも有効画素数が多い複数の画素を有し、上記観察対象が撮像された第2の医療用撮像画像を撮像する第2の撮像デバイスとを有する撮像部と、上記第1の医療用撮像画像と、上記第2の医療用撮像画像に対して設定される領域に対応する画像とを、それぞれの画像に対応する表示装置の表示画面に表示させる表示制御部と、を備え、上記第1の医療用撮像画像と上記第2の医療用撮像画像とのうちの一方は、右目用の医療用撮像画像であり、上記第1の医療用撮像画像と上記第2の医療用撮像画像とのうちの他方は、左目用の医療用撮像画像である、医療用観察システムが、提供される。
本開示によれば、医療用撮像画像が表示される表示画面を見る者の利便性の向上を図ることができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る医療用観察システムの構成の一例を示す説明図である。 本実施形態に係る医療用観察システムが使用されるユースケースの一例を示す説明図である。 本実施形態に係る医療用観察装置が備える撮像デバイスの構成の一例を説明するための説明図である。 本実施形態に係る医療用観察装置の構成の一例を示す機能ブロック図である。 撮像デバイスの天地、医療従事者の向いている方向、および表示装置の配置方向を揃えるための方法の一例を説明するための説明図である。 本実施形態に係る医療用観察装置が撮像デバイスが有する有効画素の配置の第1の例を示す説明図である。 本実施形態に係る医療用観察装置が備える、選択操作が可能な操作デバイスの一例を示す説明図である。 本実施形態に係る表示制御方法に係る処理の第1の例により表示装置の表示画面に表示される画像の一例を説明するための説明図である。 本実施形態に係る表示制御方法に係る処理の第1の例により表示装置の表示画面に表示される画像の一例を説明するための説明図である。 本実施形態に係る医療用観察装置が撮像デバイスが有する有効画素の配置の第2の例を示す説明図である。 本実施形態に係る医療用観察装置が備える、選択操作のための操作デバイスの他の例を示す説明図である。 本実施形態に係る表示制御方法に係る処理の第3の例を説明するための説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る医療用観察システム、および本実施形態に係る表示制御方法
[1]医療用観察システムの構成
[1-1]医療用観察システムの構成
[1-2]医療用観察装置の機能構成
[2]本実施形態に係る表示制御方法に係る処理
[2-1]表示制御方法に係る処理の概要
[2-2]表示制御方法に係る処理の第1の例
[2-3]表示制御方法に係る処理の第2の例
[2-4]表示制御方法に係る処理の第3の例
[2-5]表示制御方法に係る処理の第4の例
[2-6]表示制御方法に係る処理の第5の例
[3]本実施形態に係る表示制御方法が用いられることにより奏される効果の一例(本実施形態に係る医療用観察システムが用いられることにより奏される効果)
2.本実施形態に係るプログラム
(本実施形態に係る医療用観察システム、および本実施形態に係る表示制御方法)
以下、本実施形態に係る医療用観察システムの一例を説明しつつ、本実施形態に係る表示制御方法について説明する。
以下では、本実施形態に係る医療用観察装置が本実施形態に係る表示制御方法に係る処理を行う場合、すなわち、本実施形態に係る医療用観察装置が医療用表示制御装置として機能する場合について、主に説明する。なお、本実施形態に係る医療用観察システムにおいて、医療用表示制御装置として機能する装置は、本実施形態に係る医療用観察装置に限られない。例えば、本実施形態に係る医療用観察システムでは、メディカルコントローラなどの本実施形態に係る表示制御方法に係る処理を行うことが可能な任意の装置が、医療用表示制御装置として機能しうる。
[1]医療用観察システムの構成
[1-1]医療用観察システムの構成
図1は、本実施形態に係る医療用観察システム1000の構成の一例を示す説明図である。図1に示す医療用観察システム1000は、例えば、医療用観察装置100と、複数の表示装置200A、200B、…とを有する。以下では、複数の表示装置200A、200B、…を総称して、または、複数の表示装置200A、200B、…のうちの1つの表示装置を指して「表示装置200」と示す場合がある。
なお、本実施形態に係る医療用観察システムは、図1に示す例に限られない。
例えば、本実施形態に係る医療用観察システムは、医療用観察装置100における各種動作を制御する医療用制御装置(図示せず)を、さらに有していてもよい。図1に示す医療用観察システム1000では、後述するように、医療用観察装置100が制御部(後述する)を備えることにより、医療用観察装置100が医療用制御装置(図示せず)の機能を有している例を示している。
医療用制御装置(図示せず)としては、例えば、“メディカルコントローラ”や、“サーバなどのコンピュータ”などが、挙げられる。また、医療用制御装置(図示せず)は、例えば、上記のような機器に組み込むことが可能な、IC(Integrated Circuit)であってもよい。
また、本実施形態に係る医療用観察システムは、医療用観察装置100を複数有する構成であってもよい。本実施形態に係る医療用観察システムが医療用観察装置100を複数有する場合、医療用観察装置100それぞれにおいて、後述する表示制御方法に係る処理が行われる。また、本実施形態に係る医療用観察システムが医療用観察装置100を複数有する構成である場合、医療用観察装置100それぞれは、複数の表示装置200に対応付けられる。一の表示装置200に複数の医療用観察装置100が対応付けられている場合、表示装置200では、例えば、表示画面に表示させる医療用撮像画像を切り替えるための切り替え操作などが行われることによって、どの医療用観察装置100において撮像された医療用撮像画像を表示画面に表示させるのかが、切り替えられる。
図2は、本実施形態に係る医療用観察システム1000が使用されるユースケースの一例を示す説明図であり、本実施形態に係る医療用観察システム1000が使用されるユースケースの一例を示している。
医療用観察装置100が備える撮像デバイス(後述する)によって、観察対象の患者PA(医療行為を受ける対象の患者)が撮像される。上記医療行為を受ける対象の患者PAの術部(患部)が撮像された撮像画像が、医療用撮像画像の一例に該当する。
医療用観察装置100において撮像された医療用撮像画像は、表示装置200の表示画面に表示される。そして、医療用観察装置100を用いて医療行為を行う術者OPは、表示装置200の表示画面に表示されている医療用撮像画像を見ながら、患者PAに対して医療行為を行う。
また、術者OPは、フットスイッチFSなどの医療用観察装置100の外部の操作デバイス、または、医療用観察装置100が備える操作デバイス(後述する)を操作することによって、医療用観察装置100が備えるアーム(後述する)や撮像デバイス(後述する)などを動作させ、医療用観察装置100を所望の状態にさせる。
なお、図2では示していないが、例えば脳神経外科手術においては、術者OPの左右いずれかの位置に助手が位置し、助手は、術者からみて略90[°]側方方向から、術野の展開や処置のサポートなどを行うことが多い。術者OPと助手との位置関係が上記の例である場合、術者OPおよび助手それぞれの正面に表示装置200が配置され、その結果、術者が見る表示装置200の表示画面の向きと助手が見る表示装置200の表示画面の向きとは、略90[°]異なることとなる。
以下、図1に示す本実施形態に係る医療用観察システム1000を構成する各装置について、説明する。
[1-1-1]表示装置200
表示装置200は、本実施形態に係る医療用観察システム1000における表示手段であり、医療用観察装置100からみて外部の表示デバイスに該当する。表示装置200は、例えば、医療用観察装置100において撮像された医療用撮像画像や、UI(User Interface)に係る画像などの、様々な画像を表示画面に表示する。また、表示装置200は、任意の方式により3D表示が可能な構成を有していてもよい。表示装置200における表示は、例えば、医療用観察装置100、または、医療用制御装置(図示せず)によって制御される。
医療用観察システム1000において表示装置200は、手術室の壁面や天井、床面などの、手術室内において術者などの手術に関わる者により視認されうる任意の場所に設置される。
表示装置200としては、例えば、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ、CRT(Cathode Ray Tube)ディスプレイなどが挙げられる。
なお、表示装置200は、上記に示す例に限られない。例えば、表示装置200は、ヘッドマウントディスプレイやアイウェア型の装置などのような、術者などが身体に装着して用いる任意のウェアラブル装置であってもよい。
表示装置200は、例えば、表示装置200が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
[1-1-2]医療用観察装置100
医療用観察装置100は、電子撮像式の医療用観察装置である。例えば手術時に医療用観察装置100が用いられる場合、術者は、医療用観察装置100により撮像されて、表示装置200の表示画面に表示された医療用撮像画像を参照しながら術部を観察し、当該術部に対して、術式に応じた手技などの各種処置を行う。
図1に示すように、医療用観察装置100は、例えば、ベース102と、アーム104と、撮像デバイスユニット106とを備える。
また、図1では示していないが、医療用観察装置100は、例えば、MPU(Micro Processing Unit)などの演算回路で構成される、1または2以上のプロセッサ(図示せず)と、ROM(Read Only Memory。図示せず)と、RAM(Random Access Memory。図示せず)と、記録媒体(図示せず)と、通信デバイス(図示せず)とを、備えていてもよい。医療用観察装置100は、例えば、医療用観察装置100が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
プロセッサ(図示せず)は、医療用観察装置100における制御部(後述する)として機能する。ROM(図示せず)は、プロセッサ(図示せず)が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、プロセッサ(図示せず)により実行されるプログラムなどを一時的に記憶する。
記録媒体(図示せず)は、医療用観察装置100における記憶部(図示せず)として機能する。記録媒体(図示せず)には、例えば、本実施形態に係る表示制御方法に係るデータや、各種アプリケーションなどの、様々なデータが記憶される。ここで、記録媒体(図示せず)としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記録媒体(図示せず)は、医療用観察装置100から着脱可能であってもよい。
通信デバイス(図示せず)は、医療用観察装置100が備える通信手段であり、表示装置200などの外部装置と、無線または有線で通信を行う役目を果たす。ここで、通信デバイス(図示せず)としては、例えば、IEEE802.15.1ポートおよび送受信回路(無線通信)や、IEEE802.11ポートおよび送受信回路(無線通信)、通信アンテナおよびRF回路(無線通信)、あるいはLAN端子および送受信回路(有線通信)などが挙げられる。
[1-1-2-1]ベース102
ベース102は、医療用観察装置100の基台であり、アーム104の一端が接続されて、アーム104と撮像デバイスユニット106とを支持する。
また、ベース102には例えばキャスタが設けられ、医療用観察装置100は、キャスタを介して床面と接地する。キャスタが設けられることにより、医療用観察装置100は、キャスタによって床面上を容易に移動することが可能である。
[1-1-2-2]アーム104
アーム104は、複数のリンクが関節部によって互いに連結されて構成される。
また、アーム104は、撮像デバイスユニット106を支持する。アーム104により支持された撮像デバイスユニット106は3次元的に移動可能であり、移動後の撮像デバイスユニット106は、アーム104によって、位置および姿勢が保持される。
より具体的には、アーム104は、例えば、複数の関節部110a、110b、110c、110d、110e、110fと、関節部110a、110b、110c、110d、110e、110fによって互いに回動可能に連結される複数のリンク112a、112b、112c、112d、112e、112fとから構成される。
つまり、図1に示す医療用観察装置100では、アーム104を構成する6つの関節部110a、110b、110c、110d、110e、110fに対応する6つの回転軸(第1軸O1、第2軸O2、第3軸O3、第4軸O4、第5軸O5、および第6軸O6)によって、撮像デバイスユニット106の移動に関して6自由度が実現されている。より具体的には、図1に示す医療用観察装置100では、並進3自由度、および回転3自由度の6自由度の動きが実現される。
関節部110a、110b、110c、110d、110e、110fの一部または残部には、アクチュエータ(図示せず)が設けられていてもよい。アクチュエータ(図示せず)が設けられる場合、アクチュエータが設けられている関節部は、アクチュエータの駆動によって、対応する回転軸で回転する。アクチュエータ(図示せず)の駆動は、例えば、後述する制御部として機能するプロセッサ、または、外部の医療用制御装置(図示せず)によって制御される。
アクチュエータ(図示せず)が設けられる場合、関節部110a、110b、110c、110d、110e、110fそれぞれが、アクチュエータの駆動により対応する回転軸で回転することによって、例えばアーム104を伸ばす、縮める(折り畳む)などの、様々なアーム104の動作が、実現される。
関節部110a、110b、110c、110d、110e、110fそれぞれには、6つの回転軸における回転角度をそれぞれ検出することが可能な角度センサ(図示せず)が、設けられていてもよい。後述するように、角度センサ(図示せず)が設けられる場合、角度センサを用いて撮像デバイスユニット106の位置の変化と姿勢の変化を検出することが可能である。角度センサ(図示せず)としては、例えば、ロータリエンコーダや角速度センサなどの、6つの回転軸それぞれにおける回転角度を得ることが可能な任意のセンサが、挙げられる。
関節部110aは、略円柱形状を有し、関節部110aの先端部分(図1における下端部分)で、撮像デバイスユニット106(図1における撮像デバイスユニット106の上端部分)を、撮像デバイスユニット106の中心軸と平行な回転軸(第1軸O1)まわりに回動可能なように支持する。ここで、医療用観察装置100は、第1軸O1が撮像デバイスユニット106における光軸と一致するように構成される。つまり、図1に示す第1軸O1まわりに撮像デバイスユニット106を回動させることによって、撮像デバイスユニット106により撮像された医療用撮像画像は、視野が回転するように変更される画像となる。
リンク112aは、略棒状の部材であり、関節部110aを固定的に支持する。リンク112aは、例えば、第1軸O1と直交する方向に延伸され、関節部110bに接続される。
関節部110bは、略円柱形状を有し、リンク112aを、第1軸O1と直交する回転軸(第2軸O2)まわりに回動可能なように支持する。また、関節部110bには、リンク112bが固定的に接続される。
リンク112bは、略棒状の部材であり、第2軸O2と直交する方向に延伸される。また、リンク112bには、関節部110bと関節部110cとがそれぞれ接続される。
関節部110cは、略円柱形状を有し、リンク112bを、第1軸O1および第2軸O2それぞれと互いに直交する回転軸(第3軸O3)まわりに回動可能なように支持する。また、関節部110cには、リンク112cの一端が固定的に接続される。
ここで、第2軸O2および第3軸O3まわりにアーム104の先端側(撮像デバイスユニット106が設けられる側)が回動することによって、水平面内での撮像デバイスユニット106の位置が変更されるように、撮像デバイスユニット106を移動させることができる。つまり、医療用観察装置100では、第2軸O2および第3軸O3まわりの回転が制御されることにより、医療用撮像画像の視野を平面内で移動させることが可能になる。
リンク112cは、一端が略円柱形状を有し、他端が略棒状を有する部材である。リンク112cの一端側には、関節部110cの中心軸と略円柱形状の中心軸とが同一となるように、関節部110cが固定的に接続される。また、リンク112cの他端側には、関節部110dが接続される。
関節部110dは、略円柱形状を有し、リンク112cを、第3軸O3と直交する回転軸(第4軸O4)まわりに回動可能なように支持する。関節部110dには、リンク112dが固定的に接続される。
リンク112dは、略棒状の部材であり、第4軸O4と直交するように延伸される。リンク112dの一端は、関節部110dの略円柱形状の側面に当接するように、関節部110dに固定的に接続される。また、リンク112dの他端(関節部110dが接続される側とは反対側の端)には、関節部110eが接続される。
関節部110eは、略円柱形状を有し、リンク112dの一端を、第4軸O4と平行な回転軸(第5軸O5)まわりに回動可能なように支持する。また、関節部110eには、リンク112eの一端が固定的に接続される。
ここで、第4軸O4および第5軸O5は、撮像デバイスユニット106を垂直方向に移動させうる回転軸である。第4軸O4および第5軸O5まわりにアーム104の先端側(撮像デバイスユニット106が設けられる側)が回動することによって、撮像デバイスユニット106の垂直方向の位置が変わる。よって、第4軸O4および第5軸O5まわりにアーム104の先端側(撮像デバイスユニット106が設けられる側)が回動することによって、撮像デバイスユニット106と、患者の術部などの観察対象との距離を変えることが、可能となる。
リンク112eは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略L字形状を有する第1の部材と、当該第1の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第2の部材とが、組み合わされて構成される部材である。リンク112eの第1の部材の鉛直方向に延伸する部位には、関節部110eが固定的に接続される。また、リンク112eの第2の部材には、関節部110fが接続される。
関節部110fは、略円柱形状を有し、リンク112eを、鉛直方向と平行な回転軸(第6軸O6)まわりに回動可能なように支持する。また、関節部110fには、リンク112fが固定的に接続される。
リンク112fは、略棒状の部材であり、鉛直方向に延伸される。リンク112fの一端は、関節部110fが接続される。また、リンク112fの他端(関節部110fが接続される側とは反対側の端)は、ベース102に固定的に接続される。
アーム104が上記に示す構成を有することによって、医療用観察装置100では、撮像デバイスユニット106の移動に関して6自由度が実現される。
なお、アーム104の構成は、上記に示す例に限られない。
例えば、アーム104の関節部110a、110b、110c、110d、110e、110fそれぞれには、関節部110a、110b、110c、110d、110e、110fそれぞれにおける回転を規制するブレーキがさらに設けられていてもよい。本実施形態に係るブレーキとしては、例えば、機械的に駆動するブレーキや、電気的に駆動する電磁ブレーキなど、任意の方式のブレーキが挙げられる。
上記ブレーキの駆動は、例えば、後述する制御部として機能するプロセッサ、または、外部の医療用制御装置(図示せず)によって制御される。上記ブレーキの駆動が制御されることにより、医療用観察装置100では、アーム104の動作モードが設定される。アーム104の動作モードとしては、例えば、固定モードとフリーモードとが挙げられる。
ここで、本実施形態に係る固定モード(第2の動作モード)とは、例えば、アーム104に設けられる各回転軸における回転がブレーキにより規制されることにより、撮像デバイスユニット106の位置および姿勢(後述する撮像部150の位置および姿勢)が固定される動作モードである。固定モードである場合、関節部110a、110b、110c、110d、110e、110fの一部または全部にアクチュエータが設けられていても、当該アクチュエータは動作しない。アーム104が固定モードとなることによって、医療用観察装置100の動作状態は、撮像デバイスユニット106の位置および姿勢が固定される固定状態となる。
また、本実施形態に係るフリーモード(第1の動作モード)とは、上記ブレーキが解除されることにより、アーム104に設けられる各回転軸が自由に回転可能となる動作モードである。フリーモードであるときに、関節部110a、110b、110c、110d、110e、110fの一部または全部にアクチュエータが設けられている場合、当該アクチュエータは動作する。また、例えば、関節部110a、110b、110c、110d、110e、110fそれぞれにアクチュエータが設けられていない場合、フリーモードでは、術者による直接的な操作によって撮像デバイスユニット106の位置および姿勢(後述する撮像部150の位置および姿勢)を調整することが可能となる。なお、関節部110a、110b、110c、110d、110e、110fの一部または全部にアクチュエータが設けられている場合においても、フリーモードでは、術者による直接的な操作によって撮像デバイスユニット106の位置および姿勢を調整することが可能であってもよい。ここで、本実施形態に係る直接的な操作とは、例えば、術者が手で撮像デバイスユニット106を把持し、当該撮像デバイスユニット106を直接移動させる操作のことを意味する。
[1-1-2-3]撮像デバイスユニット106
撮像デバイスユニット106は、アーム104により支持される。撮像デバイスユニット106は、ステレオカメラとして機能する少なくとも2つ以上の撮像デバイスを備え、それぞれの撮像デバイスにより、例えば患者の術部などの観察対象を撮像する。つまり、撮像デバイスユニット106が備える撮像デバイスは、アーム104により支持される。撮像デバイスユニット106が備える撮像デバイスにおける撮像は、例えば、後述する制御部として機能するプロセッサ、または、外部の医療用制御装置(図示せず)によって制御される。以下では、撮像デバイスユニット106が備える撮像デバイスにおける撮像を、「撮像デバイスユニット106における撮像」と示す場合がある。
以下では、撮像デバイスユニット106が、第1の撮像デバイスおよび第2の撮像デバイスという、ステレオカメラとして機能する2つの撮像デバイスを備える場合を例に挙げる。第1の撮像デバイスは、複数の画素を有し、観察対象が撮像された医療用撮像画像を撮像する。第2の撮像デバイスは、第1の撮像デバイスよりも有効画素数が多い複数の画素を有し、観察対象が撮像された医療用撮像画像を撮像する。有効画素とは、第1の撮像デバイスおよび第2の撮像デバイスそれぞれが有している複数の画素のうち、医療用撮像画像の撮像に用いられる画素である。一般的には、有効画素は、第1の撮像デバイスおよび第2の撮像デバイスそれぞれが実際に有している画素の数(以下、「総画素数」と示す。)よりも少ないが、有効画素と総画素数とは、同一であってもよい。上記のように、第1の撮像デバイスと第2の撮像デバイスとでは有効画素数が異なる。一方、第1の撮像デバイスにおける総画素数と第2の撮像デバイスにおける総画素数とは、同一であってもよいし、異なっていてもよい。第1の撮像デバイスにおける総画素数と第2の撮像デバイスにおける総画素数とが異なることには、第1の撮像デバイスにおける総画素数よりも第2の撮像デバイスにおける総画素数が多いことと、第2の撮像デバイスにおける総画素数よりも第1の撮像デバイスにおける総画素数が多いこととが、含まれる、以下では、第1の撮像デバイスにより撮像される医療用撮像画像を「第1の医療用撮像画像」と示し、第2の撮像デバイスにより撮像される医療用撮像画像を「第2の医療用撮像画像」と示す。第1の撮像デバイスおよび第2の撮像デバイスはステレオカメラとして機能するので、第1の医療用撮像画像と第2の医療用撮像画像とのうちの一方は、右目用の医療用撮像画像である。また、第1の医療用撮像画像と第2の医療用撮像画像とのうちの他方は、左目用の医療用撮像画像である。第1の撮像デバイスが有する複数の画素、および第2の撮像デバイスが有する複数の画素の一例”については、後述する。
撮像デバイスユニット106が備える撮像デバイスそれぞれは、例えば電子撮像式の顕微鏡に対応する構成を有する。
図3は、本実施形態に係る医療用観察装置100が備える撮像デバイスユニット106の構成の一例を説明するための説明図である。
撮像デバイスユニット106は、例えば、第1の撮像デバイス120-1と、第2の撮像デバイス120-2と、略円筒形状を有する筒状部材122とを有する。第1の撮像デバイス120-1と第2の撮像デバイス120-2とは、筒状部材122内に設けられる。
筒状部材122の下端(図3における下側の端)の開口面には、例えば、第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれを保護するためのカバーガラス(図示せず)が設けられる。
また、例えば筒状部材122の内部には光源(図示せず)が設けられ、撮像時には、当該光源からカバーガラス越しに被写体に対して照明光が照射される。照明光が照射された被写体からの反射光(観察光)が、カバーガラス(図示せず)を介して第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれに入射することにより、第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれによって被写体を示す画像信号(医療用撮像画像を示す画像信号)が得られる。
第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれとしては、各種の公知の電子撮像式の顕微鏡部に用いられている構成を適用することが可能である。
一例を挙げると、第1の撮像デバイス120-1は、例えば、光学系120a-1と、光学系120a-1を通過した光により観察対象の像を撮像する画素を含むイメージセンサ120b-1とで構成される。また、第2の撮像デバイス120-2は、例えば、光学系120a-2と、光学系120a-2を通過した光により観察対象の像を撮像する画素を含むイメージセンサ120b-2とで構成される。光学系120a-1、光学系120a-2それぞれは、例えば、対物レンズ、ズームレンズおよびフォーカスレンズなどの1または2以上のレンズとミラーなどの光学素子で構成される。イメージセンサ120b-1、イメージセンサ120b-2それぞれとしては、例えば、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などの画素(撮像素子)を複数用いたイメージセンサが、挙げられる。
イメージセンサ120b-1、イメージセンサ120b-2それぞれは、例えば4K、8Kなどの、いわゆる高解像度での撮像が可能な数の画素を有していてもよい。第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれが高解像度での撮像が可能に構成されることにより、所定の解像度(例えば、Full HD画質など)を確保しつつ、例えば50インチ以上などの大画面の表示画面を有する表示装置200に画像を表示させることが可能となるので、当該表示画面を見る者の視認性が向上する。また、第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれが高解像度での撮像が可能に構成されることにより、撮像画像が電子ズーム機能によって拡大されて表示装置200の表示画面に表示されたとしても、所定の解像度を確保することが可能となる。さらに、電子ズーム機能を用いて所定の解像度が確保される場合には、第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれにおける光学ズーム機能の性能を抑えることが可能となるので、第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれの光学系をより簡易にすることができる。そして、第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれの光学系がより簡易となることによって、撮像デバイスユニット106をより小型に構成することが可能となる。
図3では、撮像デバイスユニット106が、独立している第1の撮像デバイス120-1と第2の撮像デバイス120-2とを備えている例を示している。なお、第1の撮像デバイス120-1と第2の撮像デバイス120-2とが有する光学系は、少なくとも一部を共有するガリレオ式光学系であってもよい。
第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれには、ズーム機能(光学ズーム機能と電子ズーム機能との一方または双方)、AF(Auto Focus)機能などの、一般的に電子撮像式の顕微鏡部に備えられる1または2以上の機能が搭載される。
撮像デバイスユニット106には、例えば、撮像デバイスユニット106の動作を制御するための各種の操作デバイスが設けられる。例えば図3では、ズームスイッチ124と、フォーカススイッチ126と、動作モード変更スイッチ128とが、撮像デバイスユニット106に設けられている。なお、ズームスイッチ124、フォーカススイッチ126、および動作モード変更スイッチ128が設けられる位置と形状とが、図3に示す例に限られないことは、言うまでもない。
ズームスイッチ124とフォーカススイッチ126とは、撮像デバイスユニット106における撮像条件を調整するための操作デバイスの一例である。
ズームスイッチ124は、例えば、ズーム倍率(拡大率)を大きくするズームインスイッチ124aと、ズーム倍率を小さくするズームアウトスイッチ124bとで構成される。ズームスイッチ124に対する操作が行われることによりズーム倍率が調整されて、ズームが調整される。
フォーカススイッチ126は、例えば、観察対象(被写体)までの焦点距離を遠くする遠景フォーカススイッチ126aと、観察対象までの焦点距離を近くする近景フォーカススイッチ126bとで構成される。フォーカススイッチ126に対する操作が行われることにより焦点距離が調整されて、フォーカスが調整される。
動作モード変更スイッチ128は、撮像デバイスユニット106におけるアーム104の動作モードを変更するための操作デバイスの一例である。動作モード変更スイッチ128に対する操作が行われることにより、アーム104の動作モードが変更される。アーム104の動作モードとしては、例えば上述したように、固定モードとフリーモードとが挙げられる。
動作モード変更スイッチ128に対する操作の一例としては、動作モード変更スイッチ128を押下する操作が、挙げられる。例えば、術者が動作モード変更スイッチ128を押下している間、アーム104の動作モードがフリーモードとなり、術者が動作モード変更スイッチ128を押下していないときには、アーム104の動作モードが固定モードとなる。
また、撮像デバイスユニット106には、各種操作デバイスに対する操作を行う操作者が操作を行う際の操作性や利便性などをより高めるために、例えば、滑り止め部材130と、突起部材132とが設けられる。
滑り止め部材130は、例えば操作者が筒状部材122を手などの操作体で操作を行う際に、操作体の滑りを防止するために設けられる部材である。滑り止め部材130は、例えば、摩擦係数が大きい材料で形成され、凹凸などのより滑りにくい構造を有する。
突起部材132は、操作者が筒状部材122を手などの操作体で操作を行う際に、当該操作体が光学系120a-1、光学系120a-2それぞれの視野を遮ってしまうことや、当該操作体で操作を行う際に、カバーガラス(図示せず)に当該操作体が触れることにより当該カバーガラスが汚れることなどを、防止するために設けられる部材である。
なお、滑り止め部材130および突起部材132それぞれが設けられる位置と形状とが、図3に示す例に限られないことは、言うまでもない。また、撮像デバイスユニット106には、滑り止め部材130と突起部材132との一方または双方が設けられていなくてもよい。
撮像デバイスユニット106における撮像により生成された画像信号(画像データ)は、例えば後述する制御部として機能するプロセッサにおいて、画像処理が行われる。本実施形態に係る画像処理としては、例えば、ガンマ補正、ホワイトバランスの調整、電子ズーム機能に係る画像の拡大または縮小、画素間補正、画像の一部を切り出す処理、あるいは、画像を回転させる回転処理などの各種処理のうちの、1または2以上の処理が、挙げられる。
なお、本実施形態に係る医療用観察システムが、医療用観察装置100における各種動作を制御する医療用制御装置(図示せず)を有する場合には、本実施形態に係る画像処理は、当該医療用制御装置において行われてもよい。
医療用観察装置100は、例えば、表示制御信号と、上記のような画像処理が行われた画像信号とを、表示装置200に送信する。
表示制御信号と画像信号とが表示装置200に送信されることによって、表示装置200の表示画面には、観察対象が撮像された医療用撮像画像(例えば、術部が撮像された撮像画像)が表示される。
図1に示す医療用観察装置100は、例えば図1、図3を参照して示したハードウェア構成を有する。
なお、本実施形態に係る医療用観察装置のハードウェア構成は、図1、図3を参照して示した構成に限られない。
例えば、本実施形態に係る医療用観察装置は、ベース102を備えず、手術室などの天井や壁面などにアーム104が直接取り付けられる構成であってもよい。例えば、天井にアーム104が取り付けられる場合には、本実施形態に係る医療用観察装置は、アーム104が天井から吊り下げられる構成となる。
また、図1では、アーム104が、撮像デバイスユニット106の駆動に関して6自由度が実現されるように構成されている例を示しているが、アーム104の構成は、撮像デバイスユニット106の駆動に関する自由度が6自由度となる構成に限られない。例えば、アーム104は、用途に応じて撮像デバイスユニット106を適宜移動しうるように構成されればよく、関節部およびリンクの数や配置、関節部の駆動軸の方向などは、アーム104が所望の自由度を有するように適宜設定することが可能である。
また、図1、図3では、撮像デバイスユニット106の動作を制御するための各種の操作デバイスが、撮像デバイスユニット106に設けられる例を示しているが、図1、図3に示す操作デバイスのうちの一部または全部は、撮像デバイスユニット106に設けられなくてもよい。一例を挙げると、撮像デバイスユニット106の動作を制御するための各種の操作デバイスは、本実施形態に係る医療用観察装置を構成する撮像デバイスユニット106以外の他の部位に設けられていてもよい。また、他の例を挙げると、撮像デバイスユニット106の動作を制御するための各種の操作デバイスは、フットスイッチFSやリモートコントローラなどの、外部の操作デバイスであってもよい。
また、撮像デバイスユニット106は、複数の観察モードを切り替えることが可能な構成であってもよい。本実施形態に係る観察モードとしては、例えば、自然光で撮像を行う観察モード、特殊光で撮像を行う観察モード、画像強調観察技術を利用して撮像を行う観察モードなどが、挙げられる。本実施形態に係る特殊光とは、例えば、近赤外線の波長帯域の光や、5-ALA(5-Aminolevulinic Acid)を用いた蛍光観察の蛍光波長帯域の光など、特定の波長帯域の光である。
複数の観察モードを切り替えることが可能な撮像デバイスユニット106の構成の一例としては、例えば、“特定の波長帯域の光を透過させ、他の波長帯域の光を透過させないフィルタと、当該フィルタを光路上に選択的に配置する移動機構とが、第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれに設けられる構成”が、挙げられる。本実施形態に係るフィルタが透過させる特定の波長帯域としては、例えば、近赤外線の波長帯域(例えば、約0.7[マイクロメートル]~2.5[マイクロメートル]の波長帯域)や、5-ALAを用いた蛍光観察による蛍光波長帯域(例えば、約0.6[マイクロメートル]~0.65[マイクロメートル]の波長帯域)、ICG(Indocyanine Green)の蛍光波長帯域(例えば、約0.82[マイクロメートル]~0.85[マイクロメートル]の波長帯域)などが、挙げられる。
なお、第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれには、透過させる波長帯域が異なる複数のフィルタが設けられていてもよい。また、上記では、フィルタが光路上に配置されることにより、特定の波長帯域の光で撮像が行われる例を示したが、特定の波長帯域の光で撮像を行うための第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれの構成が、上記に示す例に限られないことは、言うまでもない。
撮像デバイスユニット106の他の例については、後述する。
[1-2]医療用観察装置100の機能構成
次に、図1に示す医療用観察装置100を、機能ブロックを用いて説明する。図4は、本実施形態に係る医療用観察装置100の構成の一例を示す機能ブロック図である。
医療用観察装置100は、例えば、撮像部150と、通信部152と、制御部154とを備える。
撮像部150は、観察対象を撮像する。撮像部150は、例えば第1の撮像デバイス120-1および第2の撮像デバイス120-2を含んで構成される。上述したように、第1の撮像デバイス120-1における撮像により第1の医療用撮像画像が得られ、第2の撮像デバイス120-2における撮像により第2の医療用撮像画像が得られる。また、上述したように、第1の医療用撮像画像と第2の医療用撮像画像とのうちの一方は、右目用の医療用撮像画像であり、他方は、左目用の医療用撮像画像である。撮像部150における撮像は、例えば制御部154によって制御される。
通信部152は、医療用観察装置100が備える通信手段であり、表示装置200などの外部装置と無線または有線で通信を行う役目を果たす。通信部152は、例えば上述した通信デバイス(図示せず)で構成される。通信部152における通信は、例えば制御部154によって制御される。
制御部154は、例えば上述したプロセッサ(図示せず)で構成され、医療用観察装置100全体を制御する役目を果たす。また、制御部154は、後述する表示制御方法に係る処理を主導的に行う役目を果たす。なお、制御部154における表示制御方法に係る処理は、複数の処理回路(例えば、複数のプロセッサなど)で分散して行われてもよい。
より具体的には、制御部154は、例えば、撮像制御部156と、表示制御部158とを有する。
撮像制御部156は、撮像部150を構成する撮像デバイスを制御する。撮像デバイスの制御としては、例えば、ズーム機能(光学ズーム機能および電子ズーム機能)やAF機能の制御などの一般的に電子撮像式の顕微鏡部に備えられる1または2以上の機能の制御が、挙げられる。
表示制御部158は、本実施形態に係る表示制御方法に係る処理を行い、医療用撮像画像の表示画面への表示の制御を行う。表示制御部158は、例えば、表示制御信号と画像信号とを通信部152を構成する通信デバイス(図示せず)に伝達し、表示制御信号と画像信号とを表示装置200に対して送信させることによって、表示装置200における表示を制御する。なお、通信部152における通信の制御は、制御部154を構成する通信制御部(図示せず)により行われてもよい。
表示制御部158における医療用撮像画像の表示画面への表示の制御としては、例えば“表示させる対象の医療用撮像画像に応じて、当該医療用撮像画像を表示させる表示装置200を変える処理”が挙げられる。なお、後述するように、表示制御部158は、右目用の医療用撮像画像および左目用の医療用撮像画像それぞれを表示画面に表示させる制御(3D表示の制御)を行うことも可能である。
本実施形態に係る表示させる対象の医療用撮像画像としては、下記に示す画像が挙げられる。
・第1の医療用撮像画像(第1の撮像デバイス120-1により観察対象が撮像された医療用撮像画像。以下、同様とする。)
・“第2の医療用撮像画像(第2の撮像デバイス120-2により観察対象が撮像された医療用撮像画像。以下、同様とする。)に対して設定される領域”に対応する画像
上述したように、第1の医療用撮像画像と第2の医療用撮像画像とのうちの一方は、右目用の医療用撮像画像であり、他方は、左目用の医療用撮像画像である。また、上述したように、第2の撮像デバイス120-2は第1の撮像デバイス120-1よりも有効画素数が多いので、第2の医療用撮像画像のサイズは、第1の医療用撮像画像のサイズよりも大きい。後述する例に示すように、第2の医療用撮像画像に対して領域を設定することにより、当該領域に対応する画像のサイズを、第1の医療用撮像画像に対応するサイズとすることが可能である。ここで、第1の医療用撮像画像に対応するサイズの画像には、例えば“第1の医療用撮像画像と同一のサイズの画像”と、“画像を見る者が第1の医療用撮像画像と同一のサイズであると認識できる程度、サイズが異なっている画像”とが含まれる。以下では、第2の医療用撮像画像に対して設定される領域に対応する画像が、第1の医療用撮像画像と同一のサイズの画像である場合を例に挙げる。
第2の医療用撮像画像に対して設定される異なる複数の領域としては、例えば、“観察対象に対する撮像範囲が第1の医療用撮像画像と同一となる領域(以下、「第1領域」と示す場合がある。)”と、“第1領域を回転させた領域”との一方または双方が挙げられる。以下では逐一言及しないが、第1領域は、第2の医療用撮像画像に対して設定された領域であるので、第1領域に対応する画像とは、第2の医療用撮像画像の一部に該当する。また、以下では逐一言及しないが、第2の医療用撮像画像に対して設定される他の領域(第1領域以外の領域)に対応する画像についても、同様に、第2の医療用撮像画像の一部に該当する。
具体的には、表示制御部158は、第1の医療用撮像画像を第1の表示装置に表示させ、または、第1の医療用撮像画像および第1領域に対応する画像を、立体画像として第1の表示装置に表示させる。第1の表示装置の表示画面に第1の医療用撮像画像が表示される場合とは、第1の表示装置の表示画面に2D画像が表示される場合に該当する。また、第1の表示装置の表示画面に第1の医療用撮像画像および第1領域に対応する画像が表示される場合とは、第1の表示装置の表示画面に3D画像が表示される場合に該当する。
本実施形態に係る第1の表示装置とは、例えば撮像デバイスの天地と表示装置の配置方向とが揃っている表示装置200である。医療用観察システム1000において第1の表示装置は、例えば基準の表示装置として設定されている表示装置200に該当する。第1の表示装置としては、例えば術者が見る表示装置200が挙げられる。なお、第1の表示装置の例は、上記に限られない。例えば、本実施形態に係る第1の表示装置には、表示画面の向きが術者が見る表示装置200(基準の表示装置の一例)と同一の表示装置200が含まれていてもよい。本実施形態に係る表示画面の向きが同一とは、一の表示画面の垂線方向と他の表示画面の垂線方向とがなす角度が0[°]の場合と、当該角度が0+E1[°](E1は、例えば“設計段階などおいて設定される、許容される誤差に相当する有理数”。)である場合とを含む。
また、表示制御部158は、第1領域に対応する画像(第2の医療用撮像画像に対して設定される領域に対応する画像の一例)、または、第1領域を回転させた領域に対応する画像(第2の医療用撮像画像に対して設定される領域に対応する画像の他の例)を、第2の表示装置の表示画面に表示させる。第2の表示装置に表示される画像は、第1領域を回転させた領域に対応する画像が第2の表示装置に対応するように回転した画像である。上記のように第2の表示装置に対応するように回転した画像が第2の表示装置に表示されることによって、第2の表示装置の表示画面に、第2の表示装置に表示される画像を見る者の位置における上下左右が一致した画像を、表示させることができる。
本実施形態に係る第2の表示装置とは、第1の表示装置と異なる表示装置200であって、表示画面の向きが第1の表示装置と異なる可能性がある表示装置200である。第2の表示装置としては、例えば助手が見る表示装置200が挙げられる。なお、第2の表示装置が上記に示す例に限られないことは、言うまでもない。以下では、第2の医療用撮像画像に対して設定される領域に対応する画像を、単に「領域に対応する画像」と示す場合がある。
領域に対応する画像の一例、および領域に対応する画像の表示の一例については、後述する。
制御部154は、例えば、表示制御部158を有することにより、本実施形態に係る表示制御方法に係る処理を主導的に行う役目を果たす。また、制御部154は、例えば、撮像制御部156、および表示制御部158を有することによって、医療用観察装置100全体を制御する役目を果たす。
なお、制御部154の機能構成は、図4に示す例に限られない。
例えば、制御部154は、本実施形態に係る表示制御方法に係る処理の切り分け方に応じた構成など、医療用観察装置100が有する機能の切り分け方に応じた、任意の構成を有することが可能である。
一例を挙げると、医療用観察装置100が図1に示す構成である場合、制御部154は、アーム104の駆動を制御するアーム制御部(図示せず)をさらに有していてもよい。アーム104の駆動の制御の一例としては、例えば、関節部110a、110b、110c、110d、110e、110fの一部または全部にアクチュエータ(図示せず)が設けられている場合において“関節部110a、110b、110c、110d、110e、110fそれぞれに対応するアクチュエータに対して、駆動を制御する制御信号を印加すること”などが挙げられる。
医療用観察装置100は、例えば図4に示す機能構成によって、後述する本実施形態に係る表示制御方法に係る処理を行う。
なお、本実施形態に係る医療用観察装置の機能構成は、図4に示す構成に限られない。
例えば、本実施形態に係る医療用観察装置は、図4に示す撮像制御部156と表示制御部158との一方または双方を、制御部154とは個別に備える(例えば、別の処理回路で実現する)ことができる。
また、本実施形態に係る医療用観察装置において本実施形態に係る表示制御方法に係る処理を実行することが可能な機能構成は、図4に示す構成に限られず、例えば、本実施形態に係る医療用観察装置は、本実施形態に係る表示制御方法に係る処理の切り分け方に応じた機能構成をとることが可能である。
また、本実施形態に係る医療用観察装置が図1に示す構成である場合、本実施形態に係る医療用観察装置は、アーム104で構成されるアーム部(図示せず)を有する。アーム部(図示せず)を構成するアーム104は、撮像部150を構成する撮像デバイス(例えば第1の撮像デバイス120-1および第2の撮像デバイス120-2)を支持する。
また、例えば、通信部152と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、本実施形態に係る医療用観察装置は、通信部152を備えていなくてもよい。
また、本実施形態に係る医療用観察システムが、医療用制御装置(図示せず)を有する構成であり、本実施形態に係る医療用観察装置が当該医療用制御装置により制御される場合、本実施形態に係る医療用観察装置は、制御部154を備えていなくてもよい。
ここで、医療用制御装置(図示せず)は、例えば、制御部154と同様の機能、構成を有する制御部を備えることによって、後述する本実施形態に係る表示制御方法に係る処理を行い、また、本実施形態に係る医療用観察装置が備える撮像部150などの各構成要素における動作を制御する。医療用制御装置(図示せず)は、備えている通信デバイス、または、接続されている外部の通信デバイスを介して、本実施形態に係る医療用観察装置と通信を行うことによって、本実施形態に係る医療用観察装置が備える各構成要素における動作を制御する。
さらに、本実施形態に係る医療用観察システムが、医療用制御装置(図示せず)を有する構成であり、本実施形態に係る医療用観察装置が当該医療用制御装置により制御される場合、本実施形態に係る医療用観察装置は、制御部154の一部の機能を有さない構成をとることも可能である。
[2]本実施形態に係る表示制御方法に係る処理
次に、本実施形態に係る表示制御方法について説明する。以下では、本実施形態に係る表示制御方法に係る処理を医療用観察装置100(より具体的には、例えば医療用観察装置100を構成する制御部154が有する表示制御部158)が行う場合を例に挙げる。なお、上述したように、本実施形態に係る医療用観察システムにおいて、本実施形態に係る表示制御方法に係る処理は、医療用制御装置(図示せず)などにより行われてもよい。
[2-1]本実施形態に係る表示制御方法に係る処理の概要
上述したように、撮像デバイスの天地、医療従事者の向いている方向、および表示装置の配置方向が揃っていない場合には、表示画面内の天地方向が医療従事者の向いている方向とズレてしまい、その結果、医療従事者による直感的な手技が妨げられる可能性がある。そして、上記のように直感的な手技が妨げられる可能性がある場合には、医療用撮像画像が表示される表示画面を見る者の利便性の向上を図ることは、望むべくもない。
ここで、撮像デバイスの天地、医療従事者の向いている方向、および表示装置の配置方向が揃っていない場合において、これらを揃える方法としては、例えば、表示装置を回転させる方法や、画像処理により表示装置に表示させる画像を回転させる方法が、考えられる。
一例として、術者の左右いずれかの位置に助手が位置し、助手が、術者からみて略90[°]側方方向からサポート作業を行う場合を例に挙げる。この例では、助手が見る表示装置を90[°]回転させること、または、画像処理により90[°]回転させた画像を当該表示装置に表示させることによって、“撮像デバイスの天地、医療従事者の向いている方向、および表示装置の配置方向を揃えること”が可能である。
図5は、撮像デバイスの天地、医療従事者の向いている方向、および表示装置の配置方向を揃えるための方法の一例を説明するための説明図である。図5は、“90[°]回転させた画像を助手が見る表示装置に表示させることによって、撮像デバイスの天地、医療従事者の向いている方向、および表示装置の配置方向を揃える例”を示している。
図5に示す表示装置20Aは、術者が見る表示装置である。図5に示す表示装置20Bは、助手が見る表示装置である。図5に示す例は、術者の右の位置に助手が位置し、助手が、術者からみて略90[°]側方方向からサポート作業を行う例である。
表示装置20Aと、表示装置20Bとを比較すると、表示装置20Bの表示画面には、表示装置20Aの表示画面に表示されている医療用撮像画像が90[°]左回転された画像が、表示されていることが分かる。
表示装置20Bの表示画面に回転されていない画像が表示されている場合を仮定すると、助手が見る表示装置20Bの表示画面に表示される画像は、助手に対して90[°]右回転した画像となるので、助手の手の動きと当該画像の向きとは一致しないこととなる。そのため、表示装置20Bの表示画面に回転されていない画像が表示されている場合には、助手は、画像を見ながらのサポート作業を行い難く、助手の利便性を損ねる可能性がある。
それに対して、図5に示す例では、表示装置20Bの表示画面には、表示装置20Aの表示画面に表示されている医療用撮像画像が90[°]左回転された画像が表示されているので、助手の手の動きと当該画像の向きとは一致する。よって、助手は、画像を見ながらのサポート作業を行い易い。
図5の例に示すように、表示装置の表示画面のアスペクト比、および撮像デバイスにより撮像される医療用撮像画像のアスペクト比は、横(水平方向)が縦(垂直方向)よりも大きいことが一般的である。そのため、表示装置を90[°]回転させたとしても、または、単に90[°]回転させた画像を表示装置に表示させたとしても、表示画面に表示される画像は、縦長の画像となる。そして、助手が見る表示装置の表示画面に縦長の画像が表示される場合、助手の左右方向の手の動きに対して、表示画面に表示される医療用撮像画像の横方向の表示範囲が狭くなる。さらに、単に90[°]回転させた画像を表示装置に表示させる場合には、表示画面の左右両側にブラックアウトする範囲(画像が存在しない範囲)が生じ、かつ、表示装置における縦方向の表示可能範囲の制限によって、医療用撮像画像の一部が表示されない可能性がある。
よって、表示装置を90[°]回転させたとしても、または、単に90[°]回転させた画像を表示装置に表示させたとしても、助手(医療用撮像画像が表示される表示画面を見る者の一例)の利便性の向上を図ることができるとは、限られない。
そこで、医療用観察装置100は、上述したように、第1の医療用撮像画像と、第2の医療用撮像画像に対して設定される領域に対応する画像とを、それぞれの画像に対応する表示装置200の表示画面に表示させる。
後述するように、医療用観察装置100は、領域に対応する画像の表示対象の表示装置200に対応するように、第2の医療用撮像画像に対して領域を設定する。つまり、医療用観察装置100は、図5に示す例のように回転させた医療用撮像画像を表示させるのではなく、設定される領域に応じた第2の医療用撮像画像の一部の画像を表示させることによって、撮像デバイスの天地、医療従事者の向いている方向、および表示装置の配置方向を揃える。
ここで、上述したように、領域に対応する画像は、第1の撮像デバイス120-1よりも有効画素数が多い第2の撮像デバイス120-2により撮像された第2の医療用撮像画像の一部の画像である。また、後述する例に示すように、本実施形態に係る表示制御方法が用いられる場合には、領域に対応する画像のサイズを、第1の医療用撮像画像に対応するサイズとすることが可能である。よって、本実施形態に係る表示制御方法に係る処理により領域に対応する画像が表示画面に表示される場合、上述した“単に90[°]回転させた画像を表示装置に表示させる場合に生じるデメリット”は、生じない。
したがって、本実施形態に係る表示制御方法に係る処理を行う医療用観察装置100は、医療用撮像画像が表示される表示画面を見る者の利便性の向上を図ることができる。
以下、本実施形態に係る表示制御方法に係る処理の例を、より具体的に説明する。以下では、第1の表示装置が“術者が見る表示装置200A”であり、第2の表示装置が“助手が見る表示装置200B”である場合を例に挙げる。なお、第1の表示装置と第2の表示装置との例が、上記に示す例に限られないことは、言うまでもない。
[2-2]表示制御方法に係る処理の第1の例
[2-2-1]第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれにおける複数の画素の配置の一例
まず、第1の例に係る表示制御方法に適用することが可能な、第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれにおける複数の画素の配置の例を説明する。
図6は、本実施形態に係る医療用観察装置100が撮像デバイスが有する有効画素の配置の第1の例を示す説明図である。図6のAは、第2の撮像デバイス120-2が有する複数の画素における有効画素の配置の一例を示しており、図6のBは、第1の撮像デバイス120-1が有する複数の画素における有効画素の配置の一例を示している。
第1の撮像デバイス120-1における複数の画素は行列状に配置される。図6のBでは、第1の撮像デバイス120-1が、有効画素の行数がa(aは、整数)であり、有効画素の列数がb(bは、b>aを満たす整数)である例を示している。つまり、図6のBでは、第1の撮像デバイス120-1における複数の画素における有効画素の行数と列数とは、異なっている。
第2の撮像デバイス120-2における複数の画素は行列状に配置される。図6のAでは、第2の撮像デバイス120-2が、有効画素の行数および列数がaである例を示している。つまり、図6のAでは、第2の撮像デバイス120-2における有効画素の行数と列数とが、第1の撮像デバイス120-1における有効画素の行数または列数のうちの数が多い方と同一である。
第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれにおいて、例えば図6に示すように有効画素が配置されることによって、第2の医療用撮像画像に対して、第1の医療用撮像画像と同一のサイズの領域を設定することができる。つまり、例えば図6に示すような有効画素の配置によって、第2の医療用撮像画像に対して設定される領域の画像のサイズを、第1の医療用撮像画像と同一のサイズとすることができる。
なお、第1の例に係る表示制御方法に適用することが可能な、第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれにおける有効画素の配置の例は、図6に示す例に限られない。例えば、第2の撮像デバイス120-2における有効画素の行数と列数とは、第1の撮像デバイス120-1における有効画素の行数または列数のうちの数が多い方以上であってもよい。また、このとき、第2の撮像デバイス120-2における有効画素の行数と列数とは、異なっていてもよい。
[2-2-2]第1の例に係る表示制御方法に係る処理の一例
次に、第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれにおいて、有効画素が図6に示すように配置される場合を例に挙げて、第1の例に係る表示制御方法に係る処理を説明する。
医療用観察装置100は、所定の選択操作に基づいて、第2の医療用撮像画像に対して第1の領域と第2の領域との一方または双方を設定する。
本実施形態に係る第1の領域とは、観察対象に対する撮像範囲が第1の医療用撮像画像と同一となる領域である。図6に示す例では、領域R2が第1の領域に該当する。
本実施形態に係る第2の領域とは、第1領域を90[°]または-90[°]回転させた領域である。図6に示す例では、領域R3が第2の領域に該当する。
ここで、第1領域と第2の領域とにおける回転角度の大きさは、“第1の表示装置の表示画面の向き(例えば、第1の表示装置の表示画面の垂線方向)と、第2の表示装置の表示画面の向き(例えば、第2の表示装置の表示画面の垂線方向)とがなす角度”に対応する。つまり、“第2の領域が、第1領域を90[°]または-90[°]回転させた領域である場合”とは、“第2の表示装置の表示画面の向きが、第1の表示装置の表示画面に対して直交する場合”に対応する。なお、本実施形態に係る“第2の表示装置の表示画面の向きが、第1の表示装置の表示画面に対して直交する場合”には、第2の表示装置の表示画面の向きと第1の表示装置の表示画面の向きとがなす角度が90[°]である場合と、当該角度が90+E2[°](E2は、例えば“設計段階などおいて設定される、許容される誤差に相当する有理数”。)である場合とが含まれる。
第1の例に係る所定の選択操作としては、例えば、“医療用観察装置100が備える操作デバイスに対する操作”、“フットスイッチFSなどの医療用観察装置100の外部の操作デバイスに対する操作”、“ジェスチャによる操作”、“音声による操作”などの、任意の操作が挙げられる。
選択操作が、医療用観察装置100が備える操作デバイスに対する操作である場合、または、外部の操作デバイスに対する操作である場合、医療用観察装置100は、例えば、操作に応じた操作信号に基づいて、操作の内容を特定する。
選択操作がジェスチャによる操作である場合、医療用観察装置100は、例えば、“操作の検出対象が撮像された撮像画像に対する任意の画像処理により検出される、ジェスチャの検出結果”に基づいて、ジェスチャによる操作の内容を特定する。選択操作に係るジェスチャの検出に係る上記画像処理は、医療用観察装置100が行ってもよいし、医療用観察装置100の外部装置において行われてもよい。
選択操作が音声による操作である場合、医療用観察装置100は、例えば、“マイクロホンなどの音声入力デバイスにより得られた音声に対する任意の信号処理により検出される、所定の音声の検出結果”に基づいて、音声による操作の内容を特定する。上記音声入力デバイスは、医療用観察装置100が備える音声入力デバイスであってもよいし、医療用観察装置100の外部の音声入力デバイスであってもよい。音声に対する選択操作に係る上記信号処理は、医療用観察装置100が行ってもよいし、医療用観察装置100の外部装置において行われてもよい。
以下、第1の例に係る選択操作が、医療用観察装置100が備える操作デバイスに対する操作である場合を例に挙げる。
図7は、本実施形態に係る医療用観察装置100が備える、選択操作のための操作デバイスの一例を示す説明図である。図7は、“図3に示す医療用観察装置100が備える撮像デバイスユニット106に、選択操作のためのスイッチSW1、SW2、SW3(選択操作のための操作デバイスの一例)が設けられている例”を示している。スイッチSW1、SW2、SW3としては、例えば押下スイッチが挙げられるが、スイッチSW1、SW2、SW3の種類は、特に限定されない。
なお、図7では、選択操作のための操作デバイスが撮像デバイスユニット106に設けられている例を示しているが、選択操作のための操作デバイスは、撮像デバイスユニット106以外の他の部位に設けられていてもよい。
スイッチSW1、SW2、SW3それぞれは、例えば、“第1の表示装置の表示画面の向きに対する第2の表示装置の表示画面の向き”を設定するためのスイッチに該当する。
スイッチSW1は、第2の医療用撮像画像に対して図6に示す領域R2(第1の領域の一例。以下、同様とする。)を設定するためのスイッチである。つまり、スイッチSW1に対して選択操作が行われる場合とは、第1領域のみが設定される場合に該当する。
スイッチSW2、SW3は、第2の医療用撮像画像に対して、少なくとも図6に示す領域R3(第2の領域の一例。以下、同様とする。)を設定するためのスイッチである。なお、スイッチSW2、SW3に対して選択操作が行われた場合、第2の医療用撮像画像に対して、領域R2と領域R3との双方が設定されてもよい。つまり、スイッチSW2、SW3に対して選択操作が行われる場合とは、領域R2と領域R3との一方または双方が設定される場合に該当する。
例えば、スイッチSW1に対して選択操作が行われた場合、医療用観察装置100は、第2の医療用撮像画像に対して領域R2のみを設定する。そして、医療用観察装置100は、設定された領域R2に対応する画像を表示装置200Bの表示画面のみに表示させる。領域R2に対応する画像を表示装置200Bの表示画面のみに表示させる場合、医療用観察装置100は、第1の医療用撮像画像を表示装置200Aに表示させる。
また、スイッチSW1に対して選択操作が行われた場合、医療用観察装置100は、設定された領域R2に対応する画像を、表示装置200Aの表示画面にさらに表示させてもよい。領域R2に対応する画像を表示装置200Aの表示画面に表示させる場合、医療用観察装置100は、第1の医療用撮像画像および領域R2に対応する画像それぞれを、右目用の医療用撮像画像および左目用の医療用撮像画像として、表示させる。この場合、表示装置200Aの表示画面を見る術者は、観察対象を立体視することが可能である。
例えば、スイッチSW2に対して選択操作が行われた場合、医療用観察装置100は、第2の医療用撮像画像に対して領域R3のみを設定する。そして、医療用観察装置100は、設定された領域R3に対応する画像を表示装置200Bの表示画面に表示させる。このとき、医療用観察装置100は、図6における領域R3に対応する画像の左側が、表示装置200の表示画面における上方向に表示されるように表示させる。医療用観察装置100は、領域R3に対応する画像に対して回転処理を行うことによって上記表示を実現してもよいし、表示制御信号による制御によって上記表示を実現してもよい。
スイッチSW2に対して選択操作が行われた場合に、上記のように領域R3に対応する画像が表示装置200Bの表示画面に表示されることによって、表示画面に表示される画像は、術者からみて右側方に位置する助手により適した画像となる。また、スイッチSW2に対して選択操作が行われることにより第2の医療用撮像画像に対して領域R3のみが設定される場合、医療用観察装置100は、第1の医療用撮像画像を表示装置200Aに表示させる。
なお、スイッチSW2に対して選択操作が行われた場合に設定される領域は、上記に示す例に限られない。例えば、スイッチSW2に対して選択操作が行われた場合、医療用観察装置100は、第2の医療用撮像画像に対して領域R2および領域R3を設定してもよい。スイッチSW2に対して選択操作が行われたときに領域R2および領域R3が設定される場合、医療用観察装置100は、例えば、第1の医療用撮像画像および設定された領域R2に対応する画像それぞれを表示装置200Aの表示画面に表示させる。第1の医療用撮像画像および領域R2に対応する画像が表示装置200Aの表示画面に表示される場合、表示装置200Aの表示画面を見る術者は、観察対象を立体視することが可能である。
例えば、スイッチSW3に対して選択操作が行われた場合、医療用観察装置100は、第2の医療用撮像画像に対して領域R3のみを設定する。そして、医療用観察装置100は、設定された領域R3に対応する画像を表示装置200Bの表示画面に表示させる。このとき、医療用観察装置100は、図6における領域R3に対応する画像の右側が、表示装置200の表示画面における上方向に表示されるように表示させる。医療用観察装置100は、領域R3に対応する画像に対して回転処理を行うことによって上記表示を実現してもよいし、表示制御信号による制御によって上記表示を実現してもよい。
スイッチSW3に対して選択操作が行われた場合に、上記のように領域R3に対応する画像が表示装置200Bの表示画面に表示されることによって、表示画面に表示される画像は、術者からみて左側方に位置する助手により適した画像となる。また、スイッチSW3に対して選択操作が行われることにより第2の医療用撮像画像に対して領域R3のみが設定される場合、医療用観察装置100は、第1の医療用撮像画像を表示装置200Aに表示させる。
なお、スイッチSW3に対して選択操作が行われた場合に設定される領域は、上記に示す例に限られない。例えば、スイッチSW3に対して選択操作が行われた場合、医療用観察装置100は、第2の医療用撮像画像に対して領域R2および領域R3を設定してもよい。スイッチSW3に対して選択操作が行われたときに領域R2および領域R3が設定される場合、医療用観察装置100は、例えば、第1の医療用撮像画像および設定された領域R2に対応する画像それぞれを表示装置200Aの表示画面に表示させる。第1の医療用撮像画像および領域R2に対応する画像が表示装置200Aの表示画面に表示される場合、表示装置200Aの表示画面を見る術者は、観察対象を立体視することが可能である。
図8、図9は、本実施形態に係る表示制御方法に係る処理の第1の例により表示装置200A、200Bの表示画面に表示される画像の一例を説明するための説明図である。
図8のAは、術者が見る表示装置200Aの表示画面に表示される第1の医療用撮像画像の一例を示している。スイッチSW1に対して選択操作が行われた場合、表示装置200Bの表示画面には、図8のAに示す画像が表示されることとなる。なお、上述したように、スイッチSW1に対して選択操作が行われた場合、表示装置200Bの表示画面には、第1の医療用撮像画像および領域R2に対応する画像が、立体画像として表示されてもよい。
図8のBは、スイッチSW2に対して選択操作が行われた場合に、助手が見る表示装置200Bの表示画面に表示される領域R3に対応する画像の一例を示している。また、図8のCは、スイッチSW3に対して選択操作が行われた場合に、助手が見る表示装置200Bの表示画面に表示される領域R3に対応する画像の一例を示している。図8のB、図9に示すように、スイッチSW2に対する選択操作が行われることによって、助手が術者からみて略90[°]右側方方向に位置する場合においても、助手の位置により適した画像を表示装置200Bの表示画面に表示させることができる。同様に、図8のCに示すように、スイッチSW3に対する選択操作が行われることによって、助手が術者からみて略90[°]左側方方向に位置し、助手の正面に表示装置200Bが配置される場合においても、助手の位置により適した画像を表示装置200Bの表示画面に表示させることができる。
[2-2-3]第1の例に係る表示制御方法に係る処理により奏される効果の一例
第1の例に係る表示制御方法に係る処理が行われることによって、例えば下記に示す効果が奏される。なお、第1の例に係る表示制御方法が用いられることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
・撮像デバイスユニット106などに設けられるスイッチに対する選択操作などの、所定の選択操作によって、表示装置200Bの表示画面に表示される画像を、助手の立ち位置に応じた画像の向きに調整することができる。
[2-3]表示制御方法に係る処理の第2の例
[2-3-1]第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれにおける複数の画素の配置の一例
まず、第2の例に係る表示制御方法に適用することが可能な、第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれにおける複数の画素の配置の例を説明する。
図10は、本実施形態に係る医療用観察装置100が撮像デバイスが有する有効画素の配置の第2の例を示す説明図である。図10のAは、第2の撮像デバイス120-2が有する有効画素の配置の他の例を示しており、図10のBは、第1の撮像デバイス120-1が有する有効画素の配置の他の例を示している。
第1の撮像デバイス120-1における複数の画素は行列状に配置される。図10のBでは、第1の撮像デバイス120-1が、図6のBに示す第1の撮像デバイス120-1と同様に、有効画素の行数がaであり、有効画素の列数がbである例を示している。つまり、図10のBでは、第1の撮像デバイス120-1における有効画素の行数と列数とは、異なっている。
第2の撮像デバイス120-2における複数の画素は行列状に配置される。図10のAでは、第2の撮像デバイス120-2が、有効画素の行数および列数がc(cは、整数)である例を示している。ここで、図10のBに示すように、cは、“第1の撮像デバイス120-1における有効画素の行数および列数それぞれを一辺とする矩形の外接円の直径の値”である。なお、上記外接円の直径の値が整数でない場合、cの値としては、外接円の直径より大きい整数が挙げられる。また、上記外接円の直径の値が整数である場合においても、cの値は、外接円の直径より大きい整数であってもよい。つまり、第2の撮像デバイス120-2における有効画素の行数と列数としては、第1の撮像デバイス120-1における有効画素の行数または列数それぞれを一辺とする矩形の外接円の直径の値以上の値が、挙げられる。
第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれにおいて、例えば図10に示すように有効画素が配置されることによって、第2の医療用撮像画像に対して、第1の医療用撮像画像と同一のサイズの領域を設定することができる。つまり、例えば図10に示すような画素の配置によって、第2の医療用撮像画像に対して設定される領域の画像のサイズを、第1の医療用撮像画像と同一のサイズとすることができる。
なお、第2の例に係る表示制御方法に適用することが可能な、第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれにおける有効画素の配置の例は、図10に示す例に限られない。例えば、第2の撮像デバイス120-2における有効画素の行数と列数とは、異なっていてもよい。
[2-3-2]第2の例に係る表示制御方法に係る処理の一例
次に、第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれにおいて、有効画素が図10に示すように配置される場合を例に挙げて、第2の例に係る表示制御方法に係る処理を説明する。
医療用観察装置100は、所定の選択操作に基づいて、第2の医療用撮像画像に対して第1の領域と第3の領域との一方または双方を設定する。
図10に示す例では、領域R2が第1の領域に該当する。
本実施形態に係る第3の領域とは、所定の選択操作に基づいて第1領域が回転された領域である。図10に示す例では、領域R4が第3の領域に該当する。
第2の例に係る所定の選択操作としては、例えば第1の例に係る所定の選択操作と同様に、“医療用観察装置100が備える操作デバイスに対する操作”、“フットスイッチFSなどの医療用観察装置100の外部の操作デバイスに対する操作”、“ジェスチャによる操作”、“音声による操作”などの、任意の操作が挙げられる。
以下、第2の例に係る選択操作が、医療用観察装置100が備える操作デバイスに対する操作である場合を例に挙げる。
図11は、本実施形態に係る医療用観察装置100が備える、選択操作のための操作デバイスの他の例を示す説明図である。図11は、“図3に示す医療用観察装置100が備える撮像デバイスユニット106に、選択操作のためのスイッチSW4(選択操作のための操作デバイスの一例)が設けられている例”を示している。スイッチSW4としては、例えばダイヤルスイッチが挙げられるが、スイッチSW4の種類は、特に限定されない。
なお、図11では、選択操作のための操作デバイスが撮像デバイスユニット106に設けられている例を示しているが、選択操作のための操作デバイスは、撮像デバイスユニット106以外の他の部位に設けられていてもよい。
スイッチSW4は、例えば、第1の表示装置の表示画面の向きに対する第2の表示装置の表示画面の向きを、図7に示すスイッチSW1、SW2、SW3に対する選択操作により設定する場合よりも細かに設定するためのスイッチに該当する。
第1の表示装置の表示画面の向きに対する第2の表示装置の表示画面の向きは、第1の表示装置の表示画面の向きと第2の表示装置の表示画面の向きとがなす角度で表すことが可能である。例えば上述した第1の例は、スイッチSW1、SW2、SW3に対する選択操作より、上記角度が0[°]、90[°]、あるいは-90[°]が設定される例である。スイッチSW4により選択可能な角度をより細かくすることによって、第1の表示装置の表示画面の向きに対する第2の表示装置の表示画面の向きを、上述した第1の例よりもよりリニアに設定することが可能となる。
例えば、スイッチSW4に対する選択操作により、第1の表示装置の表示画面の向きと第2の表示装置の表示画面の向きとがなす角度が0[°]に設定された場合、医療用観察装置100は、第2の医療用撮像画像に対して領域R2のみを設定する。上記の場合は、図7に示すスイッチSW1に対して選択操作が行われた場合に相当する。つまり、上記の場合は、第1領域のみが設定される場合に該当する。
そして、医療用観察装置100は、設定された領域R2に対応する画像を表示装置200Bの表示画面のみに表示させる。領域R2に対応する画像を表示装置200Bの表示画面のみに表示させる場合、医療用観察装置100は、第1の医療用撮像画像を表示装置200Aに表示させる。
なお、医療用観察装置100は、設定された領域R2に対応する画像を、表示装置200Aの表示画面にさらに表示させてもよい。領域R2に対応する画像を表示装置200Aの表示画面に表示させる場合、医療用観察装置100は、第1の医療用撮像画像および領域R2に対応する画像それぞれを、右目用の医療用撮像画像および左目用の医療用撮像画像として、表示させる。
また、例えば、スイッチSW4に対する選択操作により、第1の表示装置の表示画面の向きと第2の表示装置の表示画面の向きとがなす角度が0[°]以外に設定された場合、医療用観察装置100は、第2の医療用撮像画像に対して、設定された角度に応じた領域R4のみを設定する。そして、医療用観察装置100は、設定された領域R4に対応する画像を表示装置200Bの表示画面に表示させる。第2の医療用撮像画像に対して領域R4のみが設定される場合、医療用観察装置100は、第1の医療用撮像画像を表示装置200Aに表示させる。
なお、スイッチSW4に対する選択操作により、第1の表示装置の表示画面の向きと第2の表示装置の表示画面の向きとがなす角度が0[°]以外に設定された場合に設定される領域は、上記に示す例に限られない。例えば、上記の場合、医療用観察装置100は、第2の医療用撮像画像に対して領域R2および領域R4を設定してもよい。スイッチSW4に対して選択操作が行われたときに領域R2および領域R4が設定される場合、医療用観察装置100は、例えば、第1の医療用撮像画像および設定された領域R2に対応する画像それぞれを表示装置200Aの表示画面に表示させる。第1の医療用撮像画像および領域R2に対応する画像が表示装置200Aの表示画面に表示される場合、表示装置200Aの表示画面を見る術者は、観察対象を立体視することが可能である。
[2-3-3]第2の例に係る表示制御方法に係る処理により奏される効果の一例
第2の例に係る表示制御方法に係る処理が行われることによって、例えば下記に示す効果が奏される。なお、第2の例に係る表示制御方法が用いられることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
・助手の位置が術者の左右90[°]に対してずれた場合であっても、術者と助手との位置関係に対応するように、第2の医療用撮像画像に対して領域を設定することができる。上記のように第2の医療用撮像画像に対して領域が設定されることによって、表示装置200Bの表示画面に助手の立ち位置における上下左右が一致した画像を表示させることができるので、ハンドアイコーディネートを一致させることができる。
[2-4]表示制御方法に係る処理の第3の例
上記第1の例に係る表示制御方法に係る処理、および上記第2の例に係る表示制御方法に係る処理では、所定の選択操作に基づき第2の医療用撮像画像に対して領域が設定される処理の例を説明した。しかしながら、本実施形態に係る表示制御方法に係る処理は、選択操作に基づき第2の医療用撮像画像に対して領域が設定される処理に限られない。
例えば、医療用観察装置100は、選択操作に基づかずに、自動的に第2の医療用撮像画像に対して領域を設定することも可能である。
[2-4-1]第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれにおける複数の画素の配置の一例
まず、第3の例に係る表示制御方法に適用することが可能な、第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれにおける複数の画素の配置の例を説明する。第3の例に係る表示制御方法に適用することが可能な複数の画素の配置としては、例えば図10に示す配置などの、上記第2の例に係る表示制御方法に係る複数の画素の配置と同様の配置が挙げられる。
[2-4-2]第3の例に係る表示制御方法に係る処理の一例
次に、第1の撮像デバイス120-1および第2の撮像デバイス120-2それぞれにおいて、複数の画素が図10に示すように配置される場合を例に挙げて、第3の例に係る表示制御方法に係る処理を説明する。
医療用観察装置100は、例えば、撮像部150と所定の観察者との相対位置の検出結果に基づいて、第2の医療用撮像画像に対して第1の領域と第4の領域との一方または双方を設定する。
上述したように、図10に示す例では、領域R2が第1の領域に該当する。
本実施形態に係る第4の領域とは、撮像部150と所定の観察者との相対位置の検出結果に基づいて第1領域が回転された領域である。図10に示す例では、領域R4が第4の領域に該当する。
撮像部150と所定の観察者との相対位置は、例えば、“撮像部150として機能する撮像デバイスユニット106と、所定の観察者の頭部の相対的な角度”(以下、単に「相対角度」と示す場合がある。)を特定することによって、検出される。所定の観察者としては、例えば助手などの、第2の表示装置を見る者が挙げられる。
相対角度は、例えば赤外光などの任意の波長の光を利用して、撮像デバイスユニット106の向き(例えば撮像デバイスの天地方向)と、所定の観察者の向き(例えば観察者の顔の向き)とをそれぞれ特定すること(あるいは各向きを推定すること)によって、特定される。ここで、相対角度の特定のために用いられる光が、赤外光のような可視光以外の波長の光である場合、当該光は、医療用観察システム1000が用いられる医療現場にいる医療従事者に視認され難い。よって、上記の場合には、“相対角度の特定のために用いられる光が医療従事者による医療行為の妨げとならないという利点”がある。以下では、相対角度の特定のために用いられる光が、赤外光である場合を例に挙げるが、当該光は赤外光に限られない。
図12は、本実施形態に係る表示制御方法に係る処理の第3の例を説明するための説明図である。図12のAは、撮像部150として機能する撮像デバイスユニット106に、複数の発光ダイオードDが配置されている例を示している。また、図12のBは、所定の観察者の頭部に、複数の発光ダイオードDが配置されている例を示している。発光ダイオードDには、例えばバッテリなどから電源から電力が供給され、発光ダイオードDは、赤外光などの所定の波長の光を発する。発光ダイオードDそれぞれの発光の制御は、医療用観察装置100が行ってもよいし、医療用観察装置100の外部装置において行われてもよい。
撮像デバイスユニット106に配置される複数の発光ダイオードDそれぞれは、発光の仕方が互いに異なる。発光の仕方が互いに異なることは、例えば、“発光ダイオードDそれぞれが互いに異なる発光パターンで発光すること”、“発光ダイオードDそれぞれが互いに異なる発光強度で発光すること”、あるいは“発光ダイオードDそれぞれにおける発光パターンと発光強度との組み合わせが、互いに異なること”によって、実現される。
また、所定の観察者の頭部に配置される複数の発光ダイオードDそれぞれは、撮像デバイスユニット106に配置される複数の発光ダイオードDと同様に、発光の仕方が互いに異なる。
撮像デバイスユニット106に配置される複数の発光ダイオードDにおける発光と、所定の観察者の頭部に配置される複数の発光ダイオードDにおける発光とは、例えば、医療用観察システム1000が用いられる医療現場に配置される撮像デバイスによる撮像により、検出される。
撮像デバイスユニット106に配置される複数の発光ダイオードDそれぞれは、発光の仕方が互いに異なるので、発光の仕方が既知であれば、複数の発光ダイオードDの発光の仕方を特定することによって、撮像デバイスユニット106の向きを特定することが可能である。同様に、所定の観察者の頭部に配置される複数の発光ダイオードDそれぞれは、発光の仕方が互いに異なるので、複数の発光ダイオードDの発光の仕方を特定することによって、所定の観察者の向きを特定することが可能である。そして、撮像デバイスユニット106の向きと所定の観察者の向きとが特定されれば、相対角度を求めることができる。
撮像デバイスユニット106の向きを特定する処理、所定の観察者の向きを特定する処理、および相対角度を求める処理は、医療用観察装置100が行ってもよいし、医療用観察装置100の外部装置において行われてもよい。また、撮像デバイスユニット106の向きを特定する処理、所定の観察者の向きを特定する処理、および相対角度を求める処理は、複数の装置により連携して行われてもよい。なお、相対角度を特定する処理の例が、上記に示す例に限られないことは、言うまでもない。
なお、撮像部150と所定の観察者との相対位置の検出方法は、上記のように相対角度を特定する処理に限られず、撮像部150と所定の観察者との相対位置を検出することが可能な、任意の処理であってもよい。
撮像部150と所定の観察者との相対位置が検出されると、医療用観察装置100は、当該相対位置に対応する相対角度に対応する領域を、第2の医療用撮像画像に対して設定する。以下では、撮像部150と所定の観察者との相対位置を、単に「相対位置」と示す場合がある。
ここで、医療用観察装置100は、相対位置が変化するごとに、第2の医療用撮像画像に対して相対位置に対応する領域を設定する。なお、医療用観察装置100は、相対位置が変化するか否かによらず、相対位置が検出されるごとに、第2の医療用撮像画像に対して相対位置に対応する領域を設定してもよい。相対位置が変化するごとに相対位置に対応する領域を設定する場合には、相対位置が検出されるごとに相対位置に対応する領域を設定する場合よりも、領域の設定頻度が小さくなる可能性が高い。よって、相対位置が変化するごとに相対位置に対応する領域を設定する場合には、相対位置が検出されるごとに相対位置に対応する領域を設定する場合よりも、医療用観察装置100における消費電力の低減を図ることが可能である。
例えば、相対位置に対応する相対角度が0[°]である場合、医療用観察装置100は、第2の医療用撮像画像に対して領域R2のみを設定する。上記の場合は、第1領域のみが設定される場合に該当する。
そして、医療用観察装置100は、設定された領域R2に対応する画像を表示装置200Bの表示画面のみに表示させる。領域R2に対応する画像を表示装置200Bの表示画面のみに表示させる場合、医療用観察装置100は、第1の医療用撮像画像を表示装置200Aに表示させる。
なお、医療用観察装置100は、設定された領域R2に対応する画像を、表示装置200Aの表示画面にさらに表示させてもよい。領域R2に対応する画像を表示装置200Aの表示画面に表示させる場合、医療用観察装置100は、第1の医療用撮像画像および領域R2に対応する画像それぞれを、右目用の医療用撮像画像および左目用の医療用撮像画像として、表示させる。
また、例えば、相対位置に対応する相対角度が0[°]以外である場合、医療用観察装置100は、第2の医療用撮像画像に対して、当該相対角度に応じた領域R4のみを設定する。そして、医療用観察装置100は、設定された領域R4に対応する画像を表示装置200Bの表示画面に表示させる。第2の医療用撮像画像に対して領域R4のみが設定される場合、医療用観察装置100は、第1の医療用撮像画像を表示装置200Aに表示させる。
なお、相対位置に対応する相対角度が0[°]以外である場合に設定される領域は、上記に示す例に限られない。例えば、上記の場合、医療用観察装置100は、第2の医療用撮像画像に対して領域R2および領域R4を設定してもよい。相対位置に対応する相対角度に基づき領域R2および領域R4が設定される場合、医療用観察装置100は、例えば、第1の医療用撮像画像および設定された領域R2に対応する画像それぞれを表示装置200Aの表示画面に表示させる。第1の医療用撮像画像および領域R2に対応する画像が表示装置200Aの表示画面に表示される場合、表示装置200Aの表示画面を見る術者は、観察対象を立体視することが可能である。
[2-4-3]第3の例に係る表示制御方法に係る処理により奏される効果の一例
第3の例に係る表示制御方法に係る処理が行われることによって、例えば下記に示す効果が奏される。なお、第3の例に係る表示制御方法が用いられることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
・撮像デバイスユニット106と助手との相対位置を自動で検出し、当該相対位置に対応するように、第2の医療用撮像画像に対して領域が設定される。ここで、撮像デバイスユニット106の天地方向が術者の向きに合っている場合、術者と助手との位置関係に対応するように第2の医療用撮像画像に対して領域が設定されることとなる。上記のように第2の医療用撮像画像に対して領域が設定されることによって、表示装置200Bの表示画面に助手の立ち位置における上下左右が一致した画像を表示させることができるので、ハンドアイコーディネートを一致させることができる。
・自動的に第2の医療用撮像画像に対して領域が設定されることによって、助手や術者などの医療従事者は、領域の設定に関する操作を行う必要はない。よって、領域の設定に関して医療従事者の手を煩わせることがないので、医療従事者の利便性のさらなる向上を図ることができる。
[2-5]表示制御方法に係る処理の第4の例
自動的に第2の医療用撮像画像に対して領域を設定することが可能な処理は、上記第3の例に係る表示制御方法に係る処理に限られない。
例えば、医療用観察装置100は、上記第3の例に係る表示制御方法に係る処理において、撮像部150と所定の観察者との相対位置の変化の大きさによって、選択的に相対位置に対応する領域を再設定してもよい。
具体的には、医療用観察装置100は、相対位置の変化が設定されている閾値以上となった場合(または、相対位置の変化が当該閾値より大きくなった場合。以下、同様とする。)に、第2の医療用撮像画像に対して相対位置に対応する領域を設定する。閾値は、例えば、5[°]などの予め設定されている固定値であってもよいし、医療用観察装置100の使用者の操作などに基づき変更可能な可変値であってもよい。
また、医療用観察装置100は、上記第3の例に係る表示制御方法に係る処理と同様に、設定された領域の画像を、対応する表示装置200の表示画面に表示させる。つまり、第4の例に係る表示制御方法に係る処理は、相対位置の変化の大きさに応じて選択的に相対位置に対応する領域を再設定する点が、上記第3の例に係る表示制御方法に係る処理と異なる。
第4の例に係る表示制御方法に係る処理は、基本的に上記第3の例に係る表示制御方法に係る処理と同様の処理であるので、上記第3の例に係る表示制御方法に係る処理により奏される効果と同様の効果が、奏される。
また、第4の例に係る表示制御方法に係る処理が行われる場合、例えば相対位置の変化が設定されている閾値以上となったときに、第2の医療用撮像画像に対して相対位置に対応する領域が再設定される。そのため、第4の例に係る表示制御方法に係る処理が行われる場合には、上記第3の例に係る表示制御方法に係る処理が行われる場合よりも、相対位置に対応する領域の設定頻度が小さくなる可能性が高い。つまり、第4の例に係る表示制御方法に係る処理が行われる場合には、上記第3の例に係る表示制御方法に係る処理が行われる場合よりも、領域の再設定に伴う領域の画像の変化が小さくなるので、表示画面に表示される画像が頻繁に変化することが抑止される。よって、第4の例に係る表示制御方法に係る処理が行われる場合には、上記第3の例に係る表示制御方法に係る処理が行われる場合よりも、表示画面を見る者が感じうる煩わしさを低減することができ、表示画面を見る者の利便性の向上をさらに図ることができる。
[2-6]表示制御方法に係る処理の第5の例
自動的に第2の医療用撮像画像に対して領域を設定することが可能な処理は、上記第3の例に係る表示制御方法に係る処理と上記第4の例に係る表示制御方法に係る処理とに限られない。
例えば、医療用観察装置100は、例えば下記の(a)、(b)に示すように所定の条件を満たした場合に、上記第3の例に係る表示制御方法に係る処理または上記第4の例に係る表示制御方法に係る処理と同様に、自動的に第2の医療用撮像画像に対して領域を設定することも可能である。また、医療用観察装置100は、上記第3の例に係る表示制御方法に係る処理または上記第4の例に係る表示制御方法に係る処理と同様に、設定された領域の画像を、対応する表示装置200の表示画面に表示させる。
(a)所定の条件に基づく領域の設定の第1の例
医療用観察装置100は、撮像部150の位置と姿勢との一方または双方が変化したときに、第2の医療用撮像画像に対する相対位置に対応する領域の設定を開始する。
撮像部150の位置と姿勢との一方または双方が変化するとは、撮像部150として機能する撮像デバイスユニット106の位置と姿勢との一方または双方が変化することに該当する。撮像デバイスユニット106の位置の変化と姿勢の変化とは、例えば、上述した関節部110a、110b、110c、110d、110e、110fそれぞれに設けられる角度センサ(図示せず)によって、検出される。なお、撮像デバイスユニット106の位置の変化と姿勢の変化とは、それぞれの変化を検出することが可能な任意の方法により検出されてもよい。
また、医療用観察装置100は、相対位置に対応する領域の設定の開始後に、撮像部150の位置と姿勢との双方が設定されている期間変化しない場合には、設定されている相対位置に対応する領域を変えない。設定されている期間は、予め設定されている固定の期間であってもよいし、医療用観察装置100の使用者の操作などに基づき変更可能な期間であってもよい。
第1の例に係る所定の条件を満たしたときに、第2の医療用撮像画像に対して領域が設定される場合、例えば術者が撮像デバイスユニット106を移動させたときに、第2の医療用撮像画像に対する領域の自動的な設定が行われる。また、上記の場合、術者による撮像デバイスユニット106の移動が完了してから設定されている期間が経過した後に、第2の医療用撮像画像に対して設定されている領域が固定される。
(b)所定の条件に基づく領域の設定の第2の例
図1を参照して説明したように、撮像部150として機能する撮像デバイスユニット106は、アーム104により支持される。また、上述したように、アーム104の動作モードとしては、例えば、固定モード(第2の動作モード)とフリーモード(第1の動作モード)とが挙げられる。
医療用観察装置100は、アーム104の動作モードが、撮像部150の位置と姿勢とを固定しないフリーモードである場合に、第2の医療用撮像画像に対する相対位置に対応する領域の設定を行う。
また、医療用観察装置100は、アーム104の動作モードが、撮像部150位置と姿勢とを固定する固定モードである場合には、設定されている相対位置に対応する領域を変えない。
第2の例に係る所定の条件を満たしたときに、第2の医療用撮像画像に対して領域が設定される場合、“医療用観察装置100が、撮像デバイスユニット106を移動させることが可能な状態となったとき”に、第2の医療用撮像画像に対する領域の自動的な設定が行われる。また、上記の場合、“医療用観察装置100が、撮像デバイスユニット106を移動させることが可能ではない状態となったとき”に、第2の医療用撮像画像に対して設定されている領域が固定される。
[3]本実施形態に係る表示制御方法が用いられることにより奏される効果の一例(本実施形態に係る医療用観察システムが用いられることにより奏される効果)
本実施形態に係る表示制御方法が用いられることによって、例えば下記に示す効果が奏される。なお、本実施形態に係る表示制御方法が用いられることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
・助手が術者に対して左右どの位置に立っても、表示装置200Bの表示画面に、助手の立ち位置における上下左右が一致した画像を表示させることが可能である。よって、助手の手の動きと画像上での自身の手の動きが一致するので、助手は、より確実に術者をサポートすることができる。
・本実施形態に係る表示制御方法が適用される医療用観察蔵置は、第1の撮像デバイス120-1が有するイメージセンサと第2の撮像デバイス120-2が有するイメージセンサとの大きさを変えるという、簡単な構成で実現されるので、電子撮像式の顕微鏡部の大型化を避けることができる。また、電子撮像式の顕微鏡部の大型化が避けられることによって、術者の処置空間の減少を抑えることができ、その結果、術者による手術作業の効率低下が防止される。
(本実施形態に係るプログラム)
コンピュータシステムを、本実施形態に係る医療用観察装置として機能させるためのプログラム(例えば、本実施形態に係る表示制御方法に係る処理を実行することが可能なプログラム)が、コンピュータシステムにおいてプロセッサなどにより実行されることによって、医療用撮像画像が表示される表示画面を見る者の利便性の向上を図ることができる。ここで、本実施形態に係るコンピュータシステムとしては、単体のコンピュータ、または、複数のコンピュータが挙げられる。本実施形態に係るコンピュータシステムによって、本実施形態に係る表示制御方法に係る一連の処理が行われる。
また、コンピュータシステムを、本実施形態に係る医療用観察装置(または、本実施形態に係る医療用表示制御装置)として機能させるためのプログラムが、コンピュータシステムにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る表示制御方法に係る処理によって実現される表示によって奏される効果を、奏することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到しうることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータシステムを、本実施形態に係る医療用観察装置(または、本実施形態に係る医療用表示制御装置)として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も、併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
複数の画素を有し、観察対象が撮像された第1の医療用撮像画像を撮像する第1の撮像デバイスと、前記第1の撮像デバイスよりも有効画素数が多い複数の画素を有し、前記観察対象が撮像された第2の医療用撮像画像を撮像する第2の撮像デバイスとを有する撮像部と、
前記第1の医療用撮像画像と、前記第2の医療用撮像画像に対して設定される領域に対応する画像とを、それぞれの画像に対応する表示装置の表示画面に表示させる表示制御部と、
を備え、
前記第1の医療用撮像画像と前記第2の医療用撮像画像とのうちの一方は、右目用の医療用撮像画像であり、
前記第1の医療用撮像画像と前記第2の医療用撮像画像とのうちの他方は、左目用の医療用撮像画像である、医療用観察装置。
(2)
前記表示制御部は、
前記第2の医療用撮像画像に対して、前記観察対象に対する撮像範囲が前記第1の医療用撮像画像と同一となる第1領域と、前記第1領域を回転させた領域との一方または双方を設定し、
前記第1の医療用撮像画像を第1の表示装置に表示させ、または、前記第1の医療用撮像画像および前記第2の医療用撮像画像に対して設定された前記第1領域に対応する画像を、立体画像として前記第1の表示装置に表示させ、
前記第2の医療用撮像画像に対して設定された前記第1領域に対応する画像、または、前記第2の医療用撮像画像に対して設定された前記第1領域を回転させた領域に対応する画像を、前記第1の表示装置と異なる第2の表示装置の表示画面に表示させる、(1)に記載の医療用観察装置。
(3)
前記表示制御部は、
前記第1の医療用撮像画像および前記第2の医療用撮像画像に対して設定された前記第1領域に対応する画像を、前記第1の表示装置に表示させ、
前記第2の医療用撮像画像に対して設定された前記第1領域を回転させた領域に対応する画像を、前記第2の表示装置に表示させ、
前記第2の表示装置に表示される画像は、前記第2の医療用撮像画像に対して設定された前記第1領域を回転させた領域に対応する画像が前記第2の表示装置に対応するように回転した画像である、(2)に記載の医療用観察装置。
(4)
前記第1の撮像デバイスにおける複数の画素は行列状に配置され、複数の画素における有効画素の行数と列数とは、異なっており、
前記第2の撮像デバイスにおける複数の画素は行列状に配置され、複数の画素における有効画素の行数および列数は、前記第1の撮像デバイスにおける有効画素の行数または列数のうちの数が多い方と同一である、(1)~(3)のいずれか1つに記載の医療用観察装置。
(5)
前記第1の撮像デバイスにおける複数の画素は行列状に配置され、複数の画素における有効画素の行数と列数とは、異なっており、
前記第2の撮像デバイスにおける複数の画素は行列状に配置され、複数の画素における有効画素の行数および列数は、前記第1の撮像デバイスにおける有効画素の行数または列数のうちの数が多い方と同一であり、
前記表示制御部は、
所定の選択操作に基づいて、前記第2の医療用撮像画像に対して、前記第1領域と、前記第1領域を90[°]または-90[°]回転させた第2領域との一方または双方を設定し、
前記第2の医療用撮像画像に対して前記第1領域のみが設定された場合、前記第2の医療用撮像画像に対して設定された前記第1領域に対応する画像を、前記第2の表示装置の表示画面、または、前記第1の表示装置の表示画面および前記第2の表示装置の表示画面に表示させ、
前記第2の医療用撮像画像に対して前記第2領域のみが設定された場合、前記第2の医療用撮像画像に対して設定された前記第2領域に対応する画像を、前記第2の表示装置の表示画面に表示させ、
前記第2の医療用撮像画像に対して前記第1領域および前記第2領域が設定された場合、前記第2の医療用撮像画像に対して設定された前記第1領域に対応する画像を前記第1の表示装置の表示画面に表示させ、前記第2の医療用撮像画像に対して設定された前記第2領域に対応する画像を、前記第2の表示装置の表示画面に表示させる、(2)に記載の医療用観察装置。
(6)
前記第2の表示装置の表示画面の向きは、前記第1の表示装置の表示画面に対して直交する、(5)に記載の医療用観察装置。
(7)
前記第1の撮像デバイスにおける複数の画素は行列状に配置され、複数の画素における有効画素の行数と列数とは、異なっており、
前記第2の撮像デバイスにおける複数の画素は行列状に配置され、複数の画素における有効画素の行数および列数それぞれは、前記第1の撮像デバイスにおける複数の画素の行数および列数それぞれを一辺とする矩形の外接円の直径の値以上である、(1)~(3)のいずれか1つに記載の医療用観察装置。
(8)
前記第1の撮像デバイスにおける複数の画素は行列状に配置され、複数の画素における有効画素の行数と列数とは、異なっており、
前記第2の撮像デバイスにおける複数の画素は行列状に配置され、複数の画素における有効画素の行数および列数それぞれは、前記第1の撮像デバイスにおける複数の画素の行数および列数それぞれを一辺とする矩形の外接円の直径の値以上であり、
前記表示制御部は、
所定の選択操作に基づいて、前記第2の医療用撮像画像に対して、前記第1領域と、前記第1領域が回転された第3領域との一方または双方を設定し、
前記第2の医療用撮像画像に対して前記第1領域のみが設定された場合、前記第2の医療用撮像画像に対して設定された前記第1領域に対応する画像を、前記第2の表示装置の表示画面、または、前記第1の表示装置の表示画面および前記第2の表示装置の表示画面に表示させ、
前記第2の医療用撮像画像に対して前記第3領域のみが設定された場合、前記第2の医療用撮像画像に対して設定された前記第3領域に対応する画像を、前記第2の表示装置の表示画面に表示させ、
前記第2の医療用撮像画像に対して前記第1領域および前記第3領域が設定された場合、前記第2の医療用撮像画像に対して設定された前記第1領域に対応する画像を前記第1の表示装置の表示画面に表示させ、前記第2の医療用撮像画像に対して設定された前記第3領域に対応する画像を、前記第2の表示装置の表示画面に表示させる、(2)に記載の医療用観察装置。
(9)
前記第1の撮像デバイスにおける複数の画素は行列状に配置され、複数の画素における有効画素の行数と列数とは、異なっており、
前記第2の撮像デバイスにおける複数の画素は行列状に配置され、複数の画素における有効画素の行数および列数それぞれは、前記第1の撮像デバイスにおける複数の画素の行数および列数それぞれを一辺とする矩形の外接円の直径の値以上であり、
前記表示制御部は、
前記撮像部と所定の観察者との相対位置の検出結果に基づいて、前記第1領域と、前記第1領域が回転された第4領域との一方または双方を設定し、
前記第2の医療用撮像画像に対して前記第1領域のみが設定された場合、前記第2の医療用撮像画像に対して設定された前記第1領域に対応する画像を、前記第2の表示装置の表示画面、または、前記第1の表示装置の表示画面および前記第2の表示装置の表示画面に表示させ、
前記第2の医療用撮像画像に対して前記第4領域のみが設定された場合、前記第2の医療用撮像画像に対して設定された前記第4領域に対応する画像を、前記第2の表示装置の表示画面に表示させ、
前記第2の医療用撮像画像に対して前記第1領域および前記第4領域が設定された場合、前記第2の医療用撮像画像に対して設定された前記第1領域に対応する画像を前記第1の表示装置の表示画面に表示させ、前記第2の医療用撮像画像に対して設定された前記第4領域に対応する画像を、前記第2の表示装置の表示画面に表示させる、(2)に記載の医療用観察装置。
(10)
前記表示制御部は、前記相対位置が変化するごとに、前記第2の医療用撮像画像に対して前記相対位置に対応する領域を設定する、(9)に記載の医療用観察装置。
(11)
前記表示制御部は、前記相対位置の変化が設定されている閾値以上となった場合、または、前記相対位置の変化が前記閾値より大きくなった場合に、前記第2の医療用撮像画像に対して前記相対位置に対応する領域を設定する、(9)に記載の医療用観察装置。
(12)
前記表示制御部は、
前記撮像部の位置と姿勢との一方または双方が変化したときに、前記第2の医療用撮像画像に対する前記相対位置に対応する領域の設定を開始し、
前記相対位置に対応する領域の設定の開始後に、前記撮像部の位置と姿勢との双方が、設定されている期間変化しない場合には、設定されている前記相対位置に対応する領域を変えない、(9)~(11)のいずれか1つに記載の医療用観察装置。
(13)
前記第1の撮像デバイスおよび前記第2の撮像デバイスは、複数のリンクが関節部によって互いに連結されて構成されるアームにより支持され、
前記表示制御部は、
前記アームの動作モードが、前記撮像部の位置と姿勢とを固定しない第1の動作モードである場合に、前記第2の医療用撮像画像に対する前記相対位置に対応する領域の設定を行い、
前記アームの動作モードが、前記撮像部の位置と姿勢とを固定する第2の動作モードである場合には、設定されている前記相対位置に対応する領域を変えない、(9)~(11)のいずれか1つに記載の医療用観察装置。
(14)
前記第1の撮像デバイスにおける総画素数と、前記第2の撮像デバイスにおける総画素数とは、同一である、(1)~(13)のいずれか1つに記載の医療用観察装置。
(15)
前記第1の撮像デバイスにおける総画素数と、前記第2の撮像デバイスにおける総画素数とは、異なっている、(1)~(13)のいずれか1つに記載の医療用観察装置。
(16)
第1の表示装置と、
第2の表示装置と、
観察対象が撮像された医療用撮像画像を、前記第1の表示装置の表示画面と前記第2の表示装置の表示画面とに表示させる医療用観察装置と、
を有し、
前記医療用観察装置は、
複数の画素を有し、観察対象が撮像された第1の医療用撮像画像を撮像する第1の撮像デバイスと、前記第1の撮像デバイスよりも有効画素数が多い複数の画素を有し、前記観察対象が撮像された第2の医療用撮像画像を撮像する第2の撮像デバイスとを有する撮像部と、
前記第1の医療用撮像画像と、前記第2の医療用撮像画像に対して設定される領域に対応する画像とを、それぞれの画像に対応する表示装置の表示画面に表示させる表示制御部と、
を備える、医療用観察システム。
20A、20B、200 表示装置
100 医療用観察装置
102 ベース
104 アーム
106 撮像デバイスユニット
110a、110b、110c、110d、110e、110f 関節部
112a、112b、112c、112d、112e、112f リンク
120-1 第1の撮像デバイス
120-2 第2の撮像デバイス
122 筒状部材
124 ズームスイッチ
126 フォーカススイッチ
128 動作モード変更スイッチ
150 撮像部
152 通信部
154 制御部
156 撮像制御部
158 表示制御部
1000 医療用観察システム
D 発光ダイオード
SW1、SW2、SW3、SW4 スイッチ

Claims (11)

  1. 複数の画素を有し、観察対象が撮像された第1の医療用撮像画像を撮像する第1の撮像デバイスと、前記第1の撮像デバイスよりも有効画素数が多い複数の画素を有し、前記観察対象が撮像された第2の医療用撮像画像を撮像する第2の撮像デバイスとを有する撮像部と、
    前記第1の医療用撮像画像と、前記第2の医療用撮像画像に対して設定される領域に対応する画像とを、それぞれの画像に対応する表示装置の表示画面に表示させる表示制御部と、
    を備え、
    前記第1の撮像デバイスおよび前記第2の撮像デバイスは、ステレオカメラとしての機能を有する、医療用観察装置。
  2. 前記表示制御部は、
    前記第2の医療用撮像画像に対して、前記観察対象に対する撮像範囲が前記第1の医療用撮像画像と同一となる第1領域と、前記第1領域を回転させた領域との一方または双方を設定し、
    前記第1の医療用撮像画像を第1の表示装置に表示させ、または、前記第1の医療用撮像画像および前記第2の医療用撮像画像に対して設定された前記第1領域に対応する画像を、立体画像として前記第1の表示装置に表示させ、
    前記第2の医療用撮像画像に対して設定された前記第1領域に対応する画像、または、前記第2の医療用撮像画像に対して設定された前記第1領域を回転させた領域に対応する画像を、前記第1の表示装置と異なる第2の表示装置の表示画面に表示させる、請求項1に記載の医療用観察装置。
  3. 前記表示制御部は、
    前記第1の医療用撮像画像および前記第2の医療用撮像画像に対して設定された前記第1領域に対応する画像を、前記第1の表示装置に表示させ、
    前記第2の医療用撮像画像に対して設定された前記第1領域を回転させた領域に対応する画像を、前記第2の表示装置に表示させ、
    前記第2の表示装置に表示される画像は、前記第2の医療用撮像画像に対して設定された前記第1領域を回転させた領域に対応する画像が前記第1の表示装置の表示画面の向きと前記第2の表示装置の表示画面の向きとがなす角度に応じて回転した画像である、請求項2に記載の医療用観察装置。
  4. 前記第1の撮像デバイスにおける複数の画素は行列状に配置され、複数の画素における有効画素の行数と列数とは、異なっており、
    前記第2の撮像デバイスにおける複数の画素は行列状に配置され、複数の画素における有効画素の行数および列数は、前記第1の撮像デバイスにおける有効画素の行数または列数のうちの数が多い方と同一以上の数である、請求項1~3のいずれか1つに記載の医療用観察装置。
  5. 前記第1の撮像デバイスにおける複数の画素は行列状に配置され、複数の画素における有効画素の行数と列数とは、異なっており、
    前記第2の撮像デバイスにおける複数の画素は行列状に配置され、複数の画素における有効画素の行数および列数は、前記第1の撮像デバイスにおける有効画素の行数または列数のうちの数が多い方と同一であり、
    前記表示制御部は、
    所定の選択操作に基づいて、前記第2の医療用撮像画像に対して、前記第1領域と、前記第1領域を90[°]または-90[°]回転させた第2領域との一方または双方を設定し、
    前記第2の医療用撮像画像に対して前記第1領域のみが設定された場合、前記第2の医療用撮像画像に対して設定された前記第1領域に対応する画像を、前記第2の表示装置の表示画面、または、前記第1の表示装置の表示画面および前記第2の表示装置の表示画面に表示させ、
    前記第2の医療用撮像画像に対して前記第2領域のみが設定された場合、前記第2の医療用撮像画像に対して設定された前記第2領域に対応する画像を、前記第2の表示装置の表示画面に表示させ、
    前記第2の医療用撮像画像に対して前記第1領域および前記第2領域が設定された場合、前記第2の医療用撮像画像に対して設定された前記第1領域に対応する画像を前記第1の表示装置の表示画面に表示させ、前記第2の医療用撮像画像に対して設定された前記第2領域に対応する画像を、前記第2の表示装置の表示画面に表示させる、請求項2に記載の医療用観察装置。
  6. 前記第2の表示装置の表示画面の向きは、前記第1の表示装置の表示画面に対して直交する、請求項5に記載の医療用観察装置。
  7. 前記第1の撮像デバイスにおける複数の画素は行列状に配置され、複数の画素における有効画素の行数と列数とは、異なっており、
    前記第2の撮像デバイスにおける複数の画素は行列状に配置され、複数の画素における有効画素の行数および列数それぞれは、前記第1の撮像デバイスにおける複数の画素の行数および列数それぞれを一辺とする矩形の外接円の直径の値以上である、請求項1~3のいずれか1つに記載の医療用観察装置。
  8. 前記第1の撮像デバイスにおける複数の画素は行列状に配置され、複数の画素における有効画素の行数と列数とは、異なっており、
    前記第2の撮像デバイスにおける複数の画素は行列状に配置され、複数の画素における有効画素の行数および列数それぞれは、前記第1の撮像デバイスにおける複数の画素の行数および列数それぞれを一辺とする矩形の外接円の直径の値以上であり、
    前記表示制御部は、
    所定の選択操作に基づいて、前記第2の医療用撮像画像に対して、前記第1領域と、前記第1領域が回転された第3領域との一方または双方を設定し、
    前記第2の医療用撮像画像に対して前記第1領域のみが設定された場合、前記第2の医療用撮像画像に対して設定された前記第1領域に対応する画像を、前記第2の表示装置の表示画面、または、前記第1の表示装置の表示画面および前記第2の表示装置の表示画面に表示させ、
    前記第2の医療用撮像画像に対して前記第3領域のみが設定された場合、前記第2の医療用撮像画像に対して設定された前記第3領域に対応する画像を、前記第2の表示装置の表示画面に表示させ、
    前記第2の医療用撮像画像に対して前記第1領域および前記第3領域が設定された場合、前記第2の医療用撮像画像に対して設定された前記第1領域に対応する画像を前記第1の表示装置の表示画面に表示させ、前記第2の医療用撮像画像に対して設定された前記第3領域に対応する画像を、前記第2の表示装置の表示画面に表示させる、請求項2に記載の医療用観察装置。
  9. 前記第1の撮像デバイスにおける総画素数と、前記第2の撮像デバイスにおける総画素数とは、同一である、請求項1~のいずれか1つに記載の医療用観察装置。
  10. 前記第1の撮像デバイスにおける総画素数と、前記第2の撮像デバイスにおける総画素数とは、異なっている、請求項1~のいずれか1つに記載の医療用観察装置。
  11. 第1の表示装置と、
    第2の表示装置と、
    観察対象が撮像された医療用撮像画像を、前記第1の表示装置の表示画面と前記第2の表示装置の表示画面とに表示させる医療用観察装置と、
    を有し、
    前記医療用観察装置は、
    複数の画素を有し、観察対象が撮像された第1の医療用撮像画像を撮像する第1の撮像デバイスと、前記第1の撮像デバイスよりも有効画素数が多い複数の画素を有し、前記観察対象が撮像された第2の医療用撮像画像を撮像する第2の撮像デバイスとを有する撮像部と、
    前記第1の医療用撮像画像と、前記第2の医療用撮像画像に対して設定される領域に対応する画像とを、それぞれの画像に対応する表示装置の表示画面に表示させる表示制御部と、
    を備え、
    前記第1の撮像デバイスおよび前記第2の撮像デバイスは、ステレオカメラとしての機能を有する、医療用観察システム。
JP2018154664A 2018-08-21 2018-08-21 医療用観察装置、および医療用観察システム Active JP7277088B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018154664A JP7277088B2 (ja) 2018-08-21 2018-08-21 医療用観察装置、および医療用観察システム
US16/537,641 US11102424B2 (en) 2018-08-21 2019-08-12 Medical observation apparatus and medical observation system
JP2023076478A JP2023095970A (ja) 2018-08-21 2023-05-08 医療用観察システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018154664A JP7277088B2 (ja) 2018-08-21 2018-08-21 医療用観察装置、および医療用観察システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023076478A Division JP2023095970A (ja) 2018-08-21 2023-05-08 医療用観察システム

Publications (3)

Publication Number Publication Date
JP2020028374A JP2020028374A (ja) 2020-02-27
JP2020028374A5 JP2020028374A5 (ja) 2021-09-09
JP7277088B2 true JP7277088B2 (ja) 2023-05-18

Family

ID=69583629

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018154664A Active JP7277088B2 (ja) 2018-08-21 2018-08-21 医療用観察装置、および医療用観察システム
JP2023076478A Pending JP2023095970A (ja) 2018-08-21 2023-05-08 医療用観察システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023076478A Pending JP2023095970A (ja) 2018-08-21 2023-05-08 医療用観察システム

Country Status (2)

Country Link
US (1) US11102424B2 (ja)
JP (2) JP7277088B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7414590B2 (ja) * 2020-03-04 2024-01-16 ソニー・オリンパスメディカルソリューションズ株式会社 制御装置および医療用観察システム
EP4283373A1 (en) * 2022-05-27 2023-11-29 Leica Instruments (Singapore) Pte Ltd Medical imaging control apparatus, medical imaging system and method of operating a medical imaging system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160220324A1 (en) 2014-12-05 2016-08-04 Camplex, Inc. Surgical visualizations systems and displays
JP2017038285A (ja) 2015-08-11 2017-02-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、制御装置、制御装置の作動方法および制御装置の作動プログラム
JP2017079904A (ja) 2015-10-26 2017-05-18 ソニー株式会社 手術顕微鏡、画像処理装置、及び、画像処理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69426057T2 (de) * 1993-11-29 2001-05-10 Olympus Optical Co Anordnung zur Bildrotation und Überlagerung
JPH10323325A (ja) 1997-05-23 1998-12-08 Olympus Optical Co Ltd 画像処理装置
WO2005125186A1 (en) * 2004-06-15 2005-12-29 Quantum Semiconductor Llc Imaging devices operable with multiple aspect ratios
US10299880B2 (en) * 2017-04-24 2019-05-28 Truevision Systems, Inc. Stereoscopic visualization camera and platform

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160220324A1 (en) 2014-12-05 2016-08-04 Camplex, Inc. Surgical visualizations systems and displays
JP2017038285A (ja) 2015-08-11 2017-02-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、制御装置、制御装置の作動方法および制御装置の作動プログラム
JP2017079904A (ja) 2015-10-26 2017-05-18 ソニー株式会社 手術顕微鏡、画像処理装置、及び、画像処理方法

Also Published As

Publication number Publication date
US20200068142A1 (en) 2020-02-27
US11102424B2 (en) 2021-08-24
JP2023095970A (ja) 2023-07-06
JP2020028374A (ja) 2020-02-27

Similar Documents

Publication Publication Date Title
JP7208972B2 (ja) 医療用観察装置
JP2023095970A (ja) 医療用観察システム
JP7163282B2 (ja) 医療用観察装置、処理方法、および医療用観察システム
JP6976720B2 (ja) 医療用観察装置、およびズーム制御方法
JP2023099552A (ja) 医療用観察システム及び医療用制御装置
JP2019042412A (ja) 医療用観察装置、および医療用観察システム
JPWO2018179564A1 (ja) 医療用表示制御装置、医療用観察装置、表示制御方法、および医療用観察システム
JP7109936B2 (ja) 医療用制御装置、および制御方法
US10849484B2 (en) Medical observation apparatus
JP2019154883A (ja) 医療用画像処理装置、医療用観察装置、および画像処理方法
JP7143092B2 (ja) 医療用画像処理装置、医療用観察装置、および画像処理方法
JP6904762B2 (ja) 医療用滅菌カバー、および医療用観察装置
JP7134656B2 (ja) 医療用表示制御装置、および表示制御方法
JP7208752B2 (ja) 医療用観察システム、医療用観察装置、および制御方法
JP6957605B2 (ja) 医療用観察システム、および制御方法
JP7231561B2 (ja) 医療用制御装置、および制御方法
WO2019111473A1 (ja) 医療用制御装置、および医療用観察システム
JP2019154680A (ja) 医療用調光制御装置、および調光制御方法
JPWO2019181239A1 (ja) 医療用保持装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210728

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230508

R151 Written notification of patent or utility model registration

Ref document number: 7277088

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151