JP7484922B2 - 手術撮像システム、信号処理装置、及び、信号処理方法 - Google Patents

手術撮像システム、信号処理装置、及び、信号処理方法 Download PDF

Info

Publication number
JP7484922B2
JP7484922B2 JP2021537689A JP2021537689A JP7484922B2 JP 7484922 B2 JP7484922 B2 JP 7484922B2 JP 2021537689 A JP2021537689 A JP 2021537689A JP 2021537689 A JP2021537689 A JP 2021537689A JP 7484922 B2 JP7484922 B2 JP 7484922B2
Authority
JP
Japan
Prior art keywords
imaging
signal
unit
image
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021537689A
Other languages
English (en)
Other versions
JPWO2021024804A1 (ja
Inventor
信二 勝木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2021024804A1 publication Critical patent/JPWO2021024804A1/ja
Application granted granted Critical
Publication of JP7484922B2 publication Critical patent/JP7484922B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本技術は、手術撮像システム、信号処理装置、及び、信号処理方法に関し、特に、手術部位の３Ｄ（３次元）画像の画質を向上させるようにした手術撮像システム、信号処理装置、及び、信号処理方法に関する。
従来、アクティブシャッタ方式の３Ｄメガネを用いたアクティブ方式の３Ｄ表示システムを用いて、患者の手術部位の３Ｄ画像の表示を行うことが提案されている（例えば、特許文献１参照）。
特開２０１８－１５２６５７号公報
しかしながら、アクティブ方式では、左眼用の画像と右眼用の画像とが時分割に交互に表示されるため、被写体が移動する場合に奥行きズレが生じ、画質が低下するおそれがある。
本技術は、このような状況に鑑みてなされたものであり、手術部位の３Ｄ画像の画質を向上できるようにするものである。
本技術の第１の側面の手術撮像システムは、手術部位を撮像して第１の撮像信号を出力する第１の撮像部と、前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位を撮像して第２の撮像信号を出力する第２の撮像部と、前記第１の撮像部及び前記第２の撮像部の撮像タイミングを制御する撮像制御部と、前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号を生成する信号生成部とを備え、前記撮像制御部は、前記３Ｄ画像信号に基づく３Ｄ画像を表示する表示装置が複数ある場合、メインの術者用の表示装置の表示方式に基づいて、前記第１の撮像部及び前記第２の撮像部の撮像タイミングを制御する。
本技術の第２の側面の信号処理装置は、手術部位を撮像して第１の撮像信号を出力する第１の撮像部、及び、前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位を撮像して第２の撮像信号を出力する第２の撮像部の撮像タイミングを制御する撮像制御部と、前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号を生成する信号生成部とを備え、前記撮像制御部は、前記３Ｄ画像信号に基づく３Ｄ画像を表示する表示装置が複数ある場合、メインの術者用の表示装置の表示方式に基づいて、前記第１の撮像部及び前記第２の撮像部の撮像タイミングを制御する。
本技術の第２の側面の信号処理方法は、３Ｄ画像信号に基づく３Ｄ画像を表示する表示装置が複数ある場合、メインの術者用の表示装置の表示方式に基づいて、手術部位を撮像して第１の撮像信号を出力する第１の撮像部と、前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位を撮像して第２の撮像信号を出力する第２の撮像部との撮像タイミングを制御し、前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号を生成する。
本技術の第１の側面においては、第１の撮像部により手術部位が撮像され、第１の撮像信号が出力され、第２の撮像部により前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位が撮像され、第２の撮像信号が出力され、３Ｄ画像信号に基づく３Ｄ画像を表示する表示装置が複数ある場合、メインの術者用の表示装置の表示方式に基づいて、前記第１の撮像部及び前記第２の撮像部の撮像タイミングが制御され、前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号が生成される。
本技術の第２の側面においては、３Ｄ画像信号に基づく３Ｄ画像を表示する表示装置が複数ある場合、メインの術者用の表示装置の表示方式に基づいて、手術部位を撮像して第１の撮像信号を出力する第１の撮像部と、前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位を撮像して第２の撮像信号を出力する第２の撮像部との撮像タイミングが制御され、前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号が生成される。
パターンリターダ方式の３Ｄ表示システムの構成例を模式的に示す図である。 パターンリターダ方式の表示装置の垂直視野角の例を示す図である。 パターンリターダ方式の表示装置の垂直視野角の特性の例を示すグラフである。 アクティブリターダ方式の３Ｄ表示システムの構成例を模式的に示す図である。 アクティブリターダ方式の３Ｄ表示システムの動作を説明するための図である。 アクティブリターダ方式の３Ｄ表示システムの動作を説明するための図である。 アクティブリターダ方式の３Ｄ表示システムの奥行きズレを説明するための図である。 アクティブリターダ方式の３Ｄ表示システムの奥行きズレを説明するための図である。 アクティブリターダ方式の３Ｄ表示システムの奥行きズレを説明するための図である。 アクティブリターダ方式の３Ｄ表示システムの奥行きズレを説明するための図である。 アクティブリターダ方式の３Ｄ表示システムの奥行きズレを説明するための図である。 アクティブリターダ方式の３Ｄ表示システムの奥行きズレを説明するための図である。 本技術を適用した顕微鏡手術システムの構成例を示す図である。 図１３の顕微鏡手術システムの撮像機能の構成例を示すブロック図である。 顕微鏡手術システムの撮像タイミング設定処理を説明するためのフローチャートである。 表示装置がアクティブリターダ方式の場合の３Ｄ画像信号の生成方法を説明するための図である。 表示装置がパターンリターダ方式の場合の３Ｄ画像信号の生成方法を説明するための図である。 コンピュータの構成例を示すブロック図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．各方式の３Ｄ表示システムの問題点
２．実施の形態
３．変形例
４．その他
＜＜１．各方式の３Ｄ表示システムの問題点＞＞
まず、図１乃至図１２を参照して、各方式の３Ｄ表示システムの問題点について説明する。
＜パターンリターダ方式の３Ｄ表示システムの問題点＞
図１は、パッシブ方式の３Ｄ表示システムの１つであるパターンリターダ方式の３Ｄ表示システム１００の構成例を模式的に示している。
３Ｄ表示システム１００は、表示装置１０１及び偏光メガネ１０２を備える。
表示装置１０１は、表示パネル１１１、偏光板１１２、及び、パターンリターダ１１３を備え、図示せぬバックライト用の光源側から、表示パネル１１１、偏光板１１２、パターンリターダ１１３の順に積層されている。
表示パネル１１１は、１画素行（水平走査線）毎に左眼用の画像（以下、左眼用画像と称する）、及び、右眼用の画像（以下、右眼用画像と称する）が交互に配置されたラインバイライン方式の３Ｄ画像を表示する。例えば、表示パネル１１１の奇数行には左眼用画像が表示され、偶数行には右眼用画像が表示される。
偏光板１１２は、透過軸が表示パネル１１１の垂直方向と一致する偏光板である。
パターンリターダ１１３は、１画素行（水平走査線）毎に位相差が交互に変化する位相差板である。例えば、パターンリターダ１１３の奇数行の位相差は＋λ／４（λは使用波長）に設定され、偶数行の位相差は－λ／４に設定される。
従って、バックライト用の光源から表示パネル１１１の奇数行に入射し、透過した右眼用画像をなす光（以下、右眼用画像光と称する）は、偏光板１１２及びパターンリターダ１１３の奇数行を透過することにより、右回り円偏光に変換される。バックライト用の光源から表示パネル１１１の偶数行に入射し、透過した左眼用画像をなす光（以下、左眼用画像光と称する）は、偏光板１１２及びパターンリターダ１１３の偶数行を透過することにより、左回り円偏光に変換される。
偏光メガネ１０２は、左眼用レンズ１３１Ｌ及び右眼用レンズ１３１Ｒを備える。
左眼用レンズ１３１Ｌは、リターダ１４１Ｌ及び偏光板１４２Ｌを備え、表示装置１０１側からリターダ１４１Ｌ、偏光板１４２Ｌの順に積層されている。リターダ１４１Ｌの位相差は－λ／４であり、偏光板１４２Ｌは、透過軸が表示パネル１１１の水平方向と一致する。従って、左眼用レンズ１３１Ｌは、表示装置１０１の左眼用画像の左回り円偏光に対応した光学特性を有する。
右眼用レンズ１３１Ｒは、リターダ１４１Ｒ及び偏光板１４２Ｒを備え、表示装置１０１側からリターダ１４１Ｒ、偏光板１４２Ｒの順に積層されている。リターダ１４１Ｒの位相差は＋λ／４であり、偏光板１４２Ｒは、透過軸が表示パネル１１１の水平方向と一致する。従って、右眼用レンズ１３１Ｒは、表示装置１０１の右眼用画像の右回り円偏光に対応した光学特性を有する。
従って、表示装置１０１から出力された左回り円偏光の左眼用画像光は、左眼用レンズ１３１Ｌを透過し、ユーザの左眼１０３Ｌに入射する一方、右眼用レンズ１３１Ｒの偏光板１４２Ｒにより遮光され、右眼１０３Ｒには入射しない。また、表示装置１０１から出力された右回り円偏光の右眼用画像光は、右眼用レンズ１３１Ｒを透過し、ユーザの右眼１０３Ｒに入射する一方、左眼用レンズ１３１Ｌの偏光板１４２Ｌにより遮光され、左眼１０３Ｌには入射しない。
このように、ユーザは、偏光メガネ１０２を介して表示装置１０１が表示する３次元画像を見ることにより、左眼用画像を左眼１０３Ｌで視認し、右眼用画像を右眼１０３Ｒで視認して、立体視することができる。
しかしながら、パターンリターダ方式の３Ｄ表示システム１００では、表示装置１０１に対するユーザの位置により、いわゆるクロストークと呼ばれる現象が発生する場合がある。すなわち、左眼１０３Ｌに右眼用画像光が入射し、右眼１０３Ｒに左眼用画像光が入射し、右眼用画像が左眼１０３Ｌで視認され、左眼用画像が右眼１０３Ｒで視認される場合がある。
図２のＡは、ＦＨＤ（Full HD）の解像度を有する表示装置１０１ａの側面を拡大して模式的に示している。なお、図２のＡでは、偏光板１１２の図示は省略している。
図２のＡに示されるように、ある画素１５１ａの前方のパターンリターダ１１３ａに設けられているビームスプリッタ１５２ａから、当該画素１５１ａからの光に加えて、垂直方向に隣接する画素１５１ａからの光が漏れ出る場合がある。そして、垂直視野角θａの外部において、左右の眼で、それぞれ視認されるべき画像とは逆の画像が視認され、物体の輪郭がぼやけたり、立体感が損なわれたりする。
図３は、図２のＡの表示装置１０１ａの垂直視野角θａの特性の例を示すグラフである。図３の横軸は、表示装置１０１ａの表示パネル１１１ａのサイズ（単位はインチ）を示し、縦軸は垂直視野角（単位は度）を示している。線Ｌ１は、表示パネル１１１ａのガラス厚ｄａ＝０．１ｍｍの場合の垂直視野角θの特性を示し、線Ｌ２は、ガラス厚ｄａ＝０．２ｍｍの場合の垂直視野角θの特性を示し、線Ｌ３は、ガラス厚ｄａ＝０．３ｍｍの場合の垂直視野角θの特性を示し、線Ｌ４は、ガラス厚ｄａ＝０．５ｍｍの場合の垂直視野角θの特性を示している。
このグラフに示されるように、表示パネル１１１ａのサイズが小さくなるほど、垂直視野角θａが狭くなり、クロストークが発生しやすくなる。また、表示パネル１１１ａのガラス厚が厚くなるほど、垂直視野角θａが狭くなり、クロストークが発生しやすくなる。
また、図２のＢは、４Ｋの解像度を有する表示装置１０１ｂの側面を拡大して模式的に示している。なお、図２のＢでは、偏光板１１２の図示は省略している。
図２のＢの表示装置１０１ｂを、図２のＡの表示装置１０１ａと比較すると、解像度が上がることにより、画素１５１ｂ及びビームスプリッタ１５２ｂのピッチが狭くなっている。一方、表示パネル１１１ｂのガラス厚ｄｂは、表示パネル１１１ａのガラス厚ｄａとほぼ同様である。その結果、垂直視野角θｂが狭くなり、クロストークが発生しやすくなる。
以上のように、表示装置１０１では、解像度が上がるほど、又は、表示パネル１１１のサイズが小さくなるほど、又は、表示パネル１１１のガラス厚が厚くなるほど、垂直視野角が狭くなり、クロストークが発生しやすくなる。
また、今後、表示装置１０１の高解像度化がさらに進むことが予想され、垂直視野角がさらに狭くなることが想定される。これに対して、例えば、表示パネル１１１のガラス厚を薄くすることが考えられるが、耐久性や生産性等を考慮すると、表示パネル１１１のガラス厚を薄くするのには限界がある。
さらに、表示装置１０１の高解像度化が進み、表示パネル１１１の微細化が進むことにより、パターンリターダ１１３の貼り付け精度に対する要求が厳しくなり、生産性が低下することが想定される。
また、コンシューマ向けの３Ｄ方式のＴＶの販売低迷等により、パターンリターダを備える表示パネルの生産規模及び生産設備が縮小傾向にある。従って、例えば、医療用の３Ｄの表示装置のために新たな表示パネルを設計したり、生産設備を導入したりすることに対するコスト及びリスクが増大している。
＜アクティブリターダ方式の３Ｄ表示システムの課題＞
図４は、パッシブ方式の３Ｄ表示システムの１つであるアクティブリターダ方式の３Ｄ表示システム２００の構成を模式的に示している。なお、図中、図１の３Ｄ表示システム１００と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
３Ｄ表示システム２００は、３Ｄ表示システム１００と比較して、偏光メガネ１０２を備える点で一致し、表示装置１０１の代わりに表示装置２０１を備える点が異なる。
表示装置２０１は、表示パネル２１１、偏光板２１２、及び、アクティブリターダ２１３を備え、図示せぬバックライト用の光源側から、表示パネル２１１、偏光板２１２、アクティブリターダ２１３の順に積層されている。
表示パネル２１１は、左眼用画像と右眼用画像が時分割で交互に配置されたフレームシーケンシャル方式の３Ｄ画像を表示する。
偏光板２１２は、表示装置１０１の偏光板１１２と同様に、透過軸が表示パネル２１１の垂直方向と一致する偏光板である。
アクティブリターダ２１３は、偏光板２１２の前面に配置され、偏光板２１２とともにシャッタ機構を構成する。アクティブリターダ２１３は、電気信号の印加により、位相差が＋λ／４又は－λ／４（λは使用波長）に切り替わる。
表示装置２０１は、表示パネル１１１に左眼用画像と右眼用画像をフレーム単位で交互に表示するとともに、画像の切り替わりに同期して、アクティブリターダ２１３の位相差を切り替える。
具体的には、図５に示されるように、左眼用画像の表示期間には、アクティブリターダ２１３への印加電圧がオン（Ｖｏｎ）にされ、アクティブリターダ２１３の位相差が－λ／４に設定される。これにより、バックライト用の光源（不図示）から表示パネル２１１に入射し、透過した左眼用画像をなす光（以下、左眼用画像光と称する）は、偏光板２１２及びアクティブリターダ２１３を透過することにより、左回り円偏光に変換される。従って、表示装置２０１から出射された左眼用画像光は、左眼用レンズ１３１Ｌを透過し、ユーザの左眼１０３Ｌに入射する一方、右眼用レンズ１３１Ｒの偏光板１４２Ｒにより遮光され、右眼１０３Ｒには入射しない。
また、図６に示されるように、右眼用画像の表示期間には、アクティブリターダ２１３への印加電圧がオフ（Ｖｏｆｆ）にされ、アクティブリターダ２１３の位相差が＋λ／４に設定される。これにより、バックライト用の光源（不図示）から表示パネル２１１に入射し、透過した右眼用画像をなす光（以下、右眼用画像光と称する）は、偏光板２１２及びアクティブリターダ２１３を透過することにより、右回り円偏光に変換される。従って、表示装置２０１から出射された右眼用画像光は、右眼用レンズ１３１Ｒを透過することによりユーザの右眼１０３Ｒに入射する一方、左眼用レンズ１３１Ｌの偏光板１４２Ｌにより遮光され、左眼１０３Ｌには入射しない。
このように、ユーザは、偏光メガネ１０２を介して表示装置２０１が表示する３次元画像を見ることにより、左眼用画像を左眼１０３Ｌで視認し、右眼用画像を右眼１０３Ｒで視認して、立体視することができる。
しかしながら、３Ｄ表示システム２００では、左眼用画像と右眼用画像が時分割で表示されるため、動画像の表示時に、ユーザが認識する視差量のズレが生じ、奥行きズレが発生する場合がある。
具体的には、図７は、表示装置２０１に入力される３次元画像の左眼用画像及び右眼用画像の撮像又は生成タイミングを示している。ここで、Ｌは左眼用画像、Ｒは右眼用画像を示し、Ｌ及びＲに付された数字はシーケンス番号を示している。シーケンス番号は、各画像の撮像順又は生成順を示す。例えば、左眼用画像Ｌ０と右眼用画像Ｒ０、左眼用画像Ｌ１と右眼用画像Ｒ１、左眼用画像Ｌ２及び右眼用画像Ｒ２、左眼用画像Ｌ３及び右眼用画像Ｒ３・・・は、それぞれ同じ時刻に撮像又は生成される。
なお、以下、左眼用画像Ｌ０、Ｌ１、Ｌ２、Ｌ３・・・を個々に区別する必要がない場合、単に左眼用画像Ｌと称し、右眼用画像Ｒ０、Ｒ１、Ｒ２、Ｒ３・・・を個々に区別する必要がない場合、単に右眼用画像Ｒと称する。
一方、図８に示されるように、左眼用画像Ｌと右眼用画像Ｒとは、表示装置２０１に交互に入力され、表示される。
従って、本来は左右の眼で同時に視認されるべき左眼用画像Ｌと右眼用画像Ｒとが、０．５フレーム分の時間差で視認されるようになる。例えば、左眼用画像Ｌ０より０．５フレーム分だけ遅れて右眼用画像Ｒ０が視認される。そのため、被写体の動く向きや速度によって、見かけ上の視差が変化してしまう場合がある。
例えば、左眼用画像Ｌが右眼用画像Ｒより先に表示される場合において、図９に示されるように、左眼用画像Ｌと右眼用画像Ｒとでｄ画素の視差がある被写体が、フレーム周期当たりΔｘ画素の速度で画像内の左から右へ移動する動画を表示する場合について説明する。
図１０は、図８のようにＬ０－Ｒ０－Ｌ１－Ｒ１－Ｌ２－Ｒ２－・・・と並べ替えて動画を表示した様子を示している。
上述したように、右眼用画像Ｒ０が左眼用画像Ｌ０よりも０．５フレーム分だけ遅れ、右眼用画像Ｒ１が左眼用画像Ｌ１よりも０．５フレーム分だけ遅れて表示される。また、左眼用画像Ｌ０と左眼用画像Ｌ１との間に、被写体はΔｘ画素だけ右へ移動する。従って、左眼用画像Ｌ０よりも０．５フレーム分だけ遅れて右眼用画像Ｒ０が表示される時刻において、ユーザの頭の中で、左眼用画像Ｌ０と左眼用画像Ｌ１の間の仮想の左眼用画像Ｌ０．５内において、被写体がΔｘ／２画素だけ右へ移動する。
一方、左眼用画像Ｌ０．５と同じ時刻に表示される右眼用画像Ｒ０内の被写体は、左眼用画像Ｌ０と比較してｄ画素だけ右側にあるが、ユーザの頭の中で想起されている左眼用画像Ｌ０．５との間では、Δｘ／２画素だけ視差が小さくなる。従って、ユーザは、被写体が実際よりも近くにあると感じてしまうようになる。
また、例えば、図１１に示されるように、左眼用画像Ｌと右眼用画像Ｒとでｄ画素の視差がある被写体が、フレーム周期当たりΔｘ画素の速度で画像内の右から左へ移動する動画を表示する場合について説明する。
図１２は、図８のようにＬ０－Ｒ０－Ｌ１－Ｒ１－Ｌ２－Ｒ２－・・・と並べ替えて動画を表示した様子を示している。
上述したように、右眼用画像Ｒ０が左眼用画像Ｌ０よりも０．５フレーム分だけ遅れ、右眼用画像Ｒ１が左眼用画像Ｌ１よりも０．５フレーム分だけ遅れて表示される。また、左眼用画像Ｌ０と左眼用画像Ｌ１との間に、被写体はΔｘ画素だけ左へ移動する。したがって、左眼用画像Ｌ０よりも０．５フレーム分だけ遅れて右眼用画像Ｒ０が表示される時刻において、ユーザの頭の中で、左眼用画像Ｌ０と左眼用画像Ｌ１の間の仮想の左眼用画像Ｌ０．５内において、被写体がΔｘ／２画素だけ左へ移動する。
一方、左眼用画像Ｌ０．５と同じ時刻に表示される右眼用画像Ｒ０内の被写体は、左眼用画像Ｌ０と比較してｄ画素だけ左側にあるが、ユーザの頭の中で想起されている左眼用画像Ｌ０．５との間では、Δｘ／２画素だけ視差が大きくなる。従って、ユーザは、被写体が実際よりも遠くにあると感じてしまうようになる。
例えば、３Ｄ表示システム２００を手術室のモニタとして用いる場合、この奥行きズレにより、被写体の前後関係が逆転する現象が発生すると、被写体である臓器を傷つける等の致命的なミスが発生するおそれがある。
これに対して、例えば、奥行きズレを軽減するために、右眼用画像Ｒ０及び右眼用画像Ｒ１に基づいて、左眼用画像Ｌ０．５に対応する右眼用の補間画像を生成し、表示することが想定される。
しかし、手術用の画像では、見やすさや見た目の美しさではなく、実体を正しく表現することが重要であり、補間画像を用いることは一般的に認められていない。また、補間画像を生成するために、１フレーム後の右眼用画像の撮像を待つ必要があり、画像の表示の遅延が発生する。これは、リアルタイム性が要求される手術現場では、致命的な問題となるおそれがある。
＜アクティブ方式の３Ｄ表示システムの問題点＞
アクティブ方式の３Ｄ表示システムでは、アクティブリターダ方式の３Ｄ表示システム２００と同様に、左眼用画像及び右眼用画像が時分割に交互に表示される。従って、３Ｄ表示システム２００と同様に、奥行きズレが発生する場合がある。
また、従来、手術用の３Ｄ画像のモニタとして、上述した偏光メガネ１０２を用いるパッシブ方式の３Ｄ表示システムが主に用いられている。一方、アクティブ方式で用いられるアクティブシャッタ方式の３Ｄメガネと、パッシブ方式で用いられる偏光メガネ１０２とは互換性がない。従って、手術室内に複数の表示装置がある場合、全ての表示装置をアクティブ方式に統一するか、又は、ユーザが表示装置によってメガネを変える必要がある。
さらに、手術室内にアクティブ方式の表示装置が複数あり、複数のユーザが各表示装置を見る場合、各表示装置と各ユーザの３Ｄメガネとの同期を取る必要があり、制御が複雑になる。
＜＜２．実施の形態＞＞
次に、図１３乃至図１７を参照して、本技術の実施の形態について説明する。
＜顕微鏡手術システム３０１の構成例＞
図１３は、本技術を適用した顕微鏡手術システム３０１の構成例を示している。
顕微鏡手術システム３０１は、顕微鏡装置３１１、制御装置３１２、及び、表示装置３１３－１乃至表示装置３１３－ｎを備える。顕微鏡装置３１１及び制御装置３１２により、手術撮像システムが構成される。
なお、以下、表示装置３１３－１乃至表示装置３１３－ｎを個々に区別する必要がない場合、単に表示装置３１３と称する。
顕微鏡装置３１１は、観察対象（患者の手術部位）を拡大観察するための顕微鏡部３２１、顕微鏡部３２１を先端で支持するアーム部３２２、及び、アーム部３２２の基端を支持するベース部３２３を備える。
顕微鏡部３２１は、略円筒形状の筒状部３３１、当該筒状部３３１の内部に設けられる撮像部（不図示）、並びに、筒状部３３１の外周の一部領域に設けられる操作部３３２を備える。顕微鏡部３２１は、撮像部によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部（ビデオ式の顕微鏡部）である。
筒状部３３１の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光（以下、観察光ともいう）は、当該カバーガラスを通過して、筒状部３３１の内部の撮像部に入射する。なお、筒状部３３１の内部には例えばＬＥＤ（Light Emitting Diode）等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。
撮像部は、観察光を集光する光学系、及び、当該光学系が集光した観察光を受光する撮像素子を備える。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等、任意の方式のイメージセンサにより構成される。
また、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有する。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。また、撮像部には、ＡＥ（Auto Exposure）機能やＡＦ（Auto Focus）機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。
なお、後述するように、顕微鏡装置３１１は、立体視（３Ｄ表示）に対応する左眼用画像及び右眼用画像をそれぞれ撮像する２つの撮像部を備える。３Ｄ表示が行われることにより、術者は術部の奥行きをより正確に把握することが可能になる。
操作部３３２は、例えば十字レバー又はスイッチ等によって構成され、ユーザの操作入力を受け付ける入力手段である。例えば、ユーザは、操作部３３２を介して、観察像の拡大倍率及び焦点距離（フォーカス）を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及びフォーカスが調整され得る。
アーム部３２２は、複数のリンク（第１リンク３４２ａ乃至第６リンク３４２ｆ）が、複数の関節部（第１関節部３４１ａ乃至第６関節部３４１ｆ）によって互いに回動可能に連結されることによって構成される。
第１関節部３４１ａは、略円柱形状を有し、その先端（下端）で、顕微鏡部３２１の筒状部３３１の上端を、当該筒状部３３１の中心軸と平行な回転軸（第１軸Ａ１）まわりに回動可能に支持する。ここで、第１関節部３４１ａは、第１軸Ａ１が顕微鏡部３２１の撮像部の光軸と一致するように構成され得る。これにより、第１軸Ａ１まわりに顕微鏡部３２１を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。
第１リンク３４２ａは、先端で第１関節部３４１ａを固定的に支持する。具体的には、第１リンク３４２ａは略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第１軸Ａ１と直交する方向に延伸しつつ、当該一辺の端部が第１関節部３４１ａの外周の上端部に当接するように、第１関節部３４１ａに接続される。第１リンク３４２ａの略Ｌ字形状の基端側の他辺の端部に第２関節部３４１ｂが接続される。
第２関節部３４１ｂは、略円柱形状を有し、その先端で、第１リンク３４２ａの基端を、第１軸Ａ１と直交する回転軸（第２軸Ａ２）まわりに回動可能に支持する。第２関節部３４１ｂの基端には、第２リンク３４２ｂの先端が固定的に接続される。
第２リンク３４２ｂは、略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第２軸Ａ２と直交する方向に延伸しつつ、当該一辺の端部が第２関節部３４１ｂの基端に固定的に接続される。第２リンク３４２ｂの略Ｌ字形状の基端側の他辺には、第３関節部３４１ｃが接続される。
第３関節部３４１ｃは、略円柱形状を有し、その先端で、第２リンク３４２ｂの基端を、第１軸Ａ１及び第２軸Ａ２と互いに直交する回転軸（第３軸Ａ３）まわりに回動可能に支持する。第３関節部３４１ｃの基端には、第３リンク３４２ｃの先端が固定的に接続される。第２軸Ａ２及び第３軸Ａ３まわりに顕微鏡部３２１を含む先端側の構成を回動させることにより、水平面内での顕微鏡部３２１の位置を変更するように、当該顕微鏡部３２１を移動させることができる。つまり、第２軸Ａ２及び第３軸Ａ３まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。
第３リンク３４２ｃは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第３関節部３４１ｃの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第３リンク３４２ｃの基端側は角柱形状を有し、その端部に第４関節部３４１ｄが接続される。
第４関節部３４１ｄは、略円柱形状を有し、その先端で、第３リンク３４２ｃの基端を、第３軸Ａ３と直交する回転軸（第４軸Ａ４）まわりに回動可能に支持する。第４関節部３４１ｄの基端には、第４リンク３４２ｄの先端が固定的に接続される。
第４リンク３４２ｄは、略直線状に延伸する棒状の部材であり、第４軸Ａ４と直交するように延伸しつつ、その先端の端部が第４関節部３４１ｄの略円柱形状の側面に当接するように、第４関節部３４１ｄに固定的に接続される。第４リンク３４２ｄの基端には、第５関節部３４１ｅが接続される。
第５関節部３４１ｅは、略円柱形状を有し、その先端側で、第４リンク３４２ｄの基端を、第４軸Ａ４と平行な回転軸（第５軸Ａ５）まわりに回動可能に支持する。第５関節部３４１ｅの基端には、第５リンク３４２ｅの先端が固定的に接続される。第４軸Ａ４及び第５軸Ａ５は、顕微鏡部３２１を上下方向に移動させ得る回転軸である。第４軸Ａ４及び第５軸Ａ５まわりに顕微鏡部３２１を含む先端側の構成を回動させることにより、顕微鏡部３２１の高さ、すなわち顕微鏡部３２１と観察対象との距離を調整することができる。
第５リンク３４２ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材と、が組み合わされて構成される。第５リンク３４２ｅの第１の部材の鉛直方向に延伸する部位の上端近傍に、第５関節部３４１ｅの基端が固定的に接続される。第５リンク３４２ｅの第２の部材の基端（下端）には、第６関節部３４１ｆが接続される。
第６関節部３４１ｆは、略円柱形状を有し、その先端側で、第５リンク３４２ｅの基端を、鉛直方向と平行な回転軸（第６軸Ａ６）まわりに回動可能に支持する。第６関節部３４１ｆの基端には、第６リンク３４２ｆの先端が固定的に接続される。
第６リンク３４２ｆは鉛直方向に延伸する棒状の部材であり、その基端はベース部３２３の上面に固定的に接続される。
第１関節部３４１ａ乃至第６関節部３４１ｆの回転可能範囲は、顕微鏡部３２１が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部３２２においては、顕微鏡部３２１の動きに関して、並進３自由度及び回転３自由度の計６自由度の動きが実現され得る。このように、顕微鏡部３２１の動きに関して６自由度が実現されるようにアーム部３２２を構成することにより、アーム部３２２の可動範囲内において顕微鏡部３２１の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部を観察することが可能となり、手術をより円滑に実行することができる。
なお、図示するアーム部３２２の構成はあくまで一例であり、アーム部３２２を構成するリンクの数及び形状（長さ）、並びに、関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。
ここで、第１関節部３４１ａ乃至第６関節部３４１ｆには、モータ等の駆動機構、及び、各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられる。そして、第１関節部３４１ａ乃至第６関節部３４１ｆに設けられる各アクチュエータの駆動が制御装置３１２によって適宜制御されることにより、アーム部３２２の姿勢、すなわち顕微鏡部３２１の位置及び姿勢が制御され得る。
具体的には、制御装置３１２は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部３２２の現在の姿勢、並びに、顕微鏡部３２１の現在の位置及び姿勢を把握することができる。制御装置３１２は、把握したこれらの情報を用いて、ユーザからの操作入力に応じた顕微鏡部３２１の移動を実現するような各関節部に対する制御値（例えば、回転角度又は発生トルク等）を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。なお、この際、制御装置３１２によるアーム部３２２の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。
制御装置３１２は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサ、プロセッサとメモリ等の記憶素子が混載された制御基板、ＣＣＵ（Camera Control Unit）等のいくつかを備える。制御装置３１２は、顕微鏡装置３１１及び表示装置３１３の動作を制御することにより、顕微鏡手術システム３０１の動作を統括的に制御する。
例えば、制御装置３１２は、所定の制御方式に従って、第１関節部３４１ａ乃至第６関節部３４１ｆのアクチュエータを動作させることにより、アーム部３２２の駆動を制御する。
また、例えば、制御装置３１２は、顕微鏡装置３１１の顕微鏡部３２１の撮像部を制御することにより、患者の手術部位の撮像処理を制御する。
さらに、例えば、制御装置３１２は、顕微鏡装置３１１の顕微鏡部３２１の撮像部によって取得された撮像信号に各種の信号処理を施すことにより、表示用の３Ｄ画像信号を生成し、各表示装置３１３に出力する。当該信号処理では、例えば、現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、拡大処理（すなわち、電子ズーム処理）、３Ｄ画像生成処理等の各種の信号処理が行われる。
なお、制御装置３１２と顕微鏡部３２１との通信、及び、制御装置３１２と第１関節部３４１ａ乃至第６関節部３４１ｆとの通信は、有線通信であってもよいし無線通信であってもよい。
なお、この例では、制御装置３１２は、顕微鏡装置３１１と別個の装置として設けられているが、制御装置３１２は、顕微鏡装置３１１のベース部３２３の内部に設置され、顕微鏡装置３１１と一体的に構成されてもよい。あるいは、制御装置３１２は、複数の装置によって構成されてもよい。例えば、顕微鏡部３２１や、アーム部３２２の第１関節部３４１ａ乃至第６関節部３４１ｆにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置３１２と同様の機能が実現されてもよい。
各表示装置３１３は、パターンリターダ方式の表示装置（例えば、図１の表示装置１０１）、又は、アクティブリターダ方式の表示装置（例えば、図４の表示装置２０１）からなる。各表示装置３１３は、手術室内に設けられ、制御装置３１２の制御の下に、顕微鏡部３２１により撮像された患者の手術部位の３Ｄ画像を表示する。
なお、各表示装置３１３の表示方式は、パターンリターダ方式又はアクティブリターダ方式の一方に統一されてもよいし、統一されなくてもよい。また、各表示装置３１３が、それぞれ表示方式を示す信号を制御装置３１２に供給するようにしてもよい。さらに、表示装置３１３は、必ずしも複数台設ける必要はなく、１台でもよい。
＜顕微鏡手術システム３０１の撮像機能の構成例＞
図１４は、図１３の顕微鏡手術システム３０１の撮像機能の構成例を示している。
顕微鏡装置３１１は、撮像部４０１Ｌ及び撮像部４０１Ｒを備える。
制御装置３１２は、ＣＣＵ４２１Ｌ及びＣＣＵ４２１Ｒ、並びに、３Ｄ信号合成器４２２を備える。３Ｄ信号合成器４２２は、信号生成部４３１及び撮像制御部４３２を備える。
撮像部４０１Ｌは、ＣＣＵ４２１Ｌの制御の下に、ユーザの左眼により視認される左眼用画像の撮像を行う。撮像部４０１Ｌは、左眼用画像を含む撮像信号（以下、左眼用撮像信号と称する）を生成し、信号生成部４３１に供給する。
撮像部４０１Ｒは、ＣＣＵ４２１Ｒの制御の下に、撮像部４０１Ｌとは異なる角度から撮像部４０１と同じフレーム周期で、ユーザの右眼により視認される右眼用画像の撮像を行う。撮像部４０１Ｒは、右眼用画像を含む撮像信号（以下、右眼用撮像信号と称する）を生成し、信号生成部４３１に供給する。
ＣＣＵ４２１Ｌは、撮像部４０１Ｌの制御を行う。例えば、ＣＣＵ４２１Ｌは、撮像制御部４３２から供給される左画像撮像制御信号に基づいて、撮像部４０１Ｌの撮像タイミングを制御する。
ＣＣＵ４２１Ｒは、撮像部４０１Ｒの制御を行う。例えば、ＣＣＵ４２１Ｒは、撮像制御部４３２から供給される右画像撮像制御信号に基づいて、撮像部４０１Ｒの撮像タイミングを制御する。
信号生成部４３１は、表示装置３１３の表示方式（パターンリターダ方式又はアクティブリターダ方式）を検出し、検出結果を撮像制御部４３２に通知する。また、信号生成部４３１は、左眼用撮像信号及び右眼用撮像信号に基づいて、表示装置３１３の表示方式に対応した３Ｄ画像を生成し、生成した３Ｄ画像を含む３Ｄ画像信号を生成する。信号生成部４３１は、３Ｄ画像信号を各表示装置３１３に出力する。さらに、信号生成部４３１は、制御装置３１２の動作の基準となる基準クロック信号を生成し、撮像制御部４３２に供給する。
撮像制御部４３２は、表示装置３１３の表示方式に基づいて、撮像部４０１Ｌ及び撮像部４０１Ｒの撮像タイミングを制御する。具体的には、撮像制御部４３２は、表示装置３１３の表示方式に基づいて、撮像部４０１Ｌの撮像タイミングを制御するための左画像撮像制御信号、及び、撮像部４０１Ｒの撮像タイミングを制御するための右画像撮像制御信号を生成する。撮像制御部４３２は、左画像撮像制御信号をＣＣＵ４２１Ｌに供給し、右画像撮像制御信号をＣＣＵ４２１Ｒに供給する。
＜撮像タイミング設定処理＞
次に、図１５のフローチャートを参照して、顕微鏡手術システム３０１により実行される撮像タイミング設定処理について説明する。
なお、この処理は、例えば、顕微鏡手術システム３０１による手術部位の撮像の開始時に行われる。
ステップＳ１において、信号生成部４３１は、メインの表示装置３１３の表示方式を検出する。ここで、メインの表示装置３１３とは、例えば、メインの術者（例えば、執刀医）が見るように設定されている（メインの術者用の）表示装置３１３である。
なお、表示方式の検出方法は、特に限定されない。
例えば、信号生成部４３１は、メインの表示装置３１３から出力される表示方式を示す信号に基づいて、メインの表示装置３１３の表示方式を検出する。
又は、例えば、ユーザは、図示せぬ制御装置３１２の入力部を介して、メインの表示装置３１３の表示方式を入力する。信号生成部４３１は、そのユーザ入力に基づいて、メインの表示装置３１３の表示方式を検出する。
信号生成部４３１は、メインの表示装置３１３の表示方式を撮像制御部４３２に通知する。
ステップＳ２において、撮像制御部４３２は、メインの表示装置３１３がアクティブリターダ方式であるか否かを判定する。メインの表示装置３１３がアクティブリターダ方式であると判定された場合、処理はステップＳ３に進む。
ステップＳ３において、顕微鏡手術システム３０１は、左右の画像の撮像タイミングを１／２フレーム分ずらす。
具体的には、信号生成部４３１は、例えば、１２０Ｈｚの基準クロック信号を生成し、撮像制御部４３２に供給する処理を開始する。
撮像制御部４３２は、基準クロック信号に基づいて、左画像撮像制御信号及び右画像撮像制御信号を生成し、左画像撮像制御信号をＣＣＵ４２１Ｌに供給し、右画像撮像制御信号をＣＣＵ４２１Ｒに供給する処理を開始する。
左画像撮像制御信号及び右画像撮像制御信号は、例えば、ＣＣＵ４２１Ｌ及びＣＣＵ４２１Ｒが垂直同期信号を出力するタイミングを示す情報を含む。そして、撮像制御部４３２は、ＣＣＵ４２１Ｌから垂直同期信号が出力されるタイミングとＣＣＵ４２１Ｒから垂直同期信号が出力されるタイミングとが、１／２フレーム周期（フレーム周期の半分）だけずれるように制御する。すなわち、撮像制御部４３２は、ＣＣＵ４２１Ｌから垂直同期信号が出力されるタイミングとＣＣＵ４２１Ｒから垂直同期信号が出力されるタイミングとの時間差が、１／２フレーム周期となるように制御する。
ここで、１フレーム周期とは、画像の撮像が開始されてから次の画像の撮像が開始されるまでの時間である。
例えば、ＣＣＵ４２１Ｌは、６０Ｈｚの垂直同期信号を生成し、撮像部４０１Ｌに出力する。一方、ＣＣＵ４２１Ｒは、６０Ｈｚの垂直同期信号を生成し、ＣＣＵ４２１Ｌと１／２フレーム周期だけずれたタイミングで撮像部４０１Ｒに出力する。
撮像部４０１Ｌは、ＣＣＵ４２１Ｌからの垂直同期信号に従って、例えば、解像度が４Ｋでフレームレートが６０Ｐの左眼用画像を撮像する処理を開始する。また、撮像部４０１Ｌは、撮像した左眼用画像を含む左眼用撮像信号を生成し、信号生成部４３１に供給する処理を開始する。
撮像部４０１Ｒは、ＣＣＵ４２１Ｒからの垂直同期信号に従って、撮像部４０１とは１／２フレーム周期だけずれたタイミングで、例えば、解像度が４Ｋでフレームレートが６０Ｐの右眼用画像を撮像する処理を開始する。また、撮像部４０１Ｒは、撮像した右眼用画像を含む右眼用撮像信号を生成し、信号生成部４３１に供給する処理を開始する。
信号生成部４３１は、左眼用撮像信号に含まれる左眼用画像と、右眼用撮像信号に含まれる右眼用画像とをフレーム毎に交互に並べることにより、解像度が４Ｋでフレームレートが１２０Ｐのフレームシーケンシャル方式の３Ｄ画像を生成する処理を開始する。また、信号生成部４３１は、生成した３Ｄ画像を含む３Ｄ画像信号を生成し、各表示装置３１３に出力する処理を開始する。
各表示装置３１３は、３Ｄ画像信号に基づく３Ｄ画像を表示する処理を開始する。
その後、撮像タイミング設定処理は終了する。
図１６は、メインの表示装置３１３がアクティブリターダ方式の場合の、左眼用画像の撮像タイミング、右眼用画像の撮像タイミング、及び、３Ｄ画像の生成タイミングを示すタイミングチャートである。ここで、Ｌは左眼用画像、Ｒは右眼用画像を示し、Ｌ及びＲに付された数字はシーケンス番号を示している。シーケンス番号は、各画像の撮像順を示す。
例えば、まず左眼用画像Ｌ１の撮像が開始され、１／２フレーム周期が経過した後、右眼用画像Ｒ２の撮像が開始される。その後、左眼用画像Ｌと右眼用画像Ｒは、互いに１／２フレーム周期だけずれたタイミングで撮像される。
また、撮像部４０１Ｌは、左眼用画像Ｌ１の撮像開始から約１／２フレーム周期の時間が経過した後、信号生成部４３１への左眼用画像Ｌ１の出力を開始する。左眼用画像Ｌ１の出力は約１／２フレーム周期の時間で行われ、左眼用画像Ｌ１の撮像の終了とほぼ同時に終了する。
一方、撮像部４０１Ｒは、右眼用画像Ｒ２の撮像開始から約１／２フレーム周期の時間が経過した後、信号生成部４３１への右眼用画像Ｒ２の出力を開始する。右眼用画像Ｒ２の出力は約１／２フレーム周期の時間で行われ、右眼用画像Ｒ２の撮像の終了とほぼ同時に終了する。
従って、左眼用画像Ｌと右眼用画像Ｒとは、１／２フレーム間隔で交互に信号生成部４３１に出力される。
信号生成部４３１は、１／２フレーム間隔で交互に供給される左眼用画像Ｌと右眼用画像Ｒとを取得した順に時系列に並べることにより、フレームシーケンシャル方式の３Ｄ画像を生成する。信号生成部４３１は、生成した３Ｄ画像を含む３Ｄ画像信号を表示装置３１３に出力する。
このように、左眼用画像Ｌと右眼用画像Ｒとの撮像タイミングを１／２フレーム周期だけずらすことにより、各左眼用画像Ｌ及び各右眼用画像Ｒを表示するタイミングにおける各画像内の被写体の位置関係が、現実の位置関係と略等しくなる。その結果、奥行きズレの発生が抑制され、３Ｄ画像の画質が向上する。
図１５に戻り、一方、ステップＳ２において、メインの表示装置３１３がアクティブリターダ方式ではないと判定された場合、すなわち、メインの表示装置３１３がパターンリターダ方式であると判定された場合、処理はステップＳ４に進む。
ステップＳ４において、顕微鏡手術システム３０１は、左右の画像の撮像タイミングを同期させる。
具体的には、信号生成部４３１は、例えば、６０Ｈｚの基準クロック信号を生成し、撮像制御部４３２に供給する処理を開始する。
撮像制御部４３２は、基準クロック信号に基づいて、左画像撮像制御信号及び右画像撮像制御信号を生成し、左画像撮像制御信号をＣＣＵ４２１Ｌに供給し、右画像撮像制御信号をＣＣＵ４２１Ｒに供給する処理を開始する。
左画像撮像制御信号及び右画像撮像制御信号は、上述したように、ＣＣＵ４２１Ｌ及びＣＣＵ４２１Ｒが垂直同期信号を出力するタイミングを示す情報を含む。そして、撮像制御部４３２は、ＣＣＵ４２１Ｌから垂直同期信号が出力されるタイミングとＣＣＵ４２１Ｒから垂直同期信号が出力されるタイミングとが同期するように制御する。
例えば、ＣＣＵ４２１Ｌは、６０Ｈｚの垂直同期信号を生成し、撮像部４０１Ｌに出力する処理を開始する。また、ＣＣＵ４２１Ｒは、ＣＣＵ４２１Ｌと同期して、６０Ｈｚの垂直同期信号を生成し、撮像部４０１Ｒに出力する処理を開始する。
撮像部４０１Ｌは、ＣＣＵ４２１Ｌからの垂直同期信号に従って、例えば、解像度が４Ｋでフレームレートが６０Ｐの左眼用画像を撮像する処理を開始する。また、撮像部４０１Ｌは、撮像した左眼用画像を含む左眼用撮像信号を生成し、信号生成部４３１に供給する処理を開始する。
撮像部４０１Ｒは、ＣＣＵ４２１Ｒからの垂直同期信号に従って、撮像部４０１と同期して、例えば、解像度が４Ｋでフレームレートが６０Ｐの右眼用画像を撮像する処理を開始する。また、撮像部４０１Ｒは、撮像した右眼用画像を含む右眼用撮像信号を生成し、信号生成部４３１に供給する処理を開始する。
信号生成部４３１は、左眼用撮像信号に含まれる左眼用画像の各画素行と、右眼用撮像信号に含まれる右眼用画像の各画素行とを、画素行毎に交互に並べることにより、ラインバイライン方式の３Ｄ画像を生成する処理を開始する。また、信号生成部４３１は、生成した３Ｄ画像を含む３Ｄ画像信号を生成し、各表示装置３１３に出力する処理を開始する。
各表示装置３１３は、３Ｄ画像信号に基づく３Ｄ画像を表示する処理を開始する。
その後、撮像タイミング設定処理は終了する。
図１７は、メインの表示装置３１３がパターンリターダ方式の場合の、左眼用画像の撮像タイミング、右眼用画像の撮像タイミング、及び、３Ｄ画像の生成タイミングを示すタイミングチャートである。ここで、Ｌは左眼用画像、Ｒは右眼用画像を示し、Ｌ及びＲに付された数字はシーケンス番号を示している。シーケンス番号は、各画像の撮像順を示す。
例えば、左眼用画像Ｌ１と右眼用画像Ｒ１の撮像が同時に開始され、以下、左眼用画像Ｌと右眼用画像Ｒの各フレームが同期して、同じタイミングで撮像される。
また、撮像部４０１Ｌと撮像部４０１Ｒは、左眼用画像Ｌと右眼用画像Ｒの信号生成部４３１への出力を同期して行う。
信号生成部４３１は、左眼用画像Ｌの各画素行と右眼用画像Ｒの各画素行とを、画素行毎に交互に並べたラインバイライン方式の３Ｄ画像を生成する。信号生成部４３１は、生成した３Ｄ画像を含む３Ｄ画像信号を表示装置３１３に出力する。
その後、撮像タイミング設定処理は終了する。
以上のようにして、アクティブリターダ方式の表示装置３１３を用いた場合の奥行きズレの発生を抑制することができ、３Ｄ画像の画質が向上する。
また、アクティブリターダ方式の表示装置３１３を用いた場合、パターンリターダ方式の表示装置３１３を用いた場合と比較して、３Ｄ画像の縦方向の解像度が向上する。また、図２を参照して上述した垂直視野角の制限がないため、表示装置３１３の解像度を上げて、画像を高精細化したり、表示装置３１３を小型化したりすることが可能になる。
また、従来手術現場で用いられているシステムとの互換性を確保することができる。例えば、従来手術現場で一般的に使用されている安価で軽量な偏光メガネ１０２を用いることができる。また、例えば、従来手術現場で使用されているパターンリターダ方式の表示装置３１３を用いることができる。
＜＜３．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。
図１３及び図１４の顕微鏡手術システム３０１の構成は、その一例であり、変更することが可能である。
例えば、撮像部４０１Ｌ及び撮像部４０１Ｒを筐体が異なる撮像装置にそれぞれ設けるようにしてもよい。
例えば、ＣＣＵ４２１Ｌ及びＣＣＵ４２１Ｒを制御装置３１２とは別に設けたり、ＣＣＵ４２１Ｌ及びＣＣＵ４２１Ｒを一体化したりするようにしてもよい。
例えば、撮像制御部４３２が、各表示装置３１３の表示方式を検出するようにしてもよい。
また、以上の説明では、撮像タイミングの制御に用いるメインの表示装置３１３をメインの術者が見る表示装置３１３に設定する例を示したが、異なる条件に基づいてメインの表示装置３１３を設定するようにしてもよい。例えば、最も多くのユーザが見る表示装置３１３をメインの表示装置３１３に設定するようにしてもよい。
さらに、例えば、複数の表示装置３１３の中で最も多い表示方式に基づいて、撮像タイミングを制御するようにしてもよい。
また、本技術は、上述したビデオ顕微鏡手術だけでなく、例えば、ビデオ内視鏡手術、オープンイメージング手術（ビデオ開腹手術）等の３Ｄ画像を用いた各種の手術用の３Ｄ手術システムに適用できる。
さらに、本技術は、手術以外の用途に用いられる３Ｄ画像の撮像及び表示を行う場合にも適用できる。
＜＜４．その他＞＞
＜コンピュータの構成例＞
上述した一連の処理（例えば、制御装置３１２の処理）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
手術部位を撮像して第１の撮像信号を出力する第１の撮像部と、
前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位を撮像して第２の撮像信号を出力する第２の撮像部と、
前記第１の撮像部及び前記第２の撮像部の撮像タイミングを制御する撮像制御部と、
前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号を生成する信号生成部と
を備え、
前記撮像制御部は、前記第１の撮像部と前記第２の撮像部の撮像タイミングが、前記フレーム周期の半分だけずれるように制御する
手術撮像システム。
（２）
前記撮像制御部は、前記３Ｄ画像信号に基づく３Ｄ画像を表示する表示装置の表示方式に基づいて、前記第１の撮像部及び前記第２の撮像部の撮像タイミングを制御する
前記（１）に記載の手術撮像システム。
（３）
前記撮像制御部は、前記表示装置がアクティブリターダ方式である場合、前記第１の撮像部と前記第２の撮像部の撮像タイミングが前記フレーム周期の半分だけずれるように制御し、前記表示装置がパターンリターダ方式である場合、前記第１の撮像部と前記第２の撮像部の撮像タイミングが同期するように制御する
前記（２）に記載の手術撮像システム。
（４）
前記信号生成部は、前記表示装置がアクティブリターダ方式である場合、前記第１の撮像信号及び前記第２の撮像信号に基づいて、フレームシーケンシャル方式の前記３Ｄ画像信号を生成し、前記表示装置がパターンリターダ方式である場合、前記第１の撮像信号及び前記第２の撮像信号に基づいて、ラインバイライン方式の前記３Ｄ画像信号を生成する
前記（３）に記載の手術撮像システム。
（５）
前記撮像制御部は、前記表示装置からの表示方式を示す信号に基づいて、前記第１の撮像部及び前記第２の撮像部の撮像タイミングを制御する
前記（２）乃至（４）のいずれかに記載の手術撮像システム。
（６）
前記撮像制御部は、前記３Ｄ画像を表示する前記表示装置が複数ある場合、メインの術者用の前記表示装置の表示方式に基づいて、前記第１の撮像部及び前記第２の撮像部の撮像タイミングを制御する
前記（２）乃至（５）のいずれかに記載の手術撮像システム。
（７）
前記信号生成部は、アクティブリターダ方式の表示装置に前記３Ｄ画像信号を出力する
前記（１）に記載の手術撮像システム。
（８）
前記信号生成部は、前記第１の撮像信号及び前記第２の撮像信号に基づいて、フレームシーケンシャル方式の前記３Ｄ画像信号を生成する
前記（７）に記載の手術撮像システム。
（９）
前記第１の撮像部及び前記第２の撮像部は、４Ｋの解像度及び６０Ｐのフレームレートで撮像し、
前記信号生成部は、４Ｋの解像度及び１２０Ｐのフレームレートの前記３Ｄ画像信号を生成する
前記（１）乃至（８）のいずれかに記載の手術撮像システム。
（１０）
手術部位を撮像して第１の撮像信号を出力する第１の撮像部、及び、前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位を撮像して第２の撮像信号を出力する第２の撮像部の撮像タイミングを制御する撮像制御部と、
前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号を生成する信号生成部と
を備え、
前記撮像制御部は、前記第１の撮像部と前記第２の撮像部の撮像タイミングが、前記フレーム周期の半分だけずれるように制御する
信号処理装置。
（１１）
手術部位を撮像して第１の撮像信号を出力する第１の撮像部と、前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位を撮像して第２の撮像信号を出力する第２の撮像部との撮像タイミングが、前記フレーム周期の半分だけずれるように制御し、
前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号を生成する
信号処理方法。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１００ ３Ｄ表示システム， １０１ 表示装置， １０２ 偏光メガネ， １１１ 表示パネル， １１２ 偏光板， １１３ パターンリターダ， ２００ ３Ｄ表示システム， ２０１ 表示装置， ２１１ 表示パネル， ２１２ 偏光板， ２１３ アクティブリターダ， ３０１ 顕微鏡手術システム， ３１１ 顕微鏡装置， ３１２ 制御装置， ３１３－１乃至３１３－ｎ 表示装置， ４０１Ｌ，４０１Ｒ 撮像部， ４２１Ｌ，４２１Ｒ ＣＣＵ， ４２２ ３Ｄ信号合成器， ４３１ 信号生成部， ４３２ 撮像制御部

Claims (7)

  1. 手術部位を撮像して第１の撮像信号を出力する第１の撮像部と、
    前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位を撮像して第２の撮像信号を出力する第２の撮像部と、
    前記第１の撮像部及び前記第２の撮像部の撮像タイミングを制御する撮像制御部と、
    前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号を生成する信号生成部と
    を備え、
    前記撮像制御部は、前記３Ｄ画像信号に基づく３Ｄ画像を表示する表示装置が複数ある場合、メインの術者用の表示装置の表示方式に基づいて、前記第１の撮像部及び前記第２の撮像部の撮像タイミングを制御する
    手術撮像システム。
  2. 前記撮像制御部は、前記メインの術者用の表示装置がアクティブリターダ方式である場合、前記第１の撮像部と前記第２の撮像部の撮像タイミングが前記フレーム周期の半分だけずれるように制御し、前記メインの術者用の表示装置がパターンリターダ方式である場合、前記第１の撮像部と前記第２の撮像部の撮像タイミングが同期するように制御する
    請求項１に記載の手術撮像システム。
  3. 前記信号生成部は、前記メインの術者用の表示装置がアクティブリターダ方式である場合、前記第１の撮像信号及び前記第２の撮像信号に基づいて、フレームシーケンシャル方式の前記３Ｄ画像信号を生成し、前記メインの術者用の表示装置がパターンリターダ方式である場合、前記第１の撮像信号及び前記第２の撮像信号に基づいて、ラインバイライン方式の前記３Ｄ画像信号を生成する
    請求項２に記載の手術撮像システム。
  4. 前記撮像制御部は、前記メインの術者用の表示装置からの表示方式を示す信号に基づいて、前記第１の撮像部及び前記第２の撮像部の撮像タイミングを制御する
    請求項１に記載の手術撮像システム。
  5. 前記第１の撮像部及び前記第２の撮像部は、４Ｋの解像度及び６０Ｐのフレームレートで撮像し、
    前記信号生成部は、４Ｋの解像度及び１２０Ｐのフレームレートの前記３Ｄ画像信号を生成する
    請求項１に記載の手術撮像システム。
  6. 手術部位を撮像して第１の撮像信号を出力する第１の撮像部、及び、前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位を撮像して第２の撮像信号を出力する第２の撮像部の撮像タイミングを制御する撮像制御部と、
    前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号を生成する信号生成部と
    を備え、
    前記撮像制御部は、前記３Ｄ画像信号に基づく３Ｄ画像を表示する表示装置が複数ある場合、メインの術者用の表示装置の表示方式に基づいて、前記第１の撮像部及び前記第２の撮像部の撮像タイミングを制御する
    信号処理装置。
  7. ３Ｄ画像信号に基づく３Ｄ画像を表示する表示装置が複数ある場合、メインの術者用の表示装置の表示方式に基づいて、手術部位を撮像して第１の撮像信号を出力する第１の撮像部と、前記第１の撮像部とは異なる角度から前記第１の撮像部と同じフレーム周期で前記手術部位を撮像して第２の撮像信号を出力する第２の撮像部との撮像タイミングを制御し、
    前記第１の撮像信号及び前記第２の撮像信号に基づいて、３Ｄ画像信号を生成する
    信号処理方法。
JP2021537689A 2019-08-05 2020-07-22 手術撮像システム、信号処理装置、及び、信号処理方法 Active JP7484922B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019143718 2019-08-05
JP2019143718 2019-08-05
PCT/JP2020/028388 WO2021024804A1 (ja) 2019-08-05 2020-07-22 手術撮像システム、信号処理装置、及び、信号処理方法

Publications (2)

Publication Number Publication Date
JPWO2021024804A1 JPWO2021024804A1 (ja) 2021-02-11
JP7484922B2 true JP7484922B2 (ja) 2024-05-16

Family

ID=74503476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021537689A Active JP7484922B2 (ja) 2019-08-05 2020-07-22 手術撮像システム、信号処理装置、及び、信号処理方法

Country Status (4)

Country Link
US (1) US20220273161A1 (ja)
EP (1) EP4013050A4 (ja)
JP (1) JP7484922B2 (ja)
WO (1) WO2021024804A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013070165A (ja) 2011-09-21 2013-04-18 Canon Inc ステレオ動画像の撮像装置、撮像方法、ステレオ動画像の表示装置、表示方法及びプログラム
WO2017138208A1 (ja) 2016-02-10 2017-08-17 オリンパス株式会社 内視鏡システム
WO2018163499A1 (ja) 2017-03-10 2018-09-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療画像表示制御装置、医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3506766B2 (ja) * 1994-05-27 2004-03-15 オリンパス株式会社 立体内視鏡撮像装置
US9648301B2 (en) * 2011-09-30 2017-05-09 Moon Key Lee Image processing system based on stereo image
CN107430785B (zh) * 2014-12-31 2021-03-30 Alt有限责任公司 用于显示三维对象的方法和系统
US10222619B2 (en) * 2015-07-12 2019-03-05 Steven Sounyoung Yu Head-worn image display apparatus for stereoscopic microsurgery
JP6884607B2 (ja) 2017-03-10 2021-06-09 ソニー・オリンパスメディカルソリューションズ株式会社 医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法
US10299880B2 (en) * 2017-04-24 2019-05-28 Truevision Systems, Inc. Stereoscopic visualization camera and platform

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013070165A (ja) 2011-09-21 2013-04-18 Canon Inc ステレオ動画像の撮像装置、撮像方法、ステレオ動画像の表示装置、表示方法及びプログラム
WO2017138208A1 (ja) 2016-02-10 2017-08-17 オリンパス株式会社 内視鏡システム
WO2018163499A1 (ja) 2017-03-10 2018-09-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療画像表示制御装置、医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法

Also Published As

Publication number Publication date
EP4013050A1 (en) 2022-06-15
US20220273161A1 (en) 2022-09-01
EP4013050A4 (en) 2022-12-21
WO2021024804A1 (ja) 2021-02-11
JPWO2021024804A1 (ja) 2021-02-11

Similar Documents

Publication Publication Date Title
JP5641200B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムならびに記録媒体
CN103513440B (zh) 成像设备
EP3369405B1 (en) Surgical microscope, image processing device, and image processing method
JP5985488B2 (ja) ステレオ光学系
WO2009145185A1 (ja) 立体映像表示装置
JP6010895B2 (ja) 撮像装置
JP2001117049A (ja) 立体観察装置および電子画像表示装置
JP6296365B2 (ja) 手術内視鏡用カメラコントロールユニット
JP2014145968A (ja) 手術顕微鏡システム
JP2011053564A (ja) 表示装置および撮像装置
JP7484922B2 (ja) 手術撮像システム、信号処理装置、及び、信号処理方法
JP2014102419A (ja) 電子映像表示装置
JP2006284989A (ja) 立体像撮影用光学アダプター
JPH05107482A (ja) 手術用顕微鏡
KR101339667B1 (ko) 의료 수술용 현미경의 3차원 고화질 영상 인터페이스 시스템
JP2014007648A (ja) 画像処理装置と画像処理方法およびプログラム
JP5390865B2 (ja) 立体画像撮影装置
JPH01319721A (ja) 実体顕微鏡
JP5627930B2 (ja) ３次元画像データ生成方法
JP2005266569A (ja) 三次元ディスプレイシステム
JP2011158644A (ja) 表示装置
JP2018149090A (ja) 医療用撮像装置及び医療用観察システム
JP7139548B2 (ja) ヘッドマウントディスプレイ
JP2006314393A (ja) 撮像装置及び顕微鏡
JP2004233480A (ja) 立体内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240415

R150 Certificate of patent or registration of utility model

Ref document number: 7484922

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150