JP7211835B2 - 撮像システムおよび同期制御方法 - Google Patents

撮像システムおよび同期制御方法 Download PDF

Info

Publication number
JP7211835B2
JP7211835B2 JP2019017851A JP2019017851A JP7211835B2 JP 7211835 B2 JP7211835 B2 JP 7211835B2 JP 2019017851 A JP2019017851 A JP 2019017851A JP 2019017851 A JP2019017851 A JP 2019017851A JP 7211835 B2 JP7211835 B2 JP 7211835B2
Authority
JP
Japan
Prior art keywords
light source
imaging
signal
synchronization
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019017851A
Other languages
English (en)
Other versions
JP2020124320A (ja
Inventor
哲司 平野
優治 木庭
春夫 小金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
I Pro Co Ltd
Original Assignee
I Pro Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by I Pro Co Ltd filed Critical I Pro Co Ltd
Priority to JP2019017851A priority Critical patent/JP7211835B2/ja
Priority to DE102020102254.9A priority patent/DE102020102254A1/de
Priority to US16/778,150 priority patent/US11388387B2/en
Publication of JP2020124320A publication Critical patent/JP2020124320A/ja
Application granted granted Critical
Publication of JP7211835B2 publication Critical patent/JP7211835B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/06Generation of synchronising signals
    • H04N5/067Arrangements or circuits at the transmitter end
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/06Generation of synchronising signals
    • H04N5/067Arrangements or circuits at the transmitter end
    • H04N5/073Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/06Generation of synchronising signals
    • H04N5/067Arrangements or circuits at the transmitter end
    • H04N5/073Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0733Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • H04N7/52Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • H04N7/52Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H04N7/54Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • H04N7/52Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H04N7/54Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
    • H04N7/56Synchronising systems therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Endoscopes (AREA)
  • Microscoopes, Condenser (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本開示は、複数の撮像装置のそれぞれの動作に関する同期を制御する撮像システムおよび同期制御方法に関する。
手術用の顕微鏡を用いて微細な手術対象部位(例えば被検体内の患部)を観察しながら行う顕微鏡手術、あるいは、内視鏡を用いて手術対象部位を観察しながら行う内視鏡手術では、手術対象部位の観察映像(例えば、可視映像、IR励起光により励起された蛍光が撮像された蛍光映像)を撮像してモニタに表示することが行われる。モニタに観察映像を表示することで、医師等は、手術対象部位の状況を詳細に確認でき、手術対象部位の状況をリアルタイムに把握可能となる。
特許文献1には、CMOSセンサの全ての画素から撮像信号を読み出すのに要する時間(1フレーム期間、例えば1/30秒間)とし、第1撮像モード時には1フレーム期間ごとに通常光と特殊光とを交互に切り替え、前半の1/2フレーム期間で露光して後半の1/2フレーム期間で撮像信号の読み出しを行う電子内視鏡システムが開示されている。これにより、1フレーム期間ごとに通常光画像と特殊光画像とが交互に取得される。また、第2撮像モード時には、2フレーム期間ごとに通常光と特殊光とが交互に切り替えられ、前半の1フレーム期間で露光されて後半の1フレーム期間で撮像信号の読み出しが行われる。これにより、2フレーム期間ごとに通常光画像と特殊光画像とが交互に取得される。
特開2010-068992号公報
上述した顕微鏡手術あるいは内視鏡手術等の医療手術の際、手術あるいは処置等が行われる手術対象部位(例えば、手術前に予め注射等で被検体に投与された蛍光薬剤が集積する患部等の部位)の鮮明な状況を判別可能とするため、観察映像を撮像するための撮像システムから視認性の良好な出力映像の表示が望まれる。特に、医師等が手術対象部位の詳細な状況を把握できるように、手術対象部位の立体的な出力映像(3D映像)の表示が望まれている。3D映像の撮像用に複数の撮像装置を使用して左眼用映像と右眼用映像とを得る際に、左右で正確な手術対象部位を撮像するために、複数の撮像装置のそれぞれの動作が同期していることが求められる。更に、術野を明るくするためや上述した蛍光映像を撮像するために複数種の光源装置を用いることがあるので、複数の撮像装置ならびに複数の光源装置がそれぞれ既定のタイミングで同期して動作する必要がある。ところが、上述した特許文献1には、このような同期の制御に関する示唆は考慮されていない。
本開示は、上述した従来の事情に鑑みて案出され、顕微鏡手術あるいは内視鏡手術等の医療行為の際に、複数の光源装置および複数の撮像装置をそれぞれ既定のタイミングで同期して動作可能とし、良好な画質の立体映像の出力を支援する撮像システムおよび同期制御方法を提供することを目的とする。
本開示は、波長帯が異なる光で被検体をそれぞれ照射する第1および第2の光源装置と、前記被検体をそれぞれ撮像する第1および第2の撮像装置と、前記第1および第2の撮像装置のそれぞれに対応して設けられ、対応する前記撮像装置により撮像された前記被検体の撮像映像を処理して出力部に出力する第1および第2の映像処理装置と、を備え、前記第1および第2の光源装置は、ゲンロック信号に基づいて、前記撮像映像のフレーム周期またはその整数倍ごとに同期して交互に点灯し、前記第1の撮像装置は、前記第1および第2の光源装置のそれぞれの点灯に同期して撮像し、前記第2の撮像装置は、前記第1および第2の光源装置のそれぞれの点灯に同期して撮像し、前記第1および第2の映像処理装置は、前記第1および第2の光源装置のそれぞれの点灯を指示する光源同期信号と同一の周期を有する前記ゲンロック信号をそれぞれ同時に外部装置から受信する、撮像システムを提供する。
また、本開示は、波長帯が異なる光で被検体をそれぞれ照射する第1および第2の光源装置と、前記被検体をそれぞれ撮像する第1および第2の撮像装置と、前記第1および第2の撮像装置のそれぞれに対応して設けられ、対応する前記撮像装置により撮像された前記被検体の撮像映像を処理して出力部に出力する第1および第2の映像処理装置と、を備える撮像システムにおける同期制御方法であって、前記第1および第2の光源装置が、ゲンロック信号に基づいて、前記撮像映像のフレーム周期またはその整数倍ごとに同期して交互に点灯し、前記第1の撮像装置は、前記第1および第2の光源装置のそれぞれの点灯に同期して撮像し、前記第2の撮像装置は、前記第1および第2の光源装置のそれぞれの点灯に同期して撮像し、前記第1および第2の映像処理装置は、前記第1および第2の光源装置のそれぞれの点灯を指示する光源同期信号と同一の周期を有する前記ゲンロック信号をそれぞれ同時に外部装置から受信する、同期制御方法を提供する。
本開示によれば、顕微鏡手術あるいは内視鏡手術等の医療行為の際に、複数の光源装置および複数の撮像装置をそれぞれ既定のタイミングで同期して動作可能とし、良好な画質の立体映像の出力を支援できる。
手術顕微鏡が使用される医療用カメラシステムの外観例を示す図 実施の形態1に係る医療用カメラシステムのシステム構成例を示すブロック図 可視/IR撮像部を構成するイメージセンサの種類の説明図 実施の形態1に係る可視光源装置、IR光源装置、カメラヘッドの同期制御に関する動作手順を示すタイミングチャート 可視光が照射された場合にそれぞれのCCUから出力される左眼用出力映像、右眼用出力映像の一例を示す図 IR励起光が照射された場合にそれぞれのCCUから出力される左眼用出力映像、右眼用出力映像の一例を示す図 実施の形態2に係る医療用カメラシステムのシステム構成例を示すブロック図 実施の形態2に係る可視光源装置、IR光源装置、カメラヘッドの同期制御に関する動作手順を示すタイミングチャート 実施の形態3に係る医療用カメラシステムのシステム構成例を示すブロック図 実施の形態3に係る可視光源装置、IR光源装置、カメラヘッドの同期制御に関する動作手順を示すタイミングチャート 実施の形態4に係る医療用カメラシステムのシステム構成例を示すブロック図 実施の形態4に係る可視光源装置、IR光源装置、カメラヘッドの同期制御に関する動作手順を示すタイミングチャート 手術内視鏡が使用される医療用カメラシステムの外観例を示す図
以下、適宜図面を参照しながら、本開示に係る撮像システムおよび同期制御方法の構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
また、以下の各実施の形態では、本開示に係る撮像システムの一例として、顕微鏡手術あるいは内視鏡手術等の医療手術の際に使用される医療用カメラシステムを説明する。ただし、撮像システムは、医療用カメラシステムの例に限定されない。
(実施の形態1)
実施の形態1では、手術顕微鏡を用いた医療行為が行われる際に使用される医療用カメラシステム100を例示して説明する。図1は、手術顕微鏡が使用される医療用カメラシステム100の外観例を示す図である。この医療用カメラシステム100は、医療用光学機器の一例としての手術顕微鏡10と、可視光源装置31と、IR(Infrared Ray)光源装置32と、撮像装置の一例としてのカメラヘッド21と、映像処理装置の一例としてのCCU(Camera Control Unit)40L,40Rと、出力部50とを含む構成である。カメラヘッド21とCCU40L,40Rとは信号ケーブル25を介して接続されている。なお、カメラヘッド21とCCU40L,40Rとにより、撮像装置が構成されてもよい。
手術顕微鏡10は、例えば双眼の顕微鏡であり、対物レンズと、医師等の観察者の左右の眼に対応するように設けられた観察光学系(図示略)と、接眼部13と、カメラ撮像用光学系14と、カメラ装着部15とを有する構成である。観察光学系は、観察者の左右の眼に対応するように、一対のズーム光学系(図示略)、一対の結像レンズ(図示略)、一対の接眼レンズ(図示略)をそれぞれ有する。一対のズーム光学系、一対の結像レンズ、一対の接眼レンズは、それぞれ対物レンズの光軸を挟んでそれぞれ対称的に配置される。被検体SUBからの光は、対物レンズに入射した後、一対のズーム光学系、一対の結像レンズ、一対の接眼レンズ、光学系(図示略)、ビームスプリッタ(図示略)を介して得られた、視差を持つ左右の観察画像を接眼部13に導く。観察者は、接眼部13を両眼で覗くことで、被検体SUBの観察対象部位の様子を立体的に視認可能となっている。
ここで、上述した被検体SUBからの光は、被検体SUB内の観察対象部位に集積したICG(インドシアニングリーン)等の蛍光薬剤(蛍光物質)に対し、可視光源装置31から照射される白色光(例えばRGB(Red Green Blue)の可視光)が観察対象部位により反射された反射光、あるいは、IR光源装置32から照射されるIR励起光が蛍光薬剤に照射されて励起された結果として発生する蛍光である。なお、手術顕微鏡10において、例えば対物レンズと一対のズーム光学系のそれぞれとの間に、IR励起光の透過を遮断するためのバンドカットフィルタ(BCF:Band Cut Filter)が形成されることが、蛍光の撮像に基づく蛍光画像の画質を劣化させない点で好ましい。
なお、顕微鏡手術もしくは内視鏡手術では、医師等が観察対象部位(例えば、被検体SUB内の患部)のリンパ節の状況を判別するために、被検体SUBの体内に蛍光薬剤であるICG(インドシアニングリーン)がIR励起光の照射前に注射等で予め投与される。これにより、被写体である患部にICG(インドシアニングリーン)が集積する。ICG(インドシアニングリーン)は、IR励起光に基づいて励起されると、より高波長側(例えば860nm)の光で蛍光発光する。IR励起光の波長は、例えば690~820nmである。この蛍光発光により生じた光(つまり、蛍光)が撮像されると、患部の状況が詳細に判別可能となる。
カメラ撮像用光学系14は、例えば光学系(図示略)、ビームスプリッタ(図示略)、ミラー(図示略)を有する。カメラ撮像用光学系14は、ビームスプリッタによって観察光学系を通過する光を偏向して分離し、ミラーによって反射してカメラ装着部15に導く。
図1において、手術顕微鏡10は、顕微鏡本体の上部に接眼部13が設けられ、接眼部13の基端部より側方にカメラ撮像用光学系14の筐体が延出し、カメラ装着部15が設けられる。カメラ装着部15は、上方に向かって開口し、カメラヘッド21の撮像光学系23が装着可能に形成されている。撮像光学系23は、カメラヘッド21の本体に対して着脱して交換可能であり、用途に応じて異なる光学特性を持つ撮像光学系を使用できる。
また、医療用カメラシステム100は、被検体SUBを照明するための可視光源装置31およびIR光源装置32、カメラヘッド21により撮像された観察映像のデータを記録するレコーダRC1、医療用カメラシステム100を操作するための操作ユニット33、観察者が足で操作入力を行うフットスイッチ37を含む。操作ユニット33、CCU40L,40R、可視光源装置31、IR光源装置32およびレコーダRC1は、制御ユニット筐体35に収納されている。制御ユニット筐体35の近傍には、出力部50(例えば液晶表示装置等のディスプレイ)が配置される。手術顕微鏡10は、変位可能な支持アーム34に取り付けられ、支持アーム34を介して制御ユニット筐体35に連結されている。
図2は、実施の形態1に係る医療用カメラシステム100のシステム構成例を示すブロック図である。図2に示す医療用カメラシステム100は、可視光源装置31と、IR光源装置32と、カメラヘッド21と、CCU40L,40Rと、出力部50とを含む構成である。なお、カメラヘッド21およびCCU40L,40Rとは一体化した装置の構成としてもよく、以下の実施の形態においても同様である。
可視光源装置31(第1の光源装置の一態様)は、手術顕微鏡を用いた医療行為(例えば手術)の際に、例えばゲンロックマスタ(後述参照)としての役割を有するCCU40Lから送出される可視光源制御信号WHC(図4参照)に同期してその可視光源制御信号WHCの信号成分がハイになるタイミングに、被検体SUBを照射して術野を明るくするための白色光(可視光)を照射する。可視光源制御信号WHCは、可視光源装置31から白色光(可視光)を照射させるための制御信号であり、カメラヘッド21(具体的には、カメラヘッド21L,21Rのそれぞれ)により撮像される撮像映像のフレームレートが例えば60fpsである場合に「1/60」秒ごとに送出され、撮像映像のフレーム同期信号FR1と同周期である。フレーム同期信号FR1は、撮像映像を構成する1フレームの撮像画像を得るための制御信号であり、同様に撮像映像のフレームレートが例えば60fpsである場合には「1/60」秒となる。なお、実施の形態1において、ゲンロックマスタとしての役割はCCU40Rが有してもよく、この場合にはCCU40Rから可視光源制御信号WHCが可視光源装置31に送出される。
IR光源装置32(第2の光源装置の一態様)は、手術顕微鏡を用いた医療行為(例えば手術)の際に、例えばゲンロックマスタ(後述参照)としての役割を有するCCU40Lから送出されるIR光源制御信号IRC(図4参照)に同期してそのIR光源制御信号IRCの信号成分がハイになるタイミングに、蛍光薬剤が集積した被検体SUBの患部を蛍光発光させるためのIR励起光を照射する。IR光源制御信号IRCは、IR光源装置32からIR励起光を照射させるための制御信号であり、カメラヘッド21(具体的には、カメラヘッド21L,21Rのそれぞれ)により撮像される撮像映像のフレームレートが例えば60fpsである場合に「1/60」秒ごとに送出され、撮像映像のフレーム同期信号FR1と同周期である。
カメラヘッド21は、カメラヘッド21L,カメラヘッド21Rを含む。カメラヘッド21L,21Rはそれぞれ同様の構成を有する。
カメラヘッド21L(第1の撮像装置の一態様)は、撮像光学系22Lと、可視/IR撮像部23Lとを含む。撮像光学系22Lは、白色光あるいはIR励起光の照射に対する被検体SUBの反射光を入射して集光し、その光による被写体像を可視/IR撮像部23Lに結像する。可視/IR撮像部23Lは、撮像光学系22Lにより結像された被写体像を、RGBおよびIRの各周波数帯の光に分光する分光プリズムと、RGBおよびIRの各波長帯の光の被写体像をそれぞれ撮像するイメージセンサ(図3参照)とを有する。可視/IR撮像部23Lは、対応するCCU40Lから送られるフレーム同期信号FR1(後述参照)により規定されたタイミングに合わせて、撮像光学系22Lにより結像された被写体像の撮像やその撮像された画像(映像)の読出しを行う。
ここで、図3を参照して、カメラヘッド21L、21Rの可視/IR撮像部23L,23R内のそれぞれのイメージセンサの構造について説明する。図3は、可視/IR撮像部23L,23Rを構成するイメージセンサの種類の説明図である。
イメージセンサが単板式である場合、その撮像面の前面(つまり、撮像光学系22L,22R側)には、赤色(R),緑色(G),青色(B)およびIRの4画素に対応するように構成される色フィルタ22CFL1、あるいは赤色(R),緑色(G),青色(B)および緑色(G)の4画素に対応するように構成される色フィルタ22CFL2がベイヤ配列で配置される。色フィルタ22CFL1において、赤色(R)は赤色の波長の光を透過させ、緑色(G)は緑色の波長の光を透過させ、青色(B)は青色の波長の光を透過させ、IRはIRの波長の光を透過させる。同様に、色フィルタ22CFL2において、赤色(R)は赤色の波長の光を透過させ、緑色(G)は緑色の波長の光とIRの波長の光を透過させ、青色(B)は青色の波長の光を透過させる。つまり、色フィルタ22CFL2では、IR領域に感度を有する緑色(G)の色フィルタが使用される。なお、赤色(R)や青色(B)の色フィルタにおいても、IR領域に感度を有するので、緑色(G)の色フィルタの代わりに、赤色(R)や青色(B)の色フィルタ22CFL2が使用されてもよい。
また、イメージセンサは3板式でもよい(図3参照)。具体的には、IR領域に感度を有する赤色(R)の波長の光を透過させる色フィルタCFL3が使用されたイメージセンサと、緑色(G)の波長の光を透過させる色フィルタCFL4が使用されたイメージセンサと、青色(B)の波長の光を透過させる色フィルタCFL5が使用されたイメージセンサとにより構成されてよい。イメージセンサは、例えば正方形に成形され、CCD(Charged Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子である。
カメラヘッド21R(第2の撮像装置の一態様)は、撮像光学系22Rと、可視/IR撮像部23Rとを含む。撮像光学系22Rは、白色光あるいはIR励起光の照射に対する被検体SUBの反射光を入射して集光し、その光による被写体像を可視/IR撮像部23Rに結像する。可視/IR撮像部23Rは、撮像光学系22Rにより結像された被写体像を、RGBおよびIRの各周波数帯の光に分光する分光プリズムと、RGBおよびIRの各波長帯の光の被写体像をそれぞれ撮像するイメージセンサ(図3参照)とを有する。可視/IR撮像部23Rは、対応するCCU40Rから送られるフレーム同期信号FR2(後述参照)により規定されたタイミングに合わせて、撮像光学系22Rにより結像された被写体像の撮像やその撮像された画像(映像)の読出しを行う。
CCU40L(第1の映像処理装置の一態様)は、カメラヘッド21Lにより撮像された撮像映像のデータを入力し、その撮像映像のデータに対して各種の映像処理を施し、出力部50において立体視が可能な3D映像を構成するための左眼用出力映像を生成する。CCU40Lは、生成された左眼用出力映像のデータを出力部50に出力する。CCU40Lは、同期信号生成部41Lと、光源制御部42Lと、カメラ制御部43Lと、ゲンロック送信部44Lとを含む。
同期信号生成部41Lと、光源制御部42Lと、カメラ制御部43Lとは、例えばCPU(Central Processing Unit)、DSP(Digital Signal Processor)あるいはFPGA(Field Programmable Gate Array)等のプロセッサにより構成される。プロセッサは、例えばCCU40Lに内蔵されるメモリ(図2において図示略)に記憶される所定のプログラムに従って各種の処理を実行する。プロセッサは、動作時にメモリのRAM(Random Access Memory)およびROM(Read Only Memory)を使用し、プロセッサが生成または取得したデータもしくは情報を前述したRAMに一時的に保存する。ROMには、プロセッサの機能を実行するためのプログラム、各種の設定データが保存される。また、RAMには、プロセッサの処理時に生成される各種のデータが記憶される。
実施の形態1では、CCU40Lは、ゲンロックマスタとしての役割を有する。ゲンロックマスタは、ゲンロック信号(つまり、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)、カメラヘッド21L,21Rのそれぞれの撮像等の各動作を図4に示す既定のタイミングで揃える(つまり、同期させる)ための基準信号)を生成する。なお、既定のタイミングは図4に示されるタイミング以外に、図7や図9に示されるタイミングであってもよい。
同期信号生成部41Lは、ゲンロックマスタとして、光源同期信号LS1,LS2(後述参照)と同期するゲンロック信号GLCK(上述参照)を生成する。撮像映像のフレームレートが例えば60fpsである場合、ゲンロック信号GLCKは、光源同期信号LS1,LS2と同様に「1/30」秒ごとに信号成分がハイとなる(図4参照)。また、同期信号生成部41Lは、ゲンロック送信部44Lを介してCCU40Rに送る。
同期信号生成部41Lは、この生成されたゲンロック信号GLCKに基づいて、CCU40Lに対応するカメラヘッド21Lにより撮像される撮像映像のフレーム同期信号FR1を生成するとともに、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)の開始タイミングを規定するための光源同期信号LS1を生成する。撮像映像のフレームレートが例えば60fpsである場合、図4に示すように、フレーム同期信号FR1は「1/60」秒ごとに信号成分がハイとなり、光源同期信号LS1は「1/30」秒ごとに信号成分がハイとなる。これは、可視光源装置31とIR光源装置32とが「1/60」秒ごとに交互に繰り返して照射(点灯)するように制御されるためである。同期信号生成部41Lは、フレーム同期信号FR1をカメラ制御部43Lに送り、光源同期信号LS1を光源制御部42Lに送る。なお、同期信号生成部41Lは、フレーム同期信号FR1および光源同期信号LS1を、光源制御部42Lおよびカメラ制御部43Lのそれぞれに送ってもよい。
光源制御部42Lは、可視光源装置31からの白色光の照射(点灯)およびIR光源装置32からのIR励起光の照射(点灯)のタイミングを制御する。光源制御部42Lは、同期信号生成部41Lから送られた光源同期信号LS1の入力に応じて、可視光源装置31とIR光源装置32とを「1/60」秒ごとに交互に繰り返して照射(点灯)させるための可視光源制御信号WHCおよびIR光源制御信号IRCを交互に時分割でそれぞれ生成する。光源制御部42Lは、可視光源制御信号WHCを可視光源装置31に送るとともに、IR光源制御信号IRCをIR光源装置32に送る。
カメラ制御部43Lは、同期信号生成部41Lから送られたフレーム同期信号FR1の入力に応じて、CCU40Lに対応するカメラヘッド21Lにより撮像された撮像映像を、そのフレーム同期信号FR1に同期して入力する。カメラ制御部43Lは、その入力された撮像映像に対して各種の映像処理を施し、出力部50において立体視が可能な3D映像を構成するための左眼用出力映像を生成して出力部50に出力する。また、カメラ制御部43Lは、フレーム同期信号FR1の入力に応じて、対応するカメラヘッド21Lの可視/IR撮像部23Lの撮像および読出しを制御する(図4参照)。
ゲンロック送信部44Lは、ゲンロックスレーブ(後述参照)としての役割を有するCCU40Rとの間でゲンロック信号GLCKに関する信号の送受を実行可能な通信回路により構成される。ゲンロック送信部44Lは、同期信号生成部41Lにより生成されたゲンロック信号GLCKをCCU40Rのゲンロック受信部45Rに送信する。
CCU40R(第2の映像処理装置の一態様)は、カメラヘッド21Rにより撮像された撮像映像のデータを入力し、その撮像映像のデータに対して各種の映像処理を施し、出力部50において立体視が可能な3D映像を構成するための右眼用出力映像を生成する。CCU40Rは、生成された右眼用出力映像のデータを出力部50に出力する。CCU40Rは、同期信号生成部41Rと、カメラ制御部43Rと、ゲンロック受信部45Rとを含む。なお、図2の例では可視光源装置31に可視光源制御信号WHC、IR光源装置32にIR光源制御信号IRCを送るのはゲンロックマスタとしての役割を有するCCU40Lとしているが、CCU40Rが送ってもよくCCU40Rが送る場合には光源制御部42Lと同一の構成で対応する光源制御部がCCU40Rに設けられる。
同期信号生成部41Rと、カメラ制御部43Rとは、例えばCPU、DSPあるいはFPGA等のプロセッサにより構成される。プロセッサは、例えばCCU40Rに内蔵されるメモリ(図2において図示略)に記憶される所定のプログラムに従って各種の処理を実行する。プロセッサは、動作時にメモリのRAMおよびROMを使用し、プロセッサが生成または取得したデータもしくは情報を前述したRAMに一時的に保存する。ROMには、プロセッサの機能を実行するためのプログラム、各種の設定データが保存される。また、RAMには、プロセッサの処理時に生成される各種のデータが記憶される。
実施の形態1では、CCU40Rは、ゲンロックスレーブとしての役割を有する。ゲンロックスレーブは、ゲンロックマスタにより生成されるゲンロック信号(つまり、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)、カメラヘッド21L,21Rのそれぞれの撮像等の各動作を図4に示す既定のタイミングで揃える(つまり、同期させる)ための基準信号)を受信する。なお、既定のタイミングは図4に示されるタイミング以外に、図7や図9に示されるタイミングであってもよい。
同期信号生成部41Rは、ゲンロックスレーブとして、ゲンロック受信部45Rから送られたゲンロック信号GLCKを入力する。同期信号生成部41Rは、そのゲンロック信号GLCKに基づいて、CCU40Rに対応するカメラヘッド21Rにより撮像される撮像映像のフレーム同期信号FR2を生成するとともに、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)の開始タイミングを規定するための光源同期信号LS2を生成する。撮像映像のフレームレートが例えば60fpsである場合、図4に示すように、フレーム同期信号FR2は「1/60」秒ごとに信号成分がハイとなり、光源同期信号LS2は「1/30」秒ごとに信号成分がハイとなる。これは、可視光源装置31とIR光源装置32とが「1/60」秒ごとに交互に繰り返して照射(点灯)するように制御されるためである。同期信号生成部41Rは、フレーム同期信号FR2をカメラ制御部43Rに送る。
カメラ制御部43Rは、同期信号生成部41Rから送られたフレーム同期信号FR2の入力に応じて、CCU40Rに対応するカメラヘッド21Rにより撮像された撮像映像を、そのフレーム同期信号FR2に同期して入力する。カメラ制御部43Rは、その入力された撮像映像に対して各種の映像処理を施し、出力部50において立体視が可能な3D映像を構成するための右眼用出力映像を生成して出力部50に出力する。また、カメラ制御部43Rは、フレーム同期信号FR2の入力に応じて、対応するカメラヘッド21Rの可視/IR撮像部23Rの撮像および読出しを制御する(図4参照)。
ゲンロック受信部45Rは、ゲンロックマスタとしての役割を有するCCU40Lとの間でゲンロック信号GLCKに関する信号の送受を実行可能な通信回路により構成される。ゲンロック受信部45Rは、CCU40Lから送られたゲンロック信号GLCKを受信して同期信号生成部41Rに送る。
出力部50は、例えばLCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)もしくは有機EL(Electroluminescence)等の表示デバイスを用いて構成される。出力部50は、CCU40L,40Rのそれぞれによる各種の映像処理が施された後の左眼用出力映像,右眼用出力映像のデータを2次元(2D)的、あるいは3次元(3D)的に表示する。出力部50に表示された映像は、例えば手術中に医師等によって視認される。
次に、実施の形態1に係る可視光源装置31、IR光源装置32、カメラヘッド21のそれぞれの動作タイミングについて、図4を参照して説明する。図4は、実施の形態1に係る可視光源装置31、IR光源装置32、カメラヘッド21(21L,21R)の同期制御に関する動作手順を示すタイミングチャートである。
図4において、ゲンロック信号GLCKは、光源同期信号LS1,LS2に同期して信号成分がハイになっている。撮像映像のフレームレートが例えば60fpsである場合、CCU40L,40Rにおけるフレーム同期信号FR1,FR2は「1/60」秒ごとに信号成分がハイとなり、光源同期信号LS1,LS2は「1/30」秒ごと(つまり、フレーム同期信号FR1,FR2の2倍の周期ごと)に信号成分がハイとなる。また、光源同期信号LS1,LS2は、2倍のフレーム同期信号FR1,FR2に同期して信号成分がハイになっている。
可視光源制御信号WHCは、光源同期信号LS1,LS2(つまり、2倍のフレーム同期信号FR1,FR2)の前半1フレーム期間(1/60秒)に同期するように出力される。IR光源制御信号IRCは、光源同期信号LS1,LS2(つまり、2倍のフレーム同期信号FR1,FR2)の後半1フレーム期間(1/60秒)に同期するように出力される。従って、2倍のフレーム同期信号FR1,FR2の前半1フレーム期間の間は可視光源装置31から白色光が照射され、後半1フレーム期間の間はIR光源装置32からIR励起光が照射されるので、白色光とIR励起光とは1フレーム期間(1/60秒)ごとに交互に照射される。
カメラヘッド21L,21Rの可視/IR撮像部23L,23Rは、可視光源装置31からの白色光の照射期間(点灯期間)と同期するように、撮像光学系22L,22Rを透過した被検体SUBからの白色光(可視光)に対し、光源同期信号LS1,LS2の前半1フレーム期間(1/60秒)に撮像を行う。可視/IR撮像部23L,23Rは、可視光源装置31からの白色光の非照射期間(非点灯期間)と同期するように、後半1フレーム期間(1/60秒)に、撮像された撮像映像の電気信号をサンプリングする等の読出しを行って対応するCCU40L,40Rに出力する。
また、カメラヘッド21L,21Rの可視/IR撮像部23L,23Rは、IR光源装置32からのIR励起光の照射期間(点灯期間)と同期するように、撮像光学系22L,22Rを透過した被検体SUBからの蛍光に対し、光源同期信号LS1,LS2の後半1フレーム期間(1/60秒)に撮像を行う。可視/IR撮像部23L,23Rは、IR光源装置32からのIR励起光の非照射期間(非点灯期間)と同期するように、前半1フレーム期間(1/60秒)に、撮像された撮像映像の電気信号をサンプリングする等の読出しを行って対応するCCU40L,40Rに出力する。
図5は、可視光が照射された場合にそれぞれのCCU40L,40Rから出力される左眼用出力映像Op1、右眼用出力映像Op2の一例を示す図である。図6は、IR励起光が照射された場合にそれぞれのCCU40L,40Rから出力される左眼用出力映像Op3、右眼用出力映像Op4の一例を示す図である。説明を分かり易くするために、図5および図6では、左眼用出力映像Op1および右眼用出力映像Op2、左眼用出力映像Op3および右眼用出力映像Op4はともに出力部50においてそれぞれ離間して図示される例が示されているが、3D的に重ね合わされて表示されてもよい。
図4に示すように、光源同期信号LS1,LS2と同周期で同期するゲンロック信号GLCKに基づいて、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)、カメラヘッド21L,21Rのそれぞれの撮像等の各動作が図4に示す既定のタイミングで揃う(つまり、同期する)。これにより、図5に示すように、可視光源装置31から白色光が点灯された区間に得られた、患部tgが映る左眼用出力映像Op1および右眼用出力映像Op2は、光源同期信号LS1,LS2と同期する複数のカメラヘッド21L,21Rのそれぞれが同一の期間に撮像したことで得られるため、画質の良好な出力映像となる。従って、出力部50は、例えばサイマル方式に従って、左眼用出力映像Op1および右眼用出力映像Op2に対して所定の視差を形成した上で、術野の状態が明るく点灯された映像を3D(立体的)に表示できる。
また、図6に示すように、IR光源装置32からIR励起光が点灯された区間に得られた、蛍光発光した患部tg以外が真っ黒となる左眼用出力映像Op3および右眼用出力映像Op4は、光源同期信号LS1,LS2と同期する複数のカメラヘッド21L,21Rのそれぞれが同一の期間に撮像したことで得られるため、画質の良好な出力映像となる。従って、出力部50は、例えばサイマル方式に従って、左眼用出力映像Op3および右眼用出力映像Op4に対して所定の視差を形成した上で、蛍光の状態が判別可能な映像を3D(立体的)に表示できる。
以上により、実施の形態1に係る医療用カメラシステム100は、波長帯が異なる光で被検体SUBをそれぞれ照射する可視光源装置31およびIR光源装置32と、被検体SUBをそれぞれ撮像するカメラヘッド21L,21Rとを備える。医療用カメラシステム100は、カメラヘッド21L,21Rのそれぞれに対応して設けられ、対応するいずれかのカメラヘッドにより撮像された被検体SUBの撮像映像を処理して出力部50に出力するCCU40L,40Rを備える。可視光源装置31およびIR光源装置32は、ゲンロック信号GLCKに基づいて、撮像映像のフレーム周期(例えば1/60秒)またはその整数倍(例えば2倍)ごとに同期して交互に点灯する。カメラヘッド21Lは、可視光源装置31およびIR光源装置32のそれぞれの点灯に同期して撮像する。カメラヘッド21Rは、可視光源装置31およびIR光源装置32のそれぞれの点灯に同期して撮像する。
これにより、医療用カメラシステム100によれば、顕微鏡手術あるいは内視鏡手術等の医療行為の際に、複数の光源装置(例えば可視光源装置31,IR光源装置32)および複数の撮像装置(例えばカメラヘッド21L,21R)をそれぞれ既定のタイミングで同期して動作可能とできる。従って、医療用カメラシステム100によれば、手術対象部位の良好な画質を有する立体的な出力映像(3D映像)の出力(例えば表示)を支援できるので、医師等が手術対象部位の詳細な状況を適切に把握できる。
また、CCU40Lは、可視光源装置31およびIR光源装置32のそれぞれの点灯を指示する光源同期信号LS1,LS2と同一の周期を有するゲンロック信号GLCKを、撮像映像の2回分のフレーム周期と同期する(信号成分がハイになるタイミングが一致する)ように生成してCCU40Rに送る。CCU40Lは、ゲンロック信号GLCKに基づいて、可視光源装置31およびIR光源装置32のそれぞれの点灯ならびに対応するカメラヘッド21Lの撮像を制御する。これにより、可視光源装置31およびIR光源装置32のそれぞれの点灯ならびに対応するカメラヘッド21Lの撮像がそれぞれ同期するので、可視光源装置31およびIR光源装置32のそれぞれの点灯に合わせて、カメラヘッド21Lから被検体SUBの撮像映像(例えば可視映像、蛍光映像)が適切に得られる。
また、CCU40Rは、CCU40Lから送られたゲンロック信号GLCKに基づいて、対応するカメラヘッド21Rの撮像を制御する。これにより、可視光源装置31およびIR光源装置32のそれぞれの点灯ならびに対応するカメラヘッド21L,21Rの撮像がそれぞれ同期するので、可視光源装置31およびIR光源装置32のそれぞれの点灯に合わせて、カメラヘッド21L、21Rのそれぞれから被検体SUBの撮像映像(例えば可視映像、蛍光映像)が適切に得られ、出力部50において立体表示が可能となる出力映像が適切に得られる。
また、可視光源装置31は、可視光を照射する。IR光源装置32は、被検体SUBに投与された蛍光物質(例えばICG)を蛍光発光させるためのIR領域の励起光(IR励起光)を照射する。これにより、出力部50において、被検体SUBの術野が白色光によって明るく照射された時の立体映像、ならびに被検体SUBの患部tgがIR励起光によって生じた蛍光の立体映像がともに表示可能となる。
また、CCU40Lは、既定の映像処理に基づいて生成した左眼用の撮像映像(左眼用出力映像)を出力部50に出力する。CCU40Rは、既定の映像処理に基づいて生成した右眼用の撮像映像(右眼用出力映像)を出力部50に出力する。これにより、医師等は、手術対象部位の良好な画質を有する立体的な出力映像(3D映像)を出力部50において目視にて確認できるので、手術対象部位の詳細な状況を適切に把握できる。
(実施の形態2)
実施の形態2でも、実施の形態1と同様に、手術顕微鏡を用いた医療行為が行われる際に使用される医療用カメラシステム100Aを例示して説明する。図7は、実施の形態2に係る医療用カメラシステム100Aのシステム構成例を示すブロック図である。図7の説明において、図2に示す医療用カメラシステム100の構成要素と同一の構成要素には同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
実施の形態2に係る医療用カメラシステム100Aは、可視光源装置31と、IR光源装置32と、カメラヘッド21と、CCU40LA,40RAと、出力部50と、ゲンロック信号送信装置60とを含む構成である。実施の形態2では、実施の形態1と異なり、ゲンロックマスタはCCU40LAではなく、ゲンロック信号送信装置60である。言い換えると、実施の形態2では、CCU40LA,40RAはともにゲンロック信号送信装置60から送られるゲンロック信号GLCKを受信するゲンロックスレーブとしての役割を有する。
CCU40LA(第1の映像処理装置の一態様)は、カメラヘッド21Lにより撮像された撮像映像のデータを入力し、その撮像映像のデータに対して各種の映像処理を施し、出力部50において立体視が可能な3D映像を構成するための左眼用出力映像を生成する。CCU40LAは、生成された左眼用出力映像のデータを出力部50に出力する。CCU40LAは、同期信号生成部41Lと、光源制御部42Lと、カメラ制御部43Lと、ゲンロック受信部45Lとを含む。
同期信号生成部41Lは、ゲンロックスレーブとして、ゲンロック受信部45Lにより受信されたゲンロック信号GLCK1を入力する。同期信号生成部41Lは、そのゲンロック信号GLCK1に基づいて、CCU40LAに対応するカメラヘッド21Lにより撮像される撮像映像のフレーム同期信号FR1を生成するとともに、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)の開始タイミングを規定するための光源同期信号LS1を生成する。
ゲンロック受信部45Lは、ゲンロックマスタとしての役割を有するゲンロック信号送信装置60との間でゲンロック信号GLCK1に関する信号の送受を実行可能な通信回路により構成される。ゲンロック受信部45Lは、ゲンロック信号送信装置60から送られたゲンロック信号GLCK1を受信して同期信号生成部41Lに送る。
CCU40RA(第2の映像処理装置の一態様)は、カメラヘッド21Rにより撮像された撮像映像のデータを入力し、その撮像映像のデータに対して各種の映像処理を施し、出力部50において立体視が可能な3D映像を構成するための右眼用出力映像を生成する。CCU40RAは、生成された右眼用出力映像のデータを出力部50に出力する。CCU40RAは、同期信号生成部41Rと、カメラ制御部43Rと、ゲンロック受信部45Rとを含む。
同期信号生成部41Rは、ゲンロックスレーブとして、ゲンロック受信部45Rにより受信されたゲンロック信号GLCK2を入力する。同期信号生成部41Rは、そのゲンロック信号GLCK2に基づいて、CCU40LRに対応するカメラヘッド21Rにより撮像される撮像映像のフレーム同期信号FR2を生成するとともに、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)の開始タイミングを規定するための光源同期信号LS2を生成する。
ゲンロック受信部45Rは、ゲンロックマスタとしての役割を有するゲンロック信号送信装置60との間でゲンロック信号GLCK2に関する信号の送受を実行可能な通信回路により構成される。ゲンロック受信部45Rは、ゲンロック信号送信装置60から送られたゲンロック信号GLCK2を受信して同期信号生成部41Rに送る。
ゲンロック信号送信装置60(外部装置の一態様)は、ゲンロックマスタとして、光源同期信号LS1,LS2と同期するゲンロック信号GLCK1,GLCK2をそれぞれ生成する。ゲンロック信号送信装置60は、ゲンロック信号GLCK1をCCU40LAに送り、ゲンロック信号GLCK2をCCU40RAに送る。撮像映像のフレームレートが例えば60fpsである場合、ゲンロック信号GLCK1,GLCK2は、それぞれ光源同期信号LS1,LS2と同様に「1/30」秒ごとに信号成分がハイとなる(図8参照)。
次に、実施の形態2に係る可視光源装置31、IR光源装置32、カメラヘッド21のそれぞれの動作タイミングについて、図8を参照して説明する。図8は、実施の形態2に係る可視光源装置31、IR光源装置32、カメラヘッド21の同期制御に関する動作手順を示すタイミングチャートである。図8において、図4の各部の動作タイミングと重複する内容については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
図8において、ゲンロックスレーブとしての役割を有するCCU40LA,40RAには、ゲンロックマスタとしての役割を有するゲンロック信号送信装置60からゲンロック信号GLCK1,GLCK2が同時に入力される。ゲンロック信号GLCK1,GLCK2はそれぞれ同周期であり、信号成分がハイになるタイミングは同一である。また、実施の形態1と同様に、撮像映像のフレームレートが例えば60fpsである場合、ゲンロック信号GLCK1,GLCK2は、光源同期信号LS1,LS2と同様に「1/30」秒ごとに信号成分がハイとなり、ハイになるタイミングも同一である。以降の処理は実施の形態1に係る医療用カメラシステム100の動作と同様であるため、詳細な説明は省略する。
以上により、実施の形態2に係る医療用カメラシステム100Aでは、CCU40LA,40RAは、可視光源装置31およびIR光源装置32のそれぞれの点灯を指示する光源同期信号LS1,LS2と同一の周期を有するゲンロック信号GLCK1,GLCK2をそれぞれ同時にゲンロック信号送信装置60から受信する。これにより、CCU40LA,40RAがともにゲンロックスレーブとして共通の役割を有するので、実施の形態1のようにCCU40LAがゲンロック信号を生成する処理を省略できてCCU40LAの処理負荷を軽減できる。
また、CCU40LAは、受信されたゲンロック信号GLCK1に基づいて、可視光源装置31およびIR光源装置32のそれぞれの点灯ならびに対応するカメラヘッド21Lの撮像を制御する。CCU40RAは、受信されたゲンロック信号GLCK2に基づいて、対応するカメラヘッド21Rの撮像を制御する。これにより、ゲンロック信号送信装置60からの同周期かつ信号成分がハイになるタイミングが同一のゲンロック信号GLCK1,GLCK2がCCU40LA,40RAにそれぞれ入力されるので、CCU40LA,40RAのうち一方がゲンロック信号を生成しなくても、可視光源装置31およびIR光源装置32の点灯、カメラヘッド21L,21Rの撮像のタイミングが同期して良好な画質の左眼用出力映像および右眼用出力映像が得られる。
(実施の形態3)
実施の形態3でも、実施の形態1,2と同様に、手術顕微鏡を用いた医療行為が行われる際に使用される医療用カメラシステム100Bを例示して説明する。図9は、実施の形態3に係る医療用カメラシステム100Bのシステム構成例を示すブロック図である。図9の説明において、図2に示す医療用カメラシステム100の構成要素と同一の構成要素には同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
実施の形態3に係る医療用カメラシステム100Bは、可視光源装置31と、IR光源装置32と、カメラヘッド21と、CCU40LB,40RBと、出力部50と、外部制御装置70とを含む構成である。実施の形態3では、実施の形態1と同様に、ゲンロックマスタは2つのCCU40LB,40RBのうち一方(例えばCCU40LB)である。言い換えると、実施の形態3では、CCU40LBはゲンロック信号GLCKを生成するゲンロックマスタの役割を有し、CCU40RBはゲンロック信号GLCKを受信するゲンロックスレーブの役割を有する。
CCU40LB(第1の映像処理装置の一態様)は、カメラヘッド21Lにより撮像された撮像映像のデータを入力し、その撮像映像のデータに対して各種の映像処理を施し、出力部50において立体視が可能な3D映像を構成するための左眼用出力映像を生成する。CCU40LBは、生成された左眼用出力映像のデータを出力部50に出力する。CCU40LBは、同期信号生成部41Lと、光源制御部42Lと、カメラ制御部43Lと、ゲンロック送信部44Lと、外部制御装置I/F部46Lとを含む。
同期信号生成部41Lは、フレーム周期(図10参照)内に外部制御装置I/F部46Lを介して同期信号初期化指示信号INT1を受信すると、その次のフレーム周期から可視光源装置31,IR光源装置32のそれぞれの照射(点灯)、カメラヘッド21L,21Rのそれぞれの撮像等の各動作を図10に示す既定のタイミングで揃える(つまり、同期させる)ためのゲンロック信号GLCKを生成する。同期信号初期化指示信号INT1は、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)、カメラヘッド21L,21Rのそれぞれの撮像等の各動作の同期を初期化(リセット)するための指示信号である。これは、経年使用等により、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)、カメラヘッド21L,21Rのそれぞれの撮像等の各動作の同期が崩れる可能性が高くなり、この同期崩れをリセット(初期化)するためである。同期信号生成部41Lは、ゲンロックマスタとして、光源同期信号LS1,LS2と同期するゲンロック信号GLCK(上述参照)を生成し、ゲンロック送信部44Lを介してCCU40RBに送る。撮像映像のフレームレートが例えば60fpsである場合、ゲンロック信号GLCKは、光源同期信号LS1,LS2と同様に「1/15」秒ごとに信号成分がハイとなり、ハイになるタイミングも同一である(図10参照)。
同期信号生成部41Lは、この生成されたゲンロック信号GLCKに基づいて、CCU40LBに対応するカメラヘッド21Lにより撮像される撮像映像のフレーム同期信号FR1を生成する。また、同期信号生成部41Lは、光源同期カウンタCT1を有し、ゲンロック信号GLCKと光源同期カウンタCT1の値とに基づいて、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)の開始タイミングを規定するための光源同期信号LS1を生成する。なお、光源同期カウンタCT1はCCU40LB内に設けられれば、同期信号生成部41Lが有さなくてもよい。撮像映像のフレームレートが例えば60fpsである場合、図10に示すように、フレーム同期信号FR1は「1/60」秒ごとに信号成分がハイとなり、光源同期信号LS1は「1/15」秒ごとに信号成分がハイとなる。これは、可視光源装置31が3倍のフレーム周期(例えば「1/60」×3)にわたって照射(点灯)されてその後にIR光源装置32がフレーム周期(例えば「1/60」×1)にわたって照射(点灯)され、それらの照射(点灯)パターンを基準として繰り返されるように制御されるためである。同期信号生成部41Lは、フレーム同期信号FR1をカメラ制御部43Lに送り、光源同期信号LS1を光源制御部42Lに送る。なお、同期信号生成部41Lは、フレーム同期信号FR1および光源同期信号LS1を、光源制御部42Lおよびカメラ制御部43Lのそれぞれに送ってもよい。
光源制御部42Lは、可視光源装置31からの白色光の照射(点灯)およびIR光源装置32からのIR励起光の照射(点灯)のタイミングを制御する。光源制御部42Lは、同期信号生成部41Lから送られた光源同期信号LS1の入力に応じて、光源同期カウンタCT1の値が「0」から「2」になるまでの期間(つまり、3倍のフレーム周期の期間)に可視光源装置31を連続して照射(点灯)させるための可視光源制御信号WHC、光源同期カウンタCT1の値が「2」から「3」になるまでの期間(つまり、フレーム周期の期間)にIR光源装置32を照射(点灯)させるためのIR光源制御信号IRCをそれぞれ生成する。なお、光源同期カウンタCT1,CT2の値は、「0」、「1」、「2」、「3」と変化し、「3」の次は「0」に戻る。つまり、光源同期カウンタCT1,CT2の値は、光源同期信号LS1の周期(4倍のフレーム周期)を繰り返し基準となるように変化する。光源制御部42Lは、可視光源制御信号WHCを可視光源装置31に送るとともに、IR光源制御信号IRCをIR光源装置32に送る。
外部制御装置I/F部46Lは、外部制御装置70との間で同期信号初期化指示信号INT1に関する信号の送受を実行可能な通信回路により構成される。外部制御装置I/F部46Lは、外部制御装置70から送られた同期信号初期化指示信号INT1を受信すると、同期信号生成部41Lに転送する。
CCU40RB(第2の映像処理装置の一態様)は、カメラヘッド21Rにより撮像された撮像映像のデータを入力し、その撮像映像のデータに対して各種の映像処理を施し、出力部50において立体視が可能な3D映像を構成するための右眼用出力映像を生成する。CCU40RBは、生成された右眼用出力映像のデータを出力部50に出力する。CCU40RBは、同期信号生成部41Rと、カメラ制御部43Rと、ゲンロック受信部45Rと、外部制御装置I/F部46Rとを含む。
同期信号生成部41Rは、フレーム周期(図10参照)内に外部制御装置I/F部46Rを介して同期信号初期化指示信号INT2を受信すると、ゲンロックマスタとしての役割を有するCCU40LBから送られるゲンロック信号GLCKを受信する。同期信号初期化指示信号INT2は、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)、カメラヘッド21L,21Rのそれぞれの撮像等の各動作の同期を初期化(リセット)するための指示信号である。
同期信号生成部41Rは、ゲンロック信号GLCKに基づいて、CCU40RBに対応するカメラヘッド21Rにより撮像される撮像映像のフレーム同期信号FR2を生成する。また、同期信号生成部41Rは、光源同期カウンタCT2を有し、ゲンロック信号GLCKと光源同期カウンタCT2の値とに基づいて、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)の開始タイミングを規定するための光源同期信号LS2を生成する。なお、光源同期カウンタCT2はCCU40RB内に設けられれば、同期信号生成部41Rが有さなくてもよい。撮像映像のフレームレートが例えば60fpsである場合、図10に示すように、フレーム同期信号FR2は「1/60」秒ごとに信号成分がハイとなり、光源同期信号LS2は「1/15」秒ごとに信号成分がハイとなる。これは、可視光源装置31が3倍のフレーム周期(例えば「1/60」×3)にわたって照射(点灯)されてその後にIR光源装置32がフレーム周期(例えば「1/60」×1)にわたって照射(点灯)され、それらの照射(点灯)パターンを基準として繰り返されるように制御されるためである。同期信号生成部41Rは、フレーム同期信号FR2をカメラ制御部43Rに送る。
外部制御装置I/F部46Rは、外部制御装置70との間で同期信号初期化指示信号INT2に関する信号の送受を実行可能な通信回路により構成される。外部制御装置I/F部46Rは、外部制御装置70から送られた同期信号初期化指示信号INT2を受信すると、同期信号生成部41Rに転送する。
外部制御装置70(第2外部装置の一態様)は、例えばPC(Personal Computer)等の情報処理装置(つまり、コンピュータ)により構成され、上述した同期信号初期化指示信号INT1,INT2を生成してCCU40LB,40RBにそれぞれ送る。
次に、実施の形態3に係る可視光源装置31、IR光源装置32、カメラヘッド21のそれぞれの動作タイミングについて、図10を参照して説明する。図10は、実施の形態3に係る可視光源装置31、IR光源装置32、カメラヘッド21の同期制御に関する動作手順を示すタイミングチャートである。図10において、図4の各部の動作タイミングと重複する内容については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
図10では、例えば第4番目のフレーム周期内において外部制御装置70から同期信号初期化指示信号INT1,INT2がそれぞれCCU40LB,40RBに入力されるまで、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)、カメラヘッド21L,21Rのそれぞれの撮像等の各動作の同期が崩れている。例えば第4番目のフレーム周期内のいずれかのタイミングに外部制御装置70から同期信号初期化指示信号INT1,INT2がそれぞれCCU40LB,40RBに入力されたとする。この場合、ゲンロックマスタとしての役割を有するCCU40LBは、同期信号初期化指示信号INT1を受信すると、その次の第5番目のフレーム周期から可視光源装置31,IR光源装置32のそれぞれの照射(点灯)、カメラヘッド21L,21Rのそれぞれの撮像等の各動作を図10に示す既定のタイミングで揃える(つまり、同期させる)ためのゲンロック信号GLCKを生成する。
ゲンロック信号GLCKは、光源同期信号LS1,LS2に同期して信号成分がハイになっている。撮像映像のフレームレートが例えば60fpsである場合、CCU40LB,40RBにおけるフレーム同期信号FR1,FR2は「1/60」秒ごとに信号成分がハイとなり、光源同期信号LS1,LS2は「1/15」秒ごと(つまり、フレーム同期信号FR1,FR2の4倍の周期ごと)に信号成分がハイとなる。また、光源同期信号LS1,LS2は、4倍のフレーム同期信号FR1,FR2に同期して信号成分がハイになっている。
可視光源制御信号WHCは、光源同期信号LS1,LS2(つまり、4倍のフレーム同期信号FR1,FR2)の前半の3フレーム期間(1/20秒)に同期するように出力される。IR光源制御信号IRCは、光源同期信号LS1,LS2(つまり、4倍のフレーム同期信号FR1,FR2)の後半の1フレーム期間(1/60秒)に同期するように出力される。可視光源制御信号WHCおよびIR光源制御信号IRCの出力期間は、図10の例に限定されず、出力期間が逆になっていてもよい。従って、4倍のフレーム同期信号FR1,FR2の前半の3フレーム期間の間は可視光源装置31から白色光が照射され、後半の1フレーム期間の間はIR光源装置32からIR励起光が照射される。
カメラヘッド21L,21Rの可視/IR撮像部23L,23Rは、可視光源装置31からの白色光の照射期間(点灯期間)と同期するように、撮像光学系22L,22Rを透過した被検体SUBからの白色光(可視光)に対し、光源同期カウンタCT1の値に基づいて光源同期信号LS1,LS2の前半の3フレーム期間(1/20秒)において撮像を行う(光源同期カウンタCTの値:0,1,2)。また、可視/IR撮像部23L,23Rは、光源同期カウンタCT1の値に基づいて可視光源装置31からの白色光の照射期間(点灯期間)の第2番目のフレーム周期から第4番目のフレーム周期の3フレーム期間(1/20秒)に、撮像された撮像映像の電気信号をサンプリングする等の読出しを行って対応するCCU40L,40Rに出力する(光源同期カウンタCTの値:1,2,3)。
また、カメラヘッド21L,21Rの可視/IR撮像部23L,23Rは、IR光源装置32からのIR励起光の照射期間(点灯期間)と同期するように、撮像光学系22L,22Rを透過した被検体SUBからの蛍光に対し、光源同期カウンタCT2の値に基づいて光源同期信号LS1,LS2の最後の1フレーム期間(1/60秒)において撮像を行う(光源同期カウンタCTの値:3)。また、可視/IR撮像部23L,23Rは、光源同期カウンタCT2の値に基づいてIR光源装置32からのIR励起光の照射期間(点灯期間)の直後のフレーム周期の期間(1/60秒)において、撮像された撮像映像の電気信号をサンプリングする等の読出しを行って対応するCCU40L,40Rに出力する。
以上により、実施の形態3に係る医療用カメラシステム100Bでは、CCU40LB,40RBは、可視光源装置31およびIR光源装置32のそれぞれの点灯ならびにカメラヘッド21L,21Rの撮像の同期タイミングを初期化するための同期信号初期化指示信号INT1,INT2(初期化信号の一態様)をそれぞれ撮像映像のフレーム周期内で外部制御装置70から受信する。これにより、医療用カメラシステム100Bは、例えば経年使用等により、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)、カメラヘッド21L,21Rのそれぞれの撮像等の各動作の同期が崩れた場合でも、同期信号初期化指示信号INT1,INT2の受信に基づいて、可視光源装置31およびIR光源装置32のそれぞれの点灯ならびにカメラヘッド21L,21Rの撮像の同期タイミングを初期化できて同期できる。
また、CCU40LBは、同期信号初期化指示信号の受信に基づいて、可視光源装置31およびIR光源装置32のそれぞれの点灯を指示する光源同期信号LS1,LS2と同一の周期を有するゲンロック信号GLCKを、例えば4倍の撮像映像のフレーム周期と同期するように生成してCCU40RBに送る。CCU40LBは、ゲンロック信号GLCKに基づいて、可視光源装置31およびIR光源装置32のそれぞれの点灯ならびに対応するカメラヘッド21Lの撮像を制御する。これにより、例えば経年使用等により、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)、カメラヘッド21L,21Rのそれぞれの撮像等の各動作の同期が崩れていた場合でも、可視光源装置31およびIR光源装置32のそれぞれの点灯ならびに対応するカメラヘッド21Lの撮像がそれぞれ同期するので、可視光源装置31およびIR光源装置32のそれぞれの点灯に合わせて、カメラヘッド21Lから被検体SUBの撮像映像(例えば可視映像、蛍光映像)が適切に得られる。
(実施の形態4)
実施の形態4でも、実施の形態1,2と同様に、手術顕微鏡を用いた医療行為が行われる際に使用される医療用カメラシステム100Cを例示して説明する。図11は、実施の形態4に係る医療用カメラシステム100Cのシステム構成例を示すブロック図である。図11の説明において、図2に示す医療用カメラシステム100あるいは図9に示す医療用カメラシステム100Bの構成要素と同一の構成要素には同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
実施の形態4に係る医療用カメラシステム100Cは、可視光源装置31と、IR光源装置32と、カメラヘッド21と、CCU40LC,40RCと、出力部50と、外部制御装置70とを含む構成である。実施の形態4では、実施の形態3と同様に、ゲンロックマスタは2つのCCU40LC,40RCのうち一方(例えばCCU40LC)である。言い換えると、実施の形態4では、CCU40LCはゲンロック信号GLCKを生成するゲンロックマスタの役割を有し、CCU40RCはゲンロック信号GLCKを受信するゲンロックスレーブの役割を有する。
CCU40LC(第1の映像処理装置の一態様)は、カメラヘッド21Lにより撮像された撮像映像のデータを入力し、その撮像映像のデータに対して各種の映像処理を施し、出力部50において立体視が可能な3D映像を構成するための左眼用出力映像を生成する。CCU40LCは、生成された左眼用出力映像のデータを出力部50に出力する。CCU40LCは、同期信号生成部41Lと、光源制御部42Lと、カメラ制御部43Lと、ゲンロック送信部44Lと、外部制御装置I/F部46Lと、同期補助信号送信部47Lとを含む。
同期信号生成部41Lは、フレーム周期(図12参照)内に外部制御装置I/F部46Lを介して同期信号初期化指示信号INT1Cを受信すると、その次のフレーム周期内に、同期信号初期化指示信号INT1Cに従うCCU40RC(第2の映像処理装置の一態様)の撮像の同期タイミングをCCU40LCと合わせて初期化させるための同期補助信号SUPL(図12参照)を生成し、同期補助信号送信部47Lを介して、CCU40RCに送る。また、同期信号生成部41Lは、同期補助信号のCCU40RCへの送信に基づいて、その次のフレーム周期から可視光源装置31,IR光源装置32のそれぞれの照射(点灯)、カメラヘッド21L、21Rのそれぞれの撮像等の各動作を図12に示す既定のタイミングで揃える(つまり、同期させる)ためのゲンロック信号GLCKを生成する。同期信号初期化指示信号INT1Cは、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)、カメラヘッド21L,21Rのそれぞれの撮像等の各動作の同期を初期化(リセット)するための指示信号である。これは、経年使用等により、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)、カメラヘッド21L,21Rのそれぞれの撮像等の各動作の同期が崩れる可能性が高くなり、この同期崩れをリセット(初期化)するためである。同期信号生成部41Lは、ゲンロックマスタとして、光源同期信号LS1,LS2と同期するゲンロック信号GLCK(上述参照)を生成し、ゲンロック送信部44Lを介してCCU40RCに送る。撮像映像のフレームレートが例えば60fpsである場合、ゲンロック信号GLCKは、光源同期信号LS1,LS2と同様に「1/15」秒ごとに信号成分がハイとなり、ハイになるタイミングも同一である(図12参照)。
同期信号生成部41Lは、この生成されたゲンロック信号GLCKに基づいて、CCU40LCに対応するカメラヘッド21Lにより撮像される撮像映像のフレーム同期信号FR1を生成する。また、同期信号生成部41Lは、光源同期カウンタCT1を有し、ゲンロック信号GLCKと光源同期カウンタCT1の値とに基づいて、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)の開始タイミングを規定するための光源同期信号LS1を生成する。なお、光源同期カウンタCT1はCCU40LC内に設けられれば、同期信号生成部41Lが有さなくてもよい。撮像映像のフレームレートが例えば60fpsである場合、図12に示すように、フレーム同期信号FR1は「1/60」秒ごとに信号成分がハイとなり、光源同期信号LS1は「1/15」秒ごとに信号成分がハイとなる。これは、可視光源装置31が3倍のフレーム周期(例えば「1/60」×3)にわたって照射(点灯)されてその後にIR光源装置32がフレーム周期(例えば「1/60」×1)にわたって照射(点灯)され、それらの照射(点灯)パターンを基準として繰り返されるように制御されるためである。同期信号生成部41Lは、フレーム同期信号FR1をカメラ制御部43Lに送り、光源同期信号LS1を光源制御部42Lに送る。なお、同期信号生成部41Lは、フレーム同期信号FR1および光源同期信号LS1を、光源制御部42Lおよびカメラ制御部43Lのそれぞれに送ってもよい。
光源制御部42Lは、可視光源装置31からの白色光の照射(点灯)およびIR光源装置32からのIR励起光の照射(点灯)のタイミングを制御する。光源制御部42Lは、同期信号生成部41Lから送られた光源同期信号LS1の入力に応じて、光源同期カウンタCT1の値が「0」から「2」になるまでの期間(つまり、3倍のフレーム周期の期間)に可視光源装置31を連続して照射(点灯)させるための可視光源制御信号WHC、光源同期カウンタCT1の値が「2」から「3」になるまでの期間(つまり、フレーム周期の期間)にIR光源装置32を照射(点灯)させるためのIR光源制御信号IRCをそれぞれ生成する。なお、光源同期カウンタCT1,CT2の値は、「0」、「1」、「2」、「3」と変化し、「3」の次は「0」に戻る。つまり、光源同期カウンタCT1,CT2の値は、光源同期信号LS1の周期(4倍のフレーム周期)を繰り返し基準となるように変化する。光源制御部42Lは、可視光源制御信号WHCを可視光源装置31に送るとともに、IR光源制御信号IRCをIR光源装置32に送る。
外部制御装置I/F部46Lは、外部制御装置70との間で同期信号初期化指示信号INT1Cに関する信号の送受を実行可能な通信回路により構成される。外部制御装置I/F部46Lは、外部制御装置70から送られた同期信号初期化指示信号INT1Cを受信すると、同期信号生成部41Lに転送する。
同期補助信号送信部47は、ゲンロックスレーブとしての役割を有するCCU40RCとの間で上述した同期補助信号SUPLの送受を実行可能な通信回路により構成される。同期補助信号送信部47は、同期信号生成部41Lにより生成された同期補助信号SUPLをCCU40RCの同期補助信号受信部47Rに送信する。
CCU40RC(第2の映像処理装置の一態様)は、カメラヘッド21Rにより撮像された撮像映像のデータを入力し、その撮像映像のデータに対して各種の映像処理を施し、出力部50において立体視が可能な3D映像を構成するための右眼用出力映像を生成する。CCU40RCは、生成された右眼用出力映像のデータを出力部50に出力する。CCU40RCは、同期信号生成部41Rと、カメラ制御部43Rと、ゲンロック受信部45Rと、同期補助信号受信部47Rとを含む。
同期信号生成部41Rは、フレーム周期(図12参照)内に同期補助信号受信部47Rを介して同期補助信号SUPLを受信すると、その受信時のフレーム周期の次のフレーム周期の開始時にゲンロックマスタとしての役割を有するCCU40LCから送られるゲンロック信号GLCKを受信する。同期補助信号SUPLは、同期信号初期化指示信号INT1Cに従って、カメラヘッド21Lがカメラヘッド21Rと同期して撮像の同期タイミングを初期化させる信号であり、外部制御装置70から同期信号初期化指示信号INT1Cの受信を報知させる信号とも言える。同期補助信号SUPLは、例えばパルス信号、あるいは、シリアル信号(例えばRS-232C等)を使用することができる。
同期信号生成部41Rは、ゲンロック信号GLCKに基づいて、CCU40RCに対応するカメラヘッド21Rにより撮像される撮像映像のフレーム同期信号FR2を生成する。また、同期信号生成部41Rは、光源同期カウンタCT2を有し、ゲンロック信号GLCKと光源同期カウンタCT2の値とに基づいて、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)の開始タイミングを規定するための光源同期信号LS2を生成する。なお、光源同期カウンタCT2はCCU40RB内に設けられれば、同期信号生成部41Rが有さなくてもよい。撮像映像のフレームレートが例えば60fpsである場合、図12に示すように、フレーム同期信号FR2は「1/60」秒ごとに信号成分がハイとなり、光源同期信号LS2は「1/15」秒ごとに信号成分がハイとなる。これは、可視光源装置31が3倍のフレーム周期(例えば「1/60」×3)にわたって照射(点灯)されてその後にIR光源装置32がフレーム周期(例えば「1/60」×1)にわたって照射(点灯)され、それらの照射(点灯)パターンを基準として繰り返されるように制御されるためである。同期信号生成部41Rは、フレーム同期信号FR2をカメラ制御部43Rに送る。
同期補助信号受信部47Rは、ゲンロックマスタとしての役割を有するCCU40LCとの間で同期補助信号SUPLの送受を実行可能な通信回路により構成される。同期補助信号受信部47Rは、CCU40LCから送られた同期補助信号SUPLを受信すると、同期信号生成部41Rに転送する。
外部制御装置70(第2外部装置の一態様)は、例えばPC(Personal Computer)等の情報処理装置(つまり、コンピュータ)により構成され、上述した同期信号初期化指示信号INT1Cを生成してCCU40LCに送る。
次に、実施の形態4に係る可視光源装置31、IR光源装置32、カメラヘッド21のそれぞれの動作タイミングについて、図12を参照して説明する。図12は、実施の形態4に係る可視光源装置31、IR光源装置32、カメラヘッド21の同期制御に関する動作手順を示すタイミングチャートである。図12において、図10の各部の動作タイミングと重複する内容については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
図12では、例えば第3番目のフレーム周期内において外部制御装置70から同期信号初期化指示信号INT1CがCCU40LCに入力されるまで、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)、カメラヘッド21L,21Rのそれぞれの撮像等の各動作の同期が崩れている。例えば第3番目のフレーム周期内のいずれかのタイミングに外部制御装置70から同期信号初期化指示信号INT1CがCCU40LCに入力されたとする。この場合、ゲンロックマスタとしての役割を有するCCU40LCは、同期信号初期化指示信号INT1Cの受信に基づいて、同期補助信号SUPLを生成してその次の第4番目のフレーム周期内にCCU40RCが受信可能となるように送る。また、CCU40LCは、同期補助信号SUPLの送信に基づいて、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)、カメラヘッド21L,21Rのそれぞれの撮像等の各動作を図12に示す既定のタイミングで揃える(つまり、同期させる)ためのゲンロック信号GLCKを生成して第5番目のフレーム周期の開始時にCCU40RCに送る。CCU40RCは、第4番目のフレーム周期内にCCU40LCから送られた同期補助信号SUPLを受信するととともに、第5番目のフレーム周期の開始時に受信したゲンロック信号GLCKに基づいて、図12に示す既定のタイミングで揃える。第5番目のフレーム周期以降の動作については、実施の形態3(図10に示す第5番目のフレーム周期以降の動作)と同様であるため、説明を省略する。
以上により、実施の形態4に係る医療用カメラシステム100Cでは、CCU40LCは、可視光源装置31およびIR光源装置32のそれぞれの点灯ならびにカメラヘッド21L,21Rの撮像の同期タイミングを初期化するための同期信号初期化指示信号INT1C(初期化信号の一態様)を撮像映像のフレーム周期内で外部制御装置70から受信する。また、CCU40LCは、同期信号初期化指示信号INT1Cの受信に基づいて、その同期信号初期化指示信号INT1Cに従ってカメラヘッド21Rの撮像の同期タイミングを初期化させるための同期補助信号SUPLをCCU40RCに送る。これにより、医療用カメラシステム100Cは、例えば経年使用等により、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)、カメラヘッド21L,21Rのそれぞれの撮像等の各動作の同期が崩れた場合でも、同期信号初期化指示信号INT1Cおよび同期補助信号SUPLに基づいて、可視光源装置31およびIR光源装置32のそれぞれの点灯ならびにカメラヘッド21L,21Rの撮像の同期タイミングを初期化できて同期できる。
また、CCU40LCは、同期補助信号SUPLの送信に基づいて、可視光源装置31およびIR光源装置32のそれぞれの点灯を指示する光源同期信号LS1,LS2と同一の周期を有するゲンロック信号GLCKを、例えば4倍の撮像映像のフレーム周期と同期するように生成してCCU40RBに送る。CCU40LCは、ゲンロック信号GLCKに基づいて、可視光源装置31およびIR光源装置32のそれぞれの点灯ならびに対応するカメラヘッド21Lの撮像を制御する。また、CCU40RCは、ゲンロック信号GLCKに基づいて、例えば4倍のフレーム周期ごとに、可視光源装置31およびIR光源装置32のそれぞれの点灯ならびに対応するカメラヘッド21Lの撮像等の各動作と同期するようにカメラヘッド21Rの撮像等の各動作を制御する。これにより、例えば経年使用等により、可視光源装置31,IR光源装置32のそれぞれの照射(点灯)、カメラヘッド21L,21Rのそれぞれの撮像等の各動作の同期が崩れていた場合でも、可視光源装置31およびIR光源装置32のそれぞれの点灯ならびに対応するカメラヘッド21Lの撮像がそれぞれ同期するので、可視光源装置31およびIR光源装置32のそれぞれの点灯に合わせて、カメラヘッド21Lから被検体SUBの撮像映像(例えば可視映像、蛍光映像)が適切に得られる。
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
なお、上述した各種の実施の形態に係る医療用カメラシステムは、手術顕微鏡を用いた医療行為が行われる際に使用されるものとして説明したが、この用途に限定されるものではなく、例えば手術内視鏡を用いた医療行為が行われる際に使用されてもよい(図13参照)。図13は、手術内視鏡が使用される医療用カメラシステムの外観例を示す図である。
図13の医療用カメラシステムは、医療用光学機器の一例としての手術内視鏡110と、可視光源装置31と、IR光源装置32と、撮像装置の一例としてのカメラヘッド21と、映像処理装置の一例としてのCCU40L,40Rと、出力部50とを含む構成である。
手術内視鏡110は、細長の挿入部111に、対物レンズ(図示略)、リレーレンズ、結像レンズを有して構成される。手術内視鏡110は、観察光学系の手元側に設けられたカメラ装着部115と、光源装着部117とを有し、光源装着部117から挿入部111の先端部にかけて照明光を導光するライトガイド(図示略)が設けられる。カメラ装着部115にカメラヘッド21(具体的には、カメラヘッド21L,21R)の撮像光学系22L,22Rを装着して撮像することにより、CCU40L,40Rにおいて観察映像を取得可能となっている。光源装着部117には、ライトガイドケーブル116が接続され、ライトガイドケーブル116を介して可視光源装置31,IR光源装置32がそれぞれ接続される。
カメラヘッド21とCCU40L,40Rとは信号ケーブル125により接続され、カメラヘッド21にて撮像した被検体SUBの映像信号は、信号ケーブル125を介してCCU40L,40Rのそれぞれに伝送される。CCU40L,40Rの出力端子には出力部50が接続され、3D表示用の左右2つの左眼用出力映像および右眼用出力映像が出力されてもよいし、2Dの観察映像(観察画像)が出力されてもよい。出力部50には、手術対象部位の観察映像として、2K画素の3D映像が表示されてよいし、2Dの観察映像(観察画像)が出力されてもよい。なお、カメラヘッド21には操作スイッチ(図示略)が設けられ、撮像する観察映像の操作(フリーズ、レリーズ、画像スキャン等)を使用者の手元において行うことが可能となっている。図13に示す医療用カメラシステムは、CCU40L,40Rにて撮像された観察映像を記録するレコーダRC1、医療用カメラシステムを操作するための操作ユニット133、観察者が足で操作入力を行うフットスイッチ137を有する。操作ユニット133、CCU40L,40R、可視光源装置31、IR光源装置32およびレコーダRC1が制御ユニット筐体135に収納されている。制御ユニット筐体135の上部には、出力部50が配置される。
このように、図13に示す手術内視鏡を用いた医療用カメラシステムの構成でも、上述した手術顕微鏡を用いた医療用カメラシステム100,100A,100Bの構成と同様に、手術内視鏡110により取得した観察対象部位の様子が鮮明に確認可能な重畳映像の出力が可能となる。
本開示は、顕微鏡手術あるいは内視鏡手術等の医療行為の際に、複数の光源装置および複数の撮像装置をそれぞれ既定のタイミングで同期して動作可能とし、良好な画質の立体映像の出力を支援する撮像システムおよび同期制御方法として有用である。
21、21L、21R カメラヘッド
22L、22R 撮像光学系
23L、23R 可視/IR撮像部
31 可視光源装置
32 IR光源装置
40L、40LA、40LB、40LC、40R、40RA、40RB、40RC CCU
41L、41R 同期信号生成部
42L、42R 光源制御部
43L、43R カメラ制御部
44L、44R ゲンロック送信部
45L、45R ゲンロック受信部
46L、46R 外部制御装置I/F部
47L 同期補助信号送信部
47R 同期補助信号受信部
50 出力部
60 ゲンロック信号送信装置
70 外部制御装置
100、100A、100B 医療用カメラシステム
SUB 被検体

Claims (12)

  1. 波長帯が異なる光で被検体をそれぞれ照射する第1および第2の光源装置と、
    前記被検体をそれぞれ撮像する第1および第2の撮像装置と、
    前記第1および第2の撮像装置のそれぞれに対応して設けられ、対応するいずれかの撮像装置により撮像された前記被検体の撮像映像を処理して出力部に出力する第1および第2の映像処理装置と、を備え、
    前記第1および第2の光源装置は、ゲンロック信号に基づいて、前記撮像映像のフレーム周期またはその整数倍ごとに同期して交互に点灯し、
    前記第1の撮像装置は、前記第1および第2の光源装置のそれぞれの点灯に同期して撮像し、
    前記第2の撮像装置は、前記第1および第2の光源装置のそれぞれの点灯に同期して撮像し、
    前記第1および第2の映像処理装置は、前記第1および第2の光源装置のそれぞれの点灯を指示する光源同期信号と同一の周期を有する前記ゲンロック信号をそれぞれ同時に外部装置から受信する、
    撮像システム。
  2. 前記第1の映像処理装置は、
    前記第1および第2の光源装置のそれぞれの点灯を指示する光源同期信号と同一の周期を有する前記ゲンロック信号を、前記撮像映像のフレーム周期と同期するように生成して前記第2の映像処理装置に送るとともに、
    前記ゲンロック信号に基づいて、前記第1および第2の光源装置のそれぞれの点灯ならびに対応する前記いずれかの撮像装置の撮像を制御する、
    請求項1に記載の撮像システム。
  3. 前記第2の映像処理装置は、前記第1の映像処理装置から送られた前記ゲンロック信号に基づいて、対応する前記いずれかの撮像装置の撮像を制御する、
    請求項2に記載の撮像システム。
  4. 前記第1の映像処理装置は、受信された前記ゲンロック信号に基づいて、前記第1および第2の光源装置のそれぞれの点灯ならびに対応する前記いずれかの撮像装置の撮像を制御し、
    前記第2の映像処理装置は、受信された前記ゲンロック信号に基づいて、対応する前記いずれかの撮像装置の撮像を制御する、
    請求項に記載の撮像システム。
  5. 前記第1および第2の映像処理装置は、前記第1および第2の光源装置のそれぞれの点灯ならびに前記第1および第2の撮像装置の撮像の同期タイミングを初期化するための初期化信号をそれぞれ前記撮像映像のフレーム周期内で第2外部装置から受信する、
    請求項1に記載の撮像システム。
  6. 前記第1の映像処理装置は、前記初期化信号の受信に基づいて、
    前記第1および第2の光源装置のそれぞれの点灯を指示する光源同期信号と同一の周期を有する前記ゲンロック信号を、前記撮像映像のフレーム周期と同期するように生成して前記第2の映像処理装置に送るとともに、
    前記ゲンロック信号に基づいて、前記第1および第2の光源装置のそれぞれの点灯ならびに対応する前記いずれかの撮像装置の撮像を制御する、
    請求項に記載の撮像システム。
  7. 前記第1の映像処理装置は、前記第1および第2の光源装置のそれぞれの点灯ならびに前記第1および第2の撮像装置の撮像の同期タイミングを初期化するための初期化信号を前記撮像映像のフレーム周期内で第2外部装置から受信するとともに、前記初期化信号の受信に基づいて、前記初期化信号に従って前記第2の撮像装置の撮像の同期タイミングを初期化させるための同期補助信号を前記第2の映像処理装置に送る、
    請求項1に記載の撮像システム。
  8. 前記第1の映像処理装置は、前記同期補助信号の送信に基づいて、
    前記第1および第2の光源装置のそれぞれの点灯を指示する光源同期信号と同一の周期を有する前記ゲンロック信号を、前記撮像映像のフレーム周期と同期するように生成して前記第2の映像処理装置に送るとともに、
    前記ゲンロック信号に基づいて、前記第1および第2の光源装置のそれぞれの点灯ならびに対応する前記いずれかの撮像装置の撮像を制御する、
    請求項に記載の撮像システム。
  9. 前記第2の映像処理装置は、前記第1の映像処理装置から送られた前記ゲンロック信号に基づいて、対応する前記いずれかの撮像装置の撮像を制御する、
    請求項に記載の撮像システム。
  10. 前記第1の光源装置は、可視光を照射し、
    前記第2の光源装置は、前記被検体に投与された蛍光物質を蛍光発光させるためのIR領域の励起光を照射する、
    請求項1~のうちいずれか一項に記載の撮像システム。
  11. 前記第1の映像処理装置は、前記処理に基づいて生成した左眼用の撮像映像を前記出力部に出力し、
    前記第2の映像処理装置は、前記処理に基づいて生成した右眼用の撮像映像を前記出力部に出力する、
    請求項1~10のうちいずれか一項に記載の撮像システム。
  12. 波長帯が異なる光で被検体をそれぞれ照射する第1および第2の光源装置と、
    前記被検体をそれぞれ撮像する第1および第2の撮像装置と、
    前記第1および第2の撮像装置のそれぞれに対応して設けられ、対応するいずれかの撮像装置により撮像された前記被検体の撮像映像を処理して出力部に出力する第1および第2の映像処理装置と、を備える撮像システムにおける同期制御方法であって、
    前記第1および第2の光源装置が、ゲンロック信号に基づいて、前記撮像映像のフレーム周期またはその整数倍ごとに同期して交互に点灯し、
    前記第1の撮像装置は、前記第1および第2の光源装置のそれぞれの点灯に同期して撮像し、
    前記第2の撮像装置は、前記第1および第2の光源装置のそれぞれの点灯に同期して撮像し、
    前記第1および第2の映像処理装置は、前記第1および第2の光源装置のそれぞれの点灯を指示する光源同期信号と同一の周期を有する前記ゲンロック信号をそれぞれ同時に外部装置から受信する、
    同期制御方法。
JP2019017851A 2019-02-04 2019-02-04 撮像システムおよび同期制御方法 Active JP7211835B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019017851A JP7211835B2 (ja) 2019-02-04 2019-02-04 撮像システムおよび同期制御方法
DE102020102254.9A DE102020102254A1 (de) 2019-02-04 2020-01-30 Bildaufnahmesystem und Synchronisationssteuerverfahren
US16/778,150 US11388387B2 (en) 2019-02-04 2020-01-31 Imaging system and synchronization control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019017851A JP7211835B2 (ja) 2019-02-04 2019-02-04 撮像システムおよび同期制御方法

Publications (2)

Publication Number Publication Date
JP2020124320A JP2020124320A (ja) 2020-08-20
JP7211835B2 true JP7211835B2 (ja) 2023-01-24

Family

ID=71615139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019017851A Active JP7211835B2 (ja) 2019-02-04 2019-02-04 撮像システムおよび同期制御方法

Country Status (3)

Country Link
US (1) US11388387B2 (ja)
JP (1) JP7211835B2 (ja)
DE (1) DE102020102254A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150289338A1 (en) 2014-04-08 2015-10-08 Revolution Display, Inc. Automatic chroma key background generator with incident key lighting
JP6461411B1 (ja) 2018-07-13 2019-01-30 パナソニック株式会社 内視鏡システム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317166B1 (en) * 1998-08-31 2001-11-13 Immersive Media Company Synchronization frame generator for multichannel imaging system
US8624895B2 (en) * 2005-01-20 2014-01-07 Production Resource Group, Llc Controls for digital lighting
JP4648719B2 (ja) * 2005-02-04 2011-03-09 リーダー電子株式会社 ログ機能及び警告機能を持つゲンロック装置
JP5435916B2 (ja) 2008-09-18 2014-03-05 富士フイルム株式会社 電子内視鏡システム
US20100302376A1 (en) * 2009-05-27 2010-12-02 Pierre Benoit Boulanger System and method for high-quality real-time foreground/background separation in tele-conferencing using self-registered color/infrared input images and closed-form natural image matting techniques
US8988489B2 (en) * 2010-09-15 2015-03-24 Hewlett-Packard Development Company, L. P. Determining a synchronization relationship
JP5970748B2 (ja) * 2011-06-03 2016-08-17 ソニー株式会社 動画像撮影システム及び同期制御方法
US20130095920A1 (en) * 2011-10-13 2013-04-18 Microsoft Corporation Generating free viewpoint video using stereo imaging
US9846960B2 (en) * 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US20150373230A9 (en) * 2012-07-23 2015-12-24 Timecode Systems Ltd Networked programmable timecode and metadata transfer system
US20140192158A1 (en) * 2013-01-04 2014-07-10 Microsoft Corporation Stereo Image Matching
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US9191643B2 (en) * 2013-04-15 2015-11-17 Microsoft Technology Licensing, Llc Mixing infrared and color component data point clouds
US11265534B2 (en) * 2014-02-08 2022-03-01 Microsoft Technology Licensing, Llc Environment-dependent active illumination for stereo matching
US9712806B2 (en) * 2014-12-19 2017-07-18 Datalogic ADC, Inc. Depth camera system using coded structured light
US9929824B2 (en) * 2015-01-26 2018-03-27 Timecode Systems Limited Networked programmable master clock base stations
JP6296365B2 (ja) 2016-02-29 2018-03-20 パナソニックIpマネジメント株式会社 手術内視鏡用カメラコントロールユニット
JP6888821B2 (ja) 2017-07-20 2021-06-16 株式会社タカゾノ 薬剤包装装置
JP6912313B2 (ja) 2017-07-31 2021-08-04 パナソニックi−PROセンシングソリューションズ株式会社 画像処理装置、カメラ装置及び画像処理方法
JP2019029876A (ja) 2017-07-31 2019-02-21 パナソニックIpマネジメント株式会社 画像処理装置、カメラ装置及び出力制御方法
JP2019029875A (ja) 2017-07-31 2019-02-21 パナソニックIpマネジメント株式会社 画像処理装置、カメラ装置及び画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150289338A1 (en) 2014-04-08 2015-10-08 Revolution Display, Inc. Automatic chroma key background generator with incident key lighting
JP6461411B1 (ja) 2018-07-13 2019-01-30 パナソニック株式会社 内視鏡システム

Also Published As

Publication number Publication date
US11388387B2 (en) 2022-07-12
US20200252601A1 (en) 2020-08-06
JP2020124320A (ja) 2020-08-20
DE102020102254A1 (de) 2020-08-06

Similar Documents

Publication Publication Date Title
JPWO2019123796A1 (ja) 内視鏡システム、内視鏡システムの制御方法
JP6461411B1 (ja) 内視鏡システム
JP6655756B2 (ja) 3d内視鏡装置、及び、3d映像処理装置
JP6329715B1 (ja) 内視鏡システムおよび内視鏡
TWI480017B (zh) 立體影像內視鏡、包含其之系統、及醫學立體影像之顯示方法
JP7449736B2 (ja) 医療用画像処理装置及び医療用観察システム
US10805512B2 (en) Dual path endoscope
US11467392B2 (en) Endoscope processor, display setting method, computer-readable recording medium, and endoscope system
JP6368886B1 (ja) 内視鏡システム
JP2001104331A (ja) 医療用顔面装着型映像表示装置
JP2015231498A (ja) 内視鏡装置
JP4716801B2 (ja) 内視鏡撮像システム
JP7211835B2 (ja) 撮像システムおよび同期制御方法
JP2003290131A (ja) 立体内視鏡
JP5989283B1 (ja) 撮像システム及び信号処理装置
JPH06237892A (ja) 立体視内視鏡装置
JP2005305046A (ja) 手術用観察システム
JP2016202411A (ja) 蛍光観察装置
Xiang et al. The optical design of stereo endoscope
JP6138386B1 (ja) 内視鏡装置及び内視鏡システム
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
JPWO2016111043A1 (ja) 内視鏡装置
KR20210086870A (ko) 여기광 펄스 제어 또는 개폐기를 이용한 다채널 형광 영상 시스템
JPH0824216A (ja) 医療用観察機器
JP2000019424A (ja) 立体内視鏡装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190731

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191205

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20201224

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230112

R150 Certificate of patent or registration of utility model

Ref document number: 7211835

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150