JP7135869B2 - 発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置 - Google Patents

発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置 Download PDF

Info

Publication number
JP7135869B2
JP7135869B2 JP2018566067A JP2018566067A JP7135869B2 JP 7135869 B2 JP7135869 B2 JP 7135869B2 JP 2018566067 A JP2018566067 A JP 2018566067A JP 2018566067 A JP2018566067 A JP 2018566067A JP 7135869 B2 JP7135869 B2 JP 7135869B2
Authority
JP
Japan
Prior art keywords
light
auxiliary
amount
unit
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018566067A
Other languages
English (en)
Other versions
JPWO2018142993A1 (ja
Inventor
淳 土路生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018142993A1 publication Critical patent/JPWO2018142993A1/ja
Application granted granted Critical
Publication of JP7135869B2 publication Critical patent/JP7135869B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/16Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/282Autofocusing of zoom lenses
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05Combinations of cameras with electronic flash apparatus; Electronic flash units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details

Description

本開示は、発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置に関し、特に、より適した光量でAF補助光の発光を行うことができるようにした発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置に関する。
一般的に、オートフォーカス機能を備えた撮像装置では、AF(Auto Focus)補助光を被写体に照射して、被写体に対してフォーカスを合わせる処理が行われる。このように、撮像装置は、ストロボ光を被写体に照射する閃光部の他に、AF補助光を発光する発光部を有して構成される。また、従来、撮像装置が、動画像を撮像する際の照明光を被写体に照射する発光部を備えて構成されることもある。
例えば、特許文献1には、フラッシュ撮影時における閃光を発光するフラッシュ発光ユニット、閃光の色温度と異なる光を発光するLED(Light Emitting Diode)発光ユニット、および、測距用のAF補助光ユニットを備える閃光発光装置が開示されている。
特開平10-206942号公報
ところで、上述したようなAF補助光を人物に照射している明るい状態でオートフォーカスを行う際、AF補助光が可視光領域であることより、その人物が眩しく不快に感じてしまうことがある。そこで、眩しく感じてしまうことを軽減できるような、適切な光量でAF補助光を発光することが必要とされていた。
本開示は、このような状況に鑑みてなされたものであり、より適した光量でAF補助光の発光を行うことができるようにするものである。
本開示の一側面の発光制御装置は、AF補助光の発光が可能な発光部の光量を設定する光量設定部と、前記光量設定部による設定に従って、前記AF補助光の発光を制御する発光制御部と、フォーカスを合わせる被写体までの距離を示す距離情報を取得する距離情報取得部と、前記距離情報に基づいて、前記AF補助光の光量を計算する処理を行う光量計算処理部と、前記距離情報に基づいて、前記被写体にフォーカスを合わせるAF合焦処理を行うAF合焦処理部とを備え、前記発光制御部は、前記被写体に対して規定レベルの初期発光の光量で前記AF補助光を発光するように前記発光部に対する制御を行い、前記距離情報取得部は、前記規定レベルの光量で発光された前記AF補助光が照射された前記被写体までの距離を示す距離情報を、撮像素子の像面位相差に基づいて測定し、前記光量計算処理部は、前記距離情報に基づいて、前記被写体までの距離に応じた適切な前記AF補助光の光量を求め、前記発光制御部は、適切な前記AF補助光の光量で前記AF補助光を発光するように前記発光部に対する制御を行い、前記AF合焦処理部は、適切な前記AF補助光の光量で前記被写体に前記AF補助光が照射されている状態で、前記被写体のコントラストに基づいて前記AF合焦処理を行い、前記発光制御部は、前記AF合焦処理の処理後に、前記AF補助光の発光を終了するように前記発光部に対する制御を行う
本開示の一側面の発光制御方法またはプログラムは、AF補助光の発光が可能な発光部の光量を設定し、その設定に従って、前記AF補助光の発光を制御し、フォーカスを合わせる被写体までの距離を示す距離情報を取得し、前記距離情報に基づいて、前記AF補助光の光量を計算する処理を行い、前記距離情報に基づいて、前記被写体にフォーカスを合わせるAF合焦処理を行うステップを含み、前記被写体に対して規定レベルの初期発光の光量で前記AF補助光を発光するように前記発光部に対する制御を行い、前記規定レベルの光量で発光された前記AF補助光が照射された前記被写体までの距離を示す距離情報を、撮像素子の像面位相差に基づいて測定し、前記距離情報に基づいて、前記被写体までの距離に応じた適切な前記AF補助光の光量を求め、適切な前記AF補助光の光量で前記AF補助光を発光するように前記発光部に対する制御を行い、適切な前記AF補助光の光量で前記被写体に前記AF補助光が照射されている状態で、前記被写体のコントラストに基づいて前記AF合焦処理を行い、前記AF合焦処理の処理後に、前記AF補助光の発光を終了するように前記発光部に対する制御を行う
本開示の一側面の発光装置は、AF補助光の発光が可能な発光部と、前記AF補助光の光量を設定する光量設定部と、前記光量設定部による設定に従って、前記発光部に対する制御を行う発光制御部と、フォーカスを合わせる被写体までの距離を示す距離情報を取得する距離情報取得部と、前記距離情報に基づいて、前記AF補助光の光量を計算する処理を行う光量計算処理部と、前記距離情報に基づいて、前記被写体にフォーカスを合わせるAF合焦処理を行うAF合焦処理部とを備え、前記発光制御部は、前記被写体に対して規定レベルの初期発光の光量で前記AF補助光を発光するように前記発光部に対する制御を行い、前記距離情報取得部は、前記規定レベルの光量で発光された前記AF補助光が照射された前記被写体までの距離を示す距離情報を、撮像素子の像面位相差に基づいて測定し、前記光量計算処理部は、前記距離情報に基づいて、前記被写体までの距離に応じた適切な前記AF補助光の光量を求め、前記発光制御部は、適切な前記AF補助光の光量で前記AF補助光を発光するように前記発光部に対する制御を行い、前記AF合焦処理部は、適切な前記AF補助光の光量で前記被写体に前記AF補助光が照射されている状態で、前記被写体のコントラストに基づいて前記AF合焦処理を行い、前記発光制御部は、前記AF合焦処理の処理後に、前記AF補助光の発光を終了するように前記発光部に対する制御を行う
本開示の一側面の撮像装置は、AF補助光の発光が可能な発光部と、前記AF補助光の光量を設定する光量設定部と、前記光量設定部による設定に従って、前記発光部に対する制御を行う発光制御部と、フォーカスを合わせる被写体までの距離を示す距離情報を取得する距離情報取得部と、前記距離情報に基づいて、前記AF補助光の光量を計算する処理を行う光量計算処理部と、前記距離情報に基づいて、前記被写体にフォーカスを合わせるAF合焦処理を行うAF合焦処理部とを有し、前記発光制御部は、前記被写体に対して規定レベルの初期発光の光量で前記AF補助光を発光するように前記発光部に対する制御を行い、前記距離情報取得部は、前記規定レベルの光量で発光された前記AF補助光が照射された前記被写体までの距離を示す距離情報を、撮像素子の像面位相差に基づいて測定し、前記光量計算処理部は、前記距離情報に基づいて、前記被写体までの距離に応じた適切な前記AF補助光の光量を求め、前記発光制御部は、適切な前記AF補助光の光量で前記AF補助光を発光するように前記発光部に対する制御を行い、前記AF合焦処理部は、適切な前記AF補助光の光量で前記被写体に前記AF補助光が照射されている状態で、前記被写体のコントラストに基づいて前記AF合焦処理を行い、前記発光制御部は、前記AF合焦処理の処理後に、前記AF補助光の発光を終了するように前記発光部に対する制御を行う発光装置を備える。
本開示の一側面においては、AF補助光の光量が設定され、その設定に従って、AF補助光の発光が制御され、フォーカスを合わせる被写体までの距離を示す距離情報が取得され、距離情報に基づいて、AF補助光の光量を計算する処理が行われ、距離情報に基づいて、被写体にフォーカスを合わせるAF合焦処理が行われる。そして、被写体に対して規定レベルの初期発光の光量でAF補助光を発光するように発光部に対する制御が行われ、規定レベルの光量で発光されたAF補助光が照射された被写体までの距離を示す距離情報が、撮像素子の像面位相差に基づいて測定され、距離情報に基づいて、被写体までの距離に応じた適切なAF補助光の光量が求められ、適切なAF補助光の光量でAF補助光を発光するように発光部に対する制御が行われ、適切なAF補助光の光量で被写体にAF補助光が照射されている状態で、被写体のコントラストに基づいてAF合焦処理が行われ、AF合焦処理の処理後に、AF補助光の発光を終了するように発光部に対する制御が行われる
本開示の一側面によれば、より適した光量でAF補助光の発光を行うことができる。
本技術を適用した撮像装置の一実施の形態の構成例を示す斜視図である。 撮像装置本体の構成例を示すブロック図である。 外部発光装置の構成例を示すブロック図である。 距離情報から計算されるAF補助光の光量について説明する図である。 メニュー画面の一例を示す図である。 ユーザの指定に応じた光量でAF補助光の発光を制御する発光制御処理を説明するフローチャートである。 距離情報に応じた光量でAF補助光の発光を制御する発光制御処理の第1の処理例を説明する図である。 距離情報に応じた光量でAF補助光の発光を制御する発光制御処理の第2の処理例を説明する図である。 発光制御ユニットを適用可能な各種の電子機器の例を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。 手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図13に示すカメラヘッド及びCCUの機能構成の一例を示すブロック図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
<撮像装置の構成例>
図1は、本技術を適用した撮像装置の一実施の形態の構成例を示す斜視図である。
図1に示す撮像装置11は、撮像装置本体12に外部発光装置13が装着されて構成されている。例えば、撮像装置本体12は、様々な外付け装置を機械的および電気的に接続する装着機構であるアクセサリシューを備えており、そのアクセサリシューを利用して撮像装置本体12に外部発光装置13が装着される。
図示するように、撮像装置本体12は、AFレンズ21およびシャッタボタン22を備えて構成され、外部発光装置13は、閃光部31および発光部32を備えて構成される。
AFレンズ21は、撮像装置11により撮像を行う際に、被写体に対して自動的にフォーカスが合うようにレンズを駆動することによりオートフォーカスを実行する。
シャッタボタン22は、撮像装置11により撮像を行う際にユーザにより操作される操作部である。例えば、ユーザは、シャッタボタン22を半分だけ押したままの状態とする操作(半押し)を行うことで、AFレンズ21によるオートフォーカスの実行を指示することができる。また、ユーザは、シャッタボタン22を完全に押し切る操作(全押し)を行うことで、その操作のタイミングにおける静止画像の取得を指示することができる。
閃光部31は、瞬間的に強烈な閃光を放つストロボを内蔵しており、例えば、撮像に必要な明るさが不足した環境で撮像装置11により静止画像の撮像を行う際に、被写体に対して閃光を照射する。
発光部32は、任意の明るさの光を照射することができるLED(Light Emitting Diode)などの発光素子を内蔵しており、例えば、撮像装置11により動画像を撮像する際の照明として被写体に照射される照明光を発光する。さらに、発光部32は、撮像装置11により静止画像の撮像を行う際のオートフォーカスの測距を行うために被写体に補助的に照射される光(以下、AF補助光と称する)を発光する。このように、発光部32は、AF補助光および照明光を切り替えて、必要に応じていずれか一方を発光することができるように構成されている。
つまり、発光部32は、例えば、照明光を照射するためのビデオライトとして用いるように設計される一方、AF補助光を照射する機能も兼ね備えている。このように、外部発光装置13は、一つの発光部32により異なる種類の発光を行うことができるように構成され、発光部32が内蔵する複数のLEDに対する制御を行うことで、様々な用途に用いることができる。
このように構成される撮像装置11では、例えば、ユーザがシャッタボタン22を半押しすると、発光部32が被写体に対してAF補助光を照射し、そのAF補助光を利用してAFレンズ21によるオートフォーカスが実行される。そして、被写体に対して合焦した後、ユーザがシャッタボタン22を全押しすると、閃光部31が被写体に対して閃光を照射し、そのタイミングに合わせて静止画像が取得される。
図2は、撮像装置本体12の構成例を示すブロック図である。
図2に示すように、撮像装置本体12は、光学系41、AF駆動部42、撮像素子43、操作指示部44、通信部45、位相差ピント処理部46、AF合焦処理部47、画像処理回路48、モニタ49、およびメモリ50を備えて構成される。
光学系41およびAF駆動部42は、例えば、図1のAFレンズ21に組み込まれている。光学系41は、フォーカスレンズを含む複数枚のレンズを有して構成され、撮像素子43に入射する光を集光して、撮像素子43のセンサ面に被写体の像を結像させる。AF駆動部42は、光学系41が有するフォーカスレンズを駆動する駆動機構を有して構成され、光学系41により撮像素子43のセンサ面に結像される被写体の像が合焦するようにフォーカスレンズを駆動する。
撮像素子43は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサにより構成され、複数の画素がアレイ状に配置されたセンサ面に結像する被写体からの光の光量に応じた画素信号を出力する。また、撮像素子43のセンサ面に配置される複数の画素のうち、所定数の画素は、センサ面に結像される像のズレ量を表す位相差信号を出力することが可能な像面位相差画素としての機能を備えている。
操作指示部44は、図1のシャッタボタン22や、その他の図示しない操作部に対する操作が行われると、その操作の内容に従った動作の実行を指示する制御信号を出力する。
例えば、操作指示部44は、シャッタボタン22を半押しする操作が行われると、AF補助光の発光を開始することを指示する制御信号を、通信部45を介して外部発光装置13に送信させるとともに、オートフォーカスの実行を指示する制御信号を位相差ピント処理部46に供給する。また、操作指示部44は、シャッタボタン22を全押しする操作が行われると、閃光の照射を指示する制御信号を、通信部45を介して外部発光装置13に送信させるとともに、静止画像の取得を指示する制御信号を画像処理回路48に供給する。さらに、操作指示部44は、図示しない操作部に対して動画像の撮像を行う際に被写体に対する照明のオン/オフを指示する操作が行われると、照明光の発光のオン/オフを指示する制御信号を、通信部45を介して外部発光装置13に送信させる。
通信部45は、図1の外部発光装置13と各種の通信を行い、例えば、操作指示部44から供給される制御信号を、外部発光装置13に送信する。
位相差ピント処理部46は、オートフォーカスの実行を指示する制御信号が操作指示部44から供給されると、撮像素子43の像面位相差画素から供給される位相差信号から求められるセンサ面に結像される像のズレ量に基づいて、フォーカスを合わせる被写体までの距離を算出する位相差ピント処理を行う。そして、位相差ピント処理部46は、位相差ピント処理で算出した距離を示す距離情報(レンズ距離エンコーダ情報)をAF合焦処理部47に供給するとともに、通信部45を介して外部発光装置13に送信させる。
AF合焦処理部47は、位相差ピント処理部46から供給される距離情報に従って、その距離にある被写体にフォーカスを合わせるAF合焦処理を行う。例えば、AF合焦処理部47は、距離情報に従って、被写体にフォーカスを合わせるために必要な光学系41のフォーカスレンズの移動方向および移動量を求めて、その移動方向および移動量をAF駆動部42に指示する。これ従い、AF駆動部42が、光学系41のフォーカスレンズを駆動することで、撮像素子43のセンサ面で被写体の像が合焦する。さらに、AF合焦処理部47は、オートフォーカスの精度を向上させるために、撮像素子43により撮像されている画像における被写体のコントラストがピークとなるように、AF駆動部42により光学系41のフォーカスレンズの位置を微調整させることができる。
そして、AF合焦処理部47は、被写体にフォーカスを合わせた後にAF合焦処理を終了して、AF補助光の発光を終了することを指示する制御信号を、通信部45を介して外部発光装置13に送信させる。なお、AF合焦処理部47は、このとき、被写体にフォーカスが合ったことを示すマークをモニタ49に表示させたり、被写体にフォーカスが合ったことを示す電子音をスピーカ(図示せず)から出力させたりしてもよい。
画像処理回路48は、撮像素子43から供給される画素信号に基づいて画像を取得する画像処理を行い、リアルタイムに取得される画像をモニタ49に供給する。また、画像処理回路48は、操作指示部44から静止画像の取得を指示する制御信号が供給されたタイミングで取得した静止画像に対して各種の画像処理(例えば、手振れ補正処理やノイズ除去処理など)を施し、その静止画像をメモリ50に供給する。
モニタ49は、例えば、液晶パネルや有機EL(Electro Luminescence)パネルなどの表示デバイスにより構成され、画像処理回路48から供給される画像を表示する。
メモリ50は、例えば、撮像装置本体12に内蔵され、または、撮像装置本体12に抜き差し可能に装着され、画像処理回路48から供給される画像を記憶(記録)する。
図3は、外部発光装置13の構成例を示すブロック図である。
図3に示すように、外部発光装置13は、閃光部31、発光部32、通信部61、表示部62、操作部63、および発光制御ユニット64を備えて構成される。そして、発光制御ユニット64は、操作情報取得部71、メニュー画面表示制御部72、記憶部73、距離情報取得部74、光量計算処理部75、光量設定部76、発光制御部77、およびフラッシュ制御部78を有して構成される。
上述の図1を参照して説明したように、閃光部31は、被写体に対して閃光を照射し、発光部32は、AF補助光および照明光を発光することができる。
通信部61は、図2の通信部45と各種の通信を行い、例えば、撮像装置本体12から送信されてくる制御信号を受信して、発光制御ユニット64に供給する。例えば、通信部61は、AF補助光の発光を開始または終了することを指示する制御信号を発光制御ユニット64の発光制御部77に供給し、閃光の照射を指示する制御信号を発光制御ユニット64のフラッシュ制御部78に供給する。また、通信部61は、位相差ピント処理部46により送信される距離情報を発光制御ユニット64の距離情報取得部74に供給する。
表示部62は、液晶パネルや有機ELパネルなどの表示デバイスにより構成され、メニュー画面表示制御部72による表示制御に従ったメニュー画面(後述する図5参照)などを表示する。
操作部63は、ユーザにより操作される各種のボタンやコントロールキーなどにより構成されており、それらに対する操作に従った操作信号を操作情報取得部71に供給する。
操作情報取得部71は、操作部63から供給される操作信号に基づいて、ユーザが行った操作の内容を示す操作情報を取得して、その操作に応じた各種の処理を行う。例えば、操作情報取得部71は、メニュー画面の表示を指示する操作情報を取得すると、表示部62にメニュー画面を表示させるために必要な処理をメニュー画面表示制御部72に対して行う。
また、操作情報取得部71は、メニュー画面を利用して各種の設定を行った操作情報を取得すると、その設定内容を、記憶部73に供給して記憶させる処理を行う。例えば、外部発光装置13では、メニュー画面を利用して、AF補助光の光量をユーザ指定および距離情報のどちらを用いるかを指定することができ、操作情報取得部71は、ユーザの操作に応じて、AF補助光の光量をユーザ指定および距離情報のどちらを用いるかを示す設定内容を記憶部73に記憶させる。
メニュー画面表示制御部72は、操作情報取得部71により行われる処理に基づいて、表示部62に表示されるメニュー画面の表示を制御する。
記憶部73は、操作情報取得部71により行われる処理に基づいて、ユーザにより設定された各種の設定内容を記憶する。例えば、記憶部73には、AF補助光の光量をユーザ指定および距離情報のどちらを用いるかを示す設定内容や、ユーザによる指定に応じたAF補助光の光量(光量情報)を示す設定内容などを記憶する。
距離情報取得部74は、通信部61を介して、位相差ピント処理部46が位相差ピント処理において算出した距離情報を取得して、光量計算処理部75に供給する。
光量計算処理部75は、被写体までの距離に応じた最適な光量を計算する計算式に従って、距離情報取得部74から供給される距離情報に基づいて、発光部32により発光させるAF補助光の光量を計算する。例えば、光量計算処理部75は、光量(lux)=100×log2(距離情報/5.7)の計算式に従って、光量100luxで距離5.7mに設定された光量から差分計算を行うことで、被写体までの距離に応じた最適なAF補助光の光量を求めることができる。
これにより、図4に示すように、AF補助光の光量は、例えば、距離情報が4.0mであるときには50lux、距離情報が5.7mであるときには100lux、距離情報が8.1mであるときには200lux、および距離情報が10mであるときには300luxと求められる。そして、光量計算処理部75は、このようにして求めたAF補助光の光量(光量情報)を光量設定部76に供給する。なお、上述の計算式は一例であって、それ以外の計算式を用いてAF補助光の光量を求めてもよく、その他、AF補助光の光量と距離情報とが対応付けられたテーブルを参照してもよい。
光量設定部76は、記憶部73に記憶されている設定内容を参照し、発光制御部77に対してAF補助光の光量を設定(その光量を示す光量情報を入力)する。例えば、光量設定部76は、AF補助光の光量をユーザ指定および距離情報のどちらを用いるかを示す設定内容が、ユーザの指定に応じた光量を用いるように設定されている場合、ユーザが操作部63を操作して指定したAF補助光の光量を記憶部73から読み出して、発光制御部77に設定する。一方、光量設定部76は、AF補助光の光量をユーザ指定および距離情報のどちらを用いるかを示す設定内容が、距離情報に応じた光量を用いるように設定されている場合、光量計算処理部75により計算されたAF補助光の光量を発光制御部77に設定する。
発光制御部77は、AF補助光の発光を開始することを指示する制御信号が通信部61を介して供給されると、光量設定部76による設定に応じて調整された光量のAF補助光を発光するように、発光部32に対する制御(光量に応じた電流量の供給)を行う。また、発光制御部77は、AF補助光の発光を終了することを指示する制御信号が通信部61を介して供給されると、AF補助光を消灯するように、発光部32に対する制御を行う。
フラッシュ制御部78は、閃光の照射を指示する制御信号が通信部61を介して供給されると、被写体に閃光を照射するように閃光部31に対する制御を行う。なお、このとき、フラッシュ制御部78も、被写体までの距離情報に基づいて、閃光部31が放つ閃光の光量を調整するようにしてもよい。
図5には、外部発光装置13の表示部62に表示されるメニュー画面の一例が示されている。
例えば、外部発光装置13では、ユーザがAF補助光の光量レベルを指定することができ、図5のAには、ハイレベルまたはローレベルの2段階でAF補助光の光量を指定するメニュー画面が示されている。例えば、ユーザは操作部63を利用してカーソルの上下移動を指示することで、ハイレベルおよびローレベルのいずれか一方を指定することができる。
そして、外部発光装置13では、例えば、ハイレベルに対して大きな光量(例えば、300lux)が対応付けられ、ローレベルに対して小さな光量(例えば、100lux)が対応付けられている。そして、操作情報取得部71は、ユーザの操作に従って、指定された光量レベルに対応付けられている光量を、AF補助光の光量の設定内容として記憶部73に記憶させる。そして、光量設定部76は、ハイレベルまたはローレベルに対応付けられているAF補助光の光量を発光制御部77に設定する。
なお、外部発光装置13では、2段階以上の多段階(例えば、10段階)のレベルで、AF補助光の光量を指定してもよく、ユーザは操作部63を操作して、光量レベルの段階を指定する数値を入力することができる。この場合、操作情報取得部71は、ユーザの操作に従って、指定されたレベルの段階に対応付けられている光量を、AF補助光の光量の設定内容として記憶部73に記憶させ、光量設定部76は、そのAF補助光の光量を発光制御部77に設定する。
また、外部発光装置13では、ユーザが撮影シーン(撮像モード)を指定することにより、指定された撮影シーンに応じたAF補助光の光量を設定することができる。図5のBには、撮影シーンとして、マクロ、ポートレート、および風景のいずれかを指定するメニュー画面が示されている。
そして、外部発光装置13では、撮影シーンのマクロに対して、被写体までの距離が非常に近いため、最小の光量が対応付けられている。また、外部発光装置13では、撮影シーンのポートレートに対して、被写体までの距離がある程度近いため、小さな光量が対応付けられており、撮影シーンの風景に対して、被写体までの距離が遠いため、大きな光量が対応付けられている。そして、操作情報取得部71は、ユーザの操作に従って、指定された撮影シーンに対応付けられている光量を、AF補助光の光量の設定内容として記憶部73に記憶させる。
<発光制御処理>
図6のフローチャートを参照して、ユーザの指定に応じた光量でAF補助光の発光を制御する発光制御処理について説明する。
例えば、外部発光装置13の電源がオンになって、光量設定部76が記憶部73に記憶されているAF補助光の光量をユーザ指定および距離情報のどちらを用いるかを示す設定内容を参照し、ユーザの指定に応じた光量を用いるように設定されている場合、この処理が開始される。
ステップS11において、光量設定部76は、ユーザが操作部63を操作して指定したAF補助光の光量を記憶部73から読み出し、その指定に応じた光量を発光制御部77に対して設定する。
ステップS12において、発光制御部77は、AF補助光の発光の開始が指示されたか否かを判定し、AF補助光の発光の開始が指示されたと判定するまで処理を待機する。そして、発光制御部77は、例えば、AF補助光の発光を開始することを指示する制御信号が通信部61を介して供給された場合、AF補助光の発光の開始が指示されたと判定し、処理はステップS13に進む。
ステップS13において、発光制御部77は、ステップS11で光量設定部76により設定された光量でAF補助光を発光するように、発光部32に対する制御を行う。これにより、発光部32は、その光量に調整されたAF補助光を発光する。
ステップS14において、発光制御部77は、AF補助光の発光を終了することを指示する制御信号が通信部61を介して供給されたか否かに従って、AF補助光の発光の終了が指示されたか否かを判定する。
ステップS14において、発光制御部77が、AF補助光の発光の終了が指示されていないと判定した場合、処理はステップS13に戻り、発光部32によるAF補助光を発光が継続されるように制御が行われる。一方、ステップS14において、発光制御部77が、AF補助光の発光の終了が指示されたと判定した場合、処理はステップS15に進む。
ステップS15において、発光制御部77は、AF補助光を消灯するように発光部32に対する制御を行った後、処理はステップS12に戻る。そして、外部発光装置13の電源がオフされるまで、または、記憶部73に記憶されているAF補助光の光量をユーザ指定および距離情報のどちらを用いるかを示す設定内容が変更されるまで、以下、同様の処理が繰り返して行われる。
以上のように、外部発光装置13では、AF補助光の光量をユーザの指定に応じて調整することができるので、発光部32は、撮像装置11が静止画像を撮像する環境に適した光量でAF補助光の発光を行うことができる。従って、ユーザは、例えば、被写体となっている人物が眩しいと感じない程度の光量を指定し、発光部32が、その光量のAF補助光を発光することで、その人物が不快に感じることを回避させることができる。
次に、図7を参照して、距離情報に応じた光量でAF補助光の発光を制御する発光制御処理の第1の処理例について説明する。
例えば、外部発光装置13の電源がオンになって、光量設定部76が記憶部73に記憶されているAF補助光の光量をユーザ指定および距離情報のどちらを用いるかを示す設定内容を参照し、距離情報に応じた光量を用いるように設定されている場合、この処理が開始される。
そして、撮像装置本体12では、シャッタボタン22を半押しする操作が行われると、操作指示部44が、AF補助光の発光を開始することを指示する制御信号を、通信部45を介して外部発光装置13の発光制御部77に供給する。
これに応じて、外部発光装置13では、発光制御部77が、位相差ピント処理部46による位相差ピント処理が確実に行われるように、初期発光として、最大の光量でAF補助光を発光するように発光部32に対する制御を行い、発光部32がAF補助光を被写体に照射する。従って、最大(max)の光量でAF補助光が点灯する。
さらに並行して、撮像装置本体12において、操作指示部44が、オートフォーカスの実行を指示する制御信号を位相差ピント処理部46に供給する。これに応じて、位相差ピント処理部46は、撮像素子43の像面位相差画素から供給される位相差信号に基づいた位相差ピント処理を行う。そして、位相差ピント処理部46は、位相差ピント処理で求めた距離情報を、AF合焦処理部47に供給するとともに、通信部45を介して外部発光装置13の距離情報取得部74に送信させる。
そして、外部発光装置13において、距離情報取得部74は、位相差ピント処理部46から供給される距離情報を取得して光量計算処理部75に供給する。これにより、光量計算処理部75は、上述したような計算式に従って、被写体までの距離に応じた最適なAF補助光の光量を計算して光量設定部76に供給し、光量設定部76は発光制御部77に対して光量を設定する。従って、発光制御部77は、その最適な光量でAF補助光を発光するように発光部32に対する制御を行い、最適な光量に調整されたAF補助光が点灯する。
また、撮像装置本体12では、AF合焦処理部47は、位相差ピント処理部46から供給される距離情報に従って、その距離にある被写体にフォーカスを合わせるAF合焦処理を行って、AF駆動部42により光学系41のフォーカスレンズを駆動させる。そして、AF合焦処理が終了した後、AF合焦処理部47は、AF補助光の発光を終了することを指示する制御信号を、通信部45を介して外部発光装置13の発光制御部77に送信させる。
これに応じ、外部発光装置13では、発光制御部77は、AF補助光の発光を終了することを指示する制御信号に従って、AF補助光を消灯するように、発光部32に対する制御を行った後、処理は終了される。
以上のように、外部発光装置13では、AF補助光の光量を被写体までの距離に応じて調整することができるので、発光部32は、例えば、被写体となっている人物が近くにいるときには小さな光量でAF補助光の発光を行うことができる。従って、撮像装置11では、例えば、被写体となっている人物が眩しいと感じるようなことを自動的に回避して、より良好な撮像を行うことができる。また、外部発光装置13が、初期発光として、最大の光量でAF補助光を発光することで、位相差ピント処理部46は、位相差ピント処理を確実に、かつ、高速に行うことができる。
次に、図8を参照して、距離情報に応じた光量でAF補助光の発光を制御する発光制御処理の第2の処理例について説明する。
例えば、外部発光装置13の電源がオンになって、光量設定部76が記憶部73に記憶されているAF補助光の光量をユーザ指定および距離情報のどちらを用いるかを示す設定内容を参照し、距離情報に応じた光量を用いるように設定されている場合、この処理が開始される。
そして、撮像装置本体12では、シャッタボタン22を半押しする操作が行われると、操作指示部44が、AF補助光の発光を開始することを指示する制御信号を、通信部45を介して外部発光装置13の発光制御部77に供給する。
これに応じて、外部発光装置13では、発光制御部77が、被写体となる人物が眩しさを感じないように、初期発光として、最小の光量でAF補助光を発光するように発光部32に対する制御を行い、発光部32がAF補助光を被写体に照射する。従って、最小(min)の光量でAF補助光が点灯する。
さらに並行して、撮像装置本体12において、操作指示部44が、オートフォーカスの実行を指示する制御信号を位相差ピント処理部46に供給する。これに応じて、位相差ピント処理部46は、撮像素子43の像面位相差画素から供給される位相差信号に基づいた位相差ピント処理を行う。
このとき、AF補助光の光量が少ないために、位相差ピント処理部46が距離情報を求めることができない場合には、発光制御部77には光量設定部76による最適な光量の設定が行われない。このため、発光制御部77は、最適な光量の設定が光量設定部76により行われるまで、AF補助光の光量が徐々に増加するように発光部32に対する制御を行う。これにより、距離情報を求めることが可能となる程度の光量でAF補助光が被写体に照射されると、位相差ピント処理部46が求めた距離情報が、AF合焦処理部47に供給されるとともに、通信部45を介して外部発光装置13の距離情報取得部74に送信される。
その後、図7を参照して説明した処理と同様に、最適な光量に調整されたAF補助光が点灯して、AF合焦処理部47によるAF合焦処理が行われ、AF補助光が消灯した後、処理は終了される。
以上のように、外部発光装置13では、AF補助光の光量を被写体までの距離に応じて調整することができるので、発光部32は、例えば、被写体となっている人物が近くにいるときには小さな光量でAF補助光の発光を行うことができる。従って、撮像装置11では、例えば、被写体となっている人物が眩しいと感じるようなことを自動的に回避して、より良好な撮像を行うことができる。
また、外部発光装置13が、初期発光として、最小の光量でAF補助光を発光することで、被写体となっている人物が眩しさで不快に感じることを確実に回避することができる。また、AF補助光の光量を徐々に増加させることで、位相差ピント処理部46が位相差ピント処理を行うことができなくなるような事態も回避することができる。
<電子機器の適用例>
上述したような発光制御ユニット64は、図1に示したような撮像装置11(いわゆる一眼レフカメラ)の他、AF補助光および照明光を発光可能な発光部32を備える様々な電子機器に適用することができる。
例えば、図9のAに示すように、発光制御ユニット64は、レンズやフラッシュなどが一体となって構成され、小型化および軽量化された撮像装置(いわゆるコンパクトカメラ)11Aの制御部に適用することができる。
即ち、撮像装置11Aのシャッタボタン22に対する操作に応じて、発光部32が最適な光量のAF補助光を発光し、AFレンズ21によるオートフォーカスが実行される。その後、撮像装置11Aでは、閃光部31が被写体に対して閃光を照射し、そのタイミングに合わせて静止画像が取得される。
また、図9のBに示すように、発光制御ユニット64は、主にアウトドアスポーツにおける活動的な場面での利用が想定される撮像装置(いわゆるアクションカメラ)11Bの制御部に適用することができる。
即ち、撮像装置11Bのシャッタボタン22に対する操作に応じて、発光部32が最適な光量のAF補助光を発光し、AFレンズ21によるオートフォーカスが実行される。その後、撮像装置11Bでは、閃光部31が被写体に対して閃光を照射し、そのタイミングに合わせて静止画像が取得される。
また、図9のCに示すように、発光制御ユニット64は、撮像機能を備えた携帯型の通信情報端末(いわゆるスマートフォン)11Cの制御部に適用することができる。
即ち、通信情報端末11Cでは、図示しない背面側のディスプレイに表示されるシャッタボタンGUI(Graphical User Interface)に対する操作に応じて、発光部32が最適な光量のAF補助光を発光し、AFレンズ21によるオートフォーカスが実行される。その後、通信情報端末11Cでは、閃光部31が被写体に対して閃光を照射し、そのタイミングに合わせて静止画像が取得される。
その他、AF補助光および照明光を発光可能な発光部32を備え、撮像機能を有する各種の電子機器の制御部に発光制御ユニット64を適用して、発光制御ユニット64による発光部32の制御を行わせることができる。
なお、撮像装置11におけるAF補助光の光量の設定は、上述したようなユーザ指定や距離情報などに基づいたものに限定されることはなく、撮像装置11により取得される情報に応じて、AF補助光の光量を適切に設定することができる。例えば、AFレンズ21の焦点距離に応じて、焦点距離が長い場合には、被写体が遠くにいることが分かるので、発光制御部77は、AF補助光の光量が大きくなるように制御することができる。一方、AFレンズ21の焦点距離に応じて、焦点距離が短い場合には、被写体が近くにいることが分かるので、発光制御部77は、AF補助光の光量が小さくなるように制御することができる。また、AFレンズ21の焦点距離に応じたAF補助光の光量は、図8を参照して上述した処理における初期発光の光量として使用することができる。
または、撮像装置11では、画像に写されている被写体に対する被写体認識処理による認識結果に基づいてAF補助光の光量を自動的に制御してもよい。例えば、発光制御部77は、人物が撮像されていると認識された場合や、ユーザが自身を撮像している(いわゆる自分撮り)と認識された場合などには、AF補助光の光量が小さくなるように制御することができる。一方、発光制御部77は、風景が撮像されていると認識された場合には、AF補助光の光量が大きくなるように制御することができる。
さらに、撮像装置11では、AFレンズ21の光軸に対する外部発光装置13の向きに応じて、AF補助光の光量を設定してもよい。また、撮像装置本体12が備えるディスプレイの向きを調整することができる場合には、外部発光装置13およびディスプレイの位置関係に応じてAF補助光の光量を設定してもよい。例えば、自分撮りを行うことが想定されるような位置関係である場合には、AF補助光の光量を小さく設定することができる。
また、撮像装置11は、外部発光装置13の表示部62にAF補助光の光量を表示して、ユーザが適切だと考える光量に調整(例えば、光量の候補を提示して選択)することができるようにしてもよい。これにより、ユーザは撮像を行いながら、より適切な光量となるようにAF補助光を変更することができる。
なお、上述したように、外部発光装置13は、発光部32によりAF補助光および照明光を発光し、AF補助光および照明光よりも光量の大きな閃光を閃光部31により発光することができるように構成されているが、このような構成に限定されることはない。例えば、外部発光装置13が、AF補助光および/または照明光のみの発光が可能に構成されていたり、AF補助光または照明光の発光と、それらよりも光量の大きな閃光の発光とが可能に構成されたりしてもよい。また、外部発光装置13は、少なくともAF補助光および照明光の発光が可能で、それら以外に閃光などの様々な発光が可能となるように構成することができる。
<コンピュータの構成例>
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。また、プログラムは、単一のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
また、上述した一連の処理(発光制御方法)は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
図10は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103、およびEEPROM(Electronically Erasable and Programmable Read Only Memory)104は、バス105により相互に接続されている。バス105には、さらに、入出力インタフェース106が接続されており、入出力インタフェース106が外部に接続される。
以上のように構成されるコンピュータでは、CPU101が、例えば、ROM102およびEEPROM104に記憶されているプログラムを、バス105を介してRAM103にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ(CPU101)が実行するプログラムは、ROM102に予め書き込んでおく他、入出力インタフェース105を介して外部からEEPROM104にインストールしたり、更新したりすることができる。
<応用例>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
図11は、本開示に係る技術が適用され得る手術室システム5100の全体構成を概略的に示す図である。図11を参照すると、手術室システム5100は、手術室内に設置される装置群が視聴覚コントローラ(AV Controller)5107及び手術室制御装置5109を介して互いに連携可能に接続されることにより構成される。
手術室には、様々な装置が設置され得る。図11では、一例として、内視鏡下手術のための各種の装置群5101と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ5187と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ5189と、複数の表示装置5103A~5103Dと、レコーダ5105と、患者ベッド5183と、照明5191と、を図示している。
ここで、これらの装置のうち、装置群5101は、後述する内視鏡手術システム5113に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム5113に属する各装置は医療用機器とも呼称される。一方、表示装置5103A~5103D、レコーダ5105、患者ベッド5183及び照明5191は、内視鏡手術システム5113とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム5113に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ5107及び/又は手術室制御装置5109は、これら医療機器及び非医療機器の動作を互いに連携して制御する。
視聴覚コントローラ5107は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム5100が備える装置のうち、装置群5101、シーリングカメラ5187及び術場カメラ5189は、手術中に表示すべき情報(以下、表示情報ともいう)を発信する機能を有する装置(以下、発信元の装置とも呼称する)であり得る。また、表示装置5103A~5103Dは、表示情報が出力される装置(以下、出力先の装置とも呼称する)であり得る。また、レコーダ5105は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ5107は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報(例えば、患者の身体情報や、過去の検査結果、術式についての情報等)等である。
具体的には、視聴覚コントローラ5107には、装置群5101から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ5187から、表示情報として、当該シーリングカメラ5187によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ5189から、表示情報として、当該術場カメラ5189によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム5100に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ5107は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
あるいは、例えば、レコーダ5105には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ5107によって記録されている。視聴覚コントローラ5107は、表示情報として、レコーダ5105から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ5105には、手術に関する各種の情報も事前に記録されていてもよい。
視聴覚コントローラ5107は、出力先の装置である表示装置5103A~5103Dの少なくともいずれかに、取得した表示情報(すなわち、手術中に撮影された画像や、手術に関する各種の情報)を表示させる。図示する例では、表示装置5103Aは手術室の天井から吊り下げられて設置される表示装置であり、表示装置5103Bは手術室の壁面に設置される表示装置であり、表示装置5103Cは手術室内の机上に設置される表示装置であり、表示装置5103Dは表示機能を有するモバイル機器(例えば、タブレットPC(Personal Computer))である。
また、図11では図示を省略しているが、手術室システム5100には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるPC、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ5107は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
手術室制御装置5109は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置5109は、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191の駆動を制御する。
手術室システム5100には、集中操作パネル5111が設けられており、ユーザは、当該集中操作パネル5111を介して、視聴覚コントローラ5107に対して画像表示についての指示を与えたり、手術室制御装置5109に対して非医療機器の動作についての指示を与えることができる。集中操作パネル5111は、表示装置の表示面上にタッチパネルが設けられて構成される。
図12は、集中操作パネル5111における操作画面の表示例を示す図である。図12では、一例として、手術室システム5100に、出力先の装置として、2つの表示装置が設けられている場合に対応する操作画面を示している。図12を参照すると、操作画面5193には、発信元選択領域5195と、プレビュー領域5197と、コントロール領域5201と、が設けられる。
発信元選択領域5195には、手術室システム5100に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域5195に表示されているいずれかの発信元装置から選択することができる。
プレビュー領域5197には、出力先の装置である2つの表示装置(Monitor1、Monitor2)に表示される画面のプレビューが表示される。図示する例では、1つの表示装置において4つの画像がPinP表示されている。当該4つの画像は、発信元選択領域5195において選択された発信元装置から発信された表示情報に対応するものである。4つの画像のうち、1つはメイン画像として比較的大きく表示され、残りの3つはサブ画像として比較的小さく表示される。ユーザは、4つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、4つの画像が表示される領域の下部には、ステータス表示領域5199が設けられており、当該領域に手術に関するステータス(例えば、手術の経過時間や、患者の身体情報等)が適宜表示され得る。
コントロール領域5201には、発信元の装置に対して操作を行うためのGUI(Graphical User Interface)部品が表示される発信元操作領域5203と、出力先の装置に対して操作を行うためのGUI部品が表示される出力先操作領域5205と、が設けられる。図示する例では、発信元操作領域5203には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作(パン、チルト及びズーム)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域5195において選択されている発信元の装置がレコーダである場合(すなわち、プレビュー領域5197において、レコーダに過去に記録された画像が表示されている場合)には、発信元操作領域5203には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのGUI部品が設けられ得る。
また、出力先操作領域5205には、出力先の装置である表示装置における表示に対する各種の操作(スワップ、フリップ、色調整、コントラスト調整、2D表示と3D表示の切り替え)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、表示装置における表示を操作することができる。
なお、集中操作パネル5111に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル5111を介して、手術室システム5100に備えられる、視聴覚コントローラ5107及び手術室制御装置5109によって制御され得る各装置に対する操作入力が可能であってよい。
図13は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ5187及び術場カメラ5189は、手術室の天井に設けられ、患者ベッド5183上の患者5185の患部に対して処置を行う術者(医者)5181の手元及び手術室全体の様子を撮影可能である。シーリングカメラ5187及び術場カメラ5189には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明5191は、手術室の天井に設けられ、少なくとも術者5181の手元を照射する。照明5191は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能であってよい。
内視鏡手術システム5113、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191は、図11に示すように、視聴覚コントローラ5107及び手術室制御装置5109(図13では図示せず)を介して互いに連携可能に接続されている。手術室内には、集中操作パネル5111が設けられており、上述したように、ユーザは、当該集中操作パネル5111を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
以下、内視鏡手術システム5113の構成について詳細に説明する。図示するように、内視鏡手術システム5113は、内視鏡5115と、その他の術具5131と、内視鏡5115を支持する支持アーム装置5141と、内視鏡下手術のための各種の装置が搭載されたカート5151と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5139a~5139dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5139a~5139dから、内視鏡5115の鏡筒5117や、その他の術具5131が患者5185の体腔内に挿入される。図示する例では、その他の術具5131として、気腹チューブ5133、エネルギー処置具5135及び鉗子5137が、患者5185の体腔内に挿入されている。また、エネルギー処置具5135は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5131はあくまで一例であり、術具5131としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡5115によって撮影された患者5185の体腔内の術部の画像が、表示装置5155に表示される。術者5181は、表示装置5155に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5135や鉗子5137を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5133、エネルギー処置具5135及び鉗子5137は、手術中に、術者5181又は助手等によって支持される。
(支持アーム装置)
支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。
(内視鏡)
内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。
鏡筒5117の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5115には光源装置5157が接続されており、当該光源装置5157によって生成された光が、鏡筒5117の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5185の体腔内の観察対象に向かって照射される。なお、内視鏡5115は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド5119の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5153に送信される。なお、カメラヘッド5119には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5119には撮像素子が複数設けられてもよい。この場合、鏡筒5117の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
(カートに搭載される各種の装置)
CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図11に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。
表示装置5155は、CCU5153からの制御により、当該CCU5153によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5115が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5155としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5155として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5155が設けられてもよい。
光源装置5157は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5115に供給する。
アーム制御装置5159は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5141のアーム部5145の駆動を制御する。
入力装置5161は、内視鏡手術システム5113に対する入力インタフェースである。ユーザは、入力装置5161を介して、内視鏡手術システム5113に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5161を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5161を介して、アーム部5145を駆動させる旨の指示や、内視鏡5115による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5135を駆動させる旨の指示等を入力する。
入力装置5161の種類は限定されず、入力装置5161は各種の公知の入力装置であってよい。入力装置5161としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5171及び/又はレバー等が適用され得る。入力装置5161としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5155の表示面上に設けられてもよい。
あるいは、入力装置5161は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5161は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5161は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5161が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5181)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置5163は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5135の駆動を制御する。気腹装置5165は、内視鏡5115による視野の確保及び術者の作業空間の確保の目的で、患者5185の体腔を膨らめるために、気腹チューブ5133を介して当該体腔内にガスを送り込む。レコーダ5167は、手術に関する各種の情報を記録可能な装置である。プリンタ5169は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム5113において特に特徴的な構成について、更に詳細に説明する。
(支持アーム装置)
支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図13では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a~5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a~5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。
関節部5147a~5147cにはアクチュエータが設けられており、関節部5147a~5147cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5159によって制御されることにより、各関節部5147a~5147cの回転角度が制御され、アーム部5145の駆動が制御される。これにより、内視鏡5115の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5159は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5145の駆動を制御することができる。
例えば、術者5181が、入力装置5161(フットスイッチ5171を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5159によってアーム部5145の駆動が適宜制御され、内視鏡5115の位置及び姿勢が制御されてよい。当該制御により、アーム部5145の先端の内視鏡5115を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5145は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5145は、手術室から離れた場所に設置される入力装置5161を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置5159は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5145が移動するように、各関節部5147a~5147cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5145に触れながらアーム部5145を移動させる際に、比較的軽い力で当該アーム部5145を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5115を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5115が支持されていた。これに対して、支持アーム装置5141を用いることにより、人手によらずに内視鏡5115の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置5159は必ずしもカート5151に設けられなくてもよい。また、アーム制御装置5159は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5159は、支持アーム装置5141のアーム部5145の各関節部5147a~5147cにそれぞれ設けられてもよく、複数のアーム制御装置5159が互いに協働することにより、アーム部5145の駆動制御が実現されてもよい。
(光源装置)
光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置5157は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5119の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置5157は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5157は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
(カメラヘッド及びCCU)
図14を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図14は、図13に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。
図14を参照すると、カメラヘッド5119は、その機能として、レンズユニット5121と、撮像部5123と、駆動部5125と、通信部5127と、カメラヘッド制御部5129と、を有する。また、CCU5153は、その機能として、通信部5173と、画像処理部5175と、制御部5177と、を有する。カメラヘッド5119とCCU5153とは、伝送ケーブル5179によって双方向に通信可能に接続されている。
まず、カメラヘッド5119の機能構成について説明する。レンズユニット5121は、鏡筒5117との接続部に設けられる光学系である。鏡筒5117の先端から取り込まれた観察光は、カメラヘッド5119まで導光され、当該レンズユニット5121に入射する。レンズユニット5121は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5121は、撮像部5123の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部5123は撮像素子によって構成され、レンズユニット5121の後段に配置される。レンズユニット5121を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5123によって生成された画像信号は、通信部5127に提供される。
撮像部5123を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5181は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部5123を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5181は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5123が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5121も複数系統設けられる。
また、撮像部5123は、必ずしもカメラヘッド5119に設けられなくてもよい。例えば、撮像部5123は、鏡筒5117の内部に、対物レンズの直後に設けられてもよい。
駆動部5125は、アクチュエータによって構成され、カメラヘッド制御部5129からの制御により、レンズユニット5121のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5123による撮像画像の倍率及び焦点が適宜調整され得る。
通信部5127は、CCU5153との間で各種の情報を送受信するための通信装置によって構成される。通信部5127は、撮像部5123から得た画像信号をRAWデータとして伝送ケーブル5179を介してCCU5153に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5181が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5127には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5179を介してCCU5153に送信される。
また、通信部5127は、CCU5153から、カメラヘッド5119の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5127は、受信した制御信号をカメラヘッド制御部5129に提供する。なお、CCU5153からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5127には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5129に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5153の制御部5177によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5115に搭載される。
カメラヘッド制御部5129は、通信部5127を介して受信したCCU5153からの制御信号に基づいて、カメラヘッド5119の駆動を制御する。例えば、カメラヘッド制御部5129は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5123の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5129は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5125を介してレンズユニット5121のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5129は、更に、鏡筒5117やカメラヘッド5119を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット5121や撮像部5123等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5119について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、CCU5153の機能構成について説明する。通信部5173は、カメラヘッド5119との間で各種の情報を送受信するための通信装置によって構成される。通信部5173は、カメラヘッド5119から、伝送ケーブル5179を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5173には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5173は、電気信号に変換した画像信号を画像処理部5175に提供する。
また、通信部5173は、カメラヘッド5119に対して、カメラヘッド5119の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部5175は、カメラヘッド5119から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5175は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
画像処理部5175は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5175が複数のGPUによって構成される場合には、画像処理部5175は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
制御部5177は、内視鏡5115による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5177は、カメラヘッド5119の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5177は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5115にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5177は、画像処理部5175による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部5177は、画像処理部5175によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5155に表示させる。この際、制御部5177は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5177は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5135使用時のミスト等を認識することができる。制御部5177は、表示装置5155に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5181に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド5119及びCCU5153を接続する伝送ケーブル5179は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル5179を用いて有線で通信が行われていたが、カメラヘッド5119とCCU5153との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5179を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5179によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る手術室システム5100の一例について説明した。なお、ここでは、一例として手術室システム5100が適用される医療用システムが内視鏡手術システム5113である場合について説明したが、手術室システム5100の構成はかかる例に限定されない。例えば、手術室システム5100は、内視鏡手術システム5113に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
本開示に係る技術は、以上説明した構成のうち、光源装置5157に好適に適用され得る。具体的には、光源装置5157がAF補助光を照射する際の光量を、ユーザの設定に応じてハイレベルおよびローレベルのいずれか一方となるように制御したり、距離情報に応じて図7または図8を参照して説明したように制御したりすることができる。このように、状況に適した光量となるように調整することで、術者5181が眩しいと感じるような画像が表示されることを回避することができ、より良好に手術を行うことができる。
さらに、本開示に係る技術を、AFや、AE(Automatic Exposure)、AWB(Auto White Balance)を実行する際の、画像信号に対する検波処理に適用してもよい。即ち、それらの検波用の画像を撮像するのに必要な短い時間だけハイレベルの光を照射するように、光源装置5157の発光が制御される。そして、光源装置5157がハイレベルの光を照射している間、画像の表示を停止することで、術者5181が、ハイレベルの光が照射されている画像を見てしまうことを回避することができ、強い光により目が眩むことのない、より良好な手術環境を提供することが可能となる。
<構成の組み合わせ例>
なお、本技術は以下のような構成も取ることができる。
(1)
AF(Auto Focus)補助光の光量を設定する光量設定部と、
前記光量設定部による設定に従って、前記AF補助光の発光を制御する発光制御部と
を備える発光制御装置。
(2)
前記発光制御部は、前記AF補助光および照明光の発光が可能な発光部に対して、前記光量設定部により設定された前記AF補助光の光量で発光するように制御を行う
上記(1)に記載の発光制御装置。
(3)
前記AF補助光の光量は、フォーカスを合わせる前記被写体までの距離、または、ユーザによる指定に従って求められる
上記(1)に記載の発光制御装置。
(4)
フォーカスを合わせる前記被写体までの距離を示す距離情報を取得する距離情報取得部と、
前記距離情報取得部が取得した距離情報に基づいて、前記AF補助光の光量を計算する処理を行う光量計算処理部と
をさらに備え、
前記発光制御部は、前記光量計算処理部により求められた前記AF補助光の光量で発光するように前記発光部に対する制御を行う
上記(2)または(3)に記載の発光制御装置。
(5)
前記発光制御部は、前記被写体に対して規定レベルの初期発光の光量で前記AF補助光を発光するように前記発光部に対する制御を行い、
前記光量計算処理部は、前記規定のレベルの光量で発光された前記AF補助光が照射された前記被写体に対する前記距離情報に基づいて、その被写体までの距離に応じた適切な前記AF補助光の光量を求め、
前記発光制御部は、前記光量計算処理部により求められた適切な前記AF補助光の光量で前記AF補助光を発光するように前記発光部に対する制御を行う
上記(4)に記載の発光制御装置。
(6)
前記発光制御部は、前記発光部による最大の光量を前記規定レベルの初期発光として、前記AF補助光の発光を制御する
上記(5)に記載の発光制御装置。
(7)
前記発光制御部は、前記発光部による最小の光量を前記規定レベルの初期発光として、前記AF補助光の発光を制御し、前記距離情報が取得されるまで、前記AF補助光の光量が徐々に増加するように前記発光部に対する制御を行う
上記(5)に記載の発光制御装置。
(8)
前記発光制御部は、ユーザによる指定に応じて設定される前記AF補助光の光量で発光するように前記発光部に対する制御を行う
上記(2)から(7)までのいずれかに記載の発光制御装置。
(9)
前記発光制御部は、少なくとも2段階以上の多段階のレベルで調整された前記AF補助光の光量で発光するように前記発光部に対する制御を行う
上記(8)に記載の発光制御装置。
(10)
前記発光制御部は、ハイレベルおよびローレベルの2段階で設定される前記AF補助光の光量で発光するように前記発光部に対する制御を行う
上記(8)または(9)に記載の発光制御装置。
(11)
前記発光制御部は、ユーザにより指定された撮像モードに対応付けられて設定される前記AF補助光の光量で発光するように前記発光部に対する制御を行う
上記(8)から(10)までのいずれかに記載の発光制御装置。
(12)
前記発光制御部は、撮像された画像に写されている被写体の認識結果に基づいて、前記AF補助光の光量を制御する
上記(1)から(11)までのいずれかに記載の発光制御装置。
(13)
前記発光制御部は、画像の撮像に用いられるAFレンズの焦点距離に基づいて、前記AF補助光の光量を制御する
上記(1)から(12)までのいずれかに記載の発光制御装置。
(14)
AF(Auto Focus)補助光の光量を設定し、
その設定に従って、前記AF補助光の発光を制御する
ステップを含む発光制御方法。
(15)
AF(Auto Focus)補助光の光量を設定し、
その設定に従って、前記AF補助光の発光を制御する
ステップを含む処理をコンピュータに実行させるプログラム。
(16)
AF(Auto Focus)補助光の発光が可能な発光部と、
前記AF補助光の光量を設定する光量設定部と、
前記光量設定部による設定に従って、前記発光部に対する制御を行う発光制御部と
を備える発光装置。
(17)
AF(Auto Focus)補助光の発光が可能な発光部と、
前記AF補助光の光量を設定する光量設定部と、
前記光量設定部による設定に従って、前記発光部に対する制御を行う発光制御部と
を有する発光装置を備える撮像装置。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
11 撮像装置, 12 撮像装置本体, 13 外部発光装置, 21 AFレンズ, 22 シャッタボタン, 31 閃光部, 32 発光部, 41 光学系, 42 AF駆動部, 43 撮像素子, 44 操作指示部, 45 通信部, 46 位相差ピント処理部, 47 AF合焦処理部, 48 画像処理回路, 49 モニタ, 50 メモリ, 61 通信部, 62 表示部, 63 操作部, 64 発光制御ユニット, 71 操作情報取得部, 72 メニュー画面表示制御部, 73 記憶部, 74 距離情報取得部, 75 光量計算処理部, 76 光量設定部, 77 発光制御部, 78 フラッシュ制御部

Claims (15)

  1. AF(Auto Focus)補助光の発光が可能な発光部の光量を設定する光量設定部と、
    前記光量設定部による設定に従って、前記AF補助光の発光を制御する発光制御部と
    フォーカスを合わせる被写体までの距離を示す距離情報を取得する距離情報取得部と、
    前記距離情報に基づいて、前記AF補助光の光量を計算する処理を行う光量計算処理部と、
    前記距離情報に基づいて、前記被写体にフォーカスを合わせるAF合焦処理を行うAF合焦処理部と
    を備え
    前記発光制御部は、前記被写体に対して規定レベルの初期発光の光量で前記AF補助光を発光するように前記発光部に対する制御を行い、
    前記距離情報取得部は、前記規定レベルの光量で発光された前記AF補助光が照射された前記被写体までの距離を示す距離情報を、撮像素子の像面位相差に基づいて測定し、
    前記光量計算処理部は、前記距離情報に基づいて、前記被写体までの距離に応じた適切な前記AF補助光の光量を求め、
    前記発光制御部は、適切な前記AF補助光の光量で前記AF補助光を発光するように前記発光部に対する制御を行い、
    前記AF合焦処理部は、適切な前記AF補助光の光量で前記被写体に前記AF補助光が照射されている状態で、前記被写体のコントラストに基づいて前記AF合焦処理を行い、
    前記発光制御部は、前記AF合焦処理の処理後に、前記AF補助光の発光を終了するように前記発光部に対する制御を行う
    発光制御装置。
  2. 前記発光制御部は、前記AF補助光および照明光の発光が可能な前記発光部に対して、前記光量設定部により設定された前記AF補助光の光量で発光するように制御を行う
    請求項1に記載の発光制御装置。
  3. 前記AF補助光の光量は、フォーカスを合わせる前記被写体までの距離、または、ユーザによる指定に従って求められる
    請求項1に記載の発光制御装置。
  4. 前記発光制御部は、前記発光部による最大の光量を前記規定レベルの初期発光として、前記AF補助光の発光を制御する
    請求項1に記載の発光制御装置。
  5. 前記発光制御部は、前記発光部による最小の光量を前記規定レベルの初期発光として、前記AF補助光の発光を制御し、前記距離情報が取得されるまで、前記AF補助光の光量が徐々に増加するように前記発光部に対する制御を行う
    請求項1に記載の発光制御装置。
  6. 前記発光制御部は、ユーザによる指定に応じて設定される前記AF補助光の光量で発光するように前記発光部に対する制御を行う
    請求項1に記載の発光制御装置。
  7. 前記発光制御部は、2段階以上の多段階のレベルで設定される前記AF補助光の光量で発光するように前記発光部に対する制御を行う
    請求項6に記載の発光制御装置。
  8. 前記発光制御部は、ハイレベルおよびローレベルの2段階で設定される前記AF補助光の光量で発光するように前記発光部に対する制御を行う
    請求項7に記載の発光制御装置。
  9. 前記発光制御部は、ユーザにより指定された撮像モードに対応付けられて設定される前記AF補助光の光量で発光するように前記発光部に対する制御を行う
    請求項6に記載の発光制御装置。
  10. 前記発光制御部は、撮像された画像に写されている被写体の認識結果に基づいて、前記AF補助光の光量を制御する
    請求項1に記載の発光制御装置。
  11. 前記発光制御部は、画像の撮像に用いられるAFレンズの焦点距離に基づいて、前記AF補助光の光量を制御する
    請求項1に記載の発光制御装置。
  12. AF(Auto Focus)補助光の発光が可能な発光部の光量を設定し、
    その設定に従って、前記AF補助光の発光を制御し、
    フォーカスを合わせる被写体までの距離を示す距離情報を取得し、
    前記距離情報に基づいて、前記AF補助光の光量を計算する処理を行い、
    前記距離情報に基づいて、前記被写体にフォーカスを合わせるAF合焦処理を行う
    ステップを含み、
    前記被写体に対して規定レベルの初期発光の光量で前記AF補助光を発光するように前記発光部に対する制御を行い、
    前記規定レベルの光量で発光された前記AF補助光が照射された前記被写体までの距離を示す距離情報を、撮像素子の像面位相差に基づいて測定し、
    前記距離情報に基づいて、前記被写体までの距離に応じた適切な前記AF補助光の光量を求め、
    適切な前記AF補助光の光量で前記AF補助光を発光するように前記発光部に対する制御を行い、
    適切な前記AF補助光の光量で前記被写体に前記AF補助光が照射されている状態で、前記被写体のコントラストに基づいて前記AF合焦処理を行い、
    前記AF合焦処理の処理後に、前記AF補助光の発光を終了するように前記発光部に対する制御を行う
    発光制御方法。
  13. AF(Auto Focus)補助光の発光が可能な発光部の光量を設定し、
    その設定に従って、前記AF補助光の発光を制御し、
    フォーカスを合わせる被写体までの距離を示す距離情報を取得し、
    前記距離情報に基づいて、前記AF補助光の光量を計算する処理を行い、
    前記距離情報に基づいて、前記被写体にフォーカスを合わせるAF合焦処理を行う
    ステップを含み、
    前記被写体に対して規定レベルの初期発光の光量で前記AF補助光を発光するように前記発光部に対する制御を行い、
    前記規定レベルの光量で発光された前記AF補助光が照射された前記被写体までの距離を示す距離情報を、撮像素子の像面位相差に基づいて測定し、
    前記距離情報に基づいて、前記被写体までの距離に応じた適切な前記AF補助光の光量を求め、
    適切な前記AF補助光の光量で前記AF補助光を発光するように前記発光部に対する制御を行い、
    適切な前記AF補助光の光量で前記被写体に前記AF補助光が照射されている状態で、前記被写体のコントラストに基づいて前記AF合焦処理を行い、
    前記AF合焦処理の処理後に、前記AF補助光の発光を終了するように前記発光部に対する制御を行う
    処理をコンピュータに実行させるプログラム。
  14. AF(Auto Focus)補助光の発光が可能な発光部と、
    前記AF補助光の光量を設定する光量設定部と、
    前記光量設定部による設定に従って、前記発光部に対する制御を行う発光制御部と
    フォーカスを合わせる被写体までの距離を示す距離情報を取得する距離情報取得部と、
    前記距離情報に基づいて、前記AF補助光の光量を計算する処理を行う光量計算処理部と、
    前記距離情報に基づいて、前記被写体にフォーカスを合わせるAF合焦処理を行うAF合焦処理部と
    を備え
    前記発光制御部は、前記被写体に対して規定レベルの初期発光の光量で前記AF補助光を発光するように前記発光部に対する制御を行い、
    前記距離情報取得部は、前記規定レベルの光量で発光された前記AF補助光が照射された前記被写体までの距離を示す距離情報を、撮像素子の像面位相差に基づいて測定し、
    前記光量計算処理部は、前記距離情報に基づいて、前記被写体までの距離に応じた適切な前記AF補助光の光量を求め、
    前記発光制御部は、適切な前記AF補助光の光量で前記AF補助光を発光するように前記発光部に対する制御を行い、
    前記AF合焦処理部は、適切な前記AF補助光の光量で前記被写体に前記AF補助光が照射されている状態で、前記被写体のコントラストに基づいて前記AF合焦処理を行い、
    前記発光制御部は、前記AF合焦処理の処理後に、前記AF補助光の発光を終了するように前記発光部に対する制御を行う
    発光装置。
  15. AF(Auto Focus)補助光の発光が可能な発光部と、
    前記AF補助光の光量を設定する光量設定部と、
    前記光量設定部による設定に従って、前記発光部に対する制御を行う発光制御部と
    フォーカスを合わせる被写体までの距離を示す距離情報を取得する距離情報取得部と、
    前記距離情報に基づいて、前記AF補助光の光量を計算する処理を行う光量計算処理部と、
    前記距離情報に基づいて、前記被写体にフォーカスを合わせるAF合焦処理を行うAF合焦処理部と
    を有し、
    前記発光制御部は、前記被写体に対して規定レベルの初期発光の光量で前記AF補助光を発光するように前記発光部に対する制御を行い、
    前記距離情報取得部は、前記規定レベルの光量で発光された前記AF補助光が照射された前記被写体までの距離を示す距離情報を、撮像素子の像面位相差に基づいて測定し、
    前記光量計算処理部は、前記距離情報に基づいて、前記被写体までの距離に応じた適切な前記AF補助光の光量を求め、
    前記発光制御部は、適切な前記AF補助光の光量で前記AF補助光を発光するように前記発光部に対する制御を行い、
    前記AF合焦処理部は、適切な前記AF補助光の光量で前記被写体に前記AF補助光が照射されている状態で、前記被写体のコントラストに基づいて前記AF合焦処理を行い、
    前記発光制御部は、前記AF合焦処理の処理後に、前記AF補助光の発光を終了するように前記発光部に対する制御を行う
    発光装置を備える撮像装置。
JP2018566067A 2017-02-06 2018-01-23 発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置 Active JP7135869B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017019525 2017-02-06
JP2017019525 2017-02-06
PCT/JP2018/001853 WO2018142993A1 (ja) 2017-02-06 2018-01-23 発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置

Publications (2)

Publication Number Publication Date
JPWO2018142993A1 JPWO2018142993A1 (ja) 2019-11-21
JP7135869B2 true JP7135869B2 (ja) 2022-09-13

Family

ID=63040687

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018566067A Active JP7135869B2 (ja) 2017-02-06 2018-01-23 発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置

Country Status (3)

Country Link
US (1) US11022859B2 (ja)
JP (1) JP7135869B2 (ja)
WO (1) WO2018142993A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020122911A (ja) * 2019-01-31 2020-08-13 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd カメラレンズの合焦装置、合焦方法、合焦プログラム
JP7052784B2 (ja) * 2019-09-30 2022-04-12 セイコーエプソン株式会社 光学デバイス、プロジェクター、及び光学デバイスの制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001324667A (ja) 2000-05-16 2001-11-22 Canon Inc 撮像装置およびその制御方法
JP2012118153A (ja) 2010-11-30 2012-06-21 Canon Inc 自動焦点調整装置
JP2017028376A (ja) 2015-07-16 2017-02-02 キヤノン株式会社 発光制御装置およびその制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0915490A (ja) * 1995-06-30 1997-01-17 Canon Inc 自動焦点調節装置及びカメラ
JPH10123408A (ja) * 1996-10-21 1998-05-15 Minolta Co Ltd オートフォーカスカメラ
JPH10206942A (ja) 1997-01-21 1998-08-07 Minolta Co Ltd 閃光発光装置及びこの閃光発光装置を備えたカメラ
JP5020651B2 (ja) * 2007-02-02 2012-09-05 キヤノン株式会社 撮像装置及び撮像システム
WO2009091038A1 (ja) * 2008-01-18 2009-07-23 Nikon Corporation 撮影用照明装置及びカメラ
US20100158495A1 (en) * 2008-12-22 2010-06-24 Spence John P Autofocus assist lighting used for rangefinding in very low light conditions
US8326136B1 (en) * 2009-02-12 2012-12-04 Lab Partners Associates, Inc. Systems and methods for communicating with a device using one or more camera body controls
US8326141B1 (en) * 2009-02-12 2012-12-04 Lab Partners Associates, Inc. Systems and methods for changing power states of a remote device using one or more camera body controls and a preset delay
JP5941630B2 (ja) * 2011-07-14 2016-06-29 オリンパス株式会社 カメラ
JP2013229856A (ja) * 2012-03-28 2013-11-07 Panasonic Corp 画像処理装置、撮像装置、サーバ装置およびコンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001324667A (ja) 2000-05-16 2001-11-22 Canon Inc 撮像装置およびその制御方法
JP2012118153A (ja) 2010-11-30 2012-06-21 Canon Inc 自動焦点調整装置
JP2017028376A (ja) 2015-07-16 2017-02-02 キヤノン株式会社 発光制御装置およびその制御方法

Also Published As

Publication number Publication date
WO2018142993A1 (ja) 2018-08-09
US20190346743A1 (en) 2019-11-14
US11022859B2 (en) 2021-06-01
JPWO2018142993A1 (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
CN110168605B (zh) 用于动态范围压缩的视频信号处理装置、视频信号处理方法和计算机可读介质
JP7400802B2 (ja) 撮像装置、およびスイッチ
WO2020170931A1 (ja) データ伝送システム、データ伝送方法及びコンピュータプログラム
JP7363767B2 (ja) 画像処理装置と画像処理方法およびプログラム
JP7188083B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP7230807B2 (ja) 信号処理装置、撮像装置、信号処理方法及びプログラム
US10694141B2 (en) Multi-camera system, camera, camera processing method, confirmation device, and confirmation device processing method
US11729519B2 (en) Video signal processing apparatus, video signal processing method, and image-capturing apparatus
JP7264051B2 (ja) 画像処理装置および画像処理方法
JP7135869B2 (ja) 発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置
JP7420137B2 (ja) 信号処理装置、撮像装置、信号処理方法
US11729493B2 (en) Image capture apparatus and image capture method
JP7136093B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP7092111B2 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
WO2020203265A1 (ja) 映像信号処理装置、映像信号処理方法および撮像装置
JP7160042B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JP2020163037A (ja) 医療システム、情報処理装置及び情報処理方法
JP7444074B2 (ja) 撮像装置、撮像制御装置、撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220815

R151 Written notification of patent or utility model registration

Ref document number: 7135869

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151