JP7355009B2 - 撮像装置、ゲイン設定方法及びプログラム - Google Patents

撮像装置、ゲイン設定方法及びプログラム Download PDF

Info

Publication number
JP7355009B2
JP7355009B2 JP2020523538A JP2020523538A JP7355009B2 JP 7355009 B2 JP7355009 B2 JP 7355009B2 JP 2020523538 A JP2020523538 A JP 2020523538A JP 2020523538 A JP2020523538 A JP 2020523538A JP 7355009 B2 JP7355009 B2 JP 7355009B2
Authority
JP
Japan
Prior art keywords
value
horizontal line
aperture
gain
average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020523538A
Other languages
English (en)
Other versions
JPWO2019235049A1 (ja
Inventor
友臣 伊藤
宣洋 土井
祥平 内田
祐介 三村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019235049A1 publication Critical patent/JPWO2019235049A1/ja
Application granted granted Critical
Publication of JP7355009B2 publication Critical patent/JP7355009B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/095—Digital circuits for control of aperture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Description

本開示は、撮像装置、ゲイン設定方法及びプログラムに関する。
近年、デジタルカメラ、デジタルビデオカメラ等の撮像装置では、撮像装置全体のパフォーマンスを向上させるために、様々な技術が開発されている。最近では特に、特許文献１に記載されるようなＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサが搭載された撮像装置が一般的となっており、このＣＭＯＳイメージセンサに関する技術向上が期待されている。
ＣＭＯＳイメージセンサでは、配列された各画素をローリングシャッター方式で読み出して、イメージセンサから取得された信号に処理を施すことにより、撮像画像を表示する。ローリングシャッター方式の読み出しでは、最初に読み出す水平ラインから最後に読み出す水平ラインまで、各水平ライン間で露光開始及び露光終了の時刻が異なる。このように露光開始時刻の異なる水平ラインが露光する最中に、撮像装置の絞りが変化すると、水平ラインの上下で蓄積される光量が異なり、一つの撮像画像内の上下で明暗差が生じてしまう。
明暗差の生じた撮像画像を表示すると画面がちらついたり、画面全体が黒くまたは白く表示されたりする。特に、ライブビューなどで撮像画像を連続表示すると、画面のちらつき、黒とび、白とび等の影響は顕著である。このように撮像画像に明暗差が生じると撮像画像の品位が低下するほか、動体である被写体を追尾するときには、被写体を追尾しづらくなり、ユーザが撮影機会を失い、撮像装置全体のパフォーマンスを低下させていた。
これらの撮像画像の上下の明暗差を抑制する技術として、特許文献１には、露光期間を補正することで、撮像画像の上下の明暗差を抑制する技術が開示されている。
特開２０１７－３８３０号公報
しかしながら、露光期間を補正することにより、シャッタースピードに制限等が生じたり、明暗差の抑制が不十分であったりすることもあり、撮像画像の上下の明暗差を抑制する技術の更なる開発が期待されていた。
そこで、上記事情に鑑みれば、露光期間が変更されなくとも、ローリングシャッターによる露光開始時刻の差により発生する撮像画像内の明暗差を抑制することが望ましい。
本開示によれば、絞り値の時系列変化を表す絞り駆動軌跡に関する絞り駆動情報に基づいて、複数の画素がマトリックス状に２次元に配置されたイメージセンサの前記複数の画素が並ぶライン毎に、ゲインを設定するゲイン設定部、を備える、撮像装置が提供される。
また、本開示によれば、プロセッサが、絞り値の時系列変化を表す絞り駆動軌跡に関する絞り駆動情報に基づいて、複数の画素がマトリックス状に２次元に配置されたイメージセンサの前記複数の画素が並ぶライン毎に、ゲインを設定すること、を含むゲイン設定方法が提供される。
また、本開示によれば、コンピュータを、絞り値の時系列変化を表す絞り駆動軌跡に関する絞り駆動情報に基づいて、複数の画素がマトリックス状に２次元に配置されたイメージセンサの前記複数の画素が並ぶライン毎に、ゲインを設定するゲイン設定部、として機能させるためのプログラムが提供される。
本開示によれば、ライン毎にゲインが設定されることにより、各ラインが取得する光量の差を抑制する補正を行うことができる。
以上説明したように本開示によれば、露光期間が変更されなくとも、ローリングシャッターによる露光開始時刻の差により発生する撮像画像内の明暗差を抑制できる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る撮像装置の外観図である。 本開示の一実施形態に係る撮像装置の外観図である。 ＣＭＯＳイメージセンサの各ラインの露光と撮像装置の絞りの軌跡とを示した図である。 同実施形態に係る撮像装置を説明するブロック図である。 ゲイン補正を行う際のＣＭＯＳイメージセンサの各ラインの露光と撮像装置の絞りの軌跡とを示した図である。 平均ＡＶ値の算出フローを示した図である。 任意の水平ラインにおける絞り値の変化と光量の変化との関係を示した図である。 絞りの駆動軌跡に基づいて、ゲイン補正が行われる際の動作フローを示した図である。 同実施形態の撮像装置のゲイン補正の効果を説明する図である。 同実施形態の撮像装置の変形例を示した図である。 同実施形態に係る撮像装置のハードウェア構成の一例を示す図である。 手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図１３に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．本開示の技術が適用された一例の外観
２．背景
３．撮像装置の機能および構成
４．ゲイン補正
５．動作フロー
６．変形例
７．ハードウェア構成例
８．応用例
（１．本開示の技術が適用された一例の外観）
図１Ａ及び図１Ｂを参照して、本開示の技術が適用される電子機器の一例を説明する。図１Ａおよび図１Ｂは、本開示の技術が適用されたデジタルカメラを示した図である。デジタルカメラ２００は、本体部（カメラボディ）２１１と、交換式のレンズユニット２１３と、撮影時にユーザによって把持されるグリップ部２１５と、各種情報を表示するモニタ部２１７と、撮影時にユーザによって観察されるスルー画を表示するＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）２１９と、を備える。なお、図１Ａは、デジタルカメラ２００を前方（すなわち、被写体側）から眺めた外観図であり、図１Ｂは、デジタルカメラ２００を後方（すなわち、撮影者側）から眺めた外観図である。
本開示の技術は、例えば、デジタルカメラ２００において、撮像する際に使用され、特に、モニタ部２１７でのライブビュー表示における撮像画像のちらつき、ブラックアウトまたは白とび等を防止できる。なお、ライブビュー表示では、イメージセンサから得られた信号を処理して形成された撮像画像がリアルタイムに表示される。このライブビュー表示では、ユーザが被写体の構図を決定したり、被写体が動体であれば追尾したりすることができる。
（２．背景）
デジタルカメラ２００には、ＣＭＯＳイメージセンサが最近では一般的に搭載されている。まずは、ＣＭＯＳイメージセンサについて説明を行う。
図２は、ＣＭＯＳイメージセンサの各ラインの露光と撮像装置の絞りの軌跡とを示した図である。図２では図中の上部に、イメージセンサの各水平ラインの露光期間を、図中下部に時間経過と絞り値の変化との概念図を示している。ＣＭＯＳイメージセンサにおいては、複数の画素が水平方向及び垂直方向に配列され、各水平ラインを順次読み出すローリングシャッター方式により、画素から信号が読み出されている。１つの水平ラインの横軸長さは、該水平ラインにおける露光期間を示しており、この露光期間の間に各ラインに配置される画素に電荷が蓄積される。蓄積された電荷はその後、ライン毎に順次、信号読み出しが行われる。最上段の露光開始から、最下段の露光終了までで１つの撮像画像の露光が完了する。図２では、この露光最中に絞りが変化している。
ここで、絞りについて説明する。絞りは、レンズから入る光の量を調整する構成であり、デジタルカメラ２００のレンズユニット２１３に備えられている。絞りは、レンズに対する遮蔽領域を変えることで取り込む光の量を調整する。絞りが引き起こすレンズに対する遮蔽領域の違いにより、デジタルカメラ２００が取り込む光は調整され、その光量を数値として表した値が絞り値（ＡＶ値）とされる。
ＡＶ値は、大きくなるにつれて絞りが絞られてレンズに対する遮蔽領域が広まるため、レンズを通る光量は低下する。一方で、ＡＶ値が小さくなるにつれて、絞りが開放されてレンズに対する遮蔽領域が狭まるため、レンズを通る光量は上昇する。このようなＡＶ値は、被写体を撮影する際に撮像画像の品質を最適化するために変更される。
図２では、ＣＭＯＳイメージセンサを搭載したデジタルカメラ２００において、ＡＶ値を上昇させた一例を示している。１つの撮像画像の露光が開始され、露光が終了されるまでにＡＶ値が上昇している。このとき、各水平ラインで取得される光量が異なる。そのため、各水平ラインで光量の差を含む撮像画像には上下に明暗差が生じることがある。このように一つの撮像画像内で明暗差が生じると、画像のちらつき、ブラックアウト、白とび等が発生し、ユーザが被写体を追尾しづらくなったり撮像画像の品位が低下したりする。
そこで、本開示者らは、ローリングシャッター方式における露光開始時刻の差により発生する撮像画像内の明暗差を抑制する技術を鋭意研究し、本開示の技術を想到した。例えば、図２に記載の最下段の水平ラインを用いて技術概要を説明する。最上段の水平ラインから順次露光が開始し、一定時間露光が行われた後に、各水平ラインにて画素から電荷の読み出しが行われる。本開示の技術では、例えば、最下段の水平ラインに対して絞り値の時系列変化を表す絞り駆動軌跡に基づいて算出されたゲインを設定して、ゲイン補正処理を施すことにより１つの撮像画像の上下における明暗差を抑制する。
つまり、本開示の技術では、絞り値の時系列変化を表す絞り駆動軌跡に関する絞り駆動情報に基づいて、複数の画素が水平方向及び垂直方向に配列されるイメージセンサの複数の水平ラインに対して、ゲインを設定する。これにより、各水平ラインから取得された光量に対して、絞りの駆動による光量変化を抑制したゲイン補正が可能となるため、撮像画像内の明暗差を抑制することができる。
本開示の技術は、適用される撮像装置は限定されず、以下では、交換レンズ式の撮像装置を一例として本開示の技術の説明を行う。
（３．撮像装置の機能および構成）
図３を参照して、本開示の実施形態に係る撮像装置の機能及び構成について説明する。図３を参照すると、本実施形態に係る撮像装置１０００は、レンズ部１１００及びカメラ部１２００を備える。
レンズ部１１００は、絞り１１２０と、絞り駆動部１１４０と、通信部１１６０とを備える。レンズ部１１００では、絞りが駆動されることにより、カメラ部１２００に備えられるイメージセンサ１２２０が取得する光量を調整する機能を有する。
絞り１１２０は、レンズから入る光の量を調整する機能を有する。絞り駆動部１１４０からの指示などに応じて、絞り１１２０が有する開口径が制御される。絞り１１２０では、さらに絞り検出センサ（図示せず。）によって、絞りのＡＶ値を取得する機能も有する。
絞り駆動部１１４０では、レンズ部１１００に備えられる絞り１１２０を駆動させる。絞り駆動部１１４０には、絞りの他に、絞りを駆動させるためのアクチュエータ、ドライバ等が備えられる。これらのアクチュエータ、およびドライバを介して絞り駆動部１１４０では、ＡＶ値が変更される。また、絞り駆動部１１４０では、通信部１１６０及び通信部１２７０を介して露出制御部１２５２から出力された情報を取得して、絞りを駆動させ得る。
絞り駆動部１１４０では、絞り１１２０の絞り駆動に関する絞り駆動情報をカメラ部１２００に出力する機能も有する。絞り駆動に関する絞り駆動情報とは、現在の絞り値、被写体の輝度情報、被写体までの距離等の情報を含む。
通信部１１６０は、絞り駆動部１１４０により取得された絞り駆動に関する絞り駆動情報をカメラ部１２００に出力したり、カメラ部１２００から絞り駆動軌跡に関する絞り駆動情報を取得したりする機能を有する。通信部１１６０を介して、レンズ部１１００及びカメラ部１２００は連続的若しくは一時的に通信を行ってもよく、所定の間隔で通信を行ってもよい。
次に、カメラ部１２００に関して説明する。カメラ部１２００は、イメージセンサ１２２０と、フィルタ１２３０と、輝度検波回路１２４０と、制御部１２５０と、表示部１２６０と、通信部１２７０とを有する。カメラ部１２００は、レンズ部１１００から取得した絞り駆動に関する絞り駆動情報を取得して、レンズ部１１００に備えられる絞りを調整するための制御情報を出力する機能を有する。また、カメラ部１２００は、イメージセンサ１２２０から読み出された信号に対して、ゲイン補正処理を行うことにより、表示部１２６０で明暗差が抑制された撮像画像を表示させる機能を有する。
イメージセンサ１２２０は、例えば複数の画素をマトリクス状に２次元配置したＣＭＯＳイメージセンサである。イメージセンサ１２２０では、レンズ部１１００を通じて受光した被写体の光束を信号として読み出して出力する機能を有する。
フィルタ１２３０は、イメージセンサ１２２０が受光した被写体の光束に関する色成分等を生成し色成分が付加された信号を出力する機能を有する。
輝度検波回路１２４０は、イメージセンサ１２２０が受光した被写体の光束の輝度情報を露出制御部１２５２に出力する機能を有する。
制御部１２５０は、露出制御部１２５２と、ゲイン設定部１２５４と、ゲイン補正部１２５６とを備える。制御部１２５０では、イメージセンサ１２２０から得られた信号を用いて、レンズ部１１００に備えられる絞り１１２０を調整するための制御情報を生成して、レンズ部１１００に出力する機能を有する。また、イメージセンサ１２２０から得られた信号をゲイン補正し、表示部１２６０にて表示される撮像画像の明暗差を抑制する機能を有する。
露出制御部１２５２は、イメージセンサ１２２０から得られた信号、レンズ部１１００等から得られた絞り駆動軌跡に関する絞り駆動情報に応じて、現在のＡＶ値から目標とされる目標ＡＶ値に到達するまでのＡＶ値の時系列変化を表す絞りの駆動軌跡を算出する。絞りの駆動軌跡を算出する際には、露出制御部１２５２では、絞りの駆動が開始される絞り駆動開始予定時刻が決定される。この絞りの駆動軌跡が予め予測される際には、後述するゲインが設定される設定対象フレームの露光が開始する前に予測されればよい。
露出制御部１２５２は、絞りの駆動軌跡を算出する際に、様々な情報に基づいて算出を行う。以下では、絞りの駆動軌跡を算出する際に使用される情報と、算出された絞りの駆動軌跡と、絞り駆動の実績値とを、絞りの駆動軌跡に関する絞り駆動情報と称して説明する。
絞りの駆動軌跡に関する絞り駆動情報は、絞りの駆動に関する情報を含み、具体的には、絞りの駆動軌跡が開始及び終了する時刻の情報を含む。また、絞りの駆動軌跡に関する絞り駆動情報は、絞りの駆動に関する情報である絞りの駆動軌跡が開始される時刻のレンズの状態、絞り駆動パラメータ情報等を含む。
該レンズの状態とは、フォーカス位置、ズーム位置等の被写体とレンズとの関係を示す情報である。絞り駆動パラメータとは、絞りの駆動速度、絞りの駆動モード等である。
絞りの駆動モードとしては、例えば静音駆動、高速駆動等があり、撮影シーンまたはユーザ設定により好適な駆動モードが設定される。このような絞りの駆動に関する絞り駆動情報を基に、撮像装置１０００では絞りの駆動軌跡が算出される。
ここで、絞りの駆動軌跡の算出の際に使用される目標ＡＶ値に関して説明を行う。目標ＡＶ値は、撮像装置１０００にて自動的に設定されてもよく、ユーザにより設定されてもよい。以下では、目標ＡＶ値が自動的に設定される場合を説明する。
撮像装置１０００では、撮影シーン等に応じて撮像画像の品位を最適化するために自動で露出制御が行われ得る。露出制御では、適正な露出を与えるＥＶ値を決定する。ＥＶ値は、明るさの度合を示す。自動露出制御を行う際に用いられる式（ＡＰＥＸ関係式）を下記式（１）に示す。
Figure 0007355009000001
なお、ＢＶ、ＳＶ、ＴＶ、ＡＶは、それぞれ被写体輝度、ＩＳＯ感度、シャッター速度Ｔ、絞りＦ、の値に対して、それぞれ２を底とする対数値で表した数値系列を示す。上記式（１）はさらに、下記式（２）と表すこともできる。
Figure 0007355009000002
また、ＡＶおよびＴＶは、下記式（３）及び（４）で定義することができる。
Figure 0007355009000003
Figure 0007355009000004
絞りＦが１のとき、ＡＶ値は０であり、絞りＦが１以外の場合は下記表（１）のように数えることができる。
Figure 0007355009000005
Ｆ値は、焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）をレンズの有効口径で割った値である。Ｆ値が２倍になることは有効口径が半分になることを意味し、光を取り込むレンズ面積は１／４となる。Ｆ値が√２倍になると、光を取り込むレンズ面積は半分になるので露出が半分になる。例えば、同じＥＶ値を得たい場合に、ＡＶ値を１段小さな値になるように絞りＦを駆動させ、明るさを２倍としたら、シャッター速度に対する数値系列ＴＶを１段大きな値にして露出時間を半分にする必要がある。
ＴＶ値は、シャッター速度（秒）Ｔに応じて、下記表（２）のように数えることができる。
Figure 0007355009000006
例えば、絞りＦ４でシャッター速度１／２５０として撮影した場合には、ＡＶ値は４、ＴＶ値は８となる。このことから絞りＦ４、シャッター速度１／２５０で撮影すると、ＥＶ＝１２となる。また、絞りＦ５．６、シャッター速度１／１２５で撮影すると、ＥＶ＝１２となる。以上より、絞りＦまたはシャッター速度Ｔを変化させて、適切な露出ＥＶを決定できることがわかる。
ＩＳＯ感度はフィルムスピードを示し、ＩＳＯ感度に比例して高速なシャッターが切れる。適正な露出ＥＶは、このＩＳＯ感度の設定に応じて変化し得る。例えば、ＩＳＯ感度を上昇させて１００から２００とし、撮影感度を高めた場合には、ＩＳＯ感度２００におけるＥＶ値は、ＩＳＯ感度１００におけるＥＶ値から＋１増加する。
露出制御部１２５２では、上述した関係を用いて、自動露出制御機能により、適正な露出、つまり最適化された撮像画像を取得するために適切なＡＶ値を算出する。自動露出制御機能では、例えば、撮像装置１０００に内蔵されたセンサにより被写体輝度を測定してＢＶ値を算出し、撮像装置が有するＳＶ値とＴＶ値からＡＶ値を決定することができる。このように、露出制御部１２５２では、撮像画像が適正な露出で撮像されるように、自動的に目標ＡＶ値が決定される。このときＴＶ値は、固定値であってもよい。
なお、上記では、露出制御部１２５２が、自動露出制御機能により目標ＡＶ値を算出する例を示したが、目標ＡＶ値はユーザにより決定されてもよい。このように目標ＡＶ値が決まったら、露出制御部１２５２では、レンズの状態、絞り駆動パラメータ情報等を用いて、絞り駆動軌跡を算出する。
露出制御部１２５２は、カメラ部１２００に備えられる例を示したが、絞り駆動軌跡に関する絞り駆動情報を取得できれば、構成先は限定されない。例えば、露出制御部１２５２は、レンズ部１１００に備えられてもよい。カメラ部１２００に露出制御部１２５２が備えられる場合には、被写体の輝度、被写体の距離等を含んだ絞りの駆動軌跡に関する絞り駆動情報をレンズ部１１００より取得して算出する。また、レンズ部１１００に露出制御部１２５２が備えられる場合には、目標ＡＶ値、駆動モード等を含んだ絞りの駆動軌跡に関する絞り駆動情報をカメラ部１２００から取得して、絞りの駆動軌跡の算出を行う。
露出制御部１２５２は、絞りの駆動軌跡を算出すると、該絞りの駆動軌跡を絞り駆動制御部１１２０に出力する。
次に、ゲイン設定部１２５４に関して説明する。ゲイン設定部１２５４は、露出制御部１２５２にて算出された絞り駆動軌跡に関する絞り駆動情報に基づいて、ゲイン補正量を算出して設定する機能を有する。算出されたゲイン補正量に基づいて、ゲイン補正を行うことにより、撮像装置１０００では、撮像画像内で明暗差を抑制させることができる。ゲイン補正量の算出方法は後述する。
また、ゲイン設定部１２５４では、ゲイン補正量を算出する際に、露光期間の調整を要する場合には、露光期間の調整を行い、調整後の露光期間に基づいて、ゲイン補正量を算出してもよい。
ゲイン補正部１２５６は、ゲイン設定部１２５４により設定されたゲイン補正量に基づいて、ゲイン補正を行い、ゲイン補正を行った撮像画像を表示部１２６０に出力する機能を有する。
表示部１２６０は、ゲイン補正が行われた撮像画像をユーザに表示する機能を有する。表示部１２６０は、例えば、液晶ディスプレイや、有機ＥＬ（ＥＬ：Ｅｌｅｃｔｒｏ ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどにより構成されてもよい。
表示部１２６０の画面上には、ユーザの指の接触を検出するタッチセンサ（図示せず。）が設けられてもよい。タッチセンサは、ユーザが撮像装置に対して操作を入力する際に使用され得る。タッチセンサの方式としては、例えば、静電容量方式、抵抗膜方式等が挙げられるが、タッチセンサの方式は特に限定されない。
表示部１２６０には、ライブビュー画像が表示され得る。ライブビュー画像は、ユーザが画角を確認する等のために表示部１２６０上に表示される画像である。ライブビュー画像は、イメージセンサ１２２０から取得された電荷信号に対して画像処理が行われることにより得られた画像データが、リアルタイムに表示されることによって、画面上に表示される。
表示部１２６０では、再生画像が表示されてもよい。再生画像とは、撮像された静止画、若しくは動画をユーザが確認するために表示部１２６０上に表示される画像である。再生画像は、記憶部（図示せず。）に記憶された画像が読みだされて表示されることによって、表示部１２６０上に表示される。本開示の技術によるゲイン補正は、表示部１２６０に表示されるライブビュー画像に対して行われてもよく、記憶部に記憶された画像が読み出される際に別途行われてもよい。
通信部１２７０は、カメラ部１２００及びレンズ部１１００間で、制御部１２５０にて使用される情報をレンズ部１１００から取得、レンズ部１１００にて使用される情報をカメラ部１２００から出力する機能を有する。通信部１２７０では、カメラ部１２００及びレンズ部１１００間で連続的若しくは一時的に通信が行われてもよく、所定の間隔にて通信が行われてもよい。
（４．ゲイン補正）
図４を参照して、ゲイン補正を説明する。図４は、ゲイン補正を行う際の絞りとイメージセンサの各ラインの露光との概念図である。各水平ラインでは、露光が開始してから一定時間、各画素において電荷の蓄積が行われ、露光が終了する。露光が終了した後は、該水平ラインの信号読み出しが所定の時間だけ行われる。その後に、ゲイン設定部により設定されたゲインに基づいて、ゲイン補正処理が行われる。
図４では、絞り駆動軌跡の絞り値が時間経過とともに低下している。よって最上段（１ライン目）の露光が開始してから、最下段の露光が終了するまでで、各水平ラインで取得される光量は順次上昇していく。ゲイン補正では、ゲイン設定部１２５４が各水平ラインにおける光量差の変位が小さくなるように各水平ラインのゲイン補正量を算出し、ゲイン補正部１２５６がゲイン補正量に基づいてゲイン補正を行う。
具体的には例えば、図４のＡＶ値変化を一例とすると、ＡＶ値は低下傾向であるために、１ライン目が取得する光量は、２ライン目が取得する光量より少ない。この場合に、ゲイン設定部１２５４は１ライン目に対して２ライン目より値が大きいゲインを設定すればよい。
つまり、ゲイン設定部１２５４では、絞り駆動軌跡に基づき、露光期間における平均ＡＶ値が第１の水平ラインよりも高い第２の水平ラインに、前記ゲインとして前記第１の水平ラインのゲインよりも高い値を設定すればよい。ここで、平均ＡＶ値とは、各水平ラインの露光開始から露光終了までのＡＶ値の平均値を示している。平均ＡＶ値に関しては、以下で図５及び図６を参照して説明する。図５は、平均ＡＶ値の算出フローを示した図であり、図６は任意の水平ラインにおける絞り値の変化と光量の変化の関係を示した図である。
まず、ゲイン設定部１２５４では、任意のラインの露光開始時刻から露光終了時刻の間を（Ｎ－１）個に等分割して、絞り駆動軌跡上の各分割点におけるＡＶ値を算出する（Ｓ２０２）。図６では、任意のラインの露光期間における絞り駆動軌跡が示されており、任意のラインの露光期間が４つに等分割されている様子が示されている。さらに、等分割点におけるＡＶ値をＡ［Ｎ］と示している。
次いで、ゲイン設定部１２５４は各分割点のＡＶ値Ａ［Ｎ］から、下記式（５）を用いて、ＡＶ光量値Ｌ［ｉ］を算出する（Ｓ２０４）。下記式（５）より、ＡＶ値が１増加すると、絞りの開口径を通るＡＶ光量値は半分となる。図６の下図では、ＡＶ値Ａ［Ｎ］がＡＶ光量値Ｌ［ｉ］に変換されている。
Figure 0007355009000007
さらに、ゲイン設定部１２５４は式（５）により算出された各分割点におけるＡＶ光量値Ｌ［ｉ］の平均を下記式（６）のように算出する。
Figure 0007355009000008
最後に、ゲイン設定部１２５４は上記式（６）により得られた平均ＡＶ光量値を下記式（７）により、平均ＡＶ値に換算して算出する。
Figure 0007355009000009
つまり、まずゲイン設定部１２５４は各水平ラインの露光期間における絞り駆動軌跡から各水平ラインの露光期間における光量の時系列変化を算出する。そして、当該光量の時系列変化に基づいて各水平ラインの露光期間における平均光量を算出する。さらに、各水平ラインの露光期間における平均光量を平均ＡＶ値に変換することにより平均ＡＶ値が算出される。
上記のように算出された平均ＡＶ値は、単に任意のラインにおいて、等分割した点におけるＡＶ値の平均をそのまま平均ＡＶ値とするよりも、絞り駆動軌跡により生じる光量変化を平均ＡＶ値として正確に換算できる。そのため、撮影画像内の明暗差の抑制精度を向上させることができる。平均ＡＶ値は、任意のラインにおけるＡＶ値を算出できれば、その手法は限られないが、平均ＡＶ値の算出速度を早くするためには、任意のラインにおける等分割した点におけるＡＶ値の平均をそのまま平均ＡＶ値として設定してもよい。このように、平均ＡＶ値の算出方法は、撮影シーン、ユーザのニーズに応じて決定されてよい。
ここまでで、平均ＡＶ値の算出方法を説明した。しかしながら、本開示の技術は、任意のラインにおける絞り値の代表値として、該平均ＡＶ値を用いる例に限定されない。例えば、任意ライン内の分割点におけるＡＶ値をＡＶ値に光量変換することなく平均値を算出、または、ゲイン補正に影響を与える影響度に応じて加重平均等を用いて算出しても良い。
ここで、図４を参照すると、ＡＶ値は、最上段の露光開始から最下段の露光終了までの間で低下している。この時、各ラインの平均ＡＶ値は、最上段の平均ＡＶ値が最も高く、順次下段の水平ラインになるにつれて、順次低下し、最下段の平均ＡＶ値が最も低い。このとき、各ラインに対するゲイン補正量は、露光期間における平均ＡＶ値がより高い水平ラインに、ゲイン補正量としてより高い値を設定すればよい。これにより、平均ＡＶ値がより高いとされる水平ラインで読み出された、より少ない光量を保有する水平ラインに対して、より高いゲイン補正量を加算することができるため、明暗差を抑制することができる。
また、ゲイン設定部は、複数の水平ラインのうちで平均ＡＶ値が最も低い基準水平ラインを特定し、複数の水平ラインのうちの他の水平ラインに、他の水平ラインの平均ＡＶ値と基準水平ラインの平均ＡＶ値との差分の演算結果に応じたゲイン補正量を設定してもよい。具体的には、下記式（８）に示すように、ｍライン目の水平ラインに対するゲイン補正量は、ｍライン目の平均ＡＶ値［ｍ］と基準水平ラインの平均ＡＶ値との差分であってもよい。この手法により、平均ＡＶ値が最も低い基準水平ラインの光量に他の水平ラインの光量が近づくため、撮像画像内の上下の明暗差を抑制することができる。
Figure 0007355009000010
図４に記載の本実施形態では、平均ＡＶ値が最も低い水平ラインを基準水平ラインとしたが、基準水平ラインは平均ＡＶ値が最も低い水平ラインに限定されることはなく、ゲイン補正の好適な範囲により、適宜決定されてよい。例えば、ゲイン補正が正方向、負方向に対して同じ補正範囲を補正できれば、全水平ラインの中央ラインを基準水平ラインとしてもよい。
また、本実施形態では、時間経過とともにＡＶ値が低下する例を示したが、ＡＶ値が時間経過とともに増加する場合にも同様に本開示の技術は適用され得る。この時、各ラインの平均ＡＶ値は、最上段の平均ＡＶ値が最も低く、順次下段の水平ラインになるにつれて、順次上昇し、最下段の平均ＡＶ値が最も高い。このとき、各ラインに対するゲイン補正量は、露光期間における平均ＡＶ値がより高い水平ラインに、ゲインとしてより高い値を設定すればよい。
具体的には、平均ＡＶ値が最も低い最上段の水平ラインを基準水平ラインとして、各水平ラインの平均ＡＶ値との差分を求め、該差分を平均ＡＶ値が最も高い最下段の水平ラインに該差分を加算することで、ゲイン補正を行ってもよい。
また、本開示の技術では、算出された駆動軌跡に基づいて、ゲイン補正量を算出し、ゲイン補正を行う一例を示したが、実際に駆動された絞りの駆動軌跡に基づいて、ゲイン補正量を算出してゲイン補正をしてもよい。この場合は、撮像装置１０００において、全ラインの露光が終了して読み出しが行われた後の信号に対して、絞りが駆動された実測値に基づいて、ゲイン補正量を算出する。つまり、絞りが駆動された実測値に対する光量を算出して、各水平ラインの平均ＡＶ値を算出し、基準水平ラインとの差分の演算結果に応じて、ゲイン補正量を算出してもよい。この手法では、絞りが駆動された実測値に基づいて、ゲイン補正量を算出することができるため、明暗差の抑制精度が向上する。
（５．動作フロー）
ここでは、上述した各構成が動作するフローに関して、図７を参照して説明を行う。図７は、絞りの駆動軌跡に基づいて、ゲイン補正が行われる際の動作フローを示した図である。
まず、撮像装置１０００の自動露出制御機能または、ユーザにより目標ＡＶ値が設定される（Ｓ１０２）。
次に、目標ＡＶ値に遷移させるための絞り駆動開始予定時刻が決定される（Ｓ１０４）。
さらに、絞り駆動開始予定時刻のレンズの状態と、目標ＡＶ値と、絞り駆動パラメータとから絞り駆動軌跡が算出される（Ｓ１０６）。
次に、目標ＡＶ値から、ゲイン補正設定対象フレームの画像の仮ＴＶ値と仮ＳＶ値とが決定される（Ｓ１０８）。なお、仮ＴＶ値及び仮ＳＶ値は、所定の値で暫定的に決定される。
さらに、ゲイン補正設定対象フレームの基準水平ラインが、ゲイン補正設定対象フレームより前のフレームの平均ＡＶ値と目標ＡＶ値とから決定される（Ｓ１１０）。
次いで、仮ＴＶ値に基づいて、基準水平ラインにおける露光開始時刻と露光終了時刻が算出される（Ｓ１１２）。
さらに、基準水平ラインの露光開始時刻から露光終了時刻までの絞り駆動軌跡から基準水平ラインの平均ＡＶ値が算出される（Ｓ１１４）。
次いで、式（１）を用いて、基準水平ラインの平均ＡＶ値と仮ＴＶ値とから仮ＳＶ値が算出される（Ｓ１１６）。
次いで、仮ＳＶ値がイメージセンサのＩＳＯ感度設定範囲内であるか否かが判断される（Ｓ１１８）。仮ＳＶ値がイメージセンサのＩＳＯ感度設定範囲内である場合（Ｓ１１８／Ｙｅｓ）には、次処理に移行する。仮ＳＶ値がイメージセンサのＩＳＯ感度設定範囲内でない場合（Ｓ１１８／Ｎｏ）には、ＩＳＯ感度の超過分の仮ＳＶ値に応じて、仮ＴＶ値が調整される（Ｓ１２０）。そして、調整後の仮ＴＶ値に基づいて、再度基準水平ラインの露光開始時刻と露光終了時刻が算出（Ｓ１１２）され、基準水平ラインの平均ＡＶ値を再度算出される（Ｓ１１４）。このような基準水平ラインの平均ＡＶ値の算出は、その算出過程における仮ＳＶ値がイメージセンサのＩＳＯ感度設定範囲内となるまで繰り返し行われる。
仮ＳＶ値がイメージセンサのＩＳＯ感度設定範囲内となった場合には、そのときの仮ＴＶ値と仮ＳＶ値とがイメージセンサの露光期間とＩＳＯ感度として決定される（Ｓ１２２）。
次いで、基準水平ラインの平均ＡＶ値と各ラインの平均ＡＶ値に応じてゲイン補正量が算出される（Ｓ１２４）。例えば、複数の水平ラインのうちで平均ＡＶ値が最も低い基準水平ラインが特定され、複数の水平ラインのうちの他の水平ラインに、他の水平ラインの平均ＡＶ値と基準水平ラインの平均ＡＶ値との差分の演算結果に応じたゲイン補正量が算出される。
次いで、算出したゲイン補正量を含んだゲインがゲイン設定部にて設定され、ゲイン補正が行われる（Ｓ１２６）。なお、算出されたゲイン補正量は、基準水平ラインのＩＳＯ感度に加算されて設定されてもよい。
以上までで、撮像装置１０００における動作フローの一例を説明し、ゲイン補正に関する説明を行った。ここで、図８を参照して、本開示の技術を適用した撮像装置においてゲイン補正を行う効果を説明する。図８は、１フレーム毎のイメージセンサにおける露光と、読み出しとを示した概念図である。
本開示の技術の一例で示したゲイン補正では、絞り駆動軌跡の開始時刻を決定して、絞りの駆動軌跡に基づいてゲインを設定することにより、精度よく撮像画像の上下の明暗差を抑制することができる。例えば、本実施形態においては、仮ＳＶ値の設定から、ゲイン補正量が算出されて実際にゲイン補正が反映される。仮ＳＶ値を設定するには、ゲイン補正量の設定対象フレームが露光を開始するＸ時点よりも前に仮ＳＶ値が設定されることにより、撮像装置の撮像が可能である。このとき、露光期間による制限またはゲイン設定が可能な時間による制限が生じる。
しかしながら、本開示の技術では、絞り駆動軌跡の開始時刻が設定されているため、上記のような露光期間による制限またはゲイン設定が可能な時間による制限があっても、精度よく撮像画像の明暗差を抑制できる。
また、設定対象フレームに対して、ゲイン補正処理が反映されるには、設定対象フレームの読み出しが開始するＹ時点よりも前にゲインが設定される等ゲイン補正処理による制限が生じる。しかしながら、この場合においても、本開示の技術では、絞り駆動軌跡の開始時刻が設定されているため、精度よく撮像画像の明暗差を抑制できる。
さらに、従来では、本実施形態のようなゲイン補正の技術は無いために、撮像画像の上下に明暗差が生じないように絞りの駆動を遅延させる等の処理が行われていた。本開示の技術では、予測された絞りの駆動軌跡に基づいて、ゲイン補正を行うことができるため、絞りの駆動を従来よりも早く駆動させることができる。これにより、オートフォーカスの精度が向上する。
特に、暗所であったり、被写体がローコントラストであったりする場合には、撮像装置の絞り値を低下させることにより、取得する光量を増加させてオートフォーカスを行う。この場合に、本開示の技術が適用されると、より絞りを早く駆動させて絞り値をより低下させた状態でオートフォーカスを行うことができ、オートフォーカス精度が向上する。
また、絞り値を高く設定する小絞り設定時に、撮影する撮像画像が露光開始前の状態、つまりユーザがライブビューを見ながら、被写体構図を決定する時の状態に、本開示の技術を適用できる。これにより、ライブビューでの撮像画像に対して、絞り値がより高いときの光量に近づけてゲイン補正を行うことで、本撮影時の撮像画像をより忠実に表示させることができる。
（６．変形例）
次に、撮像装置１０００にてゲイン補正を行う場合の変形例を説明する。図９に示した期間Ｚのように、任意のフレームの露光終了時刻から次のフレームの露光開始時刻までの期間内に、絞りの駆動が開始および終了するように、絞りの駆動開始時刻および終了時刻を設定してもよい。この手法により、露光中に絞りが駆動されることを抑制し、露光中に水平ライン毎に取得光量が変化することを抑制できる。
また、本実施形態においては、レンズ部とカメラ部とが連続的に同期する場合を前提として説明を行ったが、絞り駆動の開始時間、終了時間および絞りの軌跡情報により、連続的な同期制御が無くてもゲイン補正を行うことが可能である。例えば、連続的な同期制御が無い例として一例を挙げると、まず露出制御部１２５２により絞りの駆動軌跡の算出が行われ、該絞りの駆動軌跡が絞り駆動部１１４０に出力される。絞り駆動部１１４０は、該絞りの駆動軌跡の取得から所定の時間後に駆動が開始される、との指示が付加された指示を取得すれば、連続的な同期制御が無くても、ゲイン補正が可能である。所定時間の後に駆動が開始されるとの情報を付加することにより、露出制御部１２５２からの絞り駆動指示から、実際に絞りが駆動できるまでの遅延時間を考慮して、絞りを駆動させることができる。
露出制御部１２５２からの絞り駆動指示から、実際に絞りが駆動できるまでの遅延時間が生じない場合には、該絞りの駆動軌跡の取得から所定の時間後に駆動が開始される、との指示が付加されなくとも、駆動制御部１１２０は絞りを駆動させることができる。
さらに、本実施形態の変形例として、レンズ部とカメラ部とが同期する同期信号に同期して通信を行う同期コマンドと、該同期信号のタイミングに依存せず、任意のタイミングで通信を行う非同期コマンドとの２種類のコマンドを用いて絞りを駆動させる場合を説明する。コマンドは、同一のタイミングで送信する１以上のコマンドが１つのパケットにパケット化されて、パケット通信により送信される。１つのパケットは、ヘッダ、コマンド、及びフッタで構成され、ヘッダはコマンドの前に付加され、フッタはコマンドの後に付加される。フッタには、通信の際に受信側においてコマンドの通信エラーの有無を確認するためのチェックサムが含まれる。
ここで、同期コマンドに利用される同期信号は、レンズ部またはカメラ部に備えられる同期信号端子（図示せず。）を介して伝送される同期信号そのものの他、該同期信号を分周または逓倍した信号も含む。即ち、レンズ部とカメラ部は、同期信号もしくは該同期信号を分周または逓倍した信号に基づいて通信を行う。同期コマンドは、該同期信号に同期して通信されるので、第１の同期コマンドの通信が行われた後に、次の第２の同期コマンドの通信するタイミングは、該第１の同期コマンドの通信が行われた後の同期信号のタイミングとなる。また、同期コマンドに利用される同期信号としては、いくつかの複数の同期信号が不規則な間隔でまとめられて、情報転送に利用されてもよい。
これに対して、非同期コマンドは、例えば、同期コマンドにて通信した際に通信エラーが発生した場合に、即座に、通信エラーが発生したことをレンズ部またはカメラ部に通知する場合に用いられる。レンズ部がカメラ部からコマンドを受信する際を具体例として説明すると、即ち、レンズ部は、カメラ部から送信されたコマンドの通信エラーの有無を、チェックサムを判定することによって検出する。通信エラーが検出された場合、通信エラーが発生したことを非同期コマンドでレンズ部はカメラ部に送信するこれにより、通信エラーが発生した旨の非同期コマンドを受信したカメラ部は通信エラーをリカバリするためのリカバリ処理を即座におこなうことができる。
以上のように、同期制御に加えて、該同期制御の間隔とは異なる不規則なタイミングにてレンズ部とカメラ部とは、通信を行ってもよい。不規則なタイミングで通信を行う場合は、例えばレンズの通信規格に応じて、絞り駆動情報の通信が行われてもよい。
（７．ハードウェア構成例）
最後に、図１０を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図１０は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１０に示す情報処理装置９００は、例えば、図３に示した撮像装置１０００を実現し得る。本実施形態に係る撮像装置１０００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図１０に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、電気回路、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）若しくはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図３に示す絞り駆動部１１４０及び制御部１２５０の機能を実行し得る。
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
入力装置９０６は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬ （ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、出力装置９０７は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置を用いる場合は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば、図３に示す表示部１２６０の機能を実行し得る。
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図３に示すカメラ部１２００に備えられ、イメージセンサ１２２０から取得した信号を処理して得られた画像データを記憶する等の機能を実行し得る。
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、図３に示す通信部１１６０及び通信部１２７０の機能を実行し得る。
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
また、撮像装置１０００に内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭなどのハードウェアを上述した本実施形態に係る撮像装置１０００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記録媒体も提供される。
（８．応用例）
本開示に係る技術は、様々な製品へ応用することができる。例えば、医療分野にて応用されてもよく、本開示に係る技術は、手術室システムに適用されてもよい。
図１１は、本開示に係る技術が適用され得る手術室システム５１００の全体構成を概略的に示す図である。図１１を参照すると、手術室システム５１００は、手術室内に設置される装置群が視聴覚コントローラ（AV Controller）５１０７及び手術室制御装置５１０９を介して互いに連携可能に接続されることにより構成される。
手術室には、様々な装置が設置され得る。図１１では、一例として、内視鏡下手術のための各種の装置群５１０１と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ５１８７と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ５１８９と、複数の表示装置５１０３Ａ～５１０３Ｄと、レコーダ５１０５と、患者ベッド５１８３と、照明５１９１と、を図示している。
ここで、これらの装置のうち、装置群５１０１は、後述する内視鏡手術システム５１１３に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム５１１３に属する各装置は医療用機器とも呼称される。一方、表示装置５１０３Ａ～５１０３Ｄ、レコーダ５１０５、患者ベッド５１８３及び照明５１９１は、内視鏡手術システム５１１３とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム５１１３に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ５１０７及び／又は手術室制御装置５１０９は、これら医療機器及び非医療機器の動作を互いに連携して制御する。
視聴覚コントローラ５１０７は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム５１００が備える装置のうち、装置群５１０１、シーリングカメラ５１８７及び術場カメラ５１８９は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元の装置とも呼称する）であり得る。また、表示装置５１０３Ａ～５１０３Ｄは、表示情報が出力される装置（以下、出力先の装置とも呼称する）であり得る。また、レコーダ５１０５は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ５１０７は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式についての情報等）等である。
具体的には、視聴覚コントローラ５１０７には、装置群５１０１から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ５１８７から、表示情報として、当該シーリングカメラ５１８７によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ５１８９から、表示情報として、当該術場カメラ５１８９によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム５１００に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ５１０７は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
あるいは、例えば、レコーダ５１０５には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ５１０７によって記録されている。視聴覚コントローラ５１０７は、表示情報として、レコーダ５１０５から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ５１０５には、手術に関する各種の情報も事前に記録されていてもよい。
視聴覚コントローラ５１０７は、出力先の装置である表示装置５１０３Ａ～５１０３Ｄの少なくともいずれかに、取得した表示情報（すなわち、手術中に撮影された画像や、手術に関する各種の情報）を表示させる。図示する例では、表示装置５１０３Ａは手術室の天井から吊り下げられて設置される表示装置であり、表示装置５１０３Ｂは手術室の壁面に設置される表示装置であり、表示装置５１０３Ｃは手術室内の机上に設置される表示装置であり、表示装置５１０３Ｄは表示機能を有するモバイル機器（例えば、タブレットＰＣ（Personal Computer））である。
また、図１１では図示を省略しているが、手術室システム５１００には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるＰＣ、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ５１０７は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
手術室制御装置５１０９は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置５１０９は、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１の駆動を制御する。
手術室システム５１００には、集中操作パネル５１１１が設けられており、ユーザは、当該集中操作パネル５１１１を介して、視聴覚コントローラ５１０７に対して画像表示についての指示を与えたり、手術室制御装置５１０９に対して非医療機器の動作についての指示を与えることができる。集中操作パネル５１１１は、表示装置の表示面上にタッチパネルが設けられて構成される。
図１２は、集中操作パネル５１１１における操作画面の表示例を示す図である。図１２では、一例として、手術室システム５１００に、出力先の装置として、２つの表示装置が設けられている場合に対応する操作画面を示している。図１２を参照すると、操作画面５１９３には、発信元選択領域５１９５と、プレビュー領域５１９７と、コントロール領域５２０１と、が設けられる。
発信元選択領域５１９５には、手術室システム５１００に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域５１９５に表示されているいずれかの発信元装置から選択することができる。
プレビュー領域５１９７には、出力先の装置である２つの表示装置（Monitor1、Monitor2）に表示される画面のプレビューが表示される。図示する例では、１つの表示装置において４つの画像がＰｉｎＰ表示されている。当該４つの画像は、発信元選択領域５１９５において選択された発信元装置から発信された表示情報に対応するものである。４つの画像のうち、１つはメイン画像として比較的大きく表示され、残りの３つはサブ画像として比較的小さく表示される。ユーザは、４つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、４つの画像が表示される領域の下部には、ステータス表示領域５１９９が設けられており、当該領域に手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）が適宜表示され得る。
コントロール領域５２０１には、発信元の装置に対して操作を行うためのＧＵＩ（Graphical User Interface）部品が表示される発信元操作領域５２０３と、出力先の装置に対して操作を行うためのＧＵＩ部品が表示される出力先操作領域５２０５と、が設けられる。図示する例では、発信元操作領域５２０３には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作（パン、チルト及びズーム）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域５１９５において選択されている発信元の装置がレコーダである場合（すなわち、プレビュー領域５１９７において、レコーダに過去に記録された画像が表示されている場合）には、発信元操作領域５２０３には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのＧＵＩ部品が設けられ得る。
また、出力先操作領域５２０５には、出力先の装置である表示装置における表示に対する各種の操作（スワップ、フリップ、色調整、コントラスト調整、２Ｄ表示と３Ｄ表示の切り替え）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、表示装置における表示を操作することができる。
なお、集中操作パネル５１１１に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル５１１１を介して、手術室システム５１００に備えられる、視聴覚コントローラ５１０７及び手術室制御装置５１０９によって制御され得る各装置に対する操作入力が可能であってよい。
図１３は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ５１８７及び術場カメラ５１８９は、手術室の天井に設けられ、患者ベッド５１８３上の患者５１８５の患部に対して処置を行う術者（医者）５１８１の手元及び手術室全体の様子を撮影可能である。シーリングカメラ５１８７及び術場カメラ５１８９には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明５１９１は、手術室の天井に設けられ、少なくとも術者５１８１の手元を照射する。照明５１９１は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。
内視鏡手術システム５１１３、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１は、図１１に示すように、視聴覚コントローラ５１０７及び手術室制御装置５１０９（図１３では図示せず）を介して互いに連携可能に接続されている。手術室内には、集中操作パネル５１１１が設けられており、上述したように、ユーザは、当該集中操作パネル５１１１を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
以下、内視鏡手術システム５１１３の構成について詳細に説明する。図示するように、内視鏡手術システム５１１３は、内視鏡５１１５と、その他の術具５１３１と、内視鏡５１１５を支持する支持アーム装置５１４１と、内視鏡下手術のための各種の装置が搭載されたカート５１５１と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５１３９ａ～５１３９ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５１３９ａ～５１３９ｄから、内視鏡５１１５の鏡筒５１１７や、その他の術具５１３１が患者５１８５の体腔内に挿入される。図示する例では、その他の術具５１３１として、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７が、患者５１８５の体腔内に挿入されている。また、エネルギー処置具５１３５は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５１３１はあくまで一例であり、術具５１３１としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡５１１５によって撮影された患者５１８５の体腔内の術部の画像が、表示装置５１５５に表示される。術者５１８１は、表示装置５１５５に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５１３５や鉗子５１３７を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７は、手術中に、術者５１８１又は助手等によって支持される。
（支持アーム装置）
支持アーム装置５１４１は、ベース部５１４３から延伸するアーム部５１４５を備える。図示する例では、アーム部５１４５は、関節部５１４７ａ、５１４７ｂ、５１４７ｃ、及びリンク５１４９ａ、５１４９ｂから構成されており、アーム制御装置５１５９からの制御により駆動される。アーム部５１４５によって内視鏡５１１５が支持され、その位置及び姿勢が制御される。これにより、内視鏡５１１５の安定的な位置の固定が実現され得る。
（内視鏡）
内視鏡５１１５は、先端から所定の長さの領域が患者５１８５の体腔内に挿入される鏡筒５１１７と、鏡筒５１１７の基端に接続されるカメラヘッド５１１９と、から構成される。図示する例では、硬性の鏡筒５１１７を有するいわゆる硬性鏡として構成される内視鏡５１１５を図示しているが、内視鏡５１１５は、軟性の鏡筒５１１７を有するいわゆる軟性鏡として構成されてもよい。
鏡筒５１１７の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５１１５には光源装置５１５７が接続されており、当該光源装置５１５７によって生成された光が、鏡筒５１１７の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５１８５の体腔内の観察対象に向かって照射される。なお、内視鏡５１１５は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド５１１９の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５１５３に送信される。なお、カメラヘッド５１１９には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５１１９には撮像素子が複数設けられてもよい。この場合、鏡筒５１１７の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
（カートに搭載される各種の装置）
ＣＣＵ５１５３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５１１５及び表示装置５１５５の動作を統括的に制御する。具体的には、ＣＣＵ５１５３は、カメラヘッド５１１９から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１５３は、当該画像処理を施した画像信号を表示装置５１５５に提供する。また、ＣＣＵ５１５３には、図１１に示す視聴覚コントローラ５１０７が接続される。ＣＣＵ５１５３は、画像処理を施した画像信号を視聴覚コントローラ５１０７にも提供する。また、ＣＣＵ５１５３は、カメラヘッド５１１９に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５１６１を介して入力されてもよいし、上述した集中操作パネル５１１１を介して入力されてもよい。
表示装置５１５５は、ＣＣＵ５１５３からの制御により、当該ＣＣＵ５１５３によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５１１５が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５１５５としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５１５５として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５１５５が設けられてもよい。
光源装置５１５７は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５１１５に供給する。
アーム制御装置５１５９は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５１４１のアーム部５１４５の駆動を制御する。
入力装置５１６１は、内視鏡手術システム５１１３に対する入力インタフェースである。ユーザは、入力装置５１６１を介して、内視鏡手術システム５１１３に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５１６１を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５１６１を介して、アーム部５１４５を駆動させる旨の指示や、内視鏡５１１５による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５１３５を駆動させる旨の指示等を入力する。
入力装置５１６１の種類は限定されず、入力装置５１６１は各種の公知の入力装置であってよい。入力装置５１６１としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５１７１及び／又はレバー等が適用され得る。入力装置５１６１としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５１５５の表示面上に設けられてもよい。
あるいは、入力装置５１６１は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５１６１は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５１６１は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５１６１が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５１８１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置５１６３は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５１３５の駆動を制御する。気腹装置５１６５は、内視鏡５１１５による視野の確保及び術者の作業空間の確保の目的で、患者５１８５の体腔を膨らめるために、気腹チューブ５１３３を介して当該体腔内にガスを送り込む。レコーダ５１６７は、手術に関する各種の情報を記録可能な装置である。プリンタ５１６９は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム５１１３において特に特徴的な構成について、更に詳細に説明する。
（支持アーム装置）
支持アーム装置５１４１は、基台であるベース部５１４３と、ベース部５１４３から延伸するアーム部５１４５と、を備える。図示する例では、アーム部５１４５は、複数の関節部５１４７ａ、５１４７ｂ、５１４７ｃと、関節部５１４７ｂによって連結される複数のリンク５１４９ａ、５１４９ｂと、から構成されているが、図１３では、簡単のため、アーム部５１４５の構成を簡略化して図示している。実際には、アーム部５１４５が所望の自由度を有するように、関節部５１４７ａ～５１４７ｃ及びリンク５１４９ａ、５１４９ｂの形状、数及び配置、並びに関節部５１４７ａ～５１４７ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５１４５は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５１４５の可動範囲内において内視鏡５１１５を自由に移動させることが可能になるため、所望の方向から内視鏡５１１５の鏡筒５１１７を患者５１８５の体腔内に挿入することが可能になる。
関節部５１４７ａ～５１４７ｃにはアクチュエータが設けられており、関節部５１４７ａ～５１４７ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５１５９によって制御されることにより、各関節部５１４７ａ～５１４７ｃの回転角度が制御され、アーム部５１４５の駆動が制御される。これにより、内視鏡５１１５の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５１５９は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５１４５の駆動を制御することができる。
例えば、術者５１８１が、入力装置５１６１（フットスイッチ５１７１を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５１５９によってアーム部５１４５の駆動が適宜制御され、内視鏡５１１５の位置及び姿勢が制御されてよい。当該制御により、アーム部５１４５の先端の内視鏡５１１５を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５１４５は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５１４５は、手術室から離れた場所に設置される入力装置５１６１を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置５１５９は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５１４５が移動するように、各関節部５１４７ａ～５１４７ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５１４５に触れながらアーム部５１４５を移動させる際に、比較的軽い力で当該アーム部５１４５を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５１１５を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５１１５が支持されていた。これに対して、支持アーム装置５１４１を用いることにより、人手によらずに内視鏡５１１５の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置５１５９は必ずしもカート５１５１に設けられなくてもよい。また、アーム制御装置５１５９は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５１５９は、支持アーム装置５１４１のアーム部５１４５の各関節部５１４７ａ～５１４７ｃにそれぞれ設けられてもよく、複数のアーム制御装置５１５９が互いに協働することにより、アーム部５１４５の駆動制御が実現されてもよい。
（光源装置）
光源装置５１５７は、内視鏡５１１５に術部を撮影する際の照射光を供給する。光源装置５１５７は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５１５７において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置５１５７は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置５１５７は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５１５７は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
（カメラヘッド及びＣＣＵ）
図１４を参照して、内視鏡５１１５のカメラヘッド５１１９及びＣＣＵ５１５３の機能についてより詳細に説明する。図１４は、図１３に示すカメラヘッド５１１９及びＣＣＵ５１５３の機能構成の一例を示すブロック図である。
図１４を参照すると、カメラヘッド５１１９は、その機能として、レンズユニット５１２１と、撮像部５１２３と、駆動部５１２５と、通信部５１２７と、カメラヘッド制御部５１２９と、を有する。また、ＣＣＵ５１５３は、その機能として、通信部５１７３と、画像処理部５１７５と、制御部５１７７と、を有する。カメラヘッド５１１９とＣＣＵ５１５３とは、伝送ケーブル５１７９によって双方向に通信可能に接続されている。
まず、カメラヘッド５１１９の機能構成について説明する。レンズユニット５１２１は、鏡筒５１１７との接続部に設けられる光学系である。鏡筒５１１７の先端から取り込まれた観察光は、カメラヘッド５１１９まで導光され、当該レンズユニット５１２１に入射する。レンズユニット５１２１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５１２１は、撮像部５１２３の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部５１２３は撮像素子によって構成され、レンズユニット５１２１の後段に配置される。レンズユニット５１２１を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５１２３によって生成された画像信号は、通信部５１２７に提供される。
撮像部５１２３を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５１８１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部５１２３を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５１８１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５１２３が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５１２１も複数系統設けられる。
また、撮像部５１２３は、必ずしもカメラヘッド５１１９に設けられなくてもよい。例えば、撮像部５１２３は、鏡筒５１１７の内部に、対物レンズの直後に設けられてもよい。
駆動部５１２５は、アクチュエータによって構成され、カメラヘッド制御部５１２９からの制御により、レンズユニット５１２１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５１２３による撮像画像の倍率及び焦点が適宜調整され得る。
通信部５１２７は、ＣＣＵ５１５３との間で各種の情報を送受信するための通信装置によって構成される。通信部５１２７は、撮像部５１２３から得た画像信号をＲＡＷデータとして伝送ケーブル５１７９を介してＣＣＵ５１５３に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５１８１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５１２７には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５１７９を介してＣＣＵ５１５３に送信される。
また、通信部５１２７は、ＣＣＵ５１５３から、カメラヘッド５１１９の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５１２７は、受信した制御信号をカメラヘッド制御部５１２９に提供する。なお、ＣＣＵ５１５３からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５１２７には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５１２９に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５１５３の制御部５１７７によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５１１５に搭載される。
カメラヘッド制御部５１２９は、通信部５１２７を介して受信したＣＣＵ５１５３からの制御信号に基づいて、カメラヘッド５１１９の駆動を制御する。例えば、カメラヘッド制御部５１２９は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５１２３の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５１２９は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５１２５を介してレンズユニット５１２１のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５１２９は、更に、鏡筒５１１７やカメラヘッド５１１９を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット５１２１や撮像部５１２３等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５１１９について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、ＣＣＵ５１５３の機能構成について説明する。通信部５１７３は、カメラヘッド５１１９との間で各種の情報を送受信するための通信装置によって構成される。通信部５１７３は、カメラヘッド５１１９から、伝送ケーブル５１７９を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５１７３には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５１７３は、電気信号に変換した画像信号を画像処理部５１７５に提供する。
また、通信部５１７３は、カメラヘッド５１１９に対して、カメラヘッド５１１９の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部５１７５は、カメラヘッド５１１９から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５１７５は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
画像処理部５１７５は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５１７５が複数のＧＰＵによって構成される場合には、画像処理部５１７５は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
制御部５１７７は、内視鏡５１１５による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５１７７は、カメラヘッド５１１９の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５１７７は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５１１５にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５１７７は、画像処理部５１７５による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部５１７７は、画像処理部５１７５によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５１５５に表示させる。この際、制御部５１７７は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５１７７は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５１３５使用時のミスト等を認識することができる。制御部５１７７は、表示装置５１５５に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５１８１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド５１１９及びＣＣＵ５１５３を接続する伝送ケーブル５１７９は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル５１７９を用いて有線で通信が行われていたが、カメラヘッド５１１９とＣＣＵ５１５３との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５１７９を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５１７９によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る手術室システム５１００の一例について説明した。なお、ここでは、一例として手術室システム５１００が適用される医療用システムが内視鏡手術システム５１１３である場合について説明したが、手術室システム５１００の構成はかかる例に限定されない。例えば、手術室システム５１００は、内視鏡手術システム５１１３に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
以上、本開示に係る技術が適用され得る医療分野の応用例の一例について説明した。本開示に係る技術は、以上説明した構成のうち、表示装置５１５５にて、ＣＣＵ５１５３により画像処理された撮像画像が表示される際に適用され得る。例えば、内視鏡手術システム５１１３にて、患者５１８５の術部画像が、表示装置５１５５にリアルタイムで表示される。術者５１８１はリアルタイムで該画像を見ながら処置を行う。このとき、術者５１８１が術部画像をより、視認しやすくするために光源５１５７を調整する等する場合がある。光源５１５７の調整により、撮像画像内で光量が変化するため、本開示の技術を用いて、撮像画像に処理を施して、撮像画像内の明暗差を抑制してもよい。
具体的には、上述した表示装置５１５５にリアルタイムで表示されるライブビュー画像に対して本開示のゲイン補正を実行する。このように医療分野にてライブビュー画像に対して使用されるゲイン補正では、光源の光量を用いてゲイン補正量が算出されてもよい。
ライブビュー画像では、本実施形態と同様に、ＣＭＯＳイメージセンサを用いてローリングシャッター方式により撮像画像が表示され得る。例えば、患者５１８５の術部を映したライブビュー画像に対して、光量が不足する場合に、術者５１８１が光源５１５７の光量を所定の目標光量値まで上昇させる。この目標光量値に対して、現在の光量値から目標光量値に到達するまでの時系列変化を表す光量軌跡を算出し、該光量軌跡に基づいて、撮像画像内の各ラインに対してゲイン補正量を設定する。本開示の技術は、光量を低下させる場合にも同様に適用され得る。この手法により、絞りを使用しない場合であっても、本開示の技術を適用することにより、撮像画像の上下の明暗差を抑制することができる。特に、上述したような医療分野において撮像画像の上下の明暗差を抑制することで、術者５１８１は快適に施術することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
絞り値の時系列変化を表す絞り駆動軌跡に関する絞り駆動情報に基づいて、複数の画素がマトリックス状に２次元に配置されたイメージセンサの前記複数の画素が並ぶライン毎に、ゲインを設定するゲイン設定部、を備える、撮像装置。
（２）
前記複数の画素は、水平方向及び垂直方向に配列される、前記（１）に記載の撮像装置。
（３）
前記イメージセンサの前記複数の画素は、前記水平方向に配列される水平ライン毎に順次読み出しを行うローリングシャッター方式で読み出される、前記（１）または前記（２）に記載の撮像装置。
（４）
前記ゲイン設定部は、前記絞り駆動軌跡に基づき、露光期間における平均ＡＶ値が第１の水平ラインよりも高い第２の水平ラインに、前記ゲインとして前記第１の水平ラインのゲインよりも高い値を設定する、前記（２）または前記（３）に記載の撮像装置。
（５）
前記ゲイン設定部は、
各水平ラインの露光期間における絞り駆動軌跡から前記各水平ラインの露光期間における光量の時系列変化を算出し、
当該光量の時系列変化に基づいて前記各水平ラインの露光期間における平均光量を算出し、
前記各水平ラインの露光期間における平均光量を平均ＡＶ値に変換することにより前記平均ＡＶ値を算出する、前記（４）に記載の撮像装置。
（６）
前記ゲイン設定部は、前記各水平ラインから、任意の水平ラインを抽出して基準水平ラインとし、前記基準水平ラインの平均ＡＶ値と、他の水平ラインの平均ＡＶ値との差分の演算結果に応じたゲインを設定する、前記（４）または前記（５）に記載の撮像装置。
（７）
前記ゲイン設定部は、前記複数の水平ラインのうち、中央に配置される水平ラインを基準水平ラインとし、前記複数の水平ラインのうちの他の水平ラインに、前記他の水平ラインの前記平均ＡＶ値と前記基準水平ラインの前記平均ＡＶ値との差分の演算結果に応じたゲインを設定する、前記（６）に記載の撮像装置。
（８）
前記ゲイン設定部は、前記複数の水平ラインのうちで前記平均ＡＶ値が最も低い水平ラインを基準水平ラインとし、前記複数の水平ラインのうちの他の水平ラインに、前記他の水平ラインの前記平均ＡＶ値と前記基準水平ラインの前記平均ＡＶ値との差分の演算結果に応じたゲインを設定する、前記（６）に記載の撮像装置。
（９）
前記ゲイン設定部は、
露光期間の設定値および前記基準水平ラインの前記平均ＡＶ値に基づいて前記基準水平ラインの仮ＩＳＯ感度を算出し、
前記仮ＩＳＯ感度が前記イメージセンサが対応可能な範囲外である場合、前記露光期間の設定値を調整し、調整後の露光期間に基づいて前記基準水平ラインの前記平均ＡＶ値を算出し直す、前記（６）～前記（８）のいずれか一項に記載の撮像装置。
（１０）
前記絞り駆動軌跡は、前記ゲインが設定される設定対象フレームの露光が開始する前に予測された絞り値の予測値である、前記（１）～前記（９）のいずれか一項に記載の撮像装置。
（１１）
前記絞り駆動軌跡は、前記絞りが駆動された絞り値の実測値である、前記（１）～前記（９）のいずれか一項に記載の撮像装置。
（１２）
前記絞り駆動軌跡に関する絞り駆動情報は、前記絞りが駆動を開始される時刻、または前記絞りが駆動を終了される時刻に関する情報を含む、前記（１）～前記（１１）のいずれか一項に記載の撮像装置。
（１３）
前記絞り駆動軌跡に関する絞り駆動情報は、前記絞りの現在の絞り値及び前記絞りが目標とする目標絞り値に関する情報を含む、前記（１）～前記（１２）のいずれか一項に記載の撮像装置。
（１４）
前記撮像装置は、
表示部と、
前記ゲインの設定に基づいて前記複数のライン毎にゲイン補正を行うゲイン補正部と、を備え、
前記ゲイン補正が行われた撮像画像は、前記表示部にてライブビューにより表示される、前記（１）～前記（１３）のいずれか一項に記載の撮像装置。
（１５）
前記撮像装置は、絞りの駆動を制御する絞り駆動制御部と、前記絞り駆動軌跡を算出する露出制御部と、を備え、
前記絞り駆動制御部と、前記露出制御部とは、連続通信を行う、前記（１）～前記（１４）のいずれか一項に記載の撮像装置。
（１６）
プロセッサが、
絞り値の時系列変化を表す絞り駆動軌跡に関する絞り駆動情報に基づいて、複数の画素がマトリックス状に２次元に配置されたイメージセンサの前記複数の画素が並ぶライン毎に、ゲインを設定すること、を含むゲイン設定方法。
（１７）
コンピュータを、
絞り値の時系列変化を表す絞り駆動軌跡に関する絞り駆動情報に基づいて、複数の画素がマトリックス状に２次元に配置されたイメージセンサの前記複数の画素が並ぶライン毎に、ゲインを設定するゲイン設定部、として機能させるためのプログラム。
１０００ 撮像装置
１１００ レンズ部
１１２０ 駆動制御部
１１４０ 駆動部
１１６０ 通信部
１２００ カメラ部
１２２０ イメージセンサ
１２３０ フィルタ
１２４０ 輝度検波回路
１２５０ 制御部
１２５２ 露出制御部
１２５４ ゲイン設定部
１２５６ ゲイン補正部
１２６０ 表示部
１２７０ 通信部

Claims (15)

  1. 絞り値の時系列変化を表す絞り駆動軌跡に関する絞り駆動情報に基づいて、複数の画素がマトリックス状に２次元に配置されたイメージセンサの前記複数の画素が並ぶライン毎に、ゲインを設定するゲイン設定部、を備え、
    前記複数の画素は、水平方向及び垂直方向に配列され、
    前記ゲイン設定部は、
    前記絞り駆動軌跡に基づき、露光期間における平均ＡＶ値が第１の水平ラインよりも高い第２の水平ラインに、前記ゲインとして前記第１の水平ラインのゲインよりも高い値を設定し、
    各水平ラインの露光期間における絞り駆動軌跡から前記各水平ラインの露光期間における光量の時系列変化を算出し、
    当該光量の時系列変化に基づいて前記各水平ラインの露光期間における平均光量を算出し、
    前記各水平ラインの露光期間における平均光量を平均ＡＶ値に変換することにより前記平均ＡＶ値を算出する、
    撮像装置。
  2. 前記イメージセンサの前記複数の画素は、前記水平方向に配列される水平ライン毎に順次読み出しを行うローリングシャッター方式で読み出される、請求項１に記載の撮像装置。
  3. 前記ゲイン設定部は、前記各水平ラインから、任意の水平ラインを抽出して基準水平ラインとし、前記基準水平ラインの平均ＡＶ値と、他の水平ラインの平均ＡＶ値との差分の演算結果に応じたゲインを設定する、請求項１に記載の撮像装置。
  4. 前記ゲイン設定部は、前記各水平ラインのうち、中央に配置される水平ラインを基準水平ラインとし、前記各水平ラインのうちの他の水平ラインに、前記他の水平ラインの前記平均ＡＶ値と前記基準水平ラインの前記平均ＡＶ値との差分の演算結果に応じたゲインを設定する、請求項３に記載の撮像装置。
  5. 前記ゲイン設定部は、前記各水平ラインのうちで前記平均ＡＶ値が最も低い水平ラインを基準水平ラインとし、前記各水平ラインのうちの他の水平ラインに、前記他の水平ラインの前記平均ＡＶ値と前記基準水平ラインの前記平均ＡＶ値との差分の演算結果に応じたゲインを設定する、請求項３に記載の撮像装置。
  6. 前記ゲイン設定部は、
    露光期間の設定値および前記基準水平ラインの前記平均ＡＶ値に基づいて前記基準水平ラインの仮ＩＳＯ感度を算出し、
    前記仮ＩＳＯ感度が前記イメージセンサが対応可能な範囲外である場合、前記露光期間の設定値を調整し、調整後の露光期間に基づいて前記基準水平ラインの前記平均ＡＶ値を算出し直す、請求項３に記載の撮像装置。
  7. 前記絞り駆動軌跡は、前記ゲインが設定される設定対象フレームの露光が開始する前に予測された絞り値の予測値である、請求項１に記載の撮像装置。
  8. 前記絞り駆動軌跡は、絞りが駆動された絞り値の実測値である、請求項１に記載の撮像装置。
  9. 前記絞り駆動軌跡に関する絞り駆動情報は、絞りが駆動を開始される時刻、または前記絞りが駆動を終了される時刻に関する情報を含む、請求項１に記載の撮像装置。
  10. 前記絞り駆動軌跡に関する絞り駆動情報は、絞りの現在の絞り値及び前記絞りが目標とする目標絞り値に関する情報を含む、請求項１に記載の撮像装置。
  11. 前記撮像装置は、
    表示部と、
    前記ゲインの設定に基づいて前記水平ライン毎にゲイン補正を行うゲイン補正部と、を備え、
    前記ゲイン補正が行われた撮像画像は、前記表示部にてライブビューにより表示される、請求項１に記載の撮像装置。
  12. 前記撮像装置は、絞りの駆動を制御する絞り駆動制御部と、前記絞り駆動軌跡を算出する露出制御部と、を備える、請求項１に記載の撮像装置。
  13. 絞り値の時系列変化を表す絞り駆動軌跡に関する絞り駆動情報に基づいて、複数の画素がマトリックス状に２次元に配置されたイメージセンサの前記複数の画素が並ぶライン毎に、ゲインを設定するゲイン設定部、を備え、
    前記複数の画素は、水平方向及び垂直方向に配列され、
    前記ゲイン設定部は、
    前記絞り駆動軌跡に基づき、露光期間における平均ＡＶ値が第１の水平ラインよりも高い第２の水平ラインに、前記ゲインとして前記第１の水平ラインのゲインよりも高い値を設定し、
    各水平ラインから、任意の水平ラインを抽出して基準水平ラインとし、前記基準水平ラインの平均ＡＶ値と、他の水平ラインの平均ＡＶ値との差分の演算結果に応じたゲインを設定し、
    露光期間の設定値および前記基準水平ラインの前記平均ＡＶ値に基づいて前記基準水平ラインの仮ＩＳＯ感度を算出し、
    前記仮ＩＳＯ感度が前記イメージセンサが対応可能な範囲外である場合、前記露光期間の設定値を調整し、調整後の露光期間に基づいて前記基準水平ラインの前記平均ＡＶ値を算出し直す、
    撮像装置。
  14. プロセッサが、
    絞り値の時系列変化を表す絞り駆動軌跡に関する絞り駆動情報に基づいて、複数の画素がマトリックス状に２次元に配置されたイメージセンサの前記複数の画素が並ぶライン毎に、ゲインを設定すること、を含むゲイン設定方法であって、
    前記複数の画素は、水平方向及び垂直方向に配列され、
    前記プロセッサが、
    前記絞り駆動軌跡に基づき、露光期間における平均ＡＶ値が第１の水平ラインよりも高い第２の水平ラインに、前記ゲインとして前記第１の水平ラインのゲインよりも高い値を設定することと、
    各水平ラインの露光期間における絞り駆動軌跡から前記各水平ラインの露光期間における光量の時系列変化を算出することと、
    当該光量の時系列変化に基づいて前記各水平ラインの露光期間における平均光量を算出することと、
    前記各水平ラインの露光期間における平均光量を平均ＡＶ値に変換することにより前記平均ＡＶ値を算出することと、を含む、
    ゲイン設定方法。
  15. コンピュータを、
    絞り値の時系列変化を表す絞り駆動軌跡に関する絞り駆動情報に基づいて、複数の画素がマトリックス状に２次元に配置されたイメージセンサの前記複数の画素が並ぶライン毎に、ゲインを設定するゲイン設定部、として機能させるためのプログラムであって、
    前記複数の画素は、水平方向及び垂直方向に配列され、
    前記ゲイン設定部は、
    前記絞り駆動軌跡に基づき、露光期間における平均ＡＶ値が第１の水平ラインよりも高い第２の水平ラインに、前記ゲインとして前記第１の水平ラインのゲインよりも高い値を設定し、
    各水平ラインの露光期間における絞り駆動軌跡から前記各水平ラインの露光期間における光量の時系列変化を算出し、
    当該光量の時系列変化に基づいて前記各水平ラインの露光期間における平均光量を算出し、
    前記各水平ラインの露光期間における平均光量を平均ＡＶ値に変換することにより前記平均ＡＶ値を算出する、
    プログラム。
JP2020523538A 2018-06-06 2019-04-02 撮像装置、ゲイン設定方法及びプログラム Active JP7355009B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018108890 2018-06-06
JP2018108890 2018-06-06
PCT/JP2019/014661 WO2019235049A1 (ja) 2018-06-06 2019-04-02 撮像装置、ゲイン設定方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019235049A1 JPWO2019235049A1 (ja) 2021-07-08
JP7355009B2 true JP7355009B2 (ja) 2023-10-03

Family

ID=68769898

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020523538A Active JP7355009B2 (ja) 2018-06-06 2019-04-02 撮像装置、ゲイン設定方法及びプログラム

Country Status (3)

Country Link
US (1) US11523065B2 (ja)
JP (1) JP7355009B2 (ja)
WO (1) WO2019235049A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220217260A1 (en) * 2019-03-29 2022-07-07 Sony Group Corporation Signal processing device, imaging device, and signal processing method
CN114793271B (zh) * 2021-01-25 2023-06-06 华为技术有限公司 一种图像采集装置及亮度平衡方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010074313A (ja) 2008-09-16 2010-04-02 Canon Inc 撮像装置および撮像装置の制御方法
JP2013031010A (ja) 2011-07-28 2013-02-07 Olympus Imaging Corp 撮像装置、撮像方法およびプログラム
JP2014022843A (ja) 2012-07-13 2014-02-03 Canon Inc 監視カメラシステム及び監視カメラシステムの制御方法
JP2015104003A (ja) 2013-11-26 2015-06-04 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像表示方法、イメージセンサ及び撮像装置
JP2017003830A (ja) 2015-06-12 2017-01-05 オリンパス株式会社 撮像装置、撮像方法およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5428421A (en) * 1989-02-27 1995-06-27 Canon Kabushiki Kaisha Exposure control device
JPH09298683A (ja) * 1996-04-26 1997-11-18 Sony Corp 映像信号処理方法及び映像信号処理装置
JP4854581B2 (ja) * 2007-04-24 2012-01-18 キヤノン株式会社 撮像装置及びその制御方法
JP5961058B2 (ja) * 2012-07-18 2016-08-02 キヤノン株式会社 撮像装置及びその制御方法、画像処理装置及びその制御方法
US11044411B2 (en) * 2017-02-10 2021-06-22 Canon Kabushiki Kaisha Imaging element and imaging apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010074313A (ja) 2008-09-16 2010-04-02 Canon Inc 撮像装置および撮像装置の制御方法
JP2013031010A (ja) 2011-07-28 2013-02-07 Olympus Imaging Corp 撮像装置、撮像方法およびプログラム
JP2014022843A (ja) 2012-07-13 2014-02-03 Canon Inc 監視カメラシステム及び監視カメラシステムの制御方法
JP2015104003A (ja) 2013-11-26 2015-06-04 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像表示方法、イメージセンサ及び撮像装置
JP2017003830A (ja) 2015-06-12 2017-01-05 オリンパス株式会社 撮像装置、撮像方法およびプログラム

Also Published As

Publication number Publication date
JPWO2019235049A1 (ja) 2021-07-08
US20210218873A1 (en) 2021-07-15
US11523065B2 (en) 2022-12-06
WO2019235049A1 (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
CN110168605B (zh) 用于动态范围压缩的视频信号处理装置、视频信号处理方法和计算机可读介质
JP7363767B2 (ja) 画像処理装置と画像処理方法およびプログラム
JP7400802B2 (ja) 撮像装置、およびスイッチ
CN110945399B (zh) 信号处理设备、成像设备、信号处理方法和存储器
WO2018221068A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP7355009B2 (ja) 撮像装置、ゲイン設定方法及びプログラム
JP7135869B2 (ja) 発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置
JP7420137B2 (ja) 信号処理装置、撮像装置、信号処理方法
JP7444163B2 (ja) 撮像装置、撮像方法、及びプログラム
JP7136093B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JPWO2019167555A1 (ja) 映像信号処理装置、映像信号処理方法および撮像装置
US11910105B2 (en) Video processing using a blended tone curve characteristic
JP7160042B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2018157918A (ja) 手術用制御装置、制御方法、手術システム、およびプログラム
WO2018230510A1 (ja) 画像処理装置、画像処理方法および撮像システム
WO2020246181A1 (ja) 画像処理装置、画像処理方法、プログラム
JP7444074B2 (ja) 撮像装置、撮像制御装置、撮像方法

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20210323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210329

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230904

R151 Written notification of patent or utility model registration

Ref document number: 7355009

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151