JP7444074B2 - 撮像装置、撮像制御装置、撮像方法 - Google Patents

撮像装置、撮像制御装置、撮像方法 Download PDF

Info

Publication number
JP7444074B2
JP7444074B2 JP2020559780A JP2020559780A JP7444074B2 JP 7444074 B2 JP7444074 B2 JP 7444074B2 JP 2020559780 A JP2020559780 A JP 2020559780A JP 2020559780 A JP2020559780 A JP 2020559780A JP 7444074 B2 JP7444074 B2 JP 7444074B2
Authority
JP
Japan
Prior art keywords
tracking
focus
state
display
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020559780A
Other languages
English (en)
Other versions
JPWO2020121654A1 (ja
Inventor
裕 君島
洋平 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020121654A1 publication Critical patent/JPWO2020121654A1/ja
Application granted granted Critical
Publication of JP7444074B2 publication Critical patent/JP7444074B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Description

本技術は撮像装置、撮像制御装置、撮像方法に関し、特に撮像装置のオートフォーカスと追尾動作のための技術に関する。
撮像装置の分野ではオートフォーカスは広く採用されている機能であり、例えばシャッターボタンの半押し操作によりオートフォーカス動作が行われる撮像装置がある。
また近年、撮像画像の解析や被写体認識の技術を用いて、ターゲットとした被写体を追尾しながら、その被写体を対象としてオートフォーカスを行うものもある。
下記特許文献1には、オートフォーカス動作や追尾動作に関する技術が記載されている。
特開2015-111746号公報
ところで撮像装置の使用においては、いわゆるシャッターチャンスを逃さないためにも簡単且つ直感的な操作性が求められる。
ここでターゲットとした被写体にオートフォーカスをかけながら、その被写体を撮像されている画像(フレーム)上で追尾していくという動作については、ユーザは、通常のオートフォーカスを同じシャッターボタンの半押し操作で行われることがある。
即ち追尾を実行させるモードを予め選択しておくことで、ユーザがシャッターボタンを半押しすると、撮像装置は、或る被写体にオートフォーカスを行い、それによって合焦した被写体を追尾していくように動作する。ところがこのような操作方式では、追尾とオートフォーカスの自由な使い分けが困難である。
一方で、追尾とオートフォーカスは連携することでも意味がある。合焦していない被写体は的確に認識して追尾することが困難であり、また被写体の追尾はシャッターチャンスを狙うときにおこなうものであるためオートフォーカス動作により合焦していることが重要である。
そこで本技術では、オートフォーカスと追尾の連携を適切に実現できながら多様なユーザ操作を容易な操作性で可能とすることを目的とする。
本技術に係る撮像装置は、第1の操作子を用いた第1操作を検知することに応じてオートフォーカス制御を実行するオートフォーカス制御部と、前記第1操作に応じてオートフォーカス制御がされている状態において、前記第1の操作子とは異なる第2の操作子を用いた第2操作を検知することに応じて、フォーカス対象の被写体の追尾処理を行う追尾処理部と、を備える。
オートフォーカス制御は、各種のフォーカスモードにより条件は異なるが自動的に或る被写体にフォーカスオンさせるように撮像レンズ系を動作させる制御である。
追尾処理はこのようなオートフォーカス制御によりフォーカス対象とされた被写体を、撮像画像の各フレーム内で追尾し、その被写体にフォーカスオン状態を継続させるようにする処理である。
上記した本技術に係る撮像装置においては、前記第1操作に応じてオートフォーカス制御がされている状態において前記第2操作により追尾処理が行われることに応じて、前記オートフォーカス制御部は追尾対象の被写体へのフォーカス制御を行うことが考えられる。
これにより第1操作と第2操作とが行われることでフォーカス対象を追尾対象とする状態とする。追尾対象の被写体を対象とするフォーカスエリア設定とは、追尾対象被写体の位置に合わせてオートフォーカス制御対象を移動させていく設定である。
上記した本技術に係る撮像装置においては、前記第1操作に応じてオートフォーカス制御が行われ、追尾処理が行われていない第1状態にあるときと、前記第1操作及び前記第2操作に応じて追尾処理及び追尾対象の被写体へのフォーカス制御が行われている第2状態にあるときとで、表示部における動作状態を示す表示が変更されるように制御する表示制御部を備えることが考えられる。
例えば表示パネル、ビューファインダー、或いは外部表示装置などの表示部に撮像装置の動作状態を表示させる場合において、第1操作のみが行われている期間と、第1操作と第2操作とが行われている期間とにおいて、異なる動作状態を示す表示を実行させる。例えば表示するアイコンを第1状態に対応するものと第2状態に対応するものとで切り換える。
上記した本技術に係る撮像装置においては、前記第1操作に応じてオートフォーカス制御が行われ、追尾処理が行われていない第1状態にあるときは、フォーカス実行領域を示すフォーカス枠が所定位置に表示され、前記第1操作及び前記第2操作に応じて追尾処理及び追尾対象の被写体へのフォーカス制御が行われている第2状態であるときは、追尾対象の被写体画像の位置に追尾枠が表示されるように、表示部の表示動作を制御する表示制御部を備えることが考えられる。
例えば表示パネル、ビューファインダー、或いは外部表示装置などの表示部にオートフォーカス制御に応じたフォーカス枠や、追尾動作に応じた追尾枠を表示させる。
上記した本技術に係る撮像装置においては、前記表示制御部は、前記第2状態であるときは、直前の前記第1状態における前記フォーカス枠の表示が維持されながら前記追尾枠が表示されるように表示部の表示動作を制御することが考えられる。
例えば表示パネル、ビューファインダー、或いは外部表示装置などの表示部にオートフォーカス制御に応じたフォーカス枠を表示させるが、このフォーカス枠を追尾動作中も表示させたままにする。
上記した本技術に係る撮像装置においては、前記第2状態から前記第1状態に移行した際に、前記オートフォーカス制御部は、直前の第2状態での追尾動作の開始前のオートフォーカス制御を開始し、前記表示制御部は、前記追尾枠の表示を終了させるとともに、前記フォーカス枠が追尾開始前の状態で表示されるようにすることが考えられる。
第1操作が行われて第1状態になったときにはオートフォーカス制御に関する設定に応じてオートフォーカス制御が行われ、またそれに応じたフォーカス枠が表示されるが、その後第2状態に移行し、さらに第2状態から第2操作が解除されて第1状態に戻った場合は、その元の追尾前の状態でオートフォーカス制御が行われ、それに応じたフォーカス枠の表示が再開されるようにする。
上記した本技術に係る撮像装置においては、前記第2状態から前記第1状態に移行した際に、前記オートフォーカス制御部は、追尾終了時の追尾枠の位置に基づいた領域に対してオートフォーカス制御を開始し、前記表示制御部は、前記追尾枠の表示を終了させるとともに、追尾終了時の追尾枠の位置に前記フォーカス枠が表示されるようにすることが考えられる。
第1操作が行われて第1状態になったときにはオートフォーカス制御に関する設定に応じてオートフォーカス制御が行われ、またそれに応じたフォーカス枠が表示されるが、その後第2状態に移行し、さらに第2状態から第2操作が解除されて第1状態に戻った場合は、追尾終了時の領域においてオートフォーカス制御が行われ、それに応じたフォーカス枠の表示が追尾枠に代えて実行されるようにする。
上記した本技術に係る撮像装置においては、前記第2状態から前記第1状態に移行した際に、前記オートフォーカス制御部は、撮像画像の固定領域を対象とするオートフォーカス制御を開始し、前記表示制御部は、前記追尾枠の表示を終了させるとともに、前記フォーカス枠が撮像画像の固定領域に表示されるようにすることが考えられる。
第1操作が行われて第1状態になったときにはオートフォーカス制御に関する設定に応じてオートフォーカス制御が行われ、またそれに応じたフォーカス枠が表示されるが、その後第2状態に移行し、さらに第2状態から第2操作が解除されて第1状態に戻った場合は、強制的に例えば画像中央の領域を対象とするオートフォーカス制御が行われ、それに応じたフォーカス枠の表示が中央領域において実行されるようにする。
上記した本技術に係る撮像装置においては、前記第1操作が検知されずに前記第2操作が検知されたことに応じて、オートフォーカス制御におけるフォーカスエリア設定が、追尾対象被写体を対象とする設定とされることが考えられる。
追尾対象被写体を対象とするフォーカスエリア設定とは、追尾対象被写体の位置に合わせてオートフォーカス制御対象を移動させていく設定である。
上記した本技術に係る撮像装置においては、前記第1操作が検知されずに前記第2操作が検知されてオートフォーカス制御におけるフォーカスエリア設定が追尾対象被写体を対象とする設定とされたことに応じた表示を、表示部に表示させる表示制御部を備えることが考えられる。
例えばアイコン表示やメッセージ表示などにより、追尾対象被写体の位置に合わせてオートフォーカス制御対象を移動させていく設定とされたことをユーザに提示する。
上記した本技術に係る撮像装置においては、前記第1操作が検知されずに前記第2操作が検知され、当該第2操作後に第1操作が検知された場合、前記追尾処理部は、フォーカス対象の被写体の追尾処理を行い、前記オートフォーカス制御部は、追尾対象の被写体を対象とするオートフォーカス制御を行うことが考えられる。
即ち第2操作、第1操作の順で操作が行われた場合は、追尾対象被写体を対象とするフォーカスエリア設定として追尾対象被写体への追尾とオートフォーカス制御が開始されるようにする。
上記した本技術に係る撮像装置においては、前記第1操作と前記第2操作に応じて、前記追尾処理部がフォーカス対象の被写体の追尾処理を行い、前記オートフォーカス制御部が追尾対象の被写体を対象とするオートフォーカス制御を行う状態において、前記第1操作の解除が検知された場合、追尾処理及びオートフォーカス制御は終了され、オートフォーカス制御におけるフォーカスエリア設定は追尾対象被写体を対象とする設定に維持されるようにすることが考えられる。
追尾対象被写体への追尾とオートフォーカス制御が行われているときに第1操作によるオートフォーカスの指示が解除され、一方、第2操作は維持されていたらフォーカスエリア設定はそのまま維持する。
上記した本技術に係る撮像装置においては、前記第2操作は、第2操作のための操作子の継続操作として行われ、該継続操作の終了により前記第2操作が解除となるようにすることが考えられる。
例えば操作子としてのボタンを押し続けている間が、第2操作が行われている間とする。
上記した本技術に係る撮像装置においては、前記第2操作は、第2操作のための操作子の単発操作として行われ、当該操作子の再度の単発操作により前記第2操作が解除となるようにすることが考えられる。
例えば操作子としてのボタンのトグル操作として第2操作としてのオン/オフがおこなわれるようにする。
上記した本技術に係る撮像装置においては、前記第2の操作子は、撮像装置本体に対して装着可能に構成されているレンズ鏡筒に設けられているようにすることが考えられる。
例えば第2の操作子は、撮像装置に着脱可能な交換レンズとしてのレンズ鏡筒に設けられる操作子とする。
上記した本技術に係る撮像装置においては、前記第2操作としての操作機能が選択的に設定可能なアサイナブルボタンが設けられていることが考えられる。
つまり第2操作を行う第2の操作子としてユーザが任意に設定可能なアサイナブルボタンを用いるようにする。
上記した本技術に係る撮像装置においては、前記第1の操作子はシャッター操作子とされ、該シャッター操作子の半押しが前記第1操作とされることが考えられる。
シャッター操作子の半押しをオートフォーカスの指示として用いるが、このシャッターボタンの半押しによっては、追尾は行われないことになる。
上記した本技術に係る撮像装置においては、前記第2の操作子は、前記第1の操作子の操作中に操作が可能な位置に設けられていることが考えられる。
つまり第1の操作子と第2の操作子を同時に操作可能な配置する。例えば片手で異なる指でそれぞれ操作可能な配置としたり、一方の手で第1の操作子を操作しながら他方の手で第2の操作子を操作可能な配置とする。
本技術に係る撮像制御装置は、上記のオートフォーカス制御部と、追尾処理部とを備える。
本技術に係る撮像方法は、撮像装置が、第1の操作子を用いた第1操作を検知することに応じてオートフォーカス制御を実行し、前記第1操作に応じてオートフォーカス制御がされている状態において、前記第1の操作子とは異なる第2の操作子を用いた第2操作を検知することに応じて、フォーカス対象の被写体の追尾処理を行う撮像方法である。
即ち撮像装置がオートフォーカス指示と追尾指示を別の操作として認識するとともに、第1操作と第2操作により追尾とオートフォーカスの対象が共通化される。
本技術の実施の形態の撮像装置の外観の斜視図である。 実施の形態の撮像装置の背面図である。 実施の形態の撮像装置に装着できるレンズ鏡筒の側面図である。 実施の形態の撮像装置の内部構成のブロック図である。 実施の形態のカメラ制御部の機能構成の説明図である。 実施の形態のオートフォーカス時の表示例の説明図である。 実施の形態の追尾時の表示例の説明図である。 実施の形態のフォーカスエリアアイコンの説明図である。 第1の実施の形態の処理例のフローチャートである。 第1の実施の形態の処理例のフローチャートである。 実施の形態の操作手順のパターンの説明図である。 実施の形態のフォーカス枠表示例の説明図である。 実施の形態のフォーカス枠表示例の説明図である。 実施の形態のフォーカス枠表示例の説明図である。 実施の形態のフォーカス枠表示例の説明図である。 第2の実施の形態の処理例のフローチャートである。 第2の実施の形態のフォーカス枠表示例の説明図である。 第3の実施の形態の処理例のフローチャートである。 手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図21に示すカメラヘッド及びCCUの機能構成の一例を示すブロック図である。
以下、実施の形態を次の順序で説明する。
<1.撮像装置の構成>
<2.第1の実施の形態>
<3.第2の実施の形態>
<4.第3の実施の形態>
<5.まとめ及び変形例>
<6.応用例>

なお、「オートフォーカス」の用語は「AF」とも表記する。
第1操作の例として後述のシャッターボタン110Sの半押し操作を挙げる。この操作を単に「半押し」とも表記する。半押しはユーザがオートフォーカス制御を指示する操作となる。
第2操作の例として後述のアサイナブルボタン110C又は120Cを押圧する操作を挙げる。これはユーザが追尾動作を指示する操作となる。なお、追尾を指示するボタン操作としては、押し続ける場合と、単押しの場合をそれぞれ説明するが、ユーザがアサイナブルボタン110C又は120Cにより追尾を指示する操作を「追尾操作」、追尾の指示の解除又は指示をしていない状態を「追尾解除」と表記する。
追尾しながらそのターゲットにオートフォーカスを行う動作は「トラッキングAF」又は「追尾AF」と呼ばれるが、実施の形態では「トラッキングAF」と表記する。
<1.撮像装置の構成>
図1は実施の形態の撮像装置1の前方からの斜視図、図2は背面図を示している。ここでは撮像装置1は、いわゆるデジタルスチルカメラとされ、撮像モードを切り換えることで、静止画撮像と動画撮像の両方を実行できるものとする。
なお、本実施の形態では撮像装置1は、デジタルスチルカメラに限定されず、主に動画撮像に用いられ静止画撮像も行えるビデオカメラであっても良い。
撮像装置1は、カメラ本体を構成する本体筐体100の前方側にレンズ鏡筒2(図1ではレンズ鏡筒2A)が配置され、又は着脱可能とされる。
撮像装置1の背面側(使用者側)には、例えば液晶ディスプレイ(LCD:Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等のディスプレイデバイスによる表示パネル101が設けられる。
またビューファインダー102として、LCDや有機ELディスプレイ等を用いて形成された表示部も設けられる。またビューファインダー102は電子式ファインダー(EVF:Electronic View Finder)に限らず、光学式ファインダー(OVF:Optical View Finder)でもよい。
ユーザは表示パネル101やビューファインダー102により、画像や各種情報を視認することができる。
この例では撮像装置1には表示パネル101とビューファインダー102の両方が設けられているが、これに限定されず、表示パネル101とビューファインダー102のいずれか一方のみが設けられている構成や、表示パネル101とビューファインダー102の両方またはいずれか一方が着脱可能な構成であってもよい。
撮像装置1の本体筐体100上には、各種の操作子110が設けられている。
例えば操作子110としては、キー、ダイヤル、押圧/回転の複合操作子などの各種の形態のものが配備され、各種の操作機能を実現している。例えばメニュー操作、再生操作、モード選択操作、フォーカス操作、ズーム操作、シャッタースピードやF値(F-number)等のパラメータの選択操作などが可能とされる。それぞれの操作子110に関しての詳述は避けるが、本実施の形態の場合、操作子110のうちでシャッターボタン110Sとアサイナブルボタン110Cを特に示している。
シャッターボタン110Sはシャッター操作(レリーズ操作)や、また半押しによるAF操作に用いられる。
アサイナブルボタン110Cは、カスタムボタンとも呼ばれる操作子で、ユーザが任意の操作機能を割り当てることのできるボタンである。本実施の形態では、このアサイナブルボタン110Cには追尾指示の操作が割り当てられるものとする。つまりアサイナブルボタン110Cが追尾操作のための操作子となる。
シャッターボタン110Sは本体筐体100の右側上面に配置され、例えばユーザが右手で握持部103を持った状態で、右手の人差し指で押圧操作可能とされている。
またアサイナブルボタン110Cは、例えば図2のように本体筐体100の背面側上部に配置され、ユーザが右手の親指で押圧操作可能とされている。
つまりシャッターボタン110S、アサイナブルボタン110Cは、ユーザが右手で握持部103を握持する状態で本体筐体100を持ったときに、人差し指と親指で操作できる位置に配置され、即ち、それぞれを任意に個別に押したり、同時に押したりすることができるようにされている。
なお、シャッターボタン110Sと追尾操作のためのボタンは、必ずしも片手で同時に操作できるようにすることに限られない。例えば右手でシャッターボタン110Sを押し、左手で追尾操作ができるようにしてもよい。
このため、例えばレンズ鏡筒2のボタンを用いて追尾操作ができるようにしてもよい。
例えば図3には本体筐体100の前面側に装着できるレンズ鏡筒2Bの一例を示している。レンズ鏡筒2Bにも各種の操作子120が設けられている。
この場合に、側面部のやや下方の位置に設けられたアサイナブルボタン120Cを追尾操作ボタンに割り当てる。
通常、ユーザは握持部103を右手で握持し、左手はレンズ鏡筒2を下方から支えるようなスタイルで撮像を行う。この場合に、アサイナブルボタン120Cは左手の親指で押圧操作可能となる。
このような配置であっても、シャッターボタン110Sとアサイナブルボタン120Cは互いに同時に操作したり、任意に別々に操作することが可能である。
なお、当該アサイナブルボタン110C、120Cの位置に、アサイナブルではない専用の追尾操作ボタンが設けられてもよい。
また本体筐体100に複数のアサイナブルボタンが設けられる場合、シャッターボタン110Sとともに操作可能なものが追尾操作ボタンとして割り当てられることが適切となる。逆に言えば、撮像装置1としては、そのようなシャッターボタン110Sとの同時操作に適した位置を想定してアサイナブルボタンが配置されればよいことにもなる。
図4はレンズ鏡筒2を含めた撮像装置1の内部構成を示している。なお、ここでは撮像装置1が本体筐体100とレンズ鏡筒2に分かれて構成される例で述べるが、レンズ鏡筒2に相当する部分が本体筐体100と一体化されるものであってもよい。
撮像装置1は、本体筐体100に撮像素子(イメージセンサ)12、カメラ信号処理部13、記録部14、表示部15、出力部16、操作部17、電源部18、カメラ制御部30、メモリ部31を有する。
またレンズ鏡筒2はレンズ系21、ドライバ部22、レンズ制御部23、操作部24を有する。
レンズ鏡筒2におけるレンズ系21は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り(アイリス)機構を備える。このレンズ系21により、被写体からの光(入射光)が導かれ、撮像装置1における撮像素子12に集光される。
撮像素子12は、例えば、CCD(Charge Coupled Device)型、CMOS(Complementary Metal Oxide Semiconductor)型などとして構成される。
この撮像素子12では、受光した光を光電変換して得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部13やカメラ制御部30に出力する。
カメラ信号処理部13は、例えばDSP(Digital Signal Processor)等により画像処理プロセッサとして構成される。このカメラ信号処理部13は、撮像素子12からのデジタル信号(撮像画像信号)に対して、各種の信号処理を施す。例えばカメラ信号処理部13は、前処理、同時化処理、YC生成処理、解像度変換処理、コーデック処理等を行う。
前処理では、撮像素子12からの撮像画像信号に対して、R,G,Bの黒レベルを所定のレベルにクランプするクランプ処理や、R,G,Bの色チャンネル間の補正処理等を行う。
同時化処理では、各画素についての画像データが、R,G,B全ての色成分を有するようにするデモザイク処理を施す。
YC生成処理では、R,G,Bの画像データから、輝度(Y)信号および色(C)信号を生成(分離)する。
解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
コーデック処理では、解像度変換された画像データについて、例えば記録用や通信用の符号化処理を行う。
記録部14は、例えば不揮発性メモリからなり、静止画データや動画データ等の画像ファイル(コンテンツファイル)や、画像ファイルの属性情報、サムネイル画像等を記憶する。
画像ファイルは、例えばJPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)、GIF(Graphics Interchange Format)等の形式で記憶される。
記録部14の実際の形態は多様に考えられる。例えば記録部14は、撮像装置1に内蔵されるフラッシュメモリでもよいし、撮像装置1に着脱できるメモリカード(例えば可搬型のフラッシュメモリ)と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置1に内蔵されている形態としてHDD(Hard Disk Drive)などとして実現されることもある。
表示部15は撮像者に対して各種表示を行う表示部であり、具体的には図2に示した表示パネル101やビューファインダー102を示している。
表示部15は、カメラ制御部30の指示に基づいて表示画面上に各種表示を実行させる。例えば表示部15は、記録部14において記録媒体から読み出された画像データの再生画像を表示させる。また表示部15には、カメラ信号処理部13で表示用に解像度変換された撮像画像の画像データが供給されている。表示部15はカメラ制御部30の指示に応じて、当該撮像画像の画像データに基づいて表示を行うことで、レリーズのスタンバイ中の撮像画像である、いわゆるスルー画(被写体のモニタリング画像)を表示させる。
また表示部15はカメラ制御部30の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を画面上に実行させる。
出力部16は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ(静止画ファイルや動画ファイル)の送信出力を行う。
また出力部16はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、LAN(Local Area Network)等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
操作部17は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部17は本体筐体100に設けられた各種の操作子110(シャッターボタン110S、アサイナブルボタン110Cを含む)を示している。
操作部17によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部30へ送られる。
この操作部17としては操作子110だけでなく、タッチパネルを用いてもよい。例えば表示パネル101にタッチパネルを形成し、表示パネル101に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。
或いは操作部17はタッチパッド等によりユーザのタップ操作等を検出する形態もある。
更に操作部17は、別体のリモートコントローラ等の外部操作機器の受信部として構成されることもある。
電源部18は、例えば内部に装填したバッテリーから各部に必要な電源電圧Vccを生成し、動作電圧として供給する。
撮像装置1にレンズ鏡筒2が装着された状態では、電源部18による電源電圧Vccがレンズ鏡筒2内の回路にも供給されるように構成されている。
なお電源部18には、商用交流電源に接続したACアダプタにより変換されて入力される直流電圧を電源として、バッテリーへの充電を行う回路や電源電圧Vccを生成する回路が形成されていてもよい。
カメラ制御部30はCPU(Central Processing Unit)を備えたマイクロコンピュータ(演算処理装置)により構成される。
メモリ部31は、カメラ制御部30が処理に用いる情報等を記憶する。図示するメモリ部31としては、例えばROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなど包括的に示している。
メモリ部31はカメラ制御部30としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部30はメモリ部31のROMやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置1及びレンズ鏡筒2の全体を制御する。
例えばカメラ制御部30は、撮像素子12のシャッタースピードの制御、カメラ信号処理部13における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒2におけるズーム、フォーカス、絞り調整等のレンズ系21の動作、ユーザインターフェース動作等について、必要各部の動作を制御する。絞り調整に関してカメラ制御部30は、ユーザ操作に応じたF値の可変制御や、自動制御(オートアイリス)としてのF値の指示を行う。
メモリ部31におけるRAMは、カメラ制御部30のCPUの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
メモリ部31におけるROMやフラッシュメモリ(不揮発性メモリ)は、CPUが各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。
本体筐体100にレンズ鏡筒2が装着された状態では、カメラ制御部30はレンズ制御部23に対して通信を行い、各種の指示を行う。
レンズ鏡筒2においては、例えばマイクロコンピュータによるレンズ制御部23が搭載されており、カメラ制御部30との間で各種のデータ通信が可能とされる。本実施の形態の場合、カメラ制御部30は、レンズ制御部23に対してズームレンズ、フォーカスレンズ、絞り機構等の駆動指示を行う。レンズ制御部23はこれらの駆動指示に応じてドライバ部22を制御し、レンズ系21の動作を実行させる。
なお本体筐体100にレンズ鏡筒2が装着された状態では、カメラ制御部30とレンズ制御部23の間で有線通信が実行されるように構成されている。但し、カメラ制御部30とレンズ制御部23が無線通信を行うことができるように構成されてもよい。
ドライバ部22には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
これらのモータドライバはレンズ制御部23からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。
操作部24はレンズ鏡筒2側に設けられた操作子120(アサイナブルボタン120Cを含む)を示している。操作部24による操作情報はレンズ制御部23に供給され、レンズ制御部23を介してカメラ制御部30に通知される。
これによりレンズ制御部23は、操作子120の操作に応じて例えばレンズ系21の動作制御を行ったり、カメラ制御部30が操作子120の操作に応じて各種設定や動作制御を行うことができる。
なお操作部24としても操作部17と同様に、キーやダイヤル等に限らず、タッチパネル、タッチパッド、或いはリモートコントローラの受信部などとして構成されてもよい。
図5は、図4の構成の一部を抽出するとともに、本実施の形態の動作を行うためのカメラ制御部30の機能を示している。
カメラ制御部30の機能としては、AF測距部51、AF制御部52、画像認識部53、操作認識部54、表示制御部55、アサイナブルボタン設定部56が設けられる。
なお説明上の一例として、これらの機能がカメラ制御部30にソフトウエアにより設けられるものとするが、これらの機能の一部又は全部が例えばカメラ信号処理部13等として用いられるDSPやマイクロコンピュータに設けられてもよいし、例えばカメラ制御部30やカメラ信号処理部13とは別チップのマイクロコンピュータなど、他の部位に設けられてもよい。いずれにしても撮像装置1内に、これらの機能を行う構成が設けられればよい。
AF測距部51は、オートフォーカスのための測距処理を行う。例えば撮像素子12で得られる撮像画像信号を用いて、いわゆる位相差検出方式やコントラスト検出方式、或いはこれらの両方の特徴を持ち合わせたハイブリッドAF方式などとしてのAF制御のための演算を行う。
AF制御部52は、AF測距部51で求められた制御値に基づいてAF制御信号を生成し、AF動作を実行させる処理を行う。AF制御部52によるAF制御信号はレンズ制御部23に送信される。そしてレンズ制御部23がAF制御信号に基づいてドライバ部22を制御し、レンズ系21内のフォーカスレンズの駆動を実行させることで、AF動作が行われる。
画像認識部53は、撮像素子12で得られる撮像画像信号に対する画像解析を行い画像内容の認識処理を行う。特に本実施の形態の場合、顔・瞳検出部61、追尾処理部62、被写体顔判定部63としての認識処理が行われる、
顔・瞳検出部61では、撮像画像信号のフレーム内で被写体としての人(或いは動物)の顔や瞳を検出する処理を行う。
追尾処理部62では、撮像画像信号のフレーム内で、ターゲットとした被写体の位置を判定し追尾するための処理を行う。なお、追尾するターゲットは、例えばAFがかけられた被写体などとされる。ユーザ(撮像者)によるターゲットの選択は、AF対象の被写体を選択するという操作によってなされることにもなる。
被写体顔判定部63は、被写体の顔の判定を行う。これはフレーム内での人の顔の領域の判定であったり、さらには顔の個人識別の処理を行う。例えば多数の人が被写体となっているときに、ターゲットとした個人の顔の認識なども行うことが想定される。
操作認識部54は操作部17による操作を認識する。カメラ制御部30は、操作認識部54によって認識されるユーザ操作に応じて必要な制御処理を行うことになる。
特に実施の形態の処理に関連するものとしては、操作認識部54は操作部17におけるシャッターボタン110S、アサイナブルボタン110Cや、操作部24におけるアサイナブルボタン120Cの操作を認識する。これらの操作の認識に応じて、上記のAF測距部51、AF制御部52、画像認識部53が対応した処理を行うことになる。
アサイナブルボタン設定部56は、ユーザの設定操作に応じて、アサイナブルボタン110C、120Cの操作機能を設定する機能を示している。
上述のように本実施の形態では、アサイナブルボタン110C、120Cは追尾操作ボタンとして割り当てられるものとする。
操作認識部54がアサイナブルボタン110Cやアサイナブルボタン120Cの操作を検知した場合、カメラ制御部30はアサイナブルボタン設定部56の設定に基づいて、追尾操作が行われたと認識することになる。
表示制御部55は、表示部15の表示動作を制御する。例えば表示制御部55はスルー画の表示の実行や、各種操作メニュー、アイコン、メッセージ等の表示を画面上に実行させるように制御する機能を示している。
図6,図7には、表示部15での表示例を示している。これらはスルー画に重ねて各種アイコンを表示している例である。
図6では、バスケットボールを使っている人物HMが、被写体として表示部15の画面(即ち撮像している画角)のほぼ中央にとらえられている状態である。
ここでは画面中央にフォーカス枠90が表示されている。フォーカス枠90は、AF対象を示す枠であり、いわゆるAF測距点を示す枠である。
フォーカス枠90の表示位置は、各種のモードによって変わり、またフォーカス枠90が複数表示される場合もあるが、ここでは1つのフォーカス枠90が画面中央に表示される例としている。
図7では追尾を行っている状態を示している。例えば図6のフォーカス枠90に基づいて人物HMにAFがかけられ、また追尾のターゲットとされたとする。
図7の時点では、人物HMが画面内で左寄りに位置にあるとする。この人物HMに対して追尾枠91が表示されている。追尾枠91はターゲットとした被写体に追従して、その被写体に重なるように表示されていくことになる。
また図6,図7に示すように画面上には、撮像装置1のモードや動作状態などを示す各種のアイコンや文字/数字が表示される。
例えば画面下部にはISO感度71、露出値72、絞り値73、シャッタースピード74、合焦マーク75が表示される。
合焦マーク75はターゲットに対して合焦状態にあることを示すもので、図7において追尾対象にピントが合っている状態を示している。
画面左側には、ファインダフレームレート76、シャッター方式77、フォーカスエリア78、フォーカスモード79、ドライブモード80、撮影モード81としての表示が行われる。
ファインダフレームレート76はビューファインダー102の表示画像のフレームレートを示すアイコンである。
シャッター方式77は、メカシャッター方式、電子シャッター方式、オートを示すアイコンである。図示しているのはオートであり、これは撮影状況やシャッタースピードに応じて、メカシャッター方式と電子シャッター方式が自動で切り換わるモードを示している。
フォーカスエリア78は、フォーカス制御を行う領域としてフォーカスエリア設定を表すアイコンである。フォーカスエリア設定としては、「ワイド」「ゾーン」「中央」「フレキシブルスポット」などがある。各フォーカスエリア設定を示すアイコンとしては、図8に示すアイコン78a,78b,78c,78dなどがある。
「ワイド」はスルー画としてのモニタ全体を基準に、自動ピント合わせをするフォーカスエリアモードであり、例えばアイコン78aで示される。
「ゾーン」はモニタ上でピントを合わせたいゾーンの位置を選ぶと、その中で自動でピントを合わせるフォーカスエリアモードであり、例えばアイコン78bで示される。
「中央」はモニタ中央付近の被写体に自動ピント合わせをするフォーカスエリアモードであり、例えばアイコン78cで示される。
「フレキシブルスポット」はモニタ上の好きなところにフォーカス枠を移動し、非常に小さな被写体や狭いエリアを狙ってピントを合わせるフォーカスエリアモードであり、例えばアイコン78dで示される。図6ではフォーカスエリア78としてアイコン78dが表示されている。
なお図7ではフォーカスエリア78の表示としてアイコン78atを示しているが、これは、後述するようにシャッターボタン110Sの半押しとアサイナブルボタン110C(又は120C)の操作によりトラッキングAFを行っている場合のアイコンとなる。例えばフォーカスエリア設定が「ワイド」の状態でトラッキングモードとなったときのアイコンの例である。トラッキングモードとはAFがかけられた被写体に対して追尾しながらAFが実行されるモードである。
図8には、アイコン78at,78bt,78ct,78dtを示しているが、これらは、各フォーカスエリア設定の状態でトラッキングモードになったときのアイコン例である。
また例えば半押しによりAFが行われた状態でアサイナブルボタン110C(又は120C)が押されると、これらアイコン78at,78bt,78ct,78dtのいずれかが表示される。
また半押しが行われておらず、アサイナブルボタン110C(又は120C)が押された場合はトラッキングモードとなるが、その場合もこれらアイコン78at,78bt,78ct,78dtのいずれかが表示される。
これらのように、フォーカスエリア78のアイコンは、そのときのフォーカスエリア設定やトラッキングモードに応じて切り換えられる。
なお図6,図7,図8に示したフォーカスエリア78として表示するアイコンの画像例は説明上の例であって、これらの画像デザインに限定されない。
図6,図7のように表示されるフォーカスモード79は、AF動作モードを表すアイコンである。AF動作モードとしては例えばシングルAF(AF-S)、コンティニアスAF(AF-C)としてのモードがある。
シングルAFは、シャッターボタン110Sを半押しするとオートフォーカスが働き、一度ピントが合うと、ピントがそこで固定されるモードである。
コンティニュアスAFは、シャッターボタン110Sを半押ししている間中、オートフォーカスが働き、ピントを合わせ続けるモードである。図6,図7ではコンティニアスAFを示すアイコンが表示された例としている。
ドライブモード80は、1枚撮影、連写、ブラケット撮影などを示すアイコンである。
撮影モード81は、「プログラムオート」「絞り優先」「シャッタースピード優先」「マニュアル露出」「動画」「スロー/クイックモーション」などの撮影モードを示すアイコンである。
図6,図7において画面上部には、記憶メディア/枚数82、縦横比83、画像サイズ84、手ぶれ補正85、画質86、バッテリー残量87の表示が行われる。
記憶メディア/枚数82として記録メディアに保存したピクチャーの枚数や保存可能数などが表示される。
縦横比83により撮像画像の縦横比が表示される。
画像サイズ84により撮像画像のサイズが表示される。
手ぶれ補正85により手ぶれ補正機能のオン/オフやモードが表示される。
画質86により撮像画像の画質設定が表示される。
バッテリー残量87によりバッテリー残量が例えば絵柄とパーセント表示で示される。
ここまで表示部15に表示される各種アイコン等を例示したが、これ以外にも各種の情報を提示するためのアイコン、数字、文字、或いはグラフィックが表示される。
<2.第1の実施の形態>
以上の構成の撮像装置1において行われる処理例を説明する。
実施の形態の撮像装置1では、AF操作を例えばシャッターボタン110Sの半押しにより行うこととしている。またそのAF操作のボタンとは違う別のボタン(例えばアサイナブルボタン110Cや120C)に被写体追尾の操作機能を割り当てる。
そして第1の実施の形態ではアサイナブルボタン110Cや120Cが押されている状態が追尾操作、押圧が解除された(ユーザがボタンの押圧をしていない)状態が追尾解除の操作とする。
従って、シャッターボタン110Sの半押しが行われているときにおいて、アサイナブルボタン110Cや120Cが押されている期間、追尾(トラッキングAF)が行われるものとなる。
なお上述のように、追尾操作ボタンは、アサイナブルボタン110Cや120Cでなく他のボタンや他の操作子(レバー、スライドスイッチ、ダイヤル等)でもよいが、以下の各実施の形態の説明では、アサイナブルボタン110Cを用いるものとして説明する。以下の説明においてアサイナブルボタン110Cの操作とは、アサイナブルボタン120Cもしくは他の操作子として、追尾操作が行われた場合にも該当する。
一般にAFや追尾の機能を備えている場合、例えばシャッター半押しをすると同時にAFを行い、合焦したポイントから被写体追尾が始まるようにしている。
ここで、例えば陸上競技において被写体であるランナーが遠くから近くへ走ってくる状況においての撮像の仕方としては、被写体(ランナー)がまだ遠くにいるときは、シャッター半押しで被写体にピントを合わせながらフレーミングだけを行い、ある程度被写体が近づいたら撮像を開始するといった撮り方が一般的である。
ところがシャッター半押しでAFと被写体追尾が同時に始まってしまうと、まだ被写体が遠く、画面内の被写体が小さい状況で被写体追尾が始まってしまう。こうなると追尾画像が、被写体が小さいために狙った位置とずれてしまったり、背景を含んだ画像になってしまい、その後の追尾性能が著しく低下してしまう。
本実施の形態では、AF開始と追尾開始をそれぞれ別ボタンで操作可能とする。
即ちシャッターボタン110Sの半押しによりAFが行われる。またアサイナブルボタン110Cを押すことでトラッキングモードとなりAFされた被写体に対して追尾処理が行われる。
このようにすることで、例えば被写体が遠い時は、シャッターボタン110Sの半押しでAFだけを行い、被写体が近づいてからアサイナブルボタン110Cにより追尾を開始させるようにする。被写体が近づいてから追尾開始すると、被写体以外の背景などの余計な部分が含まれず、良好な追尾結果が得られる。これにより、追尾性能が高い状態で撮像を行うことができるようにする。
図9,図10に第1の実施の形態としての処理例を示す。この処理はカメラ制御部30が図5に示した機能により実行する処理となる。なお図9と図10の処理は「C1」「C2」の記号で示す部分で連続している。
そして図9,図10は、特にシャッターボタン110Sとアサイナブルボタン110Cの操作に応じたカメラ制御部30の処理を示しているものである。
カメラ制御部30は、図9及び図10のステップS101、S120、S140、S150、S170の処理を操作検知ループとして繰り返すことで、シャッターボタン110Sとアサイナブルボタン110Cの操作を監視している。
カメラ制御部30は、ユーザがシャッターボタン110Sの半押しを行ったことを検知したら、処理をステップS101からステップS102に進め、フラグFafがオンであるか否かを確認する。
フラグFafとは、現在AFが行われているか否かを示すフラグとしており、説明上、例えばAF実行中はフラグFafがオン、AFを行っていないときはフラグFafがオフとされるものとする。
このステップS102でフラグFafがオフであるのは、シャッターボタン110Sの半押しが行われたタイミングであることを意味する。
そのためステップS102でフラグFafがオフであれば、カメラ制御部30はステップS103に進み、フラグFtがオンであるか否かを確認する。
フラグFtは、ターゲットを追尾する機能を発動させるトラッキングモードであるか否かを示すフラグである。説明上、例えばトラッキングモード中はフラグFtがオン、トラッキングモードでないときはフラグFtがオフとされるものとする。トラッキングモードのオン/オフは、アサイナブルボタン110Cが押されている/押されていないに対応する。即ち後述のようにアサイナブルボタン110Cが押されたらトラッキングモードはオン、アサイナブルボタン110Cが押されていないときはトラッキングモードはオフとなる。
例えばユーザがアサイナブルボタン110Cを押さないまま、単にシャッターボタン110Sを半押ししたときは、まだフラグFafはオフでフラグFtもオフであるため、カメラ制御部30はステップS104に進み、AFを開始する。即ちAF測距部51、AF制御部52によるAF動作を開始する。
またステップS105でカメラ制御部30はAF開始に伴って表示部15での表示もAF動作に対応したものとする。即ち表示制御部55の表示制御処理として、そのときのフォーカスエリア設定に応じてフォーカス枠90を表示させたり、必要なアイコン表示の切換等を行う。
そしてカメラ制御部30はステップS106で、AF開始に伴ってフラグFafをオンにし、操作検知ループに戻る。
ユーザがシャッターボタン110Sの半押しを続けることで、カメラ制御部30の処理は繰り返しステップS101からS102に進むが、AF開始後はフラグFafがオンとなっているため、カメラ制御部30はステップS102からステップS120に進み、操作検知ループの処理を継続することになる。
即ちカメラ制御部30はAF制御を継続しながら、シャッターボタン110Sとアサイナブルボタン110Cの操作を監視する状態となる。
また、アサイナブルボタン110Cが押されてトラッキングモードがオン(後述のステップS162)となっているときに、シャッターボタン110Sの半押しが検知される場合もある。つまりシャッターボタン110Sの半押しとアサイナブルボタン110Cの押圧が共に行われている状態になった場合である。
そのような場合は、カメラ制御部30はステップS103でフラグFtがオンであることで、ステップS110に進む。
この場合、カメラ制御部30は、AFを開始するとともに、追尾処理も開始する。具体的にはAF測距部51、AF制御部52によるAF動作を開始する。この場合、トラッキングモードはオンとなっている(後述のステップS160)ため、追尾対象の被写体にAFをかける。そして合焦状態となったら、その合焦した被写体をターゲットとして、画像認識部53の機能により追尾処理を開始する。例えば顔・瞳検出部61や被写体顔判定部63の機能による被写体認識と、その被写体に対する追尾処理部62の追尾機能を発動させる。そして撮像素子12から得られる撮像画像信号の各フレームについて、ターゲットとなった被写体画像フレーム内の位置を検出し、またその追尾対象となった被写体の位置に対してAFを実行するようにする。このようにトラッキングAF動作が開始される。
ステップS111でカメラ制御部30はトラッキングAF動作の開始に伴って表示部15での表示もトラッキングAF動作に対応したものとする。即ち表示制御部55の表示制御処理として、追尾枠91を追尾対象の被写体に重畳して表示させたり、必要なアイコン表示の切換等を行う。
そしてカメラ制御部30はステップS112でフラグFafをオンにして操作検知ループに戻る。
シャッターボタン110Sの半押しが解除(ボタンをオフ)されていることを検知しているとき、つまりシャッターボタン110Sが操作されていない期間は、カメラ制御部30はステップS120からステップS121に進み、フラグFafがオンであるか否かを確認する。フラグFafがオフでAF制御中でなければ、単にシャッターボタン110Sの半押しがされていない状態が継続しているだけであるので、そのままステップS140に進み、監視ループに戻る。
ステップS121でフラグFafがオンである場合とは、それまでシャッターボタン110Sの半押しがされている状態から、その半押しが解除された直後の場合となる。
即ちユーザが半押しを止めたときは、カメラ制御部30はステップS122に進み、その時点でフラグFtを確認し、トラッキングモードであるか否かを確認する。
ここでフラグFtがオフであるのは、それまでアサイナブルボタン110Cが押されておらず、シャッターボタン110Sの半押しでAFが行われていた場合となる。
その場合、カメラ制御部30はステップS130に進み、AF制御を終了し、ステップS131でAF制御の終了に応じた表示制御を行う。
そしてカメラ制御部30はステップS132でフラグFafをオフとしたうえで操作検知ループに戻る。
一方、ステップS122でフラグFtがオンであるのは、それまでアサイナブルボタン110Cの押圧とシャッターボタン110Sの半押しが同時に行われてトラッキングAFが行われていた状態で、シャッターボタン110Sの半押しのみが解除された場合となる。
その場合はカメラ制御部30はステップS123に進み、追尾処理とAF制御をともに終了する。追尾処理を終了するのは、追尾はAFにより合焦された被写体をターゲットとするもので、AFがされていることが前提となるためである。但しアサイナブルボタン110Cによる追尾操作は継続されているため、トラッキングモードは維持される。
ステップS124でカメラ制御部30は追尾に関する表示(例えば追尾枠91)の終了やAF制御の終了に応じた表示の終了、アイコンの変更等の制御を行う。トラッキングモードを示す表示は継続する。
またカメラ制御部30はステップS125でフラグFafをオフとし、操作検知ループに戻る。
シャッターボタン110Sの全押し、つまりシャッター操作(レリーズ操作)を検知した場合、カメラ制御部30はステップS140からS141に進み、撮像記録処理を行う。即ちカメラ制御部30は、レリーズ操作タイミングに応じて得られる1フレームの撮像画像信号を静止画データとして処理し、記録されるようにカメラ信号処理部13に指示する。これにより1枚の静止画撮像が行われ、記録部14に記録される。
なお、通常の撮像ではシャッターボタン110Sを1回押し込むことでレリーズ操作が行われ、1枚の静止画撮像が行われ、これによりカメラ制御部30はステップS142でレリーズ終了と判断するが、その場合、カメラ制御部30はユーザが全押しを続けていてもレリーズ終了と判断する。そして操作検知ループに戻る。
一方、撮影モードが連写モードとされている場合は、ユーザがシャッターボタン110Sの全押しを続けることで、カメラ制御部30は複数枚の静止画が記録されるようにする。このため、連写の限度枚数に至るまでは、全押しが継続されていた場合はステップS142からステップS141に戻り、静止画撮像記録を繰り返し行うようにする。そして全押し操作の解除または連写の限度枚数の到達の場合にレリーズ終了として、ステップS142からレリーズ操作時の処理を終え操作検知ループに戻る。
追尾操作としてアサイナブルボタン110Cの操作(押圧)が検知されたときは、カメラ制御部30は図10のステップS150からステップS151に進み、フラグFtを確認する。
ここでフラグFtがオフであるということは、それまで押されていなかったアサイナブルボタン110Cが押されたタイミングであることとなる。
その場合カメラ制御部30はステップS152に進み、フラグFafのオン/オフ、つまり、アサイナブルボタン110Cが押されたときに、シャッターボタン110Sが半押しされていたか、半押しされていなかったかにより処理を分岐する。
シャッターボタン110Sの半押しがされた状態でアサイナブルボタン110Cが押された場合、カメラ制御部30はステップS152からS153に進むことになる。この場合、カメラ制御部30はステップS153でトラッキングモードをオンとし、トラッキングAF処理を開始する。即ちカメラ制御部30は、それまでAF対象としていた被写体に対して追尾を開始し、その追尾している被写体に対して継続的にAF制御を行うようにする。
ステップS154でカメラ制御部30は、トラッキングAFが開始されることに応じて例えば追尾枠91等の表示や所定のアイコン表示が行われるように表示制御を行う。
そしてステップS155でカメラ制御部30はフラグFtをオンとして、操作検知ループに戻る。
ステップS152の段階でフラグFafがオフの場合もある。即ちシャッターボタン110Sの半押しがされずにアサイナブルボタン110Cが押圧とされた場合である。
この場合、カメラ制御部30はステップS152からS160に進み、トラッキングモードをオンとする。トラッキングモードとは、AF対象の被写体を追尾するモードであるが、この時点ではAFが行われていないため、トラッキングAFは開始しない。従ってこの場合は、AFがなされた時点でその被写体の追尾を開始する状態になるということになる。
ステップS161でカメラ制御部30は、トラッキングモードとなったことに応じた表示制御を行う。例えば図6のフォーカスエリア78の表示を、トラッキングモードを示すアイコン(例えばアイコン78at,78bt,78ct,78dtのいずれか)に切り換える。
そしてステップS162でカメラ制御部30はフラグFtをオンとして、操作検知ループに戻る。
なお、このようにトラッキングモードとなった場合、その後にシャッターボタン110Sの半押しが行われることで、カメラ制御部30は図9のステップS110でトラッキングAFを開始することになる。
この第1の実施の形態では、アサイナブルボタン110Cが押されている期間は、トラッキングモードとされるが、従って、アサイナブルボタン110Cが押されている期間は、操作検知ループにおいて、ステップS150からステップS151に進むことになる。但しステップS151でフラグFtがオンであるのは、既にトラッキングモードとなっている場合であるので、そのままステップS170に進み、操作検知ループに戻ることになる。
アサイナブルボタン110Cが押されていないときや、追尾解除としてアサイナブルボタン110Cの操作(押圧)が終了されたとき以降は、カメラ制御部30はステップS170からステップS171に進み、フラグFtを確認する。
ここでフラグFtがオンであるということは、それまで押されていたアサイナブルボタン110Cの押圧が解除されたタイミングであるということになる。
その場合カメラ制御部30はステップS172に進み、フラグFafのオン/オフ、つまり、アサイナブルボタン110Cの押圧が終了されたときに、シャッターボタン110Sが半押しされているか、半押しされていないかにより処理を分岐する。
ステップS172でフラグFafがオンであるのは、追尾解除の時点までトラッキングAFが実行され、アサイナブルボタン110Cのみの操作が終了された場合である。
この場合、カメラ制御部30はステップS172からS173に進み、追尾処理を終了してトラッキングモードをオフとする。
AF動作は指示されたままであるため、カメラ制御部30はステップS174で、元のフォーカスエリア設定に従ってAF動作状態に戻す。
またカメラ制御部30はステップS175で、トラッキングモードの終了に応じて、例えば追尾枠91の表示を終了させたりアイコン表示の切換を行うなどの表示制御を行う。
そしてステップS176でカメラ制御部30はフラグFtをオフとして、操作検知ループに戻る。
つまりトラッキングAF動作から、元のフォーカスエリア設定に基づくAF動作に戻ることになる。
ステップS172の段階でフラグFafがオフの場合もある。即ちシャッターボタン110Sの半押しがされずにアサイナブルボタン110Cが押圧とされていた後、アサイナブルボタン110Cの押圧が終了された場合である。即ちステップS160の処理でトラッキングモードがオンとなっている場合である。
この場合、カメラ制御部30はステップS172からS180に進み、トラッキングモードをオフとする。そしてステップS181でカメラ制御部30は、トラッキングモードの終了に応じた表示制御を行う。例えば図6のフォーカスエリア78の表示を、トラッキングモードではないアイコン(例えばアイコン78a,78b,78c,78dのいずれか)に切り換える。
そしてステップS182でカメラ制御部30はフラグFtをオフとして、操作検知ループに戻る。
このアサイナブルボタン110Cの押圧されていない期間は、操作検知ループは毎回ステップS170からS171に進むことになるが、既に上記のようにトラッキングモードが解除された後は、ステップS171の時点でフラグFtがオフとなっている。
その場合は、ステップS171から操作検知ループに戻ることになる。
以上の図9,図10に示すようにカメラ制御部30がシャッターボタン110Sとアサイナブルボタン110Cに対応する処理を行うことで、図11のような各種パターンの操作に対応する動作が実行されることになる。
図11ではシャッターボタン110Sとアサイナブルボタン110Cの操作手順としてパターンP1,P2,P3,P4を示している。
各パターンはシャッターボタン110Sの「半押し」「半押し解除」、アサイナブルボタン110Cによる「追尾操作」「追尾解除」の操作の順番のバリエーションである。
パターンP1に該当する操作手順とそれによる撮像装置1の動作遷移の例を次の(a1)~(a10)として示し、その場合に図9,図10の処理において該当するステップを示す。
なお以下では操作過程でシャッターボタン110Sの全押し(レリーズ操作)も行われる例として示している。
(a1)半押し(手順1)が行われる。
(a2)AFが開始される(S104)。
(a3)追尾操作(手順2)が行われる。
(a4)合焦しているポイントから被写体追尾が開始される(S153)。
(a5)被写体追尾しながらAFがなされる(S153)。
(a6)レリーズ操作に応じて静止画撮像記録が行われる(S141)。
(a7)追尾解除(手順3)される
(a8)追尾終了かつトラッキングモード終了され、元のフォーカスエリア設定でAF継続される(S173、S174)。
(a9)半押し解除(手順4)される。
(a10)AF終了される(S130)。
パターンP2に該当する操作手順とそれによる撮像装置1の動作遷移は次の(b1)~(b10)のようになる。
(b1)半押し(手順1)が行われる。
(b2)AFが開始される(S104)。
(b3)追尾操作(手順2)が行われる。
(b4)合焦しているポイントから被写体追尾が開始される(S153)。
(b5)被写体追尾しながらAFがなされる(S153)。
(b6)レリーズ操作に応じて静止画撮像記録が行われる(S141)。
(b7)半押し解除(手順3)される
(b8)トラッキングAFが終了されるがトラッキングモードは維持される(S123)。
(b9)追尾解除(手順4)される。
(b10)トラッキングモードが終了される(S180)。
パターンP3に該当する操作手順とそれによる撮像装置1の動作遷移は次の(c1)~(c10)のようになる。
(c1)追尾操作(手順1)が行われる。
(c2)トラッキングモードが開始される(S160)。
(c3)半押し(手順2)が行われる。
(c4)合焦したのち被写体追尾が開始される(S110)。
(c5)被写体追尾しながらAFがなされる(S110)。
(c6)レリーズ操作に応じて静止画撮像記録が行われる(S141)。
(c7)半押し解除(手順3)される
(c8)トラッキングAFが終了されるがトラッキングモードは維持される(S123)。
(c9)追尾解除(手順4)される。
(c10)トラッキングモードが終了される(S180)。
パターンP4に該当する操作手順とそれによる撮像装置1の動作遷移は次の(d1)~(d10)のようになる。
(d1)追尾操作(手順1)が行われる。
(d2)トラッキングモードが開始される(S160)。
(d3)半押し(手順2)が行われる。
(d4)合焦したのち被写体追尾が開始される(S110)。
(d5)被写体追尾しながらAFがなされる(S110)。
(d6)レリーズ操作に応じて静止画撮像記録が行われる(S141)。
(d7)追尾解除(手順3)される。
(d8)追尾終了かつトラッキングモード終了され、元のフォーカスエリア設定でAF継続される(S173、S174)。
(d9)半押し解除(手順4)される。
(d10)AF終了される(S130)。
以上のパターンP1,P2,P3,P4は一例であるが、このように、シャッターボタン110Sの半押し、半押し解除、アサイナブルボタン110Cによる追尾操作、追尾解除により、ユーザは状況に応じてAFと追尾を柔軟に開始/終了させることができる。
続いて、フォーカス枠90、追尾枠91や、フォーカスエリア78としてのアイコン表示の例を説明する。
図12A、図12B、図12Cは、例えば上記パターンP1における手順で、まず半押しによりAFが行われているとき(a2)、次に追尾操作によりトラッキングAFが行われているとき(a5)、次に追尾解除がされてAFがされているとき(a8)のそれぞれのフォーカス枠90、追尾枠91、フォーカスエリア78のアイコンの様子を示している。
シャッターボタン110Sの半押しにより、表示部15には図12Aのようにフォーカス枠90が表示され、このフォーカス枠90の被写体に対してAFが行われることが提示される。例えばフォーカスエリア設定が「中央」である場合、図示のようにモニタ画面の中央にフォーカス枠90が表示される。
フォーカスエリア78の表示としては、AF動作のフォーカスエリア設定に応じたアイコン78Xが表示される。
なおアイコン78Xとは、例えば図8のアイコン78a,78b,78c,78dのようにトラッキングモードではないときに表示されるアイコンとする。
トラッキングAFが開始された後は、図12Bのようにフォーカス枠90は消去され、代わって追尾枠91が、追尾しているターゲットの被写体の位置に表示される。この追尾枠91はターゲットの被写体の画面内の位置変化に応じて変化される。そしてAFは追尾枠91の被写体に対して行われることも示している。
フォーカスエリア78の表示としては、トラッキングモードに応じたアイコン78Yが表示される。
なおアイコン78Yとは、例えば図8のアイコン78at,78bt,78ct,78dtのようにトラッキングモードのときに表示されるアイコンとする。
その後、追尾解除されると、通常のAFに戻るが、図12Cのようにフォーカス枠90が再び表示される。このフォーカス枠90は、元のフォーカスエリア設定に応じて表示される。例えばトラッキングAFの開始前にフォーカスエリア設定が「中央」であった場合、図示のようにモニタ画面の中央にフォーカス枠90が表示される。
つまりユーザにとっては、それまで追尾枠91が被写体に応じて位置を変化させていた状態から、アサイナブルボタン110Cをオフとすることで、元の半押しのみのAF状態に戻ったことが認識されるものとなる。
フォーカスエリア78の表示も、AF動作のフォーカスエリア設定に応じたアイコン78Xに戻る。
また図13A、図13B、図13Cも同様に上記パターンP1における手順で操作がおこなわれたときを例に挙げてフォーカス枠90、追尾枠91、フォーカスエリア78のアイコンの様子を示している。これは例えばフォーカスエリア設定がフレキシブルスポットとされ、フォーカス枠90が中央以外の位置にあるときに追尾操作が行われた場合である。
シャッターボタン110Sの半押しによりAFがされている場合として、図13Aのようにモニタ画面の中央以外の位置にフォーカス枠90が表示されるとする。
フォーカスエリア78の表示としては、AF動作のフォーカスエリア設定に応じたアイコン78Xが表示される。
トラッキングAFが開始された後は、図13Bのようにフォーカス枠90は消去され、代わって追尾枠91が、追尾しているターゲットの被写体の位置に表示される。
フォーカスエリア78の表示としては、トラッキングモードに応じたアイコン78Yが表示される。
その後、追尾解除されると、通常のAFに戻るが、図13Cのようにフォーカス枠90が再び元の位置(トラッキングAF開始前の位置)に表示される。
フォーカスエリア78の表示はアイコン78Xに戻る。
以上の図12A、図12B、図12Cや、図13A、図13B、図13Cで例示した表示の遷移によっては、ユーザにとってトラッキングAFを終了させたときに、トラッキングAF開始前の元のフォーカスエリア設定に戻ったことが認識し易く、追尾終了後に次の撮像に移行し易いとうい利点がある。
次に図14A、図14B、図14Cは、フォーカス枠90の表示を継続する例を示している。ここではフォーカスエリア設定が「中央」である場合の例で示している。
シャッターボタン110Sの半押しによりAFがされている場合として、図14Aのようにフォーカス枠90が表示されているとする。フォーカスエリア78の表示はアイコン78Xとされている。
トラッキングAFが開始された後は、図14Bのように、追尾枠91が追尾しているターゲットの被写体の位置に表示されるが、この場合、フォーカス枠90は元の位置(トラッキングAF開始前の位置)に表示されたままとしている。フォーカスエリア78の表示はアイコン78Yに切り換えられる。
その後、追尾解除されると、図14Cのように通常のAFに戻る。つまり追尾枠91の表示はなくなる。フォーカス枠90はそのまま表示が継続されている。フォーカスエリア78の表示はアイコン78Xに戻る。
この図14A、図14B、図14Cのような表示を行う場合、ユーザは追尾中も元のフォーカス枠90を認識できる。このため、追尾解除をした場合でも、即座に次の撮像対象に備えることができる。
次に図15A、図15B、図15Cは、トラッキングAFを終えたときには、一旦フォーカス枠90を固定位置に戻すようにする例である。ここでは固定位置を画面中央とする。
シャッターボタン110Sの半押しによりAFがされている場合として、図15Aのように例えばフレキシブルスポットとしてのフォーカスエリア設定によるフォーカス枠90が表示されているとする。フォーカスエリア78の表示はアイコン78Xとされている。
トラッキングAFが開始された後は、図15Bのようにフォーカス枠90は消去され、追尾枠91が追尾しているターゲットの被写体の位置に表示される。フォーカスエリア78の表示はアイコン78Yに切り換えられる。
その後、追尾解除されると、図15Cのように、追尾枠91は消去されフォーカス枠90が表示されるが、そのフォーカス枠90は固定位置として設定された画面中央に表示される。つまり上記の図12,図13のようなトラッキングAF開始前の元の位置ではない。フォーカスエリア78の表示はアイコン78Xに戻る。
この図15A、図15B、図15Cのような表示を行う場合、追尾解除をしたときにはフォーカス枠90が必ず中央等の固定位置に戻るため、これを認識しておくことで、次の撮像対象に備えやすいことになる。
なお、固定位置は中央に限らず、例えば中央やや右、中央やや左などの他の位置でもよいし、ユーザが任意に指定する位置などとしてもよい。
以上の例において図12A,図13A,図14A,図15Aの表示制御、即ちシャッターボタン110Sの半押しが行われたときのフォーカス枠90等の表示は、図9のステップS105の処理によるものとなる。
また図12B,図13B,図14B,図15Bの表示制御、即ちトラッキングAF開始後の追尾枠91等の表示は、図10のステップS154の処理によるものとなる。なお図9のステップS111の処理が行われる場合も同様となる。
また図12C,図13C,図14C,図15Cの表示制御、即ちトラッキングAF終了後でAF実行時の表示は、図10のステップS175の処理によるものとなる。
これら以外では、シャッターボタン110Sの半押しが解除され、アサイナブルボタン110Cが押されているという状態、即ちAFがオフでトラッキングモードが維持されている場合があるが、その場合は図9のステップS124又は図10のステップS161でトラッキングモード表示が行われる。例えばフォーカスエリア78にトラッキングモードのアイコン78at,78bt,78ct,78dtのいずれかが表示される。この場合、フォーカス枠90や追尾枠91は表示されないことが考えられる、一方又は両方が表示されるようにしてもよい。
またシャッターボタン110Sの半押しが解除され、かつアサイナブルボタン110Cでも追尾解除とされているときは、図9のステップS131又は図10のステップS181の処理でフォーカス枠90や追尾枠91は表示されない状態となる。フォーカスエリア78の表示は、その時点のフォーカスエリア設定に応じたアイコン78Xとされる。またこのような場合でもフォーカス枠90が継続して表示されるようにしてもよい。
<3.第2の実施の形態>
第2の実施の形態の処理及び表示例を図16,図17で説明する。
この第2の実施の形態は、上記の図12,図13,図14,図15のようなフォーカス枠90の表示に関するさらに他の例である。
なおカメラ制御部30の処理例として図16を示すが、これは上記図9に続く処理として図10に代えるものとしている。つまり図9,図16で示される処理が第2の実施の形態の処理例となる。
また図16において、図10と同じ処理については同じステップ番号を付して説明を省略する。異なる点は、図10のステップS174が図16ではステップS174Aとしていることである。
ステップS174Aは、アサイナブルボタン110Cで追尾解除としてトラッキングAFを終了させるが、シャッターボタン110Sの半押しは継続しているときの表示制御を示している。
この場合、カメラ制御部30は、追尾終了位置をフォーカスエリアに設定してAFを行うようにする。即ちカメラ制御部30は、それまで追尾枠91が表示されていた位置にフォーカス枠90を表示させ、そのフォーカス枠90の被写体を対象としてAF制御を行う。
図17A、図17B、図17Cに表示例を示す。
シャッターボタン110Sの半押しによりAFがされている場合として、図17Aのようにフォーカス枠90が表示されているとする。フォーカスエリア78の表示はアイコン78Xとされている。
トラッキングAFが開始された後は、図17Bのようにフォーカス枠90は消去され、追尾枠91が追尾しているターゲットの被写体の位置に表示される。フォーカスエリア78の表示はアイコン78Yに切り換えられる。
その後、追尾解除されると、図17Cのように、追尾枠91は消去されフォーカス枠90が表示されるが、そのフォーカス枠90は追尾を終了したときの位置、つまり追尾終了時点で追尾枠91が表示されていた位置としている。
フォーカスエリア78の表示はアイコン78Xに戻る。
この図17A、図17B、図17Cのような表示を行う場合、追尾解除をしたときにはフォーカス枠90がその追尾位置を維持するため、ユーザはこれを認識しておくことで、次の撮像対象に備えやすいことになる。
またモニタ画面上でフォーカス枠90を移動させたいときにも利用できる。追尾終了位置で新たにAFをかけることができるためである。
<4.第3の実施の形態>
第3の実施の形態としてのカメラ制御部30の処理例を図18で説明する。図18は上記図9に続く処理として図10に代えるものである。つまり図9,図18で示される処理が第3の実施の形態の処理例となる。
また図18において、図10と同じ処理については同じステップ番号を付して説明を省略する。
第3の実施の形態は、アサイナブルボタン110Cトグル操作方式のボタンとする例である。即ち、アサイナブルボタン110Cを単押しとして1回押圧すると追尾操作となり、もう1回押圧すると追尾解除となる例である。
図9の処理から続く図18では、カメラ制御部30は、操作検知ループにおけるステップS150Aとして、アサイナブルボタン110Cの操作があったか否かを確認する。これはいわゆる単押しとしての1回の操作を認識する処理である。
アサイナブルボタン110Cの単押しを検知した場合、カメラ制御部30はステップS151Aに進み、フラグFtがオンであるか否かを確認する。つまり、その時点までトラッキングモードであったか否かの確認である。
その時点までトラッキングモードではなければ、カメラ制御部30は、検知したアサイナブルボタン110Cの操作を、ユーザが追尾操作としておこなったものと判定する。
この場合、カメラ制御部30はステップS152に進み、フラグFafがオンであるか否かを確認し、オンであれば、シャッターボタン110Sの半押しも行われているので、ステップS153,S154,S155の処理を行う。つまりトラッキングAFを開始し、トラッキングAFに応じた表示制御を開始し、フラグFtをオンとする。
一方ステップS152でフラグFtがオンでなければ、シャッターボタン110Sの半押しはされていないため、カメラ制御部30はステップS160,S161,S162の処理を行う。つまりトラッキングモードとし、トラッキングモードの表示を開始し、フラグFtをオンとする。
アサイナブルボタン110Cの操作が検知され、ステップS151AでフラグFtがオンであると判定される場合とは、それまでトラッキングAFが行われているか、もしくはトラッキングモードとなっている場合である。
そこでカメラ制御部30はステップS172Aに進み、フラグFafがオンであるか否かを確認する。
フラグFafがオンであれば、それまでトラッキングAFを行っていた状態から追尾解除を検知した場合となるため、カメラ制御部30はステップS173,S174,S175,S176の処理を行う。つまりトラッキングAFを終了し、トラッキングモードもオフとし、元のフォーカスエリア設定でのAF制御に切り換え、それに応じた表示制御を開始し、フラグFtをオフとする。
一方、フラグFafがオフであれば、それまでAFは行われておらずトラッキングモードとなっていた状態から追尾解除の操作を検知した場合となるため、カメラ制御部30はステップS180,S181,S182の処理を行う。つまりトラッキングモードもオフとし、それに応じた表示制御を開始し、フラグFtをオフとする。
以上の処理により、アサイナブルボタン110Cのトグル操作により、追尾操作、追尾解除が順次行われるようにしてもよい。
<5.まとめ及び変形例>
以上の実施の形態によれば次のような効果が得られる。
実施の形態の撮像装置1は、AF操作(第1操作)として例えばシャッターボタン110Sの半押しを検知することに応じてAF制御を実行するAF制御部52と、半押しに応じてAF制御がされている状態において、シャッターボタン110Sとは異なる操作子である例えばアサイナブルボタン110Cを用いた追尾操作(第2操作)を検知することに応じて、フォーカス対象の被写体の追尾処理を行う追尾処理部62を備えている。
このような撮像装置1では、AF制御を開始するタイミングと、追尾処理を開始するタイミングをユーザの意思でコントロールできるようになる。そして撮像する対象や状況に応じた適切な操作を行うことで、望ましい撮像やシャッターチャンスを逃さない撮像などができる可能性を広げることができる。
特にシャッターボタン110Sとアサイナブルボタン110C(又は120C)の操作により、AF対象を追尾対象としてトラッキングAFが行われることで、AFと追尾を異なる操作によるものとしつつ、ターゲットとする被写体を共通とするトラッキングAF動作を実行させることにもなり、良好な操作性を提供できる。
追尾処理は、或る被写体にフォーカスオンとなってから、その被写体をターゲットとして行われるため、例えばAF制御と追尾処理が同時に開始されてしまうと、フォーカスオンが困難な被写体を目標とする場合(例えば遠い被写体、小さい被写体など)、目的としていない被写体にフォーカスオンされて追尾動作が発動されてしまい易い。
例えば上述した遠くから近づいてくるマラソンランナーのように、遠くから近づいてくる被写体を撮像するような場合に、被写体が遠くに居る状態でAF制御及び追尾処理を開始しても、追尾のための画像としては被写体以外のものも含んでしまいやすい。その場合、被写体が近づいてくると、撮像者が追尾したかったものから徐々に追尾枠91がずれていくといったようなことが起きてしまう。
このようなことから、AF制御と追尾処理が1つの操作で行われてしまうと、目的の被写体へのフォーカス制御や追尾が適切にできない状況が発生しやすく、するとその間は目標の被写体にピントの合った撮像ができなかったり、これによりシャッターチャンスを逃すといったことが生じ易くなる。
実施の形態の処理によれば、撮像者はまず半押し操作によりAF動作を開始させ、目標の被写体に対してフォーカスオンし、適切なタイミングを選んで追尾操作によりトラッキングAFを開始させることができる。これにより、適切に目標の被写体をとらえやすくなり、望ましい撮像画像が得られやすくなる。つまり追尾を利用した撮像装置1による高度な撮像が成功しやすくなるようにできるという効果がある。
精度の高い被写体追尾を行うことで、連写撮像において、ピントが合った写真が沢山撮れることにもなる。即ちAFを行った状態で被写体が大きくなってから、ある部位を狙って追尾を開始することで、当該部位にピントがあった連写撮像画像が撮れやすくなる。
また、フルサイズイメージセンサを搭載したカメラなどにおいて、絞り値の明るい望遠レンズを使っていると、被写界深度が浅いため、このような状況では、AFをしてピントを合わせ続けないと、被写体がボケてフレーミングを行えない。このためシャッターボタン110Sの半押しをしてAFしながらフレーミングするのが普通だが、このような機種でも特に、AF操作によって同時に被写体追尾が始まることがない点は好適となる。
また撮像装置1は、AF操作を行うための第1の操作子と、追尾操作を行うための第2の操作子とを備えたものとした。即ち、AF操作はシャッターボタン110Sの半押しにより行われ、またアサイナブルボタン110C(又は120C)の操作により追尾指示が行われるが、このように操作子をそれぞれ設けることで、操作が明確になり、使用性が向上する。
なお変形例として、AF操作の操作子(例えば、シャッターボタン110S)とは違う別のボタン(例えば、レンズについているフォーカスホールドボタン)として、被写体追尾かつAF開始機能が割り当てられた操作子を設けることも考えられる。
またフットスイッチやリモートコントローラなどとしての操作子に追尾操作機能を割り当てることも考えられる。
また第1の操作子と第2の操作子は、ボタン、レバー、ダイヤル等によるものに限らず、タッチパネル、タッチパッドなども、第1の操作子や第2の操作子とする例も考えられる。また、ユーザのジェスチャ操作や音声装置を検知する撮像部、センサ部、マイクロフォンなども第1の操作子や第2の操作子として用いることも考えられる。
また静止画撮像を想定して説明したが、実施の形態の技術は動画撮像の場合にも適用できる。
実施の形態では半押しに応じてAF制御がされている状態において追尾操作により追尾処理が行われることに応じて、カメラ制御部30(AF制御部52)は追尾対象の被写体へのフォーカス制御を行うようにした(図10のステップS153)。
AF制御を、エリアを対象とする状態からトラッキングAFとして追尾対象の被写体をフォーカス対象とする状態とすることで、追尾対象の撮像に適した状態とすることができる。つまりユーザにとっては、半押し操作と追尾操作(アサイナブルボタン110C又は120Cの操作)を行いながらチャンスを待ち、シャッター操作を行うことで容易に品質のよい撮像を行うことができるようになる。
実施の形態では、半押しに応じてAF制御が行われ、追尾処理が行われていない第1状態にあるときと、半押しと追尾操作に応じて追尾処理及び追尾対象の被写体へのフォーカス制御(トラッキングAF)が行われている第2状態にあるときとで、表示部における動作状態を示す表示が変更されるように制御するものとした。具体的にはカメラ制御部30(表示制御部55)は、AF制御のみを行っている期間と、追尾及びトラッキングAFを行っている期間とでフォーカスエリア78の表示のアイコンを、アイコン78Xとアイコン78Yで切り換えるものとした(図12,図13,図14,図15,図17参照)。
これによりユーザは、AF制御が行われて追尾が行われていない状態と、追尾及び追尾対象の被写体にAF制御が行われているトラッキングAF中の状態を、表示から把握することができ、操作に応じた動作状態が理解しやすいものとなる。
実施の形態では、例えば表示パネル101、ビューファインダー102、或いは外部表示装置などの表示部15にAF制御に応じたフォーカス枠90や、追尾動作に応じた追尾枠91を表示させる。即ち表示部15の表示動作を制御するカメラ制御部30(表示制御部55)は、半押しに応じてAF制御が行われ、追尾処理が行われていない第1状態にあるときは、フォーカス実行領域を示すフォーカス枠90が所定位置に表示されるようにした。またさらに追尾操作に応じて追尾処理及び追尾対象の被写体へのフォーカス制御が行われている第2状態であるときは、追尾対象の被写体画像の位置に追尾枠91が表示させるものとした(図12,図13,図14,図15,図17参照)。
これにより第1操作(シャッターボタン110Sの半押し)と第2操作(アサイナブルボタン110Cの操作)による動作状態をユーザが理解しやすいものとなる。
第1の実施の形態では、図14のように、トラッキングAFを行っている第2状態であるときは、直前の第1状態におけるフォーカス枠90の表示が維持されながら追尾枠91が表示されるように表示部15の表示動作を制御する例を示した。
追尾解除されると元のAF制御に戻るが、元のフォーカス枠90を表示したままとしておくことで、ユーザはその戻ったときのAFエリアをトラッキングAF中に把握しておくことができる。従って追尾が途切れたような場合でもユーザは容易に対処できるようになる。
第1の実施の形態では、トラッキングAFを行っている第2状態から、追尾せずにAF制御を行っている第1状態に移行した際に、カメラ制御部30(AF制御部52)は直前の第2状態での追尾動作の開始前のAF制御を開始し、カメラ制御部30(表示制御部55)は追尾枠91の表示を終了させるとともにフォーカス枠90が追尾開始前の状態で表示されるようにする例を述べた。
例えば図12,図13に示したように、トラッキングAFを行っている期間ではフォーカス枠90が消されて追尾枠91が表示され、その後追尾を終了させると、元の状態でフォーカス枠90を表示させる。
これにより追尾操作のみを解除したとき(連続操作でアサイナブルボタン110Cをオフしたときや、トグル操作でアサイナブルボタン110Cを再度押圧したとき)に、AF動作が継続していることをユーザが把握でき、また元の位置にフォーカス枠90が表示されることで、追尾前のフォーカスエリア設定でAF動作が行われることを的確に認識でき、その後の操作に有用となる。
例えば追尾対象の被写体がフレームアウトしたり、フォーカス外れなどにより追尾が適正に行われていない状態となってしまった場合、アサイナブルボタン110Cによる追尾操作を解除すれば、元のAF状態に戻ることになる。これは追尾が不適切な状態から容易に復帰できることを意味する。例えば追尾しながら連写撮像を行っていた場合、追尾が外れると、フォーカス状態が不適切なボケた画像が撮像記録されてしまうが、元のAF状態に戻ることで、元のAF状態で連写を続けることができる。これにより追尾が外れても撮像機会を逃さずに撮像を続けることができる可能性を高める。
第2の実施の形態では、トラッキングAFを行っている第2状態から、追尾せずにAF制御を行っている第1状態に移行した際に、カメラ制御部30(AF制御部52)は追尾終了時の追尾枠91の位置に基づいた領域に対してAF制御を開始し、またカメラ制御部30(表示制御部55)は、追尾枠91の表示を終了させるとともに、追尾終了時の追尾枠91の位置にフォーカス枠90が表示されるようにする例を述べた。
例えば図16、図17で説明したように、トラッキングAFを終了させるが、まだシャッターボタン110Sの半押しが継続しているときには、その追尾の最終位置においてAF制御が行われるようにする。
これによりユーザは、追尾枠91により注目していた領域でそのままAF制御が行われるため、フォーカス状態を把握し易く、続く撮像操作に有用となる。
またこれは、AF制御領域を変更したい場合に応用できる操作をユーザに提供することにもなる。
例えばユーザは、シャッターボタン110Sの半押しで目的の被写体にAF制御をおこなわせた後に、アサイナブルボタン110C等で追尾操作を行って追尾及びトラッキングAFを開始させた状態で撮像装置1をパンすると、画面上で目的の被写体の位置が移動するとともに、AF領域も移動することになる。その状態で追尾操作を解除すると、移動後の位置でAF制御が行われる状態となる。これは、画像上で任意の位置でAF制御を行わせたい場合に非常に便利な手法となる。
第1の実施の形態では、第2状態から第1状態に移行した際に、カメラ制御部30(AF制御部52)は、撮像画像の固定領域を対象とするAF制御を開始し、またカメラ制御部30(表示制御部55)は、追尾枠91の表示を終了させるとともに、フォーカス枠90が撮像画像の固定領域に表示されるようにする例を述べた。
例えば図15で示したように、元々フォーカスエリア設定が中央領域でなかったとしても、追尾のみを終了させたときに、フォーカスエリア設定を中央とした状態でAF制御を開始するとともにフォーカス枠90を表示させる。
これにより追尾解除の操作をして追尾を終了させたときにフォーカスオンとされる位置が常に一定となる。従ってユーザにとってトラッキングAFを解除したときのフォーカスエリアがわかりやすくなり、続く撮像がやりやすくなる。
またこれによっても、追尾が外れたときに撮像機会を逃さずに撮像を続けることができる可能性を高めることができる。追尾が外れて追尾をやめたときに、フォーカスエリアが直ぐに理解でき、また少なくとも画像中央でピントが合った状態になるためである。
なお、固定領域は必ずしも撮像画像の中央(フレームの中央)でなくてもよい。例えばユーザが固定領域を選択し、その追尾終了時にはそのユーザ設定の固定領域においてAF制御が行われるようにすることも考えられる。
またこのようにAF制御領域を中央などの固定領域に戻すのは、トラッキングAFから追尾解除したときのみとすることも考えられる。例えば通常はワイド、ゾーン、フレキシブルスポットなどとしてフォーカスエリア設定をしていた場合、固定領域に戻った後にシャッターボタン110Sの半押しを解除して、その後再び半押したときは、フォーカスエリア設定に基づくAF制御を行うようにすることが考えられる。このようにすることで、追尾及びトラッキングAFを止めても半押しが解除されていないときのみ、例えば中央でAF制御が行われるということにし、動作をわかりやすくできるとともに、ユーザのフォーカスエリア設定を生かすことができる。
実施の形態では、半押しが検知されずに追尾操作が検知されたことに応じて、AF制御におけるフォーカスエリア設定が、追尾対象被写体を対象とする設定とされる例とした。追尾対象被写体を対象とするフォーカスエリア設定とは、追尾対象被写体の位置に合わせてAF制御対象を移動させていく設定である。即ち追尾操作のみでトラッキングモードになるものとした。
図11のパターンP3,P4では、シャッターボタン110Sの半押しが行われずにアサイナブルボタン110Cの操作が行われた場合を例示した。これは半押しが検知されずに追尾操作が検知された場合となるが、この場合、フォーカスエリア設定が、追尾対象被写体の位置に合わせてオートフォーカス制御対象を移動させていくトラッキングAFの設定となるようにしている。これによりシャッターボタン110Sの半押しを行う前に予めトラッキングAFの設定操作を行うことができる。
実施の形態では、カメラ制御部30(表示制御部55)は、半押しが検知されずに追尾操作が検知されてAF制御におけるフォーカスエリア設定が追尾対象被写体を対象とする設定(つまりトラッキングモード)とされたことに応じた表示を実行させるものとした。
例えばシャッターボタン110Sの半押しが行われずにアサイナブルボタン110Cの操作が行われた場合、図7のようトラッキングモードを示すフォーカスエリアアイコン78atが表示されるようにする。これによりアサイナブルボタン110Cの操作のみでフォーカスエリア設定が変化されることをユーザに認識させることができる。
実施の形態では、半押しが検知されずに追尾操作が検知され、当該追尾操作後に半押しが検知された場合、カメラ制御部30(追尾処理部62)は、フォーカス対象の被写体の追尾処理を行い、またカメラ制御部30(AF制御部52)は、追尾対象の被写体を対象とするAF制御(つまりトラッキングAF)を行う。
図11のパターンP3,P4では、シャッターボタン110Sの半押しが行われずにアサイナブルボタン110Cの操作が行われ、その後半押しが行われた場合を例示した。この場合、半押しにより、半押しと追尾操作の両方が行われる状態となることに応じて、トラッキングAFを開始する。
これにより、順序にかかわらず、半押しと追尾操作の両方の操作でトラッキングAFが行われるため、ユーザが操作の混乱を感じることがなく操作性のよいものとすることができる。
実施の形態では、半押しと追尾操作に応じてトラッキングAFが行われている状態において、半押しの解除が検知された場合、追尾処理及びAF制御(トラッキングAF)は終了され、 AF制御におけるフォーカスエリア設定は追尾対象被写体を対象とする設定に維持されることとした。
図11のパターンP2,P3では、トラッキングAFの実行中にシャッターボタン110Sの半押しのみが解除されたときには、フォーカスエリア設定がトラッキングモードのままであるとする例を述べた。即ちアサイナブルボタン110C又は120Cによる追尾操作は行われている状態を想定しているため、トラッキングモードを維持する。これによりユーザは追尾操作を行う場合はフォーカスエリア設定が常にトラッキングモードと理解することができ、操作に混乱を感じることがなく、操作性のよいものとすることができる。
第1,第2の実施の形態では、追尾操作は、追尾操作のための操作子であるアサイナブルボタン110C又は120Cの継続操作として行われ、該継続操作の終了により追尾解除となる例を挙げた。
第1、第2の実施の形態では、アサイナブルボタン110C又は120Cが押されている間、トラッキングAFが実行される。アサイナブルボタン110C又は120Cをオフとすることで、追尾が終了される。このように1つの操作子で継続操作の間、追尾及びトラッキングAFを行い、継続操作を止めることで追尾を止めるようにすることで、ユーザにわかりやすい操作手法を提供できる。
第3の実施の形態では、追尾操作は、追尾操作のための操作子であるアサイナブルボタン110Cの単発操作として行われ、当該操作子の再度の単発操作により追尾解除となる例を述べた。即ち操作子としてのボタンのトグル操作として追尾のオン/オフがおこなわれるようにする。
このように1つの操作子でトグル操作としてトラッキングAFの開始と追尾の終了を可能とすることで、ユーザにわかりやすい操作手法を提供できる。
実施の形態では、レンズ鏡筒2Bに第2の操作子となるアサイナブルボタン120Cを備えるようにした。これにより、レンズ交換をした際に追尾操作を左手で操作し易い状態にすることができる。
特に重量のあるレンズ鏡筒2Bを撮像装置1に装着した場合、ユーザはレンズ鏡筒2Bを左手で支える状態となるが、アサイナブルボタン120Cは、図3の例のように、その支えている左手で操作できる位置とすることで、操作性のよいものとすることができる。
実施の形態では、追尾操作としての操作機能が選択的に設定可能なアサイナブルボタンが設けられている例を述べた。つまり追尾操作を行う第2の操作子としてユーザが任意に設定可能なアサイナブルボタン110C、120Cを用いるようにした。
これにより追尾操作のための設定をユーザが任意に行うことができ、使用の自由度が広がる。
アサイナブルボタンが複数設けられる場合は、どのアサイナブルボタンを追尾ボタンとするかをユーザが選択でき、自分の使用態様に合わせることができる。また追尾ボタンを使用しないといった選択も可能となる。
実施の形態では、AF操作のための第1の操作子はシャッターボタンとされ、該シャッターボタンの半押しがAF操作とされるものとした。
つまりシャッターボタン110Sの半押しによりAF制御が行われるが追尾は別の操作子の操作にゆだねられる。半押しによりAF制御が行われること自体はよく行われているが、本実施の形態の場合、半押しのみによっては追尾が行われないことを意味するものとなる。これによりAF後のシャッター操作(全押し)が容易となることに加えて、意図しない追尾が行われないようにすることができる。
実施の形態では、追尾操作のための第2の操作子は、第1の操作子の操作中に操作が可能な位置に設けられているものとした。
例えばシャッターボタン110Sとアサイナブルボタン110Cは、片手で両方がそれぞれ操作可能とされている。例えば右手の人差し指でシャッターボタン110Sを操作しながら親指でアサイナブルボタン110Cを操作できる。
また例えば右手の人差し指でシャッターボタン110Sを操作しながら左手の親指でアサイナブルボタン120Cを操作できる。
このようにボタン配置を設定することで、フォーカス操作、追尾操作のそれぞれの操作性を向上させることができる。
特に第1、第2の実施の形態では、シャッターボタン110Sの半押しとアサイナブルボタン110C(120C)の継続押しを同時に行うものとしているが、この場合に、実施の形態のような適切なボタン配置により操作が容易となる。
なお実施の形態では、アサイナブルボタン110Cを第2の操作子としているが、もちろんアサイナブルではない専用の追尾ボタンを設けてもよい。その場合も追尾ボタンは、第1の操作子(例えばシャッターボタン110S)の操作中に操作が可能な位置に設けられることが好適となる。
<6.応用例>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
図19は、本開示に係る技術が適用され得る手術室システム5100の全体構成を概略的に示す図である。図19を参照すると、手術室システム5100は、手術室内に設置される装置群が視聴覚コントローラ(AV Controller)5107及び手術室制御装置5109を介して互いに連携可能に接続されることにより構成される。
手術室には、様々な装置が設置され得る。図19では、一例として、内視鏡下手術のための各種の装置群5101と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ5187と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ5189と、複数の表示装置5103A~5103Dと、レコーダ5105と、患者ベッド5183と、照明5191と、を図示している。
ここで、これらの装置のうち、装置群5101は、後述する内視鏡手術システム5113に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム5113に属する各装置は医療用機器とも呼称される。一方、表示装置5103A~5103D、レコーダ5105、患者ベッド5183及び照明5191は、内視鏡手術システム5113とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム5113に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ5107及び/又は手術室制御装置5109は、これら医療機器及び非医療機器の動作を互いに連携して制御する。
視聴覚コントローラ5107は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム5100が備える装置のうち、装置群5101、シーリングカメラ5187及び術場カメラ5189は、手術中に表示すべき情報(以下、表示情報ともいう)を発信する機能を有する装置(以下、発信元の装置とも呼称する)であり得る。また、表示装置5103A~5103Dは、表示情報が出力される装置(以下、出力先の装置とも呼称する)であり得る。また、レコーダ5105は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ5107は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報(例えば、患者の身体情報や、過去の検査結果、術式についての情報等)等である。
具体的には、視聴覚コントローラ5107には、装置群5101から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ5187から、表示情報として、当該シーリングカメラ5187によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ5189から、表示情報として、当該術場カメラ5189によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム5100に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ5107は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
あるいは、例えば、レコーダ5105には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ5107によって記録されている。視聴覚コントローラ5107は、表示情報として、レコーダ5105から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ5105には、手術に関する各種の情報も事前に記録されていてもよい。
視聴覚コントローラ5107は、出力先の装置である表示装置5103A~5103Dの少なくともいずれかに、取得した表示情報(すなわち、手術中に撮影された画像や、手術に関する各種の情報)を表示させる。図示する例では、表示装置5103Aは手術室の天井から吊り下げられて設置される表示装置であり、表示装置5103Bは手術室の壁面に設置される表示装置であり、表示装置5103Cは手術室内の机上に設置される表示装置であり、表示装置5103Dは表示機能を有するモバイル機器(例えば、タブレットPC(Personal Computer))である。
また、図19では図示を省略しているが、手術室システム5100には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるPC、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ5107は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
手術室制御装置5109は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置5109は、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191の駆動を制御する。
手術室システム5100には、集中操作パネル5111が設けられており、ユーザは、当該集中操作パネル5111を介して、視聴覚コントローラ5107に対して画像表示についての指示を与えたり、手術室制御装置5109に対して非医療機器の動作についての指示を与えることができる。集中操作パネル5111は、表示装置の表示面上にタッチパネルが設けられて構成される。
図20は、集中操作パネル5111における操作画面の表示例を示す図である。図20では、一例として、手術室システム5100に、出力先の装置として、2つの表示装置が設けられている場合に対応する操作画面を示している。図20を参照すると、操作画面5193には、発信元選択領域5195と、プレビュー領域5197と、コントロール領域5201と、が設けられる。
発信元選択領域5195には、手術室システム5100に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域5195に表示されているいずれかの発信元装置から選択することができる。
プレビュー領域5197には、出力先の装置である2つの表示装置(Monitor1、Monitor2)に表示される画面のプレビューが表示される。図示する例では、1つの表示装置において4つの画像がPinP表示されている。当該4つの画像は、発信元選択領域5195において選択された発信元装置から発信された表示情報に対応するものである。4つの画像のうち、1つはメイン画像として比較的大きく表示され、残りの3つはサブ画像として比較的小さく表示される。ユーザは、4つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、4つの画像が表示される領域の下部には、ステータス表示領域5199が設けられており、当該領域に手術に関するステータス(例えば、手術の経過時間や、患者の身体情報等)が適宜表示され得る。
コントロール領域5201には、発信元の装置に対して操作を行うためのGUI(Graphical User Interface)部品が表示される発信元操作領域5203と、出力先の装置に対して操作を行うためのGUI部品が表示される出力先操作領域5205と、が設けられる。図示する例では、発信元操作領域5203には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作(パン、チルト及びズーム)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域5195において選択されている発信元の装置がレコーダである場合(すなわち、プレビュー領域5197において、レコーダに過去に記録された画像が表示されている場合)には、発信元操作領域5203には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのGUI部品が設けられ得る。
また、出力先操作領域5205には、出力先の装置である表示装置における表示に対する各種の操作(スワップ、フリップ、色調整、コントラスト調整、2D表示と3D表示の切り替え)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、表示装置における表示を操作することができる。
なお、集中操作パネル5111に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル5111を介して、手術室システム5100に備えられる、視聴覚コントローラ5107及び手術室制御装置5109によって制御され得る各装置に対する操作入力が可能であってよい。
図21は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ5187及び術場カメラ5189は、手術室の天井に設けられ、患者ベッド5183上の患者5185の患部に対して処置を行う術者(医者)5181の手元及び手術室全体の様子を撮影可能である。シーリングカメラ5187及び術場カメラ5189には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明5191は、手術室の天井に設けられ、少なくとも術者5181の手元を照射する。照明5191は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能であってよい。
内視鏡手術システム5113、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191は、図19に示すように、視聴覚コントローラ5107及び手術室制御装置5109(図21では図示せず)を介して互いに連携可能に接続されている。手術室内には、集中操作パネル5111が設けられており、上述したように、ユーザは、当該集中操作パネル5111を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
以下、内視鏡手術システム5113の構成について詳細に説明する。図示するように、内視鏡手術システム5113は、内視鏡5115と、その他の術具5131と、内視鏡5115を支持する支持アーム装置5141と、内視鏡下手術のための各種の装置が搭載されたカート5151と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5139a~5139dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5139a~5139dから、内視鏡5115の鏡筒5117や、その他の術具5131が患者5185の体腔内に挿入される。図示する例では、その他の術具5131として、気腹チューブ5133、エネルギー処置具5135及び鉗子5137が、患者5185の体腔内に挿入されている。また、エネルギー処置具5135は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5131はあくまで一例であり、術具5131としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡5115によって撮影された患者5185の体腔内の術部の画像が、表示装置5155に表示される。術者5181は、表示装置5155に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5135や鉗子5137を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5133、エネルギー処置具5135及び鉗子5137は、手術中に、術者5181又は助手等によって支持される。
(支持アーム装置)
支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。
(内視鏡)
内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。
鏡筒5117の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5115には光源装置5157が接続されており、当該光源装置5157によって生成された光が、鏡筒5117の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5185の体腔内の観察対象に向かって照射される。なお、内視鏡5115は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド5119の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5153に送信される。なお、カメラヘッド5119には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5119には撮像素子が複数設けられてもよい。この場合、鏡筒5117の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
(カートに搭載される各種の装置)
CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図19に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。
表示装置5155は、CCU5153からの制御により、当該CCU5153によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5115が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5155としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5155として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5155が設けられてもよい。
光源装置5157は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5115に供給する。
アーム制御装置5159は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5141のアーム部5145の駆動を制御する。
入力装置5161は、内視鏡手術システム5113に対する入力インタフェースである。ユーザは、入力装置5161を介して、内視鏡手術システム5113に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5161を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5161を介して、アーム部5145を駆動させる旨の指示や、内視鏡5115による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5135を駆動させる旨の指示等を入力する。
入力装置5161の種類は限定されず、入力装置5161は各種の公知の入力装置であってよい。入力装置5161としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5171及び/又はレバー等が適用され得る。入力装置5161としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5155の表示面上に設けられてもよい。
あるいは、入力装置5161は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5161は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5161は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5161が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5181)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置5163は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5135の駆動を制御する。気腹装置5165は、内視鏡5115による視野の確保及び術者の作業空間の確保の目的で、患者5185の体腔を膨らめるために、気腹チューブ5133を介して当該体腔内にガスを送り込む。レコーダ5167は、手術に関する各種の情報を記録可能な装置である。プリンタ5169は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム5113において特に特徴的な構成について、更に詳細に説明する。
(支持アーム装置)
支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図21では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a~5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a~5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。
関節部5147a~5147cにはアクチュエータが設けられており、関節部5147a~5147cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5159によって制御されることにより、各関節部5147a~5147cの回転角度が制御され、アーム部5145の駆動が制御される。これにより、内視鏡5115の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5159は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5145の駆動を制御することができる。
例えば、術者5181が、入力装置5161(フットスイッチ5171を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5159によってアーム部5145の駆動が適宜制御され、内視鏡5115の位置及び姿勢が制御されてよい。当該制御により、アーム部5145の先端の内視鏡5115を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5145は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5145は、手術室から離れた場所に設置される入力装置5161を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置5159は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5145が移動するように、各関節部5147a~5147cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5145に触れながらアーム部5145を移動させる際に、比較的軽い力で当該アーム部5145を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5115を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5115が支持されていた。これに対して、支持アーム装置5141を用いることにより、人手によらずに内視鏡5115の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置5159は必ずしもカート5151に設けられなくてもよい。また、アーム制御装置5159は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5159は、支持アーム装置5141のアーム部5145の各関節部5147a~5147cにそれぞれ設けられてもよく、複数のアーム制御装置5159が互いに協働することにより、アーム部5145の駆動制御が実現されてもよい。
(光源装置)
光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置5157は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5119の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置5157は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5157は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
(カメラヘッド及びCCU)
図22を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図22は、図21に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。
図22を参照すると、カメラヘッド5119は、その機能として、レンズユニット5121と、撮像部5123と、駆動部5125と、通信部5127と、カメラヘッド制御部5129と、を有する。また、CCU5153は、その機能として、通信部5173と、画像処理部5175と、制御部5177と、を有する。カメラヘッド5119とCCU5153とは、伝送ケーブル5179によって双方向に通信可能に接続されている。
まず、カメラヘッド5119の機能構成について説明する。レンズユニット5121は、鏡筒5117との接続部に設けられる光学系である。鏡筒5117の先端から取り込まれた観察光は、カメラヘッド5119まで導光され、当該レンズユニット5121に入射する。レンズユニット5121は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5121は、撮像部5123の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部5123は撮像素子によって構成され、レンズユニット5121の後段に配置される。レンズユニット5121を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5123によって生成された画像信号は、通信部5127に提供される。
撮像部5123を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5181は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部5123を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5181は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5123が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5121も複数系統設けられる。
また、撮像部5123は、必ずしもカメラヘッド5119に設けられなくてもよい。例えば、撮像部5123は、鏡筒5117の内部に、対物レンズの直後に設けられてもよい。
駆動部5125は、アクチュエータによって構成され、カメラヘッド制御部5129からの制御により、レンズユニット5121のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5123による撮像画像の倍率及び焦点が適宜調整され得る。
通信部5127は、CCU5153との間で各種の情報を送受信するための通信装置によって構成される。通信部5127は、撮像部5123から得た画像信号をRAWデータとして伝送ケーブル5179を介してCCU5153に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5181が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5127には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5179を介してCCU5153に送信される。
また、通信部5127は、CCU5153から、カメラヘッド5119の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5127は、受信した制御信号をカメラヘッド制御部5129に提供する。なお、CCU5153からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5127には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5129に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5153の制御部5177によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5115に搭載される。
カメラヘッド制御部5129は、通信部5127を介して受信したCCU5153からの制御信号に基づいて、カメラヘッド5119の駆動を制御する。例えば、カメラヘッド制御部5129は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5123の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5129は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5125を介してレンズユニット5121のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5129は、更に、鏡筒5117やカメラヘッド5119を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット5121や撮像部5123等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5119について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、CCU5153の機能構成について説明する。通信部5173は、カメラヘッド5119との間で各種の情報を送受信するための通信装置によって構成される。通信部5173は、カメラヘッド5119から、伝送ケーブル5179を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5173には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5173は、電気信号に変換した画像信号を画像処理部5175に提供する。
また、通信部5173は、カメラヘッド5119に対して、カメラヘッド5119の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部5175は、カメラヘッド5119から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5175は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
画像処理部5175は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5175が複数のGPUによって構成される場合には、画像処理部5175は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
制御部5177は、内視鏡5115による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5177は、カメラヘッド5119の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5177は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5115にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5177は、画像処理部5175による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部5177は、画像処理部5175によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5155に表示させる。この際、制御部5177は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5177は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5135使用時のミスト等を認識することができる。制御部5177は、表示装置5155に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5181に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド5119及びCCU5153を接続する伝送ケーブル5179は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル5179を用いて有線で通信が行われていたが、カメラヘッド5119とCCU5153との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5179を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5179によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る手術室システム5100の一例について説明した。なお、ここでは、一例として手術室システム5100が適用される医療用システムが内視鏡手術システム5113である場合について説明したが、手術室システム5100の構成はかかる例に限定されない。例えば、手術室システム5100は、内視鏡手術システム5113に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
本開示に係る技術は、以上説明した構成のうち、内視鏡5115のカメラヘッド5119に好適に適用され得る。具体的には、別の操作子によるAF操作と追尾操作に応じて、カメラヘッド制御部5129がAF制御や追尾処理を上述の撮像装置1で説明したように行うことができる。これにより、術者5189がAF操作と追尾操作を使い分け、それぞれ適切なタイミングでAFをかけたり、追尾を実行させたりすることができ、術部画像をより適切にモニタリングできる。
特に内視鏡5115のうごきや臓器との位置関係も変化することに対して施術対象部位に適切に追尾してピントを合わせるトラッキングAFを施した画像が視認できるようにすることは術者5189にとって非常に有効である。
なお、AF操作のための操作子及び追尾操作のための操作子は、それぞれカメラヘッド5119に設けることが考えられる。
また例えばAF操作のための操作子をカメラヘッド5119に設け、追尾操作のための操作子をフットスイッチ5171に割り当てることも考えられる。これらに限られないが、AF操作のための操作子及び追尾操作のための操作子は、術者5189が同時に操作可能な別の操作子であればよい。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
なお本技術は以下のような構成も採ることができる。
(1)
第1の操作子を用いた第1操作を検知することに応じてオートフォーカス制御を実行するオートフォーカス制御部と、
前記第1操作に応じてオートフォーカス制御がされている状態において、前記第1の操作子とは異なる第2の操作子を用いた第2操作を検知することに応じて、フォーカス対象の被写体の追尾処理を行う追尾処理部と、を備えた
撮像装置。
(2)
前記第1操作に応じてオートフォーカス制御がされている状態において前記第2操作により追尾処理が行われることに応じて、前記オートフォーカス制御部は追尾対象の被写体へのフォーカス制御を行う
上記(1)に記載の撮像装置。
(3)
前記第1操作に応じてオートフォーカス制御が行われ、追尾処理が行われていない第1状態にあるときと、
前記第1操作及び前記第2操作に応じて追尾処理及び追尾対象の被写体へのフォーカス制御が行われている第2状態にあるときとで、
表示部における動作状態を示す表示が変更されるように制御する表示制御部を備えた
上記(1)又は(2)に記載の撮像装置。
(4)
前記第1操作に応じてオートフォーカス制御が行われ、追尾処理が行われていない第1状態にあるときは、フォーカス実行領域を示すフォーカス枠が所定位置に表示され、
前記第1操作及び前記第2操作に応じて追尾処理及び追尾対象の被写体へのフォーカス制御が行われている第2状態であるときは、追尾対象の被写体画像の位置に追尾枠が表示されるように、表示部の表示動作を制御する表示制御部を備えた
上記(1)から(3)のいずれかに記載の撮像装置。
(5)
前記表示制御部は、
前記第2状態であるときは、直前の前記第1状態における前記フォーカス枠の表示が維持されながら前記追尾枠が表示されるように表示部の表示動作を制御する
上記(4)に記載の撮像装置。
(6)
前記第2状態から前記第1状態に移行した際に、
前記オートフォーカス制御部は、直前の第2状態での追尾動作の開始前のオートフォーカス制御を開始し、
前記表示制御部は、前記追尾枠の表示を終了させるとともに、前記フォーカス枠が追尾開始前の状態で表示されるようにする
上記(4)又は(5)に記載の撮像装置。
(7)
前記第2状態から前記第1状態に移行した際に、
前記オートフォーカス制御部は、追尾終了時の追尾枠の位置に基づいた領域に対してオートフォーカス制御を開始し、
前記表示制御部は、前記追尾枠の表示を終了させるとともに、追尾終了時の追尾枠の位置に前記フォーカス枠が表示されるようにする
上記(4)又は(5)に記載の撮像装置。
(8)
前記第2状態から前記第1状態に移行した際に、
前記オートフォーカス制御部は、撮像画像の固定領域を対象とするオートフォーカス制御を開始し、
前記表示制御部は、前記追尾枠の表示を終了させるとともに、前記フォーカス枠が撮像画像の固定領域に表示されるようにする
上記(4)又は(5)に記載の撮像装置。
(9)
前記第1操作が検知されずに前記第2操作が検知されたことに応じて、
オートフォーカス制御におけるフォーカスエリア設定が、追尾対象被写体を対象とする設定とされる
上記(1)から(8)のいずれかに記載の撮像装置。
(10)
前記第1操作が検知されずに前記第2操作が検知されてオートフォーカス制御におけるフォーカスエリア設定が追尾対象被写体を対象とする設定とされたことに応じた表示を、表示部に表示させる表示制御部を備えた
上記(9)に記載の撮像装置。
(11)
前記第1操作が検知されずに前記第2操作が検知され、当該第2操作後に第1操作が検知された場合、
前記追尾処理部は、フォーカス対象の被写体の追尾処理を行い、
前記オートフォーカス制御部は、追尾対象の被写体を対象とするオートフォーカス制御を行う
上記(1)から(10)のいずれかに記載の撮像装置。
(12)
前記第1操作と前記第2操作に応じて、前記追尾処理部がフォーカス対象の被写体の追尾処理を行い、前記オートフォーカス制御部が追尾対象の被写体を対象とするオートフォーカス制御を行う状態において、前記第1操作の解除が検知された場合、
追尾処理及びオートフォーカス制御は終了され、
オートフォーカス制御におけるフォーカスエリア設定は追尾対象被写体を対象とする設定に維持される
上記(1)から(11)のいずれかに記載の撮像装置。
(13)
前記第2操作は、第2操作のための操作子の継続操作として行われ、
該継続操作の終了により前記第2操作が解除となる
上記(1)から(12)のいずれかに記載の撮像装置。
(14)
前記第2操作は、第2操作のための操作子の単発操作として行われ、当該操作子の再度の単発操作により前記第2操作が解除となる
上記(1)から(12)のいずれかに記載の撮像装置。
(15)
前記第2の操作子は、撮像装置本体に対して装着可能に構成されているレンズ鏡筒に設けられている
上記(1)から(14)のいずれかに記載の撮像装置。
(16)
前記第2操作としての操作機能が選択的に設定可能なアサイナブルボタンが設けられている
上記(1)から(15)のいずれかに記載の撮像装置。
(17)
前記第1の操作子はシャッター操作子とされ、該シャッター操作子の半押しが前記第1操作とされる
上記(1)から(16)のいずれかに記載の撮像装置。
(18)
前記第2の操作子は、前記第1の操作子の操作中に操作が可能な位置に設けられている
上記(1)から(17)のいずれかに記載の撮像装置。
(19)
第1の操作子を用いた第1操作を検知することに応じてオートフォーカス制御を実行するオートフォーカス制御部と、
前記第1操作に応じてオートフォーカス制御がされている状態において、前記第1の操作子とは異なる第2の操作子を用いた第2操作を検知することに応じて、フォーカス対象の被写体の追尾処理を行う追尾処理部と、を備えた
撮像制御装置。
(20)
撮像装置が、
第1の操作子を用いた第1操作を検知することに応じてオートフォーカス制御を実行し、
前記第1操作に応じてオートフォーカス制御がされている状態において、前記第1の操作子とは異なる第2の操作子を用いた第2操作を検知することに応じて、フォーカス対象の被写体の追尾処理を行う
撮像方法。
1 撮像装置、2,2A,2B レンズ鏡筒、12 撮像素子、13 カメラ信号処理部、14 記録部、15 表示部、16 出力部、17 操作部、18 電源部、21 レンズ系、22 ドライバ部、23 レンズ制御部、24 操作部、30 カメラ制御部、31 メモリ部、51 AF測距部、52 AF制御部、53 画像認識部、54 操作認識部、55 表示制御部、56 カスタムボタン設定部、61 顔・瞳検出部、62 被写体追尾部、63 被写体顔判定部、78 フォーカスエリアアイコン、79 フォーカスモードアイコン、90 フォーカス枠、91 追尾枠、100 本体筐体、101 表示パネル、102 ビューファインダー、103 握持部、110,120 操作子、110S シャッターボタン、110C,120C アサイナブルボタン

Claims (18)

  1. 第1の操作子を用いた第1操作を検知することに応じてオートフォーカス制御を実行するオートフォーカス制御部と、
    前記第1操作に応じてオートフォーカス制御がされている状態において、前記第1の操作子とは異なる第2の操作子を用いた第2操作を検知することに応じて、フォーカス対象の被写体の追尾処理を行う追尾処理部と、
    前記第1操作に応じてオートフォーカス制御が行われ、追尾処理が行われていない第1状態にあるときは、フォーカス実行領域を示すフォーカス枠が所定位置に表示され、前記第1操作及び前記第2操作に応じて追尾処理及び追尾対象の被写体へのフォーカス制御が行われている第2状態であるときは、追尾対象の被写体画像の位置に追尾枠が表示されるように、表示部の表示動作を制御する表示制御部と、を備え、
    前記第2状態から前記第1状態に移行した際に、
    前記オートフォーカス制御部は、直前の第2状態での追尾動作の開始前のオートフォーカス制御を開始し、
    前記表示制御部は、前記追尾枠の表示を終了させるとともに、前記フォーカス枠が追尾開始前の状態で表示されるようにし、
    前記第1の操作子はシャッター操作子とされ、該シャッター操作子の半押しが前記第1操作とされる
    撮像装置。
  2. 第1の操作子を用いた第1操作を検知することに応じてオートフォーカス制御を実行するオートフォーカス制御部と、
    前記第1操作に応じてオートフォーカス制御がされている状態において、前記第1の操作子とは異なる第2の操作子を用いた第2操作を検知することに応じて、フォーカス対象の被写体の追尾処理を行う追尾処理部と、
    前記第1操作に応じてオートフォーカス制御が行われ、追尾処理が行われていない第1状態にあるときは、フォーカス実行領域を示すフォーカス枠が所定位置に表示され、前記第1操作及び前記第2操作に応じて追尾処理及び追尾対象の被写体へのフォーカス制御が行われている第2状態であるときは、追尾対象の被写体画像の位置に追尾枠が表示されるように、表示部の表示動作を制御する表示制御部と、を備え、
    前記第2状態から前記第1状態に移行した際に、
    前記オートフォーカス制御部は、追尾終了時の追尾枠の位置に基づいた領域に対してオートフォーカス制御を開始し、
    前記表示制御部は、前記追尾枠の表示を終了させるとともに、追尾終了時の追尾枠の位置に前記フォーカス枠が表示されるようにする
    撮像装置。
  3. 第1の操作子を用いた第1操作を検知することに応じてオートフォーカス制御を実行するオートフォーカス制御部と、
    前記第1操作に応じてオートフォーカス制御がされている状態において、前記第1の操作子とは異なる第2の操作子を用いた第2操作を検知することに応じて、フォーカス対象の被写体の追尾処理を行う追尾処理部と、
    前記第1操作に応じてオートフォーカス制御が行われ、追尾処理が行われていない第1状態にあるときは、フォーカス実行領域を示すフォーカス枠が所定位置に表示され、前記第1操作及び前記第2操作に応じて追尾処理及び追尾対象の被写体へのフォーカス制御が行われている第2状態であるときは、追尾対象の被写体画像の位置に追尾枠が表示されるように、表示部の表示動作を制御する表示制御部と、を備え、
    前記第2状態から前記第1状態に移行した際に、
    前記オートフォーカス制御部は、撮像画像の固定領域を対象とするオートフォーカス制御を開始し、
    前記表示制御部は、前記追尾枠の表示を終了させるとともに、前記フォーカス枠が撮像画像の固定領域に表示されるようにし、
    前記第1の操作子はシャッター操作子とされ、該シャッター操作子の半押しが前記第1操作とされる
    撮像装置。
  4. 前記第1操作に応じてオートフォーカス制御がされている状態において前記第2操作により追尾処理が行われることに応じて、前記オートフォーカス制御部は追尾対象の被写体へのフォーカス制御を行う
    請求項1から請求項3のいずれかに記載の撮像装置。
  5. 前記第1操作に応じてオートフォーカス制御が行われ、追尾処理が行われていない第1状態にあるときと、
    前記第1操作及び前記第2操作に応じて追尾処理及び追尾対象の被写体へのフォーカス制御が行われている第2状態にあるときとで、
    表示部における動作状態を示す表示が変更されるように制御する表示制御部を備えた
    請求項1から請求項3のいずれかに記載の撮像装置。
  6. 前記表示制御部は、
    前記第2状態であるときは、直前の前記第1状態における前記フォーカス枠の表示が維持されながら前記追尾枠が表示されるように表示部の表示動作を制御する
    請求項1から請求項3のいずれかに記載の撮像装置。
  7. 前記第1操作が検知されずに前記第2操作が検知されたことに応じて、
    オートフォーカス制御におけるフォーカスエリア設定が、追尾対象被写体を対象とする設定とされる
    請求項1から請求項3のいずれかに記載の撮像装置。
  8. 前記表示制御部は、
    前記第1操作が検知されずに前記第2操作が検知されてオートフォーカス制御におけるフォーカスエリア設定が追尾対象被写体を対象とする設定とされたことに応じた表示を前記表示部に実行させる
    請求項7に記載の撮像装置。
  9. 前記第1操作が検知されずに前記第2操作が検知され、当該第2操作後に第1操作が検知された場合、
    前記追尾処理部は、フォーカス対象の被写体の追尾処理を行い、
    前記オートフォーカス制御部は、追尾対象の被写体を対象とするオートフォーカス制御を行う
    請求項1から請求項3のいずれかに記載の撮像装置。
  10. 前記第1操作と前記第2操作に応じて、前記追尾処理部がフォーカス対象の被写体の追尾処理を行い、前記オートフォーカス制御部が追尾対象の被写体を対象とするオートフォーカス制御を行う状態において、前記第1操作の解除が検知された場合、
    追尾処理及びオートフォーカス制御は終了され、
    オートフォーカス制御におけるフォーカスエリア設定は追尾対象被写体を対象とする設定に維持される
    請求項1から請求項3のいずれかに記載の撮像装置。
  11. 前記第2操作は、第2操作のための操作子の継続操作として行われ、
    該継続操作の終了により前記第2操作が解除となる
    請求項1から請求項3のいずれかに記載の撮像装置。
  12. 前記第2操作は、第2操作のための操作子の単発操作として行われ、当該操作子の再度の単発操作により前記第2操作が解除となる
    請求項1から請求項3のいずれかに記載の撮像装置。
  13. 前記第2の操作子は、撮像装置本体に対して装着可能に構成されているレンズ鏡筒に設けられている
    請求項1から請求項3のいずれかに記載の撮像装置。
  14. 前記第2操作としての操作機能が選択的に設定可能なアサイナブルボタンが設けられている
    請求項1から請求項3のいずれかに記載の撮像装置。
  15. 前記第2の操作子は、前記第1の操作子の操作中に操作が可能な位置に設けられている
    請求項1から請求項3のいずれかに記載の撮像装置。
  16. 撮像装置が、
    シャッター操作子である第1の操作子の半押しである第1操作を検知することに応じてオートフォーカス制御を実行し、
    前記第1操作に応じてオートフォーカス制御がされている状態において、前記第1の操作子とは異なる第2の操作子を用いた第2操作を検知することに応じて、フォーカス対象の被写体の追尾処理を行い、
    前記第1操作に応じてオートフォーカス制御が行われ、追尾処理が行われていない第1状態にあるときは、フォーカス実行領域を示すフォーカス枠が所定位置に表示され、前記第1操作及び前記第2操作に応じて追尾処理及び追尾対象の被写体へのフォーカス制御が行われている第2状態であるときは、追尾対象の被写体画像の位置に追尾枠が表示されるように、表示部の表示動作を制御し、
    前記第2状態から前記第1状態に移行した際に、
    直前の第2状態での追尾動作の開始前のオートフォーカス制御を開始し、
    前記追尾枠の表示を終了させるとともに、前記フォーカス枠が追尾開始前の状態で表示されるようにする
    撮像方法。
  17. 撮像装置が、
    第1の操作子を用いた第1操作を検知することに応じてオートフォーカス制御を実行し、
    前記第1操作に応じてオートフォーカス制御がされている状態において、前記第1の操作子とは異なる第2の操作子を用いた第2操作を検知することに応じて、フォーカス対象の被写体の追尾処理を行い、
    前記第1操作に応じてオートフォーカス制御が行われ、追尾処理が行われていない第1状態にあるときは、フォーカス実行領域を示すフォーカス枠が所定位置に表示され、前記第1操作及び前記第2操作に応じて追尾処理及び追尾対象の被写体へのフォーカス制御が行われている第2状態であるときは、追尾対象の被写体画像の位置に追尾枠が表示されるように、表示部の表示動作を制御し、
    前記第2状態から前記第1状態に移行した際に、
    追尾終了時の追尾枠の位置に基づいた領域に対してオートフォーカス制御を開始し、
    前記追尾枠の表示を終了させるとともに、追尾終了時の追尾枠の位置に前記フォーカス枠が表示されるようにする
    撮像方法。
  18. 撮像装置が、
    シャッター操作子である第1の操作子の半押しである第1操作を検知することに応じてオートフォーカス制御を実行し、
    前記第1操作に応じてオートフォーカス制御がされている状態において、前記第1の操作子とは異なる第2の操作子を用いた第2操作を検知することに応じて、フォーカス対象の被写体の追尾処理を行い、
    前記第1操作に応じてオートフォーカス制御が行われ、追尾処理が行われていない第1状態にあるときは、フォーカス実行領域を示すフォーカス枠が所定位置に表示され、前記第1操作及び前記第2操作に応じて追尾処理及び追尾対象の被写体へのフォーカス制御が行われている第2状態であるときは、追尾対象の被写体画像の位置に追尾枠が表示されるように、表示部の表示動作を制御し、
    前記第2状態から前記第1状態に移行した際に、
    撮像画像の固定領域を対象とするオートフォーカス制御を開始し、
    前記追尾枠の表示を終了させるとともに、前記フォーカス枠が撮像画像の固定領域に表示されるようにする
    撮像方法。
JP2020559780A 2018-12-14 2019-10-24 撮像装置、撮像制御装置、撮像方法 Active JP7444074B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018234123 2018-12-14
JP2018234123 2018-12-14
PCT/JP2019/041646 WO2020121654A1 (ja) 2018-12-14 2019-10-24 撮像装置、撮像制御装置、撮像方法

Publications (2)

Publication Number Publication Date
JPWO2020121654A1 JPWO2020121654A1 (ja) 2021-10-28
JP7444074B2 true JP7444074B2 (ja) 2024-03-06

Family

ID=71077252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020559780A Active JP7444074B2 (ja) 2018-12-14 2019-10-24 撮像装置、撮像制御装置、撮像方法

Country Status (4)

Country Link
US (1) US20210360146A1 (ja)
JP (1) JP7444074B2 (ja)
DE (1) DE112019006180T5 (ja)
WO (1) WO2020121654A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005338352A (ja) 2004-05-26 2005-12-08 Fujinon Corp オートフォーカスシステム
JP2009229568A (ja) 2008-03-19 2009-10-08 Fujinon Corp オートフォーカスシステム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5744437B2 (ja) * 2010-08-18 2015-07-08 キヤノン株式会社 追尾装置、追尾方法及びプログラム
KR101694421B1 (ko) * 2010-11-11 2017-01-09 삼성전자주식회사 카메라를 구비한 휴대 단말기의 연속 자동 초점 조절 방법 및 장치
JP6296801B2 (ja) * 2013-07-24 2018-03-20 キヤノン株式会社 撮像装置、撮像装置の制御方法、および撮像装置の制御プログラム
JP6327995B2 (ja) * 2014-07-28 2018-05-23 キヤノン株式会社 撮像装置、制御装置及びそれらの制御方法、プログラム、並びに記憶媒体
JP2016140030A (ja) * 2015-01-29 2016-08-04 株式会社リコー 画像処理装置、撮像装置、及び画像処理プログラム
EP3690614A4 (en) * 2017-09-30 2021-08-25 SZ DJI Technology Co., Ltd. CONTROL METHODS FOR PHOTOGRAPHING DEVICE, PHOTOGRAPHING DEVICE, AND STORAGE MEDIUM

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005338352A (ja) 2004-05-26 2005-12-08 Fujinon Corp オートフォーカスシステム
JP2009229568A (ja) 2008-03-19 2009-10-08 Fujinon Corp オートフォーカスシステム

Also Published As

Publication number Publication date
JPWO2020121654A1 (ja) 2021-10-28
WO2020121654A1 (ja) 2020-06-18
DE112019006180T5 (de) 2021-10-14
US20210360146A1 (en) 2021-11-18

Similar Documents

Publication Publication Date Title
JP6950707B2 (ja) 情報処理装置および方法、並びにプログラム
JP7363767B2 (ja) 画像処理装置と画像処理方法およびプログラム
JP7400802B2 (ja) 撮像装置、およびスイッチ
JP7095693B2 (ja) 医療用観察システム
JP7143846B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN109565565B (zh) 信息处理装置、信息处理方法和非暂态计算机可读介质
JP7230807B2 (ja) 信号処理装置、撮像装置、信号処理方法及びプログラム
CN108353144B (zh) 多摄像机系统、摄像机、摄像机处理方法、确认设备和确认设备处理方法
JP7264051B2 (ja) 画像処理装置および画像処理方法
JP7420137B2 (ja) 信号処理装置、撮像装置、信号処理方法
JP7444163B2 (ja) 撮像装置、撮像方法、及びプログラム
WO2018088237A1 (ja) 画像処理装置および設定方法、並びにプログラム
JP7136093B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP7135869B2 (ja) 発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置
JPWO2020100438A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7444074B2 (ja) 撮像装置、撮像制御装置、撮像方法
WO2020203265A1 (ja) 映像信号処理装置、映像信号処理方法および撮像装置
JP7160042B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2018088238A1 (ja) 画像処理装置および制御方法、並びにプログラム
WO2018088236A1 (ja) 画像処理装置および方法、並びにプログラム
WO2020246181A1 (ja) 画像処理装置、画像処理方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220905

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230626

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231214

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240205

R151 Written notification of patent or utility model registration

Ref document number: 7444074

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151