JP6230554B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP6230554B2
JP6230554B2 JP2015021549A JP2015021549A JP6230554B2 JP 6230554 B2 JP6230554 B2 JP 6230554B2 JP 2015021549 A JP2015021549 A JP 2015021549A JP 2015021549 A JP2015021549 A JP 2015021549A JP 6230554 B2 JP6230554 B2 JP 6230554B2
Authority
JP
Japan
Prior art keywords
information
frame
focus adjustment
acquisition unit
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015021549A
Other languages
English (en)
Other versions
JP2015122780A (ja
Inventor
菜津三 小石
菜津三 小石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2015021549A priority Critical patent/JP6230554B2/ja
Publication of JP2015122780A publication Critical patent/JP2015122780A/ja
Application granted granted Critical
Publication of JP6230554B2 publication Critical patent/JP6230554B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Exposure Control For Cameras (AREA)

Description

本発明は、撮像装置に関する。
本願は、２０１２年７月１２日に日本に出願された特願２０１２−１５６５８４号、特願２０１２−１５６５８５号、特願２０１２−１５６５８６号、２０１２年１０月２４日に日本に出願された特願２０１２−２３４９５３号、特願２０１２−２３４９５４号、２０１３年４月２５日に日本に出願された特願２０１３−０９３０２３号、特願２０１３−０９３０２４号に基づき優先権を主張し、その内容をここに援用する。
例えば静止画を撮影する際、素早く狙った被写体を撮影するために、明るさ調節は速く正確であることが望まれる。しかし動画撮影においては明るさ調節の挙動そのものが動画中に記録されて鑑賞の対象となるため、挙動がどのようなものであるかによって動画の良し悪しが変わる。例えば主観的に速すぎる・遅すぎる明るさ調節が行われている場合、不必要な明るさ調節が行われている場合（明るさ調節が変動し易くなる状況）に観賞の対象として好ましくない明るさ調節が認識される。特に明るさ調節が変動し易くなる状況（撮像される内容が時々刻々と変化する場合。パンニング、チルティング、手ブレ中のような撮像装置が動く場合、被写体が動く場合、焦点調節やＷＢ調節等の撮像装置内の処理が変わる場合）において、全ての状況に対して適切になるように素早く焦点調節を行うと、撮像された動画はボケたりピントがあったりする状態を繰り返しているように見え、見苦しいものになってしまうことがある。
この問題を解決するために以下のような技術が提案されている。
特開２００８−２０５６５０号公報
しかしながら、特許文献１では、検出した顔の重要度判定の結果を基に明るさ調節を行うかどうかを判定するため、動画のフレーム間変化がどのような状態であっても明るさ調節が行われてしまうということがあった。これらのことから、従来の撮像装置は、適切に明るさ調節が行われないことで撮影者または鑑賞者に好まれない見え方をする動画を提供してしまい、動画の見え方に対する撮影者または鑑賞者の満足度が低い場合があるという問題があった。
そこで本発明の一態様は、上記問題に鑑みてなされたものであり、動画の見え方に対する撮影者または鑑賞者の満足度を向上させることを可能とする撮像装置を提供することを課題とする。
本発明の第１態様によれば、撮像装置は、撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、を備え、前記フレーム間変化情報は、少なくとも撮像装置の焦点調節動作に関わる情報である。
本発明の第２態様によれば、撮像装置は、撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、を備え、前記フレーム間変化情報は、少なくとも撮像装置のホワイトバランス調節動作に関わる情報である。
本発明の第３態様によれば、撮像装置は、撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、を備え、前記フレーム間変化情報は、フレーム間の任意の点又は領域の追尾に関わる追尾情報である。
本発明の第４態様によれば、撮像装置は、撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、を備え、前記フレーム内情報は、前記被写体の大きさに関する大きさ情報である。
本発明の第５態様によれば、第１から第３態様のいずれか１つに係る撮像装置において、前記フレーム内情報は、前記被写体の大きさに関する大きさ情報であってもよい。
本発明の第６態様によれば、撮像装置は、撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、を備え、前記フレーム内情報は、前記被写体の色に関する色情報である。
本発明の第７態様によれば、第１から第３態様のいずれか１つに係る撮像装置において、前記フレーム内情報は、前記被写体の色に関する色情報であってもよい。
本発明の第８態様によれば、撮像装置は、撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、を備え、前記フレーム内情報は、前記被写体の数または位置に関する情報である。
本発明の第９態様によれば、第１から第３態様のいずれか１つに係る撮像装置において、前記フレーム内情報は、前記被写体の数または位置に関する情報であってもよい。
本発明の第１０態様によれば、撮像装置は、撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、を備え、前記フレーム内情報は、前記被写体が何であるかの認識結果に関する情報である。
本発明の第１１態様によれば、第１から第３態様のいずれか１つに係る撮像装置において、前記フレーム内情報は、前記被写体が何であるかの認識結果に関する情報であってもよい。
本発明の第１２態様によれば、撮像装置は、撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、を備え、前記フレーム内情報は、撮影対象の被写体が予め自装置に登録された被写体であるか否かの情報である。
本発明の第１３態様によれば、第１から第３態様のいずれか１つに係る撮像装置において、前記フレーム内情報は、撮影対象の被写体が予め自装置に登録された被写体であるか否かの情報であってもよい。
本発明の第１４態様によれば、撮像装置は、撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、を備え、前記フレーム内情報は、過去に撮影した被写体と撮影対象の被写体との照合結果に関する情報である。
本発明の第１５態様によれば、第１から第３態様のいずれか１つに係る撮像装置において、前記フレーム内情報は、過去に撮影した被写体と撮影対象の被写体との照合結果に関する情報であってもよい。
本発明の第１６態様によれば、撮像装置は、撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、自装置の動画記録画像に関わる情報を取得する動画記録画像情報取得部と、を備え、前記明るさ調節決定部が、前記フレーム間変化情報と前記フレーム内情報に加え、前記動画記録画像に関わる情報も用いて明るさ調節の挙動を決定する。
本発明の第１７態様によれば、第１から第１５態様のいずれか１つに係る撮像装置は、自装置の動画記録画像に関わる情報を取得する動画記録画像情報取得部を更に備え、前記明るさ調節決定部が、前記フレーム間変化情報と前記フレーム内情報に加え、前記動画記録画像に関わる情報も用いて明るさ調節の挙動を決定してもよい。
本発明の第１８態様によれば、撮像装置は、撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、前記撮像部における被写体の動画像信号を生成するための撮像素子の固有の情報を取得する撮像素子情報取得部と、を備え、前記明るさ調節決定部が、前記フレーム間変化情報と前記フレーム内情報に加え、前記撮像素子の固有の情報も用いて明るさ調節の挙動を決定する。
本発明の第１９態様によれば、第１から第１５態様のいずれか１つに係る撮像装置は、前記撮像部における被写体の動画像信号を生成するための撮像素子の固有の情報を取得する撮像素子情報取得部を更に備え、前記明るさ調節決定部が、前記フレーム間変化情報と前記フレーム内情報に加え、前記撮像素子の固有の情報も用いて明るさ調節の挙動を決定してもよい。
本発明の第２０態様によれば、撮像装置は、撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、前記撮像部に被写体像を結像するための取り外し可能な撮像光学系が取り付けられている場合に、取り付けられた撮像光学系固有の情報に関わる情報を取得する撮像光学系情報取得部と、を備え、前記明るさ調節決定部が、前記フレーム間変化情報と前記フレーム内情報に加え、前記取り付けられた撮像光学系固有の情報も用いて明るさ調節の挙動を決定する。
本発明の第２１態様によれば、第１から第１５態様のいずれか１つに係る撮像装置は、前記撮像部に被写体像を結像するための取り外し可能な撮像光学系が取り付けられている場合に、取り付けられた撮像光学系固有の情報に関わる情報を取得する撮像光学系情報取得部を更に備え、前記明るさ調節決定部が、前記フレーム間変化情報と前記フレーム内情報に加え、前記取り付けられた撮像光学系固有の情報も用いて明るさ調節の挙動を決定してもよい。
本発明の第２２態様によれば、撮像装置は、撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、前記被写体を最適な明るさ状態にするための明るさ調節量を取得する明るさ調節量取得部と、前記明るさ調節量取得部が明るさ調節量を取得する対象を設定する場合に、最適明るさ調節対象の設定に関わる情報を取得する最適明るさ対象設定情報取得部と、を備え、前記明るさ調節決定部が、前記フレーム間変化情報と前記フレーム内情報に加え、前記最適明るさ調節対象の設定に関わる情報も用いて明るさ調節の挙動を決定する。
本発明の第２３態様によれば、第１から第１５態様のいずれか１つに係る撮像装置は、前記被写体を最適な明るさ状態にするための明るさ調節量を取得する明るさ調節量取得部と、前記明るさ調節量取得部が明るさ調節量を取得する対象を設定する場合に、最適明るさ調節対象の設定に関わる情報を取得する最適明るさ対象設定情報取得部と、を更に備え、前記明るさ調節決定部が、前記フレーム間変化情報と前記フレーム内情報に加え、前記最適明るさ調節対象の設定に関わる情報も用いて明るさ調節の挙動を決定してもよい。
本発明の第２４態様によれば、第１から第２３の態様のいずれか１つに係る撮像装置において、前記明るさ調節決定部は、前記フレーム間変化情報と前記フレーム内情報の両方に基づいて明るさ調節の動作状態又は明るさ調節の動作速度を変更するように明るさ調節の挙動を決定してもよい。
本発明の第２５態様によれば、第１から第２４の態様のいずれか１つに係る撮像装置において、前記撮像部は前記動画像信号を生成する撮像素子を備え、該撮像素子の画素数が少なくともハイビジョン画像の画素数を越えるものであってもよい。
本発明の第２６態様によれば、第１から第２５態様のいずれか１つに係る撮像装置は、人の主観的な明るさ調節に関わる情報を取得する人の主観的な明るさ調節関連情報取得部、を更に備え、前記明るさ調節決定部は、前記人の主観的な明るさ調節関連情報取得部で得られた前記人の主観的な明るさ調節に関わる情報を用いて明るさ調節の挙動を決定してもよい。
本発明の第２７態様によれば、第２６の態様に係る撮像装置において、前記人の主観的な明るさ調節に関わる情報が人の眼球の物理的な明るさ調節特性である、又は人の眼球の物理的な明るさ調節特性を近似した情報であってもよい。
本発明の一態様によれば、動画の見え方に対する撮影者または鑑賞者の満足度を向上させることができる。
本発明の第１の実施形態における撮像装置の構成を示す概略ブロック図である。 各実施例の撮影条件と想定するシーンについて説明する図である。 実施例１における撮影シーンの一例を説明するための図である。 実施例１における撮像装置の構成を示す概略ブロック図である。 焦点調節の速度抑制係数αを決定するためのテーブルの一例である。 実施例１における撮像装置の処理の流れの一例を示すフローチャートである。 変形例９における撮像装置の構成を示す概略ブロック図である。 不図示のメモリに記憶されているシャッター速度と焦点調節抑制係数βとが関連付けられたテーブルの一例である。 変形例９における撮像装置の処理の流れの一例を示すフローチャートである。 変形例１０における撮像装置の構成を示す概略ブロック図である。 変形例１０における撮像装置の処理の流れの一例を示すフローチャートである。 変形例１１における撮像装置の構成を示す概略ブロック図である。 変形例１１における撮像装置の処理の流れの一例を示すフローチャートである。 実施例２における撮影シーンの一例を説明するための図である。 実施例２における撮像装置の構成を示す概略ブロック図である。 明るさ調節速度と被写体の照合結果の組毎に焦点調節の速度抑制係数αが関連付けられたテーブルの一例である。 実施例２における撮像装置の処理の流れの一例を示すフローチャートである。 実施例２の変形例５における撮影シーンの一例を説明するための図である。 実施例３における撮影シーンの一例を説明するための図である。 実施例３における撮像装置の構成を示す概略ブロック図である。 被写体の数と連続性の有無の組毎に焦点調節の駆動速度が関連付けられたテーブルの一例である。 実施例３における撮像装置の処理の流れの一例を示すフローチャートである。 実施例３の変形例５における撮像装置の構成を示す概略ブロック図である。 実施例３の変形例５における撮像装置の処理の流れの一例を示すフローチャートである。 実施例３の変形例６における撮像装置の構成を示す概略ブロック図である。 実施例３の変形例６における撮像装置の処理の流れの一例を示すフローチャートである。 実施例４における撮影シーンの一例を説明するための図である。 実施例４における撮像装置の構成を示す概略ブロック図である。 焦点調節を禁止する焦点調節禁止領域を示す図である。 実施例４における撮像装置の処理の流れの一例を示すフローチャートである。 撮像装置の動き速度を示す情報と、初期状態から合焦状態までの焦点調節の時間的特性とが関連付けられたテーブルの概念図である。 実施例４の変形例１１における撮像装置の構成を示す概略ブロック図である。 実施例４の変形例１１における撮像装置の処理の流れの一例を示すフローチャートである。 禁止領域の変更の一例である。 実施例４の変形例１２における撮像装置の構成を示す概略ブロック図である。 実施例４の変形例１２における撮像装置の処理の流れの一例を示すフローチャートである。 実施例４の変形例１３における撮像装置の構成を示す概略ブロック図である。 実施例４の変形例１３における撮像装置の処理の流れの一例を示すフローチャートである。 実施例５における撮影シーンの一例を説明するための図である。 実施例５における撮像装置の構成を示す概略ブロック図である。 焦点調節開始から合焦状態までの時間的特性の一例である。 焦点距離調節速度と輝度画素平均値の組毎に、焦点調節制御係数αが関連づけられたテーブルの一例である。 実施例５における撮像装置の処理の流れの一例を示すフローチャートである。 被写体の大きさと被写体の動き速度に応じた人の物理的な焦点調節特性の一例である。 実施例２の変形例６における撮像装置の構成を示す概略ブロック図である。 実施例２の変形例６における撮影シーンの一例を説明するための図である。 実施例２の変形例６における撮像装置の動作（係数αの決定の設定）の一例を説明するための図である。 実施例２の変形例６における動画像の主観評価実験に用いられた焦点調節の時間的特性の一例を示す図である。 実施例２の変形例６における動画像の主観評価実験に用いられた焦点調節の時間的特性の一例を示す図である。 実施例２の変形例６における動画像の主観評価実験に用いられた焦点調節の時間的特性の一例を示す図である。 実施例４の変形例２における被写体彩度とパンニング速度の組毎に焦点調節の開始タイミングが関連付けられたテーブルの一例である。 実施例４の変形例１４における撮像装置の構成を示す概略ブロック図である。 焦点調節開始から合焦状態までの時間的特性の一例である。 動画像の主観評価結果を示す図である。 実施例５における焦点調節開始から合焦状態までの時間的特性の一例である。 動画像の主観評価結果を示す図である。 実施例４の変形例５における焦点調節開始から合焦状態までの時間的特性の一例である。 実施例４の変形例５における焦点調節開始から合焦状態までの時間的特性の一例である。 実施例４の変形例５における動画像の主観評価結果を示す図である。 本発明の第１の実施形態における撮像装置の構成を示す概略ブロック図である。 本発明の第２の実施形態における撮像装置の構成を示す概略ブロック図である。 各実施例の撮影条件と想定するシーンについて説明する。 実施例１における撮影シーンの一例を説明するための図である。 実施例１における撮像装置の構成を示す概略ブロック図である。 明るさ調節速度抑制係数αを決定するためのテーブルの一例である。 実施例１における撮像装置の処理の流れの一例を示すフローチャートである。 実施例１の変形例９における撮像装置の構成を示す概略ブロック図である。 シャッター速度と明るさ調節抑制係数βとが関連付けられたテーブルの一例である。 実施例１の変形例９における撮像装置の処理の流れの一例を示すフローチャートである。 実施例２における撮影シーンの一例を説明するための図である。 実施例２における撮像装置の構成を示す概略ブロック図である。 焦点調節速度と被写体の照合結果との組毎に速度抑制係数αが関連づけられたテーブルの一例である。 実施例２における撮像装置の処理の流れの一例を示すフローチャートである。 実施例３における撮影シーンの一例を説明するための図である。 実施例３における撮像装置の構成を示す概略ブロック図である。 被写体の数とホワイトバランス調節動作の連続性の有無との組毎に、明るさ調節の動作速度が関連づけられたテーブルの一例である。 実施例３における撮像装置の処理の流れの一例を示すフローチャートである。 実施例３の変形例４における撮像装置の構成を示す概略ブロック図である。 実施例３の変形例４における撮像装置の処理の流れの一例を示すフローチャートである。 実施例４における撮影シーンの一例を説明するための図である。 実施例４における撮像装置の構成を示す概略ブロック図である。 禁止領域の一例である。 撮像装置の動き速度と最適な明るさ状態までの明るさ調節の時間的特性とが関連付けられたテーブルの概念図である。 実施例４における撮像装置の処理の流れの一例を示すフローチャートである。 実施例４の変形例９における撮像装置の構成を示す概略ブロック図である。 禁止領域の変更の一例である。 実施例４の変形例９における撮像装置の処理の流れの一例を示すフローチャートである。 実施例４の変形例１０における撮像装置の構成を示す概略ブロック図である。 実施例４の変形例１０における撮像装置の処理の流れの一例を示すフローチャートである。 実施例４の変形例１１における撮像装置の構成を示す概略ブロック図である。 実施例４の変形例１１における撮像装置の処理の流れの一例を示すフローチャートである。 実施例５における撮影シーンの一例を説明するための図である。 実施例５における撮像装置の構成を示す概略ブロック図である。 ズーム動作速度と輝度画素平均値の組毎に、明るさ調節制御係数αが関連づけられたテーブルの一例である。 実施例５における撮像装置の処理の流れの一例を示すフローチャートである。 実施例２の変形例６における明るさ調節に要する時間を決定するためのテーブルの一例である。 実施例２の変形例７における撮像装置の構成を示す概略ブロック図である。 実施例２の変形例７における補正パラメータβを決定するためのテーブルの一例である。 実施例４の変形例１２における撮像装置の構成を示す概略ブロック図である。 実施例４の変形例１２における撮像装置の処理の流れの一例を示すフローチャートである。 明るさ調節開始から最適明るさ状態までの時間的特性の一例である。 実施例４の変形例１２における被写体彩度と明るさ調節の開始タイミングが関連付けられたテーブルの一例である。 明るさ調節開始から最適明るさ状態までの時間的特性の一例である。 明るさ調節開始から最適明るさ状態までの時間的特性の一例である。 明るさ調節開始から最適明るさ状態までの時間的特性の一例である。 動画像の主観評価結果を示す図である。 動画像の主観評価結果を示す図である。 本発明の第２の実施形態における撮像装置の構成を示す概略ブロック図である。
本発明の実施形態についての説明を行う前に、焦点調節に関わる背景技術について、説明する。
例えば静止画を撮影する際、素早く狙った被写体を撮影するために、焦点調節は速く正確であることが望まれる。しかし動画撮影においては焦点調節の挙動そのものが動画中に記録されて鑑賞の対象となるため、挙動がどのようなものであるかによって動画の良し悪しが変わる。例えば主観的に速すぎる・遅すぎる焦点調節が行われている場合、主観的に動き方が好ましくないと感じられる焦点調節が行われている場合（全体的な速度は適切だが、動き出しが遅すぎる、終わり方が唐突過ぎる等）、不必要な焦点調節が行われている場合（焦点調節が変動し易くなる状況）に観賞の対象として好ましくない焦点調節が認識される。焦点調節が変動し易くなる状況（撮像される内容が時々刻々と変化する場合。パンニング、チルティング、手ブレ中のような撮像装置が動く場合、被写体が動く場合、明るさ調節やＷＢ調節等の撮像装置内の処理が変わる場合）において、全ての状況に対して適切になるように素早く焦点調節を行うと、撮像された動画はボケたりピントがあったりする状態を繰り返しているように見え、見苦しいものになってしまうことがある。
この問題を解決するために以下のような技術が提案されている。特許文献１では、パンニングの有無に応じて、オートフォーカス（以下、ＡＦという）の動作を制限することが開示されている。特許文献２では、被写体像の変化量が大きい場合にはＡＦの停止時間を長くすることが開示されている。特許文献３では、明るさ調節中ではＡＦを行わないことが開示されている。特許文献４では、検出した顔の重要度判定結果を基にＡＦを行うことが開示されている。
なお、特許文献１とは、特開平０６−０３８０９０号公報である。特許文献２とは、特開昭６３−１９７１７６号公報である。特許文献３とは、特開昭６３−２０７２７８号公報である。特許文献４とは、特開２００８−２０５６５０号公報である。特許文献５とは、特開２００７−６３０５号公報である。
特許文献１〜３では全て動画のフレーム間変化に関わる情報（撮像装置の動き、被写体の動き、撮像装置の処理の状態）のみに応じて焦点調節の制御を禁止または固定するかどうかを判定している。従って、一度制御の禁止または固定が判断されると、撮像されている被写体に変化があっても焦点調節が行われないということがあった。一方、特許文献４では、検出した顔の重要度判定の結果を基に焦点調節を行うかどうかを判定するため、動画のフレーム間変化がどのような状態であっても焦点調節が行われてしまうということがあった。これらのことから、従来の撮像装置は、適切に焦点調節が行われないことで撮影者または鑑賞者に好まれない見え方をする動画を提供してしまい、動画の見え方に対する撮影者または鑑賞者の満足度が低い場合があるという問題があった。特許文献５では、静止画/動画のどちらを撮影するかに従って、焦点調節のための駆動部材を駆動させるアクチュエータの速度上限及び加減速特性（これら2つを含め、合焦状態までの焦点調節の時間的特性と記述する）を変更している（具体的には、動画撮影時は静止画撮影時と比較して緩やかな焦点調節が行われるようになる）。しかし、被写体の状態、撮影する状態に関わらず一定の速度上限及び加減速特性が決定されるため、被写体の状態、撮影する状態によっては動画中の焦点調節の見えの好ましさが低下する場合があるという問題があった。
次に、本発明の実施形態についての説明を行う前に、どのような焦点調節の挙動が好まれるのかを調査した結果について説明する。
図５１は、焦点調節開始から合焦状態までの時間的特性の一例である。同図において、縦軸が焦点位置で横軸が時間である。焦点調節特性５１ａは、等速で焦点調節を行った場合の焦点調節特性である。焦点調節特性５１ｂは、人の眼球の物理的な焦点調節特性である。焦点調節特性５１ｃは、人の眼球の物理的な焦点調節特性を近似した焦点調節特性である。
どのような焦点調節の挙動が動画中で好まれるかについて調査するために、様々な挙動で焦点調節を行う動画を複数人に視聴してもらった。好ましい：10点、どちらでもない：5点、好ましくない：0点の11段階で視聴者が主観評価した結果を図５２に示す。図５２に示す結果は、例として図５１に示す3つの焦点調節特性に基づく挙動で焦点調節を行った動画の評価結果である。
この結果、図５１に示す人の眼球の物理的な焦点調節特性を適用させた焦点調節、又は同図に示す人の眼球の物理的な焦点調節特性を近似した焦点調節特性を適用させた焦点調節が動画観賞時に好まれ、後者の方がより好まれることが分かった。これは、人が目で見て本能で感じる主観的な焦点調節は、眼球の物理的な焦点調節特性そのままではなく、それを近似した焦点調節特性に近いためだと考えられる。また、人の主観的な焦点調節において、人は全ての被写体を適切な合焦状態で見ようとしている訳ではなく、見ている状態と見る対象の情報との双方を考慮して頭の中で「注目し易い被写体」「注目したい被写体」を選択し、その注目度に応じて焦点調節を行っていることが経験的に知られている（そのため、不必要な焦点調節は嫌われる。また、特許文献1〜4で焦点調節により画像が見苦しくなってしまうのも、見ている状態や見る対象の情報の片方しか考慮できていないため、場合によっては主観的な焦点調節との乖離が発生してしまうためだと考えられる）。従って、人の主観的な焦点調節に準じた焦点調節となるように撮像装置の焦点調節を行うことで動画観賞時の焦点調節動作を好ましくすることが可能であると考えられる。
＜第１の実施形態＞
以下、本発明の第１の実施形態について、図面を参照して詳細に説明する。図１は、本発明の第１の実施形態における撮像装置１の構成を示す概略ブロック図である。撮像装置１は、撮像部１２、人の主観的な焦点調節関連情報取得部１３、焦点調節決定部１５を備える。撮像光学系２は、被写体からの光を撮像部１２へ導き、撮像部１２の撮像素子で被写体の像を結像させる。撮像光学系２は、一例として撮像装置１から取り外し可能である。なお、撮像光学系２は撮像装置１に固定されていてもよい。
撮像部１２は、撮像光学系２により結像された被写体の像を撮像して動画像信号を生成し、生成した動画像信号を人の主観的な焦点調節関連情報取得部１３へ出力する。
人の主観的な焦点調節関連情報取得部１３は上記動画像信号から少なくとも人の主観的な焦点調節に関連する情報を取得する。ここで人の主観的な焦点調節に関連する情報は例えば２フレーム以上のフレーム間で生じる変化に関するフレーム間変化情報と、動画像信号に含まれる１フレーム内の情報であるフレーム内情報から決定される撮影する状況（例えば撮像装置の状態、動き等）・見ている被写体の状況（例えば被写体の動き・色等）に関する情報とである。人の感覚として、撮影する状況・見ている被写体の状況によって、焦点調節対象の被写体に対する注目度が変わる。従ってこれらの情報は、人の主観的な焦点調節に関連する情報の一つであると言える。
図５７は、この場合の撮像装置１の構成を示す概略ブロック図である。人の主観的な焦点調節関連情報取得部１３は、上記のフレーム間変化情報を取得するフレーム間変化情報取得部１３ａと、上記のフレーム内情報に関する情報を取得するフレーム内情報取得部１４ａとを備える。
また、人の主観的な焦点調節に関連する情報は上述のものに限らず、図５１に示されるような人の眼球の物理的な焦点調節特性（水晶体の動き）や同図に示されている人の眼球の物理的な焦点調節特性を近似したものでも良い。この場合は、予め撮像装置１の不図示のメモリ内に情報を格納しておき、必要な際にメモリを参照する形で情報を取得しても良い。
本実施形態における撮像装置１において、焦点調節決定部１５は、人の主観的な焦点調節に関連する情報を用いて焦点調節の挙動を決定する。これにより、鑑賞者の注意の向き易さや眼球の動きに応じた焦点調節を行うことができる。そのため、撮像装置１は、撮影者（または鑑賞者）がより好む見え方をする動画を提供することができるので、撮影者または鑑賞者の動画の見え方に対する満足度を向上させることができる。尚、本実施形態において焦点調節決定部１５は、人の主観的な焦点調節に関わる情報に従って、以下のように焦点調節の挙動を決定する。
（１）人の主観的な焦点調節に関わる情報に従って、被写体を合焦状態にするための焦点調節における加速度及び速度を決定することで焦点調節の挙動を決定する。
（２）人の主観的な焦点調節に関わる情報に従って、被写体を合焦状態にするための焦点調節における減速を開始するタイミングを決定することで焦点調節の挙動を決定する。
（３）人の主観的な焦点調節に関わる情報に従って、被写体を合焦状態にするための焦点調節における焦点調節を開始するタイミングを決定することで焦点調節の挙動を決定する。
（４）人の主観的な焦点調節に関わる情報に従って、焦点調節を駆動の可否を決定することで焦点調節の挙動を決定する。
尚、以降の実施例中において、「焦点調節を抑制する」「焦点調節を促進」するという用語を用いるが、これは以下のように定義される。
焦点調節を抑制する：焦点調節を禁止する、又は禁止され易くする、又は遅くする（焦点調節の速度・加速度を遅くする）。
焦点調節を促進する：焦点調節を実行する、又は実行され易くする、又は焦点調節を抑制する場合と比較して速くする（焦点調節の速度・加速度を速くする）。
続いて、図２を用いて、各実施例の撮影条件と想定するシーンについて説明する。図２は、各実施例の撮影条件と想定するシーンについて説明する図である。全ての実施例で撮影者が合焦させたい被写体が変わることを想定している。実施例１〜３では、撮像装置の変動なしの場合（被写体の変動のみ）を想定している。それに対して、実施例４〜５では、被写体変動無しの場合（撮像装置の変動のみ）を想定している。
続いて、各実施例が想定するシーンであるが、実施例１では、当初は撮像されていなかった被写体が移動してきて、画角内に登場するシーンを想定している。実施例２では、予め画面内に複数被写体があり、被写体の明るさが変わることで注目する被写体（合焦させたい被写体）が変わるシーンを想定している。実施例３では、被写体が移動して画面内から消え、隠れていた別の被写体が現れるシーンを想定している。実施例４では、撮像装置が物理的に動くことで画角内に撮像される被写体が変わるシーンを想定している。実施例５では、撮像装置が物理的に動くことで画角内に撮像される被写体が変わることを想定している。
＜実施例１＞
続いて、実施例１について説明する。本実施例では人の主観的な焦点調節に関わる情報として２フレーム以上のフレーム間で生じる変化に関するフレーム間変化情報と、動画像信号に含まれる１フレーム内の情報であるフレーム内情報とを取得する場合を想定する。本実施例では、図３のように撮像装置自体に動き及び変化が無い状態で、被写体が画面右から登場するシーンを対象に説明を行う。図３は、実施例１における撮影シーンの一例を説明するための図である。同図において、ある被写体が画面右から登場して、画面中央に移動しているシーンである。Ｎ＋１フレームの画像Ｇ１１（Ｎは正の整数）には、その被写体の画像領域が存在しない。Ｎ＋２フレームの画像Ｇ１２で、その被写体の画像領域Ｒ１２が画像Ｇ１２に向かって右側に示されている。Ｎ＋３フレームの画像Ｇ１３で、その被写体の画像領域Ｒ１３が画像Ｇ１３の中央に示されている。
図４は、実施例１における撮像装置１ａの構成を示す概略ブロック図である。撮像装置１ａは、撮像光学系２、撮影者入力部１１、撮像部１２ａ、画像処理部１０、焦点調節決定部１５ａ、焦点調節部１６及び記録部１７を備える。
撮像光学系２は、被写体からの光を撮像部１２ａへ導き、撮像部１２ａが備える撮像素子で被写体の像を結像させる。その撮像素子は被写体の動画像信号を生成する。撮像光学系２は、一例として撮像装置１ａから取り外し可能である。なお、撮像光学系２は撮像装置１ａに固定されていてもよい。撮像光学系２の構成は、以降の実施例も同様である。
撮影者入力部１１は、撮影者の入力を受け付ける。ここで、撮影者入力部１１は、撮影者による撮影開始指示を受け付ける記録開始釦１１１を備える。
撮像部１２ａは、被写体から撮像光学系２を介して入射した光を電気信号に予め決められたシャッター速度で変換することで、動画像信号を生成する。ここで撮像部１２ａは、焦点調節量取得部１２１を備える。
画像処理部１０は、撮像部１２ａから供給された動画像信号から画像データを生成し、生成した画像データを記録部１７に記録させる。ここで画像処理部１０は、フレーム間変化情報取得部１３ａ及びフレーム内情報取得部１４ａを備える。またフレーム間変化情報取得部１３ａは被写体動き情報取得部１３１を備え、フレーム内情報取得部１４ａは被写体大きさ情報取得部１４１を備える。
続いて、動画記録時の処理の順序に従って、撮像装置１ａの各部の処理を説明する。
＜処理１＞
まず、撮像装置１ａは、予め焦点調節を行うエリアの設定を行う。本実施例ではその一例として、撮像装置１ａが顔検出を行って顔の画像領域である検出顔を抽出し、抽出した検出顔を、焦点調節を行うエリアとして設定する。例えば、撮像装置１ａは、顔の中で特徴的な部分（例えば、目、口）の画像が格納された顔の特徴データベースを保持する。そして、画像処理部１０は、例えば、撮像により得られた画像中の画像領域を抽出し、抽出した画像領域と、顔の特徴データベースに記憶された画像とを照合することによって、被写体の顔の画像領域を検出する。これにより、焦点調節部１６は例えば、検出した被写体の顔の画像領域を検出顔として、その検出顔に対して焦点調節を行うことができる。
＜処理２＞
記録開始釦１１１は、撮影者からの動画記録の開始指示を受け付け、受け付けた開始指示を示す開始指示情報を撮像部１２ａに出力する。
撮像部１２ａは、撮影者入力部１１から開始指示情報を受け取ると、被写体から撮像光学系２を介して入射した光を電気信号に予め決められたシャッター速度で変換することで、動画像信号を生成する。これにより、撮像部１２ａは撮影者の指示に従い、動画記録を開始することができる。撮像部１２ａは、生成した動画像信号を画像処理部１０へ出力する。ここで撮像部１２ａの撮像素子における被写体の動画像信号を生成するための撮像素子の画素数は一例として、少なくともハイビジョン画像の画素数を越えるものであり、以降の実施例についての撮像素子の画素数も同様とする。
撮像部１２ａは例えば、像面に配置した複数の受光素子の一部が位相差を検出する位相差素子として用いられる撮像素子を備える。撮像部１２ａは、被写体から入射された光を複数の光束に分光し、分光された光束をそれぞれ異なる位相差素子に入射させる。これにより、位相差素子は、入射された光を電気信号に変換する。
＜処理３＞
焦点調節量取得部１２１は、設定された焦点調節を行うエリアの情報を基に、焦点調節対象エリアを合焦状態とするための焦点調節量を取得し、取得した焦点調節量を焦点調節部１６へ出力する。ここでは一例として、焦点調節量は撮像部の撮像素子の像面に配置した位相差素子から取得する。例えば焦点調節量取得部１２１は、異なる位相差素子が変換して得た電気信号の位相差を観測することにより、焦点調節量を取得する。焦点調節量取得部１２１は取得した焦点調節量を焦点調節部１６へ出力する。
＜処理４＞
被写体動き情報取得部１３１は、フレーム間変化に関わる情報として、被写体の変化情報（ここではその一例として動き速度）を画像処理によって取得する（検出顔の動画像面での動き速度＝被写体の動き速度として取得する）。動き速度は例えば、顔の中心速度（ｐｉｘｅｌ／Ｆｒａｍｅ）である。被写体動き情報取得部１３１は例えば、あるフレームにおける検出顔の中心位置と次のフレームにおける検出顔の中心位置を検出し、検出顔の中心位置の移動画素数を顔の中心速度として算出してもよい。
なお、これに限らず、被写体動き情報取得部１３１は、撮像装置から被写体までの距離（この距離は一例として、位相差素子から検出されたものとする）、画角及び撮像素子の横方向の長さから、実空間上での撮像範囲の横幅を算出してもよい。そして、被写体動き情報取得部１３１は、算出した実空間上での撮像範囲の横幅に、検出顔の中心位置の移動画素数（ｐｉｘｅｌ）を撮像画像の水平方向の画素数（例えば、１０２４）で割った数を乗じることで、検出顔の中心位置の移動画素数を、実空間上での顔の中心速度（ｍ／Ｆｒａｍｅ）に換算してもよい。
本実施例では、被写体の大きさ同様、取得した被写体の動き速度を、撮像装置１ａ内の予め不図示のメモリに保存されていた任意の閾値と比較することによって、「かなり速い」、「ある程度速い」、「中程度」、「遅い」の何れかに判定するが、取得した被写体の動き速度（例えば画素／フレーム）をそのままを用いても良い。
被写体動き情報取得部１３１は、被写体の動き速度を示す被写体動き速度情報を焦点調節決定部１５ａへ出力する。
＜処理５＞
被写体大きさ情報取得部１４１は、１フレーム内情報として被写体の大きさを示す被写体大きさ情報を取得し、取得した被写体大きさ情報を焦点調節決定部１５ａへ出力する。その具体的な処理の一例を説明する。撮像装置１ａの不図示のメモリには例えば、被写体の大きさを分類するための閾値として、「特大（画面内からはみ出る程度）」と「大」とを分ける第１閾値、「大」と「中」とを分ける第２閾値、及び「中」と「小」とを分ける第３閾値が予め記憶されている。ここで「特大」、「大」、「中」、「小」は、それぞれ被写体の大きさの分類である。
その場合に、被写体大きさ情報取得部１４１は例えば、検出顔の大きさを被写体の大きさとして取得し、取得した被写体の大きさと不図示のメモリに記憶されている第１閾値、第２閾値、及び第３閾値とを比較することによって被写体の大きさを「特大」、「大」、「中」、「小」の何れかに判定する。なお、これに限らず、例えば検出顔の画素数の情報をそのまま利用しても良い。被写体の大きさは検出顔の大きさに限らず、被写体大きさ情報取得部１４１は、例えば公知の図地判定等の技術により、背景領域とそうでない被写体領域を判定し、焦点調節を行うエリア近傍の被写体領域の大きさを被写体の大きさとしても良い。ここで、焦点調節を行うエリア近傍は例えば、焦点調節を行うエリアを含み、そのエリアから予め決められた画素数だけ離れた画素も含む。
続いて被写体大きさ情報取得部１４１の具体的な処理例を説明する。例えば、被写体大きさ情報取得部１４１は、各画像領域の色または各画像領域の撮像装置からの距離（この距離は一例として、位相差素子から検出されたものとする）を用いて、図地判定し、「図」と判定された画像領域のうち、上述した焦点調節を行うエリア（ここでは一例として、検出顔）に最も近い画像領域の大きさを被写体の大きさとしても良い。
なお、被写体は任意に選択可能であり、例えば、撮影者入力部１１が、撮影者による被写体の選択の入力を受け付け、被写体大きさ情報取得部１４１は、撮影者入力部１１が受け付けた入力が示す被写体について、被写体大きさ情報を取得してもよい。
また、本実施例では、被写体大きさ情報取得部１４１は一例として、フレーム内での被写体の大きさを被写体大きさ情報として取得しているが、例えば下記の処理で被写体の物理的大きさ情報を取得し、被写体大きさ情報として利用しても良い。
（１）被写体の物理的大きさ情報の取得処理１
被写体大きさ情報取得部１４１は一例として、前フレーム情報を用いて三角測量を行い、物理的な被写体の大きさを求めてもよい。
（２）被写体の物理的大きさ情報の取得処理２
撮像装置１ａは予め一般的な被写体の平均的大きさをメモリ（不図示）に記憶しておく。撮像装置１ａは、公知の技術を用いて撮像する被写体の物体認識処理を行い、撮像する被写体が何であるかを特定してもよい。そして、被写体大きさ情報取得部１４１は一例として、予め記憶しておいたその被写体の平均的大きさ情報を被写体の物理的大きさとして求めてもよい。
＜処理６＞
焦点調節決定部１５ａは例えば、被写体大きさ情報取得部１４１が取得した被写体大きさ情報と、被写体動き情報取得部１３１が取得した被写体動き速度情報とから、明るさ調節の挙動を決定する。その具体的な処理の一例について説明する。例えば、撮像装置１ａ内の不図示のメモリには、被写体の大きさと被写体の動き速度との組に対して、一つの明るさ調節速度抑制係数αが関連付けられた図５のようなテーブルが記憶されている。その場合、焦点調節決定部１５ａは例えば、図５のテーブルを参照して、取得した被写体大きさ情報と取得した被写体動き速度情報の組に対応する焦点調節の速度抑制係数αを読み出す。
また例えば、予め不図示のメモリに動画撮影時の基準焦点調節速度Ｖｂａｓｅが記憶されている。焦点調節決定部１５ａは例えば、メモリから基準焦点調節速度Ｖｂａｓｅを読み出し、次の式（１）に従って実際の焦点調節速度Ｖｃｏｎｔｒｏｌを決定する。
Ｖｃｏｎｔｒｏｌ＝Ｖｂａｓｅ×α …式（１）
式（１）から分かるように、抑制係数が低い程、焦点調節速度が遅くなるため、結果として焦点調節が抑制される。本実施例では焦点調節決定部１５ａにおいて焦点調節の速度を変更するようにしているが、例えば焦点調節を「動作させるか」、「禁止するか」のいずれかを選択するようにして焦点調節を抑制しても良い。
焦点調節決定部１５ａは、決定した焦点調節の挙動を焦点調節部１６へ出力する。
図５は、焦点調節の速度抑制係数αを決定するためのテーブルの一例である。同図のテーブルＴ１において、被写体の動き速度と被写体の大きさの組毎に、焦点調節の速度抑制係数αが関連付けられている。被写体の動き速度が「かなり速い」と判定された場合には焦点調節の速度抑制係数αが小さい傾向にあり、それよりも遅い（図５内「ある程度速い」「中程度」「遅い」である場合）は被写体の動き速度が遅い程、焦点調節の速度抑制係数αが小さくなる傾向にある。これは、移動する被写体の動きが速すぎる場合には鑑賞者は焦点調節を行いたいと判断し難いが、一旦焦点調節を行いたいと判断された場合には被写体の移動速度が遅い程、緩やかな焦点調節が好まれる傾向にあるからである。従ってある程度以上被写体の移動速度が速い場合には焦点調節を抑制し、ある程度以下の速度である場合には速度が遅い程焦点調節を抑制することによって撮影者（または鑑賞者）がより好む見え方をする動画を提供することができる。また、焦点調節の速度抑制係数αは、被写体の大きさが「大」及び「中」の場合に大きい傾向にあり、「小」、「特大」の順に小さくなる傾向にあり、焦点調節が抑制される。被写体の大きさが小さすぎる又は大きすぎる場合には、移動する被写体に鑑賞者の意識が向き難い傾向にあるので、焦点調節を抑制することで、撮像装置１ａは、撮影者（または鑑賞者）がより好む見え方をする動画を提供することができる。
＜処理７＞
焦点調節部１６は、焦点調節決定部１５ａが決定した焦点調節の挙動（焦点調節の速度）に基づいて撮像光学系２の焦点調節用光学系を制御し、焦点を調節する。なお本実施例では撮像光学系２の焦点調節用光学系を制御し、焦点調節を行うが、この処理に限らず、例えば参考文献「“Light Field Photography with a Hand-Held Plenoptic Camera” Ren Ng et al. Stanford Tech Report CTSR 2005-02」に示されるような構造の撮像光学系等を用いて撮影を行い、撮影後に画像処理によって、焦点調節を行うエリアに焦点が合った画像を生成しても良い。ここで、上記参考文献に示される構造の撮像光学系とは、ライトフィールドカメラの構造の撮像光学系で、撮像装置の主レンズと撮像素子の間にマイクロレンズアレイを付けて、多くの方向からの光線を同時に記録させる光学系である。これにより、撮影後に背景から手前まで焦点を自在に変えられる。
撮影者入力部１１が、撮影者から撮影の終了の指示を受け付けるまで、撮影装置１ａは上述した処理３〜７の処理を繰り返す。
続いて、図６は、実施例１における撮像装置１ａの処理の流れの一例を示すフローチャートである。
（ステップＳ１０１）まず、記録開始釦１１１が押された場合、撮像部１２ａは、撮影を開始する。
（ステップＳ１０２）次に、焦点調節量取得部１２１は、焦点調節量を取得する。
（ステップＳ１０３）次に、被写体大きさ情報取得部１４１は、被写体大きさ情報を取得する。
（ステップＳ１０４）次に、被写体動き情報取得部１３１は、被写体動き情報の一例として、被写体動き速度情報を取得する。
（ステップＳ１０５）次に、焦点調節決定部１５ａは、被写体動き速度情報と被写体大きさ情報とを用いて、焦点調節の挙動を決定する。
（ステップＳ１０６）次に、焦点調節部１６は、決定された焦点調節の挙動に従って焦点調節する。
（ステップＳ１０７）次に、撮像部１２ａは、撮影者入力部１１が受け付ける情報に基づいて、撮影終了か否か判定する。撮影終了で無い場合（ＮＯ）、ステップＳ１０２に戻る。撮影終了の場合（ＹＥＳ）、撮像装置１ａはその処理を終了する。以上で、本フローチャートの処理を終了する。
以上、実施例１において、焦点調節決定部１５ａは例えば、被写体動き速度情報と被写体大きさ情報とを用いて焦点調節の挙動を決定する。例えば、撮像装置１ａに動き及び変化が無い状態で被写体（図３の例では人）が画面右から登場し、焦点調節を行うようなシーンでは、移動する被写体の移動速度が速すぎる場合、撮影者（視聴者）はその被写体を合焦状態にしたいと判断しない傾向にあるので、焦点調節決定部１５ａは焦点調節を抑制するよう焦点調節挙動を決定する。しかし、一旦焦点調節を行いたいと判断された場合には（被写体の移動速度がある程度以下の場合には）被写体の移動速度が遅い程、緩やかな焦点調節が好まれる傾向にあるので、焦点調節決定部１５ａは、移動速度が遅い程焦点調節を抑制するように焦点調節挙動を決定する。また撮影者（視聴者）は移動する被写体の大きさが小さすぎる又は大きすぎる場合には移動する被写体に意識が向き難い傾向にあるので、移動する被写体の大きさが予め決められた第６閾値より小さいか、または第７閾値より大きい場合、焦点調節決定部１５ａは焦点調節を抑制するよう焦点調節挙動を決定する。ここで第７閾値は第６閾値より大きい。このように、人の注意の向け易さに応じた焦点調節を行うことができるので、撮像装置１ａは、撮影者（または鑑賞者）がより好む見え方をする動画を提供することができる。
なお、本実施例では、被写体動き情報取得部１３１は被写体の動き情報として被写体の動き速度情報を取得したが、実施例１と同様に、これ以外に被写体の動き量等（以下に列挙する）を取得し、焦点調節の挙動を決定しても良い
＜変形例１：被写体の動き量＞
図４内の被写体動き情報取得部１３１は、「被写体の動き速度」ではなく、「被写体の動き量」を取得しても良い。
被写体動き情報取得部１３１は、被写体の動き量を被写体の動き速度同様、画像処理によって取得してもよい。ここで言う動き量とは、任意の被写体が動き始めてからの動き量でも良いし、任意の数のフレーム間における動き量でも良い。本実施例では予め動き中の被写体が画角に登場するため、被写体動き情報取得部１３１は一例として画角に登場したフレームからの動き量を取得する。この場合、被写体が画角に登場した時からの動き量が大きい程（被写体が画角内である程度の距離動いた後の方が）撮影者（または鑑賞者）は動いている被写体を合焦状態にしたいと判断し易い。従って、焦点調節決定部１５ａは、被写体の動き量が少ない程、焦点調節の動作を抑制するように焦点調節の挙動を決定しても良い。
＜変形例２：複数被写体の移動状態の差情報＞
図４内の被写体動き情報取得部１３１が、「被写体の動き速度」ではなく、「複数被写体の移動状態の差」を取得しても良い。
被写体動き情報取得部１３１は、複数被写体の移動状態の差情報（例えば移動方向の差）を被写体の速度同様、例えば次の処理方式で画像処理によって取得する。被写体動き情報取得部１３１は例えば、被写体の顔検出を行い、複数顔が検出された場合に、全ての検出顔に対して動き情報を取得する。この際、焦点調節対象の検出顔の動き方向が他の検出顔の動き方向と異なる場合には、その被写体に対して意識を向け易いが同様の場合には意識を向け難い。従って、被写体動き情報取得部１３１は、複数被写体の移動状態の差情報（ここでは移動方向の差）を取得し、焦点調節決定部１５ａは、複数被写体の移動状態の差（ここでは移動方向の差）が無い程、焦点調節の動作を抑制するように焦点調節の挙動を決定すると良い。
また、ここでは複数被写体の移動状態の差情報として移動方向の差情報を取得しているが、被写体動き情報取得部１３１は、移動速度の差情報や移動量の差等を取得してもよい。その場合、焦点調節決定部１５ａは、移動速度の差情報または移動量の差等を用いて、焦点調節の挙動を決定しても良い。例えば、焦点調節決定部１５ａは、ある被写体が他のものに比べて移動速度の差が予め決められた基準を超える場合、焦点調節を促進しても良い。これにより、ある被写体と他のものとの移動速度の差が大きい場合に、鑑賞者がその被写体に注意が向き、その被写体を早くはっきりみたいと思うので、焦点調節を促進することで、鑑賞者の満足度を向上させることができる。逆に、ある被写体と他のものとの移動速度の差が予め決められた基準以下の場合、焦点調節決定部１５ａは焦点調節を抑制しても良い。ある被写体が他のものに比べて移動速度がほとんど変わらない場合に、鑑賞者はその被写体に注意が向かずその被写体を早くはっきりみたいと思わないので、焦点調節を抑制することで、撮像装置１ａは、撮影者（または鑑賞者）がより好む見え方をする動画を提供することができる。
＜変形例３：被写体の動き種類情報＞
図４内の被写体動き情報取得部１３１が、「被写体の動き速度」ではなく、「被写体の動き種類情報」を取得しても良い。ここで被写体の動き種類情報とは例えば被写体が人間である場合には「歩いている」ときの動きに関する情報や「走っている」ときの動きに関する情報等である。
被写体動き情報取得部１３１は、被写体の動き種類情報を被写体の速度同様、例えば次の処理方式で画像処理によって取得する。
手順１：人間が歩いているときの顔領域の画像上での動きのパターンに関する情報と、人間が走っているときの顔領域の画像上での動きのパターンに関する情報とを、参照情報として撮像装置１ａのメモリ内に予め格納しておく。
手順２：撮影者が撮影を開始すると、撮像部１２ａが上述のように被写体の動画像信号を生成する。
手順３：被写体動き情報取得部１３１が、撮像部１２ａにより生成された動画像信号に対して顔認識処理を行うことにより顔領域を検出する。
手順４：被写体動き情報取得部１３１が、上記検出した顔領域をトラッキングすることにより、その顔領域の画像上での動きに関する情報を取得する。
手順５：被写体動き情報取得部１３１が、上述の手順１でメモリに参照情報として格納した複数の動きのパターン（歩いているときの動きのパターン、走っているときの動きのパターン等）における人間の顔領域の画像上での動きに関する情報と、上述の手順４で検出した顔領域の動きに関する情報とを照合することにより、手順１で格納した複数の動きのパターンのうち、手順４で取得した動きに最も近似するパターンの動きを現在の被写体の動き（人の顔の動き）に関する情報として特定する。例えば、手順４で取得した動きが、手順１で格納した動きのパターンのうち、人間が走っているときの顔領域の動きのパターンと最も近似すれば、被写体動き情報取得部１３１は、被写体の動きは人間が走っているときの動きであると判定する。
なお、被写体が人間である場合に、被写体が「歩いている」ときの動きと、「走っている」ときの動きとを画像処理により判定する手順は、上記手順１から５には、限定されない。
人は被写体が歩いている場合よりも走っている場合により速く焦点調節を行いたいと思う傾向があるため、焦点調節を促進するように焦点調節挙動を決定すると良い。
＜変形例４：被写体の動き方向＞
図４内の被写体動き情報取得部１３１が、「被写体の動き速度」ではなく、「被写体の動き方向」を取得しても良い。被写体動き情報取得部１３１は、被写体の動き種類情報を被写体の速度同様、画像処理によって取得する。人の感覚として、斜め方向に動く被写体よりも、水平垂直方向に被写体が動く場合の方が速く焦点調節を行いたいと思う傾向があるため、被写体が水平方向に動く場合には焦点調節が促進されるように焦点調節の挙動を決定すると良い。
また、本実施例では被写体の変化情報として被写体の動き情報を取得しているが他にも以下の情報を取得して焦点調節の挙動を決定しても良い。
＜変形例５：被写体の色変化情報＞
図４内の被写体動き情報取得部１３１が被写体の変形情報取得部に変わり、被写体の変形情報取得部が「被写体の動き速度」ではなく、「被写体の色変化情報」を取得しても良い。ここで被写体の色変化情報は、被写体の色変化を示す情報である。
例えば被写体が色変化するような時（舞台上の背景変更や被写体の着替え等）、色の変化量または変化速度等によって被写体への注目のし易さが変化する。焦点調節の挙動決定の処理方式、効果は被写体の動き情報を取得する場合と同様である。従って被写体の変形情報取得部が被写体の色変化情報を取得し、焦点調節決定部１５ａが焦点調節の挙動を決定しても良い。具体的には例えば、色変化量または色変化速度が小さい場合には、鑑賞者は被写体に注意が向かないので、ある被写体の色変化量または色変化速度が小さいほど、焦点調節決定部１５ａは焦点調節を抑制しても良い。また、ある被写体の色変化量または色変化速度が予め決められた基準以下の場合、鑑賞者は被写体に注意が向かないので、焦点調節決定部１５ａは焦点調節を抑制しても良い。
＜変形例６：被写体の変形情報＞
図４内の被写体動き情報取得部１３１が被写体の変形情報取得部にかわり、被写体の変形情報取得部は「被写体の動き速度」ではなく、「被写体の変形情報」を取得しても良い。
例えば被写体が変形する（風船が膨らむ等）ときの被写体の変形速度または変形量によって被写体への注目のし易さが変化する。焦点調節の挙動決定の処理、効果は被写体の動き情報を取得する場合と同様である。従って被写体の変形情報取得部が被写体の変形情報を取得し、焦点調節決定部１５ａが焦点調節の挙動を決定しても良い。具体的には例えば、被写体の変形速度または変形量が小さい場合には、鑑賞者は被写体に注意が向かないので、ある被写体の変形速度または変形量が小さいほど、焦点調節決定部１５ａは焦点調節を抑制しても良い。また、ある被写体の色変化量または色変化速度が予め決められた基準以下の場合、焦点調節決定部１５ａは焦点調節を抑制しても良い。
＜変形例７：撮像される動画像信号のフレーム間信号値変化量＞
図４内の被写体動き情報取得部１３１が撮像される動画像信号のフレーム間信号変化量取得部に変わり、撮像される動画像信号のフレーム間信号変化量取得部は、被写体の動き速度ではなく、撮像される動画像信号のフレーム間信号値変化量を取得しても良い。
ここで、焦点調節決定部１５ａは例えば、全ての画素について対応する画素値の差分を算出し、算出した差分の絶対値の総和をフレーム間信号値変化量として取得してもよい。
撮像される動画像信号内のフレーム間信号値変化量（ここから変化速度等も求めることが可能）を取得してもよい。焦点調節の挙動決定の処理、効果は被写体の動き情報を取得する場合と同様である。
例えば、フレーム間信号値変化量が大きい場合とは、パンニングしている場合、または画面内でたくさん変化が起こっている場合などである。その状態で更に焦点調節を行うと動画の見た目が悪くなるので、その状態で焦点調節が行われることを鑑賞者は好まない。よって、例えば、焦点調節決定部１５ａはフレーム間信号値変化量が大きいほど、焦点調節を抑制しても良い。また、焦点調節決定部１５ａはフレーム間信号値変化量が予め決められた基準を超える場合、焦点調節を抑制しても良い。
＜変形例８：フレーム画像の任意の点又は領域の追尾情報＞
図４内の被写体動き情報取得部１３１が追尾情報取得部に変わり、追尾情報取得部は、「被写体の動き速度」ではなく、フレーム画像の任意の点又は領域の追尾情報を取得しても良い。ここで、フレーム画像は、動画像信号からフレーム毎に得られる画像である。
追尾情報取得部は、公知の技術により得られる顔に限らない画像内の任意の特徴的な点（コーナーやエッジ等）や任意の領域の追尾情報を取得してもよい。焦点調節の挙動決定の処理、効果は被写体の動き情報を取得する場合と同様である。追尾情報は例えば、公知のトラッキング技術による、特徴量空間での変化量である。
追尾が予め決められた基準よりも滑らかにできていない場合、被写体の動きが不規則で、ピントを合わせても更にピントを合わせることが生じるので、焦点調節決定部１５ａは焦点調節を抑制しても良い。また、追尾した結果、追尾対象が速く動きすぎていた場合またはあまり動いていなかった場合、鑑賞者は追尾対象に注意が向かない。よって、例えば、追尾対象の移動速度が予め決められた第１閾値を超える場合または追尾対象の移動量（あるいは移動速度）が予め決められた第２閾値以下の場合、焦点調節決定部１５ａは焦点調節を抑制しても良い。ここで第２閾値は、第１閾値よりも小さい。
また、追尾対象の移動量または追尾対象の移動速度が小さい場合には、鑑賞者は追尾対象に注意が向かない。よって、焦点調節決定部１５ａは追尾対象の移動量または追尾対象が小さいほど、焦点調節を抑制しても良い。
本実施例では人の主観的な焦点調節に関わる情報としてフレーム間変化に関わる情報と１フレーム内の情報とを用いて焦点調節の挙動を決定しているが、焦点調節決定部１５ａはこの他に、「撮影のための設定に関わる情報」または「何れの位相差素子を使用するかに関わる情報」も用いて、焦点調節の挙動を補正しても良い（具体例を以下に示す）。
これらの情報は人の主観的な焦点調節に関わる情報そのものとは言い難いが、動画観賞時の好ましい焦点調節に影響を与える要素である。これらの情報を追加で取得し、取得した情報を用いて、決定した焦点調節の挙動を補正することによってより好ましい焦点調節の挙動を決定することができる。
ここで、何れの位相差素子を使用するかに関わる情報は、本実施例のように位相差信号を用いて焦点調節を行う際に何れの位相差素子を使用して該焦点調節量を取得するかを可変することが可能な場合に取得可能である。
例えば、焦点調節決定部１５ａは、フレーム間変化に関わる情報として取得した被写体の動き情報と１フレーム内の情報として取得した被写体大きさ情報を用いて焦点調節の挙動を仮に決定し、更に以下の第３の情報も用いて、仮に決定した焦点調節の挙動を補正することで、焦点調節の挙動を決定してもよい。
＜変形例９：撮影のための設定に関わる情報＞
図７は、変形例９における撮像装置１ｂの構成を示す概略ブロック図である。なお、図４と共通する要素には同一の符号を付し、その具体的な説明を省略する。変形例９における撮像装置１ｂの構成は、図４の実施例１の撮像装置１ａの構成に対して、撮影設定情報取得部１８が追加され、焦点調節決定部１５ａが焦点調節決定部１５ｂに変更されたものになっている。
撮影設定情報取得部１８は、撮影のための設定に関わる情報である撮影設定情報を取得し、取得した撮影のための設定に関わる情報を焦点調節決定部１５ｂへ出力する。
＜変形例９の例１＞
第１の例として撮影設定情報取得部１８は、撮影設定情報として撮像装置１ｂのＩＳＯ感度設定情報を取得する。撮像装置１ｂのＩＳＯ感度が高いと画面内のノイズが増え、動画の見えが煩わしくなる。このような状態では更なる動画像内の変化は嫌われ易いため、感度が高い場合には焦点調節を抑制するようにした方が良い。
例えば、不図示のメモリにＩＳＯ感度と焦点調節抑制係数βとが関連付けられたテーブルが予め記憶されている。そのテーブルでは一例としてＩＳＯ感度が高いほど、焦点調節抑制係数βが小さくなる。具体的な補正例としては、例えば焦点調節決定部１５ｂは不図示のメモリのテーブルを参照して、撮像装置１ａのＩＳＯ感度に対応する焦点調節抑制係数βを読み出すことで焦点調節抑制係数βを決定する。そして、焦点調節決定部１５ｂは例えば、次の式（２）に従って、最終的な焦点調節の挙動を決定する。
Ｖｃｏｎｔｒｏｌ＝Ｖｂａｓｅ×α×β …式（２）
式（２）は前述した式（１）によって決定された焦点調節の挙動を補正するような式になっている。式（２）から分かるように、焦点調節決定部１５ｂは焦点調節抑制係数βが小さい程、焦点調節が抑制されるように焦点調節の挙動を補正する。すなわち焦点調節決定部１５ｂはＩＳＯ感度が高いほど、式（２）内の焦点調節抑制係数βを小さくして、焦点調節が抑制されるように焦点調節の挙動を補正する。
＜変形例９の例２＞
第２の例として撮影設定情報取得部１８は、撮影設定情報として撮像装置１ｂのシャッター速度設定情報を取得する。撮像装置１ｂのシャッター速度設定が動画撮像時のフレームレートに対して速いと、動画の動きの滑らかさが無くなる（動画がパラパラマンガのように見える）。よって、焦点調節決定部１５ｂは例えば、撮像装置１ｂのシャッター速度設定が動画撮像時のフレームレートに対して速いほど、焦点調節を抑制するよう焦点調節の挙動を補正する。
例えば、不図示のメモリにシャッター速度と焦点調節抑制係数βとが関連付けられて予め記憶されている。図８は、不図示のメモリに記憶されているシャッター速度と焦点調節抑制係数βとが関連付けられたテーブルＴ２の一例である。同図において、シャッター速度が速くなるほど、焦点調節抑制係数βが小さくなっている。
具体的な補正例として、例えば焦点調節決定部１５ｂは不図示のメモリに記憶されたテーブルＴ２（図８参照）を参照して、シャッター速度設定に対応する焦点調節抑制係数βを読み出すことで、焦点調節抑制係数βを決定する。焦点調節決定部１５ｂは例えば、例１と同様に、式（２）に従って焦点調節の挙動を補正する。これにより、焦点調節決定部１５ｂは、シャッター速度設定が速い程、式（２）内の焦点調節抑制係数βが小さくなるので、焦点調節を抑制するように焦点調節の挙動を補正する。
＜変形例９の例３＞
第３の例として撮影設定情報取得部１８は、撮影設定情報として、撮像装置１ｂに取り付けた撮像光学系２のＦ値設定情報を取得する。撮像装置１ｂに取り付けた撮像光学系２のＦ値設定が小さいと被写界深度が浅くなる。被写界深度が浅い場合には一つの被写体に対して意識を向け易い。従って、焦点調節決定部１５ｂは例えば、撮像装置１ｂのＦ値設定が大きい程、焦点調節を抑制するように焦点調節の挙動を補正する。
例えば、不図示のメモリにＦ値と焦点調節抑制係数βとが関連付けられたテーブルが予め記憶されている。そのテーブルでは例えば、Ｆ値が大きい程、焦点調節抑制係数βが小さくなる。具体的な補正の処理としては、例えば焦点調節決定部１５ｂは不図示のメモリのテーブルを参照して、Ｆ値に対応する焦点調節抑制係数βを読み出すことで、焦点調節抑制係数βを決定する。焦点調節決定部１５ｂは例えば、例１と同様に、式（２）に従って焦点調節の挙動を補正する。これにより、焦点調節決定部１５ｂは、Ｆ値が大きい程、式（２）内の焦点調節抑制係数βが小さくなるので、焦点調節を抑制するように焦点調節の挙動を補正する。
＜変形例９の例４＞
第４の例として撮影設定情報取得部１８は、撮影設定情報として、撮像装置１ｂに取り付けた撮像光学系２の焦点距離設定情報を取得する。撮像装置１ｂの焦点距離が短いほど、鑑賞者は広く周囲を見渡すため一つの被写体に対して意識を向け難い。従って、焦点調節決定部１５ｂは例えば、撮像装置１ｂに取り付けた撮像光学系２の焦点距離設定が短い程、焦点調節を抑制するように焦点調節の挙動を決定する。
例えば、不図示のメモリに焦点距離と焦点調節抑制係数βとが関連付けられたテーブルが予め記憶されている。そのテーブルでは例えば、焦点距離が短い程、焦点調節抑制係数βが小さくなる。具体的な補正の処理としては、例えば焦点調節決定部１５ｂは不図示のメモリのテーブルを参照して、焦点距離に対応する焦点調節抑制係数βを読み出すことで、焦点調節抑制係数βを決定する。焦点調節決定部１５ｂは例えば、例１と同様に、式（２）に従って焦点調節の挙動を補正する。これにより、焦点調節決定部１５ｂは焦点距離が短い程、式（２）内の焦点調節抑制係数βが小さくなるので、焦点調節を抑制するように焦点調節の挙動を補正する。
＜変形例９の例５＞
第５の例として撮影設定情報取得部１８は、撮影設定情報として撮像装置１ｂの画像処理の設定情報を取得する。撮像装置１ｂの画像処理の設定情報としてＮＲ（ノイズリダクション）強度を取得する。ＮＲが弱くかけられている程、動画の画面内が煩わしい状態になり易い。従って、焦点調節決定部１５ｂは例えば、ＮＲ強度が低い程、焦点調節を抑制するように焦点調節の挙動を決定する。
例えば、不図示のメモリにＮＲ強度と焦点調節抑制係数βとが関連付けられたテーブルが予め記憶されている。そのテーブルでは例えば、ＮＲ強度が低い程、焦点調節抑制係数βが小さくなる。
具体的な補正の処理としては、例えば焦点調節決定部１５ｂは不図示のメモリのテーブルを参照して、ＮＲ強度に対応する焦点調節抑制係数βを読み出すことで、焦点調節抑制係数βを決定する。焦点調節決定部１５ｂは例えば、例１と同様に、式（２）に従って焦点調節の挙動を補正する。これにより、焦点調節決定部１５ｂはＮＲ強度が低い程、式（２）内の焦点調節抑制係数βが小さくなるので、焦点調節を抑制するように焦点調節の挙動を補正する。
＜変形例９の例６＞
第６の例として撮影設定情報取得部１８は、撮影設定情報の一例である撮像装置１ｂの画像処理の設定情報として表現強調処理の有無または強度を取得する。ここで表現強調処理とは例えば画像全体の彩度を強調し、撮像した画像をカラフルで印象的に強調するような処理等である。表現強調処理がかけられている程、画面内の眼への刺激が強くなるため、焦点調節を抑制した方がよい。従って、焦点調節決定部１５ｂは例えば、表現強調処理がかけられている程度が大きいほど、焦点調節を抑制するように焦点調節の挙動を決定する。具体的には、焦点調節決定部１５ｂは例えば、表現強調処理の強度が高い程、焦点調節を抑制するように焦点調節の挙動を決定する。また焦点調節決定部１５ｂは例えば、表現強調処理がかけられていないよりもかけられている方の焦点調節をより抑制するように焦点調節の挙動を決定する。
例えば、不図示のメモリに表現強調処理の強度と焦点調節抑制係数βとが関連付けられたテーブルが予め記憶されている。そのテーブルでは例えば、表現強調処理の強度が高い程、焦点調節抑制係数βが小さくなる。また、表現強調処理がかけられていない場合、表現強調処理の強度は０である。
具体的な補正の処理としては、例えば焦点調節決定部１５ｂは不図示のメモリのテーブルを参照して、表現強調処理の強度に対応する焦点調節抑制係数βを読み出すことで、焦点調節抑制係数βを決定する。焦点調節決定部１５ｂは例えば、例１と同様に、式（２）に従って焦点調節の挙動を補正する。これにより、焦点調節決定部１５ｂは、表現強調処理の強度が高い程、式（２）内の焦点調節抑制係数βが小さくなるので、焦点調節を抑制するように焦点調節の挙動を補正する。
図９は、変形例９における撮像装置の処理の流れの一例を示すフローチャートである。
（ステップＳ２０１）まず、記録開始釦１１１が押された場合、撮像部１２ａは、撮影を開始する。
（ステップＳ２０２）次に、焦点調節量取得部１２１は、焦点調節量を取得する。
（ステップＳ２０３）次に、被写体大きさ情報取得部１４１は、被写体大きさ情報を取得する。
（ステップＳ２０４）次に、被写体動き情報取得部１３１は、被写体動き情報の一例として被写体動き速度情報を取得する。
（ステップＳ２０５）次に、撮影設定情報取得部１８は、撮影設定情報を取得する。
（ステップＳ２０６）次に、焦点調節決定部１５ｂは、被写体動き速度情報と被写体大きさ情報と撮影設定情報とを用いて、焦点調節の挙動を決定する。
（ステップＳ２０７）次に、焦点調節部１６は、決定された焦点調節挙動に従って焦点調節する。
（ステップＳ２０８）次に、撮像部１２ａは、撮影終了か否か判定する。撮影終了で無い場合（ＮＯ）、ステップＳ２０２に戻る。撮影終了の場合（ＹＥＳ）、撮像装置１ｂはその処理を終了する。以上で、本フローチャートの処理を終了する。
以上、変形例９において、焦点調節決定部１５ｂは例えば、被写体動き情報と被写体大きさ情報に加えて撮影設定情報も用いて、焦点調節挙動を決定する。その際、撮像装置１ｂは例えば、疎な間隔での位相差素子が使われている状態である程、焦点調節を抑制するように焦点調節の挙動を決定する。これにより、撮像装置１ｂは、撮影設定情報で焦点調節挙動を補正できるので、より観賞者の注意の向け易さに応じた焦点調節をすることができる。そのため、撮像装置１ｂは、撮影者（または鑑賞者）がより好む見え方をする動画を提供することができる。
＜変形例１０：ユーザによる手動入力に基づく位相差素子使用状況＞
図１０は、変形例１０における撮像装置１ｃの構成を示す概略ブロック図である。なお、図４と共通する要素には同一の符号を付し、その具体的な説明を省略する。変形例１０における撮像装置１ｃの構成は、図４の実施例１の撮像装置１ａの構成に対して、位相差使用状況取得部１９が追加され、撮影者入力部１１が撮影者入力部１１ｂに変更されたものになっている。撮影者入力部１１ｂは、図４の実施例１の撮影者入力部１１に比べて、使用位相差画素入力部１１２が追加されたものになっている。
変形例１０では、位相差信号を用いて焦点調節量の取得を行う際に、何れの位相差素子を使用して焦点調節量を取得するかを可変することが可能な場合を想定する。例えば、ユーザは、使用する位相差素子の画素である使用位相差画素を入力する。
使用位相差画素入力部１１２は、そのユーザによる使用位相差画素の入力を受け付け、受け付けた入力情報を位相差使用状況取得部１９と焦点調節量取得部１２１へ出力する。
位相差使用状況取得部１９は、使用位相差画素入力部１１２から入力された入力情報から、何れの位相差素子を使用するかに関する位相差素子使用状況情報を取得する。ここで位相差素子使用状況情報は例えば、位相差素子を疎な間隔で使用する（読み出し速度優先）か、密な間隔で使用する（追従性優先）かを示す。
焦点調節量取得部１２１は、使用位相差画素入力部１１２から入力された入力情報から、焦点調節量を算出するのに使用する位相差素子を決定し、その位相差素子を用いて焦点調節量を取得する。
この場合、比較的密な間隔の位相差素子を使用するか、疎な間隔の位相差素子を使用するかによって、被写体の動きに対する追従のし易さが変わる。間隔が密な場合には滑らかに追従し易いが、疎な場合には滑らかな追従を行い難いため、必要以上の焦点調節動作（ボケ量の変化）を発生し易い。従って、焦点調節決定部１５ｃは例えば、位相差素子使用状況情報を取得し、疎な間隔の位相差素子が使われている状態である程、焦点調節を抑制するように焦点調節の挙動を決定する。
例えば、不図示のメモリに位相差素子使用状況と焦点調節抑制係数βとが関連付けられたテーブルが予め記憶されている。そのテーブルでは例えば、疎な間隔の位相差素子が使われている状態である程、焦点調節抑制係数βが小さくなる。
具体的な補正の処理としては、例えば焦点調節決定部１５ｃは不図示のメモリのテーブルを参照して、位相差素子使用状況に対応する焦点調節抑制係数βを読み出すことで、焦点調節抑制係数βを決定する。焦点調節決定部１５ｃは例えば、例１と同様に、式（２）に従って焦点調節の挙動を補正する。これにより、焦点調節決定部１５ｃは、疎な間隔の位相差素子が使われている状態である程、式（２）内の焦点調節抑制係数βが小さくなるので、焦点調節を抑制するように焦点調節の挙動を補正する。
図１１は、変形例１０における撮像装置１ｃの処理の流れの一例を示すフローチャートである。
（ステップＳ３０１）まず、記録開始釦１１１が押された場合、撮像部１２ａは、撮影を開始する。
（ステップＳ３０２）次に、使用位相差画素入力部１１２は、そのユーザによる使用位相差画素の入力を受け付ける。
（ステップＳ３０３）次に、焦点調節量取得部１２１は、焦点調節量を取得する。
（ステップＳ３０４）次に、被写体大きさ情報取得部１４１は、被写体大きさ情報を取得する。
（ステップＳ３０５）次に、被写体動き情報取得部１３１は、被写体動き情報の一例として被写体動き速度情報を取得する。
（ステップＳ３０６）次に、位相差使用状況取得部１９は、使用位相差画素入力部１１２が受け付けた入力に基づいて、位相差素子使用状況を取得する。
（ステップＳ３０７）次に、焦点調節決定部１５ｃは、被写体動き情報と被写体大きさ情報と位相差素子使用状況とを用いて、焦点調節挙動を決定する。
（ステップＳ３０８）次に、焦点調節部１６は、決定された焦点調節挙動に従って焦点調節する。
（ステップＳ３０９）次に、撮像部１２ａは、撮影終了か否か判定する。撮影終了で無い場合（ＮＯ）、ステップＳ３０３に戻る。撮影終了の場合（ＹＥＳ）、撮像装置１ｃはその処理を終了する。以上で、本フローチャートの処理を終了する。
以上、変形例１０における撮像装置１ｃにおいて、焦点調節決定部１５ｃは、被写体動き情報と被写体大きさ情報に加えて、位相差素子使用状況も用いて、焦点調節挙動を決定する。その際、撮像装置１ｃは例えば、疎な間隔での位相差素子が使われている状態である程、焦点調節を抑制するように焦点調節の挙動を決定する。これにより、撮像装置１ｃは、位相差素子が疎な場合に滑らかな焦点調節の追従を行い難くても、焦点調節動作を抑制することで、必要以上のボケ量の変化を抑制することができる。そのため、撮像装置１ｃは、撮影者（または鑑賞者）がより好む見え方をする動画を提供することができる。
＜変形例１１：撮像装置の動き情報に基づく位相差素子使用状況＞
図１２は、変形例１１における撮像装置１ｄの構成を示す概略ブロック図である。なお、図１０と共通する要素には同一の符号を付し、その具体的な説明を省略する。変形例１１における撮像装置１ｄの構成は、図１０の変形例１０の撮像装置１ｃの構成に対して、使用位相差画素決定部２０が追加され、位相差使用状況取得部１９が位相差使用状況取得部１９ｄに変更されたものになっている。使用位相差画素決定部２０は、ジャイロセンサ２０１を備える。焦点調節決定部１５ｃの処理は、図１０の変家例１０の焦点調節決定部１５ｃと同じであるので、その説明を省略する。
ジャイロセンサ２０１は、例えば３軸のジャイロセンサで、各軸まわりの角速度を検出する。
使用位相差画素決定部２０は、ジャイロセンサ２０１が検出した、各軸まわりの角速度に基づいて、撮像装置１ｄがどのような動きをしているか判定し、判定した結果に基づいて、焦点調節量を算出する際に使用する使用位相差画素を決定する。使用位相差画素決定部２０は、決定した使用位相差画素を位相差使用状況取得部１９ｄと焦点調節量取得部１２１へ出力する。
使用位相差画素決定部２０によって、撮像装置１ｄがパンニングを行っていると判定した場合、縦方向の位相差素子はそれ程密である必要は無いため、使用位相差画素決定部２０は、位相差素子の配置された画素の読み出しを縦方向に間引くように設定する方がよい。そのため、使用位相差画素決定部２０は例えば、撮像装置１ｄがパンニングを行っていると判定した場合、使用位相差画素をある行（例えば、中央の行）の位相差素子が配置された画素に決定する。
また例えば、撮像装置１ｄが速く動いており、使用位相差画素決定部２０は、撮像装置１ｄが速く動いていると判定した場合、焦点調節の速さを上げた方が良いため（焦点調節の応答性を重視したほうが良いため）、予め決められた程度、位相差素子の配置された画素の読み出しを間引くように設定してもよい。これにより、撮像装置の速い動きに応じて、焦点調節が素早く動くようにすることで、次々に被写体が変わってもその変わった被写体に対してすぐに焦点を合わせることができる。
位相差使用状況取得部１９ｄは、使用位相差画素決定部２０から入力された使用位相差画素に基づいて、何れの位相差素子を使用するかに関する位相差素子使用状況情報を取得する。ここで、位相差素子使用状況情報は例えば、位相差素子を疎な間隔で使用する（読み出し速度優先）か、密な間隔で使用する（追従性優先）かを示す。
焦点調節量取得部１２１は、使用位相差画素決定部２０から入力された使用位相差画素の位相差素子を用いて焦点調節量を取得する。
図１３は、変形例１１における撮像装置１ｄの処理の流れの一例を示すフローチャートである。
ステップＳ４０１の処理は、図１１のステップＳ３０１と同一であるので、その説明を省略する。
（ステップＳ４０２）次に、使用位相差画素決定部２０は、ジャイロセンサ２０１が検出した、各軸まわりの角速度に基づいて、撮像装置１ｄがどのような動きをしているか判定し、判定した結果に基づいて、焦点調節量を算出する際に使用する使用位相差画素を決定する。
ステップＳ４０３〜Ｓ４０５の処理は、図１１のステップＳ３０３〜Ｓ３０５と同一であるので、その説明を省略する。
（ステップＳ４０６）次に、位相差使用状況取得部１９ｄは、使用位相差画素決定部２０から入力された使用位相差画素に基づいて、何れの位相差素子を使用するかに関する位相差素子使用状況情報を取得する。
ステップＳ４０７〜Ｓ４０９の処理は、図１１のステップＳ４０７〜Ｓ４０９と同一であるので、その説明を省略する。
以上、変形例１１における撮像装置１ｄにおいて、焦点調節決定部１５ｃは、被写体動き情報と被写体大きさ情報に加えて、位相差素子使用状況も用いて、焦点調節挙動を決定する。その際、撮像装置１ｄは例えば、疎な間隔での位相差素子が使われている状態である程、焦点調節を抑制するように焦点調節の挙動を決定する。これにより、撮像装置１ｄは、位相差素子が疎な場合に滑らかな焦点調節の追従を行い難くても、焦点調節動作を抑制することで、必要以上のボケ量の変化を抑制することができる。そのため、撮像装置１ｄは、撮影者（または鑑賞者）がより好む見え方をする動画を提供することができる。
＜変形例１２：人の主観的な焦点調節に関わる情報として人の物理的な焦点調節特性を計測した結果を用いて焦点調節の挙動を決定する＞
本実施例では人の主観的な焦点調節に関わる情報としてフレーム間変化に関わる情報（ここでは被写体の動き速度）と１フレーム内の情報（ここでは被写体の大きさ情報）とを用いて焦点調節の挙動を決定しているが、これに限らず例えば人の主観的な焦点調節に関わる情報として人の物理的な焦点調節特性を計測した結果を用いて焦点調節の挙動を決定しても良い。
図４４は、被写体の大きさと被写体の動き速度に応じた人の物理的な焦点調節特性の一例である。同図において、被写体の大きさと被写体の動き速度の組毎に、人の物理的な焦点調節特性を計測した結果が関連付けられている。被写体の動き速度が「かなり速い」場合には焦点調節は行われない。被写体の動き速度がそれよりも遅い（図４４内「ある程度速い」「中程度」「遅い」である場合）は被写体の動き速度が遅い程、焦点調節の速度が遅くなる傾向にある。
以下では、図４に示される撮像装置１ａを用いて変形例１２について説明する。撮像装置１ａは予め図４４に示すような異なる大きさの被写体が様々な移動速度で移動している状態を人が見る際の人の物理的な焦点調節特性を計測した結果（これが人の主観的な焦点調節に関わる情報に相当する）を撮像装置１ａ内のメモリ（不図示）に保存しておく。人の物理的な焦点調節特性については公知の方法で取得する。尚、この人の物理的な焦点調節特性は個人の測定結果であっても良いし、複数人の特性を測定した結果の平均であっても良い。
撮影時、撮像装置１ａは本実施例と同様の方法で被写体の動き速度と被写体の大きさ情報を取得し、図４４のテーブルを参照して似たような状況における人の物理的な焦点調節特性と同じ焦点調節を行うように焦点調節の挙動を決定する。人の物理的な焦点調節特性も人の主観的な焦点調節特性に関わり、人の物理的な焦点調節特性の通りに撮像装置の焦点調節特性を制御した場合も、動画は概ね好まれるものになる。
以上、変形例１２における撮像装置１ａにおいて焦点調節決定部１５ａは異なる大きさの被写体が様々な移動速度で移動している状態を人が見る際の人の物理的な焦点調節特性を計測した結果を用いて焦点調節の挙動を決定する。これにより、撮像装置１ａは被写体の状況とそれを見ている人の主観的な焦点調節の状態に準じた焦点調節を行うことができる。そのため、撮像装置１ａは、撮影者（または鑑賞者）がより好む見え方をする動画を提供することができる。
＜実施例２＞
続いて、実施例２について説明する。本実施例では人の主観的な焦点調節に関わる情報としてフレーム間変化に関わる情報と１フレーム内の情報から決定される撮影する状況・被写体の状況の情報とを用いて焦点調節の挙動を決定する。本実施例では、図１４のように撮像装置自体に動きまたは変化が無く、予め複数被写体がある状態で、被写体の明るさ状態が変わることによって注視する被写体（合焦させたい被写体）が変わるシーンを用いて説明を行う。
図１４は、実施例２における撮影シーンの一例を説明するための図である。同図は、スポットライトの位置が変わって、鑑賞者が注視する被写体が変わるシーンを表す。Ｎフレーム（Ｎは正の整数）では、撮影者の娘（撮像装置に登録済）にスポットが当たっており、白い花（撮像装置に未登録）及び撮影者のペット（撮像装置に登録済）にスポットライトが当たっていない。そのため、画像Ｇ２１では、撮影者の娘の画像領域Ｒ２１が白くなっているが、白い花の画像領域Ｒ２２及び撮影者のペットの画像領域Ｒ２３が黒くなっている。
Ｎ＋１フレームでは、白い花にスポットライトが当たっており、撮影者の娘及び撮影者のペットにスポットライトが当たっていない。そのため、Ｎ＋１フレームの画像Ｇ２２では、白い花の画像領域Ｒ２５が白くなっているが、撮影者の娘の画像領域Ｒ２４及び撮影者のペットの画像領域Ｒ２６が黒くなっている。
Ｎ＋２フレームでは、撮影者のペットにスポットライトが当たっており、撮影者の娘及び白い花にスポットライトが当たっていない。そのため、Ｎ＋２フレームの画像Ｇ２３では、撮影者のペットの画像領域Ｒ２９が白くなっているが、撮影者の娘の画像領域Ｒ２７及び白い花の画像領域Ｒ２８が黒くなっている。
図１５は、実施例２における撮像装置１ｅの構成を示す概略ブロック図である。なお、図４と共通する要素には同一の符号を付し、その具体的な説明を省略する。実施例２における撮像装置１ｅの構成は、図４の実施例１の撮像装置１ａの構成に対して、明るさ調節部２１が追加され、画像処理部１０が画像処理部１０ｅに、撮像部１２ａが撮像部１２ｅに、フレーム間変化情報取得部１３ａがフレーム間変化情報取得部１３ｅに、焦点調節決定部１５ａが焦点調節決定部１５ｅに変更されたものになっている。画像処理部１０ｅは、フレーム内情報取得部１４ｅを備え、フレーム内情報取得部１４ｅは、照合結果情報取得部１４２を備える。撮像部１２ｅは、図４の実施例１の撮像部１２ａに対して、焦点調節量取得部１２１に加えて、明るさ調節量取得部１２２を備える。フレーム間変化情報取得部１３ｅは、明るさ調節動作情報取得部１３２を備える。
続いて、動画記録時の処理の順序に従って、撮像装置１ｅの各部の処理を説明する。
＜処理１＞
撮像装置１ｅは、予め焦点調節を行うエリアの設定を行う。ここでは一例として、撮像装置１ｅの撮像部１２ｅは、撮像により得られた画像において、最も明るい領域を焦点調節対象領域と設定する。
＜処理２＞
記録開始釦１１１は、撮影者の撮影開始指示を受け付け、受け付けた撮影開始指示を撮像部１２ｅに出力する。
撮像部１２ｅは、記録開始釦１１１から入力された撮影開始指示を受け取ると、被写体から撮像光学系２を介して入射した光を電気信号に予め決められたシャッター速度で変換することで、動画像信号を生成する。これにより、撮影者の指示に従い、動画記録を開始する。
＜処理３＞
焦点調節量取得部１２１は、撮像部１２ｅで設定した焦点調節対象のエリアの情報を基に、焦点調節対象エリアを合焦状態とするための焦点調節量を取得し、取得した焦点調節量を焦点調節部１６へ出力する。ここでは一例として、焦点調節量は撮像部１２ｅの撮像素子の像面に配置した位相差素子から取得する。
＜処理４＞
予め撮像装置１ｅが撮像した「撮影者が注目し易い被写体（例えば、家族等）」（以下、登録被写体という）の画像データ（例えば、顔の画像データ）が、例えば予め記録部１７に記憶されている。照合結果情報取得部１４２は例えば、その画像情報から登録被写体の特徴量を抽出し、抽出した登録被写体の特徴量を不図示のメモリに予め記憶させておく。照合結果情報取得部１４２は例えば、１フレーム内情報として焦点調節対象領域内（一例として最も明るい領域内）の被写体の特徴量を抽出し、抽出した特徴量と不図示のメモリに記憶された登録被写体の特徴量とを照合し、照合結果を取得する。その際、照合結果情報取得部１４２は例えば、抽出した特徴量と登録被写体の特徴量とが予め決められた基準以上の照合率で合致すれば、現在の被写体が登録被写体であるという照合結果を得る。
照合結果情報取得部１４２は、得た照合結果を示す照合結果情報を焦点調節決定部１５ｅへ出力する。
＜処理５＞
明るさ調節動作情報取得部１３２は、フレーム間変化に関わる情報として、明るさ調節の動作に関する明るさ調節動作情報（ここでは一例として、明るさ調節の動作速度を示す明るさ調節動作速度情報）を取得する。例えば明るさ調節動作情報取得部１３２は、明るさ調節の動作速度を、予め不図示のメモリに保存されていた任意の閾値と比較することによって、「速い」、「中程度」、「遅い」の何れかに判定する。なお、これに限らず、明るさ調節動作情報取得部１３２は例えば、明るさ調節の動作速度をそのまま利用しても良い。
明るさ調節動作情報取得部１３２は、取得した明るさ調節動作情報（ここでは一例として、明るさ調節動作速度情報）を焦点調節決定部１５ｅへ出力する。
＜処理６＞
焦点調節決定部１５ｅは、照合結果情報取得部１４２で取得した撮影する被写体と予め撮影者が登録した被写体との照合結果情報と、明るさ調節動作情報取得部１３２で取得した明るさ調節動作情報（一例として、明るさ調節動作速度情報）とを基に、焦点調節の挙動を決定する。
例えば、予め撮像装置１ｅの不図示のメモリに動画撮影時の基準焦点調節速度Ｖｂａｓｅが記憶され、明るさ調節速度と被写体の照合結果の組毎に焦点調節の速度抑制係数αが関連付けられたテーブルが記憶されている。焦点調節決定部１５ｅの具体的な処理としては、例えば、焦点調節決定部１５ｅは、不図示のメモリから動画撮影時の基準焦点調節速度Ｖｂａｓｅを読み出す。焦点調節決定部１５ｅは、図１６のテーブルＴ３を参照し、取得した明るさ調節動作速度情報と取得した照合結果情報の組に対応する焦点調節の速度抑制係数αを読み出すことで焦点調節の速度抑制係数αを決定する。例えば、焦点調節決定部１５ｅは、基準焦点調節速度Ｖｂａｓｅと焦点調節の速度抑制係数αとを実施例１の式（１）に代入して実際の焦点調節速度Ｖｃｏｎｔｒｏｌを決定する。焦点調節決定部１５ｅは、決定した焦点調節速度Ｖｃｏｎｔｒｏｌを焦点調節部１６へ出力する。
尚、本実施例は、焦点調節の速度を変更することで状況（撮影する撮像装置の状況・被写体の状況等）に応じた焦点調節の挙動の決定を実現しているが、これに限らず以下のようにすることで状況に応じた焦点調節の挙動の決定を実現しても良い
（１）被写体の状況・撮影の状況に応じて焦点調節における加速度を決定する。
（２）被写体の状況・撮影の状況に応じて焦点調節における減速を開始するタイミングを決定する。
（３）被写体の状況・撮影の状況に応じて点調節開始から合焦点状態に到るまでの所要時間を決定する。
（４）被写体の状況・撮影の状況に応じて焦点調節を開始するタイミングを決定する。
図１６は、明るさ調節速度と被写体の照合結果の組毎に焦点調節の速度抑制係数αが関連付けられたテーブルの一例である。同図のテーブルＴ３において、明るさ調節速度が速いほど、焦点調節の速度抑制係数αが大きい傾向にあり、焦点調節がより促進される。これにより、明るさ調節が速い場合（例えば、暗い状態からスポットライトによって光が当たって明るくなった場合）焦点調節をより促進する。これにより、鑑賞者の意識が向き易い、明るさ調節が速く行われる被写体をより合焦状態で見ることができ、動画の見え方がより鑑賞者にとって好ましいものとなる。これは、例えば図１４のように撮像装置に動きまたは変化が無いシーンでは、画面内の被写体の明るさが変化し、焦点調節（及び明るさ調節）を行うような場合、明るさ調節が速く行われるときにはその被写体に鑑賞者の意識が向き易いからである。
また、被写体の照合結果の登録が有る場合よりも無い場合の方が、焦点調節の速度抑制係数αが小さい傾向にあり、焦点調節がより抑制される。これにより、登録済みの被写体に対して焦点調節をより促進し、未登録の被写体に対して焦点調節をより抑制する。鑑賞者は、鑑賞者が注目する傾向にある登録済みの被写体をより合焦状態で見ることができ、鑑賞者があまり注目しない傾向にある未登録の被写体をより非合焦状態で見るようになるので、動画の見え方がより鑑賞者にとって好ましいものとなる。これは、例えば図１４のように撮像装置に動きまたは変化が無いシーンでは、画面内の被写体の明るさが変化し、焦点調節（及び明るさ調節）を行うような場合、撮影する被写体が撮影者にとってよく見知っているもの程、鑑賞者が合焦状態にしたいと判断する傾向にあるからである。
＜処理７＞
図１５に戻って、焦点調節部１６は、焦点調節決定部１５ｅで決定した焦点調節の挙動（ここでは一例として焦点調節速度）に基づいて撮像光学系２の焦点調節用光学系を制御し、焦点を調節する。
＜処理８＞
撮影者入力部１１が、撮影者から撮影の終了の指示を受け付けるまで、撮像装置１ｅは上記の処理３〜７の処理を繰り返す。
図１７は、実施例２における撮像装置１ｅの処理の流れの一例を示すフローチャートである。ステップＳ５０１〜Ｓ５０２の処理は、図６のステップＳ１０１〜Ｓ１０２の処理と同一であるのでその説明を省略する。
（ステップＳ５０３）次に、照合結果情報取得部１４２は、１フレーム内情報として焦点調節対象領域内（一例として最も明るい領域内）の被写体と不図示のメモリに記憶された登録被写体とを照合し、照合結果情報を取得する。
（ステップＳ５０４）次に、明るさ調節動作情報取得部１３２は、フレーム間変化に関わる情報としての明るさ調節動作情報の一例として、明るさ調節動作速度情報を取得する。
（ステップＳ５０５）次に、焦点調節決定部１５ｅは、照合結果情報と明るさ調節動作速度情報を用いて、焦点調節の挙動を決定する。
ステップＳ５０６〜Ｓ５０７の処理は、図６のステップＳ１０６〜Ｓ１０７の処理と同一であるのでその説明を省略する。
以上、実施例２において、焦点調節決定部１５ｅは例えば、撮影する被写体と登録被写体との照合結果が撮影する被写体と登録被写体との一致を示す場合、不一致の場合よりも焦点調節を促進する。それに加えて、焦点調節決定部１５ｅは、明るさ調節動作速度情報が速いほど、焦点調節をより促進する。これにより、鑑賞者は、鑑賞者が注目する傾向にある登録済みの被写体をより合焦状態で見ることができ、かつ明るさ調節が速く行われる被写体をより合焦状態で見ることができる。そのため、撮像装置１ｅは、撮影者（または鑑賞者）がより好む見え方をする動画を提供することができる。
なお、本実施例では、フレーム内情報取得部１４ｅは１フレーム内の情報として撮影する被写体と登録被写体との照合結果情報を取得しているが、他にも以下のような情報を取得して焦点調節の挙動を決定しても良い。
＜変形例１：被写体の認識結果情報＞
図１５内の照合結果情報取得部１４２が、被写体の認識結果情報取得部に変わり、被写体の認識結果情報取得部は、照合結果情報ではなく、被写体の認識結果を取得してもよい。例えば撮像装置１ｅは、登録被写体毎に特徴量を不図示のメモリに保持する。特徴量は、例えば、色、テクスチャ、登録被写体の画像領域の周波数状態、図地判定で抽出された画像領域の形の組み合わせである。焦点調節対象の被写体が何であるかによって、撮影者（視聴者）の意識の向け易さが変わる。例えば、人や動物、花等には意識を向け易いが石や雑草等には意識を向け難い。
よって、焦点調節決定部１５ｅは、被写体の認識結果情報を取得し、焦点調節対象の被写体が人、動物または花の場合、焦点調節を促進し、石または雑草の場合、焦点調節を抑制するようにしてもよい。これにより、人の意識の向け易さに応じた焦点調節を行うことができる。そのため、撮像装置１ｅは、撮影者（または鑑賞者）がより好む見え方をする動画を提供することができる。
＜変形例２：過去に撮影した被写体と焦点調節対象の被写体との照合結果情報＞
図１５内の照合結果情報取得部１４２が、照合結果情報ではなく、過去撮影した被写体と焦点調節対象の被写体との照合結果を取得してもよい。
撮像装置１ｅの記録部１７には例えば、過去の動画データが記憶されている。撮像装置１ｅの不図示のメモリは例えば、最初に撮影した被写体の情報（例えば、被写体の特徴量）を保持してもよい。そして、それ以降の撮影時には、照合結果情報取得部１４２は、現在撮影している被写体の情報と、保持している被写体の情報とを比較して、過去に撮影した被写体を再度撮影しているか否か判定してもよい。
撮像装置１ｅの不図示のメモリは、過去に撮影した被写体毎に、撮影回数、撮影時間をカウントした情報を保持していてもよい。
同じ種類の被写体であっても、それが以前に頻繁に撮影された被写体であるかによって撮影者（視聴者）の意識の向け易さが変化する。ここで、頻繁にとは、過去にある一定回数以上撮影しているか、過去に撮像した動画にある一定時間以上登場しているかを満たした状態である。
撮影者（視聴者）は、過去に頻繁に撮影された被写体の方がそれ以外の被写体よりも意識を向け易い傾向にある。従って、焦点調節決定部１５ｅは、過去に撮影した被写体と焦点調節対象の被写体との照合結果情報と、明るさ調節動作情報とに基づいて、焦点調節の挙動を決定してもよい。
例えば、撮像装置１ｅの記録部１７は、過去の動画データを蓄積し、照合結果情報取得部１４２は過去の動画データから過去の動画に写った被写体の特徴量（以下、過去被写体特徴量ともいう）を抽出し、不図示のメモリに過去被写体特徴量を記録させる。そして、照合結果情報取得部１４２は、焦点調節対象の被写体の特徴量を抽出し、抽出した特徴量を過去被写体特徴量と比較して照合し、照合結果を照合結果情報とする。
例えば、被写体を過去にある一定回数以上撮影しているか、ある一定時間以上撮影している場合、鑑賞者はその被写体に対しての方が意識を向け易い傾向にあるので、焦点調節決定部１５ｅは、焦点調節を促進するように焦点調節の挙動を決定してもよい。一方、例えば、過去の撮影回数が一定回数未満か、過去の撮影時間がある一定時間未満である場合、焦点調節決定部１５ｅは、焦点調節を抑制するように焦点調節の挙動を決定してもよい。
また、本実施例ではフレーム間変化に関わる情報として、明るさ調節動作の動作速度情報を取得しているが、他にも以下のような情報を取得して焦点調節の挙動を決定しても良い。
＜変形例３：明るさ調節動作量情報＞
図１５の明るさ調節動作情報取得部１３２は、「明るさ調節の動作速度」ではなく、「明るさ調節動作量」を取得してもよい。ここでは、明るさ調節が行われていることが前提で、明るさ調節が行われているのであれば、焦点調節の開始タイミングは、明るさ調節の初めよりも、明るさ調節がある程度の量行われた後の方がよい。
明るさ調節が行われている場合、明るさ調節がある程度の量行われた後の方が、次の被写体を撮影者（視聴者）は合焦状態にしたいと判断する傾向がある。例えば、焦点調節決定部１５ｅは、明るさ調節が予め決められた量行われた後に、焦点調節を開始するよう焦点調節の挙動を決定する。これにより、鑑賞者が合焦状態にしたいと判断する時に焦点調節を開始するので、撮像装置１ｅは鑑賞者にとって、より好ましい焦点調節を行うことができる。
＜変形例４：明るさ調節の連続性情報＞
図１５の明るさ調節動作情報取得部１３２は、「明るさ調節の動作速度」ではなく、「明るさ調節の連続性」を取得してもよい。明るさ調節動作情報取得部１３２は例えば、過去数フレームにおける明るさ変動値の変化加速度から明るさ調節動作の連続性を判定してもよい。具体的には例えば明るさ調節動作情報取得部１３２は、正負の変化加速度が混合している（一定に動いていない）場合、連続性無しと判定し、一方、変化加速度が一定の場合、連続性有りと判定する。明るさ調節動作に連続性がある程、次の被写体を撮影者または鑑賞者は合焦状態にしたいと判断する傾向にある。従って、焦点調節決定部１５ｅは、明るさ調節動作に連続性がある程、焦点調節を速くするように焦点調節に挙動を決定してもよい。これにより、明るさ調節動作に連続性がある程、次の被写体を速く合焦状態にすることができるので、撮像装置１ｅは撮影者または鑑賞者にとって、より好ましい焦点調節を行うことができる。
＜変形例５：明るさ調節の方向情報＞
図１５の明るさ調節動作情報取得部１３２は、「明るさ調節の動作速度」ではなく、「明るさ調節の方向情報」を取得してもよい。
例えば図１８に示すようにパンニングをしながら明るさの異なる状態に遷移するような場合、明るさ調節が暗い状態から明るい状態に変化する場合と比較し、明るい状態から暗い状態に変化させる場合の方が、撮影者または鑑賞者は次の被写体を合焦状態にしたいと判断する傾向にある。これは、撮影者または鑑賞者は、暗い状態のものが長く見えない状態を嫌う傾向があるからである。
図１８は、実施例２の変形例５における撮影シーンの一例を説明するための図である。同図は、撮像方向に向かって右側にパンニングをしながら明るさの異なる状態に遷移するシーンである。同図において、Ｎフレームの画像Ｇ３１、Ｎ＋１フレームの画像Ｇ３２、及びＮ＋２フレームの画像Ｇ３３が示されている。Ｎ＋１フレームの画像Ｇ３２では、向かって右側の領域が、向かって左側の領域より暗くなっている。Ｎ＋２フレームの画像Ｇ３３では、向かって右側の領域が、向かって左側の領域より更に暗くなっている。
例えば、焦点調節決定部１５ｅは、明るさ調節が暗い状態から明るい状態に変化する場合と比較し、明るい状態から暗い状態に変化させる場合の方が、焦点調節の開始タイミングを早めるよう焦点調節の挙動を決定してもよい。これにより、撮影者または鑑賞者は、暗い状態のものをより早く合焦状態にして見ることができるので、撮像装置１ｅは撮影者または鑑賞者にとって、より好ましい焦点調節を行うことができる。
なお、この場合であっても、焦点調節の開始タイミングは、明るさ調節の初めよりも、明るさ調節がある程度の量行われた後の方がよい。
＜変形例６：明るさ調節動作情報、ホワイトバランス動作情報、被写体の登録情報を用いて焦点調節の挙動を決定する＞
本実施例では明るさ調節の動作情報と撮影する被写体と登録被写体との照合結果情報を用いて焦点調節の挙動を決定しているがこれに限らず例えば以下のような方法で焦点調節の挙動を決定しても良い。
図４５は、変形例６における撮像装置１ｏの構成を示す概略ブロック図である。なお、図１５と共通する要素には同一の符号を付し、その具体的な説明を省略する。変形例６における撮像装置１ｏの構成は、図１５の撮像装置１ｅの構成に対して、画像処理部１０ｅが画像処理部１０ｏに変更されたものになっている。画像処理部１０ｏは、図１５の画像処理部１０ｅに比べて、露出補正・ホワイトバランス補正情報取得部１０５が追加されたものになっている。
図４６は、本変形例における撮影シーンの一例を示す図であり、撮像装置１ｏにより撮影して得られるフレーム画像の一例を示している。同図に示すｎ（ｎ：自然数）フレーム画像、ｎ＋１フレーム画像、ｎ＋２フレーム画像は時間的に連続したものであり、初期のｎフレーム画像には、樹木等と、その日陰の部分とが映し出されている。その次のｎ＋１フレーム画像には、パンニングにより画面右手に人物の一部が映し出されており、その次のｎ＋２フレーム画像には、パンニングにより樹木等と日陰の部分が画面左手に移動し、それに代わって、日向に人物と別の樹木が映し出されている。このように、本変形例では、撮像装置の撮影方向をパンニングにより変化させる過程で被写体の明るさが変化することにより、露出補正が変化する場合を例に説明する。
先ず、撮影者は撮影開始前に、画面のどの領域（被写体）に対して焦点調節を行いたいかを、焦点調節対象領域入力部によって撮像装置に入力する。即ち、撮影者は、焦点調節対象領域を撮像装置に設定する。本変形例では、図４６に例示する画面において、画面中央から右手側の領域を焦点調節対象の領域として設定する。なお、撮影者から上記の焦点調節対象領域に関する入力がない場合、例えば画面の略中央を焦点調節対象領域（被写体）として自動的に設定しても良い。
続いて、撮像装置は、撮影者が図４５に示す撮影者入力部１１の記録開始釦１１１を操作することにより撮影を開始する。即ち、撮影者が撮影の開始を撮像装置に指示すると、この指示を受けて、撮像装置のイメージセンサである撮像部１２ｅは動画記録を開始し、撮像光学系２により得られる被写体の像を光電変換する。また、撮像部１２ｅは、図４６に示す第ｎフレーム画像、第ｎ＋１フレーム画像、第ｎ＋２フレーム画像に対応する動画像信号を生成し、この動画像信号を画像処理部１０ｏに出力する。
続いて、画像処理部１０ｏの露出補正・ホワイトバランス補正情報取得部１０５は、撮像装置１ｏの状態情報として補正変化情報を取得する。具体的には、露出補正・ホワイトバランス補正情報取得部１０５は、補正変化情報として、露出の補正量やホワイトバランス補正等の変化に関する情報を取得する。本変形例では、上述の図４６に示すように、パンニングの過程で画面が日陰から日向に移ると、例えば、光量の増加に応じて露出量を減少させるための補正が実施される。このとき、露出補正・ホワイトバランス補正情報取得部１０５は、露出補正の変化量と、この露出補正の変化の方向（減少／増加）と、この露出補正の変化の速さとを補正変化情報として取得する。
続いて、焦点調節量取得部１２１は、前述したように撮影前に撮影者が指示した焦点調節対象領域の被写体に対して撮像光学系２を合焦状態とするために必要な焦点調節量を取得する。続いて、焦点調節決定部１５ｅは、上述のステップにおいて取得された焦点調節量と、前述の段階で得られた補正変化情報とを用いて合焦状態までの撮像光学系２の焦点調節の時間的特性を決定する。本変形例では、焦点調節決定部１５ｅは、上述の補正変化情報に従って、被写体に対する合焦状態が得られるまでの撮像光学系２の焦点調節における加速度及び速度が変化するように、その焦点調節の時間的特性を決定する。
ここで、上述の焦点調節の時間的特性を決定する処理の流れについて説明する。
まず、焦点調節決定部１５ｅは、上述で取得された焦点調節量と、上述で取得された補正変化情報とから、次のように、合焦状態までの撮像光学系２の焦点調節の時間的特性ｆＡＦ（ｔ）を決定する。
上述の時間的特性ｆＡＦ（ｔ）は、次の式（３）に示される基本式ｆｂａｓｅ（ｔ）を後述の係数αおよび係数βで修正することにより得られる。ここで、係数αfocusは、時間的特性ｆＡＦ（ｔ）の横軸（時間軸）方向のスケーリングを行うための係数であり、係数βは、時間的特性ｆＡＦ（ｔ）の縦軸（焦点位置）方向のスケーリングを行うための係数である。なお、基本式は、記録部１７に記録されていてもよいし、または、焦点調節決定部１５ｅ内に基本式記録部を設け、これに基本式を格納してもよい。
fbase(t) = At4+Bt3+Ct2+Dt+E …（３）
本基本式で表される曲線は例えば図４８Ａ〜Ｃに示すもののようになり、概ねの形は図５１に示される人の主観的な焦点調節特性を近似したものになっている。このような曲線の特性を用いることでより人の主観的な焦点調節に準じた焦点調節を実現することができる。
本変形例では、係数αfocusは、次の2段階のステップによって決定する。
まず、後述の図４７に例示するような条件分岐に従って係数αを決定する。図４７は、係数αの決定手法の一例（条件分岐）を説明するための図である。
前述のように、係数αは、図４７に示す条件分岐に従って決定される。この条件分岐によれば、基本的には、露出補正の有／無、露出補正の方向（明から暗への変化の方向／暗から明への変化の方向）、露出補正の速さ（高速／中速／低速）、ホワイトバランスの有／無、ホワイトバランスの方向（色温度低→色温度高／色温度高→色温度低）、ホワイトバランス補正の速さ（高速／中速／低速）に応じて係数αが決定される。この例では、条件分岐の上流から、例えば、露出補正が「有」であり、露出補正の方向が「明→暗」であり、露出補正の速さが「高速」であり、ホワイトバランス補正が「有」であり、ホワイトバランス補正の方向が「色温度低→色温度高」であり、ホワイトバランス補正の速さが「高速」である場合、係数αは「１」に設定される。ただし、このような例に限定されず、撮像装置または撮像光学系光学的情報の変化に応じて所望の時間的特性が得られるように、係数αを決定すればよい。
次に、照合結果情報取得部１４２から得られた被写体の照合結果情報を元に、以下のように焦点調節補正パラメータγを決定する。
被写体の照合結果：登録有 → 補正パラメータγ：1.2
被写体の照合結果：登録無 → 補正パラメータγ：1
上述で得られたα及びγを元に下記式（４）を用いて最終的な焦点調節を決定するαfocusを決定する。
αfocus ＝ α×γ …（４）
さらに基本式ｆｂａｓｅ（ｔ）を用いて、次の式（５）により、合焦状態までの撮像光学系２の焦点調節の所要時間を考慮した時間的特性を表す関数ｆＡＦ’（ｔ）を決定する。
fAF’(t) = fbase(αfocust) …（５）
図４８Ａ〜Ｃに示すように係数αfocusが小さい程、ｆＡＦ’（ｔ）により表される特性曲線は、横軸（ｔ）に関して拡張され、緩やかな曲線を描く。一方、係数αが大きい程、ｆＡＦ’（ｔ）により表される特性曲線は、後述の図４８Ｂに例示するように横軸（ｔ）に関して縮小され、急峻な曲線を描く。このように、焦点調節決定部１５ｅは、係数αfocusの値を設定することにより、合焦状態に至るまでの撮像光学系２の焦点調節の速さ、即ち合焦状態に到達するまでの所要時間を調節する。
このように、焦点調節決定部１５ｅは、露出補正・ホワイトバランス補正情報取得部１０５により取得された補正変化情報に従って、撮像光学系２の焦点位置が焦点調節開始時の初期の焦点位置から合焦状態における焦点位置に到達するまでの所要時間が変化するように、その焦点調節の時間的特性を決定する。本変形例では、露出補正等の変化の速度が速い程、係数αfocusが大きな値に設定され、時間的特性の曲線が急峻になり、撮像光学系２の焦点調節の挙動が速くなる。これにより、撮像光学系２の光学的特性の変化に対する画像の挙動が人の主観的な焦点調節特性に近くなり、鑑賞者に与える違和感が低減する。
また、被写体が良く見知ったものであるほど人は速く焦点調節を行いたいと思うため、αfocusが大きくなるように設定することで動画中の焦点調節が好まれるものとなる。
＜実施例３＞
続いて、実施例３について説明する。本実施例では人の主観的な焦点調節に関わる情報としてフレーム間変化に関わる情報と１フレーム内の情報から決定される撮影する状況・被写体の状況の情報とを用いて焦点調節の挙動を決定する。本実施例では、図１９のように暗い状態から舞台上の幕が上がり、照明状態が変化する場合にホワイトバランス調節を行い、且つ焦点調節を行うようなシーンを対象に説明を行う。なお、本実施例の撮像装置は固定の状態である。
図１９は、実施例３における撮影シーンの一例を説明するための図である。同図は、暗い状態から舞台上の幕が上がり、照明状態が変化するシーンを表す。Ｎフレームの画像Ｇ４１では舞台上の幕が閉じている。Ｎ＋１フレームの画像Ｇ４２では、Ｎフレームの画像Ｇ４１よりも舞台上の幕が上がって、被写体の画像領域Ｒ４２が示すように被写体の一部が表示されている。Ｎ＋２フレームの画像Ｇ４３では、Ｎ＋１フレームの画像Ｇ４２よりも更に舞台上の幕が上がって、被写体の画像領域Ｒ４３が示すように被写体の全体が表示されている。Ｎ＋３フレームの画像Ｇ４４では、Ｎ＋２フレームの画像Ｇ４３よりも更に舞台上の幕が上がっており、被写体の画像領域Ｒ４４が示すように被写体の全体が表示されている。なお、同図において、ホワイトバランス調節と明るさ調節による画像の明るさの変化は図示されていない。
図２０は、実施例３における撮像装置１ｆの構成を示す概略ブロック図である。なお、図４と共通する要素には同一の符号を付し、その具体的な説明を省略する。実施例３における撮像装置１ｆの構成は、図４の実施例１の撮像装置１ａの構成に対して、焦点調節量取得処理切替部２２が追加され、画像処理部１０が画像処理部１０ｆに、撮像部１２ａが撮像部１２ｆに、焦点調節決定部１５ａが焦点調節決定部１５ｆに、焦点調節部１６が焦点調節部１６ｆに変更されたものになっている。
画像処理部１０ｆは、図４の実施例１の画像処理部１０に比べて、フレーム間変化情報取得部１３ａがフレーム間変化情報取得部１３ｆに、フレーム内情報取得部１４ａがフレーム内情報取得部１４ｆに変更され、第２焦点調節量取得部１０１とホワイトバランス調節部１０２とが追加されたものになっている。撮像部１２ｆは、焦点調節量取得部１２１ｆを備える。
続いて、動画記録時の処理の順序に従って、撮像装置１ｆの各部の処理を説明する。
＜処理１＞
撮影者は、焦点調節とホワイトバランス調節を行う調節対象エリアの設定を行う。ここでは一例として、撮影者は、画面の略中央辺りの被写体に対して、調節対象エリアを指定する入力を撮像装置１ｆに対して行う。撮影者入力部１１は例えば、撮影者によるその入力を受け付け、受け付けた入力を示す入力情報を不図示のメモリに記憶させる。これにより、焦点調節とホワイトバランス調節を行うエリアを示す情報がメモリに記憶される。
＜処理２＞
記録開始釦１１１は、撮影者の撮影開始指示を受け付け、受け付けた撮影開始指示を撮像部１２ｆに出力する。
撮像部１２ｆは、記録開始釦１１１から入力された撮影開始指示を受け取ると、被写体から撮像光学系２を介して入射した光を電気信号に予め決められたシャッター速度で変換することで、動画像信号を生成する。これにより、撮像部１２ｆは撮影者の指示に従い、動画記録を開始する。
＜処理３＞
ホワイトバランス調節部１０２は、撮影者入力部１１が受け付けた調節対象エリアの情報を基に、ホワイトバランス調節対象エリアを最適ホワイトバランス状態とするためのホワイトバランス調節量を取得する。具体的には例えば、ホワイトバランス調節部１０２は、撮像した動画像信号中の各フレーム内の色が付いていない白の領域またはグレーの領域を抽出し、その抽出した領域が真っ白になる色変換量をホワイトバランス調節量として取得する。なお、ホワイトバランス調節部１０２は撮像した動画像信号中の各フレーム内から鏡面反射している領域を抽出し、その反射している領域の色を光源の色と推定して、ホワイトバランス調節量を取得しても良い。
＜処理４＞
焦点調節量取得処理切替部２２は、焦点調節量を取得する処理を選択し、選択した処理に切り替える。本実施例では撮像装置１ｆは、焦点調節量取得部１２１ｆと第２焦点調節量取得部１０１を備えている。そして、焦点調節量取得処理切替部２２は、上記の二つの部材における焦点調節量取得処理を切り替え可能であって、ジャイロセンサ２２１から出力される撮像装置の動き情報から、どちらの焦点調節量取得処理を使用するかを決定する。焦点調節量取得部１２１ｆは、第１の焦点調節量取得処理として、撮像部１２ｆの撮像素子に配置された位相差素子から焦点調節量を取得する。第２焦点調節量取得部１０１は、第２の焦点調節量取得処理として、撮像部１２ｆから出力された動画像信号からコントラスト値を検出し、焦点調節量を取得する。
本実施例では、位相差素子が撮像素子にまばらに配置されており、コントラストＡＦの場合よりも位相差ＡＦは物理的な動きに弱いので、撮像装置１ｆが物理的に動いていない場合、第１の焦点調節量取得処理を使用し、撮像装置１ｆが物理的に動いている場合は第２の焦点調節量取得処理を使用する。ここでは一例として、撮像装置１ｆが動いていない場合を想定するので、焦点調節量取得処理切替部２２は、第１の焦点調節量取得処理を選択する。その場合、焦点調節量取得処理切替部２２は例えば、焦点調節量取得部１２１ｆに焦点調節量を取得させ、第２焦点調節量取得部１０１に焦点調節量を取得させない。
＜処理５＞
焦点調節量取得部１２１ｆと第２焦点調節量取得部１０１のうち、焦点調節量取得処理切替部２２で選択された部が、焦点調節量を取得する。ここでは一例として、焦点調節量取得処理切替部２２で焦点調節量取得部１２１ｆが選択されたので、焦点調節量取得部１２１ｆは、調節対象エリアを合焦状態とするための焦点調節量を取得する。
＜処理６＞
フレーム内情報取得部１４ｆは、被写体数情報取得部１４３を備える。
被写体数情報取得部１４３は、被写体の情報の一例として、被写体の数を示す被写体数情報を取得する。被写体数情報取得部１４３は例えば、被写体の数を、画像処理によって画像内から公知の手法で図地判定及び被写体領域の抽出を行うことで取得する。なお、撮影者入力部１１が、撮影者による被写体の数の入力を予め受け付け、受け付けた入力を示す入力情報を被写体数情報取得部１４３へ出力することで、被写体数情報取得部１４３が被写体の数を取得してもよい。
＜処理７＞
ホワイトバランス調節部１０２は、ホワイトバランス調節を実行する。具体的には例えば、ホワイトバランス調節部１０２は取得したホワイトバランス調節量で、画像全体の画素の色を色変換することで、ホワイトバランス調節を実行する。
＜処理８＞
ホワイトバランス調節動作連続性情報取得部１３３は、フレーム間変化に関わる情報として、ホワイトバランス調節の動作に関するホワイトバランス調節の動作情報（ここでは一例として、ホワイトバランス調節動作の連続性を示すホワイトバランス調節動作連続性情報）を取得する。その際、ホワイトバランス調節動作連続性情報取得部１３３は例えば、過去数フレームにおけるホワイトバランスの変動値（色温度の変動値）の変化加速度からホワイトバランス動作の連続性を判定する。例えば、その変化加速度が正負混合（一定に動いていない）している場合、ホワイトバランス調節動作連続性情報取得部１３３は、連続性無しと判定し、変化加速度が一定の場合、連続性有りと判定する。
＜処理９＞
焦点調節決定部１５ｆは、被写体数情報取得部１４３で取得した被写体数情報と、ホワイトバランス調節動作連続性情報取得部１３３で取得したホワイトバランス調節動作連続性情報とを基に、焦点調節の挙動（ここでは一例として焦点調節の駆動速度）を決定する。例えば、不図示のメモリに被写体の数と連続性の有無の組毎に焦点調節の駆動速度が関連付けられたテーブル（図２１参照）が記憶されている。その場合、例えば焦点調節部１６ｆは、取得した被写体数情報と取得したホワイトバランス調節動作連続性情報の組に対応する焦点調節の駆動速度を読み出すことで、焦点調節の駆動速度を決定する。
図２１は、被写体の数と連続性の有無の組毎に焦点調節の駆動速度が関連付けられたテーブルの一例である。図２１のテーブルＴ４において、焦点調節の駆動速度がμｍ／ｓｅｃ単位で表記されている。同図のテーブルにおいて、被写体の数が多いほど、焦点調節の駆動速度が遅くなっている。また、同じ被写体の数の場合、連続性が有る方が連続性が無いよりも、焦点調節の駆動速度が速くなっている。これは、例えば図１９のように撮像されている内容が変化し、焦点調節とホワイトバランス調節を同時に行う場合、ホワイトバランス調節動作に連続性がある程、撮影者（または鑑賞者）は次の被写体を合焦状態にしたいと判断する傾向にあるからである。また、被写体の数が少ない程、撮影者（または鑑賞者）が一つの被写体に意識を向け易い傾向にあるからである。
図２１のテーブルを参照することで、焦点調節決定部１５ｆは例えば、ホワイトバランス調節動作に連続性がある程、焦点調節の駆動速度を速め、被写体の数が少ない程、焦点調節の駆動速度を速める。これにより、撮影者（または鑑賞者）の意識の向け易さに合った焦点調節ができるため、焦点調節による動画の見え方の変化が撮影者（または鑑賞者）にとって、より好ましいものとすることができる。
＜処理１０＞
図２０に戻って、焦点調節部１６ｆは、焦点調節決定部１５ｆで決定した焦点調節の挙動（焦点調節の駆動速度）に基づいて、撮像光学系２の焦点調節用光学系を制御し、焦点を調節する。
図２２は、実施例３における撮像装置１ｆの処理の流れの一例を示すフローチャートである。
ステップＳ６０１の処理は、図６のステップＳ１０１の処理と同一であるのでその説明を省略する。
（ステップＳ６０２）次に、焦点調節量取得処理切替部２２は、焦点調節量を取得する処理を選択する。
（ステップＳ６０３）次に、焦点調節量取得部１２１ｆと第２焦点調節量取得部１０１のうち、焦点調節量取得処理切替部２２で選択された部が、焦点調節量を取得する。
（ステップＳ６０４）次に、被写体数情報取得部１４３は、被写体の情報の一例として、被写体の数を示す被写体数情報を取得する。
（ステップＳ６０５）次に、ホワイトバランス調節動作連続性情報取得部１３３は、フレーム間変化に関わる情報としてのホワイトバランス調節動作情報の一例として、ホワイトバランス調節動作連続性情報を取得する。
（ステップＳ６０６）次に、焦点調節決定部１５ｆは、被写体数情報取得部１４３で取得した被写体数情報と、ホワイトバランス調節動作連続性情報取得部１３３で取得したホワイトバランス調節動作連続性情報とを基に、焦点調節の挙動（ここでは一例として焦点調節の駆動速度）を決定する。
ステップＳ６０７〜Ｓ６０８の処理は、図６のステップＳ１０６〜Ｓ１０７の処理と同一であるのでその説明を省略する。以上で、本フローチャートの処理を終了する。
以上、実施例３において、焦点調節決定部１５ｆは、被写体数情報取得部１４３で取得した被写体数情報と、ホワイトバランス調節動作連続性情報取得部１３３で取得したホワイトバランス調節動作連続性情報とを基に、焦点調節の挙動（ここでは一例として焦点調節の駆動速度）を決定する。その際、焦点調節決定部１５ｆは例えば、ホワイトバランス調節動作に連続性がある程、焦点調節の駆動速度を速め、被写体の数が少ない程、焦点調節の駆動速度を速める。これにより、撮影者（または鑑賞者）の意識の向け易さに合った焦点調節ができるため、焦点調節による動画の見え方の変化が撮影者（または鑑賞者）にとって、より好ましいものとすることができる。
なお、本実施例では、ホワイトバランス調節動作連続性情報取得部１３３が、ホワイトバランス調節の動作情報として、ホワイトバランス調節動作の連続性を示すホワイトバランス調節動作連続性情報を取得したが、上述した実施例２と同様、ホワイトバランス調節の動作速度または動作量を取得しても良い。具体例を下記に示す。
＜変形例１：ホワイトバランス調節の動作速度＞
図２０のホワイトバランス調節動作連続性情報取得部１３３が、ホワイトバランス調節動作速度取得部に変更され、ホワイトバランス調節動作速度取得部が、ホワイトバランス調節動作情報ではなく、ホワイトバランス調節の動作速度を取得してもよい。
ホワイトバランス調節の動作速度が速い程、鑑賞者はホワイトバランス調節中に別の被写体に意識を向け難い傾向にある。従って焦点調節決定部１５ｆは例えば、ホワイトバランス調節速度が速い程、焦点調節を抑制するように焦点調節の挙動を決定しても良い。
＜変形例２：ホワイトバランス調節の動作量＞
図２０のホワイトバランス調節動作連続性情報取得部１３３が、ホワイトバランス調節動作量取得部に変更され、ホワイトバランス調節動作量取得部が、ホワイトバランス調節動作連続性情報ではなく、ホワイトバランス調節の動作量を取得してもよい。ホワイトバランス調節が行われている場合、撮影者（または鑑賞者）はホワイトバランス調節開始初期よりもホワイトバランスがある程度変化した状態の方が次の被写体に意識を向け易い。従って焦点調節決定部１５ｆは例えば、ホワイトバランス調節の動作量が少ない程、焦点調節を抑制するように焦点調節の挙動を決定しても良い。
また、本実施例では、被写体数情報取得部１４３が、１フレーム内の情報として被写体数情報を取得したが、これに限らず、被写体の配置情報を取得して、焦点調節決定部１５ｆが以下のように焦点調節の挙動を決定しても良い。
＜変形例３：被写体の配置情報の一例としての被写体の物理的位置＞
被写体数情報取得部１４３は、被写体数情報ではなく、被写体の配置情報の一例として、被写体の物理的位置を示す被写体物理的位置情報を取得してもよい。
被写体数情報取得部１４３は例えば、被写体の物理的位置を公知の技術による画像処理によって取得する。なお、撮影者入力部１１が撮影者による被写体の物理的位置の入力を受け付け、被写体数情報取得部１４３が、撮影者入力部１１から被写体物理的位置情報を取得してもよい。被写体の物理的位置が撮像装置に近い程、撮影者（または鑑賞者）は意識を向け易い傾向にある。従って、焦点調節決定部１５ｆは例えば、被写体の物理的位置が撮像装置１ｆから遠い程、焦点調節を抑制するように焦点調節の挙動を決定しても良い。これにより、撮影者（または鑑賞者）の意識の向け易さにあった焦点調節の挙動を示すので、撮影者（または鑑賞者）がより好む見え方をする動画を提供することができる。
＜変形例４：被写体の配置情報の一例としての被写体の分散状態情報＞
被写体数情報取得部１４３は、被写体数情報ではなく、被写体の配置情報の一例として、被写体の分散状態を示す被写体分散状態情報を取得してもよい。
画面内の被写体が複数ある場合、一つの場所に固まっている程、すなわち被写体の位置が分散していない程、撮影者（または鑑賞者）は意識を向け易い傾向にある。従って、焦点調節決定部１５ｆは例えば、被写体の位置が分散していない程、焦点調節を促進するように焦点調節の挙動を決定しても良い。これにより、撮影者（または鑑賞者）の意識の向け易さにあった焦点調節の挙動を示すので、撮影者（または鑑賞者）がより好む見え方をする動画を提供することができる。
＜変形例５＞
また、本実施例では、焦点調節決定部１５ｆはフレーム間変化に関わる情報として取得したホワイトバランス調節動作連続性情報と、１フレーム内の情報として取得した被写体数情報とを用いて、焦点調節の挙動を決定しているが、この他に、更に撮像装置１ｆに取り付けた撮像光学系２の固有の情報である撮像光学系固有情報を用いて焦点調節の挙動を補正しても良い。この場合の撮像装置１ｇの構成を図２３に、フローチャートを図２４に示す。
図２３は、実施例３の変形例５における撮像装置１ｇの構成を示す概略ブロック図である。なお、図２０と共通する要素には同一の符号を付し、その具体的な説明を省略する。実施例３の変形例５における撮像装置１ｇの構成は、図２０の実施例３の撮像装置１ｆの構成に対して、撮像光学系固有情報取得部２３が追加され、焦点調節決定部１５ｆが焦点調節決定部１５ｇに変更されたものになっている。
撮像光学系固有情報取得部２３は、撮像光学系２から撮像光学系固有情報を取得する。撮像光学系固有情報取得部２３は、取得した撮像光学系固有情報を焦点調節決定部１５ｇへ出力する。
＜例１：解像力情報＞
第１の例として、撮像光学系固有情報取得部２３は、撮像光学系固有情報として解像力情報を取得する。例えば、撮像部１２ｆがＩＳＯ１２２３３で規定される解像力チャートを撮像し、撮像光学系固有情報取得部２３は、撮像により得られた画像から、解像力チャートに含まれる視覚解像度評価パターンのくさび線数が変化した空間周波数を解像度として取得してもよい。撮像装置に取り付けた撮像光学系の解像力が高い程、微小な変化を撮像することが可能になる。動画中で微小な変化が繰り返し起こることを避けるため、焦点調節決定部１５ｇは、取り付けた撮像光学系２の解像力が高い程、焦点調節を抑制するように焦点調節の挙動を決定してもよい。
具体的な焦点調節決定部１５ｇの処理の一例を説明する。
まず、焦点調節決定部１５ｇはフレーム間変化に関わる情報として取得したホワイトバランス調節動作連続性情報と、１フレーム内の情報として取得した被写体数情報とを用いて、仮の焦点調節速度Ｖｃｏｎｔｒｏｌを仮に決定する。
そして、焦点調節決定部１５ｇは、撮像光学系２の解像力が高い程、焦点調節抑制係数γを小さくするように焦点調節抑制係数γを決定する。そして、焦点調節決定部１５ｇは、決定した焦点調節抑制係数γを用いて仮の焦点調節速度Ｖｃｏｎｔｒｏｌを補正して、最終的な焦点調節速度Ｖｃｏｒｒｅｃｔｉｏｎを決定する。具体的には例えば焦点調節決定部１５ｇは、以下の式（６）に従って最終的な焦点調節速度Ｖｃｏｒｒｅｃｔｉｏｎを算出する。
Ｖｃｏｒｒｅｃｔｉｏｎ＝Ｖｃｏｎｔｒｏｌ×γ …式（６）
焦点調節決定部１５ｇは、撮像光学系２の解像力が高い程、焦点調節抑制係数γを小さくするように焦点調節抑制係数γを決定し、撮像光学系２の解像力が高い程、焦点調節速度を遅くすることで、動画中で微小な変化が繰り返し起こることを避けることができる。このため、撮影者（または鑑賞者）がより好む見え方をする動画を提供することができる。
＜例２：手ブレ補正光学系の有無または手ブレ補正光学系の駆動幅＞
第２の例として、撮像光学系２に手ブレ補正光学系がある場合、撮像光学系固有情報取得部２３は、撮像光学系固有情報として手ブレ補正光学系の有無または手ブレ補正光学系の駆動幅を取得する。手ブレ補正光学系がある場合、手ブレ補正時に例えば以下のような現象が現れる。
（１）周辺減光の出方の変化
手ブレ補正光学系が手ブレ補正のために駆動すると、光軸中心と画像中心がずれる。通常、手ブレ補正が無い場合には画像中心から上下左右対称に周辺減光が現れるが、光軸中心と画像中心がずれた場合には画像中心に対して非対称に周辺減光が現れる。またそれに加えて、周辺減光の出方が時系列に変化する。このような状況で焦点調節を行うと周辺減光の不自然な変化による違和感を目立ち易くしてしまう。
（２）解像状態の変化
通常、手ブレ補正が無い場合には画像中心から上下左右対称に像高が高い程、解像力が劣化していくが、光軸中心と画像中心がずれた場合には画像中心に対して非対称に解像力が劣化するように見える。それに加えて、劣化の仕方が時系列に変化する。このような状況で焦点調節を行うと解像感の不自然な変化による違和感を目立ち易くしてしまう。
従って、取り付けた撮像光学系２に手ブレ補正光学系がある場合、焦点調節決定部１５ｇは、手ブレ補正が駆動中である場合には焦点調節を抑制するように焦点調節の挙動を決定してもよい。また、手ブレ補正光学系の駆動幅が大きい程、焦点調節を抑制するように焦点調節の挙動を決定しても良い。
この具体的な補正処理としては、撮像光学系固有情報から焦点調節抑制係数γを決定し、式（６）と同様の式を用いて焦点調節の挙動を補正する。この際、焦点調節決定部１５ｇは、焦点調節抑制係数γを以下のように設定しても良い。焦点調節決定部１５ｇは例えば、手ブレ補正が駆動中である場合には、焦点調節抑制係数γを小さく設定して焦点調節を抑制すると良い。焦点調節決定部１５ｇは例えば、手ブレ補正の駆動幅が大きい程、焦点調節抑制係数γを小さく設定して焦点調節を抑制しても良い。
図２４は、実施例３の変形例５における撮像装置１ｇの処理の流れの一例を示すフローチャートである。
ステップＳ７０１〜Ｓ７０５の処理は、図２２のステップＳ６０１〜Ｓ６０５の処理と同一であるのでその説明を省略する。
（ステップＳ７０６）次に、撮像光学系固有情報取得部２３は、撮像光学系２から撮像光学系固有情報を取得する。
（ステップＳ７０７）次に、焦点調節決定部１５ｇは、被写体数情報、ホワイトバランス調節動作連続性情報及び撮像光学系固有情報に基づいて、焦点調節の挙動を決定する。
ステップＳ７０８〜Ｓ７０９の処理は、図２２のステップＳ６０７〜Ｓ６０８の処理と同一であるのでその説明を省略する。
＜変形例６＞
またこの他に、本実施例のように、撮像装置１ｆが複数の焦点調節量を取得できる部材を有する場合に、焦点調節量取得処理切替部２２ｈは、焦点調節量取得方法取得部として何れの焦点調節量の取得方法を使用するかを示す焦点調節量取得処理情報を取得してもよい。その場合、焦点調節量取得方法情報も用いて焦点調節の挙動を決定しても良い。この場合の、撮像装置の構成を図２５に、フローチャートを図２６に示す。ここでは一例として、撮像装置または被写体が物理的に動いていることを前提とする。
図２５は、実施例３の変形例６における撮像装置１ｇの構成を示す概略ブロック図である。なお、図２０と共通する要素には同一の符号を付し、その具体的な説明を省略する。実施例３の変形例６における撮像装置１ｈの構成は、図２０の実施例３の撮像装置１ｆの構成に対して、撮像光学系固有情報取得部２３が削除され、焦点調節決定部１５ｆが焦点調節決定部１５ｈに、焦点調節量取得処理切替部２２が焦点調節量取得処理切替部２２ｈに変更されたものになっている。
焦点調節量取得処理切替部２２ｈは、焦点調節量取得処理切替部２２と同様の機能を有するが、更に、焦点調節量取得処理切替部２２ｈは選択した焦点調節取得処理から、何れの焦点調節量の取得方法を使用するかを示す焦点調節量取得方法情報を生成し、生成した焦点調節量取得方法情報を焦点調節決定部１５へ出力する。
焦点調節量取得の処理方式によって、焦点調節の特徴が変わる。コントラスト検出によって焦点調節量を取得した場合、焦点調節量の取得が比較的遅いが、滑らかな追尾が可能である。一方、位相差素子を用いて焦点調節量を取得した場合、素早い焦点調節量の取得が可能だが、微小な焦点調節量変化にも反応し易いため滑らかな追尾がし難い。
従って、焦点調節決定部１５ｈは、焦点調節量取得処理切替部２２ｈから取得した焦点調節量取得処理情報にも基づいて、焦点調節の挙動を決定する。
具体的な補正処理としては、焦点調節決定部１５ｈは例えば、焦点調節抑制係数γを決定し、式（６）と同様の式を用いて焦点調節の挙動を補正する。この際、焦点調節決定部１５ｈは、焦点調節抑制係数γを以下のように設定してもよい。コントラスト検出による焦点調節量取得を行う場合、焦点調節決定部１５ｈは例えば、焦点調節抑制係数γを予め決められた基準より大きい値に設定し、焦点調節の速度を決定してもよい。これにより、焦点調節抑制係数γを大きくして焦点調節の速度が速くなっても、滑らかに焦点調節を行うので、撮影者（または鑑賞者）がより好む動画を提供することができる。
一方、位相差素子を用いた焦点調節量取得を行う場合、焦点調節決定部１５ｈは例えば焦点調節抑制係数γを予め決められた基準以下の値に設定し、焦点調節の速度を決定してもよい。これにより、焦点調節抑制係数γを小さくして焦点調節の速度を遅くすることで、動画中で微小な変化が繰り返しおこることを軽減するので、撮像装置１ｈは撮影者（または鑑賞者）がより好む見え方をする動画を提供することができる。
図２６は、実施例３の変形例６における撮像装置１ｈの処理の流れの一例を示すフローチャートである。
ステップＳ８０１〜Ｓ８０５の処理は、図２２のステップＳ６０１〜Ｓ６０５の処理と同一であるのでその説明を省略する。
（ステップＳ８０６）次に、焦点調節量取得処理切替部２２ｈは、選択した焦点調節取得処理に基づいて、焦点調節量取得方法情報を取得する。
（ステップＳ８０７）次に、焦点調節決定部１５ｈは、被写体数情報、ホワイトバランス調節の動作情報（ここでは、一例としてホワイトバランス調節動作連続性情報）、及び焦点調節量取得方法情報に基づいて、焦点調節の挙動を決定する。
ステップＳ８０８〜Ｓ８０９の処理は、図２２のステップＳ６０７〜Ｓ６０８の処理と同一であるのでその説明を省略する。
＜実施例４＞
続いて、実施例４について説明する。本実施例では、図２７のように室内でパンニングを行うようなシーンを対象に説明を行う。
図２７は、実施例４における撮影シーンの一例を説明するための図である。同図において、くまのぬいぐるみが見える状態から、パンニングによって撮像される被写体が変化し、無彩色のメモ、鮮やかな赤い花の順に現れる撮影シーンの各フレーム画像が示されている。なお、図２７内では焦点調節動作及びピントがずれている状態に関して図示していない。
同図において、Ｎフレームの画像Ｇ５１、Ｎ＋１フレームの画像Ｇ５２、及びＮ＋２フレームの画像Ｇ５３が示されている。Ｎフレームの画像Ｇ５１には、くまのぬいぐるみの画像領域Ｒ５１が示されている。Ｎ＋１フレームの画像Ｇ５２には、くまのぬいぐるみの画像領域Ｒ５２と無彩色の画像領域Ｒ５３が示されている。Ｎ＋２フレームの画像Ｇ５３には、無彩色の画像領域Ｒ５４と赤い花の画像領域Ｒ５５が示されている。
図２８は、実施例４における撮像装置１ｉの構成を示す概略ブロック図である。実施例４における撮像装置１ｉの構成は、図４の実施例１の撮像装置１ａの構成に対して、画像処理部１０が画像処理部１０ｉに、撮像部１２ａが撮像部１２ｉに、フレーム間変化情報取得部１３ａがフレーム間変化情報取得部１３ｉに、焦点調節決定部１５ａが焦点調節決定部１５ｉに、焦点調節部１６が焦点調節部１６ｉに変更されたものになっている。画像処理部１０ｉは、フレーム内情報取得部１４ｉと焦点調節量取得部１０３とを備える。ここでフレーム内情報取得部１４ｉは被写体色情報取得部１４４を備える。フレーム間変化情報取得部１３ｉは、撮像装置動き情報取得部１３４を備える。ここで撮像装置動き情報取得部１３４は、ジャイロセンサ１３４１及び加速度センサ１３４２を備える。
続いて、動画記録時の処理の順序に従って、撮像装置１ｉの各部の処理を説明する。
＜処理１＞
撮影者は焦点調節を行うエリアの設定を行う。一例として、パンニング後、画面略右側の辺りの被写体に対して焦点調節を行うため、撮影者は画面右側エリアを指定する。その際、撮影者入力部１１は、撮影者による焦点調節を行うエリアの入力を受け取り、受け取った入力が示す撮影者による焦点調節を行うエリアの情報を不図示のメモリに記憶させる。
なお、本実施例では一例として、焦点調節を行うエリアを撮影者が指定しているが、以下の処理によって撮像装置動き情報取得部１３４は焦点調節を行うエリアを自動的に選択しても良い。
撮像装置動き情報取得部１３４は例えば、撮像装置１ｉの動きを示す動き情報の一例として、ジャイロセンサ１３４１のセンサ出力を取得する。撮像装置動き情報取得部１３４は例えば、ジャイロセンサ１３４１のセンサ出力から、撮像装置１ｉの動きを解析する。図２７の撮影シーンでは、撮像装置動き情報取得部１３４は一例として、画面右側に向かってパンニングが行われていると解析する。パンニングを行っている場合、次の被写体はパンニングを行う方向から出現すると予想できるため、撮像装置動き情報取得部１３４は、画面右側を焦点調節を行うエリアとして選択してもよい。
＜処理２＞
記録開始釦１１１は、撮影者の撮影開始指示を受け付け、受け付けた撮影開始指示を撮像部１２ｉに出力する。
撮像部１２ｉは、記録開始釦１１１から入力された撮影開始指示を受け取ると、被写体から撮像光学系２を介して入射した光を電気信号に予め決められたシャッター速度で変換することで、動画像信号を生成する。これにより、撮像部１２ｉは撮影者の指示に従い、動画記録を開始する。撮像部１２ｉは、生成した動画像信号を画像処理部１０ｉへ出力する。また、撮影者は、撮像方向に向かって右側にパンニングを開始する。
なお、撮影者入力部１１がタッチパネルを備える場合、撮影者入力部１１は撮影者の指示をタッチパネルの操作によって受け付けてもよい。また、撮影者入力部１１がマイクロフォンを備える場合、撮影者入力部１１は、マイクロフォンから入力された音声信号に対して音声認識を適用して撮影者の指示を受け付けてもよい。
＜処理３＞
焦点調節量取得部１０３は、撮影者入力部１１で受け付けた焦点調節を行うエリアの情報を不図示のメモリから読み出す。焦点調節量取得部１０３は、撮像部１２ｉから得られた動画像信号からコントラスト値を取得し、取得したコントラスト値を用いて、読み出した焦点調節対象エリアを合焦状態とするための焦点調節量を取得する。そして、焦点調節量取得部１０３は、取得した焦点調節量を焦点調節部１６ｉへ出力する。
なお、焦点調節量の取得処理は、これに限らず、撮像部１２ｉは、撮像部１２ｉの撮像素子の像面に配置した位相差素子を用いて焦点調節量を取得してもよい。また、撮像装置１ｉは、撮像光学系２を通った光の略半分を撮像素子に、略半分を専用の位相差素子に出力するような透明なミラーを更に備え、位相差素子が検出した信号から焦点調節量を取得してもよい。
＜処理４＞
被写体色情報取得部１４４は、１フレーム内の情報として被写体の色情報（ここでは一例として被写体の彩度を示す被写体彩度情報）を取得する。具体的には例えば、被写体色情報取得部１４４は、焦点調節を行うエリア内の彩度の平均値を被写体彩度情報として取得する。なお、これに限らず、被写体色情報取得部１４４は、フレーム画像中から被写体領域の抽出を例えば図地判定で行い、焦点調節を行うエリア近傍の被写体領域内での彩度の平均値を取得しても良い。ここで、焦点調節を行うエリア近傍は例えば、焦点調節を行うエリアを含み、そのエリアから予め決められた画素数だけ離れた画素も含む。被写体色情報取得部１４４は、取得した被写体彩度情報を焦点調節決定部１５ｉへ出力する。
なお、本実施例では、被写体色情報取得部１４４は、被写体の色情報を任意のエリアから取得するが、撮像されている画面全体の色情報を取得しても良い。
＜処理５＞
撮像装置動き情報取得部１３４は、フレーム間変化に関わる情報として、撮像装置１ｉの動きを示す撮像装置動き情報（ここでは一例として、撮像装置１ｉの動き量）を取得し、取得した動き情報を焦点調節決定部１５ｉへ出力する。
ジャイロセンサ１３４１は回転方向の角速度を検出するセンサであり、被写体に向かって水平方向の軸（ｘ軸）を中心としたpitch方向(チルト方向とも呼ばれる）の回転、被写体に向かって水平方向の軸（y軸）を中心としたyaw方向（パン方向とも呼ばれる）の回転、z軸を中心としたroll方向の角速度を検出することができる。1つのジャイロセンサに対して1方向取得でき、3軸全ての回転角速度を検出したい場合にはジャイロセンサを3つ用意すればよい。
撮像装置動き情報取得部１３４は例えば、ジャイロセンサ１３４１で検出されたｐｉｔｃｈ、ｙａｗ、ｒｏｌｌの回転方向の角速度それぞれを積分することで、それぞれｐｉｔｃｈ、ｙａｗ、ｒｏｌｌの回転方向の移動量を動き量の一つとして算出する。
加速度センサ１３４２は例えば３軸の加速度センサで、ｘ軸方向、ｙ軸方向、ｚ軸方向の加速度を検出する。
撮像装置動き情報取得部１３４は例えば、加速度センサ１３４２で検出されたｘ軸方向、ｙ軸方向、ｚ軸方向の加速度それぞれを二重積分することで、それぞれｘ軸方向、ｙ軸方向、ｚ軸方向の移動量を動き量の一つとして算出する。撮像装置動き情報取得部１３４は、算出した動き量を示す情報を撮像装置動き量情報として焦点調節決定部１５ｉへ出力する。
なお、撮像装置動き情報取得部１３４は例えば、動き情報を、ジャイロセンサや加速度センサの使用に限らず、撮像した動画から画像処理によって求めても良い。
なお、本実施例では、撮像装置動き情報取得部１３４は、動き量をパンニング開始時点からの動き量として扱うが、現時点から任意のフレーム遡った間の移動量でも良い。
＜処理６＞
焦点調節決定部１５ｉは、被写体色情報取得部１４４で取得した被写体の彩度情報と、撮像装置動き情報取得部１３４で取得した撮像装置動き量情報とに基づいて、焦点調節の挙動を決定する。具体的には例えば、ここで、被写体の彩度を目的変数とし撮像装置の動き量を独立変数とする二次関数を示す情報が予め不図示のメモリに記憶されている。その場合、焦点調節決定部１５ｉは例えば、メモリから二次関数を読み出し、読み出した二次関数を用いて焦点調節を動作させるか禁止するかを決定する。
図２９は、焦点調節を禁止する焦点調節禁止領域を示す図である。同図において、縦軸（ｙ軸）が被写体の彩度で横軸（ｘ軸）が撮像装置の動き量である。焦点調節禁止領域Ｒ２９１は、読み出した二次関数が表す曲線Ｗ２９１とｘ軸とで囲まれた領域である。図２９の例において、焦点調節決定部１５ｉは例えば、取得した被写体の彩度をｙ座標とし、取得した撮像装置１ｉの動き量をｘ座標とした場合に、そのｘｙ座標が焦点調節禁止領域Ｒ２９１に含まれていれば、焦点調節を禁止する。
なお、焦点調節決定部１５ｉは、二次関数を用いて「焦点調節の禁止」または「焦点調節の実行」を決定する条件（領域）を決定したが、これに限らず他の多項式や関数式を用いて決定しても良い。
＜処理７＞
焦点調節部１６ｉは、焦点調節決定部１５ｉで決定した焦点調節の挙動（動作させるか禁止するか）に基づいて、撮像光学系２の焦点調節用光学系を制御し、焦点を調節する。
＜処理８＞
撮像装置１ｉは、撮影者入力部１１が撮影者から撮影の終了指示の入力を受け付けるまで、処理３〜７の処理を繰り返す。
例えば図２７のように、パンニングによって時々刻々と撮像される被写体の内容が変わるシーンの場合、パンニング開始状態に近い程、未だパンニング状態と判断されず静止状態と判断される状態であるので、撮影者（または鑑賞者）は合焦させたい被写体を変えたい（または焦点調節を動作させたい）と判断し易い傾向がある。また、パンニング開始時からの撮像装置１ｉの動き量が一定以上よりも大きく且つ大きい程、十分にパンニングし合焦させたい被写体が変化したと判断される状態であるので、撮影者（または鑑賞者）は合焦させたい被写体を変えたい（または焦点調節を動作させたい）と判断し易い傾向がある。また、被写体の彩度が高い程、注目に値する被写体と判断される状態であるので、撮影者（または鑑賞者）は合焦させたい被写体を変えたい（焦点調節を動作させたい）と判断し易い傾向がある。
そのため、焦点調節決定部１５ｉは例えば、以下のように焦点調節の挙動を決定する。
Ｎフレームでは、焦点調節決定部１５ｉはパンニング開始状態で撮像されている「くまのぬいぐるみ」に対して、焦点調節を行うように焦点調節の挙動を決定する。Ｎ＋１フレームでは、ある程度パンニングはしているが、図２７の領域Ｒ５３に示す無彩色のメモのように彩度が予め決められた閾値より低い場合、焦点調節決定部１５ｉはその彩度が予め決められた閾値より低い被写体に対して、焦点調節が行われないように焦点調節の挙動を決定する。Ｎ＋２フレームでは、前フレームよりもパンニングし且つ図２７の領域Ｒ５５に示す赤い花のように彩度が予め決められた閾値より高い場合、焦点調節決定部１５ｉはその彩度が予め決められた閾値より高い被写体に対して、焦点調節を行うように焦点調節の挙動を決定する。
図３０は、実施例４における撮像装置の処理の流れの一例を示すフローチャートである。
（ステップＳ９０１）まず、記録開始釦１１１が押された場合、撮像部１２ｉは、撮影を開始する。
（ステップＳ９０２）次に、焦点調節量取得部１０３は、焦点調節量を取得する。
（ステップＳ９０３）次に、被写体色情報取得部１４４は、１フレーム内の情報としての被写体の色情報の一例として被写体彩度情報を取得する。
（ステップＳ９０４）次に、撮像装置動き情報取得部１３４は、フレーム間変化に関わる情報としての撮像装置動き情報の一例として、撮像装置動き量情報を取得する。
（ステップＳ９０５）次に、焦点調節決定部１５ｉは、撮像装置動き量情報と被写体彩度情報とを用いて、焦点調節の挙動を決定する。
（ステップＳ９０６）次に、焦点調節部１６は、決定された焦点調節の挙動に従って焦点調節する。
（ステップＳ９０７）次に、撮像部１２ｉは、撮影終了か否か判定する。撮影終了で無い場合（ＮＯ）、ステップＳ９０２に戻る。撮影終了の場合（ＹＥＳ）、撮像装置１ｉはその処理を終了する。以上で、本フローチャートの処理を終了する。
本実施例では、撮像装置動き情報取得部１３４が撮像装置動き情報として動き量を取得したが、動き量の代わりに、動き速度、動きの連続性の情報または手ブレの情報を取得してもよい。そして、焦点調節決定部１５ｉは、取得された動き速度、動きの連続性の情報または手ブレの情報を用いて、焦点調節の挙動を決定しても良い。以下、具体例について説明する。
＜変形例１：撮像装置動き情報として撮像装置１ｉの動き速度を取得する場合＞
撮像装置動き情報取得部１３４は、撮像装置動き情報として、撮像装置１ｉの動き速度を取得してもよい。その際、撮像装置動き情報取得部１３４は、撮像装置１ｉの動きの速度を、上述した動き量と同様、専用のセンサ（ジャイロセンサ１３４１または加速度センサ１３４２）または画像処理を用いて取得してもよい。撮像装置１ｉが低速に動いている場合には撮影者（または鑑賞者）は合焦させたいと判断する被写体を変化させ易い傾向にあるが、撮像装置１ｉが高速に動いている場合には、合焦させたいと判断する被写体を変化させ難い傾向にある。従って、焦点調節決定部１５ｉは、撮像装置１ｉの動き速度が速い程、焦点調節が禁止され易くなるように焦点調節の挙動を決定しても良い。
また、一度焦点調節を行ったほうが良いと判断された場合、撮像装置１ｉの動きが遅い場合と比較し、撮像装置１ｉの動き速度が速いほど、速い動作で焦点調節を行った方が自然な見えの焦点調節となる。従って、撮像装置１ｉの動き速度によって焦点調節を「動作」するか「禁止」するかを判断した後に、焦点調節決定部１５ｉは、例えば以下の処理で初期状態から合焦状態までの焦点調節の時間的特性を決定しても良い。
初期状態から合焦状態までの焦点調節の時間的特性の決定処理の一例として、撮像装置動き情報取得部１３４で取得した撮像装置動き情報から、撮像装置１ｉの動き速度を取得する。ここでは一例として、撮像装置動き情報取得部１３４は、撮像装置１ｉ内の不図示のメモリに予め記憶された閾値を用いて、撮像装置の動き速度を「高速」、「中速」、「低速」の三つに分類する。なお、撮像装置動き情報取得部１３４は、撮像装置の動き速度（例えばジャイロセンサ１３４１から得られた出力［ｄｅｇｒｅｅ／ｓｅｃ］）をそのまま撮像装置動き情報として利用しても良い。
例えば、撮像装置１ｉ内の不図示のメモリには、撮像装置の動き速度を示す情報と、初期状態から合焦状態までの焦点調節の挙動の時間的特性とが関連付けられたテーブルが記憶されている。例えば、焦点調節決定部１５ｉは、不図示のメモリに記憶されている上記テーブルを参照して、取得した撮像装置１ｉの動き速度に対応する時間的特性を読み出すことで、初期状態から合焦状態までの焦点調節の時間的特性を決定する。
続いて、撮像装置の動き速度を示す情報と、初期状態から合焦状態までの焦点調節の挙動の時間的特性とが関連付けられたテーブルについて図３１を用いて説明する。図３１は、撮像装置の動き速度を示す情報と、初期状態から合焦状態までの焦点調節の挙動の時間的特性とが関連付けられたテーブルの概念図である。同図において、撮像装置の動き速度が高速、中速、低速の三つに分けられており、それぞれに対して、初期状態から合焦状態までの焦点調節の挙動の時間的特性が関連付けられている。具体的には高速の場合、曲線Ｗ３１１に示される焦点調節の挙動の時間的特性が関連付けられ、中速の場合、曲線Ｗ３１２に示される焦点調節の挙動の時間的特性が関連付けられ、低速の場合、曲線Ｗ３１３に示される焦点調節の挙動の時間的特性が関連付けられている。図３１から分かるように、撮像装置１ｉの動きが速い方が、速い動作での焦点調節が行われる。よって、焦点調節決定部１５ｉは、図３１の概念図で示すようなテーブルを参照することで、撮像装置１ｉの動きが速いほど、速い動作で焦点調節をするよう焦点調節の挙動を決定する。
＜変形例２＞
変形例１では撮像装置の動き速度が速い程、焦点調節が禁止され易くなるように焦点調節の挙動を決定しているが、例えば撮像装置の動き速度情報と被写体の色情報から、いつ焦点調節を開始するか（焦点調節の開始のタイミング）を決定してもよい。
人の感覚として、撮像装置の動き速度（例えばパンニングの速度）が遅い程、パンニングをしながら現れた被写体を次の被写体と認識し易い。従って、被写体を認識する時間が早くなり、それに伴って焦点調節の開始タイミングを早くすると良い。一方で撮像装置の動き速度（例えばパンニング速度）が速い場合、パンニングをしながら現れた被写体を次の被写体と認識し難い。従って、被写体を認識する時間が遅くなり、それに伴って焦点調節の開始タイミングを遅くすると良い。また、被写体の彩度が高いと、パンニングをしながら現れた被写体を次の被写体と認識し易いため、焦点調節の開始タイミングを早くした方が良い。一方で被写体の彩度が低いと、パンニングをしながら現れた被写体を次の被写体と認識し難いため、焦点調節の開始タイミングを遅くすると良い。これを考慮し、焦点調節の開始タイミングを図４９のようなテーブルを用いて決定すると良い。
図４９は、被写体彩度とパンニング速度の組毎に焦点調節の開始タイミングが関連付けられたテーブルの一例である。同図のテーブルＴ６において、パンニング速度が速い程、焦点調節の開始タイミングが遅くなる傾向にある。また、被写体彩度が高い程、焦点調節の開始タイミングが早くなる傾向にある。焦点調節決定部１５ｉは、図４９に示すようなテーブルを参照することで、パンニング速度が遅い程、または、被写体彩度が高い程、早いタイミングで焦点調節を開始するよう焦点調節の挙動を決定する。
＜変形例３：撮像装置動き情報として撮像装置１ｉの動きの連続性に関する情報を取得する場合＞
また、撮像装置動き情報取得部１３４は、撮像装置動き情報として、撮像装置１ｉの動きの連続性に関する情報を取得してもよい。その際、撮像装置動き情報取得部１３４は、撮像装置１ｉの動きの連続性に関する情報を上述した動き量と同様、専用のセンサ（ジャイロセンサ１３４１または加速度センサ１３４２）または画像処理を用いて例えば以下の処理で取得してもよい。
撮像装置動き情報取得部１３４は、例えば任意の数の過去フレームにおける撮像装置１ｉの加速度のばらつきから連続性を判定してもよい。具体的には、撮像装置動き情報取得部１３４は例えば、上記任意の数の過去フレームの間に正負どちらの加速度も検出されている場合、連続性が無いと判定してもよい。一方、撮像装置動き情報取得部１３４は例えば、上記任意の数の過去フレームの間に、正負いずれか一方の加速度のみが検出されている場合、連続性が有ると判定してもよい。
撮像装置１ｉの動きに連続性がある場合には撮影者（または鑑賞者）は合焦させたいと判断する被写体を変化させ易いが、撮像装置１ｉの動きに連続性が無い場合には合焦させたいと判断する被写体を変化させ難い。従って、焦点調節決定部１５ｉは、撮像装置１ｉの動きに連続性が無いと判断される場合には、焦点調節を抑制するように焦点調節の挙動を決定しても良い。
＜変形例４：撮像装置動き情報として手ブレの情報を取得する場合＞
また、撮像装置動き情報取得部１３４は、撮像装置動き情報として、手ブレの情報を取得してもよい。その際、撮像装置動き情報取得部１３４は、上記した動き量と同様、専用のセンサ（ジャイロセンサ１３４１または加速度センサ１３４２）または画像処理を用いて手ブレの情報を取得してもよい。具体的には例えば、撮像装置動き情報取得部１３４は、ジャイロセンサ１３４１で検出した角速度の高周波成分、または加速度センサ１３４２で検出した加速度の高周波成分を手ブレの情報としてもよい。
例えば手ブレ量が予め決められた閾値よりも大きいと判断される場合すなわち手ブレによる画面内の変化が激しい場合、加えての焦点変化（ボケや合焦状態の変化）はあまり起こらない方が撮影者（または鑑賞者）にとって自然な見えになる。従って、焦点調節決定部１５ｉは、手ブレが強く発生している場合程、焦点調節を抑制するように焦点調節の挙動を決定しても良い。具体的には例えば、焦点調節決定部１５ｉは、検出した角速度の高周波成分または加速度の高周波成分が大きい程、焦点調節を抑制するように焦点調節の挙動を決定しても良い。
＜変形例５：撮像装置の動き情報として撮像装置の動き（カメラワーク）の有無情報を取得する場合＞
撮像装置動き情報取得部１３４は、撮像装置動き情報として、撮像装置の動きの有無情報を取得しても良い。その際、撮像装置動き情報取得部１３４は、上記した動き量と同様、専用のセンサ（ジャイロセンサ１３４１または加速度センサ１３４２）または画像処理を用いて撮像装置の動き（カメラワーク）の有無情報を取得してもよい。
例えばパンニングのような撮像装置の動き（カメラワーク）がある場合、焦点調節対象である被写体はパンニングと共に新しく登場する。しかしパンニングが無い場合では、焦点調節前の合焦状態に無い状態だとしても、画角内には予め被写体が存在し「そこに次の被写体が」あることを撮影者（鑑賞者）は予め認識している。これにより、焦点調節への要望が変わり、撮影者（鑑賞者）が予め被写体を認識していない場合にはゆっくりと焦点調節を行う方が良い。これは、以下に示す主観評価の結果から明らかである。
図５５Ａ〜Ｂは、焦点調節開始から合焦状態までの時間的特性の一例である。同図において、縦軸が焦点位置で横軸が時間である。図５５Ａは、相対的に速い焦点調節の挙動の時間特性であり、図５５Ｂは、相対的に遅い焦点調節の挙動の時間特性である。パンニングがある場合の撮影とパンニングが無い場合の撮影において図５５Ａ〜Ｂに示すような焦点調節の挙動をそれぞれ適用した動画を複数名の被験者集団が視聴し、映像としての好ましさを11段階で（好ましくない：0点、どちらでもない：5点、好ましい：10点）主観評価した結果を図５６に示す。
具体的な焦点調節の挙動の決定方法としては、予め撮像装置は図５５Ａ〜Ｂに示すような速い焦点調節と遅い焦点調節のそれぞれの挙動を撮像装置内の不図示のメモリに保存しておく。焦点調節決定部１５ｉは、撮像装置の動きがある場合には速い焦点調節の挙動を、撮像装置の動きが無い場合には遅い焦点調節の挙動を実行するように焦点調節の挙動を決定すると良い。
また、本実施例では、１フレーム内情報として被写体の色情報（一例として被写体の彩度情報）を取得したが、これに限らず、被写体の色情報の代わりに下記に示すその他の色情報を取得しても良い。その際、例えば、撮像装置１ｉは、特許文献４に記載された技術のように、公知の主要被写体検出処理によって、任意に主要な被写体を任意被写体として抽出してもよい。
＜変形例６：フレーム内の任意被写体とその他の被写体（背景含む）との彩度の差に関する情報＞
被写体色情報取得部１４４は、フレーム内の任意被写体とその他の被写体（背景含む）との彩度の差に関する情報を取得してもよい。フレーム内の任意被写体は、一例として焦点調節を行うエリアの被写体である。彩度が低い被写体の中に一つだけ彩度が高いものがあるような場合には、彩度の高い被写体に撮影者（または鑑賞者）の意識が向かい易い傾向にあるが、背景も被写体も全て彩度が高い場合には、特定の被写体へ意識が向かい難くなる傾向にある。従って、焦点調節決定部１５ｉは例えば、フレーム内の任意被写体とその他の被写体（背景含む）との彩度の差が予め決められた閾値より小さい場合、焦点調節を抑制するようにしても良い。
＜変形例７：フレーム内の任意被写体の色相情報＞
また被写体色情報取得部１４４は、フレーム内の任意被写体の色相情報を取得してもよい。ここでフレーム内の任意被写体は、一例として焦点調節を行うエリアの被写体である。人の眼の感度として、緑色のもの（中波長のもの）に対する感度が高く、次いで赤（長波長のもの）、青（短波長のもの）の順に低くなる。眼で知覚し易い被写体に対しての方が撮影者（または鑑賞者）は意識を向け易い傾向にある。従って、焦点調節決定部１５ｉは例えば、フレーム内の任意被写体の色が青である程（短波長側である程）、焦点調節を抑制するようにしても良い。
＜変形例８：フレーム内の任意被写体とその他の被写体（背景含む）との色相の差に関する情報＞
また被写体色情報取得部１４４は、フレーム内の任意被写体とその他の被写体（背景含む）との色相の差に関する情報を取得してもよい。ここでフレーム内の任意被写体は、一例として焦点調節を行うエリアの被写体である。似たような色相の被写体の中に一つだけ色相の異なる被写体がある場合には、撮影者（または鑑賞者）は色相の異なる被写体に意識を向け易い傾向にある。従って、焦点調節決定部１５ｉは例えば、フレーム内の任意被写体とその他の被写体（背景含む）との色相の差に関する情報を取得し、色相の差が予め決められた閾値より小さい場合、焦点調節を抑制するようにしても良い。
＜変形例９：フレーム内の任意被写体の明度情報＞
また被写体色情報取得部１４４は、フレーム内の任意被写体の明度を示す被写体明度情報を取得してもよい。ここでフレーム内の任意被写体は、一例として焦点調節を行うエリアの被写体である。明るい（但し、飽和はしていない）被写体に対して、撮影者（または鑑賞者）は意識を向け易い傾向がある。従って、焦点調節決定部１５ｉは例えば、被写体明度情報を取得し、明度が低すぎず高すぎない程、焦点調節を動作させ易くするように焦点調節の挙動を決定しても良い。
＜変形例１０：フレーム内の任意被写体とその他の被写体（背景含む）との明度の差に関する情報＞
また被写体色情報取得部１４４は、フレーム内の任意被写体とその他の被写体（背景含む）との明度の差に関する情報を取得してもよい。ここでフレーム内の任意被写体は、一例として焦点調節を行うエリアの被写体である。似たような明度の被写体の中に一つだけ明度の異なる被写体がある場合には、特に明度の異なる被写体に撮影者（または鑑賞者）は意識を向け易い傾向がある。従って、焦点調節決定部１５ｉは例えば、フレーム内の任意被写体とその他の被写体（背景含む）との明度の差に関する情報を取得し、明度の差が予め決められた閾値より小さい場合、焦点調節を抑制するように焦点調節の挙動を決定しても良い。
尚、本実施例では焦点調節決定部１５ｉは、フレーム間変化情報として取得した撮像装置動き情報と１フレーム内の情報として取得した被写体色情報を元に焦点調節の挙動を決定したが、更に他に、撮像装置１ｉの動画記録画像に関わる情報、撮像部１２ｉ内で撮像光学系２によって結像された像を動画像信号として出力する撮像素子の固有の情報、コントラスト信号を検出する対象の設定に関わる情報、焦点調節の方向情報、撮影者による焦点調節対象の指示の有無情報を取得して焦点調節の挙動を決定（補正）しても良い（具体例を以下に示す）。
尚、上述のコントラスト信号は、本実施例のようにコントラスト値から焦点調節量を取得する場合に得られるコントラストを示す信号である。
＜変形例１１：動画記録画像に関わる情報を取得する＞
図３２は、実施例４の変形例１１における撮像装置１ｊの構成を示す概略ブロック図である。なお、図２８と共通する要素には同一の符号を付し、その具体的な説明を省略する。実施例４の変形例１１における撮像装置１ｊの構成は、図２８の実施例４の撮像装置１ｉの構成に対して、動画記録情報取得部２５が追加され、焦点調節決定部１５ｉが焦点調節決定部１５ｊに変更されたものになっている。
具体的には例えば、焦点調節決定部１５ｊは図２９に示された禁止領域の範囲を補正してもよい。具体的には、禁止領域の上に凸な外縁が、関数（例えば２次関数）で表され、禁止領域がその関数とｙ＝０の直線とで挟まれた領域である場合、焦点調節決定部１５ｊは例えば、その２次関数を補正することで禁止領域の範囲を補正してもよい。
＜変形例１１−１：撮像装置の動画記録に関わる情報として動画の記録サイズ情報を取得する＞
動画記録情報取得部２５は例えば、撮像装置の動画記録に関わる情報の一例として、動画の記録サイズを示す動画記録サイズ情報を取得する。動画の記録サイズが大きい方が鑑賞者は動画画面内の変化に敏感になり易いため（特に、５００万画素を越える場合は顕著）、動画の記録サイズが小さい場合よりも不必要な焦点調節による変動を嫌う傾向にある。従って、焦点調節決定部１５ｊは例えば、動画の記録サイズが大きくなる程、焦点調節動作を抑制するよう焦点調節の挙動を補正する。
図３３は、実施例４の変形例１１における撮像装置１ｊの処理の流れの一例を示すフローチャートである。
ステップＳ１００１〜Ｓ１００４の処理は、図３０のステップＳ９０１〜Ｓ９０４の処理と同一であるのでその説明を省略する。
（ステップＳ１００５）次に、動画記録情報取得部２５は、撮像装置の動画記録に関わる情報の一例として動画記録サイズ情報を取得する。
（ステップＳ１００６）次に、焦点調節決定部１５ｊは、フレーム間変化情報として取得した撮像装置動き情報と、１フレーム内の情報として取得した被写体色情報と、動画記録サイズ情報とを用いて焦点調節の挙動を決定する。
ステップＳ１００７〜Ｓ１００８の処理は、図３０のステップＳ９０６〜Ｓ９０７の処理と同一であるのでその説明を省略する。以上で、本フローチャートの処理を終了する。
以上により、焦点調節決定部１５ｊは例えば、動画の記録サイズが大きくなる程、焦点調節動作を抑制するよう焦点調節の挙動を補正する。これにより、撮像装置１ｊは、動画の記録サイズが大きい場合に、焦点調節を禁止するようにすることができる。そのため、撮像装置１ｊは、動画の記録サイズが大きい場合に不必要な焦点調節による変動を嫌う傾向にある鑑賞者にとって好ましい動画を提供することができる。
＜変形例１１−２ 撮像装置の動画記録に関わる情報として記録コーデック情報を取得する＞
また、焦点調節決定部１５ｊは例えば、撮像装置の動画記録に関わる情報として記録コーデックの情報を取得してもよい。動画の記録コーデックが何であるかによって圧縮ノイズの出方が変わり、動画画面内の変化量が変わる（例えば、Ｈ．２６４のような圧縮を行う場合はブロックノイズが出やすい）。動画画面内の変化量が大きい場合には、鑑賞者は更に焦点調節によって動画画面内の変動が起こることを嫌い易い傾向にあるため、焦点調節動作を抑制する方が良い。従って、焦点調節決定部１５ｊは例えば、動画の記録コーデックが何であるかによって、以下のような順で焦点調節が動作し易くなるように焦点調節の挙動を決定しても良い。焦点調節の動作のし易さは一例として、ＲＡＷ、Ｍｐｅｇ２、Ｈ．２６４の順である。
＜変形例１１−３ 撮像装置の動画記録に関わる情報として記録フレームレート情報を取得する＞
また、焦点調節決定部１５ｊは例えば、撮像装置の動画記録に関わる情報として記録フレームレートの情報を取得してもよい。動画の記録フレームレートが何であるかによって動画の見た目の滑らかさが変わる。滑らかでない程、不必要な焦点調節の動作を抑制する方が鑑賞者からは自然に見える。従って、焦点調節決定部１５ｊは例えば、動画記録フレームレートが低い程、焦点調節を抑制するように焦点調節の挙動を決定しても良い。
本実施例では、焦点調節を禁止するか実行するかを図２９に示すような二次関数を用いて決定した。本変形例１１−３では、図３４に示すように禁止領域Ｒ３４１を禁止領域Ｒ３４２に拡大することで、禁止領域Ｒ３４１のときには焦点調節が禁止されなかったが、禁止領域Ｒ３４２のときには焦点調節を禁止することができる場合がある。従って、焦点調節決定部１５ｊは、上記取得した情報に加えて、焦点調節の挙動を決定するための二次関数を補正することで焦点調節の挙動を補正しても良い。
図３４は、禁止領域の変更の一例である。同図において、縦軸が被写体の彩度で、横軸が撮像装置の動き量である。同図において、向かって左側の禁止領域Ｒ３４１が補正前で、向かって右側の禁止領域Ｒ３４２が補正後である。補正により、禁止領域Ｒ３４１が禁止領域Ｒ３４２に拡大している。この例では、焦点調節決定部１５ｊは、予め決められた二次関数を補正して禁止領域Ｒ３４１を禁止領域Ｒ３４２に拡大する。そして、焦点調節決定部１５ｊは、取得した被写体の彩度をｙ座標の値とし、撮像装置１ｊの動き量をｘ座標の値として得られたｘｙ座標が禁止領域Ｒ３４２に入るか否か判定する。そして、ｘｙ座標が禁止領域Ｒ３４２に入る場合、焦点調節決定部１５ｊは焦点調節を禁止するよう焦点調節の挙動を決定する。一方、ｘｙ座標が禁止領域Ｒ３４２に入らない場合、焦点調節決定部１５ｊは焦点調節を禁止しないよう焦点調節の挙動を決定する。
＜変形例１２：撮像素子の固有の情報＞
続いて、変形例１２について説明する。図３５は、実施例４の変形例１２における撮像装置１ｋの構成を示す概略ブロック図である。なお、図２８と共通する要素には同一の符号を付し、その具体的な説明を省略する。実施例４の変形例１２における撮像装置１ｋの構成は、図２８の実施例４の撮像装置１ｉの構成に対して、撮像部１２ｉが撮像部１２ｋに、焦点調節決定部１５ｉが焦点調節決定部１５ｋに変更されたものになっている。撮像部１２ｋは、撮像素子固有情報取得部１２３を備える。
撮像素子固有情報取得部１２３は、撮像素子の固有の情報である撮像素子固有情報を取得し、取得した撮像素子固有情報を焦点調節決定部１５ｋへ出力する。
＜変形例１２−１：撮像素子の大きさ情報＞
例えば、撮像素子固有情報取得部１２３は、撮像素子固有情報の一例として撮像素子の大きさを示す撮像素子大きさ情報を取得する。同じ画角で撮像しようとすると、撮像素子の大きさによって、撮像される像の被写界深度が変化する。被写界深度が浅い程、一つの被写体への注目度が高くなるが、注目する被写体がボケたままの状態であることは望ましく無い。従って、焦点調節決定部１５ｋは撮像素子が大きくなる程、焦点調節が動作し易くなるように焦点調節の挙動を決定しても良い。同じ画角で撮像しようとすると、撮像素子が大きくなる程、焦点距離が長くなり、被写界深度が浅くなるが、焦点調節を促進することで、被写体がボケたままの状態から早く焦点があった状態に変化させることができる。
図３６は、実施例４の変形例１２における撮像装置の処理の流れの一例を示すフローチャートである。
ステップＳ１１０１〜Ｓ１１０４の処理は、図３０のステップＳ９０１〜Ｓ９０４の処理と同一であるのでその説明を省略する。
（ステップＳ１１０５）次に、撮像素子固有情報取得部１２３は、撮像素子固有情報の一例として撮像素子大きさ情報を取得する。
（ステップＳ１１０６）次に、焦点調節決定部１５ｋは、フレーム間変化情報として取得した撮像装置動き量情報と、１フレーム内の情報として取得した被写体彩度情報と、撮像素子大きさ情報とを用いて焦点調節の挙動を決定する。
ステップＳ１１０７〜Ｓ１１０８の処理は、図３０のステップＳ９０６〜Ｓ９０７の処理と同一であるのでその説明を省略する。以上で、本フローチャートの処理を終了する。
＜変形例１２−２：撮像素子のカラーフィルタ配列＞
なお、撮像素子固有情報取得部１２３は、撮像素子の固有の情報の一例として撮像素子のカラーフィルタ配列を取得してもよい。撮像素子のカラーフィルタがベイヤ配列且つベイヤ補間が行われる場合、動画内にジャギーが発生し易い。カラーフィルタがライン配列且つ補間無しの場合、ジャギーは発生し難い。従って、焦点調節決定部１５ｋは、撮像素子のカラーフィルタがベイヤ配列である場合には焦点調節動作を抑制するように焦点調節の挙動を決定しても良い。
具体的な補正処理としては「撮像装置の動画記録に関わる情報を取得する場合」と同様、焦点調節決定部１５ｋは例えば、撮像素子のカラーフィルタ配列がベイヤである場合は焦点調節が禁止され易いように二次関数を補正しても良い。
＜変形例１３：コントラスト信号を検出する対象の設定に関わる情報＞
続いて、変形例１３について説明する。図３７は、実施例４の変形例１３における撮像装置１ｍの構成を示す概略ブロック図である。なお、図２８と共通する要素には同一の符号を付し、その具体的な説明を省略する。実施例４の変形例１３における撮像装置１ｍの構成は、図２８の実施例４の撮像装置１ｉの構成に対して、画像処理部１０ｉが画像処理部１０ｍに、焦点調節決定部１５ｉが焦点調節決定部１５ｍに変更されたものになっている。変形例１３における画像処理部１０ｍの構成は、図２８の画像処理部１０ｉの構成に対して、焦点調節対象設定情報取得部１０４が追加されたものになっている。
焦点調節対象設定情報取得部１０４は、焦点調節対象の設定に関する焦点調節対象設定情報を取得する。具体的には例えば、焦点調節対象設定情報取得部１０４は、焦点調節対象設定情報の一例として、コントラスト信号を検出する対象の設定に関わるコントラスト信号設定情報を取得する。
本実施例のようにコントラスト値から焦点調節量を取得する場合、コントラスト信号を検出する対象の設定（例えば、大きさ等）によって、検出されるコントラスト値が変化し易いかどうかが変化する。例えばコントラスト信号を検出する対象が小さい程、検出されるコントラスト値が変化し易く、必要以上の焦点調節動作が発生し易い。従って、焦点調節決定部１５ｍは例えば、コントラスト信号を検出する対象が小さいほど、焦点調節動作を抑制するよう焦点調節の挙動を決定する。具体的な補正処理としては「撮像装置の動画記録に関わる情報を取得する場合」と同様、焦点調節決定部１５ｍは例えば、コントラスト信号を検出する対象が小さいほど、焦点調節が禁止され易いように二次関数を補正する。
図３８は、実施例４の変形例１３における撮像装置１ｍの処理の流れの一例を示すフローチャートである。
ステップＳ１２０１〜Ｓ１２０４の処理は、図３０のステップＳ９０１〜Ｓ９０４の処理と同一であるのでその説明を省略する。
（ステップＳ１２０５）次に、焦点調節対象設定情報取得部１０４は、焦点調節対象設定情報の一例としてコントラスト信号設定情報を取得する。
（ステップＳ１２０６）次に、焦点調節決定部１５ｋは、フレーム間変化情報として取得した撮像装置動き量情報と、１フレーム内の情報として取得した被写体彩度情報と、コントラスト信号設定情報とを用いて焦点調節の挙動を決定する。
ステップＳ１２０７〜Ｓ１２０８の処理は、図３０のステップＳ９０６〜Ｓ９０７の処理と同一であるのでその説明を省略する。以上で、本フローチャートの処理を終了する。
＜変形例１４：焦点調節の方向情報を取得する＞
図５０は、実施例４の変形例１４における撮像装置１ｐの構成を示す概略ブロック図である。なお、図２８と共通する要素には同一の符号を付し、その具体的な説明を省略する。実施例４の変形例１３における撮像装置１ｐの構成は、図２８の実施例４の撮像装置１ｉの構成に対して、画像処理部１０ｉが画像処理部１０ｐに、焦点調節決定部１５ｉが焦点調節決定部１５ｐに変更されたものになっている。変形例１４における画像処理部１０ｐの構成は、図２８の画像処理部１０ｉの構成に対して、焦点調節方向情報取得部１０６が追加されたものになっている。
人の感覚として、手前にある物ほど注目し易い傾向がある。従って、焦点調節が奥から手前に移動する場合、人は手前のものを速く見たいと思うので焦点調節を速く行う方が良い。一方で焦点調節が手前から奥に移動する場合、人は手前のものからなかなか視線を外したいと思わないため、焦点調節を遅めに行う方が良い。この傾向に従って焦点調節の挙動を決定することで違和感のない焦点調節が可能になる。具体的には変形例１１〜１３同様、本実施例で決定された焦点調節の挙動を補正するように行うと良い。
＜変形例１５：撮影者による焦点調節対象の指示の有無情報を取得する＞
本実施例では焦点調節対象を撮影者が指示している。この場合、撮像装置が自動で焦点調節対象を決定した場合と比較して撮影者の焦点調節対象に対しての注目度が高い。従って、撮影者による焦点調節対象の指示があった場合には、焦点調節を促進するようにすると良い。
＜実施例５＞
続いて、実施例５について説明する。本実施例では人の主観的な焦点調節に関わる情報としてフレーム間変化に関わる情報と、１フレーム内の情報から決定される撮影する状況・被写体の状況の情報と、人の物理的な焦点調節特性を近似した情報とを用いて焦点調節の挙動を決定する。本実施例では、図３９のように室内で望遠側から広角側へズームアウトを行うようなシーンを用いて説明を行う。
図３９は、実施例５における撮影シーンの一例を説明するための図である。同図において、まず、比較的明るい色の犬の絵が見えている状態からズームアウトし、暗い色の花、明るい色の人の順に現れる撮影シーンの各フレーム画像が示されている。同図において、Ｎフレームの画像Ｇ６１には、望遠で撮像することで大きく撮像された明るい色の犬の絵の画像領域Ｒ６１が示されている。Ｎ＋１フレームの画像Ｇ６２は、Ｎフレームよりも広角側へズームアウトした後に撮像された画像で、明るい色の犬の絵の画像領域Ｒ６２と暗い色の花の画像領域Ｒ６３が示されている。Ｎ＋２フレームの画像Ｇ６３は、Ｎ＋１フレームよりも更に広角側へズームアウトした後に撮像された画像で、明るい色の犬の絵の画像領域Ｒ６４、暗い色の花の画像領域Ｒ６５、及び明るい色の人の画像領域Ｒ６６が示されている。
図４０は、実施例５における撮像装置１ｎの構成を示す概略ブロック図である。なお、図４と共通する要素には同一の符号を付し、その具体的な説明を省略する。実施例５における撮像装置１ｎの構成は、図４の実施例１の撮像装置１ａの構成に対して、ズーム制御部２６が追加され、画像処理部１０が画像処理部１０ｎに、撮影者入力部１１が撮影者入力部１１ｎに、撮像部１２ａが撮像部１２ｉに、フレーム間変化情報取得部１３ａがフレーム間変化情報取得部１３ｎに、焦点調節決定部１５ａが焦点調節決定部１５ｎに、焦点調節部１６が焦点調節部１６ｎに変更されたものになっている。画像処理部１０ｎは、フレーム内情報取得部１４ｎと焦点調節量取得部１０３を備え、フレーム内情報取得部１４ｎは、被写体明るさ情報取得部１４５を備える。フレーム間変化情報取得部１３ｎは、焦点距離調節情報取得部１３５を備える。
続いて、動画記録時の処理の順序に従って、撮像装置１ｎの各部の処理を説明する。
＜処理１＞
撮影者は焦点調節を行うエリアの設定を行う。ここではズームアウト後に画面略右下の被写体に対して焦点調節を行うため、画面略右下エリアを指定する。その際、撮影者入力部１１は、撮影者による焦点調節を行うエリアの入力を受け取り、受け取った入力が示す撮影者による焦点調節を行うエリアの情報を不図示のメモリに記憶させる。
＜処理２＞
記録開始釦１１１は、撮影者の撮影開始指示を受け付け、受け付けた撮影開始指示を撮像部１２ｉに出力する。撮像部１２ｉは、記録開始釦１１１から入力された撮影開始指示を受け取ると、被写体から撮像光学系２を介して入射した光を電気信号に予め決められたシャッター速度で変換することで、動画像信号を生成する。これにより、撮像部１２ｉは撮影者の指示に従い、動画記録を開始する。
なお、撮影者入力部１１がタッチパネルを備える場合、撮影者入力部１１は撮影者の指示をタッチパネルの操作によって受け付けてもよい。また、撮影者入力部１１がマイクロフォンを備える場合、撮影者入力部１１は、音声認識を用いて撮影者の指示を受け付けてもよい。
また、撮影者はズームを開始するようズーム動作指示部１１３を操作する。ズーム動作指示部１１３は、受け付けた操作を示す操作情報をズーム制御部２６へ出力する。
ズーム制御部２６は、ズーム動作指示部１１３から入力された操作情報に基づいて、撮像光学系２を制御して、ズームインまたはズームアウトを実行する。ここで、ズーム制御部２６は、焦点距離調節情報（例えば、ズームの動作速度を示すズーム動作速度情報）を保持する。
＜処理３＞
焦点調節量取得部１０３は、撮影者入力部１１で受け付けた焦点調節を行うエリアの情報を基に、焦点調節対象エリアを合焦状態とするため焦点調節量を取得し、取得した焦点調節量を焦点調節部１６ｆへ出力する。本実施例では一例として、焦点調節量取得部１０３は撮像部１２ｉから得られた動画像信号からコントラスト値を取得し、焦点調節量を得る。
＜処理４＞
被写体明るさ情報取得部１４５は、１フレーム内の情報として被写体明るさ情報を取得し、取得した被写体明るさ情報を焦点調節決定部１５ｎへ出力する。その際、被写体明るさ情報取得部１４５は一例として、焦点調節を行うエリア内の輝度画素値の平均値を被写体明るさ情報として取得する。なお、これに限らず、被写体明るさ情報取得部１４５はフレーム画像中から被写体領域の抽出を行い、焦点調節を行うエリア近傍の被写体領域内での輝度画素値の平均値を被写体明るさ情報として取得しても良い。ここで、焦点調節を行うエリア近傍は例えば、焦点調節を行うエリアを含み、そのエリアから予め決められた画素数だけ離れた画素も含む。
＜処理５＞
焦点距離調節情報取得部１３５は、ズーム制御部２６から、フレーム間変化に関わる情報としての焦点距離調節情報（例えば、ズームの動作速度を示すズーム動作速度情報）を取得し、取得した焦点距離調節情報を焦点調節決定部１５ｎへ出力する。なお、ここでは一例として、焦点距離調節情報取得部１３５は、ズームの速度を、撮像装置１ｎに登録した予め決められた閾値と比較することによって、「速い」、「中程度」、「遅い」の三種類に分類し、分類した結果を焦点距離調節情報として以降利用するが取得したズーム速度をそのまま利用しても良い。
＜処理６＞
焦点調節決定部１５ｎは例えば、被写体明るさ情報取得部１４５で取得した被写体明るさ情報と焦点距離調節情報取得部１３５で取得した焦点距離調節情報（例えば、ズーム動作速度情報）から、以下の処理で焦点調節の挙動を決定する。
撮像装置１ｎ内の不図示のメモリには、予め基準となる焦点調節の動かし方となる焦点調節開始から合焦状態までの時間的特性の式ｆｂａｓｅ（ｔ）が記憶されている。この焦点調節開始から合焦状態までの時間的特性の式ｆｂａｓｅ（ｔ）は例えば、次の式（７）の多項式で表される。
ｆｂａｓｅ（ｔ）＝Ｃ１ｔ４＋Ｃ２ｔ３＋Ｃ３ｔ２＋Ｃ４ｔ＋Ｃ５ …式（７）
ここで、ｔはフレーム数で、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５は、予め決められた定数である。
なお、式（７）の多項式は４次の多項式であるが、これに限らず他の次数の多項式でもよい。また、この際ｆｂａｓｅ（ｔ）のように予め用意しておく、焦点調節開始から合焦状態までの時間的特性は、図４１に示すように、次の四つの条件を満たすことが望ましい。これは、図５１に示した人の物理的な焦点調節特性を近似したもの（≒人の主観的な焦点調節特性）を満たすための条件である。
一つ目の条件は、焦点調節開始時の焦点位置から合焦状態の焦点位置に到達するまでの１割から８割の区間で該合焦状態までの焦点調節の減速を開始するというものである。
二つ目の条件は、焦点調節の挙動を開始するための加速度よりも焦点調節の挙動を停止させるための減速度の方が緩やかであるというものである。
三つ目の条件は、焦点調節開始時の焦点位置から合焦状態の焦点位置に到達するまでの略１割までの間に焦点調節の挙動を開始するための加速運動を行うというものである。
四つ目の条件は、最終的に行われる焦点調節は０．７秒以上要するというものである。
四つ目の条件については、図５１に記載した人の眼の物理的な焦点調節特性を得るための測定を複数人に対して実施したところ、大半の被験者が焦点調節に0.7秒以上要していたことに由来する。実際に、図５３に示される、合焦状態までの焦点調節の時間的特性Ａ，Ｂを適用して焦点調節を行った映像を用いて、ある被験者集団において「映像としての好ましさ」に関する11段階評価（10点：好ましい、5点：どちらでもよい、0点：嫌い）の主観評価実験を行ったところ、図５４のような結果を得られており、この有効性が裏付けられている。この好ましさは撮影状況等によってある程度変化するが、焦点調節開始時の焦点位置から合焦状態の焦点位置に到達するまでの所要時間が少なくとも0.7秒を越える動画は嫌われない傾向が強い。
図４１は、焦点調節開始から合焦状態までの時間的特性の一例である。同図において、縦軸が焦点位置で横軸が時間であり、焦点調節開始から合焦状態までの時間的特性を示す曲線Ｗ４１１が示されている。初期位置を０％、合焦位置を１００％とすると、初期位置から１０％の位置までが焦点位置が加速的に変化する加速する加速区間であることが示されている。１０％の位置から８０％の位置までが焦点位置が等速で変化する等速区間であることが示されている。８０％の位置から合焦位置までが焦点位置が減速で変化する減速区間であることが示されている。
本実施形態のように山登りＡＦ方式を用いて焦点調節を行う場合には、ウォブリング動作を行う必要がある。ここで、図５１のように人の物理的・主観的な焦点調節において初期状態の焦点位置から合焦状態の焦点位置に到達するまでの工程の１割から焦点調節の挙動の減速を開始するまでの区間では単調な動きを行っており、撮像装置でもこのように焦点調節を行うことが望ましい。従ってウォブリング（焦点調節の方向の判定・及び焦点調節の完了を判定するための動作）はこの区間外で行うことが望ましい。また、撮像光学系２の焦点位置が焦点調節開始時の焦点位置（初期位置）から合焦状態における焦点位置（合焦位置）に到達するまでの工程の１割から焦点調節の減速を開始するまでの区間で単調な加減速運動を行うように、上記時間的特性を決定することによって焦点調節の精度が低下することも考えられる。しかし、焦点調節の厳密な精度を高めるよりも、焦点調節の方向が変化したように見えないことの方が、撮影者にとって違和感がない場合もある。
次の処理として、焦点調節決定部１５ｎは、被写体明るさ情報取得部１４５で取得した被写体明るさ情報と焦点距離調節情報取得部１３５で取得したズーム動作速度情報から例えば図４２のテーブルＴ５を参照して、焦点調節制御係数αを決定する。ここではαが小さいほど焦点調節の速度が遅くなり結果的に焦点調節が抑制される。ここで、不図示のメモリには例えば、ズーム動作速度と輝度画素平均値の組毎に、焦点調節制御係数αが関連づけられたテーブルＴ５が記憶されている。例えば、焦点調節決定部１５ｎは、取得した被写体明るさ情報と取得した焦点距離調節情報の組に対応する焦点調節制御係数αをメモリのテーブルＴ５から読み出すことで、焦点調節制御係数αを決定する。
図４２は、ズーム動作速度と輝度画素平均値の組毎に、焦点調節制御係数αが関連づけられたテーブルＴ５の一例である（テーブル内の数値がαに相当する）。同図の例において、あまりに輝度が高く白とびして見えてしまうような、まぶしすぎる被写体の詳細には鑑賞者は注目したがらないので、輝度２４０以上の場合には、輝度が２００以上２３９以下の場合よりも焦点調節制御係数αが小さい。よって、焦点調節決定部１５ｎは例えば、同図のテーブルＴ５を参照することで、輝度２４０以上の場合には、輝度が２００以上２３９以下の場合よりも焦点調節制御係数αを小さくする。また、輝度２３９以下では、輝度が大きいほど焦点調節制御係数αが大きい。よって、焦点調節決定部１５ｎは例えば、同図のテーブルＴ５を参照することで、輝度２３９以下では、輝度が高いほど焦点調節制御係数αを大きくする。
次の処理として、焦点調節決定部１５ｎは例えば、最終的な合焦状態までの焦点調節の時間的特性ｆＡＦ（ｔ）を次の式（８）に従って決定する。
ｆＡＦ（ｔ）＝ｆｂａｓｅ（αｔ） …式（８）
ここで、ｔはフレーム数で、ｆｂａｓｅ（αｔ）は合焦位置以下までである。
＜処理７＞
焦点調節部１６ｆは、焦点調節決定部１５ｎで決定した焦点調節の挙動（例えば、ｆＡＦ（ｔ））に基づいて、撮像光学系２の焦点調節用光学系を制御し、焦点を調節する。
＜処理８＞
撮影者入力部１１ｎが、撮影者による撮影の終了の指示を受け付けるまで、処理３〜７を繰り返す。
図３９のようにズームアウトしながら、合焦状態を得たい被写体が変化する場合、明るい被写体が現れるとき、撮影者（または鑑賞者）はその被写体を合焦状態にしたいと判断し易い傾向にある。よって、焦点調節決定部１５ｎは例えば、被写体が明るいほど、焦点調節制御係数αを大きくして、合焦状態になるまでにかかる時間を短縮するように焦点調節の挙動を決定しても良い。これにより、撮像装置１ｎは、被写体が明るいほど合焦状態になるまでの時間が短いので、撮影者（または鑑賞者）の合焦状態にしたいという要望を早く満たすことができ、撮影者（または鑑賞者）にとってより良い動画を提供することができる。
焦点距離調節速度（ズーム速度）が速いと、焦点が合う被写体が次々に変わっていくので、撮影者（または鑑賞者）は次の被写体に意識が向き難い傾向がある。反対に、ズーム速度が遅いと、撮影者（または鑑賞者）は次の被写体に意識が向き易い傾向がある。よって、焦点調節決定部１５ｎは例えば、ズーム速度が遅い程、焦点調節制御係数αを大きくして、合焦状態になるまでにかかる時間を短縮するように焦点調節の挙動を決定しても良い。これにより、撮像装置１ｎは、ズーム速度が遅い程、合焦状態になるまでの時間が短いので、撮影者（または鑑賞者）の合焦状態にしたいという要望を早く満たすことができ、撮影者（または鑑賞者）にとってより良い動画を提供することができる。
図４３は、実施例５における撮像装置１ｎの処理の流れの一例を示すフローチャートである。
ステップＳ１３０１〜Ｓ１３０２の処理は、図３０のステップＳ９０１〜Ｓ９０２の処理と同一であるのでその説明を省略する。
（ステップＳ１３０３）次に、被写体明るさ情報取得部１４５は、１フレーム内の情報として被写体明るさ情報を取得する。
（ステップＳ１３０４）次に、焦点距離調節情報取得部１３５は、ズーム制御部２６から、フレーム間変化に関わる情報としての焦点距離調節情報の一例であるズーム動作速度情報を取得する。
（ステップＳ１３０５）次に、焦点調節決定部１５ｎは、フレーム間変化情報として取得したズーム動作速度情報と、１フレーム内の情報として取得した被写体明るさ情報とを用いて焦点調節の挙動を決定する。
ステップＳ１３０６〜Ｓ１３０７の処理は、図３０のステップＳ９０６〜Ｓ９０７の処理と同一であるのでその説明を省略する。以上で、本フローチャートの処理を終了する。
以上、実施例５において、焦点調節決定部１５ｎは、フレーム間変化情報として取得した焦点距離調節情報と、１フレーム内の情報として取得した被写体明るさ情報とを用いて焦点調節の挙動を決定する。具体的には例えば、焦点調節決定部１５ｎは、被写体が明るいほど、焦点調節制御係数αを大きくして、合焦状態になるまでにかかる時間を短縮するように焦点調節の挙動を決定しても良い。これにより、撮像装置１ｎは、被写体が明るいほど合焦状態になるまでの時間が短いので、撮影者（または鑑賞者）の合焦状態にしたいという要望を早く満たすことができ、撮影者（または鑑賞者）にとってより良い動画を提供することができる。また例えば、焦点調節決定部１５ｎはズーム速度が遅い程、焦点調節制御係数αを大きくして、合焦状態になるまでにかかる時間を短縮するように焦点調節の挙動を決定する。これにより、撮像装置１ｎは、ズーム速度が遅い程、合焦状態になるまでの時間が短いので、撮影者（または鑑賞者）の合焦状態にしたいという要望を早く満たすことができ、撮影者（または鑑賞者）にとってより良い動画を提供することができる。
なお、本実施例では、焦点距離調節情報取得部１３５は、焦点距離調節情報として焦点距離調節速度（ズーム速度）を取得したが、焦点距離調節の調節方向情報を取得してもよい。その場合、焦点調節決定部１５ｎは例えば、焦点距離調節の調節方向情報と被写体明るさ情報とを用いて焦点調節の挙動を決定してもよい。例えば、ズームアウトする場合よりもズームインする場合の方が、撮影者（または鑑賞者）は次の被写体に意識を向け易い傾向がある。従って、焦点調節決定部１５ｎは例えば、ズームアウトする場合は焦点調節を抑制するように焦点調節の挙動を決定してもよい。
本実施形態では人の主観的な焦点調節特性に準じて撮像装置の焦点調節を行うことによって好ましい動画中の焦点調節挙動を実現しているが、例えば撮像装置の別の機能、具体的には明るさ調節機能やホワイトバランス補正機能についても人の主観的な特性に準ずるように調節・補正を行うことによって好ましい動画中の明るさ調節機能・ホワイトバランス調節機能を達成することができる。
以下では人の主観的な明るさ調節に準じた明るさ調節機能を実現するための実施形態について述べる。
以下、本発明の第２の実施形態について、図面を参照して詳細に説明する。図５８は、本発明の第２の実施形態における撮像装置３の構成を示す概略ブロック図である。撮像装置３は、撮像部３２、人の主観的な明るさ調節情報取得部３３、及び明るさ調節決定部３５を備える。撮像光学系２は、被写体からの光を撮像部３２へ導き、撮像部３２の撮像素子で被写体の像を結像させる。撮像光学系２は、一例として撮像装置３から取り外し可能である。なお、撮像光学系２は撮像装置３に固定されていてもよい。
撮像部３２は、撮像光学系２により結像された被写体の像を撮像して動画像信号を生成し、生成した動画像信号を人の主観的な明るさ調節情報取得部３３へ出力する。
人の主観的な明るさ調節情報取得部３３は上記動画像信号から少なくとも人の主観的な明るさ調節に関連する情報を取得する。ここで人の主観的な明るさ調節に関連する情報は例えば２フレーム以上のフレーム間で生じる変化に関するフレーム間変化情報と、動画像信号に含まれる1フレーム内の情報であるフレーム内情報から決定される撮影する状況（例えば撮像装置の状態、動き等）・見ている被写体の状況（例えば被写体の動き・色等）に関する情報とである。人の感覚として、撮影する状況・見ている被写体の状況によって、その明るさ調節対象の被写体に対する注目度が変わる。従ってこれらの情報は、人の主観的な明るさ調節に関連する情報の一つであると言える。
図１０３は、この場合の撮像装置３の構成を示す概略ブロック図である。人の主観的な明るさ調節関連情報取得部３３は、上記のフレーム間変化情報を取得するフレーム間変化情報取得部３３ａと、上記のフレーム内情報に関する情報を取得するフレーム内情報取得部１４ａとを備える。
また、人の主観的な明るさ調節に関連する情報は上述のものに限らず、一般的に知られる人の眼球の物理的な明るさ調節特性（人の眼の錐体・桿体による明順応・暗順応と呼ばれる明るさ調節の動き）や人の眼球の物理的な明るさ調節特性を近似したものでも良い。この場合は、予め撮像装置３の不図示のメモリ内に情報を格納しておき、必要な際にメモリを参照する形で情報を取得しても良い。
本実施形態における撮像装置３において、明るさ調節決定部３５は、人の主観的な明るさ調節に関連する情報を用いて明るさ調節の挙動を決定する。これにより、鑑賞者の注意の向き易さや人の眼球の物理的な明るさ調節に準じた明るさ調節を行うことができる。そのため、撮像装置３は、撮影者（または鑑賞者）がより好む見え方をする動画を提供することができるので、撮影者または鑑賞者の動画の見え方に対する満足度を向上させることができる。尚、本実施形態において明るさ調節決定部３５は、人の主観的な明るさ調節に関わる情報に従って、以下のように明るさ調節の挙動を決定する。
（１）人の主観的な明るさ調節に関わる情報に従って、被写体を最適明るさ状態にするための明るさ調節における加速度及び速度を決定することで明るさ調節の挙動を決定する。
（２）人の主観的な明るさ調節に関わる情報に従って前記被写体を最適明るさ状態にするための明るさ調節における減速を開始するタイミングを決定することで明るさ調節の挙動を決定する。
（３）人の主観的な明るさ調節に関わる情報に従って、撮影する被写体を最適明るさ状態にするための明るさ調節における明るさ調節を開始するタイミングを決定することで明るさ調節の挙動を決定する。
（４）人の主観的な明るさ調節に関わる情報に従って、明るさ調節を駆動の可否を決定することで明るさ調節の挙動を決定する。
尚、以降の実施例中において、「明るさ調節を抑制する」「明るさ調節を促進」するという用語を用いるが、これは以下のように定義される。
明るさ調節を抑制する：明るさ調節を禁止する、又は禁止され易くする、又は遅くする（明るさ調節の速度・加速度を遅くする）。
明るさ調節を促進する：明るさ調節を実行する、又は実行され易くする、又は明るさ調節を抑制する場合と比較して速くする（明るさ調節の速度・加速度を速くする）。
続いて、図５９を用いて、各実施例の撮影条件と想定するシーンについて説明する。図５９は、各実施例の撮影条件と想定するシーンについて説明する図である。全ての実施例で撮影者が最適な明るさ状態にしたい被写体が変わることを想定している。実施例１〜３では、撮像装置の変動なしの場合（被写体の変動のみ）を想定している。それに対して、実施例４〜５では、被写体の変動無しの場合（撮像装置の変動のみ）を想定している。
続いて、各実施例が想定するシーンであるが、実施例１では、被写体が移動して被写体の明るさが変わるシーンを想定している。実施例２では、予め画面内に複数の被写体があり、被写体の明るさが変わることで注目する被写体（最適な明るさ状態にしたい被写体）が変わるシーンを想定している。実施例３では、被写体が移動して画面内から消え、隠れていた別の被写体が現れるシーンを想定している。実施例４では、撮像装置が動くことで画角内に撮像される被写体が変わるシーンを想定している。実施例５では、ズームが動くことで画角内に撮像される被写体が変わるシーンを想定している。
＜実施例１＞
続いて、実施例１について説明する。本実施例では人の主観的な明るさ調節に関わる情報として２フレーム以上のフレーム間で生じる変化に関するフレーム間変化情報と、動画像信号に含まれる１フレーム内の情報であるフレーム内情報とを取得する場合を想定する。本実施例では、図６０のように撮像装置自体に動き及び変化が無い状態で、被写体が画面内の日陰から日向に移動し、明るさ調節を行うようなシーンを対象に説明を行う。図６０は、実施例１における撮影シーンの一例を説明するための図である。同図において、被写体が画面内の日陰から日向に移動するシーンである。Ｎ＋１フレームの画像Ｇ１１（Ｎは正の整数）では、注目する被写体の画像領域Ｒ１１が日陰の画像領域内に入っていることが示されている。Ｎ＋２フレームの画像Ｇ１２には、注目する被写体の画像領域Ｒ１２が日陰の画像領域と日向の画像領域に境界に存在することが示されている。Ｎ＋３フレームの画像Ｇ１３には、注目する被写体の画像領域Ｒ１３が日向の画像領域に入っていることが示されている。
図６１は、実施例１における撮像装置３ａの構成を示す概略ブロック図である。撮像装置３ａは、撮像光学系２、撮影者入力部３１、撮像部３２ａ、画像処理部３０、明るさ調節決定部３５ａ、明るさ調節部３６、及び記録部３７を備える。
撮像光学系２は、被写体からの光を撮像部３２ａへ導き、撮像部３２ａが備える撮像素子で被写体の像を結像させる。その撮像素子は被写体の動画像信号を生成する。撮像光学系２は、一例として撮像装置３ａから取り外し可能である。なお、撮像光学系２は撮像装置３ａに固定されていてもよい。撮像光学系２の構成は、以降の実施例も同様である。
撮影者入力部３１は、撮影者の入力を受け付ける。ここで、撮影者入力部３１は、撮影者による撮影開始指示を受け付ける記録開始釦３１１を備える。
撮像部３２ａは、被写体から撮像光学系２を介して入射した光を電気信号に予め決められたシャッター速度で変換することで、動画像信号を生成する。ここで撮像部３２ａは、明るさ調節量取得部３２１を備える。
画像処理部３０は、撮像部３２ａから供給された動画像信号から画像データを生成し、生成した画像データを記録部３７に記録させる。ここで画像処理部３０は、フレーム間変化情報取得部３３ａ及びフレーム内情報取得部３４ａを備える。またフレーム間変化情報取得部３３ａは被写体動き情報取得部３３１を備え、フレーム内情報取得部３４ａは被写体大きさ情報取得部３４１を備える。
続いて、動画記録時の処理の順序に従って、撮像装置３ａの各部の処理を説明する。
＜処理１＞
撮像装置３ａは、明るさ調節を行う対象の明るさ調節対象領域の設定を行う。本実施例では一例として、撮像装置３ａが顔検出を行って顔の画像領域である検出顔を抽出し、抽出した検出顔を、焦点調節を行うエリアとして設定する。例えば、撮像装置３ａは、顔の中で特徴的な部分（例えば、目、口）の画像が格納された顔の特徴データベースを保持する。そして、画像処理部３０は、例えば、撮像により得られた画像中の画像領域を抽出し、抽出した画像領域と、顔の特徴データベースに記憶された画像とを照合することによって、被写体の顔の画像領域を検出する。これにより、明るさ調節部３６は例えば、検出した被写体の顔の画像領域を検出顔として、その検出顔に対して明るさ調節を行うことができる。
＜処理２＞
記録開始釦３１１は、撮影者からの動画記録の開始指示を受け付け、受け付けた開始指示を示す開始指示情報を撮像部３２ａに出力する。なお、撮影者入力部３１がタッチパネルを備える場合、撮影者入力部３１は撮影者の指示をタッチパネルの操作によって受け付けてもよい。また、撮影者入力部３１がマイクロフォンを備える場合、撮像装置３ａは、マイクロフォンから入力された音声信号に対して音声認識を適用して撮影者の指示を受け付けてもよい。
撮像部３２ａは、撮影者入力部３１から開始指示情報を受け取ると、被写体から撮像光学系２を介して入射した光を電気信号に予め決められたシャッター速度で変換することで、動画像信号を生成する。これにより、撮像部３２ａは撮影者の指示に従い、動画記録を開始することができる。撮像部３２ａは、生成した動画像信号を画像処理部３０へ出力する。ここで撮像部３２ａの撮像素子の画素数は一例として、少なくともハイビジョン画像の画素数を越えるものであり、以降の実施例についての撮像素子の画素数も同様とする。
＜処理３＞
明るさ調節量取得部３２１は、設定された明るさ調節対象領域の情報を基に、明るさ調節対象エリアを最適な明るさ状態とするための明るさ調節量を取得し、取得した明るさ調節量を明るさ調節部３６へ出力する。具体的には例えば、明るさ調節量取得部３２１は、明るさ調節対象領域である検出顔の領域の画素値が予め決められた範囲に収まるように、明るさ調節量を取得する。これにより、検出顔が暗くなりすぎず、真っ白にならないようにすることができる。
＜処理４＞
被写体大きさ情報取得部３４１は、フレーム内情報として、被写体の大きさを示す被写体大きさ情報を取得し、明るさ調節決定部３５ａへ出力する。その具体的な処理の一例を説明する。撮像装置３ａの不図示のメモリには例えば、被写体の大きさを分類するための閾値として、「特大（画面内からはみ出る程度）」と「大」とを分ける第１閾値、「大」と「中」とを分ける第２閾値、及び「中」と「小」とを分ける第３閾値が予め記憶されている。ここで「特大」、「大」、「中」、「小」は、それぞれ被写体の大きさの分類である。
その場合に、被写体大きさ情報取得部３４１は例えば、検出顔の大きさを被写体の大きさとして取得し、取得した被写体の大きさと不図示のメモリに記憶されている第１閾値、第２閾値、及び第３閾値とを比較することによって被写体の大きさを「特大」、「大」、「中」、「小」の何れかに判定する。なお、これに限らず、被写体大きさ情報取得部３４１は、例えば検出顔の画素数等の情報をそのまま利用しても良い。
被写体の大きさは検出顔の大きさに限らず、被写体大きさ情報取得部３４１は、例えば公知の図地判定等の技術により、背景領域とそうでない被写体領域を判定し、明るさ調節対象領域近傍の被写体領域の大きさを被写体の大きさとしても良い。ここで、明るさ調節対象領域近傍は、例えば、明るさ調節対象領域を含み、その明るさ調節対象領域から離れる方向へ明るさ調節対象領域の外延の画素から予め決められた画素数だけ離れた画素も含む。
なお、本実施例では、フレーム内での被写体の大きさを被写体の大きさ情報として取得しているが、被写体大きさ情報取得部３４１は、例えば下記の処理により被写体の物理的大きさ情報を取得し、被写体の大きさ情報として利用しても良い。
被写体の物理的大きさ情報の取得処理の第１の例として、被写体大きさ情報取得部３４１は、前フレーム情報を用いて三角測量を行い、被写体の物理的な大きさを求めても良い。
被写体の物理的大きさ情報の取得処理の第２の例として、撮像装置の不図示のメモリには例えば、予め被写体の種別と被写体の物理的な大きさの平均を示す被写体平均大きさ情報とが関連付けられて記憶されている。被写体大きさ情報取得部３４１は、公知の技術を用いて撮像する被写体の物体認識処理を行い、撮像する被写体の種別を特定し、特定した被写体の種別に対応する被写体平均大きさ情報を被写体の物理的大きさ情報として読み出すことで取得しても良い。
＜処理５＞
被写体動き情報取得部３３１は、フレーム間変化情報として、被写体の変化情報（ここでは一例として、被写体の動き速度を示す被写体動き速度情報）を画像処理によって取得する。具体的には例えば、被写体動き情報取得部３３１は、検出顔の動画像面での動き速度を被写体の動き速度として取得する。なお、これに限らず、被写体動き情報取得部３３１は、撮像装置３ａの動き情報や撮像光学系２の情報を用いて実空間上での被写体の動き速度を取得しても良い。
また、例えば、撮像装置３ａ内の不図示のメモリには、「かなり速い」と「ある程度速い」とを分けるための第４閾値と、「ある程度速い」と「中程度」とを分けるための第５閾値と、「中程度」と「遅い」とを分ける第６閾値とが予め記憶されている。
本実施例では一例として、被写体動き情報取得部３３１は、被写体の大きさ同様、取得した被写体の動き速度を、不図示のメモリに記憶された第４閾値から第６閾値と比較することによって「かなり速い」「ある程度速い」、「中程度」、「遅い」の何れかに判定し、判定結果を被写体動き速度情報とする。なお、これに限らず、被写体動き情報取得部３３１は、取得した被写体の動き速度（例えば画素／フレーム）をそのまま被写体動き速度情報として用いても良い。被写体動き情報取得部３３１は、取得した被写体動き速度情報を明るさ調節決定部３５ａへ出力する。
＜処理６＞
明るさ調節決定部３５ａは例えば、被写体大きさ情報取得部３４１が取得した被写体大きさ情報と、被写体動き情報取得部１３１が取得した被写体動き速度情報とに基づいて、明るさ調節の挙動を決定する。その具体的な処理の一例について説明する。例えば、図６２のように不図示のメモリには、被写体の大きさと被写体の動き速度との組に対して、一つの明るさ調節速度抑制係数αが関連付けられたテーブルが記憶されている。その場合、明るさ調節決定部３５ａは例えば、図６２のテーブルを参照して、取得した被写体大きさ情報と取得した被写体動き速度情報の組に対応する明るさ調節速度抑制係数αを読み出す。
また例えば、予め不図示のメモリに動画撮影時の基準焦点調節速度Ｖｂａｓｅが記憶されている。明るさ調節決定部３５ａは例えば、メモリから基準明るさ調節速度Ｖｂａｓｅを読み出し、次の式（９）に従って実際の明るさ調節速度Ｖｃｏｎｔｒｏｌを決定する。
Ｖｃｏｎｔｒｏｌ＝Ｖｂａｓｅ×α …式（９）
式（９）から分かるように、抑制係数が低い程、明るさ調節速度が遅くなるため、結果として明るさ調節が抑制される。本実施例では明るさ調節決定部３５ａにおいて明るさ調節の速度を変更するようにしているが、例えば明るさ調節を「動作させるか」、「禁止するか」のいずれかを選択するようにしても良い。
図６２は、明るさ調節速度抑制係数αを決定するためのテーブルの一例である。同図のテーブルＴ１１において、被写体の動き速度と被写体の大きさの組毎に、明るさ調節速度抑制係数αが関連付けられている。被写体の動き速度が「かなり速い」と判定された場合には明るさ調節の速度抑制係数αが小さい傾向にあり、それよりも遅い（図６２内「ある程度速い」「中程度」「遅い」である場合）は被写体の動き速度が遅い程、明るさ調節の速度抑制係数αが小さくなる傾向にある。これは、移動する被写体の動きが速すぎる場合には鑑賞者は明るさ調節を行いたいと判断し難いが、一旦明るさ調節を行いたいと判断された場合には被写体の移動速度が遅い程、緩やかな明るさ調節が好まれる傾向にあるからである。また、明るさ調節速度抑制係数αは、被写体の大きさが「大」及び「中」の場合に「小」、「特大」の場合より大きい傾向があり、「小」、「特大」の順に小さくなる傾向にある。被写体の大きさが小さすぎる又は大きすぎる場合には、移動する被写体に鑑賞者の意識が向き難い傾向にあるので、明るさ調節を抑制することで、撮像装置３ａは、撮影者（または鑑賞者）がより好む見え方をする動画を提供することができる。
例えば図６０のように撮像装置３ａに動き及び変化が無い状態で、被写体（図６０では人）が日陰から日向に移動する際に明るさ調節を行うような場合に、移動する被写体の移動速度が速すぎると、撮影者（または鑑賞者）はその被写体を最適な明るさ状態にしたいと判断し難い傾向にある。しかし、一旦明るさ調節を行いたいと判断した場合には、被写体の移動速度が速い程、速く明るさ調節を行って欲しい（速く被写体が何であるのかを正確に知りたい）。したがってこのような感覚に従って明るさ調節の挙動を決定することで違和感の無い明るさ調節を実現することができる。
また、移動する被写体の大きさが小さすぎる又は大きすぎる場合には、移動する被写体に意識が向き難い。明るさ調節決定部３５ａは例えば、移動する被写体の大きさが予め決められた第６閾値より小さいか、または予め決められた第７閾値より大きい場合、明るさ調節速度抑制係数αを小さくして、明るさ調節を抑制するように明るさ調節の挙動を決定する。ここで第７閾値は第６閾値より大きい。これにより、移動する被写体の大きさが小さすぎる又は大きすぎる場合、明るさ調節を抑制することで、撮影者（または鑑賞者）の意識の向かない被写体に対して、明るさ調節を抑制することができる。
＜処理７＞
明るさ調節部３６は、明るさ調節決定部３５ａが決定した明るさ調節の挙動（ここでは一例として、実際の明るさ調節速度Ｖｃｏｎｔｒｏｌ）に従って、明るさ調節量取得部３２１から入力された明るさ調節量だけ明るさが変化するように、例えば撮像光学系２の絞りを制御し、動画像信号に含まれるフレーム画像の明るさを調節する。なお、本実施例では一例として撮像光学系２の絞りを開閉することで明るさ調節を行うが、この処理に限らず、以下に挙げるような処理の何れかを用いて明るさ調節を行っても良い。
（１）シャッター速度を変化させる処理。
（２）イメージセンサのＩＳＯ感度を変化させる処理。
（３）撮像装置にＮＤフィルタ（例えば、段階的に減光量が変わるもの）を制御し、イメージセンサに入射する光の強さを変更させる処理。
（４）動画をＨＤＲ形式またはＲＡＷ形式等の最終的に記録する動画のダイナミックレンジよりも広い状態で撮影及び記録を行い、画像処理部３０による後工程処理で明るさ状態を調節する処理。ここでＨＤＲ形式での動画撮影は、例えば、フレーム間で異なる明るさ状態で撮影した画像を合成し、通常記録される動画（例えば、８ｂｉｔ）よりもダイナミックレンジの広い動画（例えば３２ｂｉｔ）を記録する処理である。ＲＡＷ形式での動画撮影を用いた処理は例えば、通常の動画記録形式（８ｂｉｔ）への変換処理を行わず、撮像部３２が備える撮像素子の出力をそのまま保存する処理である。この場合、撮像素子の出力次第でダイナミックレンジが広がる。
＜処理８＞
撮影者入力部３１が、撮影者から撮影の終了の指示を受け付けるまで、撮像装置３ａは上述した処理３〜７の処理を繰り返す。
続いて、図６３は、実施例１における撮像装置３ａの処理の流れの一例を示すフローチャートである。
（ステップＳｐ１０１）まず、記録開始釦３１１が押された場合、撮像部３２ａは、撮影を開始する。
（ステップＳｐ１０２）次に、明るさ調節量取得部３２１は、明るさ調節量を取得する。
（ステップＳｐ１０３）次に、被写体大きさ情報取得部３４１は、被写体大きさ情報を取得する。
（ステップＳｐ１０４）次に、被写体動き情報取得部３３１は、被写体動き情報の一例として、被写体動き速度情報を取得する。
（ステップＳｐ１０５）次に、明るさ調節決定部３５ａは、被写体動き速度情報と被写体大きさ情報とを用いて、明るさ調節の挙動を決定する。
（ステップＳｐ１０６）次に、明るさ調節部３６は、決定された焦点調節の挙動に従って、明るさ調節量取得部３２１から入力された明るさ調節量だけ明るさが変化するように、動画像信号に含まれるフレーム画像の明るさを調節する。
（ステップＳｐ１０７）次に、撮像部３２ａは、撮影者入力部３１が受け付ける情報に基づいて、撮影終了か否か判定する。撮影終了で無い場合（ＮＯ）、ステップＳｐ１０２に戻る。撮影終了の場合（ＹＥＳ）、撮像装置３ａはその処理を終了する。以上で、本フローチャートの処理を終了する。
以上、実施例１において、明るさ調節決定部３５ａは例えば、被写体動き速度情報と被写体大きさ情報とを用いて明るさ調節の挙動を決定する。例えば、明るさ調節決定部３５ａは被写体の移動速度が速いほど、撮影者（または鑑賞者）がその被写体を最適な明るさ状態にしたいと判断し難いので、明るさ調節を抑制するように明るさ調節の挙動を決定する。また撮影者（または鑑賞者）は移動する被写体の大きさが小さすぎる又は大きすぎる場合には移動する被写体に意識が向き難い傾向にあるので、移動する被写体の大きさが予め決められた第６閾値より小さいか、または予め決められた第７閾値より大きい場合、明るさ調節決定部３５ａは明るさ調節を抑制するよう明るさ調節の挙動を決定する。ここで第７閾値は第６閾値より大きい。このように、人の注意の向け易さに応じた明るさ調節を行うことができるので、撮像装置３ａは、撮影者（または鑑賞者）がより好む見え方をする動画を提供することができる。
本実施例では、被写体動き情報取得部３３１は、被写体動き情報の一例として被写体動き速度情報を取得したが、被写体動き速度情報の代わりに、被写体の動き量、被写体の動き連続性、または複数被写体の移動状態の差を取得し、明るさ調節決定部３５ａは被写体の動き量等を用いて、明るさ調節の挙動を決定しても良い。
＜変形例１：被写体の動き量＞
被写体動き情報取得部３３１は、被写体動き速度情報の代わりに、被写体の動き量を取得しても良い。その際、被写体動き情報取得部３３１は、被写体の動き量を被写体の移動速度同様、画像処理によって取得しても良い。ここで被写体の動き量とは、ある被写体が動き始めてからの動き量でも良いし、任意の数のフレーム間における動き量でも良い。本実施例では被写体が移動していない静止状態から移動を開始するため、一例として被写体動き情報取得部３３１は、被写体が動き始めてからの動き量を取得する。この場合、撮影者（または鑑賞者）は、移動開始からの動き量が大きい程、すなわち被写体が画角内である程度の距離動いた後の方が、動いている被写体を最適な明るさ状態にしたいと判断し易い傾向にある。従って、明るさ調節決定部３５ａは被写体の動き量が少ない程、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。
＜変形例２：被写体の動き連続性情報＞
被写体動き情報取得部３３１は、被写体動き速度情報の代わりに、被写体の動きの連続性を示す被写体動き連続性情報を取得しても良い。被写体動き情報取得部３３１は例えば、被写体動き連続性情報を被写体の移動速度同様、画像処理によって取得しても良い。具体的な取得処理としては、例えば被写体動き情報取得部３３１は、フレーム毎の動き速度の分散が一定以上であれば連続性無しと判定し、一定以下であれば連続性有りと判定する。
被写体の動きに連続性がある場合の方が、撮影者（鑑賞者）はその被写体を最適な明るさ状態にしたいと判断し易い傾向にある。従って、明るさ調節決定部３５ａは被写体の動きに連続性が無い場合、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。
＜変形例３：複数被写体の移動状態の差＞
被写体動き情報取得部３３１は、被写体動き速度情報の代わりに、複数被写体の移動状態の差を示す複数被写体移動状態差情報を取得しても良い。その際、被写体動き情報取得部３３１は、複数被写体移動状態差情報（例えば、移動方向の差）は被写体の速度同様、例えば次の処理で画像処理によって取得しても良い。被写体動き情報取得部３３１は、被写体の顔検出を行い、複数顔が検出された場合に、全ての顔に対して動き情報を取得し、取得した動き情報から複数被写体の移動状態の差情報（ここでは移動方向の差）を取得しても良い。
この際、明るさ調節対象の検出顔の動き方向が他の検出顔の動き方向と異なる場合には、その被写体に対して意識を向け易いが同様の場合には意識を向け難い。従って、明るさ調節決定部３５ａは、複数被写体の移動方向の差が無い程、明るさ調節の動作を抑制するように明るさ調節の挙動を決定しても良い。また、ここでは被写体動き情報取得部３３１は、複数被写体移動状態差情報の一例として移動方向の差を取得しているが、移動速度の差または移動速度の移動量差を取得しても良い。その場合、明るさ調節決定部３５ａは、被写体動き情報として移動速度の差または移動速度の移動量差を用いて、明るさ調節の挙動を決定しても良い。
＜変形例４：被写体の動き種類情報を取得する＞
図６１内の被写体動き情報取得部３３１が、「被写体の動き速度」ではなく、「被写体の動き種類情報」を取得しても良い。ここで被写体の動き種類情報とは例えば被写体が人間である場合には「歩いている」ときの動きに関する情報や「走っている」ときの動きに関する情報等である。
被写体動き情報取得部３３１は、被写体の動き種類情報を被写体の速度同様、例えば次の処理方式で画像処理によって取得する。
手順１：人間が歩いているときの顔領域の画像上での動きのパターンに関する情報と、人間が走っているときの顔領域の画像上での動きのパターンに関する情報とを、参照情報として撮像装置３ａのメモリ内に予め格納しておく。
手順２：撮影者が撮影を開始すると、撮像部３２ａが上述のように被写体の動画像信号を生成する。
手順３：被写体動き情報取得部３３１が、撮像部３２ａにより生成された動画像信号に対して顔認識処理を行うことにより顔領域を検出する。
手順４：被写体動き情報取得部３３１が、上記検出した顔領域をトラッキングすることにより、その顔領域の画像上での動きに関する情報を取得する。
手順５：被写体動き情報取得部３３１が、上述の手順１でメモリに参照情報として格納した複数の動きのパターン（歩いているときの動きのパターン、走っているときの動きのパターン等）における人間の顔領域の画像上での動きに関する情報と、上述の手順４で検出した顔領域の動きに関する情報とを照合することにより、手順１で格納した複数の動きのパターンのうち、手順４で取得した動きに最も近似するパターンの動きを現在の被写体の動き（人の顔の動き）に関する情報として特定する。例えば、手順４で取得した動きが、手順１で格納した動きのパターンのうち、人間が走っているときの顔領域の動きのパターンと最も近似すれば、被写体動き情報取得部３３１は、被写体の動きは人間が走っているときの動きであると判定する。
なお、被写体が人間である場合に、被写体が「歩いている」ときの動きと、「走っている」ときの動きとを画像処理により判定する手順は、上記手順１から５には、限定されない。
人は被写体が歩いている場合よりも走っている場合により速く明るさ調節を行いたいと思う傾向があるため、明るさ調節を促進するように明るさ調節挙動を決定すると良い。
また、本実施例では、フレーム間変化情報取得部１３ａは、被写体の変化に関わる情報として、被写体動き情報を取得しているが、被写体動き情報の代わりに、被写体の色変化情報、被写体の変形情報、撮像される動画像信号のフレーム間信号値変化量、または撮像される動画像信号の任意の点又は領域の追尾情報を取得しても良い。そして、明るさ調節決定部３５ａは、フレーム間変化情報取得部３３ａが取得したこれらの情報に基づいて、明るさ調節の挙動を決定しても良い。
＜変形例５：被写体の色変化＞
例えば、フレーム間変化情報取得部３３ａは、被写体動き情報取得部３３１ではなく、被写体色変化情報取得部を備える。被写体色変化情報取得部は、被写体の色変化に関する被写体色変化情報（例えば、色の変化速度または色の変化量）を取得しても良い。例えば被写体が色変化するとき（例えば、舞台上の背景変更や被写体の着替えのとき）、色の変化速度または変化量等によって被写体への注目のし易さが変化する。
例えば、撮影者（または鑑賞者）は、被写体の色の変化速度が速すぎる場合、その被写体を最適な明るさ状態にしたいと判断し難い傾向にある。よって、明るさ調節決定部３５ａは例えば、被写体の色の変化速度が速い程、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。これにより、色の変化速度が速い場合、色の変化が終わった後または色の変化が緩やかになったときに明るさ調節をすることができるので、撮影者（または鑑賞者）にとってより好ましい動画を提供することができる。
また例えば、撮影者（または鑑賞者）は、被写体の色の変化開始からの色の変化量が大きい程、撮影者（または鑑賞者）の意識が向くので、色が変化している被写体を最適な明るさ状態にしたいと判断し易い傾向にある。よって、明るさ調節決定部３５ａは例えば、被写体の色の変化量が大きい程、明るさ調節を促進するように明るさ調節の挙動を決定しても良い。これにより、被写体を早く最適な明るさ状態にすることができるので、撮影者（または鑑賞者）にとってより好ましい動画を提供することができる。
＜変形例６：被写体の変形＞
例えば、フレーム間変化情報取得部３３ａは、被写体動き情報取得部３３１ではなく、被写体変形情報取得部を備える。被写体変形情報取得部は、被写体の変形に関する被写体変形情報（例えば、被写体の変形速度または変形量）を取得しても良い。例えば被写体が変形する（例えば、風船が膨らむ）場合、被写体の変形速度または変形量によって被写体への注目のし易さが変化する。
例えば撮影者（または鑑賞者）は、被写体の変形速度が速すぎる場合、その被写体を最適な明るさ状態にしたいと判断し難い傾向にある。よって、明るさ調節決定部３５ａは例えば、被写体の変形速度が速い程、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。これにより、被写体の変形速度が速い場合、被写体の変形が終わった後または被写体の変形が緩やかになったときに明るさ調節をすることができるので、撮影者（または鑑賞者）にとってより好ましい動画を提供することができる。
また例えば、撮影者（または鑑賞者）は、被写体の変形開始からの変形量が大きい程、撮影者（または鑑賞者）の意識が向くので、変形している被写体を最適な明るさ状態にしたいと判断し易い傾向にある。よって、明るさ調節決定部３５ａは例えば、被写体の変形量が大きい程、明るさ調節を促進するように明るさ調節の挙動を決定しても良い。これにより、被写体を早く最適な明るさ状態にすることができるので、撮影者（または鑑賞者）にとってより好ましい動画を提供することができる。
＜変形例７：撮像される動画像信号のフレーム間信号値変化量＞
例えば、フレーム間変化情報取得部３３ａは、被写体動き情報取得部３３１ではなく、フレーム間信号変化量取得部を備える。フレーム間信号変化量取得部は、撮像される動画像信号のフレーム間信号値の変化量を取得しても良い。ここで、フレーム間信号値の変化量は例えば、二つのフレーム間で対応する位置の画素の画素値の差分を全ての画素で算出した場合に、その差分の絶対値の総和である。
撮影者（または鑑賞者）は、フレーム間信号変化量が大きい程、撮影者（または鑑賞者）の意識が動画に向くので、被写体を最適な明るさ状態にしたいと判断し易い傾向にある。よって、明るさ調節決定部３５ａは例えば、フレーム間信号変化量が大きい程、明るさ調節を促進するように明るさ調節の挙動を決定しても良い。これにより、被写体を早く最適な明るさ状態にすることができるので、撮影者（または鑑賞者）にとってより好ましい動画を提供することができる。
なお、フレーム間信号変化量取得部は、フレーム間信号値の変化量からフレーム間信号値の変化速度を求めてもよい。この場合、明るさ調節決定部３５ａは例えば、フレーム間信号値の変化速度が速い程、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。これにより、フレーム間信号値の変化速度が速い場合、フレーム間信号値の変化がなくなった後またはフレーム間信号値の変化が緩やかになったときに明るさ調節をすることができるので、撮影者（または鑑賞者）にとってより好ましい動画を提供することができる。
＜変形例８：撮像される動画像信号の任意の点又は領域の追尾情報＞
なお、フレーム間変化情報取得部３３ａは、被写体動き情報取得部ではなく、追尾情報取得部を備えてもよい。その場合、追尾情報取得部は、撮像される動画像信号の任意の点又は領域の追尾情報を取得しても良い。具体的には例えば、追尾情報取得部は、公知の技術により得られる、顔に限らない画像内の任意の特徴的な点（例えば、コーナーやエッジ等）または領域を抽出し、抽出した点または領域の動き量の追尾情報（例えば、追尾量、追尾速度、または追尾の滑らかさ（連続性））を取得しても良い。ここで、追尾量は、抽出した点や領域の動き量で、追尾速度は、抽出した点や領域の動き速度である。
＜追尾量＞
撮影者（または鑑賞者）は、追尾量が大きい程、撮影者（または鑑賞者）の意識が向くので、その点や領域を最適な明るさ状態にしたいと判断し易い傾向にある。よって、明るさ調節決定部３５ａは例えば、追尾量が多い程、明るさ調節を促進するように明るさ調節の挙動を決定しても良い。これにより、点や領域を早く最適な明るさ状態にすることができるので、撮影者（または鑑賞者）にとってより好ましい動画を提供することができる。
＜追尾速度＞
撮影者（または鑑賞者）は、点や領域の動き速度が速すぎる場合、その点や領域を最適な明るさ状態にしたいと判断し難い傾向にある。よって、明るさ調節決定部３５ａは例えば、追尾速度が速い程、明るさ調節が動作し難いように明るさ調節の挙動を決定すると良い。これにより、点や領域の動き速度が速い場合、点や領域の動きが止まった後または点や領域の動きが遅くなったときに明るさ調節をすることができるので、撮影者（または鑑賞者）にとってより好ましい動画を提供することができる。
＜追尾の滑らかさ（連続性）＞
追尾情報取得部は例えば、点や領域の追尾の滑らかさ（連続性）を、一定時間追尾に成功していれば追尾が滑らかである（連続性がある）と判断し、追尾に成功していなければ追尾が滑らかでない（連続性が無い）と判断しても良い。追尾が滑らかな被写体には撮影者（鑑賞者）は注目し易い。従って、明るさ調節決定部３５ａは例えば、追尾が滑らかである（連続性がある）ほど、明るさ調節を促進するように明るさ調節の挙動を決定しても良い。これにより、点や領域を早く最適な明るさ状態にすることができるので、撮影者（または鑑賞者）にとってより好ましい動画を提供することができる。
＜変形例９：撮影のための設定に関わる情報を取得する場合＞
図６４は、実施例１の変形例９における撮像装置３ｂの構成を示す概略ブロック図である。なお、図６１と共通する要素には同一の符号を付し、その具体的な説明を省略する。変形例９における撮像装置３ｂの構成は、図６１の実施例１における撮像装置３ａの構成に対して、撮影設定情報取得部１８が追加され、明るさ調節決定部３５ａが明るさ調節決定部３５ｂに変更されたものになっている。
撮影設定情報取得部１８は、撮影のための設定に関わる撮影設定情報を取得し、取得した撮影設定情報を明るさ調節決定部３５ｂへ出力する。
本変形例では、明るさ調節決定部３５ｂは、フレーム間変化情報として取得した被写体の動き情報とフレーム内情報として取得した被写体の大きさ情報に加えて、撮影設定情報も用いて明るさ調節の挙動を補正する。以下、その具体例を説明する。
撮影設定情報は人の主観的な明るさ調節に関わる情報そのものとは言い難いが、動画観賞時の好ましい明るさ調節に影響を与える要素である。これらの情報を追加で取得し、取得した情報を用いて決定した明るさ調節の挙動を補正することによってより好ましい焦点調節の挙動を決定することができる。
＜例１：ＩＳＯ感度設定情報＞
第１の例として、撮影設定情報取得部１８は、撮影設定情報の一例として、撮像装置３ｂで設定されたＩＳＯ感度を示すＩＳＯ感度設定情報を取得し、取得したＩＳＯ感度設定情報を明るさ調節決定部３５ｂへ出力する。そして、明るさ調節決定部３５ｂは例えば、フレーム間変化情報として取得した被写体の動き情報とフレーム内情報として取得した被写体の大きさ情報とＩＳＯ感度設定情報とを用いて、明るさ調節の挙動を決定する。
撮像装置３ｂのＩＳＯ感度が高いと画面内のノイズが増え、動画の見えが煩わしくなる。このような状態では更なる動画像内の変化は嫌われ易いため、明るさ調節決定部３５ａは例えば、感度が予め決められた基準よりも高い場合、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。
本実施例における具体的な補正例としては、例えば不図示のメモリにＩＳＯ感度と明るさ調節抑制係数βとが関連付けられたテーブルが記憶されている。その場合に、例えば、明るさ調節決定部３５ｂは、撮像装置３ｂのＩＳＯ感度に対応する明るさ調節抑制係数βをメモリから読み出す。そして、明るさ調節決定部３５ｂは例えば次の式（１０）に従って、最終的な明るさ調節の挙動を決定する。
Ｖｃｏｎｔｒｏｌ＝Ｖｂａｓｅ×α×β …式（１０）
式（１０）は前述した式（９）によって決定された明るさ調節の挙動を補正するような式になっている。式（１０）から分かるように、明るさ調節抑制係数βが小さい程、明るさ調節が抑制されるように明るさ調節の挙動が補正される。
＜例２：撮像装置のシャッター速度設定情報＞
第２の例として、撮影設定情報取得部１８は例えば、撮影設定情報の一例として、撮像装置３ｂで設定されたシャッター速度を示すシャッター速度設定情報を取得しても良い。そして、明るさ調節決定部３５ｂは例えば、フレーム間変化情報として取得した被写体の動き情報とフレーム内情報として取得した被写体の大きさ情報とシャッター速度設定情報とを用いて、明るさ調節の挙動を決定しても良い。
撮像装置３ｂのシャッター速度設定が動画撮像時のフレームレートに対して速いと、動画の動きの滑らかさが無くなり、動画がパラパラマンガのように見える。このような状態では更なる動画像内の変化は嫌われ易いため、明るさ調節決定部３５ａは例えば、シャッター速度設定が速いほど、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。具体的には例えば、設定されたシャッター速度が速い程、式（１０）内の明るさ調節抑制係数βを小さくするようにしても良い。
具体的な明るさ調節抑制係数βの決定処理としては、図６５に示すように、例えば不図示のメモリにシャッター速度と明るさ調節抑制係数βとが関連付けられたテーブルが記憶されている。その場合に、例えば、明るさ調節決定部３５ｂは、撮像装置３ｂのシャッター速度に対応する明るさ調節抑制係数βをメモリから読み出す。そして、明るさ調節決定部３５ｂは例えば、上述した式（１０）に従って、最終的な明るさ調節の挙動を決定する。
図６５は、シャッター速度と明るさ調節抑制係数βとが関連付けられたテーブルの一例である。同図のテーブルＴ１２において、シャッター速度が速くなるほど、明るさ調節抑制係数βが小さくなっている。この例において、明るさ調節決定部３５ｂは、撮像装置３ｂのシャッター速度に対応する明るさ調節抑制係数βを読み出すことで、シャッター速度が速い程、明るさ調節抑制係数βを小さくすることができる。
＜例３：撮像光学系２のＦ値設定情報＞
第３の例として、撮影設定情報取得部１８は例えば、撮影設定情報の一例として、撮像装置３ｂに取り付けられた撮像光学系２で設定されたＦ値を示すＦ値設定情報を取得しても良い。そして、明るさ調節決定部３５ｂは例えば、フレーム間変化情報として取得した被写体の動き情報とフレーム内情報として取得した被写体の大きさ情報とＦ値設定情報とを用いて、明るさ調節の挙動を決定しても良い。
撮像光学系２のＦ値設定が小さいと、被写界深度が浅くなる。被写界深度が浅い場合には撮影者（または鑑賞者）は、焦点が合った一つの被写体に対して意識を向け易い。従って、明るさ調節決定部３５ｂは例えば、撮像装置３ｂのＦ値設定が大きい程、明るさ調節を抑制するようにした方が良い。具体的な補正の処理としては、第１の例と同様に、明るさ調節決定部３５ｂは例えば、式（１０）に従って、明るさ調節の挙動を補正しても良い。この際、明るさ調節決定部３５ｂは例えば、Ｆ値設定が大きい程、式（１０）内の明るさ調節抑制係数βを小さくするようにしても良い。
＜例４：撮像光学系２の焦点距離設定情報＞
第４の例として、撮影設定情報取得部１８は例えば、撮影設定情報の一例として、撮像装置３ｂに取り付けられた撮像光学系２で設定された焦点距離を示す焦点距離設定情報を取得しても良い。そして、明るさ調節決定部３５ｂは例えば、フレーム間変化情報として取得した被写体の動き情報とフレーム内情報として取得した被写体の大きさ情報と焦点距離設定情報とを用いて、明るさ調節の挙動を決定しても良い。
撮像装置３ｂの焦点距離が短いほど、撮影者（または鑑賞者）は広く周囲を見渡すため、一つの被写体に対して意識を向け難い。従って、明るさ調節決定部３５ｂは例えば、撮像光学系２の焦点距離設定が短い程、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。具体的な補正の処理としては、例１と同様に、明るさ調節決定部３５ｂは例えば、式（１０）に従って、明るさ調節の挙動を補正しても良い。この際、明るさ調節決定部３５ｂは例えば、焦点距離が短い程、式（１０）内の明るさ調節抑制係数βを小さくするようにしても良い。
＜例５：撮像装置３ｂの画像処理の設定情報＞
第５の例として、撮影設定情報取得部１８は例えば、撮影設定情報の一例として、撮像装置３ｂの画像処理の設定に関する画像処理設定情報を取得しても良い。そして、明るさ調節決定部３５ｂは例えば、フレーム間変化情報として取得した被写体の動き情報とフレーム内情報として取得した被写体の大きさ情報と画像処理設定情報とを用いて、明るさ調節の挙動を決定しても良い。
撮影設定情報取得部１８は例えば、画像処理設定情報としてＮＲ（ノイズリダクション）強度を取得する。ＮＲが弱くかけられている程、動画の画面内が煩わしい状態になり易い。従って、明るさ調節決定部３５ｂは例えば、ＮＲ強度が低い程、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。具体的な補正の処理としては、第１の例と同様に、明るさ調節決定部３５ｂは例えば、式（１０）に従って、明るさ調節の挙動を補正しても良い。この際、明るさ調節決定部３５ｂは例えば、ＮＲ強度が弱い程、式（１０）内の明るさ調節抑制係数βを小さくするようにしても良い。
なお、撮影設定情報取得部１８は例えば、画像処理設定情報として表現強調処理の有無または強度を示す表現強調処理情報を取得しても良い。ここで表現強調処理とは例えば画像全体の彩度を強調し、撮像した画像をカラフルで印象的に強調するような処理等である。表現強調処理がかけられている程、画面内の眼への刺激が強くなる。従って、明るさ調節決定部３５ｂは例えば、表現強調処理の強度が大きいほど、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。また他の例として、明るさ調節決定部３５ｂは例えば、表現強調処理の強度が有る場合、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。具体的な補正の処理としては、第１の例と同様に、明るさ調節決定部３５ｂは例えば、式（１０）に従って、明るさ調節の挙動を補正しても良い。この際、明るさ調節決定部３５ｂは例えば、表現強調処理の強度が大きい程、式（１０）内の明るさ調節抑制係数βを小さくするようにしても良い。また他の例として、明るさ調節決定部３５ｂは例えば、表現強調処理が有る場合、式（１０）内の明るさ調節抑制係数βを小さくするようにしても良い。
図６６は、実施例１の変形例９における撮像装置３ｂの処理の流れの一例を示すフローチャートである。
ステップＳｐ２０１〜Ｓｐ２０４は、図６３のステップＳｐ１０１〜Ｓｐ１０４と同じ処理であるので、その説明を省略する。
（ステップＳｐ２０５）次に、撮影設定情報取得部１８は、撮影設定情報を取得する。
（ステップＳｐ２０６）次に、明るさ調節決定部３５ｂは例えば、フレーム間変化情報として取得した被写体の動き情報とフレーム内情報として取得した被写体の大きさ情報に加えて、撮影設定情報も用いて明るさ調節の挙動を決定する。
ステップＳｐ２０７〜Ｓｐ２０８は、図６３のステップＳｐ１０６〜Ｓｐ１０７と同じ処理であるので、その説明を省略する。
以上、実施例１の変形例９において、明るさ調節決定部３５ｂは例えば、被写体の動き情報と被写体の大きさ情報に加えて、撮影設定情報も用いて明るさ調節の挙動を決定する。撮影設定情報を更に用いて明るさ調節の挙動を決定するので、撮影者（または鑑賞者）にとって、明るさ調節の挙動がより好ましい動画を提供することができる。
＜実施例２＞
続いて、実施例２について説明する。本実施例では人の主観的な明るさ調節に関わる情報としてフレーム間変化に関わる情報と１フレーム内の情報から決定される撮影する状況・被写体の状況の情報とを用いて明るさ調節の挙動を決定する。本実施例では、図６７のように撮像装置自体に動き及び変化は無く、予め複数の被写体がある状態で、被写体の明るさ状態が変わることによって注視する被写体すなわち最適な明るさ状態にしたい被写体が変わるシーンを用いて説明を行う。
図６７は、実施例２における撮影シーンの一例を説明するための図である。同図は、スポットライトの位置が変わって、鑑賞者が注視する被写体が変わるシーンを表す。Ｎフレーム（Ｎは正の整数）では、撮影者の娘（撮像装置に登録済）にスポットが当たっており、白い花（撮像装置に未登録）及び撮影者のペット（撮像装置に登録済）にスポットライトが当たっていない。そのため、画像Ｇ２１では、撮影者の娘の画像領域Ｒ２１が白くなっているが、白い花の画像領域Ｒ２２及び撮影者のペットの画像領域Ｒ２３が黒くなっている。
Ｎ＋１フレームでは、白い花にスポットライトが当たっており、撮影者の娘及び撮影者のペットにスポットライトが当たっていない。そのため、Ｎ＋１フレームの画像Ｇ２２では、白い花の画像領域Ｒ２５が白くなっているが、撮影者の娘の画像領域Ｒ２４及び撮影者のペットの画像領域Ｒ２６が黒くなっている。
Ｎ＋２フレームでは、撮影者のペットにスポットライトが当たっており、撮影者の娘及び白い花にスポットライトが当たっていない。そのため、Ｎ＋２フレームの画像Ｇ２３では、撮影者のペットの画像領域Ｒ２９が白くなっているが、撮影者の娘の画像領域Ｒ２７及び白い花の画像領域Ｒ２８が黒くなっている。
図６８は、実施例２における撮像装置３ｃの構成を示す概略ブロック図である。なお、図６１と共通する要素には同一の符号を付し、その具体的な説明を省略する。実施例２における撮像装置３ｃの構成は、図６１の実施例１における撮像装置３ａの構成に対して、画像処理部３０が画像処理部３０ｃに、撮像部３２ａが撮像部３２ｃに、明るさ調節決定部３５ａが明るさ調節決定部３５ｃに変更され、フレーム間変化情報取得部３３ａがフレーム間変化情報取得部３３ｃに変更されて画像処理部３０ｃの外に出たものになっている。画像処理部３０ｃは、フレーム内情報取得部３４ｃを備え、フレーム内情報取得部３４ｃは、照合結果情報取得部３４２を備える。撮像部３２ｃは、図６１の実施例１の撮像部３２ａに対して、焦点調節量取得部３２２が追加されたものになっている。フレーム間変化情報取得部３３ｃは、焦点調節部３３２を備える。
続いて、動画記録時の処理の順序に従って、撮像装置３ｃの各部の処理を説明する。
＜処理１＞
撮像装置３ｃは明るさ調節対象領域の設定を行う。本実施例では一例として、撮像装置３ｃの明るさ調節量取得部３２１は、撮像して得た動画像信号に含まれる１フレーム画像中で最も明るい領域を明るさ調節対象領域と設定し、その明るさ調節対象領域を保持する。また、一例として、焦点調節もその明るさ調節対象領域を対象に行われる。
＜処理２＞
記録開始釦３１１は、撮影者からの動画記録の開始指示を受け付け、受け付けた開始指示を示す開始指示情報を撮像部３２ａに出力する。撮像部３２ａは、撮影者入力部３１から開始指示情報を受け取ると、被写体から撮像光学系２を介して入射した光を電気信号に予め決められたシャッター速度で変換することで、動画像信号を生成する。これにより、撮像部３２ａは撮影者の指示に従い、動画記録を開始することができる。撮像部３２ａは、生成した動画像信号を画像処理部３０ｃへ出力する。
＜処理３＞
明るさ調節量取得部３２１は、明るさ調節量取得部３２１が設定した明るさ調節対象領域の情報を基に、明るさ調節対象領域を最適な明るさ状態とするための明るさ調節量を取得し、取得した明るさ調節量を明るさ調節部３６へ出力する。具体的には例えば、明るさ調節量取得部３２１は、明るさ調節対象領域の画素値が予め決められた範囲に収まるように、明るさ調節量を取得する。これにより、明るさ調節対象領域が暗くなりすぎず、真っ白にならないようにすることができる。
＜処理４＞
予め撮像装置３ｃが撮像した「撮影者が注目し易い被写体（例えば、家族等）」（以下、登録被写体という）の画像データ（例えば、顔の画像データ）が、例えば予め記録部３７に記憶されている。照合結果情報取得部３４２は例えば、その画像情報から登録被写体の特徴量を抽出し、抽出した登録被写体の特徴量を不図示のメモリに予め記憶させておく。照合結果情報取得部３４２は例えば、フレーム内情報として明るさ調節対象領域内（一例として最も明るい領域内）の被写体の特徴量を抽出し、抽出した特徴量と不図示のメモリに記憶された登録被写体の特徴量とを照合し、照合結果を取得する。その際、照合結果情報取得部３４２は例えば、抽出した特徴量と登録被写体の特徴量とが予め決められた基準以上の照合率で合致すれば、現在の被写体が登録被写体であるという照合結果を得る。
照合結果情報取得部３４２は、取得した照合結果を示す照合結果情報を明るさ調節決定部３５ｃへ出力する。
＜処理５＞
焦点調節部３３２は例えば、フレーム間変化情報として、焦点調節の動作情報（ここでは一例として、焦点調節の動作速度を示す焦点調節動作速度情報）を取得し、明るさ調節決定部３５ｃへ出力する。本実施例では一例として、焦点調節部３３２は焦点調節の動作速度を、撮像装置３ｃ内の不図示のメモリに予め記憶されていた第１閾値及び第２閾値（但し、第２閾値は第１閾値より小さい）と比較することによって、第１閾値よりも速い場合、「速い」と判定し、第１閾値以下で第２閾値より速い場合、「中程度」と判定し、第２閾値以下の場合、「遅い」と判定する。なお、これに限ったものではなく、焦点調節部３３２は例えば、焦点調節の動作速度をそのまま利用しても良い。
本実施例では撮像光学系２の焦点調節用光学系を制御し、焦点調節を行うが、この処理に限らず、例えば参考文献「“Light Field Photography with a Hand-Held Plenoptic Camera”, Ren Ng et al., Stanford Tech Report, CTSR 2005-02」に示されるような構造の撮像光学系２を用いて撮影を行い、撮影後に焦点調節部３３２が画像処理によって焦点調節を行っても良い。
＜処理６＞
明るさ調節決定部３５ｃは、照合結果情報取得部３４２が取得した照合結果情報と焦点調節部３３２が取得した焦点調節の動作情報（ここでは一例として、焦点調節動作速度情報）とを基に、明るさ調節の挙動を決定する。具体的には例えば、図６９に示すように、焦点調節速度情報と照合結果情報との組毎に速度抑制係数αが関連づけられたテーブルが不図示のメモリに予め記憶されている。また、動画撮影時の基準明るさ調節速度Ｖｂａｓｅが不図示のメモリに予め記憶されている。その場合、明るさ調節決定部３５ｃは、取得した照合結果情報と焦点調節動作速度情報の組に対応する速度抑制係数αを不図示のメモリから読み出す。そして、明るさ調節決定部３５ｃは、メモリから動画撮影時の基準明るさ調節速度Ｖｂａｓｅを読み出し、実施例１の式（９）に従って、実際の明るさ調節速度Ｖｃｏｎｔｒｏｌを決定する。明るさ調節決定部３５ｃは、決定した明るさ調節の挙動（ここでは一例として、実際の明るさ調節速度Ｖｃｏｎｔｒｏｌ）を明るさ調節部３６へ出力する。
図６９は、焦点調節速度と被写体の照合結果との組毎に速度抑制係数αが関連づけられたテーブルの一例である。同図のテーブルＴ１３において、焦点調節速度が速いほど、速度抑制係数αが大きくなっている。これにより、明るさ調節決定部３５ｃは例えば、焦点調節速度が速いほど、実際の明るさ調節速度Ｖｃｏｎｔｒｏｌを速くすることができる。また、被写体の照合結果が、撮像対象の被写体が予め登録されていることを示す登録有りの場合、撮像対象の被写体が予め登録されていないことを示す登録無しの場合より、速度抑制係数αが大きくなっている。これにより、明るさ調節決定部３５ｃは例えば、被写体の照合結果が登録有りの場合の方が、登録無しの場合より、実際の明るさ調節速度Ｖｃｏｎｔｒｏｌを速くすることができる。
例えば図６７のように撮像装置に動き及び変化が無い状態で、画面内の被写体の明るさが変化し、明るさ調節（及び焦点調節）を行うような場合、撮影対象の被写体が撮影者にとってよく見知っているもの程、撮影者（または鑑賞者）は最適な明るさ状態にしたいと判断し易い傾向にある。よって、明るさ調節決定部３５ｃは例えば、撮影対象の被写体が予め登録されている場合、登録されていない場合よりも、実際の明るさ調節速度Ｖｃｏｎｔｒｏｌを速くする。また撮影者（または鑑賞者）は、焦点調節が速く行われる場合にはその被写体に意識が向き易い傾向にある。よって、明るさ調節決定部３５ｃは例えば、焦点調節が速い程、実際の明るさ調節速度Ｖｃｏｎｔｒｏｌを速くする。
＜処理７＞
明るさ調節部３６は、明るさ調節決定部３５ｃが決定した明るさ調節の挙動（ここでは一例として、実際の明るさ調節速度Ｖｃｏｎｔｒｏｌ）に従って、明るさ調節量取得部３２１から入力された明るさ調節量だけ明るさが変化するように、撮像光学系２の絞りを変更し、動画像信号に含まれるフレーム画像の明るさ調節を行う。
＜処理８＞
撮影者入力部３１が、撮影者から撮影の終了の指示を受け付けるまで、撮像装置３ｃは上述した処理３〜７の処理を繰り返す。
図７０は、実施例２における撮像装置３ｃの処理の流れの一例を示すフローチャートである。ステップＳｐ３０１〜Ｓｐ３０２は、図６３のステップＳｐ１０１〜Ｓｐ１０２と同じ処理であるので、その説明を省略する。
（ステップＳｐ３０３）次に、照合結果情報取得部３４２は、撮像対象の被写体と登録被写体との照合結果を示す照合結果情報を取得する。
（ステップＳｐ３０４）次に、焦点調節部３３２は例えば、焦点調節の動作情報の一例として焦点調節動作速度情報を取得する。
（ステップＳｐ３０５）次に、明るさ調節決定部３５ｃは、照合結果情報取得部３４２が取得した照合結果情報と焦点調節部３３２が取得した焦点調節動作速度情報とを基に、明るさ調節の挙動を決定する。
ステップＳｐ３０６〜Ｓｐ３０７は、図６３のステップＳｐ１０６〜Ｓｐ１０７と同じ処理であるので、その説明を省略する。以上で、本フローチャートの処理を終了する。
以上、実施例２において、明るさ調節決定部３５ｃは、照合結果情報取得部３４２が取得した照合結果情報と焦点調節部３３２が取得した焦点調節動作速度情報とを基に、明るさ調節の挙動を決定する。その際、明るさ調節決定部３５ｃは例えば、撮影対象の被写体が予め登録されている場合、登録されていない場合よりも、実際の明るさ調節速度Ｖｃｏｎｔｒｏｌを速くする。更に明るさ調節決定部３５ｃは例えば、焦点調節が速い程、実際の明るさ調節速度Ｖｃｏｎｔｒｏｌを速くする。これにより、撮影者（または鑑賞者）の意識の向き易いほど、被写体の明るさが早く明るくなるので、撮影者（または鑑賞者）にとって、より好ましい見え方をする動画を提供することができる。
尚、本実施例は、明るさ調節の速度を変更することで状況に応じた（撮影する撮像装置の状況・被写体の状況等）明るさ調節の挙動の決定を実現しているが、これに限らず以下のようにすることで状況に応じた明るさ調節の挙動の決定を実現しても良い
（１）被写体の状況・撮影の状況に応じて明るさ調節における加速度を決定する。
（２）被写体の状況・撮影の状況に応じて明るさ調節における減速を開始するタイミングを決定する。
（３）被写体の状況・撮影の状況に応じて明るさ調節開始から最適明るさ状態に到るまでの所要時間を決定する。
（４）被写体の状況・撮影の状況に応じて明るさ調節を開始するタイミングを決定する。
なお、本実施例では、照合結果情報取得部３４２がフレーム内情報として撮影対象の被写体と登録被写体との照合結果を示す照合結果情報を取得したが、その代わりに、以下に示す他の情報を取得しても良い。その場合、明るさ調節決定部３５ｃは、その情報とフレーム間変化情報（例えば、焦点調節動作速度情報）を用いて、明るさ調節の挙動を決定しても良い。
＜変形例１：被写体の認識結果情報＞
フレーム内情報取得部３４ｃが、照合結果情報取得部３４２ではなく、被写体認識結果情報取得部を備えており、被写体認識結果情報取得部が被写体の認識結果情報を取得しても良い。ここで、被写体の認識結果情報は、被写体が何であるか認識した結果を示す情報である。明るさ調節対象の被写体が何であるかによって、撮影者（または鑑賞者）の意識の向け易さが変わる。例えば、人、動物または花には撮影者（または鑑賞者）は意識を向け易いが、石または雑草には意識を向け難い。よって、明るさ調節決定部３５ｃは例えば、被写体の認識結果情報が石または雑草の場合、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。また例えば、被写体の認識結果情報が人、動物または花の場合、明るさ調節を促進するように明るさ調節の挙動を決定しても良い。これにより、明るさ調節決定部３５ｃは撮影者（または鑑賞者）の意識の向き易さに応じた明るさ調節を行うことができるので、撮像装置３ｃは撮影者（または鑑賞者）にとってより好ましい動画を提供することができる。
＜変形例２：過去に撮影した被写体と明るさ調節対象の被写体の照合結果に関する情報＞
照合結果情報取得部３４２は、過去に撮影した被写体と明るさ調節対象の被写体との照合結果に関する情報を取得しても良い。そして、明るさ調節決定部３５ｃは例えば、その照合結果に関する情報（例えば、撮影対象の被写体が過去に撮影された頻度）と、焦点調節動作速度情報を用いて、明るさ調節の挙動を決定しても良い。ここで同じ種類の被写体であっても、それが以前に頻繁に撮影された被写体であるかによって撮影者（または鑑賞者）の意識の向け易さが変化し、過去に頻繁に撮影された被写体に対しての方が意識を向け易い傾向にある。よって、明るさ調節決定部３５ｃは例えば、撮影対象の被写体が過去一定期間に撮像された頻度が予め決められた閾値よりも高い場合、明るさ調節を促進するように明るさ調節の挙動を決定しても良い。これにより、明るさ調節決定部３５ｃは撮影者（または鑑賞者）の意識の向き易さに応じた明るさ調節を行うことができるので、撮像装置３ｃは撮影者（または鑑賞者）にとってより好ましい動画を提供することができる。
また、本実施例では、焦点調節部３３２は、フレーム間変化情報としての焦点調節の動作情報の一例として、焦点調節動作速度情報を取得したが、焦点調節部３３２は、焦点調節動作速度情報の代わりに以下に示す焦点調節量情報、焦点調節動作連続性情報、または焦点調節方向情報を取得しても良い。その場合、明るさ調節決定部３５ｃは例えば、焦点調節量情報、焦点調節動作連続性情報、または焦点調節方向情報のいずれかとフレーム内変化に関わる情報（例えば、照合結果情報）とを用いて、明るさ調節の挙動を決定しても良い。
＜変形例３：焦点調節量情報＞
焦点調節部３３２は、フレーム間変化情報としての焦点調節の動作情報の一例として、焦点調節量を示す焦点調節量情報を取得しても良い。焦点調節がある程度の量行われた後の方が、撮影者（または鑑賞者）は次の被写体を最適な明るさ状態にしたいと判断し易い傾向にある。従って、明るさ調節決定部３５ｃは例えば、焦点調節量が予め決められた閾値以下の場合、明るさ調節を抑制するよう明るさ調節の挙動を決定し、焦点調節量が予め決められた閾値を超える場合、明るさ調節を促進するよう明るさ調節の挙動を決定しても良い。これにより、焦点調節量がある程度の量行われるまでは焦点調節を抑制し、焦点調節がある程度の量行われてから焦点調節を促進することができる。そのため、撮像装置３ｃは撮影者（または鑑賞者）にとってより好ましい動画を提供することができる。
＜変形例４：焦点調節動作連続性情報＞
焦点調節部３３２は、フレーム間変化情報としての焦点調節の動作情報の一例として、焦点調節動作の連続性を示す焦点調節動作連続性情報を取得しても良い。焦点調節部３３２は例えば、焦点調節動作の連続性を過去数フレームにおける焦点位置変動値の変化加速度に基づいて判定する。具体的には例えば、焦点調節部３３２は、過去数フレームで正負の変化加速度が混合している（一定に動いていない）場合、連続性無しと判定し、変化加速度が過去数フレームの間、正または負で一定の場合、連続性有りと判定する。焦点調節動作に連続性がある場合、撮影者（または鑑賞者）は次の被写体を最適な明るさ状態にしたいと判定し易い傾向にある。従って、焦点調節部３３２が焦点調節動作に連続性有りと判定した場合、明るさ調節決定部３５ｃは例えば、明るさ調節を促進するよう明るさ調節の挙動を決定しても良い。これにより、明るさ調節決定部３５ｃは、撮影者（または鑑賞者）が最適な明るさ状態にしたいと判定し易い被写体の明るさを、早く最適な明るさ状態にすることができるので、撮像装置３ｃは撮影者（または鑑賞者）にとってより好ましい動画を提供することができる。
＜変形例５：焦点調節方向情報＞
焦点調節部３３２は、フレーム間変化情報としての焦点調節の動作情報の一例として、焦点調節の方向を示す焦点調節方向情報を取得しても良い。例えば焦点調節が手前から奥側に行われる場合と比較し、奥側から手前に行われる場合の方が、撮影者（または鑑賞者）は次の被写体を最適な明るさ状態にしたいと判断し易い傾向にある。従って、明るさ調節決定部３５ｃは例えば、焦点調節が手前から奥側に行われる場合よりも、奥側から手前に行われる場合の方が、明るさ調節を促進するよう明るさ調節の挙動を決定しても良い。これにより、明るさ調節決定部３５ｃは、撮影者（または鑑賞者）が、より最適な明るさ状態にしたいと判定し易い被写体の明るさを、早く最適な明るさ状態にすることができるので、撮像装置３ｃは撮影者（または鑑賞者）にとってより好ましい動画を提供することができる。
＜変形例６：明るさ調節に要する時間を変更する場合＞
本実施例では焦点調節速度と被写体の照合結果を用いて明るさ調節の調節速度を変更することで撮影の状況・被写体の状況に応じた明るさ調節挙動の変更を実現しているが、他にも例えば図９３のようなテーブルを参照し、明るさ調節挙動に要する所要時間を決定することで実現しても良い。
例えば、図９３のように不図示のメモリには、被写体の照合結果と焦点調節速度との組に対して、一つの明るさ調節速度抑制係数αが関連付けられたテーブルＴ１６が記憶されている。その場合、明るさ調節決定部３５ａは例えば、図９３のテーブルＴ１６を参照して、取得した被写体の照合結果と取得した焦点調節速度の組に対応する明るさ調節速度抑制係数αを読み出す。
＜変形例７：撮像装置の空間的位置情報を取得する場合＞
尚、本実施例では焦点調節速度と被写体の照合結果情報を用いて明るさ調節の挙動を決定しているが、これ以外に追加で撮像装置の空間的位置情報を取得し、明るさ調節の挙動を決定しても良い。この場合の撮像装置の構成を図９４に示す。
図９４は、実施例２の変形例７における撮像装置３ｋの構成を示す概略ブロック図である。なお、図６８と共通する要素には同一の符号を付し、その具体的な説明を省略する。変形例７における撮像装置３ｋの構成は、図６８の実施例２における撮像装置３ｃの構成に対して、位置情報取得部４３が追加され、明るさ調節決定部３５ｃが明るさ調節決定部３５ｋに変更されたものになっている。
撮像装置３ｋの空間的位置情報は、撮像装置３ｋに取り付けた位置情報取得部４３（GPS）を用いて取得する。本変形例では撮像装置内のGPSを用いて撮像装置の空間的位置情報を取得しているが、これに限らず撮影者が所有している携帯端末のGPS情報等を利用しても良いし、撮影者が位置情報を直接入力しても良い。
撮像装置の空間的位置情報によって、被写体が何であるか、気候/照明条件がどのようなものであるかを判断でき、この情報によって明るさ調節への要望が変化する。例えば、世界遺産の寺社がある場所で撮影されるのは細やかな構造の建物等であると予想される。従ってこの場合には、やや早めに明るさ調節を行った方が良い。また観光地の海辺等で撮影される場合には、風景が撮られることが多く、この場合には細かい構造の被写体があまり無いと予想されるため、ゆっくりと明るさ調節を行った方が良い
具体的な補正方法としては例えば図９５のようなテーブルを用いて補正パラメータβを取得し、式（１０）を用いて明るさ調節速度を補正すると良い。
＜実施例３＞
続いて、実施例３について説明する。本実施例では人の主観的な明るさ調節に関わる情報としてフレーム間変化に関わる情報と１フレーム内の情報から決定される撮影する状況・被写体の状況の情報とを用いて焦点調節の挙動を決定する。本実施例では、図７１のように暗い状態から舞台上の幕が上がり、照明状態が変化する場合にホワイトバランス調節を行い、且つ明るさ調節を行うようなシーンを対象に説明を行う。なお、本実施例の撮像装置は固定の状態である。
図７１は、実施例３における撮影シーンの一例を説明するための図である。同図は、暗い状態から舞台上の幕が上がり、照明状態が変化するシーンを表す。Ｎフレームの画像Ｇ３１では舞台上の幕が閉じている。Ｎ＋１フレームの画像Ｇ３２では、Ｎフレームの画像Ｇ３１よりも舞台上の幕が上がって、被写体の画像領域Ｒ３２が示すように被写体の一部が表示されている。Ｎ＋２フレームの画像Ｇ３３では、Ｎ＋１フレームの画像Ｇ３２よりも更に舞台上の幕が上がって、被写体の画像領域Ｒ３３が示すように被写体の全体が表示されている。Ｎ＋３フレームの画像Ｇ３４では、Ｎ＋２フレームの画像Ｇ３３よりも更に舞台上の幕が上がっており、被写体の画像領域Ｒ３４が示すように被写体の全体が表示されている。なお、同図において、ホワイトバランス調節と明るさ調節による画像の明るさの変化は図示されていない。
図７２は、実施例３における撮像装置３ｄの構成を示す概略ブロック図である。なお、図６１と共通する要素には同一の符号を付し、その具体的な説明を省略する。実施例３における撮像装置３ｄの構成は、図６１の実施例１の撮像装置３ａの構成に対して、画像処理部３０が画像処理部３０ｄに、明るさ調節決定部３５ａが明るさ調節決定部３５ｄに変更されたものになっている。画像処理部３０ｄは、フレーム間変化情報取得部３３ｄ、フレーム内情報取得部３４ｄ、及びホワイトバランス調節部３０１を備える。フレーム間変化情報取得部３３ｄは、ホワイトバランス調節動作連続性情報取得部３３３を備える。フレーム内情報取得部３４ｄは、被写体数情報取得部３４３を備える。
続いて、動画記録時の処理の順序に従って、撮像装置３ｄの各部の処理を説明する。
＜処理１＞
撮影者は明るさ調節とホワイトバランス調節を行うエリアの設定を行う。本実施例では一例として、撮影者は画面の略中央辺りの被写体に対して明るさ調節とホワイトバランス調節を行うように指定する。その場合、撮影者入力部３１は例えば、その撮影者による指定を受け付け、明るさ調節対象領域を示す明るさ調節対象領域情報と、ホワイトバランス調節対象領域を示すホワイトバランス調節対象領域情報とを撮像装置３ｄ内の不図示のメモリに記憶させる。ここでは一例として、明るさ調節対象領域とホワイトバランス調節対象とは同じ領域である。
＜処理２＞
記録開始釦３１１は、撮影者からの動画記録の開始指示を受け付け、受け付けた開始指示を示す開始指示情報を撮像部３２ａへ出力する。撮像部３２ａは、撮影者入力部３１から開始指示情報を受け取ると、被写体から撮像光学系２を介して入射した光を電気信号に予め決められたシャッター速度で変換することで、動画像信号を生成する。これにより、撮像部３２ａは撮影者の指示に従い、動画記録を開始することができる。撮像部３２ａは、生成した動画像信号を画像処理部３０ｄへ出力する。
＜処理３＞
ホワイトバランス調節部３０１は、撮影者入力部３１が撮影者による指定を受け付けて得たホワイトバランス調節対象領域情報を基に、ホワイトバランス調節対象領域を最適ホワイトバランス状態とするためのホワイトバランス調節量を取得する。具体的には例えば、ホワイトバランス調節部３０１は、撮像した動画像信号中の各フレーム内の色が付いていない白の領域またはグレーの領域を抽出し、その抽出した領域が真っ白になる色変換量をホワイトバランス調節量として取得する。なお、ホワイトバランス調節部３０１は撮像した動画像信号中の各フレーム内から鏡面反射している領域を抽出し、その反射している領域の色を光源の色と推定して、ホワイトバランス調節量を取得しても良い。
＜処理４＞
明るさ調節量取得部３２１は、撮影者入力部３１が撮影者による指定を受け付けて得た明るさ調節対象領域情報を基に、明るさ調節対象領域を最適な明るさ状態にするための明るさ調節量を取得し、取得した明るさ調節量を明るさ調節部３６へ出力する。具体的には例えば、明るさ調節量取得部３２１は、明るさ調節対象領域の画素値が予め決められた範囲に収まるように、明るさ調節量を取得する。これにより、明るさ調節対象領域が暗くなりすぎず、真っ白にならないようにすることができる。
＜処理５＞
被写体数情報取得部３４３は、被写体の情報の一例として被写体の数を示す被写体数情報を取得する。その際、被写体数情報取得部３４３は例えば、被写体の数情報を画像処理によって画像内から公知の手法で図地判定及び被写体領域の抽出を行うことで取得する。なお、これに限らず、撮影者が予め被写体の数を入力し、撮影者入力部３１は撮影者が入力した被写体の数を受け付け、受け付けた被写体の数を示す被写体数情報を被写体数情報取得部３４３へ出力しても良い。
＜処理６＞
ホワイトバランス調節部３０１は、取得したホワイトバランス調節量でホワイトバランス調節を実行する。
＜処理７＞
ホワイトバランス調節動作連続性情報取得部３３３は、フレーム間変化情報として、ホワイトバランス調節の動作情報（ここでは一例として、ホワイトバランス調節動作の連続性を示すホワイトバランス調節動作連続性情報）を取得する。その際、ホワイトバランス調節動作連続性情報取得部３３３は例えば、ホワイトバランス調節動作の連続性を、過去数フレームにおけるホワイトバランスの変動値（色温度の変動値）の変化加速度から判定する。例えば、過去数フレームの変化加速度が正負混合している（一定に動いていない）場合、ホワイトバランス調節動作連続性情報取得部３３３は連続性無しと判定し、過去数フレームの変化加速度が正または負で一定の場合、ホワイトバランス調節動作連続性情報取得部３３３は連続性有りと判定する。
＜処理８＞
明るさ調節決定部３５ｄは、被写体数情報取得部３４３が取得した被写体数情報とホワイトバランス調節動作連続性情報取得部３３３が取得したホワイトバランス調節動作連続性情報とを基に、明るさ調節の挙動（ここでは一例として、明るさ調節の動作速度）を決定する。具体的には例えば、図７３に示すように、被写体数情報とホワイトバランス調節動作連続性情報との組毎に、明るさ調節の動作速度を示す明るさ調節動作速度情報が関連づけられたテーブルが不図示のメモリに予め記憶されている。その場合に、明るさ調節決定部３５ｄは、取得した被写体数情報とホワイトバランス調節動作連続性情報に対応する明るさ調節動作速度情報をメモリから読み出すことで、明るさ調節の動作速度を決定する。
図７３には、被写体の数とホワイトバランス調節動作の連続性の有無との組毎に、明るさ調節の動作速度が関連づけられたテーブルの一例である。同図のテーブルＴ１４において、明るさ調節の動作速度は、ＥＶ／ｓｅｃで表記されている。同図のテーブルＴ１４において、被写体の数が少ない程、明るさ調節の動作速度が速くなっていることが示されている。これにより、明るさ調節決定部３５ｄは、被写体の数が少ない程、明るさ調節の動作速度を速めることができる。また、被写体の数が同じ場合、ホワイトバランス調節動作の連続性が有る場合の方が、無い場合よりも明るさ調節の動作速度が速くなっている。これにより、明るさ調節決定部３５ｄは、被写体の数が同じ場合、ホワイトバランス調節動作の連続性が有る場合の方が、無い場合よりも明るさ調節の動作速度を速くすることができる。
例えば図７１のように撮像されている内容が変化し、明るさ調節とホワイトバランス調節を同時に行う場合、ホワイトバランス調節動作に連続性がある程、撮影者（または鑑賞者）は次の被写体を最適な明るさ状態にしたいと判断し易い傾向にある。また、被写体の数が少ない程、撮影者（または鑑賞者）は一つの被写体に意識を向け易い傾向にある。よって、明るさ調節決定部３５ｄは例えば、ホワイトバランス調節動作に連続性がある程、そして被写体の数が少ない程、明るさ調節の動作速度を速くする。
＜処理９＞
明るさ調節部３６は、明るさ調節決定部３５ｄが決定した明るさ調節の挙動（ここでは一例として、明るさ調節の動作速度）に従って、明るさ調節量取得部３２１から入力された明るさ調節量だけ明るさが変化するように、シャッター速度を変更する。
＜処理１０＞
撮影者入力部３１が、撮影者から撮影の終了の指示を受け付けるまで、撮像装置３ｄは上述した処理３〜９の処理を繰り返す。
図７４は、実施例３における撮像装置３ｄの処理の流れの一例を示すフローチャートである。ステップＳｐ４０１〜Ｓｐ４０２は、図６３のステップＳｐ１０１〜Ｓｐ１０２と同じ処理であるので、その説明を省略する。
（ステップＳｐ４０３）次に、被写体数情報取得部３４３は、被写体の情報の一例として被写体数情報を取得する。
（ステップＳｐ４０４）次に、ホワイトバランス調節動作連続性情報取得部３３３は、ホワイトバランス調節の動作情報の一例として、ホワイトバランス調節動作連続性情報を取得する。
（ステップＳｐ４０５）次に、明るさ調節決定部３５ｄは、被写体数情報取得部３４３が取得した被写体数情報とホワイトバランス調節動作連続性情報取得部３３３が取得したホワイトバランス調節動作連続性情報とを基に、明るさ調節の挙動を決定する。
ステップＳｐ４０６〜Ｓｐ４０７は、図６３のステップＳｐ１０６〜Ｓｐ１０７と同じ処理であるので、その説明を省略する。以上で、本フローチャートの処理を終了する。
以上、実施例３において、明るさ調節決定部３５ｄは、被写体数情報とホワイトバランス調節動作連続性情報とを基に、明るさ調節の挙動を決定する。その際、明るさ調節決定部３５ｄは例えば、ホワイトバランス調節動作に連続性がある程、そして被写体の数が少ない程、明るさ調節の動作速度を速くする。これにより、明るさ調節部３６は、撮影者（または鑑賞者）が意識を向けやすい被写体であって最適な明るさ状態にしたいと判断し易い被写体について、その明るさを最適な明るさ状態に早くすることができる。そのため、撮像装置３ｄは、撮影者（または鑑賞者）にとってより好ましい動画を提供することができる。
なお、本実施例では、フレーム間変化情報取得部３３ｄは、ホワイトバランス調節の動作情報として、ホワイトバランス調節動作連続性情報を取得したが、その代わりに、ホワイトバランス調節の動作速度情報または動作量情報を取得しても良い。その場合、明るさ調節決定部３５ｄは、取得した情報と被写体の情報（例えば、被写体数情報）とに基づいて、明るさ調節の挙動を決定しても良い。以下、具体例を説明する。
＜変形例１：ホワイトバランス調節の動作速度＞
フレーム間変化情報取得部３３ｄは、ホワイトバランス調節動作連続性情報取得部３３３ではなく、ホワイトバランス調節動作速度取得部を備えてもよい。そして、そのホワイトバランス調節動作速度取得部が、ホワイトバランス調節の動作速度を取得しても良い。ホワイトバランス調節の動作速度が速い程、撮影者（または鑑賞者）はホワイトバランス調節中に別の被写体に意識を向け難い傾向にある。従って、明るさ調節決定部３５ｄは例えば、ホワイトバランス調節の動作速度が速い程、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。
＜変形例２：ホワイトバランス調節の実行量＞
フレーム間変化情報取得部３３ｄは、ホワイトバランス調節動作連続性情報取得部３３３ではなく、ホワイトバランス調節実行量取得部を備えてもよい。そして、そのホワイトバランス調節実行量取得部が、ホワイトバランス調節の実行量を取得しても良い。ホワイトバランス調節が行われている場合、撮影者（または鑑賞者）はホワイトバランス調節開始初期よりもホワイトバランスがある程度変化した状態の方が次の被写体に意識を向け易い傾向にある。従って、明るさ調節決定部３５ｄは例えば、ホワイトバランス調節実行の動作量が少ない程、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。これにより、ホワイトバランス調節の実行量がある程度以上の場合に、明るさ調節部３６は明るさ調節をすることができる。
＜変形例３：被写体の配置情報＞
また、本実施例では、フレーム内情報取得部３４ｄは、被写体数情報取得部３４３を備え、被写体数情報取得部３４３がフレーム内情報として被写体数情報を取得したが、これに限ったものではない。フレーム内情報取得部３４ｄは、被写体数情報取得部３４３ではなく、被写体配置情報取得部を備え、その被写体配置情報取得部が被写体の配置情報を取得しても良い。その場合、明るさ調節決定部３５ｄは、被写体の配置情報とホワイトバランス調節の動作情報（例えば、ホワイトバランス調節動作連続性情報）とに基づいて、明るさ調節の挙動を決定しても良い。以下、具体例を説明する。
＜変形例３−１：被写体の配置情報としての被写体の物理的位置＞
フレーム内情報取得部３４ｄの被写体配置情報取得部は、被写体の配置情報の一例として被写体の物理的位置を取得しても良い。被写体配置情報取得部は例えば、被写体の物理的位置を公知の技術による画像処理によって取得する。なお、被写体配置情報取得部は、撮影者が撮像装置３ｄに入力した被写体の物理的位置を取得しても良い。被写体の物理的位置が撮像装置に近い程、撮影者（または鑑賞者）は意識を向け易い傾向にある。従って、明るさ調節決定部３５ｄは例えば、被写体の物理的位置が撮像装置３ｄから近い程、明るさ調節を促進するように明るさ調節の挙動を決定しても良い。これにより、明るさ調節部３６は、撮影者（または鑑賞者）は意識を向け易い近くの被写体を早く最適な明るさ状態にすることができるので、撮像装置３ｄは、撮影者（または鑑賞者）にとってより好ましい動画を提供することができる。
＜変形例３−２：被写体の配置情報としての被写体の分散状態＞
フレーム内情報取得部３４ｄの被写体配置情報取得部は、被写体の配置情報の一例として、被写体の分散状態を取得しても良い。画面内の被写体が複数ある場合、似たような場所に固まっている程、撮影者（または鑑賞者）は意識を向け易い傾向にある。従って、明るさ調節決定部３５ｄは例えば、被写体の分散状態が予め決められた範囲に収まる場合、明るさ調節を促進するように明るさ調節の挙動を決定しても良い。これにより、明るさ調節部３６は、撮影者（または鑑賞者）が意識を向け易い被写体を早く最適な明るさ状態にすることができるので、撮像装置３ｄは、撮影者（または鑑賞者）にとってより好ましい動画を提供することができる。
＜変形例４：撮像光学系２の固有の情報＞
また、本実施例では、明るさ調節決定部３５ｄはフレーム間変化情報として取得したホワイトバランス調節の動作情報と、フレーム内情報として取得した被写体の情報とを用いて、明るさ調節の挙動を決定したが、更に撮像装置３ｄに取り付けた撮像光学系２の固有の情報も用いて明るさ調節の挙動を決定しても良い。
撮像光学系２の固有の情報は人の主観的な明るさ調節に関わる情報そのものとは言い難いが、動画観賞時の好ましい明るさ調節に影響を与える要素である。これらの情報を追加で取得し、取得した情報を用いて決定した明るさ調節の挙動を補正することによってより好ましい焦点調節の挙動を決定することができる。
図７５は、実施例３の変形例４における撮像装置３ｅの構成を示す概略ブロック図である。なお、図７２と共通する要素には同一の符号を付し、その具体的な説明を省略する。実施例３の変形例４における撮像装置３ｅの構成は、図７２の実施例３の撮像装置３ｄの構成に対して、撮像光学系固有情報取得部３９が追加され、明るさ調節決定部３５ｄが明るさ調節決定部３５ｅに変更されたものになっている。
撮像光学系固有情報取得部３９は、撮像装置３ｅに取り付けた撮像光学系２の固有の情報を取得する。
＜変形例４−１：撮像光学系固有情報としての解像力情報＞
第１の例として、撮像光学系固有情報取得部３９は、撮像光学系２の固有の情報である撮像光学系固有情報の一例として、撮像光学系２の解像力を示す解像力情報を取得する。撮像光学系固有情報取得部３９は例えば、撮像光学系２の解像力を例えば、ＩＳＯ１２２３３で規定されるような解像力チャートを撮像することで取得し、または、撮像装置３ｅ内のメモリ（図示無し）に保存しておいた解像力情報を参照して取得する。撮像光学系２の解像力が高い程、微小な変化を撮像することが可能になる。そのため、明るさ調節決定部３５ｅは例えば、撮像光学系２の解像力が高い程、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。
具体的な補正処理を以下に説明する。まず、ホワイトバランス調節動作連続性情報と被写体数情報を取得して決定された明るさ調節速度をＶｃｏｎｔｒｏｌ、明るさ調節抑制係数をγとし、補正した最終的な明るさ調節速度をＶｃｏｒｒｅｃｔｉｏｎとすると、明るさ調節決定部３５ｅは次の式（１１）に従って、最終的な明るさ調節速度Ｖｃｏｒｒｅｃｔｉｏｎを決定する。
Ｖｃｏｒｒｅｃｔｉｏｎ＝Ｖｃｏｎｔｒｏｌ×γ …式（１１）
この際、明るさ調節決定部３５ｅは、撮像光学系２の解像力が高い程、明るさ調節抑制係数γを小さくするようにすることで、明るさ調節を抑制するよう明るさ調節の挙動を決定する。これにより、撮像装置３ｅは、撮影者（または鑑賞者）の意識の向き易さに応じて明るさ調節ができるので、撮影者（または鑑賞者）により好まれる見え方をする動画を提供することができる。
図７６は、実施例３の変形例４における撮像装置３ｅの処理の流れの一例を示すフローチャートである。ステップＳｐ５０１〜Ｓｐ５０２は、図６３のステップＳｐ１０１〜Ｓｐ１０４と同じ処理であるので、その説明を省略する。
（ステップＳｐ５０３）次に、被写体数情報取得部３４３は、被写体の情報の一例として被写体数情報を取得する。
（ステップＳｐ５０４）次に、ホワイトバランス調節動作連続性情報取得部３３３は、ホワイトバランス調節の動作情報の一例として、ホワイトバランス調節動作連続性情報を取得する。
（ステップＳｐ５０５）次に、撮像光学系固有情報取得部３９は、撮像光学系固有情報（例えば、解像力情報）を取得する。
（ステップＳｐ５０６）次に、明るさ調節決定部３５ｅは、被写体数情報取得部３４３が取得した被写体数情報とホワイトバランス調節動作連続性情報取得部３３３が取得したホワイトバランス調節動作連続性情報と撮像光学系固有情報取得部３９が取得した撮像光学系固有情報とを基に、明るさ調節の挙動を決定する。
ステップＳｐ５０７〜Ｓｐ５０８は、図６３のステップＳｐ１０６〜Ｓｐ１０７と同じ処理であるので、その説明を省略する。
以上、変形例４において、明るさ調節決定部３５ｅは、被写体数情報とホワイトバランス調節動作連続性情報と撮像光学系固有情報とを基に、明るさ調節の挙動を決定する。例えば明るさ調節決定部３５ｅは、撮像光学系２の解像力が高い程、明るさ調節抑制係数γを小さくするようにすることで、明るさ調節を抑制するよう明るさ調節の挙動を決定する。これにより、撮像装置３ｅは、撮影者（または鑑賞者）の意識の向き易さに応じて明るさ調節ができるので、撮影者（または鑑賞者）により好まれる見え方をする動画を提供することができる。
＜変形例４−２：撮像光学系固有情報としての手ブレ補正光学系の有無または駆動幅＞
なお、第２の例として、撮像光学系固有情報取得部３９は、撮像光学系固有情報の一例として、手ブレ補正光学系の有無または駆動幅を取得しても良い。ここで、手ブレ補正光学系がある場合、手ブレ補正時に例えば以下のような現象が現れる。
第一に、周辺減光の出方の変化が現れる。手ブレ補正光学系が手ブレ補正のために駆動すると、光軸中心と画像中心がずれる。手ブレ補正が無い場合には画像中心から上下左右対称に周辺減光が現れるが、光軸中心と画像中心がずれた場合には画像中心に対して非対称に周辺減光が現れる。加えて、周辺減光の出方が時系列に変化する。このような状況で明るさ調節を行うと周辺減光の不自然な変化による違和感を目立ち易くしてしまう。
第二に、解像状態の変化が現れる。手ブレ補正が無い場合には画像中心から上下左右対称に像高が高い程解像力が劣化していくが、光軸中心と画像中心がずれた場合には画像中心に対して非対称に解像力が劣化するように見える。加えて、劣化の仕方が時系列に変化する。このような状況で明るさ調節を行うと解像感の不自然な変化による違和感を目立ち易くしてしまう。
従って、取り付けた撮像光学系２に手ブレ補正光学系がある場合、明るさ調節決定部３５ｅは例えば、手ブレ補正が駆動中である場合には、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。また、明るさ調節決定部３５ｅは例えば、手ブレ補正の駆動幅が大きい程、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。具体的な補正処理としては、明るさ調節決定部３５ｅは例えば、撮像光学系２の固有の情報から明るさ調節抑制係数γを決定し、式（１１）と同様の式に従って、明るさ調節の挙動を補正する。この際、明るさ調節決定部３５ｅは例えば、手ブレ補正が駆動中である場合、明るさ調節抑制係数γを小さく設定しても良いし、手ブレ補正の駆動幅が大きい程、明るさ調節抑制係数γを小さく設定しても良い。
これにより、撮像装置３ｅは、手ブレ補正光学系が手ブレ補正のために駆動中またはその駆動幅が大きい場合に、明るさ調節を行わないようにすることで、周辺減光の不自然な変化による違和感を目立ちにくくし、解像感の不自然な変化による違和感を目立ちにくくすることができる。そのため、撮像装置３ｅは、撮影者（または鑑賞者）により好まれる見え方をする動画を提供することができる。
＜実施例４＞
続いて、実施例４について説明する。本実施例では人の主観的な明るさ調節に関わる情報としてフレーム間変化に関わる情報と１フレーム内の情報から決定される撮影する状況・被写体の状況の情報とを用いて焦点調節の挙動を決定する。本実施例では、図７７のように室内でパンニングを行うようなシーンを対象に説明を行う。
図７７は、実施例４における撮影シーンの一例を説明するための図である。同図は、くまのぬいぐるみが見える状態から、パンニングによって撮像される被写体が変化し、無彩色のメモ、鮮やかな赤い花の順に現れるシーンを表す。また、パンニングによって撮像される被写体が徐々に暗くなっている。Ｎフレームの画像Ｇ４１では、くまのぬいぐるみの画像領域Ｒ４１が示されている。Ｎ＋１フレームの画像Ｇ４２では、くまのぬいぐるみの画像領域Ｒ４１及び無彩色のメモの画像領域Ｒ４２が示されている。また、Ｎ＋１フレームの画像Ｇ４２では、向かって左側の領域から右側の領域にかけて徐々に暗くなっている。Ｎ＋２フレームの画像Ｇ４３では、無彩色のメモの画像領域Ｒ４４及び鮮やかな赤い花の画像領域Ｒ４５が示されている。Ｎ＋２フレームの画像Ｇ４３では、向かって左側の領域から右側の領域にかけて徐々に暗くなっている。
図７８は、実施例４における撮像装置３ｆの構成を示す概略ブロック図である。なお、図６１と共通する要素には同一の符号を付し、その具体的な説明を省略する。実施例４における撮像装置３ｆの構成は、図６１の実施例１における撮像装置３ａの構成に対して、画像処理部３０が画像処理部３０ｆに、撮像部３２ａが撮像部３２ｆに、明るさ調節決定部３５ａが明るさ調節決定部３５ｆに、明るさ調節部３６が明るさ調節部３６ｆに変更され、フレーム間変化情報取得部３３ａがフレーム間変化情報取得部３３ｆに変更されて画像処理部３０ｆの外に出たものになっている。
画像処理部３０ｆは、フレーム内情報取得部３４ｆを備え、フレーム内情報取得部３４ｆは被写体色情報取得部３４４を備える。
撮像部３２ｆは、実施例１の撮像部３２ａと同様の機能を有するが、以下の点で異なる。撮像部３２ｆは、明るさ調節部３６ｆによる制御で、撮像素子のＩＳＯ感度を変更して、動画像信号に含まれるフレーム画像の明るさを調節する。
フレーム間変化情報取得部３３ｆは、撮像装置動き情報取得部３３４を備え、撮像装置動き情報取得部３３４はジャイロセンサ３３４１及び加速度センサ３３４２を備える。
続いて、動画記録時の処理の順序に従って、撮像装置３ｆの各部の処理を説明する。
＜処理１＞
撮影者は明るさ調節を行う対象の明るさ調節対象領域の設定を行う。本実施例では一例として、パンニング後、画面略左側の辺りの被写体に対して明るさ調節を行うため、撮影者は画面左側エリアを明るさ調節対象領域として指定する。その場合、撮影者入力部３１は例えば、その撮影者による指定を受け付け、指定された明るさ調節対象領域を示す明るさ調節対象領域情報を撮像部３２ｆの明るさ調節量取得部３２１へ出力する。
なお、本実施例では、明るさ調節対象領域をユーザが指定しているが、以下の処理によって、撮像装置３ｆが自動的に明るさ調節対象領域を選択しても良い。撮像装置動き情報取得部３３４は、例えばジャイロセンサ３３４１を用いて、撮像装置３ｆの動きを示す動き情報（ここでは、一例としてセンサ出力）を取得しても良い。撮像装置動き情報取得部３３４は、ジャイロセンサ１３４１のセンサ出力から、撮像装置３ｆの動き情報を解析しても良い。図７７に示すシーンでは、画面右側に向かって、パンニングが行われていると解析される。パンニングを行っている場合、次の被写体はパンニングを行う方向から出現すると予想できるため、撮像装置動き情報取得部３３４は、画面右側を明るさ調節対象領域として選択しても良い。
＜処理２＞
記録開始釦３１１は、撮影者からの動画記録の開始指示を受け付け、受け付けた開始指示を示す開始指示情報を撮像部３２ｆへ出力する。撮像部３２ｆは、撮影者入力部３１から開始指示情報を受け取ると、被写体から撮像光学系２を介して入射した光を電気信号に予め決められたシャッター速度で変換することで、動画像信号を生成する。これにより、撮像部３２ｆは撮影者の指示に従い、動画記録を開始することができる。撮像部３２ｆは、生成した動画像信号を画像処理部３０ｆへ出力する。
＜処理３＞
明るさ調節量取得部３２１は、撮影者入力部３１で受け付けた指定により得られた明るさ調節対象領域情報を基に、明るさ調節対象領域を最適な明るさ状態とするための明るさ調節量を取得し、取得した明るさ調節量を明るさ調節部３６ｆへ出力する。
＜処理４＞
被写体色情報取得部３４４は、フレーム内情報として、被写体の色情報（ここでは一例として、被写体の彩度を示す被写体彩度情報）を取得し、明るさ調節決定部３５ｆへ出力する。その際、被写体色情報取得部３４４は一例として、明るさ調節対象領域内の彩度の平均値を被写体彩度情報として取得する。なお、これに限らず、被写体色情報取得部３４４はフレーム画像中から被写体領域の抽出を行い、明るさ調節対象領域近傍の被写体領域内での彩度の平均値を取得しても良い。ここで、明るさ調節対象領域近傍は、例えば、明るさ調節対象領域を含み、その明るさ調節対象領域から離れる方向へ明るさ調節対象領域の外延の画素から予め決められた画素数だけ離れた画素も含む。また、本実施例では被写体の色情報を明るさ調節対象領域内から取得するが、任意の領域から取得しても良いし、撮像されている画面全体から取得しても良い。
＜処理５＞
撮像装置動き情報取得部３３４は、フレーム間変化情報として、撮像装置３ｆの動きを示す撮像装置動き情報（ここでは一例として、撮像装置３ｆの動き量を示す撮像装置動き量情報）を取得し、取得した撮像装置動き情報を明るさ調節決定部３５ｆへ出力する。その際、撮像装置動き情報取得部３３４は例えば、動き量としてパンニング開始時点からの撮像装置３ｆの動き量を取得する。なお、これに限らず、撮像装置動き情報取得部３３４は、現時点から任意のフレーム遡った間の動き量を動き量として取得しても良い。
ここで撮像装置動き情報取得部３３４の具体的な処理の一例について説明する。ジャイロセンサ３３４１は回転方向の角速度を検出するセンサであり、被写体に向かって水平方向の軸（ｘ軸）を中心としたpitch方向(チルト方向とも呼ばれる）の回転、被写体に向かって水平方向の軸（y軸）を中心としたyaw方向（パン方向とも呼ばれる）の回転、z軸を中心としたroll方向の角速度を検出することができる。1つのジャイロセンサに対して1方向取得でき、3軸全ての回転角速度を検出したい場合にはジャイロセンサを3つ用意すればよい。
撮像装置動き情報取得部３３４は例えば、ジャイロセンサ３３４１で検出されたｐｉｔｃｈ、ｙａｗ、ｒｏｌｌの回転方向の角速度それぞれを積分することで、それぞれｐｉｔｃｈ、ｙａｗ、ｒｏｌｌの回転方向の移動量を動き量の一つとして算出する。
加速度センサ３３４２は例えば３軸の加速度センサで、ｘ軸方向、ｙ軸方向、ｚ軸方向の加速度を検出する。
撮像装置動き情報取得部３３４は例えば、加速度センサ３３４２で検出されたｘ軸方向、ｙ軸方向、ｚ軸方向の加速度それぞれを二重積分することで、それぞれｘ軸方向、ｙ軸方向、ｚ軸方向の移動量を動き量の一つとして算出する。撮像装置動き情報取得部３３４は、算出した動き量を示す情報を撮像装置動き量情報として明るさ調節決定部３５ｆへ出力する。
なお、撮像装置動き情報取得部３３４は例えば、動き情報を、ジャイロセンサや加速度センサの使用に限らず、撮像した動画から画像処理によって求めても良い。
＜処理６＞
明るさ調節決定部３５ｆは、被写体色情報取得部３４４が取得した被写体彩度情報と撮像装置動き情報取得部３３４が取得した撮像装置動き量情報から、明るさ調節の挙動を決定する。具体的には例えば、被写体の彩度を目的変数とし撮像装置の動き量を独立変数とする二次関数を示す情報が予め不図示のメモリに記憶されている。二次関数を示す情報が予め不図示のメモリに記憶されている。その場合、明るさ調節決定部３５ｆは例えば、メモリから二次関数を読み出し、読み出した二次関数を用いて明るさ調節を動作させるか禁止するかを決定する。
図７９は、禁止領域の一例である。同図において、縦軸（ｙ軸）が被写体の彩度で、横軸（ｘ軸）が撮像装置の動き量である。明るさ調節禁止領域Ｒ２３１は、読み出した二次関数が表す曲線Ｗ２３１とｘ軸とで囲まれた領域である。図７９の例において、明るさ調節決定部３５ｆは例えば、取得した被写体の彩度をｙ座標とし、取得した撮像装置の動き量をｘ座標とした場合に、そのｘｙ座標が明るさ調節禁止領域Ｒ２３１に含まれていれば、明るさ調節を禁止する。
例えば、図７７のようにパンニングによって時々刻々と撮像される被写体の内容が変わるシーンの場合、パンニング開始状態に近い程、未だパンニング状態と判断されず、静止状態と判断される状態であるので、撮影者（または鑑賞者）は最適な明るさ状態にしたい被写体を変えたいと判断し易い傾向にある。また、パンニング開始時からの撮像装置３ｆの動き量が一定以上よりも大きく且つ大きい程、十分にパンニングし、合焦させたい被写体が変化したと判断される状態であるので、撮影者（または鑑賞者）は最適な明るさ状態にしたい被写体を変えたいと判断し易い傾向にある。また、被写体の彩度が高い程、注目に値する被写体と判断される状態であるので、撮影者（または鑑賞者）は最適な明るさ状態にしたい被写体を変えたいと判断し易い傾向にある。
そのため、明るさ調節決定部３５ｆは例えば、以下のように明るさ調節部３６ｆを制御することによって自然な明るさ調節が可能になる。明るさ調節決定部３５ｆは例えば、予め決められた量より撮像装置３ｆが動いていない場合、パンニング開始状態に近いので、明るさ調節を行うよう明るさ調節部３６ｆを制御する。図７７のＮフレームの例の場合、明るさ調節決定部３５ｆは例えば、パンニング開始状態に撮像されている「くまのぬいぐるみ」には明るさ調節を行うよう明るさ調節部３６ｆを制御する。
また、明るさ調節決定部３５ｆは例えば、予め決められた量より撮像装置３ｆが動いていて、かつ被写体の彩度が予め決められた彩度閾値以上の場合、明るさ調節を行うよう明るさ調節部３６ｆを制御する。図７７のＮ＋１フレームの例の場合、明るさ調節決定部３５ｆは例えば、パンニングして撮像装置３ｆは予め決められた量より動いているが、画像領域Ｒ４３で示されるメモは彩度が彩度閾値よりも低いので、明るさ調節を禁止するよう明るさ調節部３６ｆを制御する。図７７のＮ＋２フレームの例の場合、パンニングして撮像装置３ｆは予め決められた量より動いていて、且つ画像領域Ｒ４５で示される赤い花の彩度が彩度閾値以上なので、明るさ調節を行うよう明るさ調節部３６ｆを制御する。
なお、本実施例では、明るさ調節決定部３５ｆは一例として、二次関数を用いて「明るさ調節の禁止」及び「明るさ調節の実行」を決定する条件（あるいは領域）を決定しているが、これに限らず、他の多項式や関数式を用いても良い。
＜処理７＞
明るさ調節部３６ｆは、明るさ調節決定部３５ｆが決定した明るさ調節の挙動（動作させるか禁止するか）に従って、明るさ調節量取得部３２１から入力された明るさ調節量だけ明るさが変化するように、撮像部３２ｆが備える撮像素子のＩＳＯ感度を制御し、動画像信号に含まれるフレーム画像の明るさを調節する。
＜処理８＞
撮影者入力部３１が、撮影者から撮影の終了の指示を受け付けるまで、撮像装置３ｆは上述した処理３〜７の処理を繰り返す。
図８１は、実施例４における撮像装置３ｆの処理の流れの一例を示すフローチャートである。ステップＳｐ６０１〜Ｓｐ６０２は、図６３のステップＳｐ１０１〜Ｓｐ１０２と同じ処理であるので、その説明を省略する。
（ステップＳｐ６０３）次に、被写体色情報取得部３４４は、被写体の色情報の一例として、被写体彩度情報を取得する。
（ステップＳｐ６０４）次に、撮像装置動き情報取得部３３４は、撮像装置動き情報の一例として、撮像装置動き量情報を取得する。
（ステップＳｐ６０５）次に、明るさ調節決定部３５ｆは、被写体色情報取得部３４４が取得した被写体彩度情報と撮像装置動き情報取得部３３４が取得した撮像装置動き量情報とを基に、明るさ調節の挙動を決定する。
ステップＳｐ６０６〜Ｓｐ６０７は、図６３のステップＳｐ１０６〜Ｓｐ１０７と同じ処理であるので、その説明を省略する。以上で、本フローチャートの処理を終了する。
以上、実施例４において、明るさ調節決定部３５ｆは、被写体色情報取得部３４４が取得した被写体彩度情報と撮像装置動き情報取得部３３４が取得した撮像装置動き量情報とを基に、明るさ調節の挙動を決定する。その際、明るさ調節決定部３５ｆは例えば、予め決められた量より撮像装置３ｆが動いていて、かつ被写体の彩度が予め決められた彩度閾値以上の場合、明るさ調節を行うよう明るさ調節部３６ｆを制御する。また、明るさ調節決定部３５ｆは例えば、予め決められた量より撮像装置３ｆが動いていて、かつ被写体の彩度が予め決められた彩度閾値以上の場合、明るさ調節を行うよう明るさ調節部３６ｆを制御する。これにより、撮影者（または鑑賞者）が最適な明るさ状態にしたい被写体を変えたいと判断し易い傾向にあるときに、被写体の明るさを最適な状態に変えることができる。そのため、撮像装置３ｆは、撮影者（または鑑賞者）にとってより好ましい見え方をする動画を提供することができる。
なお、本実施例では、撮像装置動き情報取得部３３４は、撮像装置動き情報の一例として、撮像装置動き量情報を取得したが、撮像装置動き量情報の代わりに、動き速度、動きの連続性の情報、または手ブレの情報を取得しても良い。その場合、明るさ調節決定部３５ｆは、動き速度、動きの連続性の情報、または手ブレの情報のいずれか一つと、被写体彩度情報とを基に、明るさ調節の挙動を決定しても良い。以下、具体例について説明する。
＜変形例１：動き速度＞
撮像装置動き情報取得部３３４は、撮像装置動き情報の一例として、撮像装置３ｆの動き速度を取得しても良い。その際、撮像装置動き情報取得部３３４は例えば、撮像装置３ｆの動きの速度を、動き量と同様、専用のセンサ（ジャイロセンサ３３４１又は加速度センサ３３４２）または画像処理を用いて取得しても良い。撮像装置３ｆが低速に動いている場合には撮影者（または鑑賞者）は最適な明るさ状態にしたいと判断する被写体を変化させ易いが、撮像装置３ｆが高速に動いている場合には、最適な明るさ状態にしたいと判断する被写体を変化させ難い。従って、明るさ調節決定部３５ｆは例えば、撮像装置３ｆの動き速度が速い程、明るさ調節が禁止され易くなるように、明るさ調節の挙動を決定しても良い。
また、明るさ調節決定部３５ｆが一度明るさ調節を行ったほうが良いと判断した場合、撮像装置３ｆの動きが遅い場合と比較し、撮像装置３ｆの動き速度が速いほど、速い動作で明るさ調節を行った方が、撮影者（または鑑賞者）にとって違和感の少ない明るさ調節となる。これは、以下に示す主観評価の結果から明らかである。
図８０に示すような3種類の最適明るさ状態までの明るさ調節の時間的特性を、撮像装置の動き速度が「高速」な場合、「中速」な場合、「低速」な場合それぞれに適用した動画を複数人に視聴してもらった。好ましい：10点、どちらでもない：5点、好ましくない：0点の11段階で視聴者が主観評価した結果を図１０２に示す。図１０２に示す結果は、例として図８０に示す3つの明るさ調節特性に基づく挙動で明るさ調節を行った動画の評価結果である。従って、明るさ調節決定部３５ｆは例えば、撮像装置３ｆの動き速度によって、明るさ調節を「動作」するか「禁止」するかを判断した後に、例えば以下の処理で、初期状態から最適な明るさ状態までの明るさ調節の時間的特性を決定しても良い。
初期状態から最適な明るさ状態までの明るさ調節の時間的特性の決定処理の具体例を説明する。撮像装置動き情報取得部３３４は、撮像装置３ｆの動き速度に関する動き速度情報を取得する。ここでは一例として、撮像装置動き情報取得部３３４は、撮像装置３ｆ内の不図示のメモリに予め記憶された第１速度閾値及び第１速度閾値より小さい第２速度閾値を用いて、撮像装置３ｆの動き速度を「高速」、「中速」、「低速」の三つに分類し、分類結果を動き速度情報とする。
具体的には例えば、撮像装置動き情報取得部３３４は、撮像装置３ｆの動き速度が第１速度閾値以上であれば、「高速」に分類し、撮像装置３ｆの動き速度が第１速度閾値未満かつ第２速度閾値以上であれば、「中速」に分類し、撮像装置３ｆの動き速度が第２速度閾値未満であれば、「低速」に分類する。なお、これに限らず、撮像装置動き情報取得部３３４は、撮像装置の動き速度（例えば、ジャイロセンサ３３４１から得られたセンサ出力［ｄｅｇｒｅｅ／ｓｅｃ］）をそのまま動き速度情報として利用しても良い。
例えば、撮像装置３ｆ内の不図示のメモリには、撮像装置の動き速度を示す情報と最適な明るさ状態までの明るさ調節の時間的特性とが関連付けられたテーブルが記憶されている。例えば、明るさ調節決定部３５ｆは、不図示のメモリに記憶されている上記テーブルを参照して、取得した撮像装置３ｆの動き速度に対応する時間的特性を読み出すことで、最適な明るさ状態までの明るさ調節の時間的特性を決定する。
続いて、撮像装置の動き速度を示す情報と最適な明るさ状態までの明るさ調節の時間的特性とが関連付けられたテーブルについて図８０を用いて説明する。図８０は、撮像装置の動き速度を示す情報と最適な明るさ状態までの明るさ調節の時間的特性とが関連付けられたテーブルの概念図である。同図において、撮像装置の動き速度が高速、中速、低速の三つに分けられており、それぞれに対して、最適な明るさ状態までの明るさ調節の時間的特性が関連付けられている。具体的には高速の場合、曲線Ｗ２４１に示される明るさ調節の時間的特性が関連付けられ、中速の場合、曲線Ｗ２４２に示される明るさ調節の時間的特性が関連付けられ、低速の場合、曲線Ｗ２４３に示される明るさ調節の時間的特性が関連付けられている。図８０から分かるように、撮像装置３ｆの動きが速い方が、速い動作での明るさ調節が行われる。よって、明るさ調節決定部３５ｆは例えば、図８０の概念図で示すようなテーブルを参照することで、撮像装置３ｆの動きが速い方ほど、速い動作で明るさ調節をするよう明るさ調節の挙動を決定する。
尚、図８０に示される最適な明るさ状態までの明るさ調節の時間的特性の形状が曲線（非線形）になっているのは、一般的に知られる人の物理的な眼球の明るさ調節（錐体・桿体による明順応・暗順応と呼ばれる動き）がこのような非線形の形をしていることに由来しており、このような形にすることでより好まれる明るさ調節を行うことが可能になる。
＜変形例２：動きの連続性に関する情報＞
撮像装置動き情報取得部３３４は、撮像装置動き情報の一例として、撮像装置３ｆの動きの連続性に関する情報を取得しても良い。その際、動き量と同様、撮像装置動き情報取得部３３４は例えば、専用のセンサ（ジャイロセンサ３３４１又は加速度センサ３３４２）または画像処理を用いて取得しても良い。具体的には例えば、撮像装置動き情報取得部３３４は、加速度センサ３３４２のセンサ出力を用いて、過去の予め決められたフレーム数のフレームにおける撮像装置３ｆの加速度のばらつきから連続性を判定しても良い。正負どちらの加速度も、過去の予め決められたフレーム数の間に検出されている場合、撮像装置動き情報取得部３３４は、連続性無しと判定しても良い。撮像装置動き情報取得部３３４は、一定方向の加速度が過去の予め決められたフレーム数の間に検出されている場合、連続性有りと判定しても良い。
撮像装置３ｆの動きに連続性がある場合には、撮影者（鑑賞者）は最適な明るさ状態にしたいと判断する被写体を変化させ易いが、撮像装置３ｆの動きに連続性が無い場合には変化させ難い傾向にある。従って、明るさ調節決定部３５ｆは例えば、撮像装置３ｆの動きに連続性が無いと判断される場合には、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。
＜変形例３：手ブレ情報＞
撮像装置動き情報取得部３３４は、撮像装置動き情報の一例として、手ブレ量を示す手ブレ情報を取得しても良い。その際、撮像装置動き情報取得部３３４は、上述した動き量と同様、例えば専用のセンサ（ジャイロセンサ３３４１又は加速度センサ３３４２）または画像処理を用いて取得しても良い。具体的には、例えば、撮像装置動き情報取得部３３４は、ジャイロセンサ３３４１のセンサ出力から得られる動きの速度から高周波成分を手ブレ情報として抽出しても良い。また、例えば、撮像装置動き情報取得部３３４は加速度センサ３３４２のセンサ出力から得られる加速度から高周波成分を手ブレ情報として抽出しても良い。
例えば、手ブレ量が大きいと判断される場合または手ブレによる画面内の変化が激しい場合、それに加えて明るさ変化があまり起こらない方が撮影者（または鑑賞者）にとって自然な見え方になる。従って、明るさ調節決定部３５ｆは例えば、手ブレの情報が大きいほど（例えば、動きの速度の高周波成分または加速度の高周波成分が大きいほど）明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。
また、本実施例では、被写体色情報取得部３４４は、フレーム内情報として被写体の色情報（その一例として、被写体彩度情報）を取得したが、その代わりに下記に示すその他の色情報を取得しても良い。
＜変形例４：フレーム内の任意被写体とその他の被写体（背景含む）との彩度の差に関する情報＞
被写体色情報取得部３４４は、フレーム内の任意被写体とその他の被写体（背景含む）との彩度の差に関する情報を取得し、取得した情報を明るさ調節決定部３５ｆへ出力しても良い。彩度が低い被写体の中に一つだけ彩度が高いものがあるような場合には、彩度の高い被写体に撮影者（または鑑賞者）の意識が向かい易いが、背景も被写体も全て彩度が高い場合には、特定の被写体へ意識が向かい難くなる傾向にある。従って、明るさ調節決定部３５ｆは例えば、フレーム内の任意被写体とその他の被写体（背景含む）との彩度の差に関する情報から得た彩度の差が予め決められた閾値より小さい場合、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。
＜変形例５：フレーム内の任意被写体の色相情報＞
被写体色情報取得部３４４は、フレーム内の任意被写体の色相を示す情報を取得し、取得した情報を明るさ調節決定部３５ｆへ出力しても良い。人の眼の感度として、緑色のもの（中波長のもの）に対する感度が高く、次いで赤（長波長のもの）、青（短波長のもの）の順に低くなる。眼で知覚し易い被写体に対しての方が撮影者（または鑑賞者）は意識を向け易い傾向にある。従って、明るさ調節決定部３５ｆは例えば、フレーム内の任意被写体の色相を示す情報を用いて、フレーム内の任意被写体の色が青である程（短波長側である程）、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。
＜変形例６：フレーム内の任意被写体とその他の被写体（背景含む）との色相の差に関する情報＞
被写体色情報取得部３４４は、フレーム内の任意被写体とその他の被写体（背景含む）との色相の差に関する情報を取得し、取得した情報を明るさ調節決定部３５ｆへ出力しても良い。似たような色相の被写体の中に一つだけ色相の異なる被写体がある場合、撮影者（または鑑賞者）は色相の異なる被写体に意識を向け易い傾向にある。従って、明るさ調節決定部３５ｆは例えば、フレーム内の任意被写体とその他の被写体（背景含む）との色相の差に関する情報から得た色相の差が予め決められた閾値より小さい場合、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。
＜変形例７：フレーム内の任意被写体の明度情報＞
被写体色情報取得部３４４は、フレーム内の任意被写体の明度を示す情報を取得し、取得した情報を明るさ調節決定部３５ｆへ出力しても良い。明るい（但し飽和はしていない）被写体に対して、撮影者（または鑑賞者）は意識を向け易い傾向にある。従って、明るさ調節決定部３５ｆは例えば、被写体の明度情報から得た明度が予め決められた範囲にある場合、明るさ調節を促進するように明るさ調節の挙動を決定しても良い。これにより、明るさ調節部３６ｆは、明度が低すぎず高すぎない場合に、明るさ調節を行うことができる。
＜変形例８：フレーム内の任意被写体とその他の被写体（背景含む）との明度の差に関する情報＞
被写体色情報取得部１４４は、フレーム内の任意被写体とその他の被写体（背景含む）との明度の差に関する情報を取得し、取得した情報を明るさ調節決定部３５ｆへ出力しても良い。似たような明度の被写体の中に一つだけ明度の異なる被写体がある場合、特に明度の異なる被写体に撮影者（または鑑賞者）は意識を向け易い傾向にある。従って、明るさ調節決定部３５ｆは例えば、フレーム内の任意被写体とその他の被写体（背景含む）との明度の差に関する情報から得た明度の差が予め決められた閾値より小さい場合、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。
また、本実施例では、フレーム間変化情報として取得した撮像装置動き情報とフレーム内変化情報として取得した被写体色情報とを用いて、明るさ調節の挙動を決定しているが、更に以下のような情報を追加で取得し、追加で取得した情報も用いて明るさ調節の挙動を決定しても良い。
＜変形例９：撮像装置の動画記録に関わる情報＞
図８２は、実施例４の変形例９における撮像装置３ｇの構成を示す概略ブロック図である。なお、図７８と共通する要素には同一の符号を付し、その具体的な説明を省略する。実施例４の変形例９における撮像装置３ｇの構成は、図７８の実施例４における撮像装置３ｆの構成に対して、動画記録情報取得部４０が追加され、明るさ調節決定部３５ｆが明るさ調節決定部３５ｇに変更されたものになっている。
＜変形例９−１：動画の記録サイズ＞
動画記録情報取得部４０は、撮像装置３ｇの動画記録に関わる情報の一例として、動画の記録サイズを取得し、取得した動画の記録サイズを明るさ調節決定部３５ｇへ出力する。動画の記録サイズが大きい方が撮影者（または鑑賞者）は動画画面内の変化に敏感になり易いため（特に、５００万画素を越える場合は顕著）、動画の記録サイズが小さい場合よりも不必要な明るさ調節による変動を嫌う傾向がある。従って、明るさ調節決定部３５ｇは例えば、動画の記録サイズが大きくなる程、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。
本変形例では、図８３に示すように禁止領域Ｒ２６１を禁止領域Ｒ２６２に拡大することで、禁止領域Ｒ２６１のときには焦点調節が禁止されなかったが、禁止領域Ｒ２６２のときには焦点調節を禁止することができる場合がある。従って、明るさ調節決定部３５ｇは例えば、撮像装置動き情報と被写体色情報に加えて、明るさ調節の挙動を決定するための二次関数を補正することで明るさ調節の挙動を変更しても良い。
図８３は、禁止領域の変更の一例である。同図において、縦軸が被写体の彩度で、横軸が撮像装置の動き量である。同図において、向かって左側の禁止領域Ｒ２６１が補正前で、向かって右側の禁止領域Ｒ２６２が補正後である。補正により、禁止領域Ｒ２６１が禁止領域Ｒ２６２に拡大している。この例では、明るさ調節決定部３５ｇは、予め決められた二次関数を補正して禁止領域Ｒ２６１が禁止領域Ｒ２６２に拡大する。そして、明るさ調節決定部３５ｇは、取得した被写体の彩度をｙ座標の値とし、撮像装置３ｇの動き量をｘ座標の値として得られたｘｙ座標が禁止領域Ｒ２６２に入るか否か判定する。そして、ｘｙ座標が禁止領域Ｒ２６２に入る場合、明るさ調節決定部３５ｇは明るさ調節を禁止するよう明るさ調節の挙動を決定する。一方、ｘｙ座標が禁止領域Ｒ２６２に入らない場合、明るさ調節決定部３５ｇは明るさ調節を禁止しないよう明るさ調節の挙動を決定する。
図８４は、実施例４の変形例９における撮像装置３ｇの処理の流れの一例を示すフローチャートである。ステップＳｐ７０１〜Ｓｐ７０４は、図８１のステップＳｐ６０１〜Ｓｐ６０４と同じ処理であるので、その説明を省略する。
（ステップＳｐ７０５）次に、動画記録情報取得部４０は、撮像装置３ｇの動画記録に関わる情報の一例として、動画の記録サイズを取得する。
（ステップＳｐ７０６）次に、明るさ調節決定部３５ｇは、被写体色情報取得部３４４が取得した被写体彩度情報と撮像装置動き情報取得部３３４が取得した撮像装置動き量情報と動画記録情報取得部４０が取得した動画の記録サイズとを基に、明るさ調節の挙動を決定する。
ステップＳｐ７０７〜Ｓｐ７０８は、図８１のステップＳｐ６０６〜Ｓｐ６０７と同じ処理であるので、その説明を省略する。以上で、本フローチャートの処理を終了する。
以上により、明るさ調節決定部３５ｇは例えば、動画の記録サイズが大きくなる程、明るさ調節を抑制するよう明るさ調節の挙動を補正する。これにより、撮像装置３ｇは動画の記録サイズが大きい場合に、明るさ調節を禁止するようにすることができる。そのため、撮像装置３ｇは、動画の記録サイズが大きい場合に不必要な明るさ調節による変動を嫌う傾向にある撮影者（または鑑賞者）にとって、好ましい動画を提供することができる。
＜変形例９−２：動画の記録コーデック＞
なお、動画記録情報取得部４０は、撮像装置３ｇの動画記録に関わる情報の一例として、動画の記録コーデックを示す記録コーデック情報を取得し、取得した記録コーデック情報を明るさ調節決定部３５ｇへ出力しても良い。動画の記録コーデックが何であるかによって圧縮ノイズの出方が変わり、動画画面内の変化量が変わる。例えば、Ｈ．２６４のような圧縮を行う場合、ブロックノイズが出やすい。動画画面内の変化量が大きい場合には、撮影者（または鑑賞者）は更に明るさ調節によって動画画面内の変動が起こることを嫌い易い。従って、明るさ調節決定部３５ｇは例えば、動画の記録コーデックに応じて、二次関数の変更量を決定しても良い。その際、明るさ調節決定部３５ｇは例えば、Ｈ．２６４よりＭｐｅｇ２の方が明るさ調節を促進し、Ｍｐｅｇ２よりもＲＡＷの方が明るさ調節を促進するように明るさ調節の挙動を決定しても良い。
＜変形例９−３：記録フレームレート＞
なお、動画記録情報取得部４０は、撮像装置３ｇの動画記録に関わる情報の一例として、記録フレームレートを示す情報を取得し、取得した情報を明るさ調節決定部３５ｇへ出力しても良い。動画の記録フレームレートが何であるかによって動画の見た目の滑らかさが変わる。滑らかでない程、不必要な明るさ調節を抑制する方が撮影者（または鑑賞者）には自然に見える。従って、明るさ調節決定部３５ｇは例えば、動画記録フレームレートが低い程、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。
＜変形例１０：撮像素子固有情報＞
図８５は、実施例４の変形例１０における撮像装置３ｈの構成を示す概略ブロック図である。なお、図７８と共通する要素には同一の符号を付し、その具体的な説明を省略する。実施例４の変形例１０における撮像装置３ｈの構成は、図７８の実施例４における撮像装置３ｆの構成に対して、撮像部３２ｆが撮像部３２ｈに変更され、明るさ調節決定部３５ｆが明るさ調節決定部３５ｈに変更されたものになっている。撮像部３２ｈの構成は、図７８の撮像部３２ｆの構成に対して、撮像素子固有情報取得部３２３が追加されたものになっている。
撮像素子固有情報取得部３２３は、撮像部３２ｈが備える撮像素子の固有である撮像素子固有情報の一例として、撮像素子の大きさを示す撮像素子大きさ情報を取得し、取得した撮像素子大きさ情報を明るさ調節決定部３５ｈへ出力する。撮像素子の大きさによって撮像される像の被写界深度が変化する。被写界深度が浅い程、一つの被写体への注目度が高くなる。従って、明るさ調節決定部３５ｈは例えば、撮像素子が大きくなる程、明るさ調節を抑制するように明るさ調節の挙動を決定する。具体的な補正処理としては、「撮像装置の動画記録に関わる情報を取得する場合」と同様、明るさ調節決定部３５ｈは例えば、撮像素子の大きさが大きい程、明るさ調節が禁止され易いように二次関数を禁止領域が拡大するように補正しても良い。
図８６は、実施例４の変形例１０における撮像装置３１ｈの処理の流れの一例を示すフローチャートである。ステップＳｐ８０１〜Ｓｐ８０４は、図８１のステップＳｐ６０１〜Ｓｐ６０４と同じ処理であるので、その説明を省略する。
（ステップＳｐ８０５）次に、撮像素子固有情報取得部３２３は、撮像部３２ｈが備える撮像素子固有情報の一例として、撮像素子大きさ情報を取得する。
（ステップＳｐ８０６）次に、明るさ調節決定部３５ｈは、被写体色情報取得部３４４が取得した被写体彩度情報と撮像装置動き情報取得部３３４が取得した撮像装置動き量情報と撮像素子固有情報取得部３２３が取得した撮像素子大きさ情報とを基に、明るさ調節の挙動を決定する。
ステップＳｐ８０７〜Ｓｐ８０８は、図８１のステップＳｐ６０６〜Ｓｐ６０７と同じ処理であるので、その説明を省略する。以上で、本フローチャートの処理を終了する。
以上、実施例４の変形例１０において、明るさ調節決定部３５ｈは例えば、撮像素子の大きさが大きい程、二次関数を補正して禁止領域を拡大する。これにより、撮像素子の大きさが大きい程、明るさ調節が禁止され易くなる。これにより、撮像素子の大きさが大きくなって、一つの被写体への注目度が高くなっても、不必要な明るさ調節を禁止することができる。そのため、撮像装置３ｈは、撮影者（または鑑賞者）にとってより好ましい動画を提供することができる。
なお、撮像素子固有情報取得部３２３は、撮像素子固有情報の一例として、撮像素子のカラーフィルタ配列を示す情報を取得し、取得した情報を明るさ調節決定部３５ｈへ出力しても良い。撮像素子のカラーフィルタがベイヤ配列且つベイヤ補間が行われる場合、動画内にジャギーが発生し易い。一方、カラーフィルタがライン配列且つ補間無しの場合、ジャギーは発生し難い。従って、明るさ調節決定部３５ｈは例えば、撮像素子のカラーフィルタがベイヤ配列である場合、明るさ調節を抑制するように明るさ調節の挙動を決定しても良い。具体的な補正処理としては、撮像装置の動画記録に関わる情報を取得する場合と同様、明るさ調節決定部３５ｈは例えば、撮像素子のカラーフィルタ配列がベイヤ配列である場合、明るさ調節が禁止され易いように二次関数を禁止領域が拡大するように補正しても良い。
＜変形例１１：明るさ調節対象設定情報＞
本実施例では、撮影者入力部３１が受け付けた明るさ調節対象領域を中心として明るさ調節量を決定するスポット測光を行ったが、これに限らず、変形例１１における撮像装置は、画面中央エリアから明るさ調節量を決定する中央重点測光または画面全体から明るさ調節量を決定する評価測光等のモードを用いても良い。
図８７は、実施例４の変形例１１における撮像装置３ｉの構成を示す概略ブロック図である。なお、図７８と共通する要素には同一の符号を付し、その具体的な説明を省略する。実施例４の変形例１１における撮像装置３ｉの構成は、図７８の実施例４における撮像装置３ｆの構成に対して、撮像部３２ｆが撮像部３２ｉに変更され、明るさ調節決定部３５ｆが明るさ調節決定部３５ｉに変更されたものになっている。撮像部３２ｉは、明るさ調節対象設定情報取得部３２４を備える。
明るさ調節対象設定情報取得部３２４は、明るさ調節対象の設定に関わる明るさ調節対象設定情報の一例として、明るさ調節対象領域をどのように設定したかを示す対象領域設定情報を取得し、取得した対象領域設定情報を明るさ調節決定部３５ｉへ出力しても良い。そして、明るさ調節決定部３５ｉは、明るさ調節対象設定情報取得部３２４から入力された対象領域設定情報を基に、明るさ調節の挙動を補正しても良い。
例えば、スポット測光や中央重点測光のように画面内の局所領域を用いて明るさ調節量を取得する場合、評価測光のように全画面の情報を用いて明るさ調節量を取得する場合と比較して、明るさ調節量が変動し易い傾向にある。従って、明るさ調節決定部３５ｉは例えば、スポット測光または中央重点測光のように画面内の局所領域を用いて明るさ調節量を取得する場合、予め決められた量だけ明るさ調節を抑制するように明るさ調節の挙動を補正しても良い。これにより、明るさ調節部３６ｆは、少し明るさ調節を抑制することができる。
本実施例における具体的な補正処理としては、撮像装置の動画記録に関わる情報を取得する場合と同様、明るさ調節決定部３５ｉは例えば、明るさ調節量をスポットまたは中央重点方式で決定する場合、明るさ調節が禁止され易いように二次関数を禁止領域が拡大するように補正しても良い。
図８８は、実施例４の変形例１１における撮像装置３ｉの処理の流れの一例を示すフローチャートである。ステップＳｐ９０１〜Ｓｐ９０４は、図８１のステップＳｐ６０１〜Ｓｐ６０４と同じ処理であるので、その説明を省略する。
（ステップＳｐ９０５）次に、明るさ調節対象設定情報取得部３２４は、明るさ調節対象の設定に関わる明るさ調節対象設定情報の一例として、明るさ調節対象領域をどのように設定したかを示す対象領域設定情報を取得する。
（ステップＳｐ９０６）次に、明るさ調節決定部３５ｈは、被写体色情報取得部３４４が取得した被写体彩度情報と撮像装置動き情報取得部３３４が取得した撮像装置動き量情報と明るさ調節対象設定情報取得部３２４が取得した対象領域設定情報とを基に、明るさ調節の挙動を決定する。
ステップＳｐ９０７〜Ｓｐ９０８は、図８１のステップＳｐ６０６〜Ｓｐ６０７と同じ処理であるので、その説明を省略する。以上で、本フローチャートの処理を終了する。
以上、実施例４の変形例１１において、明るさ調節決定部３５ｈは例えば、明るさ調節量をスポットまたは中央重点方式で決定する場合、二次関数を禁止領域が拡大するように補正する。これにより、明るさ調節量をスポットまたは中央重点方式で決定することにより、明るさ調節量が変動し易くても、明るさ調節が禁止され易くなるので、不必要な明るさ調節が行われなくなる。これにより、撮像装置３ｉは撮影者（または鑑賞者）にとってより好ましい見え方をする動画を提供することができる。
＜変形例１２：フレーム間変化情報として明るさ調節方向情報を取得する＞
尚、本実施例ではフレーム間変化情報として撮像装置の動き情報を取得して明るさ調節の挙動を決定しているが、例えばこれ以外に明るさ調節の方向情報を取得して明るさ調節の挙動を決定しても良い。この場合の撮像装置３ｍの構成を図９６に、フローチャートを図９７に示す。
図９６は、実施例４の変形例１２における撮像装置３ｍの構成を示す概略ブロック図である。なお、図７８と共通する要素には同一の符号を付し、その具体的な説明を省略する。実施例４の変形例１２における撮像装置３ｍの構成は、図７８の実施例４における撮像装置３ｆの構成に対して、撮像部３２ｆが撮像部３２ｍに変更され、明るさ調節決定部３５ｆが明るさ調節決定部３５ｍに変更されたものになっている。撮像部３２ｍの明るさ調節量取得部３２１は明るさ調節方向情報取得部３２５を備える。
本変形例の場合の処理の流れを以下に示す。
＜処理１＞
撮影者は明るさ調節を行う対象の明るさ調節対象領域の設定を行う。本実施例では一例として、パンニング後、画面略左側の辺りの被写体に対して明るさ調節を行うため、撮影者は画面左側エリアを明るさ調節対象領域として指定する。その場合、撮影者入力部３１は例えば、その撮影者による指定を受け付け、指定された明るさ調節対象領域を示す明るさ調節対象領域情報を撮像部３２ｍの明るさ調節量取得部３２１へ出力する。
＜処理２＞
記録開始釦３１１は、撮影者からの動画記録の開始指示を受け付け、受け付けた開始指示を示す開始指示情報を撮像部３２ｍへ出力する。撮像部３２ｍは、撮影者入力部３１から開始指示情報を受け取ると、被写体から撮像光学系を介して入射した光を電気信号に予め決められたシャッター速度で変換することで、動画像信号を生成する。これにより、撮像部３２ｍは撮影者の指示に従い、動画記録を開始することができる。撮像部３２ｍは、生成した動画像信号を画像処理部３０ｆへ出力する。
＜処理３＞
明るさ調節量取得部３２１は、撮影者入力部３１で受け付けた指定により得られた明るさ調節対象領域情報を基に、明るさ調節対象領域を最適な明るさ状態とするための明るさ調節量を取得し、取得した明るさ調節量を明るさ調節部３６ｆへ出力する。尚、この際、同時に明るさの調節方向情報（明るい状態から暗い状態へ遷移するのか、暗い状態から明るい状態へ遷移するのかの情報）を取得する。本変形例では明るい状態から暗い状態へ遷移することを示す明るさの調節方向情報が取得される。
＜処理４＞
被写体色情報取得部３４４は、フレーム内情報として、被写体の色情報（ここでは一例として、被写体の彩度を示す被写体彩度情報）を取得し、明るさ調節決定部３５ｍへ出力する。その際、被写体色情報取得部３４４は一例として、明るさ調節対象領域内の彩度の平均値を被写体彩度情報として取得する。ここでは取得した被写体の彩度を、予め撮像装置３ｍに記録しておいた任意の閾値と比較することによって取得した情報を「彩度高」「彩度中程度」「彩度低」の3つに分類する。
＜処理５＞
明るさ調節決定部３５ｍは、処理３で取得した明るさの調節方向情報から、図９８のようなテーブルを用いて、明るさ調節の挙動（明るさ調節を開始してから最終状態へ到達するまでの動き方）を決定する。
図９８は、明るさの調節方向情報と最適な明るさ状態までの明るさ調節の時間的特性とが関連付けられたテーブルの概念図である。同図において、明るさの調節方向が「明」から「暗」、「暗」から「明」の二つに分けられており、それぞれに対して、最適な明るさ状態までの明るさ調節の時間的特性が関連付けられている。図９８から分かるように、明るさの調節方向が「明」から「暗」である場合の方が、速い動作での明るさ調節が行われる。よって、明るさ調節決定部３５ｍは例えば、図９８の概念図で示すようなテーブルを参照することで、明るさ調節の挙動を決定する。
＜処理６＞
処理４で取得した被写体の彩度情報を元に、図９９のようなテーブルを用いて明るさ調節の開始タイミング（明るさ調節対象エリアに、明るさ調節を行うべき状態の被写体が現れてから、明るさ調節を開始するまでの秒数）を決定する。
図９９は、被写体彩度と明るさ調節の開始タイミングが関連付けられたテーブルの一例である。同図のテーブルＴ１７において、被写体彩度が高い程、明るさ調節の開始タイミングが早くなる傾向にある。明るさ調節決定部３５ｍは、図９９に示すようなテーブルを参照することで、被写体彩度が高い程早いタイミングで明るさ調節を開始するよう明るさ調節の挙動を決定する。
本変形例によれば、例えば図７７のように室内でパンニングを行い、明るい状態から暗い状態へ遷移するような場合、逆の状態（暗い状態から明るい状態とへ遷移する場合。例えば図７７のシーンの開始位置・カメラ遷移方向を逆にしたもの）と比較して遅い明るさ調節が行われる。これは、以下に示す主観評価の結果に由来している。
図７７に示すシーンと、その逆のシーン（シーンの開始位置・カメラ遷移方向を逆にしたもの。パンニングの速度や所要時間は全て同じとする）とのそれぞれにおいて、図１００Ａ〜Ｃに示すような複数の明るさ調節の時間的特性を適用して撮影した動画を複数名の被験者集団が視聴し、映像としての好ましさを11段階で（好ましくない：0点、どちらでもない：5点、好ましい：10点）主観評価した結果を図１０１に示す。人の感覚として、明るい場所の明るさが調節されていない状態（明るすぎる状態）に関して、人はあまり恐怖を感じない。しかし、逆に暗い場所の露が出調節されていない状態（暗すぎる状態）に関しては人は恐怖を感じ易い（何も見えていない状態は危険と感じる）。従ってこの結果は、明るさの変化方向に応じて「次の状態を速く正確な状態で見たい」という要望の強さが変化するためであると言える。そのため、明るい状態から暗い状態へ移動した場合の調整よりも暗い状態から明るい状態へ移動した場合の調整の方が明るさ調節に要する時間を長くすることによって、違和感の少ない明るさ調節を行うことができる。
また、明るさ調節を開始するタイミングは、鑑賞者が被写体を認識したタイミングが良く、これは被写体の彩度が高い程早くなる。従って、被写体の彩度情報から明るさ調節の開始タイミングを決定することで違和感の少ない明るさ調節を行うことができる。
図９７は、実施例４の変形例１２における撮像装置３ｍ処理の流れの一例を示すフローチャートである。
（ステップＳｐ１１０１）まず、記録開始釦３１１が押された場合、撮像部３２ａは、撮影を開始する。
（ステップＳｐ１１０２）次に、明るさ調節量取得部３２１は、明るさ調節量と明るさ調節方向情報を取得する。
（ステップＳｐ１１０３）次に、被写体色情報取得部３４４は、被写体の色情報の一例として、被写体彩度情報を取得する。
（ステップＳｐ１１０４）次に、明るさ調節決定部３５ｍは、明るさ調節量取得部３２１が取得した明るさ調節量、明るさ調節方向情報と、被写体色情報取得部３４４が取得した被写体彩度情報とを基に、明るさ調節の挙動（明るさ調節を開始してから最終状態へ到達するまでの動き方）を決定する。
（ステップＳｐ１１０５）次に、明るさ調節決定部３５ｍは、被写体色情報取得部３４４が取得した被写体彩度情報を基に、明るさ調節の開始タイミングを決定する。
ステップＳｐ１１０６〜Ｓｐ１１０７の処理は、図６３のステップＳｐ１０６〜Ｓｐ１０７の処理と同一であるのでその説明を省略する。
＜変形例１３：撮影者による明るさ調節対象の指示の有無情報を取得する＞
本実施例では明るさ調節対象を撮影者が指示している。この場合、撮像装置が自動で明るさ調節対象を決定した場合と比較して撮影者の明るさ調節対象に対しての注目度が高い。従って、撮影者による明るさ調節対象の指示があった場合には、明るさ調節を促進するようにすると良い。
＜実施例５＞
続いて、実施例５について説明する。本実施例では、図８９のように室内で望遠側から広角側へズームアウトを行うようなシーンを用いて説明を行う。
図８９は、実施例５における撮影シーンの一例を説明するための図である。同図は、比較的明るい犬の絵が見えている状態からズームアウトし、暗い花、明るい色の人の順に現れるシーンを表す。Ｎフレームの画像Ｇ５１は、犬の絵の画像領域Ｒ５１を含む。Ｎ＋１フレームの画像Ｇ５２は、Ｎフレームの画像Ｇ５１よりもズームアウトされて撮像された画像であり、犬の絵の画像領域Ｒ５２と暗い花の画像領域Ｒ５３とを含む。Ｎ＋２フレームの画像Ｇ５３は、Ｎ＋１フレームの画像Ｇ５２よりも更にズームアウトされて撮像された画像であり、犬の絵の画像領域Ｒ５４と暗い花の画像領域Ｒ５５と人の画像領域Ｒ５６とを含む。
図９０は、実施例５における撮像装置３ｊの構成を示す概略ブロック図である。なお、図６１と共通する要素には同一の符号を付し、その具体的な説明を省略する。実施例５における撮像装置３ｊの構成は、図６１の実施例１における撮像装置３ａの構成に対して、画像処理部３０が画像処理部３０ｊに、撮影者入力部３１が撮影者入力部３１ｊに、明るさ調節決定部３５ａが明るさ調節決定部３５ｊに、明るさ調節部３６が明るさ調節部３６ｊに変更され、ズーム制御部４１とＮＤ（Neutral Density）フィルタ４２が追加されたものになっている。更に、フレーム間変化情報取得部３３ａがフレーム間変化情報取得部３３ｊに変更され、実施例１における撮像装置３ａの構成とは異なり、画像処理部３０ｊの外に配置された構成になっている。
画像処理部３０ｊは、フレーム内情報取得部３４ｊを備え、フレーム内情報取得部３４ｊは、被写体明るさ情報取得部３４５を備える。
撮影者入力部３１ｊの構成は、図６１の実施例１における撮影者入力部３１の構成に対して、ズーム動作指示部３１２が追加されたものになっている。ズーム動作指示部３１２は、撮影者からのズーム動作指示を受け付け、受け付けたズーム動作指示を示す情報をズーム制御部４１へ出力する。
ズーム制御部４１は、ズーム動作指示部３１２から入力された情報に応じて、撮像光学系２を制御し、ズームを変更する。
ＮＤフィルタ４２は、一例として段階的ＮＤフィルタであり、明るさ調節部３６ｊによる制御を受けて、撮像光学系２から入射した光を段階的に減光し、減光後の光を撮像部３２ａへ導く。
続いて、動画記録時の処理の順序に従って、撮像装置３ｊの各部の処理を説明する。
＜処理１＞
撮影者は明るさ調節を行う明るさ調節対象領域の設定を行う。本実施例では一例として、ズームアウト後に画面略右下の被写体に対して明るさ調節を行うため、撮影者は画面略右下の領域を明るさ調節対象領域として指定する。その場合、撮影者入力部３１ｊは例えば、その撮影者による指定を受け付け、明るさ調節対象領域を示す明るさ調節対象領域情報を明るさ調節量取得部３２１へ出力する。
＜処理２＞
記録開始釦３１１は、撮影者からの動画記録の開始指示を受け付け、受け付けた開始指示を示す開始指示情報を撮像部３２ａへ出力する。撮像部３２ａは、撮影者入力部３１ｊから開始指示情報を受け取ると、被写体から撮像光学系２とＮＤフィルタ４２を介して入射した光を電気信号に予め決められたシャッター速度で変換することで、動画像信号を生成する。これにより、撮像部３２ａは撮影者の指示に従い、動画記録を開始することができる。撮像部３２ａは、生成した動画像信号を画像処理部３０ｊへ出力する。
＜処理３＞
明るさ調節量取得部３２１は、撮影者入力部３１ｊから入力された明るさ調節対象領域情報を基に、明るさ調節対象領域を最適な明るさ状態とするための明るさ調節量を取得し、取得した明るさ調節量を明るさ調節部３６ｊへ出力する。具体的には例えば、明るさ調節量取得部３２１は、明るさ調節対象領域の画素値が予め決められた範囲に収まるように、明るさ調節量を取得する。これにより、明るさ調節対象領域が暗くなりすぎず、真っ白にならないようにすることができる。
＜処理４＞
被写体明るさ情報取得部３４５は、フレーム内情報として被写体の明るさを示す被写体明るさ情報を取得し、取得した被写体明るさ情報を明るさ調節決定部３５ｊへ出力する。具体的には例えば、被写体明るさ情報取得部３４５は、明るさ調節対象領域内の輝度画素値の平均値を被写体明るさ情報として取得する。なお、これに限らず、被写体明るさ情報取得部３４５は、フレーム画像中から被写体領域の抽出を行い、明るさ調節対象領域近傍の被写体領域内での輝度画素値の平均値を取得しても良い。ここで、明るさ調節対象領域近傍は、例えば、明るさ調節対象領域を含み、その明るさ調節対象領域から離れる方向へ明るさ調節対象領域の外延の画素から予め決められた画素数だけ離れた画素も含む。
＜処理５＞
焦点距離調節情報取得部３３５は、フレーム間変化情報として、焦点距離調節に関する焦点距離調節情報（ここでは一例として、ズームの動作速度に関するズーム動作速度情報）を取得し、取得したズーム動作速度情報を明るさ調節決定部３５ｊへ出力する。具体的には例えば、焦点距離調節情報取得部３３５は、ズームの速度を撮像装置３ｊ内の不図示のメモリに記憶された閾値と比較することによって、「速い」、「中程度」、「遅い」の三種類に分類し、分類結果をズーム動作速度情報とする。なお、焦点距離調節情報取得部３３５は、取得したズーム速度をそのままズーム動作速度情報として利用しても良い。焦点距離調節情報取得部３３５は、取得したズーム動作速度情報を明るさ調節決定部３５ｊへ出力する。
＜処理６＞
明るさ調節決定部３５ｊは、被写体明るさ情報取得部３４５が取得した被写体明るさ情報と焦点距離調節情報取得部３３５が取得した焦点距離調節情報（ここでは、一例としてズーム動作速度情報）に基づいて、明るさ調節の挙動を決定する。具体的には例えば、明るさ調節決定部３５ｊは、以下の処理で明るさ調節の挙動を決定する。
撮像装置３ｊ内の不図示のメモリには、明るさ調節開始から終了（最適な明るさ状態）までの基準となる時間的特性を示す式ｆｂａｓｅ（ｔ）が予め記憶されている。ここで、tは明るさ調節開始からのフレーム数である。このｆｂａｓｅ（ｔ）は例えば次の式（１２）に示す多項式で表される。
ｆｂａｓｅ（ｔ）＝Ｃ１ｔ４＋Ｃ２ｔ３＋Ｃ３ｔ２＋Ｃ４ｔ＋Ｃ５ …式（１２）
ここでは、このｆｂａｓｅ（ｔ）は一例として、４次の多項式であるが、次数は他の次数でも良い。
撮像装置３ｊ内の不図示のメモリには例えば、図９１に示すような、ズーム動作速度と輝度画素平均値の組毎に、焦点調節制御係数αが関連づけられたテーブルＴ１５が予め記憶されている。
次の処理として、明るさ調節決定部３５ｊは例えば、被写体明るさ情報取得部３４５が取得した被写体明るさ情報と焦点距離調節情報取得部３３５が取得したズーム動作速度情報から、例えば図９１のテーブルＴ１５を参照して、明るさ調節制御係数αを決定する。具体的には例えば、明るさ調節決定部３５ｊは、取得した被写体明るさ情報の一例としての輝度画素平均値と取得した焦点距離調節情報の組に対応する明るさ調節制御係数αをメモリのテーブルＴ１５から読み出すことで、明るさ調節制御係数αを決定する。
図９１は、ズーム動作速度と輝度画素平均値の組毎に、明るさ調節制御係数αが関連づけられたテーブルＴ１５の一例である。同図の例において、あまりに輝度が高く白とびしてみえてしまうような、まぶしすぎる被写体の詳細には鑑賞者は注目したがらないので、輝度２４０以上の場合には、輝度が２００以上２３９以下の場合よりも明るさ調節制御係数αが小さい。よって、明るさ調節決定部３５ｊは例えば、同図のテーブルＴ１５を参照することで、輝度２４０以上の場合には、輝度が２００以上２３９以下の場合よりも明るさ調節制御係数αを小さくする。また、輝度が２３９以下では、輝度が大きいほど明るさ調節制御係数αが大きい。よって、明るさ調節決定部３５ｊは例えば、同図のテーブルＴ１５を参照することで、輝度が２３９以下では、輝度が高いほど明るさ調節制御係数αを大きくする。
次の処理として、明るさ調節決定部３５ｊは例えば、最終的な最適な明るさ状態までの明るさ調節の時間的特性ｆＡＥ（ｔ）を次の式（１３）に従って決定する。
ｆＡＥ（ｔ）＝ｆｂａｓｅ（αｔ） …式（１３）
ｔは明るさ調節開始からのフレーム数である。但し、フレーム数ｔはｆｂａｓｅ（αｔ）が最適な明るさ状態に至るまでである。
図８９のようなズームアウトしながら最適な明るさ状態を得たい被写体が変化する場合において、ズームアウト中に明るい被写体が現れる場合、撮影者（または鑑賞者）はその被写体を最適な明るさ状態にしたいと判断し易い傾向にある。但し、あまり明るすぎる被写体を、撮影者（または鑑賞者）を注視したいと思わない傾向がある。
よって、明るさ調節決定部３５ｊは例えば、図９１のテーブルを参照して、明るさ調節制御係数αを決定する。これにより、明るすぎる状態及び暗すぎる状態のときには、明るさ調節を抑制することができ、比較的明るい場合（例えば、輝度画素平均値が２００以上、２３９以下の場合）に、明るさ調節を促進することができる。そのため、撮像装置３ｊは、撮影者（または鑑賞者）の意識の向き易さに応じて明るさ調節ができるので、撮影者（または鑑賞者）に好まれる見え方をする動画を提供することができる。
ズーム動作速度（焦点距離調節速度）が速いと、次々に焦点が合っている被写体が変わっていくので、撮影者（または鑑賞者）は次の被写体に意識が向き難い傾向にある。よって、明るさ調節決定部３５ｊは例えば、ズーム動作速度が速いほど、明るさ調節を抑制するように明るさ調節の挙動を決定する。これにより、撮像装置３ｊは、撮影者（または鑑賞者）の意識の向き易さに応じて明るさ調節ができるので、撮影者（または鑑賞者）に好まれる見え方をする動画を提供することができる。
＜処理７＞
明るさ調節部３６ｊは例えば、明るさ調節決定部３５ｊで決定した明るさ調節の時間的特性ｆＡＥ（ｔ）に従って、明るさ調節量取得部３２１から入力された明るさ調節量だけ明るさが変化するように、撮像装置３ｊ内に取り付けたＮＤフィルタ４２を制御し、動画像信号に含まれるフレーム画像の明るさを調節する。
＜処理８＞
撮影者入力部３１が、撮影者から撮影の終了の指示を受け付けるまで、撮像装置３ｊは上述した処理３〜７の処理を繰り返す。
図９２は、実施例５における撮像装置３ｊの処理の流れの一例を示すフローチャートである。ステップＳｐ１００１〜Ｓｐ１００２は、図６３のステップＳｐ１０１〜Ｓｐ１０２と同じ処理であるので、その説明を省略する。
（ステップＳｐ１００３）次に、焦点距離調節情報取得部３３５は、焦点距離調節情報の一例として、ズーム動作速度情報を取得する。
（ステップＳｐ１００４）次に、被写体明るさ情報取得部３４５は、フレーム内情報の一例として、被写体明るさ情報を取得する。
（ステップＳｐ１００５）次に、明るさ調節決定部３５ｊは、焦点距離調節情報取得部３３５が取得したズーム動作速度情報と被写体明るさ情報取得部３４５が取得した被写体明るさ情報とを基に、明るさ調節の挙動を決定する。
ステップＳｐ１００６〜Ｓｐ１００７は、図６３のステップＳｐ１０６〜Ｓｐ１０７と同じ処理であるので、その説明を省略する。以上で、本フローチャートの処理を終了する。
以上、実施例５において、明るさ調節決定部３５ｊは例えば、図９１のテーブルを参照して、明るさ調節制御係数αを決定する。これにより、比較的明るい場合（例えば、輝度画素平均値が２００以上、２３９以下の場合）に、明るさ調節を促進することができる。これにより、ズームアウト中に比較的明るい被写体が現れる場合に、撮像装置３ｊは、その被写体を最適な明るさ状態にすることができる。そのため、撮影者（または鑑賞者）が最適な明るさ状態にしたいと判断し易い被写体を早く最適な明るさ状態にすることができ、撮影者（または鑑賞者）に好まれる見え方をする動画を提供することができる。
また、明るすぎる状態及び暗すぎる状態のときには、明るさ調節を抑制することができるので、ズームアウト中にあまり明るすぎる被写体が現れる場合に、撮像装置３ｊは、その被写体を明るくしないようにすることができる。そのため、撮像装置３ｊは、撮影者（または鑑賞者）が注視したいと思わない被写体を最適な明るさ状態にしないようにすることができ、撮影者（または鑑賞者）に好まれる見え方をする動画を提供することができる。
また、ズーム動作速度が速いほど、明るさ調節を抑制することができる。これにより、ズームアウト中のズーム動作速度が速い場合に、撮像装置３ｊは、次々に現れる被写体を明るくしないようにすることができる。そのため、撮像装置３ｊは、撮影者（または鑑賞者）が、意識が向き難い被写体を最適な明るさ状態にしないようにすることができ、撮影者（または鑑賞者）に好まれる見え方をする動画を提供することができる。
なお、本実施例では、焦点距離調節情報取得部３３５は、焦点距離調節情報の一例として、ズーム動作速度情報を取得したが、これに限らず、焦点距離調節の調節方向を示す焦点距離調節方向情報を取得しても良い。その場合、明るさ調節決定部３５ｊは、焦点距離調節方向情報と被写体明るさ情報を基に、明るさ調節の挙動を決定しても良い。ズームアウトする場合よりもズームインする場合の方が、撮影者（または鑑賞者）は次の被写体に意識を向け易い傾向にある。従って、明るさ調節決定部３５ｊは例えば、ズームアウトする場合、明るさ調節が抑制するように明るさ調節の挙動を決定しても良い。
なお、上述した各撮像装置の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各撮像装置に係る上述した種々の処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含んでもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含む。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含む。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではない。各実施形態における各構成及びそれらの組み合わせ等は一例であり、本発明の趣旨から逸脱しない範囲内で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は実施形態によって限定されることはなく、特許請求の範囲によってのみ限定される。
本発明を適用した撮像装置およびプログラムによれば、動画の見え方に対する撮影者または鑑賞者の満足度を向上させることができる。
１、１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈ、１ｉ、１ｊ、１ｋ、１ｍ、１ｎ、１ｏ、１ｐ 撮像装置
１０、１０ｅ、１０ｆ、１０ｉ、１０ｍ、１０ｎ、１０ｏ、１０ｐ 画像処理部
１０１ 第２焦点調節量取得部
１０２ ホワイトバランス調節部
１０３ 焦点調節量取得部
１０４ 焦点調節対象設定情報取得部
１０５ 露出補正・ホワイトバランス補正情報取得部
１０６ 焦点調節方向情報取得部
１１、１１ｂ、１１ｎ 撮影者入力部
１１１ 記録開始釦
１１２ 使用位相差画素入力部
１１３ ズーム動作指示部
１２、１２ａ、１２ｅ、１２ｋ、１２ｉ 撮像部
１２１、１２１ｆ 焦点調節量取得部
１２２ 明るさ調節量取得部
１２３ 撮像素子固有情報取得部
１３ 人の主観的な焦点調節関連情報取得部
１３ａ、１３ｅ、１３ｆ、１３ｉ、１３ｎ フレーム間変化情報取得部
１３１ 被写体動き情報取得部
１３２ 明るさ調節動作情報取得部
１３３ ホワイトバランス調節動作連続性情報取得部
１３４ 撮像装置動き情報取得部
１３４１ ジャイロセンサ
１３４２ 加速度センサ
１３５ 焦点距離調節情報取得部
１４ａ、１４ｅ、１４ｆ、１４ｉ、１４ｎ フレーム内情報取得部
１４１ 被写体大きさ情報取得部
１４２ 照合結果情報取得部
１４３ 被写体数情報取得部
１４４ 被写体色情報取得部
１４５ 被写体明るさ情報取得部
１５、１５ａ、１５ｂ、１５ｃ、１５ｄ、１５ｅ、１５ｆ、１５ｇ、１５ｈ、１５ｉ、１５ｊ、１５ｍ、１５ｎ、１５ｐ 焦点調節決定部
１６、１６ｆ、１６ｉ 焦点調節部
１７ 記録部
１８ 撮影設定情報取得部
１９、１９ｄ 位相差使用状況取得部
２０ 使用位相差画素決定部
２０１ ジャイロセンサ
２１ 明るさ調節部
２２、２２ｈ 焦点調節量取得処理切替部（焦点調節量取得方法取得部）
２２１ ジャイロセンサ
２３ 撮像光学系固有情報取得部
２５ 動画記録情報取得部
２６ ズーム制御部
３、３ａ、３ｂ、３ｃ、３ｄ、３ｅ、３ｆ、３ｇ、３ｈ、３ｉ、３ｊ、３ｋ 撮像装置
３０、３０ｃ、３０ｄ、３０ｆ、３０ｊ 画像処理部
３０１ ホワイトバランス調節部
３０２ 第２明るさ調節量取得部
３１、３１ｊ 撮影者入力部
３１１ 記録開始釦
３１２ ズーム動作指示部
３２、３２ａ、３２ｃ、３２ｇ、３２ｈ、３２ｍ 撮像部
３２１ 明るさ調節量取得部
３２２ 焦点調節量取得部
３２３ 撮像素子固有情報取得部
３２４ 明るさ調節対象設定情報取得部
３２５ 明るさ調節方向情報取得部
３３ 人の主観的な明るさ調節関連情報取得部
３３ａ、３３ｃ、３３ｆ、３３ｊ フレーム間変化情報取得部
３３１ 被写体動き情報取得部
３３２ 焦点調節部
３３３ ホワイトバランス調節動作連続性情報取得部
３３４ 撮像装置動き情報取得部
３３４１ ジャイロセンサ
３３４２ 加速度センサ
３３５ 焦点距離調節情報取得部
３４、３４ａ、３４ｃ、３４ｄ、３４ｆ、３４ｊ フレーム内情報取得部
３４１ 被写体大きさ情報取得部
３４２ 照合結果情報取得部
３４３ 被写体数情報取得部
３４４ 被写体色情報取得部
３４５ 被写体明るさ情報取得部
３５、３５ａ、３５ｃ、３５ｄ、３５ｆ、３５ｇ、３５ｈ、３５ｊ、３５ｋ、３５ｍ 明るさ調節決定部
３６、３６ｅ、３６ｆ、３６ｊ 明るさ調節部
３７ 記録部
３８ 撮影設定情報取得部
３９ 撮像光学系固有情報取得部
４０ 動画記録情報取得部
４１ ズーム制御部
４２ ＮＤフィルタ
４３ 位置情報取得部

Claims (27)

  1. 撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、
    前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、
    前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、
    前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、
    を備え、
    前記フレーム間変化情報は、少なくとも撮像装置の焦点調節動作に関わる情報である撮像装置。
  2. 撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、
    前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、
    前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、
    前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、
    を備え、
    前記フレーム間変化情報は、少なくとも撮像装置のホワイトバランス調節動作に関わる情報である撮像装置。
  3. 撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、
    前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、
    前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、
    前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、
    を備え、
    前記フレーム間変化情報は、フレーム間の任意の点又は領域の追尾に関わる追尾情報である撮像装置。
  4. 撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、
    前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、
    前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、
    前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、
    を備え、
    前記フレーム内情報は、前記被写体の大きさに関する大きさ情報である撮像装置。
  5. 前記フレーム内情報は、前記被写体の大きさに関する大きさ情報である請求項１から３のいずれか一項に記載の撮像装置。
  6. 撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、
    前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、
    前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、
    前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、
    を備え、
    前記フレーム内情報は、前記被写体の色に関する色情報である撮像装置。
  7. 前記フレーム内情報は、前記被写体の色に関する色情報である請求項１から３のいずれか一項に記載の撮像装置。
  8. 撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、
    前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、
    前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、
    前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、
    を備え、
    前記フレーム内情報は、前記被写体の数または位置に関する情報である撮像装置。
  9. 前記フレーム内情報は、前記被写体の数または位置に関する情報である請求項１から３のいずれか一項に記載の撮像装置。
  10. 撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、
    前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、
    前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、
    前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、
    を備え、
    前記フレーム内情報は、前記被写体が何であるかの認識結果に関する情報である撮像装置。
  11. 前記フレーム内情報は、前記被写体が何であるかの認識結果に関する情報である請求項１から３のいずれか一項に記載の撮像装置。
  12. 撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、
    前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、
    前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、
    前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、
    を備え、
    前記フレーム内情報は、撮影対象の被写体が予め自装置に登録された被写体であるか否かの情報である撮像装置。
  13. 前記フレーム内情報は、撮影対象の被写体が予め自装置に登録された被写体であるか否かの情報である請求項１から３のいずれか一項に記載の撮像装置。
  14. 撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、
    前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、
    前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、
    前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、
    を備え、
    前記フレーム内情報は、過去に撮影した被写体と撮影対象の被写体との照合結果に関する情報である撮像装置。
  15. 前記フレーム内情報は、過去に撮影した被写体と撮影対象の被写体との照合結果に関する情報である請求項１から３のいずれか一項に記載の撮像装置。
  16. 撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、
    前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、
    前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、
    前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、
    自装置の動画記録画像に関わる情報を取得する動画記録画像情報取得部と、を備え、
    前記明るさ調節決定部が、前記フレーム間変化情報と前記フレーム内情報に加え、前記動画記録画像に関わる情報も用いて明るさ調節の挙動を決定する撮像装置。
  17. 自装置の動画記録画像に関わる情報を取得する動画記録画像情報取得部を更に備え、
    前記明るさ調節決定部が、前記フレーム間変化情報と前記フレーム内情報に加え、前記動画記録画像に関わる情報も用いて明るさ調節の挙動を決定する
    請求項１から１５のいずれか一項に記載の撮像装置。
  18. 撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、
    前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、
    前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、
    前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、
    前記撮像部における被写体の動画像信号を生成するための撮像素子の固有の情報を取得する撮像素子情報取得部と、を備え、
    前記明るさ調節決定部が、前記フレーム間変化情報と前記フレーム内情報に加え、前記撮像素子の固有の情報も用いて明るさ調節の挙動を決定する撮像装置。
  19. 前記撮像部における被写体の動画像信号を生成するための撮像素子の固有の情報を取得する撮像素子情報取得部を更に備え、
    前記明るさ調節決定部が、前記フレーム間変化情報と前記フレーム内情報に加え、前記撮像素子の固有の情報も用いて明るさ調節の挙動を決定する
    請求項１から１５のいずれか一項に記載の撮像装置。
  20. 撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、
    前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、
    前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、
    前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、
    前記撮像部に被写体像を結像するための取り外し可能な撮像光学系が取り付けられている場合に、取り付けられた撮像光学系固有の情報に関わる情報を取得する撮像光学系情報取得部と、を備え、
    前記明るさ調節決定部が、前記フレーム間変化情報と前記フレーム内情報に加え、前記取り付けられた撮像光学系固有の情報も用いて明るさ調節の挙動を決定する撮像装置。
  21. 前記撮像部に被写体像を結像するための取り外し可能な撮像光学系が取り付けられている場合に、取り付けられた撮像光学系固有の情報に関わる情報を取得する撮像光学系情報取得部を更に備え、
    前記明るさ調節決定部が、前記フレーム間変化情報と前記フレーム内情報に加え、前記取り付けられた撮像光学系固有の情報も用いて明るさ調節の挙動を決定する
    請求項１から１５のいずれか一項に記載の撮像装置。
  22. 撮像光学系により結像された被写体の像を撮像して動画像信号を生成する撮像部と、
    前記動画像信号の少なくとも２フレーム以上のフレーム間で生じる変化に関わるフレーム間変化情報を取得するフレーム間変化情報取得部と、
    前記動画像信号に含まれる1フレームのフレーム内の情報であるフレーム内情報を取得するフレーム内情報取得部と、
    前記フレーム間変化情報取得部が取得したフレーム間変化情報と前記フレーム内情報取得部が取得したフレーム内情報の両方の情報を用いて明るさ調節の挙動を決定する明るさ調節決定部と、
    前記被写体を最適な明るさ状態にするための明るさ調節量を取得する明るさ調節量取得部と、
    前記明るさ調節量取得部が明るさ調節量を取得する対象を設定する場合に、最適明るさ調節対象の設定に関わる情報を取得する最適明るさ対象設定情報取得部と、
    を備え、
    前記明るさ調節決定部が、前記フレーム間変化情報と前記フレーム内情報に加え、前記最適明るさ調節対象の設定に関わる情報も用いて明るさ調節の挙動を決定する撮像装置。
  23. 前記被写体を最適な明るさ状態にするための明るさ調節量を取得する明るさ調節量取得部と、
    前記明るさ調節量取得部が明るさ調節量を取得する対象を設定する場合に、最適明るさ調節対象の設定に関わる情報を取得する最適明るさ対象設定情報取得部と、
    を更に備え、
    前記明るさ調節決定部が、前記フレーム間変化情報と前記フレーム内情報に加え、前記最適明るさ調節対象の設定に関わる情報も用いて明るさ調節の挙動を決定する
    請求項１から１５のいずれか一項に記載の撮像装置。
  24. 前記明るさ調節決定部は、前記フレーム間変化情報と前記フレーム内情報の両方に基づいて明るさ調節の動作状態又は明るさ調節の動作速度を変更するように明るさ調節の挙動を決定する
    請求項１から２３のいずれか一項に記載の撮像装置。
  25. 前記撮像部は前記動画像信号を生成する撮像素子を備え、該撮像素子の画素数が少なくともハイビジョン画像の画素数を越えるものである請求項１から２４のいずれか一項に記載の撮像装置。
  26. 人の主観的な明るさ調節に関わる情報を取得する人の主観的な明るさ調節関連情報取得部を更に備え、
    前記明るさ調節決定部は、前記人の主観的な明るさ調節関連情報取得部で得られた前記人の主観的な明るさ調節に関わる情報を用いて明るさ調節の挙動を決定する請求項１から２５のいずれか一項に記載の撮像装置。
  27. 前記人の主観的な明るさ調節に関わる情報が人の眼球の物理的な明るさ調節特性である、又は人の眼球の物理的な明るさ調節特性を近似した情報である請求項２６に記載の撮像装置。
JP2015021549A 2012-07-12 2015-02-05 撮像装置 Active JP6230554B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015021549A JP6230554B2 (ja) 2012-07-12 2015-02-05 撮像装置

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
JP2012156584 2012-07-12
JP2012156586 2012-07-12
JP2012156584 2012-07-12
JP2012156586 2012-07-12
JP2012156585 2012-07-12
JP2012156585 2012-07-12
JP2012234953 2012-10-24
JP2012234953 2012-10-24
JP2012234954 2012-10-24
JP2012234954 2012-10-24
JP2013093023 2013-04-25
JP2013093023 2013-04-25
JP2013093024 2013-04-25
JP2013093024 2013-04-25
JP2015021549A JP6230554B2 (ja) 2012-07-12 2015-02-05 撮像装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014524868A Division JP5695277B2 (ja) 2012-07-12 2013-07-11 撮像装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2015122780A JP2015122780A (ja) 2015-07-02
JP6230554B2 true JP6230554B2 (ja) 2017-11-15

Family

ID=49916113

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014524868A Active JP5695277B2 (ja) 2012-07-12 2013-07-11 撮像装置及びコンピュータプログラム
JP2015021549A Active JP6230554B2 (ja) 2012-07-12 2015-02-05 撮像装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014524868A Active JP5695277B2 (ja) 2012-07-12 2013-07-11 撮像装置及びコンピュータプログラム

Country Status (4)

Country Link
US (2) US9313396B2 (ja)
JP (2) JP5695277B2 (ja)
CN (2) CN105827983B (ja)
WO (1) WO2014010672A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5954336B2 (ja) * 2011-12-13 2016-07-20 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体
WO2014006785A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 撮像装置及び画像処理方法
JP5874753B2 (ja) * 2014-01-28 2016-03-02 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP6415920B2 (ja) * 2014-10-06 2018-10-31 キヤノンメディカルシステムズ株式会社 超音波診断装置
WO2016140414A1 (ko) * 2015-03-02 2016-09-09 삼성전자 주식회사 촬영 정보에 기초하여 영상을 압축하는 방법 및 장치
JP6494333B2 (ja) * 2015-03-04 2019-04-03 キヤノン株式会社 画像処理装置及び画像処理方法、及び撮像装置
JP6539091B2 (ja) * 2015-04-09 2019-07-03 キヤノン株式会社 撮像装置およびその制御方法
KR102460756B1 (ko) * 2015-08-11 2022-10-31 삼성전기주식회사 카메라 모듈
CN105159462A (zh) * 2015-09-15 2015-12-16 重庆大学 一种基于眼动识别的产品外观协同设计系统
JP6868570B2 (ja) * 2015-12-21 2021-05-12 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
WO2017110417A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
EP3396414A4 (en) 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. IMAGING APPARATUS FOR USE BY A VEHICLE, CONTROL DEVICE, VEHICLE WITH THE CONTROL DEVICE OR IMAGING DEVICE FOR USE BY A VEHICLE AND IMAGE RECORDING FOR USE BY A VEHICLE
JP6766071B2 (ja) 2015-12-21 2020-10-07 株式会社小糸製作所 車両用画像取得装置およびそれを備えた車両
JP6700813B2 (ja) * 2016-01-29 2020-05-27 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6726032B2 (ja) * 2016-06-01 2020-07-22 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
KR20180027047A (ko) * 2016-09-05 2018-03-14 엘지전자 주식회사 Hdr 영상 촬영 장치 및 그 제어 방법
EP3605179A4 (en) * 2017-03-30 2020-04-01 Sony Corporation IMAGE DETECTING DEVICE, FOCUS CONTROL METHOD AND FOCUS DETERMINATION METHOD
WO2019012660A1 (ja) * 2017-07-13 2019-01-17 オリンパス株式会社 画像処理装置およびライトフィールド撮像装置
CN108702456A (zh) * 2017-11-30 2018-10-23 深圳市大疆创新科技有限公司 一种对焦方法、设备及可读存储介质
JP6746855B2 (ja) * 2018-09-28 2020-08-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 撮像装置、制御方法、及びプログラム
JPWO2020157979A1 (ja) * 2019-02-01 2021-11-25 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび画像表示方法
CN112866546B (zh) * 2019-11-12 2022-09-27 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN110708473B (zh) * 2019-11-14 2022-04-15 深圳市道通智能航空技术股份有限公司 高动态范围图像曝光控制方法、航拍相机及无人飞行器
CN111866373B (zh) * 2020-06-19 2021-12-28 北京小米移动软件有限公司 一种显示拍摄预览图像的方法、装置及介质
CN114666512B (zh) * 2022-03-25 2023-06-27 四川创安微电子有限公司 一种快速自动曝光的调节方法及系统

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54126026A (en) * 1978-03-24 1979-09-29 Bell & Howell Japan Automatic focus control device for cine camera
JP2621157B2 (ja) 1987-02-12 1997-06-18 キヤノン株式会社 自動合焦装置
JPS63207278A (ja) 1987-02-23 1988-08-26 Sanyo Electric Co Ltd 自動焦点ビデオカメラ
DE69033646T2 (de) * 1989-07-18 2001-02-22 Fuji Photo Film Co Ltd Verfahren und Einrichtung zur Steuerung der Belichtungsänderungen einer Videokamera
JP2974338B2 (ja) * 1989-09-10 1999-11-10 キヤノン株式会社 自動焦点調節装置
JPH04219080A (ja) 1990-10-18 1992-08-10 Olympus Optical Co Ltd ビデオカメラの露光制御装置
JPH05219431A (ja) * 1991-09-04 1993-08-27 Fuji Photo Film Co Ltd ビデオカメラ用露出制御装置
JP3465271B2 (ja) 1992-07-16 2003-11-10 ソニー株式会社 ビデオカメラ
JP3521932B2 (ja) 1993-05-18 2004-04-26 キヤノン電子株式会社 カメラシステム
US6018630A (en) * 1994-05-17 2000-01-25 Canon Kabushiki Kaisha Camera viewfinder having a viewpoint detecting apparatus
JPH085896A (ja) * 1994-06-17 1996-01-12 Canon Inc 撮像装置
US5907431A (en) * 1995-03-14 1999-05-25 Leica Mikroskopie Systems Ag Microscope including automatic ocular adaptation
JPH08271784A (ja) * 1995-03-30 1996-10-18 Canon Inc 視線検出機能付き光学機器
US5913079A (en) * 1995-07-31 1999-06-15 Canon Kabushiki Kaisha Optical apparatus having a line of sight detection device
JPH09205574A (ja) * 1996-01-24 1997-08-05 Fuji Photo Optical Co Ltd ビデオカメラ装置の制御方法
JP4142340B2 (ja) * 2002-05-22 2008-09-03 オリンパス株式会社 撮像装置
US7657111B2 (en) * 2003-02-14 2010-02-02 Fujifilm Corporation Apparatus and program for image processing for obtaining processed compressed moving image data
JP4756932B2 (ja) 2005-06-27 2011-08-24 キヤノン株式会社 撮像装置及び交換レンズ
JP4919637B2 (ja) 2005-09-14 2012-04-18 株式会社日立製作所 撮像装置及び撮像方法
JP2007147804A (ja) * 2005-11-25 2007-06-14 Seiko Epson Corp 動画撮影装置、制御方法および制御プログラム
US7944482B2 (en) * 2006-07-28 2011-05-17 Sanyo Electric Co., Ltd. Pixel information readout method and image pickup apparatus
US8102436B2 (en) * 2006-12-18 2012-01-24 Sony Corporation Image-capturing apparatus and method, recording apparatus and method, and reproducing apparatus and method
JP4254873B2 (ja) * 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP2009232275A (ja) * 2008-03-24 2009-10-08 Olympus Imaging Corp 撮像装置
CN101771824B (zh) * 2008-12-30 2012-01-04 财团法人金属工业研究发展中心 自动调节所需照明亮度的影像撷取方法
US8311112B2 (en) * 2008-12-31 2012-11-13 Entropic Communications, Inc. System and method for video compression using predictive coding
JP5550304B2 (ja) 2009-10-19 2014-07-16 キヤノン株式会社 撮像装置
DE112010004271T5 (de) * 2009-11-04 2013-04-25 Toyota Jidosha Kabushiki Kaisha Bildaufnahmevorrichtung, anpassungseinrichtung und optisches achsen-anpasssystem für bildaufnahmevorrichtung
JP2011118021A (ja) 2009-12-01 2011-06-16 Canon Inc 撮像装置及びその制御方法
JP2011191386A (ja) 2010-03-12 2011-09-29 Canon Inc 光学機器およびその制御方法
TW201134223A (en) * 2010-03-29 2011-10-01 Univ Nat Taiwan Perceptual video encoding system and circuit thereof
JP5604160B2 (ja) * 2010-04-09 2014-10-08 パナソニック株式会社 撮像装置
JP2012027263A (ja) * 2010-07-23 2012-02-09 Sony Corp 撮像装置、その制御方法およびプログラム
CN103905709A (zh) * 2012-12-25 2014-07-02 联想(北京)有限公司 一种控制电子设备的方法及电子设备
US20150187115A1 (en) * 2013-12-27 2015-07-02 Mark A. MacDonald Dynamically adjustable 3d goggles

Also Published As

Publication number Publication date
US9313396B2 (en) 2016-04-12
CN104380166B (zh) 2016-06-08
US20160182832A1 (en) 2016-06-23
JP2015122780A (ja) 2015-07-02
WO2014010672A1 (ja) 2014-01-16
JP5695277B2 (ja) 2015-04-01
US10084969B2 (en) 2018-09-25
JPWO2014010672A1 (ja) 2016-06-23
CN105827983A (zh) 2016-08-03
CN104380166A (zh) 2015-02-25
US20150022712A1 (en) 2015-01-22
CN105827983B (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
JP6230554B2 (ja) 撮像装置
US9210318B2 (en) Imaging device and imaging method
US8830338B2 (en) Imaging device
US9148557B2 (en) Focus adjustment apparatus and method, and image capturing apparatus and control method thereof
JP4982997B2 (ja) 画像処理装置
JP2012199675A (ja) 画像処理装置、画像処理方法及びプログラム
CN107038362B (zh) 图像处理装置、图像处理方法及计算机可读取的记录介质
US10901174B2 (en) Camera for limiting shifting of focus adjustment optical system
JP4760302B2 (ja) 撮像装置
JP5400486B2 (ja) 撮影装置および撮影方法
JP6831473B2 (ja) 撮影装置とその制御方法および制御プログラム
JP2007124278A (ja) 撮像装置
JP2012199690A (ja) 撮像装置および撮像装置の制御プログラム
US20140078325A1 (en) Image capturing apparatus and control method therefor
JP4977996B2 (ja) 撮像装置
JP2013081136A (ja) 画像処理装置および制御プログラム
JP5403087B2 (ja) 画像処理装置
JP2021131441A (ja) 電子機器
JP2015118274A (ja) 撮像装置、その制御方法及びプログラム
JP7500211B2 (ja) 電子機器
JP7500217B2 (ja) 電子機器
US20210258477A1 (en) Electronic device
JP6679333B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2024077437A (ja) 画像処理装置、撮像装置、および画像処理方法
JP2024033748A (ja) 画像処理装置、撮像装置、画像処理方法および撮像装置の制御方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171017

R151 Written notification of patent or utility model registration

Ref document number: 6230554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250