JP6960445B2 - 撮像装置、制御方法、プログラム、モデル生成システム、製造方法、及び撮影パラメータ決定システム - Google Patents

Description

本発明は、撮像装置、制御方法、及びプログラムに関する。

近年、撮像装置にＡＩが搭載され、様々な分野で活用されている。また、ＡＩが搭載された撮像装置において、ユーザが撮像装置を使用する過程で、撮像装置内で教師データを生成して学習モデルの学習を行うことが提案されている。このような撮像装置では、繰り返し学習モデルの学習を行うことで、ユーザに合わせた学習モデルの出力が得られるようになる。

例えば、特許文献１に開示された撮像装置は、撮像した画像を入力として、特定のユーザにおけるその画像の審美性に関する評価指標を学習することで、そのユーザの判断基準を考慮した審美性判断が行える。

特開２０１８−７７７１８号公報

撮像装置に搭載されたＡＩの活用としては、ほかにも例えば撮影シーンに応じてユーザの意図する撮影パラメータを自動で設定する機能が考えられる。そのような機能を持つ撮像装置では、ユーザがシャッターボタンを押して撮影した撮影画像とそれに対応する撮影パラメータとを用いて教師データを生成し、学習モデルの学習を行うことが考えられる。しかしながら、その学習モデルでは、学習モデルを利用する際は撮影前のライブビュー画像が入力として用いられる。ここで、同一の被写体であっても、撮影画像とライブビュー画像とは異なる画像である。そのため、特に撮影画像とライブビュー画像との差が大きい場合に、学習モデルから期待通りの出力（ユーザの意図する撮影パラメータ）を得ることができない可能性が高くなる。

具体例として、長秒設定で滝を撮影した場合が挙げられる。この場合、撮影画像は長秒露光画像となるが、ライブビュー画像はライブビューのフレームレートでの露光画像となるため、撮影画像とライブビュー画像との差が大きくなる。他の例として、ストロボを発光させて被写体を撮影した場合が挙げられる。この場合、撮影画像はストロボにより明るい画像となるが、ライブビュー画像は暗い画像であるため、撮影画像とライブビュー画像との差が大きくなる。

本発明はこのような状況に鑑みてなされたものであり、撮影パラメータの推定精度がより向上するように、入力された画像に応じた撮影パラメータを出力する学習モデルの学習を行うことを可能にする技術を提供することを目的とする。

上記課題を解決するために、本発明は、ライブビュー撮影用の撮影パラメータに従ってライブビュー画像を繰り返し撮影するライブビュー撮影手段と、本撮影用の撮影パラメータに従って本撮影を行う本撮影手段と、第１の本撮影が行われた後に、前記第１の本撮影用の撮影パラメータと、前記第１の本撮影に対応するシーンを撮影した第１のライブビュー画像とに基づき、第２のライブビュー画像に応じた第２の本撮影用の撮影パラメータを出力する学習モデルの学習を行う学習手段と、を備えることを特徴とする撮像装置を提供する。

本発明によれば、撮影パラメータの推定精度がより向上するように、入力された画像に応じた撮影パラメータを出力する学習モデルの学習を行うことが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

撮像装置１００を構成するハードウェア資源を示すブロック図。 図１のハードウェア資源とプログラムとを利用することで実現されるソフトウェア構成を示すブロック図。 学習モデルを用いた入出力の構造を示す概念図。 図３で示した学習モデルの構造を利用する場合における撮像装置１００の動作を説明する図。 第１の実施形態に係る学習フェーズにおける学習の詳細な流れを示すフローチャート。 推定フェーズ（図５のＳ５０２）における推定の詳細な流れを示すフローチャート。 第２の実施形態に係る学習フェーズにおける学習の詳細な流れを示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は、撮像装置１００を構成するハードウェア資源を示すブロック図である。図１において、システムバス１０１は、画像データや撮影パラメータ等の各種データ、制御信号、及び指示信号などを撮像装置１００の各部に送るための汎用バスである。

ＣＰＵ１０２は、コンピュータプログラムを実行して各種処理を行ったり、撮像装置１００の各部を制御したり、撮像装置１００の各部相互間でのデータ転送を制御したりする。また、ＣＰＵ１０２は、ユーザからの操作を受け付ける入力部１０６からの入力信号に応じて、撮像装置１００の各部を制御する。

ＲＯＭ１０３は、電気的に消去・記録可能な不揮発性メモリであり、例えばＦｌａｓｈ ＲＯＭ等が用いられる。ＲＯＭ１０３には、撮像装置１００を制御するための各種制御プログラムが格納されている。

ＲＡＭ１０４は、ＣＰＵ１０２の動作用の定数、変数、プログラム等を記憶するメモリである。また、ＲＡＭ１０４は、撮像部１０５で撮像して得られた画像データを記憶する。

撮像部１０５は、撮像光学系と、撮像素子（例えばＣＭＯＳセンサ）及びその周辺回路とを含み、撮像光学系により形成された被写体像を電荷に変換して蓄積する。そして、蓄積電荷を読み出して生成した電気信号としてのアナログ撮像信号をデジタル撮像信号に変換して各種画像処理を施し、画像データを出力する。

ＣＰＵ１０２は、撮像部１０５に以下の２種類の撮像を行わせるように制御する。１つ目の制御として、ＣＰＵ１０２は、撮像部１０５に、ユーザからの撮像指示に応じて記録用の静止画像を生成するための静止画撮像を行わせる。２つ目の制御として、ＣＰＵ１０２は、撮像部１０５に、静止画撮像前にユーザがフレーミングを行うために用いる表示用の動画像を生成するためのライブビュー撮像（ＬＶ撮像）を行わせる。

入力部１０６は、電源ボタン、シャッターボタン等の撮像に関連する操作を入力するスイッチ類により構成されている。また、入力部１０６は、シャッタースピード、絞り値、ＩＳＯ感度等の撮影パラメータを設定するための設定ダイヤル、ストロボ設定ボタン、及びタッチパネル等を含む。

表示部１０７は、撮像部１０５により生成されたライブビュー画像（ＬＶ画像）を表示したり、ユーザが撮像装置１００を操作するための操作画像（メニュー画像）等を表示したりする。また、表示部１０７は、ユーザからの撮像指示に応じて記録した静止画像をプレビュー表示する。表示部１０７は、液晶ディスプレイ、有機ＥＬディスプレイ、又は電子ペーパー等の表示デバイスにより構成される。

ストロボ発光部１０８は、ＣＰＵ１０２から発光タイミングや発光量（ガイドナンバー）等の指示を受けて、指示された発光タイミングと発光量とに応じて照明光を発する。ストロボ発光部１０８によるストロボ発光と同期させて撮像部１０５による撮像を行うことで、暗い環境下でも適正な露出で被写体を撮像することができる。

ＧＰＵ１０９は、複数のコアを用いて計算を行う集積回路である。ＧＰＵ１０９は、データをより多く並列処理することで効率的な演算を行うことができるので、ディープラーニングのような学習モデルを用いて複数回に亘り学習を行う場合にはＧＰＵ１０９で処理を行うことが有効である。そこで本実施形態では、後述する学習部２０５による処理にはＣＰＵ１０２に加えてＧＰＵ１０９を用いるものとする。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ１０２とＧＰＵ１０９が協働して演算を行うことで学習を行う。

なお、学習部２０５の処理は、ＣＰＵ１０２又はＧＰＵ１０９のみにより演算が行われてもよい。また、後述する推定部２０７による処理についても、学習部２０５と同様にＧＰＵ１０９を用いてもよい。また、ＧＰＵ１０９は、学習モデルに関する各種パラメータを保持する不揮発性メモリを備えていてもよい。

図２は、図１のハードウェア資源とプログラムとを利用することで実現されるソフトウェア構成を示すブロック図である。図２の各部の機能は、ＲＯＭ１０３に格納されている各種制御プログラムをＣＰＵ１０２が実行することで実現する。

図２において、学習用ＬＶ画像生成部２０１は、撮像部１０５により生成されたＬＶ画像を学習用ＬＶ画像としてＲＡＭ１０４に格納する。

推定用ＬＶ画像生成部２０２は、撮像部１０５により生成されたＬＶ画像を推定用ＬＶ画像としてＲＡＭ１０４に格納する。

撮影パラメータ設定部２０３は、推定部２０７により推定された撮影パラメータをＲＡＭ１０４に記録し、撮像部１０５の制御用データとして使用できるようにする。撮影パラメータとは、例えばシャッタースピード、絞り値、及びＩＳＯ感度等である。また、撮影パラメータ設定部２０３は、設定された撮影パラメータを表示部１０７に表示して、ユーザが確認、変更できるようにする。撮影パラメータを変更する際には、撮影パラメータ設定部２０３は、入力部１０６によるユーザ入力を受け付け、ＲＡＭ１０４に保持された値を変更する。

学習用データ生成部２０４は、学習用ＬＶ画像生成部２０１により得られた学習用ＬＶ画像を「入力データ」、撮影パラメータ設定部２０３により得られた撮影パラメータを「正解データ」とする学習用データを生成し、ＲＡＭ１０４に格納する。

学習部２０５は、ＣＰＵ１０２及びＧＰＵ１０９により学習モデルの学習を行う。具体的には、学習部２０５は、ＬＶ画像を「入力データ」として用い、撮影パラメータを「推定データ」として出力する学習モデルについて、学習用データ生成部２０４で生成した学習用データを用いて学習を行う。

学習部２０５は、誤差検出部と、更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるようにニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

データ記憶部２０６は、学習部２０５により学習された学習モデルの各種パラメータをＲＯＭ１０３やＧＰＵ１０９内の不揮発性メモリ等に格納する。学習モデルの各種パラメータとは、例えば、ニューラルネットワークの各ノード間の結合重み付け係数等である。

推定部２０７は、データ記憶部２０６から取得した各種パラメータを学習モデルに設定し、推定用ＬＶ画像生成部２０２により得られた推定用ＬＶ画像を「入力データ」として用いて撮影パラメータを推定する。

図３は、本実施形態の学習モデルを用いた入出力の構造を示す概念図である。図２における学習部２０５及び推定部２０７は、図３に示す学習モデルを使用する。

学習モデル３０３は、入力された画像に応じた撮影パラメータを出力する学習モデルである。図３の例では、学習モデル３０３の入力データはＬＶ画像３０１である。本実施形態では、ＬＶ画像３０１としては、図２の学習用ＬＶ画像生成部２０１又は推定用ＬＶ画像生成部２０２により得られたＬＶ画像が使用される。

学習モデル３０３の出力データは撮影パラメータ３０２である。撮影パラメータ３０２は、撮像装置１００による撮像の制御用データとして使用される各種パラメータである。撮影パラメータ３０２は、例えば、図３に出力データとして示す１６種類のパラメータ（シャッタースピード、絞り値、及びＩＳＯ感度など）を含むことができる。なお、ここで挙げた各種パラメータのうち、学習モデル３０３で推定させたいパラメータのみを撮影パラメータ３０２として使用することができる。

なお、学習モデル３０３は、ニューラルネットワークであり、特に画像認識に広く用いられる畳み込みニューラルネットワーク等を使用することができる。そして、学習アルゴリズムとしては、学習するための特徴量及び結合重み付け係数を自ら生成する深層学習（ディープラーニング）を適用することができる。

図４は、図３で示した学習モデルの構造を利用する場合における撮像装置１００の動作を説明する図である。図４では、被写体として滝を撮影する例を示している。

Ｓ４０１で、撮像装置１００は、被写体として滝のＬＶ画像を撮影し、推定用ＬＶ画像生成部２０２及び推定部２０７を用いて撮影パラメータを推定する。

Ｓ４０２は、Ｓ４０１において推定された撮影パラメータがユーザの意図に合わない場合を示している。Ｓ４０２で、ユーザは撮影パラメータ設定部２０３により撮影パラメータを変更する。ここでは、ユーザがシャッタースピードをより長秒設定に変更したものとする。この変更に伴い、Ｆ値が大きくなり、ＩＳＯ感度が小さくなる。

Ｓ４０３で、撮像装置１００は、ユーザによるシャッターボタンの押下に応じて静止画撮影を行うと共に、学習用ＬＶ画像生成部２０１及び学習用データ生成部２０４を用いて学習用データを生成する。ここでは、学習用ＬＶ画像生成部２０１は、学習用ＬＶ画像として、ユーザが意図した記録用静止画（長秒露光画像）ではなく、ＬＶ画像（ライブビューのフレームレートでの露光画像）を取得する
Ｓ４０４で、撮像装置１００は、学習部２０５を用いて学習モデルの学習を行う。ここでは、学習部２０５は、滝のＬＶ画像の入力に対して、Ｓ４０２においてユーザが設定した撮影パラメータが出力されるような、学習を行う。

Ｓ４０５は、学習モデルの学習後の動作を示している。撮像装置１００は、Ｓ４０１と同様に被写体として滝のＬＶ画像を撮影し、推定用ＬＶ画像生成部２０２及び推定部２０７を用いて撮影パラメータを推定する。しかしながら、ここではＳ４０４において学習が行われた学習モデル（学習済みモデル）が使用されるため、Ｓ４０１と異なり、ユーザの意図に合う撮影パラメータ（長秒設定）が推定結果として得られる。

本実施形態の撮像装置１００は、ＬＶ画像からユーザの意図する撮影パラメータを推定している。ここで、ＬＶ画像と撮影パラメータの間の相関関係について説明する。ユーザは様々な撮影シーンに応じて撮影パラメータの設定を行い、撮影を行う。例えば、ユーザは、前述した滝のシーンにおいてシャッタースピードを長秒設定にしたり、人物を撮影するシーンにおいて絞り設定を変更して被写界深度をコントロールしたり、暗いシーンにおいてストロボ発光設定をＯＮにしたりする。このように、撮影シーンと撮影パラメータとの間には比較的強い相関があり、撮影シーンの識別のためにはＬＶ画像を用いることができる。従って、ＬＶ画像からユーザの意図する撮影パラメータを推定する学習モデルの学習が可能であるといえる。

図５は、第１の実施形態に係る学習フェーズにおける学習の詳細な流れを示すフローチャートである。入力部１０６の電源ボタンの操作により撮像装置１００が起動すると、本フローチャートの処理が開始する。

Ｓ５０１で、ＣＰＵ１０２は、撮像部１０５を用いて、ＬＶ画像を繰り返し撮影する制御（ＬＶ撮影）を開始する。ＬＶ撮影により逐次生成されるＬＶ画像は、表示部１０７により逐次表示される。ＬＶ画像の撮影は、静止画撮影用の撮影パラメータ（本撮影用の撮影パラメータ）とは異なる撮影パラメータ（ライブビュー撮影用の撮影パラメータ）に従って行われる。

Ｓ５０２で、ＣＰＵ１０２は、推定フェーズの処理を行い、撮像部１０５の静止画撮影用の撮影パラメータとして、撮影シーンに応じた撮影パラメータを設定する。Ｓ５０２の処理の詳細は後述する。

Ｓ５０３で、ＣＰＵ１０２は、入力部１０６のシャッターボタンの操作により撮影が指示されたか否かを判定する。撮影が指示されていないとＣＰＵ１０２が判定した場合、処理はＳ５０４へ進み、撮影が指示された（ユーザによる本撮影指示が行われた）とＣＰＵ１０２が判定した場合、処理はＳ５０５へ進む。

Ｓ５０４で、ＣＰＵ１０２は、入力部１０６の設定ダイヤルの操作により静止画撮影用の撮影パラメータの設定が変更されたか否かを判定する。設定が変更されたとＣＰＵ１０２が判定した場合、処理はＳ５０３へ戻り、設定が変更されていないとＣＰＵ１０２が判定した場合、処理はＳ５０２へ戻る。なお、撮影パラメータの設定変更は、撮影パラメータ設定部２０３により行われる。即ち、撮影パラメータ設定部２０３は、Ｓ５０２において設定された本撮影用の撮影パラメータを、入力部１０６を用いたユーザによる変更指示に従って変更する。

撮影前の状態では、被写体や画角は変動し続けるので、ＣＰＵ１０２は、最新のＬＶ画像を用いて静止画撮影用の撮影パラメータを推定して設定を更新する処理を繰り返す。但し、ユーザが意図的に撮影パラメータを変更した場合は、それ以降は撮影パラメータの推定は行われず、ＣＰＵ１０２は、推定結果ではなくユーザの意図した撮影パラメータを設定値として保持するように制御する。

Ｓ５０５で、ＣＰＵ１０２は、学習用ＬＶ画像生成部２０１を用いて、撮影指示のタイミングで取得された最新のＬＶ画像を学習用ＬＶ画像（第１のライブビュー画像）としてＲＡＭ１０４に記憶する。

Ｓ５０６で、ＣＰＵ１０２は、撮影パラメータ設定部２０３を用いて、撮影指示のタイミングに対応する最新の撮影パラメータをＲＡＭ１０４に記憶する。

Ｓ５０７で、ＣＰＵ１０２は、撮像部１０５を用いて、最新の本撮影用の撮影パラメータに従って静止画撮影（本撮影）を行い、記録用静止画を生成する。静止画撮影は、Ｓ５０６において記憶された最新の撮影パラメータに従って行われる。

Ｓ５０８で、ＣＰＵ１０２は、学習用データ生成部２０４を用いて、Ｓ５０５及びＳ５０６において記憶された学習用ＬＶ画像（本撮影の直前に撮影されたライブビュー画像）及び撮影パラメータを含む学習用データ（教師データ）を生成する。

Ｓ５０９で、ＣＰＵ１０２は、学習部２０５を用いて学習モデルの学習を行う。ここでの学習は、Ｓ５０８において生成された学習用データに基づいて行われる。

Ｓ５１０で、ＣＰＵ１０２は、データ記憶部２０６を用いて、Ｓ５０９の学習結果を記憶する。

図６は、推定フェーズ（図５のＳ５０２）における推定の詳細な流れを示すフローチャートである。

Ｓ６０１で、ＣＰＵ１０２は、推定タイミングにおける最新のＬＶ画像をＲＡＭ１０４に記憶する。

Ｓ６０２で、ＣＰＵ１０２は、推定用ＬＶ画像生成部２０２を用いて、Ｓ６０１において記憶したＬＶ画像を推定用ＬＶ画像（第２のライブビュー画像）として取得する。

Ｓ６０３で、ＣＰＵ１０２は、推定部２０７を用いて、学習モデルに基づく撮影パラメータの推定を行う。

Ｓ６０４で、ＣＰＵ１０２は、撮影パラメータ設定部２０３を用いて、Ｓ６０３において推定された撮影パラメータを静止画撮影用の撮影パラメータとして設定する。

以上説明したように、第１の実施形態によれば、撮像装置１００は、本撮影用の撮影パラメータと、ＬＶ撮影により撮影されたＬＶ画像とに基づき、学習モデルの学習を行う。従って、画像を入力として撮影パラメータを推定する学習モデルにおいて、推定精度（ユーザの意図に近い推定結果が得られる可能性）を向上させることが可能となる。例えば、長秒撮影で滝を撮影した場合など、撮影画像とＬＶ画像との差が大きい場合においても、ＬＶ画像を入力とした推定において期待通りの出力が得られる可能性が向上する。

なお、図５のフローチャートでは、Ｓ５０３において撮影が指示された場合は常にＳ５０５、Ｓ５０６、及びＳ５０８〜Ｓ５１０の学習処理が行われる。しかしながら、Ｓ５０４においてユーザ操作により撮影パラメータの設定が変更されたと判定された場合にのみ学習処理を行う構成を採用してもよい。これは、ユーザが撮影パラメータを変更しないで静止画撮影を行った場合、使用された撮影パラメータにユーザの意図が反映されているとは限らないからである。従って、ユーザが撮影パラメータを変更して撮影を行った場合にのみ学習処理を行う構成を採用することにより、学習結果がユーザの意図に沿う可能性を向上させることができる。

また、静止画撮影が行われたタイミングですぐに学習処理を行うのではなく、学習用データをＲＡＭ１０４にしばらく保持しておき、別のタイミングで（所定の条件が満たされたことに応じて）学習処理を行う構成を採用してもよい。この場合において、静止画撮影後にユーザが得られた記録用静止画を消去した場合には、ＣＰＵ１０２は、対応する学習用データをＲＡＭ１０４から破棄し、学習処理を行わないように制御してもよい。即ち、ＣＰＵ１０２は、本撮影により取得された画像が消去された後に所定の条件が満たされた場合には、学習モデルの学習を行わないように制御してもよい。なお、所定の条件は、例えば、本撮影が行われた後に所定の時間が経過した場合に満たされる。

また、図５のフローチャートでは、Ｓ５０３において撮影が指示された後にＳ５０５でのＬＶ画像の記憶が行われる。換言すると、ユーザによる本撮影指示に応じて、学習用ＬＶ画像（第１のライブビュー画像）として用いられるＬＶ画像が撮影される。しかしながら、シャッターボタンが半押しされたときに、学習用ＬＶ画像として用いられるＬＶ画像を記憶する構成を採用してもよい。これは、撮影が指示された後（シャッターボタンが全押しされた後）でＬＶ画像の記憶を行うと、Ｓ５０７における静止画撮影のタイミングが遅くなり、撮影タイムラグが大きくなる可能性があるためである。シャッターボタンが半押しされたとき（シャッターボタンが半押しされてから全押しされるまでの間）にＬＶ画像の記憶を済ませておくことで、撮影タイムラグを短縮できる。シャッターボタンが半押しされるタイミングは、ユーザが被写体や撮影画角を確定した場合であることが多いため、このタイミングで得られたＬＶ画像を学習用ＬＶ画像として使用しても、学習精度が低下する可能性は低いと考えられる。

［第２の実施形態］
第２の実施形態では、ユーザが暗い環境下においてストロボを発光させて撮影を行う場合における撮影パラメータの推定処理及び学習処理について説明する。本実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である（図１及び図２参照）。以下、主に第１の実施形態と異なる点について説明する。

本実施形態において、撮像装置１００の入力部１０６は、推定指示ボタンを備える。ユーザは、推定指示ボタンを操作することにより、撮影指示前の任意のタイミングで撮像装置１００に撮影パラメータの推定及び設定を行わせることができる。

図７は、第２の実施形態に係る学習フェーズにおける学習の詳細な流れを示すフローチャートである。図７において、図５と同一又は同様の処理が行われるステップには同一の符号を付す。入力部１０６の電源ボタンの操作により撮像装置１００が起動すると、本フローチャートの処理が開始する。

Ｓ７０１で、ＣＰＵ１０２は、入力部１０６の推定指示ボタンの操作により撮影パラメータの推定が指示されたか否かを判定する。推定が指示されたとＣＰＵ１０２が判定した場合、処理はＳ７０２へ進み、推定が指示されていないとＣＰＵ１０２が判定した場合、処理はＳ５０３へ進む。

Ｓ７０２で、ＣＰＵ１０２は、ストロボ発光部１０８を用いてストロボの微小発光を行う。なお、ＣＰＵ１０２は、静止画撮影前に微小な発光量で被写体を照射して、照明された被写体の輝度を測定し、静止画撮影のためのストロボ発光量を決定する処理を実行可能である。Ｓ７０２では、ＣＰＵ１０２は、静止画撮影のためのストロボ発光量を決定する処理を行う場合と同様に微小な発光量で被写体を照射するが、ここでの微小発光の目的は、推定フェーズでの使用に適したＬＶ画像を取得することである。Ｓ７０２において微小発光を行ってからＳ５０２の推定フェーズの処理を実行することにより、暗い環境下でも、被写体の識別が可能な（即ち、撮影パラメータの推定に適した）推定用ＬＶ画像をＳ６０１において記憶することができる。

Ｓ７０３で、ＣＰＵ１０２は、ストロボ発光部１０８を用いてストロボの微小発光を行い、静止画撮影のためのストロボ発光量を決定する。ここで微小発光を行ってからＳ５０５のＬＶ画像の記憶処理を実行することで、暗い環境下でも、被写体の識別が可能な（即ち、学習モデルの学習に適した）学習用ＬＶ画像を得ることができる。

Ｓ７０４で、ＣＰＵ１０２は、ストロボ発光部１０８を用いて、Ｓ７０３において決定したストロボ発光量で本発光（静止画撮影のためのストロボ発光）を行う。

以上説明したように、第２の実施形態によれば、撮像装置１００は、学習用ＬＶ画像（第１のライブビュー画像）及び推定用ＬＶ画像（第２のライブビュー画像）の撮影時にストロボの微小発光を行う。これにより、暗い環境下でも、学習及び推定に適したＬＶ画像を取得することが可能となる。

なお、本実施形態では、暗い環境下においてストロボを発光させて静止画撮影を行う場合について説明したが、ストロボを発光しない場合に対しても、入力部１０６の推定指示ボタンの操作に応じて撮影パラメータの推定を行う構成を適用することができる。この場合、ＣＰＵ１０２は、Ｓ７０１において入力部１０６の推定指示ボタンが操作されたと判定したことに応じて、Ｓ７０１の処理（微小発光）を実行せずにＳ５０２の推定フェーズの処理を実行するように制御する。また、Ｓ７０３及びＳ７０４でのストロボの微小発光及び本発光も行われない。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…撮像装置、１０１…システムバス、１０２…ＣＰＵ、１０３…ＲＯＭ、１０４…ＲＡＭ、１０５…撮像部、１０６…入力部、１０７…表示部、１０８…ストロボ発光部

Claims (25)

1. ライブビュー撮影用の撮影パラメータに従ってライブビュー画像を繰り返し撮影するライブビュー撮影手段と、
   本撮影用の撮影パラメータに従って本撮影を行う本撮影手段と、
   第１の本撮影が行われた後に、前記第１の本撮影用の撮影パラメータと、前記第１の本撮影に対応するシーンを撮影した第１のライブビュー画像とに基づき、第２のライブビュー画像に応じた第２の本撮影用の撮影パラメータを出力する学習モデルの学習を行う学習手段と、
   を備えることを特徴とする撮像装置。
2. 前記第１の本撮影により取得された画像を消去する消去手段を更に備え、
   前記学習手段は、前記第１の本撮影が行われた後に所定の条件が満たされたことに応じて前記学習モデルの学習を行い、
   前記学習手段は、前記第１の本撮影により取得された前記画像が消去された後に前記所定の条件が満たされた場合には、前記学習モデルの学習を行わない
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記所定の条件は、前記第１の本撮影が行われた後に所定の時間が経過した場合に満たされる
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記本撮影手段は、シャッターボタンが全押しされたことに応じて前記本撮影を行い、
   前記学習手段は、前記シャッターボタンが半押しされてから全押しされるまでの間に撮影されたライブビュー画像を前記第１のライブビュー画像として用いる
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記学習手段は、前記第１の本撮影の直前に前記ライブビュー撮影手段により撮影されたライブビュー画像を前記第１のライブビュー画像として用いる
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 前記ライブビュー撮影手段は、ユーザによる本撮影指示に応じて、前記学習手段により前記第１のライブビュー画像として用いられるライブビュー画像を撮影し、
   前記本撮影手段は、前記第１のライブビュー画像の撮影後に前記第１の本撮影を行う
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記第１のライブビュー画像の撮影時に発光手段を発光させるように制御する制御手段を更に備える
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記制御手段は、前記第１のライブビュー画像の撮影時に前記発光手段により照明された被写体の輝度に基づいて前記第１の本撮影のための発光量を決定し、前記第１の本撮影が行われる際に当該決定した発光量で前記発光手段を発光させるように制御する
   ことを特徴とする請求項７に記載の撮像装置。
9. 前記ライブビュー撮影手段により撮影された第２のライブビュー画像を前記学習モデルに入力することにより取得された撮影パラメータを前記第２の本撮影用の撮影パラメータとして設定する設定手段を更に備え、
   前記制御手段は、前記第２のライブビュー画像の撮影時に前記発光手段を発光させるように制御する
   ことを特徴とする請求項７又は８に記載の撮像装置。
10. 前記ライブビュー撮影手段により撮影された第２のライブビュー画像を前記学習モデルに入力することにより取得された撮影パラメータを前記第２の本撮影用の撮影パラメータとして設定する設定手段と、
    前記設定手段により設定された前記第２の本撮影用の撮影パラメータを、ユーザによる変更指示に従って変更する変更手段と、
    を更に備え、
    前記学習手段は、前記変更手段により前記第２の本撮影用の撮影パラメータが変更された場合に、前記学習モデルの学習を行う
    ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
11. 撮像装置が実行する制御方法であって、
    ライブビュー撮影用の撮影パラメータに従ってライブビュー画像を繰り返し撮影するライブビュー撮影工程と、
    本撮影用の撮影パラメータに従って本撮影を行う本撮影工程と、
    第１の本撮影が行われた後に、前記第１の本撮影用の撮影パラメータと、前記第１の本撮影に対応するシーンを撮影した第１のライブビュー画像とに基づき、第２のライブビュー画像に応じた第２の本撮影用の撮影パラメータを出力する学習モデルの学習を行う学習工程と、
    を備えることを特徴とする制御方法。
12. コンピュータを、請求項１乃至１０のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
13. ライブビュー撮影用の撮影パラメータに従ってライブビュー画像を繰り返し撮影するライブビュー撮影手段と、
    本撮影用の撮影パラメータに従って本撮影を行う本撮影手段と、
    第１の本撮影用の撮影パラメータを学習用の教師データ、前記第１の本撮影の前に前記第１の本撮影に対応するシーンを撮影した第１のライブビュー画像を学習用の入力データとして学習した学習済みモデルを用いて、前記ライブビュー撮影手段によって繰り返し撮影される第２のライブビュー画像に基づき撮影パラメータを決定する決定手段と、
    前記決定手段により決定された撮影パラメータを第２の本撮影用の撮影パラメータとして設定する設定手段と、
    を備えることを特徴とする撮像装置。
14. ライブビュー撮影用の撮影パラメータを用いて繰り返し実行された撮影により得られたライブビュー画像を取得するライブビュー画像取得手段と、
    ユーザの指示に従って本撮影用の撮影パラメータを用いて実行された本撮影により得られた本画像を取得する本画像取得手段と、
    第１の本撮影に用いた前記第１の本撮影用の撮影パラメータと、前記第１の本撮影に対応する第１のライブビュー画像とに基づき、第２のライブビュー画像に応じた第２の本撮影用撮影パラメータを出力するモデルを生成する生成手段と
    を備えることを特徴とするモデル生成システム。
15. 前記生成手段により生成されるモデルは、第２のライブビュー画像に応じた第２の本撮影用撮影パラメータを出力する推論モデルである
    ことを特徴とする請求項１４に記載のモデル生成システム。
16. 前記生成手段は、前記第１の本撮影用の撮影パラメータを教師データとし、前記第１のライブビュー画像を入力データとした学習処理によって学習済みモデルを前記モデルとして生成する
    ことを特徴とする請求項１４に記載のモデル生成システム。
17. 前記生成手段は、前記第１の本撮影用の撮影パラメータを教師データとし、前記第１のライブビュー画像を入力データとした学習処理によって学習済みモデルを生成し、
    前記モデル生成システムは更に、前記生成手段により生成された学習済みモデルに、第２のライブビュー画像を入力することで実行される推論処理により、第２の本撮影用の撮影パラメータを自動的に設定する設定手段を有する
    ことを特徴とする請求項１４に記載のモデル生成システム。
18. ライブビュー撮影用の撮影パラメータを用いて繰り返し実行された撮影により得られたライブビュー画像を取得するライブビュー画像取得工程と、
    ユーザの指示に従って本撮影用の撮影パラメータを用いて実行された本撮影により得られた本画像を取得する本画像取得工程と、
    第１の本撮影に用いた前記第１の本撮影用の撮影パラメータと、前記第１の本撮影に対応する第１のライブビュー画像とに基づき、第２のライブビュー画像に応じた第２の本撮影用撮影パラメータを出力するモデルを生成する生成工程と
    を備えることを特徴とするモデルの製造方法。
19. 第１の本撮影用の撮影パラメータを用いて実行される第１の本撮影が実行される前にライブビュー撮影用の撮影パラメータを用いて繰り返し実行された撮影により得られた、前記第１の本撮影に対応する第１のライブビュー画像を取得するライブビュー画像取得手段と、
    第２の本撮影に対応する第２のライブビュー画像と学習済みモデルとに基づき、前記第２の本撮影用の撮影パラメータを決定する決定手段と
    を備えることを特徴とする撮影パラメータ決定システム。
20. 前記決定手段は、前記第２のライブビュー画像と、前記撮影パラメータに関する学習済みモデルとに基づき、前記第２の本撮影用の撮影パラメータを決定する
    ことを特徴とする請求項１９に記載の撮影パラメータ決定システム。
21. 前記決定手段は、学習済みモデルに前記第２のライブビュー画像を入力することで実行される推論処理により、前記第２の本撮影用の撮影パラメータを決定する
    ことを特徴とする請求項１９に記載の撮影パラメータ決定システム。
22. 前記決定手段は、前記第１の本撮影に用いた前記第１の本撮影用の撮影パラメータと前記第１の本撮影に対応する前記第１のライブビュー画像とに基づき生成された学習済みモデルに前記第２のライブビュー画像を入力することで、第２の本撮影用の撮影パラメータを決定する
    ことを特徴とする請求項１９に記載の撮影パラメータ決定システム。
23. 前記決定手段は、前記第１の本撮影に用いた前記第１の本撮影用の撮影パラメータを教師データとし、前記第１の本撮影に対応する第１のライブビュー画像を入力データとした学習処理によって生成された学習済みモデルに前記第２のライブビュー画像を入力することで実行される推論処理により、前記第２の本撮影用の撮影パラメータを決定する
    ことを特徴とする請求項１９に記載の撮影パラメータ決定システム。
24. 前記第１の本撮影に用いた前記第１の本撮影用の撮影パラメータを教師データとし、前記第１の本撮影に対応する前記第１のライブビュー画像を入力データとした学習処理によって学習済みモデルを生成する生成手段をさらに有し、
    前記決定手段は、前記生成手段により生成された前記学習済みモデルに前記第２のライブビュー画像を入力することで実行される推論処理により、前記第２の本撮影用の撮影パラメータを決定する
    ことを特徴とする請求項１９に記載の撮影パラメータ決定システム。
25. 第１の本撮影用の撮影パラメータを用いて実行される第１の本撮影が実行される前にライブビュー撮影用の撮影パラメータを用いて繰り返し実行された撮影により得られた、前記第１の本撮影に対応する第１のライブビュー画像を取得するライブビュー画像取得工程と、
    第２の本撮影に対応する第２のライブビュー画像と学習済みモデルとに基づき、前記第２の本撮影用の撮影パラメータを決定する決定工程と
    を備えることを特徴とする撮影パラメータ決定システムの制御方法。

Images