JP7377048B2 - 画像処理装置及び方法、及び撮像装置 - Google Patents

Description

本発明は、画像処理装置及び方法、及び撮像装置に関し、特に、撮影した画像を表示装置に表示する技術に関する。

撮像装置には、撮影を連続して行い、得られた画像を表示装置に逐次表示するライブビュー（ＬＶ）機能を有するものがある。一般にＬＶ用の画像（以下、「ＬＶ画像」と記す。）は一定間隔で撮影され、逐次表示されるため、ユーザは、被写体をＬＶ表示で確認しながら、被写体の画像を撮影し、記録することができる。

撮像装置が撮像センサを１つだけ有する場合、撮像センサは、静止画像の画像データ出力とＬＶ画像の画像データ出力の両方を行う必要がある。そのため、撮像センサが静止画像を撮影するための駆動を行っている間は、ＬＶ画像を撮影するための駆動を行うことはできない。特に、ＬＶ表示中に静止画像の連写を行う場合、撮影開始のタイミングと連写間隔によっては、静止画像の撮影タイミングとＬＶ画像の撮影タイミングとが重なることがある。その場合、ＬＶ画像が得られないため、ＬＶ表示では前フレームのＬＶ画像を複数回表示させることによる画面のフリーズ、もしくは、表示画面全体に固定色を表示する、所謂ブラックアウトが起こることとなる。

このようにあるフレームのＬＶ画像が得られない場合、その前後のＬＶ画像を合成することで、得られなかったフレームの代替ＬＶ画像を生成して表示することが考えられる。

その場合に、特許文献１に記載されているように、ビューモデルを用いて前景画像、背景画像を各々画像処理により生成し、非更新フレームの代替フレーム画像として表示することが考えられる。この技術は、時刻ｓの画像の特徴に対して、前景画像及び背景画像各々の画像特徴量をパラメータとした各々のビューモデルに対して幾何的な変換を施して合成した合成ビューと、時刻ｓの画像特徴量を比較することでビューモデルを学習する手法としている。

特開２０１２－２１２３２２号公報

しかしながら、前後フレームを用いた画像合成や、特許文献１に開示される従来技術においては、生成される画像の精度は低く、実像との差が大きいため、視認性の悪化は大きくは改善されない。

さらに、静止画の露光時間が長くなると、ブラックアウト期間もしくはＬＶ画像の非更新期間は長くなり、非更新フレームの代替フレームの生成精度は更に悪化し、視認性はさらに悪くなる。

本発明は上記問題点を鑑みてなされたものであり、静止画像の撮影時に、ＬＶ表示の品質を高めることを目的とする。

上記目的を達成する為に、本発明の画像処理装置は、撮像素子により撮影されたフレーム画像における予め決められた外乱を抑制する抑制手段と、前記外乱が抑制された少なくとも１枚の第１のフレーム画像から、当該第１のフレーム画像とは異なる時点における第２のフレーム画像を、学習モデルを用いて推定する推定手段と、前記第２のフレーム画像に、前記外乱を付加する付加手段と、を有することを特徴とする。

本発明によれば、静止画像の連写時にＬＶ表示の品質を高めることができる。

本発明の実施形態における撮像装置の概略構成を示すブロック図。 第１の実施形態における推定画像生成部で用いられる学習モデルの学習方法を説明する図。 第１の実施形態における推定画像生成部による学習モデルを用いた代替画像生成処理を説明する図。 第１の実施形態におけるＬＶ表示中に静止画像の連写を行う場合のＬＶ画像を説明するためのタイミングチャート。 第１の実施形態におけるＬＶ表示中に静止画像の連写を行う場合の代替ＬＶ画像の生成処理を示すフローチャート。 第１の実施形態における外乱除去処理を示すフローチャート。 第１の実施形態におけるＬＶ表示の表示フレームレートと学習モデルの学習時のフレームレートとの関係を示す図。 第１の実施形態の変形例における外乱除去処理に用いられる学習モデルの学習方法を説明する図。 第１の実施形態の変形例における外乱付加処理に用いられる学習モデルの学習方法を説明する図。 第２の実施形態における推定画像生成部で用いられる学習モデルの学習方法を説明する図。 第２の実施形態における推定画像生成部による学習モデルを用いた代替画像生成処理を説明する図。 第２の実施形態におけるＬＶ表示中に静止画像の連写を行う場合のＬＶ画像を説明するためのタイミングチャート。 第３の実施形態における推定画像生成部で用いられる学習モデルの学習方法を説明する図。 第３の実施形態における推定画像生成部による学習モデルを用いた代替画像生成処理を説明する図。 第３の実施形態の変形例におけるＬＶ表示中に静止画像の連写を行う場合のＬＶ画像を説明するためのタイミングチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１の実施形態＞
以下、本発明の第１の実施形態について説明する。なお本実施形態では、本発明を撮像装置に適用した場合について説明する。また、撮像装置をデジタルカメラとして説明するが、デジタルビデオカメラ、スマートフォン、カメラ付き携帯電話、車載カメラ等の様々な撮像装置に適用することが可能である。

図１は、第１の実施形態に係るデジタルカメラの構成例を示すブロック図である。

図１において、撮像素子１００は、ＣＣＤやＣＭＯＳセンサ等の撮像素子であり、受光した被写体像を電気信号（画素信号）に変換して出力する。撮像素子１００から出力された画素信号は、データ転送部１０５を介して一時記録部１０７へ書き込まれる。

画像処理部１０１は、データ転送部１０５を介して一時記録部１０７から画素信号を入力し、画像処理を行って画像データを生成する。なお、画像処理部１０１で行われる画像処理は、画素補正、黒レベル補正、シェーディング補正、傷補正、ホワイトバランス調整、倍率色収差補正、ガンマ補正や輝度・色生成処理、幾何変形、ノイズリダクション、拡大縮小などの複数の処理を含む。また、画像処理部１０１は、画像処理を適切に行うために、画像の分割領域毎または画像全体に対する平均輝度、ヒストグラム、動き量などの評価値や、被写体領域の検出を行った上で、被写体領域の平均輝度、ヒストグラム、動き量などの評価値を取得する。これらの評価値は、例えばホワイトバランス調整、倍率色収差補正、ガンマ補正、輝度・色生成処理などに使用される。画像処理部１０１で生成された画像データは、データ転送部１０５を介して一時記録部１０７へ記録される。

表示部１０２は、データ転送部１０５と接続され、データ転送部１０５を介して画像処理部１０１で処理された画像データ、あるいは後述する外乱付加部１１１で処理した画像データを入力し、表示デバイス１０３に表示する表示制御を行う。表示部１０２は、必要に応じて画像データの輝度・色調整を施した上で、表示デバイス１０３に合わせたフォーマット変換など複数の処理を実行し、表示デバイス１０３へ表示画像を転送する。ここでは、例えば、表示デバイス１０３のサイズに合わせるために、画像の周辺に固定色の画素を追加する処理や、表示データに撮影時間などの埋め込み処理を行う。更に、所謂、ＯＳＤ（Ｏｎ－Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）画像を重畳する処理なども行う。

表示デバイス１０３は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＥＶＦ（Ｅｌｅｃｔｒｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）などであり、後述する表示Ｖ同期信号に応じて、表示部１０２から転送される画像の表示を行う。

操作部１１２は、不図示の複数の操作部材に対するユーザー操作を検知して、操作内容を示す信号をバス１０６を介して制御部１０４に送る。なお、複数の操作部材は、静止画像の撮影を指示するためのシャッターレリーズボタンを含み、シャッターレリーズボタンの第１操作（例えば、半押し）によりスイッチＳＷ１がＯＮし、静止画像の撮影準備が指示される。また、シャッターレリーズボタンの第２操作（例えば、全押し）によりスイッチＳＷ２がＯＮし、静止画像の撮影が指示される。なお、スイッチＳＷ２のＯＮ状態が継続している場合には、ＯＮ状態が継続している間、静止画像の連写が指示される。

制御部１０４は、マイクロコンピュータなどで構成され、デジタルカメラ全体の動作制御を司り、デジタルカメラを構成する各機能ブロックに対して様々な指示を行い、各種の制御処理を実行する。その際、制御部１０４は、バス１０６を介して接続された画像処理部１０１、表示部１０２、データ転送部１０５、一時記録部１０７、記録部１０８、外乱除去部１０９、推定画像生成部１１０、外乱付加部１１１を制御する。なお、制御部１０４は、記録部１０８に記録されたプログラムを実行することで、本実施形態における各処理を実現する。

データ転送部１０５は、データ転送を行う複数のＤｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓコントローラ（ＤＭＡＣ）の不図示のＷＲＤＭＡＣとＲＤＤＭＡＣで構成される。画像データは、ＷＲＤＭＡＣによってバス１０６に出力され、一時記録部１０７に一時記憶される。一時記録部１０７に記憶された画像データは、ＲＤＤＭＡＣによってバス１０６に出力され、適宜、データ転送部１０５に接続されている画像処理部１０１、表示部１０２、外乱除去部１０９、推定画像生成部１１０、外乱付加部１１１へ出力される。

バス１０６は、システムバスとデータバスから構成され、各々独立したバス構成となっている。

一時記録部１０７は、メモリ制御部とメモリから構成され、制御部１０４或いはデータ転送部１０５からの指示に応じて、メモリへのデータの書き込み及びメモリからのデータの読み出しを行う。メモリは、所定枚数の静止画像や所定時間の動画像、音声等のデータや、制御部１０４の動作用の定数、プログラム等を格納するのに十分な記憶容量を備える記憶装置であり、ＤＲＡＭなどから構成される。また、メモリは、複数のメモリから構成することも可能である。

記録部１０８は、不図示の不揮発性メモリ制御部と不揮発性メモリから構成される。不揮発性メモリ制御部は、制御部１０４からの指示に応じて、不揮発性メモリにデータを書き込んだり、不揮発性メモリからデータを読み出したりする。不揮発性メモリは、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリには、制御部１０４の動作用の定数、プログラム等が記憶される。

外乱除去部１０９は、データ転送部１０５と接続され、一時記録部１０７に一時記憶された画像処理部１０１によって画像処理された画像データを、データ転送部１０５を介して入力する。そして、不図示の撮像光学部材に含まれるフォーカスレンズの位置、ズームレンズの位置、絞り値、及び、撮像素子１００の露光時間、感度変更などの撮影条件によって変動する、ノイズ、ボケ、色収差、周辺光量落ち、歪曲、拡縮を抑制する処理を行う。また、ジャイロセンサや、撮影された画像の動きベクトル検出、輝度変化検出等、撮影された画像の時間方向の変動を検出する手段を有し、検出結果に基づいて、カメラの振れ、動体のブレ、輝度変動等を抑制する処理を行う。なお、外乱除去方法としては、既知の画像処理方法を用いればよい。

例えば、ノイズの抑制は、ローパスフィルタをベースとしたノイズリダクション処理、ボケの抑制は、レンズ特性に基づいたレンズシミュレータによるボケ除去処理、色収差の抑制はレンズ特性である像高中心からの距離に基づく色ごとの位置補正処理により行う。また、周辺光量落ちの抑制は、レンズ特性による周辺光量落ち特性に基づく像面輝度補正処理、歪曲の抑制は、レンズ特性である像面の歪曲特性に基づいて画像の幾何的な変形補正処理により行う。またカメラの振れは、ジャイロセンサから得られた振れ量から、フレーム間の画像ブレ量を算出し、幾何的にこれを補正する。動体については、ベクトル検出により動体の動き量を求め、動体のブレを抑制する方向に例えば方向特性を持つシャープネス処理を行う。輝度変化については、輝度変化量を画像の輝度値から求め、求めた輝度変化量に基づいて、例えばデジタルゲイン処理あるいは再ガンマ補正処理により対処する。

そして、外乱除去部１０９は、外乱除去処理を行った画像データをデータ転送部１０５を介して一時記録部１０７に記録する。

推定画像生成部１１０は、データ転送部１０５と接続され、データ転送部１０５を介して一時記録部１０７に一時記憶された外乱除去済みのフレーム画像の画像データ、あるいは推定により生成されたフレーム画像の画像データを入力する。そして、学習モデルを用いて、ある時点におけるフレーム画像を、当該時点より前に撮影された画像から得られた外乱除去済みのフレーム画像もしくは推定により生成されたフレーム画像から推定して生成する。推定画像生成部１１０により新たに推定により生成されたフレーム画像は、後述するように静止画像の撮影などにより表示用の画像が得られないフレームの代替フレームの元画像として使用される。推定画像生成部１１０は、新たに生成したフレーム画像の画像データを、データ転送部１０５を介して一時記録部１０７に記録する。

外乱付加部１１１は、データ転送部１０５と接続され、データ転送部１０５を介して一時記録部１０７に一時記憶された、推定画像生成部１１０によって生成されたフレーム画像の画像データを入力する。そして、入力した画像データに対し、外乱除去部１０９で抑制したノイズ、ボケ、色収差、周辺光量落ち、歪曲、拡縮、あるいは時間軸方向のカメラの振れ、動体のブレ、輝度変化を、入力したフレーム画像に付加する処理を行う。なお、各外乱付加方法としては、既知の画像処理方法を用いれば良い。

例えば、ノイズ付加は、感度などの撮影条件とセンサ特性によるある分散のガウス分布に基づいたノイズを付加する処理、ボケの付加はレンズ特性に基づいたレンズシミュレータによるボケ付加処理により行う。色収差の付加はレンズ特性である像高中心からの距離に基づく色ごとの位置補正処理により行う。また、周辺光量落ちの付加は、レンズ特性による周辺光量落ち特性に基づく像面輝度補正処理、歪曲の付加はレンズ特性である像面の歪曲特性に基づいて画像の幾何的な変形補正処理により行う。またカメラ振れは、ジャイロセンサから得られた振れ量からフレーム間の画像ブレ量を算出し幾何的にこれを付加する。動体のブレについては、ベクトル検出により動体の動き量を求め、動体のブレを付加する方向に、例えば方向特性を持つローパス処理により付加する。輝度変化については、輝度変化量を画像の輝度値から求め、求めた変化量を、例えばデジタルゲイン処理あるいは再ガンマ補正処理で外乱付加する。なお、これら変化量の検出は、外乱除去部１０９で得られた検出情報と共通でも構わない。

そして、外乱付加部１１１は、外乱付加処理を行った画像データをデータ転送部１０５を介して一時記録部１０７に記録する。

なお、不図示ではあるが、撮像素子１００からのアナログ信号をデジタル信号に変換するＡＤ変換器や、画像データを例えばＪＰＥＧやＭＰＥＧ形式などに圧縮したり、圧縮されたデータを伸張する圧縮伸張部、及び、ＪＰＥＧやＭＰＥＧを外部メディアに記録する外部記録部等も含む。

次に、図２を用いて、推定画像生成部１１０で用いる学習モデル２０８の学習処理について説明する。２０１は、あるフレームレートで周期的に撮影された教師用動画を示しており、左から右に時系列に並ぶ複数のフレーム画像から構成される。ここでは、第（Ｎ－２）フレーム画像、第（Ｎ－１）フレーム画像、第Ｎフレーム画像を例に取って説明する。

まず、外乱除去部１０９により、第（Ｎ－２）フレーム画像、第（Ｎ－１）フレーム画像、第Ｎフレーム画像に対してそれぞれ外乱除去処理２０２、２０３、２０４を施し、フレーム画像２０５、２０６、２０７を生成する。ここでの外乱は教師用動画２０１に特有な外乱を指しており、動画撮影時の撮影条件であるフォーカスレンズの位置、ズームレンズの位置、絞り値、及び、撮像素子１００の露光時間、感度変更などの撮影条件によって変動するノイズ、ボケ、色収差、周辺光量落ち、歪曲、拡縮を含む。またカメラの振れ、動体のブレ、輝度変化等も含む。

学習モデル２０８は、推定画像生成部１１０で用いられる、機械学習を行う学習モデルであり、例えば、既知のニューラルネットワークモデルなどである。学習モデル２０８の例として、時間方向に連続した２枚のフレーム画像を入力し、入力した２枚のフレーム画像に対して次のフレームのフレーム画像を推定して出力する構成とする。ここでは、外乱除去済みの第（Ｎ－２）フレーム画像２０５、第（Ｎ－１）フレーム画像２０６を入力し、学習時の教師データとして、外乱除去済みの第Ｎフレーム画像２０７を用いる。学習モデル２０８は、推定した第Ｎフレームの推定フレーム画像と、期待値である教師データとなる外乱除去済みの第Ｎフレーム画像２０７との誤差に基づいて学習モデル２０８を更新する。

同様にして、外乱除去済みの第（Ｎ－１）フレーム画像２０６と、第Ｎフレーム画像２０７を入力とし、推定した第（Ｎ＋１）フレームの推定フレーム画像と、期待値である教師データとして外乱除去済みの第（Ｎ＋１）フレーム画像との誤差に基づいて学習モデル２０８を更新する。

このように、教師用動画２０１の使用するフレーム画像をずらしながら繰り返し入力フレーム画像、教師データとして利用していくことで、学習モデル２０８は繰り返し学習していくことができる。また、教師用動画２０１として実際の撮影シーンに近いさまざまな動画を使用することで、精度の高い推定画像の生成が可能な学習モデル２０８を作ることができる。またこの時、教師用動画２０１の動画撮影時の条件に依存した外乱を抑制した上で学習を行うことで、撮影条件などに起因する外乱に依存しない、精度の高い推定画像の生成が可能な学習モデルを得ることができる。なお、本実施形態において、学習は撮影中には行わず、事前に済ませておき、各エッジの重みデータなどを学習パラメータとして、記録部１０８に保持しておく。

次に、図３を用いて、本実施形態における推定画像生成部１１０による推定画像の生成処理について説明する。

３０１は、あるフレームレートで周期的にライブビュー（ＬＶ）表示用に連続して撮影された各フレームの画像（以下、「ＬＶ画像」と呼ぶ。）を示しており、左から右に時系列に並ぶ複数のＬＶ画像から構成される。ＬＶ画像の撮影中に静止画像の撮影が開始すると、同じ撮像素子１００で撮影を行うためにＬＶ画像の撮影ができず、欠落するフレームが発生してしまう。この場合に、この欠落したフレームのＬＶ画像の代替となるＬＶ画像を、上述した様にして得られた学習済の学習モデル２０８を用いて生成する。

図３において、処理Ｎは、撮影した第（Ｎ－２）フレームのＬＶ画像及び第（Ｎ－１）フレームのＬＶ画像から、欠落した第ＮフレームのＬＶ画像を生成する場合の概念を示す。

まず、第（Ｎ－２）フレームのＬＶ画像及び第（Ｎ－１）フレームのＬＶ画像に対して、外乱除去部１０９によって外乱除去処理３０２を行い、外乱除去済みの第（Ｎ－２）フレームのＬＶ画像３０５及び第（Ｎ－１）フレームのＬＶ画像３０６を生成する。推定画像生成部１１０は、外乱除去済みの第（Ｎ－２）フレームのＬＶ画像３０５及び第（Ｎ－１）フレームのＬＶ画像３０６を入力とし、学習モデル２０８を用いて、第Ｎフレームの推定ＬＶ画像３０７を推定して出力する。そして、推定された第Ｎフレームの推定ＬＶ画像３０７に対して、外乱付加部１１１によって外乱付加処理３０３を行い、欠落した第Ｎフレームの代替ＬＶ画像３０８を生成する。

処理（Ｎ＋１）は、２フレーム連続してＬＶ画像が欠落した場合の処理を示している。ここでは、処理Ｎで推定された第Ｎフレームの推定ＬＶ画像３０７と、撮影した外乱除去済みの第（Ｎ－１）フレームのＬＶ画像３０６とから、欠落した第（Ｎ＋１）フレームの代替ＬＶ画像を生成する場合の概念を示す。

まず、第（Ｎ－１）フレームのＬＶ画像に対して外乱除去部１０９によって外乱除去処理３０２を行い、外乱除去済みの第（Ｎ－１）フレームのＬＶ画像３０６を生成する。なお、処理Ｎにより生成した外乱除去済みの第（Ｎ－１）フレームのＬＶ画像３０６を用いても構わない。推定画像生成部１１０は、外乱除去済みの第（Ｎ－１）フレームのＬＶ画像３０６と、処理Ｎにより推定した第Ｎフレームの推定ＬＶ画像３０７を入力とし、学習モデル２０８を用いて、第（Ｎ＋１）フレームの推定ＬＶ画像３０９を推定して出力する。そして、推定された第（Ｎ＋１）フレームの推定ＬＶ画像３０９に対して、外乱付加部１１１によって外乱付加処理３０３を行い、欠落した第（Ｎ＋１）フレームの代替ＬＶ画像３１０を生成する。

処理（Ｎ＋２）は、３フレーム連続してＬＶ画像が欠落した場合の処理を示している。ここでは、処理Ｎで推定された第Ｎフレームの推定ＬＶ画像３０７と、処理（Ｎ＋１）で推定された第（Ｎ＋１）フレームの推定ＬＶ画像３０９とから、欠落した第（Ｎ＋２）フレームの代替ＬＶ画像を生成する場合の概念を示す。

推定画像生成部１１０は、処理Ｎで推定された第Ｎフレームの推定ＬＶ画像３０７と、処理（Ｎ＋１）で推定された第（Ｎ＋１）フレームの推定ＬＶ画像３０９とを入力とし、学習モデル２０８を用いて、第（Ｎ＋２）フレームの推定ＬＶ画像３１１を推定して出力する。そして、推定された第（Ｎ＋２）フレームのＬＶ画像３１１に対して、外乱付加部１１１によって外乱付加処理３０３を行い、欠落した第（Ｎ＋２）フレームの代替ＬＶ画像３１２を生成する。

以上のように、第Ｎ、第（Ｎ＋１）、第（Ｎ＋２）フレームの画像が時間方向に連続して欠落しても、学習モデルを用いて、第Ｎフレームの代替ＬＶ画像３０８、第（Ｎ＋１）フレームの代替ＬＶ画像３１０、第（Ｎ＋２）フレームの代替ＬＶ画像３１２を生成していくことができる。そして、第（Ｎ－２）、第（Ｎ－１）フレームのＬＶ画像に続いて、第Ｎフレームの代替ＬＶ画像３０８、第（Ｎ＋１）フレームの代替ＬＶ画像３１０、第（Ｎ＋２）フレームの代替ＬＶ画像３１２を、順次、表示部１０２を介し表示デバイス１０３に表示していく。

なお、図２及び図３に示す例では、連続する２枚のフレーム画像を入力とし、次のフレームを出力とする学習モデルを例として説明したが、本発明はこれに限られるものでない。例えば、１枚、または３枚以上の複数のフレーム画像を入力とした学習モデルでも構わない。また推定するフレーム画像についても、連続した次のフレームに限るものでなくフレームとフレームの間、また連続しないある時点のフレームであってもよい。ただし、学習時の入出力フレームのタイミング仕様は、推定画像生成を行うときの学習モデルのタイミング仕様と一致している。

図４は、第１の実施形態においてＬＶ表示中に静止画像を連写する場合のタイミングチャートである。縦方向に同じタイミングにおけるタイミング信号あるいは処理を示し、横方向に時間を示している。

図４において、「撮像Ｖ同期」は、撮像素子１００によりＬＶ画像を撮影するための垂直同期信号のタイミングを示しており、Ｔ１は撮像Ｖ同期の周期を示している。例えば、１秒間に６０フレーム（６０ｆｐｓ）の画像が出力されるようなタイミングを示す同期信号である。

「静止画同期」は、撮像素子１００により静止画像を撮影するための駆動タイミングを示し、１枚目の静止画像の撮影タイミングと、撮影間隔Ｔ３毎に発生する２枚目以降の静止画像の撮影タイミングを示す同期信号となる。なお、タイミングｔ４００は、ユーザによるシャッタ－レリーズボタンの押下によりスイッチＳＷ２がＯＮしたタイミングであり、レリーズタイムラグＴ２後に、静止画同期信号が発生する。

「センサ出力画像」は、撮像素子１００における画像の電荷蓄積開始から蓄積した電荷の読み出し終了までの撮影期間と、センサ切り替え期間とを示している。ここでは、ＬＶ画像の撮影期間を表１～３、７～１１、１５、１６として表し、静止画像の撮影期間を静止画１、静止画２として表している。また、格子枠４０２は、ＬＶ画像の撮影から静止画像を撮影する為に撮像素子１００の駆動を切り替える切り替え期間、格子枠４０４は、静止画像の撮影からＬＶ画像を撮影する為に撮像素子１００の駆動を切り替える切り替え期間を示している。ＬＶ画像の撮影期間と静止画像の撮影期間の長さが異なるのは、読み出す画素数が異なること、露光時間が異なること等の理由による。言うまでも無く、静止画像の画素数は、ＬＶ画像の画素数よりも多く、静止画像の露光時間は、通常、ＬＶ画像の露光時間よりも長い。

「画像処理」は、画像処理部１０１におけるＬＶ画像に対する表示のための画像処理のタイミングを示し、「記録画像処理」は、静止画像に対する記録のための画像処理のタイミングを示す。ここでは、ＬＶ画像の画像処理期間を表示１～３、７～１１、１５、１６として表し、静止画像の画像処理期間を静止画１、２として表している。表１～３、７～１１、１５、１６、静止画１、２に示す各画像処理期間においては、まず、一時記録部１０７に記録された画素信号を、画像処理部１０１へデータ転送部１０５を介して読み出す。そして、読み出した画素信号に対して画像処理部１０１で画像処理を行い、得られた画像データを、データ転送部１０５を介して再び一時記録部１０７に記録する。

また、「画像処理」における表示１～３、７～１１、１５、１６、及び、「記録画像処理」における静止画１、２では、撮像素子１００から一画面分の画素信号が全て一時記録部１０７に記録されるより前に、画像処理部１０１で処理を開始することを示している。データ転送部１０５は、撮像素子１００から読み出された画素信号のみを画像処理部１０１へ読み出すように制御している。つまり、画像処理部１０１は、撮像素子１００が画素信号を一時記録部１０７へ書き込む前に画素信号を読み出さないように制御される。なお、ＬＶ画像よりも静止画像は画素数が多いため、処理にかかる時間はＬＶ画像より静止画像の方が長い。また、ＬＶ画像を優先的に処理するものとし、図４では表示７と静止画１、表示１５と静止画２の期間が重なっているが、ＬＶ画像の処理中は静止画の画像処理を一時中断し、ＬＶ画像の処理完了後に静止画の画像処理を再開するように制御する。

タイミングｔ４００でユーザのシャッターレリーズボタンの操作によりＳＷ２がＯＮとなり静止画１、及び、撮影間隔Ｔ３後の静止画２の撮影が行われると、ＬＶ画像の撮像が中断される。このため、静止画像の撮影条件である露光時間から求められる、欠落するＬＶ画像（表示４、５、６、及び表示１２、１３、１４に対応する）の代替ＬＶ画像の生成を、図３を参照して上述した外乱除去、推定画像生成、外乱付加によって行う。

「外乱除去」は、外乱除去部１０９による外乱除去処理のタイミングを示す。ここでは、「画像処理」の表示２、表示３、表示１０、表示１１のタイミングで画像処理されたＬＶ画像に対して、外乱除去を行うタイミングを、除去２、除去３、除去１０、除去１１で示している。除去２における処理は、タイミングｔ４００以降に開始される。外乱除去部１０９は、画像処理部１０１によって一時記録部１０７に記憶された画像処理後のＬＶ画像をデータ転送部１０５を介して読み出し、外乱除去処理を行った後、外乱除去済みのＬＶ画像をデータ転送部１０５を介して一時記録部１０７に記録する。

「推定画像生成」は、推定画像生成部１１０による学習モデル２０８を用いた推定画像生成処理のタイミングを示す。推定４は、欠落した表示４に対応するＬＶ画像を推定するタイミングを示しており、推定画像生成部１１０は、まず、除去２及び除去３で外乱除去されたＬＶ画像を、データ転送部１０５を介して一時記録部１０７から読み出す。そして、読み出したＬＶ画像を入力として学習モデル２０８を用いた推定を行って表示４に対応する推定ＬＶ画像を生成し、生成した推定ＬＶ画像を、データ転送部１０５を介して一時記録部１０７に書き込む。

推定５は、欠落した表示５に対応するＬＶ画像を推定するタイミングを示しており、推定画像生成部１１０は、まず、推定４で推定された推定ＬＶ画像と、除去３で外乱除去されたＬＶ画像とをデータ転送部１０５を介して一時記録部１０７から読み出す。そして、読み出したＬＶ画像を入力として学習モデル２０８を用いた推定を行って表示５に対応する推定ＬＶ画像を生成し、生成した推定ＬＶ画像を、データ転送部１０５を介して一時記録部１０７に書き込む。

同様に、推定６は、欠落した表示６に対応するＬＶ画像を推定するタイミングを示しており、推定画像生成部１１０は、まず、推定４及び推定５で推定された推定ＬＶ画像をデータ転送部１０５を介して一時記録部１０７から読み出す。そして、読み出した推定ＬＶ画像を入力として学習モデル２０８を用いた推定を行って表示６に対応する推定ＬＶ画像を生成し、生成した推定ＬＶ画像を、データ転送部１０５を介して一時記録部１０７に書き込む。

推定１２は、欠落した表示１２に対応するＬＶ画像を推定するタイミングを示しており、上述した推定４と同様の処理が行われる。推定１３は、欠落した表示１３に対応するＬＶ画像を推定するタイミングを示しており、上述した推定５と同様の処理が行われる。同様に、推定１４は、欠落した表示１４に対応するＬＶ画像を推定するタイミングを示しており、上述した推定６と同様の処理が行われる。

「外乱付加」は、外乱付加部１１１による外乱付加処理のタイミングを示す。ここでは、推定４、推定５、推定６、推定１２、推定１３、推定１４において推定された推定ＬＶ画像の画像データに対して外乱付加を行うタイミングを、それぞれ、付加４、付加５、付加６、付加１２、付加１３、付加１４として示している。外乱付加部１１１は、まず、推定画像生成部１１０によって一時記録部１０７に記憶された推定ＬＶ画像をデータ転送部１０５を介して読み出す。そして、読み出した推定ＬＶ画像に対して外乱付加処理を行った後、外乱付加された代替ＬＶ画像をデータ転送部１０５を介して一時記録部１０７に書き込む。

「表示Ｖ同期」は、表示デバイス１０３へ表示を開始する表示の垂直同期信号を示しており、例えば１秒間に６０フレーム（６０ｆｐｓ）の画像を表示するようなタイミングを示す同期信号である。なお、「表示Ｖ同期」は、システムとして、「センサ出力画像」が示すタイミングで読み出したＬＶ画像を表示デバイス１０３へ表示するまでの時間が、最も短くなるタイミングとなるようにする。つまり、「撮像Ｖ同期」の垂直同期信号から一定期間遅れて「表示Ｖ同期」の垂直同期信号が発生することになる。

「表示」は、表示部１０２で処理したＬＶ画像、及び、代替ＬＶ画像を表示デバイス１０３へ表示するタイミングを示す。通常は表示Ｖ同期に従ったタイミングで画像処理し、一時記録部１０７に記憶された画像処理済みのＬＶ画像の画像データである表示１～３、７～１１、１５、１６を読み出し、表示を更新する。一方、静止画撮影が開始され、ＬＶ画像の撮像が行えないタイミングにおいては、付加４～６、１２～１４において外乱付加済みの代替ＬＶ画像である表示４、５、６及び表示１２、１３、１４を読み出し、表示を更新する。これにより、静止画撮影中においても代替ＬＶ画像である表示４～６、及び表示１２～１４を含め、表示１～１６まで連続した表示を行うことができる。

次に、図５Ａ及び図５Ｂを用いて、本実施形態における撮影及び表示処理について説明する。図５Ａは、制御部１０４により制御される、ＬＶ表示中に静止画像を撮影する場合に、静止画像撮影中の代替ＬＶ画像を生成する処理を説明するフローチャートである。ＬＶ表示中（すなわち、ＬＶ画像撮影中）にユーザがシャッターレリーズボタンを押下し、スイッチＳＷ２がＯＮとなったタイミングで、本処理を開始する。

Ｓ５０１で、２フレーム前のＬＶ画像があるか判断する。ある場合はＳ５０２に進み、無い場合はＳ５０３に進む。

Ｓ５０２では、２フレーム前のＬＶ画像を画像処理部１０１によって画像処理し、更に、処理したＬＶ画像に対して外乱除去部１０９により外乱除去処理を行って、Ｓ５０４に進む。

一方、Ｓ５０３では、推定画像生成部１１０によって生成された２フレーム前の推定ＬＶ画像を取得し、Ｓ５０４に進む。

Ｓ５０４で、１フレーム前のＬＶ画像があるか判断する。ある場合はＳ５０５に進み、無い場合はＳ５０６に進む。

Ｓ５０５では、１フレーム前のＬＶ画像を画像処理部１０１によって画像処理し、更に、処理したＬＶ画像に対して外乱除去部１０９により外乱除去処理を行って、Ｓ５０７に進む。

一方、Ｓ５０６では、推定画像生成部１１０によって生成された１フレーム前の推定ＬＶ画像を取得し、Ｓ５０７に進む。

Ｓ５０７において、推定画像生成部１１０は、Ｓ５０１からＳ５０６で入手した２フレーム前及び１フレーム前の外乱除去済みＬＶ画像または推定ＬＶ画像を入力とし、学習モデル２０８を用いて、現フレームの推定ＬＶ画像を推定して生成する。

次にＳ５０８で、Ｓ５０７で推定した推定ＬＶ画像に対して外乱付加部１１１により外乱付加処理を行い、現フレームのＬＶ表示用の代替ＬＶ画像を生成する。

Ｓ５０９で、Ｓ５０８で生成した代替ＬＶ画像を表示部１０２を介して表示デバイス１０３で表示する。

Ｓ５１０では、静止画像の撮影が完了したか判断する。ここでは、静止画像の撮影が終了し、ユーザによりシャッターレリーズボタンが押下されていない状態になったかで判断する。完了でない場合は、Ｓ５０１に戻って上記処理を繰り返し、完了した場合は、処理を終了する。

以上のように静止画像の撮影が完了するまで一連の処理を繰り返し行う。これにより、静止画像の撮影によりＬＶ画像の撮影が行えない期間においても、ブラックアウトや、同じ画像の連続表示などによる画面のフリーズのような現象を起こすことなく、継続してＬＶ画像を表示し続けることができる。

図５Ｂは、Ｓ５０２及びＳ５０５で行われる外乱除去部１０９による外乱除去処理を説明するフローチャートである。

Ｓ５２１では、現在の撮影条件、例えば、フォーカスレンズの位置、ズームレンズの位置、絞り値、撮像素子１００の露光時間、ＩＳＯ感度などの取得を行う。実際はこのタイミングにおいてＬＶ画像の撮像はされないため、直前のＬＶ画像の撮像時における撮影条件を取得する。また、動的にレンズや絞りが制御される場合は予測に基づいた位置補正を行った撮影条件を取得する、といった方法でもよい。

Ｓ５２２では、ジャイロセンサ、撮像画像のベクトル検出、輝度変化検出など、撮像画像の時間方向の変動を検出する手段によって、カメラの振れ量、動体のブレ量、輝度変化量を検出する。

Ｓ５２３では、Ｓ５２１で取得した撮影条件に基づいた外乱除去処理、及び、Ｓ５２２で検出した検出情報に基づいた外乱除去処理を行う。Ｓ５２１で取得したフォーカスレンズの位置、ズームレンズの位置、絞り値、撮像素子１００の露光時間、ＩＳＯ感度などに基づき、ノイズ、ボケ、色収差、周辺光量落ち、歪曲、拡縮を抑制する処理を行う。また、Ｓ５２２で取得した情報に基づき、カメラの振れ、動体のブレ、輝度変化を抑制する処理を行う。

次に、本実施形態におけるライブビューのフレームレートについて説明する。推定画像生成部１１０は、図２を用いて説明した学習において、予め決められたフレームレートの教師用動画を用いて学習する。このとき教師用動画のフレームレートを統一し、異なるフレームレートの動画が混入しないようにして学習することで、そのフレームレートにおいて推定精度の高い学習モデルを生成することができる。

さらに、図３を用いて説明した推定画像生成の際には、推定対象となるＬＶ画像の撮像フレームレート及び表示フレームレートが学習時の教師用動画のフレームレートと一致している方が推定精度が高くなる。ＬＶ表示のフレームレートが例えば６０ｆｐｓの場合、６０ｆｐｓの教師用動画を用いて６０ｆｐｓの学習モデルを学習し、６０ｆｐｓのＬＶ表示の代替ＬＶ画像を生成する際には、この学習済みの６０ｆｐｓ学習モデルを使用する。

また、同じ撮像装置内で動作モードによりＬＶ表示のフレームレートが異なる場合、予め異なるフレームレートごとの学習モデルを学習して用意しておくとよい。そして、ＬＶ表示の代替ＬＶ画像の生成の際には、ＬＶ表示のフレームレートに応じた学習モデルを選択使用する。

図６はその一例を示す図であり、動作モードに低速連写（通常）、低速連写（省電）、高速連写（通常）、高速連写（省電）があり、各々表示フレームレートが６０ｆｐｓ、３０ｆｐｓ、１２０ｆｐｓ、６０ｆｐｓの場合を示す。低速連写と高速連写は静止画の連写コマ速が低速なモードと高速なモードを想定している。通常モードと省電モードは表示フレームレートが異なり、ここでは省電モードのフレームレートは通常モードのフレームレートの半分とすることで消費電力を抑え、バッテリー交換なしで撮影可能な静止画撮影枚数を増やせるなどの効果を期待したモードである。このとき、各々の動作モードで使用する学習モデルを、低速連写（通常）時には６０ｆｐｓ学習モデル、低速連写（省電）時には３０ｆｐｓ学習モデルを選択し、切替えて使用する。また、高速連写（通常）時には１２０ｆｐｓ学習モデル、高速連写（省電）時には６０ｆｐｓ学習モデルを選択し、切替えて使用する。

以上説明したように第１の実施形態によれば、静止画像の連写時に静止画像の露光時間が長くなるなどし、通常のＬＶ画像の撮像及びＬＶ表示が行えない場合においても、視認性のよい滑らかなＬＶ表示が可能となる。

＜変形例＞
図７を用いて、外乱除去部１０９が学習モデルを用いて外乱除去処理を行う場合について説明する。

図７（ａ）は、外乱除去処理に用いられる学習モデルの学習方法について説明する図で、７０１は、あるフレームレートで撮影された教師用動画を示しており、左から右に時系列に並ぶ複数のフレーム画像から構成される。７０２は外乱除去部１０９による外乱除去処理を示す。学習モデル７０３は、機械学習を行う学習モデルであり、例えば、既知のニューラルネットワークモデルなどである。ここでは、学習モデル７０３の例として、１枚のフレーム画像７０４を入力として、入力画像の外乱が抑制されたフレーム画像を生成する。具体的には、教師用動画７０１から１枚のフレーム画像を入力し、外乱除去処理７０２を行ったフレーム画像７０５を学習時の期待値である教師データとして、学習モデル７０３により生成されたフレーム画像との誤差に基づいて学習モデル７０３を更新する。そして、教師用動画７０１から使用するフレーム画像をずらしながら繰り返し入力フレーム画像、教師データとして利用していくことで、学習モデル７０３は繰り返し学習していくことができる。

図７（ｂ）は、学習モデル７０３を用いた外乱除去処理を示す。７１２は外乱ありのフレーム画像であり、図３のＬＶ画像３０１から画像処理された第（Ｎ－２）、第（Ｎ－１）フレームのＬＶ画像に相当する。７１３は学習モデル７０３を用いて処理した外乱除去フレーム画像であり、図３の外乱除去済みのＬＶ画像３０５、３０６に相当する。このように学習モデル７０３は、図３の外乱除去処理３０２に使用することができる。

次に、図８を用いて、外乱付加部１１１が学習モデルを用いて外乱付加処理を行う場合について説明する。

図８（ａ）は、外乱付加処理に用いられる学習モデルの学習方法について説明する図で、８０１は、あるフレームレートで撮影された教師用動画を示しており、左から右に時系列に並ぶ複数のフレーム画像から構成される。８０２は外乱除去部１０９による外乱除去処理を示す。学習モデル８０３は、機械学習を行う学習モデルであり、例えば、既知のニューラルネットワークモデルなどである。ここでは、学習モデル８０３の例として、外乱除去済みの１枚のフレーム画像８０４を入力として、入力画像に外乱を付加したフレーム画像を生成する。具体的には、教師用動画８０１から１枚のフレーム画像８０５を入力し、当該フレーム画像８０５を学習時の期待値である教師データとして、学習モデル８０３により生成されたフレーム画像との誤差に基づいて学習モデル８０３を更新する。さらに、教師用動画８０１から使用するフレーム画像をずらしながら繰り返し入力フレーム画像、教師データとして利用していくことで、学習モデル８０３は繰り返し学習していくことができる。

図８（ｂ）は、学習モデル８０３を用いた外乱付加処理を示す。８１２は外乱なしのフレーム画像であり、図３の学習モデル２０８を用いて生成された推定ＬＶ画像３０７、３０９、３１１に相当する。８１３は学習モデル８０３によって推定生成された外乱付加フレーム画像であり、図３の外乱付加処理された代替ＬＶ画像３０８、３１０、３１２に相当する。このように学習モデル８０３は、図３の外乱付加処理３０３に使用することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態で用いる撮像装置は、第１の実施形態で説明したものと同様であるため、説明を省略する。

第１の実施形態では、学習モデルを用いた推定ＬＶ画像の生成において、直前２枚のフレーム画像を入力としていた。これに対し、第２の実施形態では、これに限らず違うタイミングのフレーム画像を入力とし、撮像により得られたフレーム画像を積極的に使用する点が異なる。

図９を用いて、第２の実施形態における推定画像生成部１１０で用いる学習モデルの学習処理について説明する。なお、図９において、図２と同様のものには同じ参照番号を付し、適宜説明を省略する。

図９（ａ）は、第（Ｎ－２）フレーム画像及び第（Ｎ－１）フレーム画像を入力として、第Ｎフレームのフレーム画像を推定する場合を示している。この学習方法は、第１の実施形態で図２を参照して説明した方法と同様であるため、説明を省略する。ただし、以下に図９（ｂ）を参照して説明する学習モデルＢ９０９との違いを表すために、図９（ａ）では、図２における学習モデル２０８を、学習モデルＡ９０８と記す。

次に、図９（ｂ）を参照して、学習モデルＢ９０９の学習処理について説明する。ここでは、第（Ｎ－３）フレーム画像、第（Ｎ－１）フレーム画像、第Ｎフレーム画像を例に取って説明する。

まず、外乱除去部１０９により、第（Ｎ－３）フレーム画像、第（Ｎ－１）フレーム画像、第Ｎフレーム画像に対してそれぞれ外乱除去処理９０２、９０３、９０４を施し、フレーム画像９０５、９０６、９０７を生成する。ここでの外乱は教師用動画２０１に特有な外乱を指しており、動画撮影時の撮影条件であるフォーカスレンズの位置、ズームレンズの位置、絞り値、及び、撮像素子１００の露光時間、感度変更などの撮影条件によって変動するノイズ、ボケ、色収差、周辺光量落ち、歪曲、拡縮を含む。またカメラの振れ、動体のブレ、輝度変化等も含む。

学習モデルＢ９０９は、推定画像生成部１１０で用いられる、機械学習を行う学習モデルであり、例えば、既知のニューラルネットワークモデルなどである。学習モデルＢ９０９の例として、時間方向に１枚おいて連続した２枚のフレーム画像を入力し、入力した２枚のフレーム画像に対して次のフレームのフレーム画像を推定して出力する構成とする。ここでは、外乱除去済みの第（Ｎ－３）フレーム画像９０５、第（Ｎ－１）フレーム画像９０６を入力し、学習時の教師データとして、外乱除去済みの第Ｎフレーム画像９０７を用いる。学習モデルＢ９０９は、推定した第Ｎフレームの推定フレーム画像と、期待値である教師データとなる外乱除去済みの第Ｎフレーム画像９０７との誤差に基づいて学習モデルＢ９０９を更新する。

同様にして、外乱除去済みの第（Ｎ－２）フレーム画像９０６と、第Ｎフレーム画像９０７とを入力とし、推定した第（Ｎ＋１）フレームの推定フレーム画像と、期待値である教師データとして外乱除去済みの第（Ｎ＋１）フレーム画像との誤差に基づいて学習モデルＢ９０９を更新する。

このように教師用動画２０１の使用するフレーム画像をずらしながら繰り返し入力フレーム画像、教師データとして利用していくことで、学習モデルＢ９０９は繰り返し学習していくことができる。また、教師用動画２０１として実際の撮影シーンに近いさまざまな動画を使用することで、精度の高い推定画像の生成が可能な学習モデルＢ９０９を作ることができる。またこの時、教師用動画２０１の動画撮影時の条件に依存した外乱を抑制した上で学習を行うことで、撮影条件などに起因する外乱に依存しない、精度の高い推定画像の生成が可能な学習モデルを得ることができる。なお、本実施形態において、学習は撮影中には行わず、事前に済ませておき、各エッジの重みデータなどを学習パラメータとして、記録部１０８に保持しておく。

次に、図１０を用いて、本実施形態における推定画像生成部１１０による学習モデルＡ９０８及び学習モデルＢ９０９を用いた推定画像の生成処理について説明する。なお、図１０において、図３と同様のものには同じ参照番号を付し、適宜説明を省略する。

ＬＶ画像の撮影中に静止画像の撮影が開始すると、同じ撮像素子１００で撮影を行うためにＬＶ画像の撮影ができず、欠落するフレームが発生してしまう。この場合に、この欠落したフレームのＬＶ画像の代替となるＬＶ画像を、上述した様にして得られた学習済の学習モデルＡ９０８及び学習モデルＢ９０９を用いて生成する。

図１０において、処理Ｎは、撮影した第（Ｎ－２）フレームのＬＶ画像及び第（Ｎ－１）フレームのＬＶ画像から、欠落した第ＮフレームのＬＶ画像を生成する場合の概念を示す。なお、処理Ｎは、図３で行われる処理Ｎと同様であるため、説明を省略する。この処理Ｎにおいては、学習モデル２０８に相当する学習モデルＡ９０８を用いる。

処理（Ｎ＋１）は、２フレーム連続してＬＶ画像が欠落した場合の処理を示している。ここでは、処理Ｎで推定された第Ｎフレームの推定ＬＶ画像３０７と、撮影した外乱除去済みの第（Ｎ－１）フレームのＬＶ画像３０６とから、欠落した第（Ｎ＋１）フレームの代替ＬＶ画像を生成する場合の概念を示す。なお、処理（Ｎ＋１）も、図３で行われる処理（Ｎ＋１）と同様であるため、説明を省略する。この処理（Ｎ＋１）においても、学習モデル２０８に相当する学習モデルＡ９０８を用いる。

処理（Ｎ＋２）は、３フレーム連続してＬＶ画像が欠落した場合の処理を示している。ここでは、外乱除去済みの第（Ｎ－１）フレームのＬＶ画像１００６と、処理（Ｎ＋１）で推定された第（Ｎ＋１）フレームの推定ＬＶ画像３０９とから、欠落した第（Ｎ＋２）フレームの代替ＬＶ画像を生成する場合の概念を示す。

まず、第（Ｎ－１）フレームのＬＶ画像に対して外乱除去部１０９によって外乱除去処理３０２を行い、外乱除去済みの第（Ｎ－１）フレームのＬＶ画像３０６を生成する。なお、処理Ｎで生成した外乱除去済みの第（Ｎ－１）フレームのＬＶ画像３０６を用いても構わない。そして、外乱除去済みの第（Ｎ－１）フレームのＬＶ画像３０６と、処理（Ｎ＋１）により推定された第（Ｎ＋１）フレームのＬＶ画像３０９とを入力とする。

この処理（Ｎ＋２）では、推定に用いるＬＶ画像のフレームは連続していないため、推定画像生成部１１０は、学習モデルＢ９０９を用いて、欠落した第（Ｎ＋２）フレームのＬＶ画像１０１２を推定する。そして、推定された第（Ｎ＋２）フレームのＬＶ画像１０１２に対して、外乱付加部１１１によって外乱付加処理３０３を行い、欠落した第（Ｎ＋２）フレームの代替ＬＶ画像１０１３を生成する。

以上のように、第Ｎ、第（Ｎ＋１）、第（Ｎ＋２）フレームの画像が時間方向に連続して欠落しても、学習モデルＡ９０８及び学習モデルＢ９０９を用いて、第Ｎフレームの代替ＬＶ画像３０８、第（Ｎ＋１）フレームの代替ＬＶ画像３１０、第（Ｎ＋２）フレームの代替ＬＶ画像１０１３を生成していくことができる。そして、第（Ｎ－２）、第（Ｎ－１）フレームのＬＶ画像に続いて、第Ｎフレームの代替ＬＶ画像３０８、第（Ｎ＋１）フレームの代替ＬＶ画像３１０、第（Ｎ＋２）フレームの代替ＬＶ画像１０１３を、順次、表示部１０２を介し表示デバイス１０３に表示していく。

なお、図９及び図１０に示す例では、２枚のフレーム画像を入力とし、次のフレームを出力とする学習モデルを例として説明したが、本発明はこれに限られるものでない。例えば、１枚、または３枚以上の複数のフレーム画像を入力とした学習モデルでも構わない。また推定するフレーム画像についても、連続した次のフレームに限るものでなくフレームとフレームの間、また連続しないある時点のフレームであってもよい。ただし、学習時の入出力フレームのタイミング仕様は、推定画像生成を行うときの学習モデルのタイミング仕様と一致している。

図１１は、第２の実施形態におけるＬＶ表示中に静止画像を連写する場合のタイミングチャートである。縦方向に同じタイミングにおけるタイミング信号あるいは処理を示し、横方向に時間を示している。なお、図１１において、図４と同様の記載についての説明は適宜省略する。

図４に示す処理との違いは、推定６及び推定１４における処理にある。図１１の推定６では、推定４で得られた推定ＬＶ画像を用いず、除去３で外乱除去済みのＬＶ画像と、推定５で得られた推定ＬＶ画像を用いる。この時、学習モデルＢ９０９を用いるのは、上述した通りである。同様に、推定１４においては、推定１２で得られた推定ＬＶ画像を用いず、除去１１で外乱除去済みのＬＶ画像と、推定１３で得られた推定ＬＶ画像を用いる。この時にも学習モデルＢ９０９を用いるのは、上述した通りである。

そして、推定４、５、６及び推定１２、１３、１４で推定した推定ＬＶ画像に対して、それぞれ付加４、５、６及び付加１２、１３、１４において外乱付加を行い、得られた代替ＬＶ画像は、データ転送部１０５を介して一時記録部１０７に記録される。

そして、一時記録部１０７に記憶された画像処理済みのＬＶ画像の画像データである表示１～３、７～１１、１５、１６を読み出し、表示を更新する。一方、静止画撮影が開始され、ＬＶ画像の撮像が行えないタイミングにおいては、付加４～６、１２～１４において外乱付加済みの代替ＬＶ画像である表示４、５、６及び表示１２、１３、１４を読み出し、表示を更新する。これにより、静止画撮影中においても代替ＬＶ画像に対応する表示４～６、及び表示１２～１４を含め、表示１～１６まで連続した表示を行うことができる。

上記の通り第２の実施形態によれば、学習モデルＡ９０８と学習モデルＢ９０９とを使い分け、推定時に、常に撮影されたＬＶ画像を入力に用いることで、より精度の高い代替フレーム画像を生成し、表示することができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。なお、第３の実施形態で用いる撮像装置は、第１の実施形態で説明したものと同様であるため、説明を省略する。

第１の実施形態では、学習モデルを用いた推定ＬＶ画像の生成において、直前２枚のフレーム画像を入力としていた。これに対し、第３の実施形態では、これに限らず違うタイミングのフレーム画像を入力とする点が異なる。

また第２の実施形態では、入力フレーム画像のタイミングの組み合わせによって個別の学習モデルをそれぞれ作成し、選択的に用いて推定フレーム画像を生成する例について説明した。これに対し、第３の実施形態では、入力フレーム画像とともにタイミング情報を入力とすることで、同じ学習モデルを用いて推定フレーム画像を生成する点が異なる。

図１２を用いて、第３の実施形態における推定画像生成部１１０で用いる学習モデルの学習処理について説明する。なお、図１２において、図２及び図９と同様のものには同じ参照番号を付し、適宜説明を省略する。

図１２に示す学習モデル１２０８と、図２に示す学習モデル２０８及び図９に示す学習モデルＡ９０８、学習モデルＢ９０９との違いは、学習モデル１２０８では、入力するフレーム画像と共に、そのフレーム画像の時間情報を入力する点である。

図１２（ａ）に示す学習処理においては、外乱除去処理済みの第（Ｎ－２）フレーム及び第（Ｎ－１）フレームのフレーム画像２０５、２０６と共に、学習時の教師データとして用いる外乱除去済みの第Ｎフレームのフレーム画像２０７のタイミングを「０」とした場合の、相対的な各々のタイミング情報１２０９、１２１０として「－２」、「－１」を入力する。タイミング情報の１単位は、フレームレートのフレーム間隔を示し、時間軸方向に過去方向はマイナス、未来方向はプラスを示す。従って、１フレーム前のタイミングは「－１」、２フレーム前のタイミングは「－２」である。学習モデル１２０８では、このタイミング情報１２０９、１２１０である「－２」、「－１」を加味して推定を行い、第Ｎフレームの推定フレーム画像を生成する。学習モデル１２０８は、推定した第Ｎフレームの推定フレーム画像と、期待値である教師データとなる外乱除去済みの第Ｎフレーム画像２０７との誤差に基づいて学習モデル１２０８を更新する。

次に図１２（ｂ）に示す学習処理においては、外乱除去処理済みの第（Ｎ－３）フレーム及び第（Ｎ－１）フレームのフレーム画像９０５、９０６と共に、学習時の教師データとして用いる外乱除去済みの第Ｎフレームのフレーム画像９０７のタイミングを「０」とした場合の、相対的な各々のタイミング情報１２１２、１２１３として「－３」、「－１」を入力する。学習モデル１２０８では、このタイミング情報１２１２、１２１３である「－３」、「－１」を加味して推定を行い、第Ｎフレームの推定フレーム画像を生成する。学習モデル１２０８は、推定した第Ｎフレームの推定フレーム画像と、期待値である教師データとなる外乱除去済みの第Ｎフレーム画像９０７との誤差に基づいて学習モデル１２０８を更新する。

このように、異なる時間間隔の外乱除去済みのフレーム画像を入力として、同じ学習モデル１２０８の学習処理を行っていく。

次に、図１３を用いて、本実施形態における推定画像生成部１１０による学習モデル１２０８を用いた推定画像の生成処理について説明する。なお、図１３において、図１０と同様のものには同じ参照番号を付し、適宜説明を省略する。

ＬＶ画像の撮影中に静止画像の撮影が開始すると、同じ撮像素子１００で撮影を行うためにＬＶ画像の撮影ができず、欠落するフレームが発生してしまう。この場合に、この欠落したフレームのＬＶ画像の代替となるＬＶ画像を、上述した様にして得られた学習済の学習モデル１２０８を用いて生成する。

図１３において、処理Ｎは、撮影した第（Ｎ－２）フレームのＬＶ画像及び第（Ｎ－１）フレームのＬＶ画像から、欠落した第ＮフレームのＬＶ画像を生成する場合の概念を示す。

まず、第（Ｎ－２）及び第（Ｎ－１）フレームのＬＶ画像に対して、外乱除去部１０９によって外乱除去処理３０２を行い、外乱除去済みの第（Ｎ－２）フレームのＬＶ画像３０５及び第（Ｎ－１）フレームのＬＶ画像３０６を生成する。そして、外乱除去済みの第（Ｎ－２）フレームのＬＶ画像３０５、第（Ｎ－１）フレームのＬＶ画像３０６と共に、タイミング情報１３０９として「－２」、タイミング情報１３１０として「－１」を学習モデル１２０８に入力する。学習モデル１２０８はタイミング情報１３０９の「－２」、１３１０の「－１」を加味して、第Ｎフレームの推定ＬＶ画像１３０７を推定する。第Ｎフレームの推定ＬＶ画像１３０７に対して、外乱付加部１１１によって外乱付加処理３０３を行い、欠落した第Ｎフレームの代替ＬＶ画像１３０８を生成する。

処理（Ｎ＋１）は、２フレーム連続してＬＶ画像が欠落した場合の処理を示している。ここでは、処理Ｎで推定された第Ｎフレームの推定ＬＶ画像１３０７と、撮影した外乱除去済みの第（Ｎ－１）フレームのＬＶ画像３０６とから、欠落した第（Ｎ＋１）フレームの代替ＬＶ画像を生成する場合の概念を示す。

まず、第（Ｎ－１）フレームのＬＶ画像に対して、外乱除去部１０９によって外乱除去処理３０２を行い、外乱除去済みの第（Ｎ－１）フレームのＬＶ画像３０６を生成する。なお、処理Ｎにより生成した外乱除去済みの第（Ｎ－１）フレームのＬＶ画像３０６を用いても構わない。そして、外乱除去済みの第（Ｎ－１）フレームのＬＶ画像３０６と処理Ｎにより推定生成した第ＮフレームのＬＶ画像１３０７、及び、タイミング情報１３１３として「－２」、タイミング情報１３１４として「－１」を学習モデル１２０８に入力する。学習モデル１２０８はタイミング情報１３０９の「－２」、１３１０の「－１」を加味して、第（Ｎ＋１）フレームの推定ＬＶ画像１３１１を推定する。そして、推定された第（Ｎ＋１）フレームの推定ＬＶ画像１３１１に対して、外乱付加部１１１によって外乱付加処理３０３を行い、欠落した第（Ｎ＋１）フレームの代替ＬＶ画像１３１２を生成する。

処理（Ｎ＋２）は、３フレーム連続してＬＶ画像が欠落した場合の処理を示している。ここでは、外乱除去済みの第（Ｎ－１）フレームのＬＶ画像３０６と、処理（Ｎ＋１）で推定された第（Ｎ＋１）フレームの推定ＬＶ画像１３１１とから、欠落した第（Ｎ＋２）フレームの代替ＬＶ画像を生成する。

まず、第（Ｎ－１）フレームのＬＶ画像に対して外乱除去部１０９によって外乱除去処理３０２を行い、外乱除去済みの第（Ｎ－１）フレームのＬＶ画像３０６を生成する。なお、処理Ｎで生成した外乱除去済みの第（Ｎ－１）フレームのＬＶ画像３０６を用いて構わない。そして、外乱除去済みの第（Ｎ－１）フレームのＬＶ画像３０６と、処理（Ｎ＋１）により推定された第（Ｎ＋１）フレームのＬＶ画像１３１１、及び、タイミング情報１３１７として「－３」、タイミング情報１３１８として「－１」を学習モデル１２０８に入力する。学習モデル１２０８は、タイミング情報１３１７の「－３」、１３１８の「－１」を加味して、第（Ｎ＋２）フレームの推定ＬＶ画像１３１５を推定する。そして、推定された第（Ｎ＋２）フレームのＬＶ画像１３１５に対して、外乱付加部１１１によって外乱付加処理３０３を行い、欠落した第（Ｎ＋２）フレームの代替ＬＶ画像１３１６を生成する。

以上のように、欠落した第Ｎ、第（Ｎ＋１）、第（Ｎ＋２）フレームが時間方向に連続して発生しても、学習モデル１２０８を用いて、第Ｎフレームの代替ＬＶ画像１３０８、第（Ｎ＋１）フレームの代替ＬＶ画像１３１２、第（Ｎ＋２）フレームの代替ＬＶ画像１３１６を生成していくことができる。そして、第（Ｎ－２）、第（Ｎ－１）フレームのＬＶ画像に続いて、第Ｎフレームの代替ＬＶ画像１３０８、第（Ｎ＋１）フレームの代替ＬＶ画像１３１２、第（Ｎ＋２）フレームの代替ＬＶ画像１３１６を、順次、表示部１０２を介し表示デバイス１０３で表示していく。

上記の通り第３の実施形態によれば、学習モデル１２０８にタイミング情報を用いることで、精度の高い代替フレーム画像を生成し、表示することができる。

なお、図１２及び図１３に示す例では、２枚のフレーム画像を入力とし、次のフレームを出力とする学習モデルを例として説明したが、本発明はこれに限られるものでない。例えば、１枚、または３枚以上の複数のフレーム画像を入力とした学習モデルでも構わない。また推定するフレーム画像についても、連続した次のフレームに限るものでなくフレームとフレームの間、また連続しないある時点のフレームであってもよい。ただし、学習時の入出力フレームのタイミング仕様は、推定画像生成を行うときの学習モデルのタイミング仕様と一致している。

なお、第３の実施形態におけるＬＶ表示中に静止画像を連写する場合のタイミングチャートは第２の実施形態における図１１のタイミングチャートと同じであるため、ここでは説明を省略する。なお、推定４、５、６、１２、１３、１４において、学習モデルＡ９０８、学習モデルＢ９０９の代わりに学習モデル１２０８を用いるのは、上述から明らかである。

＜変形例＞
図１４は、第３の実施形態における学習モデル１２０８を用いた代替ＬＶ画像の生成処理の別の例を示すタイミングチャートである。縦方向に同じタイミングにおけるタイミング信号あるいは処理を示し、横方向に時間を示している。なお、図１４において、図１１と同様の記載についての説明は適宜省略する。

図１１に示す処理との違いの１つは、図１４に示す例では、「画像処理」において、ＬＶ画像に対する表示用の画像処理を、ＬＶ画像と静止画像に対して行う点である。図１４では、ＬＶ画像に対して行う表示用の画像処理を表示１～３、７～１１、１５、１６、静止画像に対して行う表示用の画像処理を静止画１、２としている。

また、図１１に示す処理との別の違いは、推定６及び推定１４における処理にある。図１４の推定６では、除去３で得られた外乱除去済みのＬＶ画像を用いず、推定５において生成された推定ＬＶ画像と、静止画１において画像処理された静止画像とを用いる。この際に、推定５、静止画１の各々のタイミング情報「－１」「－１．５」を学習モデル１２０８に入力し、学習モデル１２０８はこれらの情報を加味して、推定ＬＶ画像を生成する。そして、推定６で生成した推定ＬＶ画像をデータ転送部１０５を介して一時記録部１０７に書き込む。

ここで、静止画１のタイミング情報「－１．５」は、生成する推定ＬＶ画像に対する相対的なタイミングを示し、例えば、静止画撮影が行われなかった場合の表示６の撮像露光タイミングを「０」とした場合、「センサ出力画像」に示す静止画１の露光重心のタイミングで与えられる。

推定１４は、表示１４のための推定ＬＶ画像の生成処理を示しており、推定６における処理と同様の処理が行われる。

以上説明したように本変形例によれば、第３の実施形態と同様の効果に加え、静止画撮影で得られた静止画像を用いることで、視認性のよい滑らかな表示が可能となる。

＜他の実施形態＞
上述した実施形態では、静止画像の連写時について説明したが、静止画像の単写時に適用しても良い。

また、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：撮像素子、１０１：画像処理部、１０２：表示部、１０３：表示デバイス、１０４：制御部、１０５：データ転送部、１０６：バス、１０７：一時記録部、１０８：記録部、１０９：外乱除去部、１１０：推定画像生成部、１１１：外乱付加部、１１２：操作部、２０１：教師用動画、２０８，１２０８：学習モデル、９０８：学習モデルＡ、９０９：学習モデルＢ

Claims (17)

1. 撮像素子により撮影されたフレーム画像における予め決められた外乱を抑制する抑制手段と、
   前記外乱が抑制された少なくとも１枚の第１のフレーム画像から、当該第１のフレーム画像とは異なる時点における第２のフレーム画像を、学習モデルを用いて推定する推定手段と、
   前記第２のフレーム画像に、前記外乱を付加する付加手段と、
   を有することを特徴とする画像処理装置。
2. 前記撮像素子により周期的に撮影されたフレーム画像と、前記付加手段により前記予め決められた外乱が付加された前記第２のフレーム画像とを、表示手段に出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記予め決められた外乱は、撮像光学部材の撮影条件により変動する外乱、前記画像処理装置の振れ、撮影する被写体の動き、輝度変動を含むことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記学習モデルは、前記撮像素子により周期的に撮影された複数のフレーム画像のうち、前記外乱が抑制された少なくとも１枚のフレーム画像を前記第１のフレーム画像として用いて推定された前記第２のフレーム画像と、前記複数のフレーム画像のうち、前記第２のフレーム画像と同じフレームのフレーム画像から前記外乱が抑制されたフレーム画像との誤差に基づいて更新されることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記学習モデルを更新する際に用いる前記第１のフレーム画像は、前記複数のフレーム画像のうち、連続する複数のフレーム画像であることを特徴とする請求項４に記載の画像処理装置。
6. 前記学習モデルを更新する際に用いる前記第１のフレーム画像は、前記複数のフレーム画像のうち、連続しない複数のフレーム画像であることを特徴とする請求項４に記載の画像処理装置。
7. 前記撮像素子が周期的にフレーム画像を撮影中に、フレーム画像の撮影が中断された場合に、前記推定手段は、前記中断している間に欠落するフレーム画像に対応する前記第２のフレーム画像を推定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記欠落するフレーム画像に対応する前記第２のフレーム画像の推定時に用いる前記第１のフレーム画像は、該第２のフレーム画像の推定時よりも前の時点において推定された前記第２のフレーム画像を含むことを特徴とする請求項７に記載の画像処理装置。
9. 前記欠落するフレーム画像に対応する前記第２のフレーム画像の推定時に用いる前記第１のフレーム画像は、前記撮像素子により撮影され、前記外乱が抑制された、少なくとも１つのフレーム画像を含むことを特徴とする請求項７または８に記載の画像処理装置。
10. 前記学習モデルは、前記撮像素子により周期的に撮影された複数のフレーム画像のうち、連続する複数のフレーム画像を用いて更新した第１の学習モデルと、連続しない複数のフレーム画像を用いて更新した第２の学習モデルと、を含み、
    前記撮像素子が周期的にフレーム画像を撮影中に、フレーム画像の撮影が中断された場合に、前記推定手段は、前記中断している間に欠落するフレーム画像に対応する前記第２のフレーム画像を推定し、当該推定時に、前記第１のフレーム画像として連続する複数のフレーム画像を用いる場合に前記第１の学習モデルを用い、前記第１のフレーム画像として連続しない複数のフレーム画像を用いる場合に前記第２の学習モデルを用いることを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
11. 前記推定手段は、前記第２のフレーム画像の推定時に、更に前記第１のフレーム画像を撮影したタイミングを示す時間情報を用いることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記撮像素子が周期的に表示用のフレーム画像を撮影中に、静止画像の撮影によりフレーム画像の撮影が中断された場合に、前記中断している間に欠落するフレーム画像に対応する前記第２のフレーム画像の推定時に用いる前記第１のフレーム画像は、前記静止画像を含むことを特徴とする請求項１１に記載の画像処理装置。
13. 前記学習モデルは、異なる複数の周期で撮影された複数のフレーム画像を用いて、各周期ごとに生成され、
    前記第１のフレーム画像の周期に対応する学習モデルを用いて前記第２のフレーム画像を推定することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 撮像素子と、
    請求項１乃至１３のいずれか１項に記載の画像処理装置と
    を有することを特徴とする撮像装置。
15. 抑制手段が、撮像素子により撮影されたフレーム画像における予め決められた外乱を抑制する抑制工程と、
    推定手段が、前記外乱が抑制された少なくとも１枚の第１のフレーム画像から、当該第１のフレーム画像とは異なる時点における第２のフレーム画像を、学習モデルを用いて推定する推定工程と、
    付加手段が、前記第２のフレーム画像に、前記外乱を付加する付加工程と、
    を有することを特徴とする画像処理方法。
16. コンピュータを、請求項１乃至１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
17. 請求項１６に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images