JP6932895B1 - 画像処理装置、撮像装置、移動体、プログラム及び方法 - Google Patents

Abstract

【課題】動画におけるフリッカ成分を低減するための処理量を削減した画像処理装置、撮像装置、移動体、プログラム及び方法を提供する。【解決手段】画像処理装置は、動画を構成する複数の画像のそれぞれの画素数を減少させることにより複数の縮小画像を生成し、複数の縮小画像を加算した画像を用いて、複数の画像に含まれる第１の画像においてフリッカ成分を低減した第２の画像を生成する。そして、第２の画像の画素数を増加させることにより第３の画像を生成し、第１の画像と第１の画像の低空間周波数成分画像との間の差分画像を生成して、第３の画像と差分画像との加算により、第１の画像に対応する出力画像を生成する。【選択図】図６

Description

本発明は、画像処理装置、撮像装置、移動体、プログラム及び方法に関する。

特許文献１には、撮像素子から得られる映像信号に生じる蛍光灯フリッカを低減する技術が記載されている。特許文献２には、周囲のフリッカー光源を検出し、検出されたフリッカーの周期と位相とに基づいてフリッカーの影響を低減させる撮影を行うことが記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２００４−２２２２２８号公報
［特許文献２］特開２０１６−８６２０６号公報

本発明の第１の形態に係る画像処理装置は、動画に対してフリッカを低減する画像処理を行うように構成された回路を備える。回路は、動画を構成する複数の画像のそれぞれの画素数を減少させることにより複数の縮小画像を生成するように構成される。回路は、複数の縮小画像を加算した画像を用いて、複数の画像に含まれる第１の画像においてフリッカ成分を低減した第２の画像を生成するように構成される。回路は、第２の画像の画素数を増加させることにより第３の画像を生成するように構成される。回路は、第１の画像と第１の画像の低空間周波数成分画像との間の差分画像を生成するように構成される。回路は、第３の画像と差分画像との加算により、第１の画像に対応する出力画像を生成するように構成される。

回路は、第１の画像の画素数を減少させることによって生成された第１の縮小画像の画素数を増加させることにより、第３の画像を生成するように構成されてよい。

回路は、動画から検出されるフリッカ成分の大きさが予め定められた値を超える場合に、フリッカを低減する画像処理を行うように構成されてよい。

回路は、複数の縮小画像からフリッカ成分を検出するように構成されてよい。回路は、複数の縮小画像から検出したフリッカ成分の大きさが予め定められた値を超える場合に、複数の画像のそれぞれについてフリッカを低減する画像処理を行うように構成されてよい。

回路は、予め定められた値より大きい高周波成分が検出された領域にフリッカを低減する画像処理を行うように構成されてよい。

回路は、動画における動き量が予め定められた値を下回る場合に、フリッカを低減する画像処理を行うように構成されてよい。

回路は、動画にガンマ補正が施されている場合に、複数の縮小画像を互いに異なる重みで加算した画像を用いて、第２の画像を生成するように構成されてよい。

回路は、動画の色空間形式がＹＵＶ形式である場合に、動画のＹ信号のみにフリッカを低減する画像処理を行うように構成されてよい。

本発明の第２の態様に係る撮像装置は、上記の画像処理装置と、動画を生成するイメージセンサとを備える。

本発明の第３の態様に係る移動体は、上記の撮像装置を備えて移動する。

移動体は、無人航空機であってよい。

本発明の第４の態様に係るプログラムは、コンピュータに、動画に対してフリッカを低減する画像処理を行わせる。プログラムは、コンピュータに、動画を構成する複数の画像のそれぞれの画素数を減少させることにより複数の縮小画像を生成させる。プログラムは、コンピュータに、複数の縮小画像を加算した画像を用いて、複数の画像に含まれる第１の画像においてフリッカ成分を低減した第２の画像を生成させる。プログラムは、コンピュータに、第２の画像の画素数を増加させることにより第３の画像を生成させる。プログラムは、コンピュータに、第１の画像と第１の画像の低空間周波数成分画像との間の差分画像を生成させる。プログラムは、コンピュータに、第３の画像と差分画像との加算により、第１の画像に対応する出力画像を生成させる。プログラムは、非一時的記録媒体に記録されてよい。

本発明の第５の態様に係る方法は、動画に対してフリッカを低減する画像処理を行う。方法は、動画を構成する複数の画像のそれぞれの画素数を減少させることにより複数の縮小画像を生成する段階を備える。方法は、複数の縮小画像を加算した画像を用いて、複数の画像に含まれる第１の画像においてフリッカ成分を低減した第２の画像を生成する段階を備える。方法は、第２の画像の画素数を増加させることにより第３の画像を生成する段階を備える。方法は、第１の画像と第１の画像の低空間周波数成分画像との間の差分画像を生成する段階を備える。方法は、第３の画像と差分画像との加算により、第１の画像に対応する出力画像を生成する段階を備える。

本発明の上記の態様によれば、動画におけるフリッカ成分を低減するための処理量を削減することができる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る撮像装置１００の外観斜視図の一例を示す図である。 本実施形態に係る撮像装置１００の機能ブロックを示す図である。 照明の輝度変化と露光期間の関係を概略的に示す。 制御部１１０によるデフリッカ処理の流れを模式的に示す。 制御部１１０におけるデフリッカ処理に係る画像処理を実行する画像処理部５００のブロック構成を模式的に示す。 画像処理部５００が実行する処理の流れを示すフローチャートを示す。 制御部１１０の動画データ生成ブロックの構成を模式的に示す。 制御部１１０の動画データ生成ブロックの他の構成を模式的に示す。 制御部１１０が実行する他のデフリッカ処理の流れを模式的に示す。 無人航空機（ＵＡＶ）の一例を示す。 本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ１２００の一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。

本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び／またはプロセッサによって実装されてよい。専用回路は、デジタル及び／またはアナログハードウェア回路を含んでよい。集積回路（ＩＣ）及び／またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等の様なメモリ要素等を含んでよい。

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

図１は、本実施形態に係る撮像装置１００の外観斜視図の一例を示す図である。図２は、本実施形態に係る撮像装置１００の機能ブロックを示す図である。

撮像装置１００は、撮像部１０２、レンズ部２００を備える。撮像部１０２は、イメージセンサ１２０、制御部１１０、メモリ１３０、指示部１６２、表示部１６０及び通信部１７０を有する。

イメージセンサ１２０は、ＣＣＤまたはＣＭＯＳにより構成されてよい。イメージセンサ１２０は、レンズ部２００が有するレンズ２１０を介して光を受光する。イメージセンサ１２０は、レンズ２１０を介して結像された光学像の画像データを制御部１１０に出力する。

制御部１１０は、ＣＰＵまたはＭＰＵなどのマイクロプロセッサ、ＭＣＵなどのマイクロコントローラなどにより構成されてよい。メモリ１３０は、コンピュータ可読可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＵＳＢメモリなどのフラッシュメモリの少なくとも１つを含んでよい。制御部１１０は回路に対応する。メモリ１３０は、制御部１１０がイメージセンサ１２０などを制御するのに必要なプログラム等を格納する。メモリ１３０は、撮像装置１００の筐体の内部に設けられてよい。メモリ１３０は、撮像装置１００の筐体から取り外し可能に設けられてよい。

指示部１６２は、撮像装置１００に対する指示をユーザから受け付けるユーザインタフェースである。表示部１６０は、イメージセンサ１２０により撮像され、制御部１１０により処理された画像、撮像装置１００の各種設定情報などを表示する。表示部１６０は、タッチパネルで構成されてよい。

制御部１１０は、レンズ部２００及びイメージセンサ１２０を制御する。例えば、制御部１１０は、レンズ２１０の焦点の位置や焦点距離を制御する。制御部１１０は、ユーザからの指示を示す情報に基づいて、レンズ部２００が備えるレンズ制御部２２０に制御命令を出力することにより、レンズ部２００を制御する。

レンズ部２００は、１以上のレンズ２１０、レンズ駆動部２１２、レンズ制御部２２０、及びメモリ２２２を有する。本実施形態において１以上のレンズ２１０のことを「レンズ２１０」と総称する。レンズ２１０は、フォーカスレンズ及びズームレンズを含んでよい。レンズ２１０が含むレンズのうちの少なくとも一部または全部は、レンズ２１０の光軸に沿って移動可能に配置される。レンズ部２００は、撮像部１０２に対して着脱可能に設けられる交換レンズであってよい。

レンズ駆動部２１２は、レンズ２１０のうちの少なくとも一部または全部を、レンズ２１０の光軸に沿って移動させる。レンズ制御部２２０は、撮像部１０２からのレンズ制御命令に従って、レンズ駆動部２１２を駆動して、レンズ２１０全体又はレンズ２１０が含むズームレンズやフォーカスレンズを光軸方向に沿って移動させることで、ズーム動作やフォーカス動作の少なくとも一方を実行する。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令等である。

レンズ駆動部２１２は、複数のレンズ２１０の少なくとも一部または全部を光軸方向に移動させるボイスコイルモータ（ＶＣＭ）を含んでよい。レンズ駆動部２１２は、ＤＣモータ、コアレスモータ、または超音波モータ等の電動機を含んでよい。レンズ駆動部２１２は、電動機からの動力をカム環、ガイド軸等の機構部材を介して複数のレンズ２１０の少なくとも一部または全部に伝達して、レンズ２１０の少なくとも一部または全部を光軸に沿って移動させてよい。

メモリ２２２は、レンズ駆動部２１２を介して移動するフォーカスレンズやズームレンズ用の制御値を記憶する。メモリ２２２は、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＵＳＢメモリなどのフラッシュメモリの少なくとも１つを含んでよい。

制御部１１０は、指示部１６２等を通じて取得したユーザの指示を示す情報に基づいて、イメージセンサ１２０に制御命令を出力することにより、イメージセンサ１２０に撮像動作の制御を含む制御を実行する。制御部１１０は、イメージセンサ１２０により撮像された画像を取得する。制御部１１０は、イメージセンサ１２０から取得した画像に画像処理を施してメモリ１３０に格納する。

通信部１７０は、外部との通信を担う。通信部１７０は、制御部１１０が生成した情報を通信ネットワークを通じて外部に送信する。通信部１７０は、通信ネットワークを通じて外部から受信した情報を制御部１１０に提供する。

制御部１１０が実行する画像処理の概要を説明する。制御部１１０は、動画に対してフリッカを低減する画像処理を行う。制御部１１０は、動画を構成する複数の画像のそれぞれの画素数を減少させることにより複数の縮小画像を生成する。制御部１１０は、複数の縮小画像を加算した画像を用いて、複数の画像に含まれる第１の画像においてフリッカ成分を低減した第２の画像を生成する。制御部１１０は、第２の画像の画素数を増加させることにより第３の画像を生成する。制御部１１０は、第１の画像と第１の画像の低空間周波数成分画像との間の差分画像を生成する。制御部１１０は、第３の画像と差分画像との加算により、第１の画像に対応する出力画像を生成する。

制御部１１０は、第１の画像の画素数を減少させることによって生成された第１の縮小画像の画素数を増加させることにより、第３の画像を生成してよい。制御部１１０は、第１の縮小画像をアップサンプルすることにより、第３の画像を生成してよい。なお、制御部１１０は、第１の画像から低空間周波数成分を抽出することによって、低空間周波数成分画像を生成してもよい。

制御部１１０は、動画から検出されるフリッカ成分の大きさが予め定められた値を超える場合に、フリッカを低減する画像処理を行う。制御部１１０は、複数の縮小画像からフリッカ成分を検出してよい。制御部１１０は、複数の縮小画像から検出したフリッカ成分の大きさが予め定められた値を超える場合に、複数の画像のそれぞれについてフリッカを低減する画像処理を行ってよい。

制御部１１０は、予め定められた値より大きい高周波成分が検出された領域にフリッカを低減する画像処理を行ってよい。制御部１１０は、動画における動き量が予め定められた値を下回る場合に、フリッカを低減する画像処理を行ってよい。

制御部１１０は、動画にガンマ補正が施されている場合に、複数の縮小画像を互いに異なる重みで加算した画像を用いて、第２の画像を生成してよい。回路は、動画の色空間形式がＹＵＶ形式である場合に、動画のＹ信号のみにフリッカを低減する画像処理を行ってよい。

図３は、照明の輝度変化と露光期間の関係を概略的に示す。電源周波数が５０Ｈｚの電力によって非インバータ方式の照明を駆動すると、照明の輝度は図３に示すように１／１００秒の周期で変化する。図３には、撮像部１０２が垂直同期信号に従って１／６０秒のフレーム期間で動画撮影を行う場合の露光期間が示されている。図３に示されるように、フレームＩ１、フレームＩ２、フレームＩ３を撮像するための連続するフレーム期間の間で、照明の輝度変化に対してフレームの露光タイミングがずれる。これにより、連続するフレーム期間の間で１露光期間中の照明光の露光量が変化する。そのため、動画において明暗の変化が生じる現象（フリッカ現象）が生じる。

図３に示すように、照明の輝度変化の周期が１／１００秒であり、フレーム期間が１／６０秒である場合、照明の輝度変化に対する露光期間の開始タイミングの位相は３フレーム毎に同位相となる。例えば、照明の輝度変化に対して、フレームＩ１を撮像する露光期間の開始タイミングの位相は、３フレーム後のフレームＩ４を撮像する露光期間の開始タイミングの位相と同一である。そのため、照明光の露光量は３フレームごとに繰り返される。

１フレームをグローバルシャッタ方式で撮像する場合、フリッカによる明暗変化はフレーム間にのみ現れる。そのため、図３の例では、連続する３フレーム毎にフレームを重ね合わせて平均化することによって、照明光による明暗の変化を低減することができる。例えば、フレームＩ１、フレームＩ２、及びフレームＩ３を重ね合わせて平均化した出力フレームを生成し、フレームＩ４、フレームＩ５、及びフレームＩ６を重ね合わせて平均化した出力フレームを生成することによって、出力フレーム間における照明光による明暗の変化を低減するデフリッカ処理を行うことができる。なお、１フレームをローリングシャッタ方式で撮像する場合には、３フレームを重ね合わせによって得られる出力フレーム内に、縞模様状の輝度変化が生じる場合がある。この場合、上記の特許文献１に記載されたように、３フレームの重ね合わせ画像から輝度又は色成分のスペクトルを抽出し、抽出したスペクトルに基づいてフリッカ成分の振幅及び位相を特定することによって、フレームにおけるフリッカ成分を低減するデフリッカ処理を行うことができる。

しかし、デフリッカ処理の対象となるフレームの画素数が多くなるほど、複数のフレームの重ね合わせ処理を含むデフリッカ処理の実行に必要な処理量が増大する。また、フレームの重ね合わせ処理によって高域の空間周波数成分が小さくなるため、出力フレームにおける画像としての解像度が低下する場合がある。これに対し、本実施形態における撮像装置１００において、制御部１１０は、イメージセンサ１２０によって生成される複数のフレームを縮小した縮小フレームに対して、デフリッカ処理を行う。これにより、デフリッカ処理の実行に必要な処理量の増大を抑制することができる。また、制御部１１０は、フレームから高域の空間周波数成分を抽出して、縮小フレーム画像と、イメージセンサ１２０によって生成された高域の空間周波数成分とを用いて、出力フレームを生成する。これにより、デフリッカ処理による解像度の低下を抑制することができる。

図４は、制御部１１０によるデフリッカ処理の流れを模式的に示す。前フレーム４０１、現フレーム４０２、及び次フレーム４０３は、動画を構成する画像である。前フレーム４０１、現フレーム４０２、及び次フレーム４０３は、イメージセンサ１２０により連続して生成され、制御部１１０のデフリッカ処理部に入力されるフレームである。前フレーム４０１、現フレーム４０２、及び次フレーム４０３はＮ×Ｍ個の画素数を持つ画像である。なお、「現フレーム」という名称は、連続する３個のフレームにおいて基準となるフレームであることを分かり易く示すためのものであり、「現在」であることを意味するものではない。また、「前フレーム」及び「次フレーム」の名称は、「現フレーム」に対する撮像順序を分かり易く示すためのものである。

制御部１１０は、前フレーム４０１をダウンサンプルすることにより、縮小フレーム４１１を生成する。制御部１１０は、現フレーム４０２をダウンサンプルすることにより、縮小フレーム４１２を生成する。また、制御部１１０は、次フレーム４０３をダウンサンプルすることにより、縮小フレーム４１３を生成する。縮小フレーム４１１、縮小フレーム４１２、及び縮小フレーム４１３は、Ｎ／２×Ｍ／２個の画素数を持つ画像である。

制御部１１０は、縮小フレーム４１１、縮小フレーム４１２、及び縮小フレーム４１３を用いてデフリッカ処理を行う。具体的には、図３等に関連して説明したように、縮小フレーム４１１、縮小フレーム４１２、及び縮小フレーム４１３を加算して平均化することによって得られたフレームを用いて、デフリッカ画像４３２を生成する。そして、制御部１１０は、デフリッカ画像４３２をアップサンプルすることによって、拡大画像４４２を生成する。拡大画像４４２は、Ｎ×Ｍの画素数を持つ画像である。

制御部１１０は、縮小フレーム４１２をアップサンプルすることによって、低域成分画像４５２を生成する。低域成分画像４５２は、Ｎ×Ｍ個の画素数を持つ画像である。低域成分画像４５２は、現フレーム４０２に対してダウンサンプル処理とアップサンプル処理を行うことによって得られる画像である。したがって、低域成分画像４５２は、現フレーム４０２における高域の空間周波数成分を低減した画像であるといえる。制御部１１０は、現フレーム４０２と低域成分画像４５２との差分により、高域成分画像４６２を生成する。高域成分画像４６２は、Ｎ×Ｍの画素数を持ち、現フレーム４０２から高域の空間周波数成分を抽出した画像であるといえる。

制御部１１０は、拡大画像４４２に高域成分画像４６２を加算することによって、出力フレーム４７０を生成する。出力フレーム４７０は、Ｎ×Ｍの画素数を持つ画像である。図４等に関連して説明したように、制御部１１０は、縮小フレーム４１１、縮小フレーム４１２、及び縮小フレーム４１３に対してデフリッカ処理を行うので、デフリッカ処理に必要な処理量の増大を抑制することができる。また、制御部１１０は、現フレーム４０２から抽出した高域成分画像を、拡大画像４４２に加算するので、フレームの重ね合わせによるデフリッカ処理によって生じる高域成分の低下量を抑制することができる。

図５は、制御部１１０におけるデフリッカ処理に係る画像処理を実行する画像処理部５００のブロック構成を模式的に示す。ダウンサンプル部５１０は、前フレーム４０１をダウンサンプルすることにより、縮小フレーム４１１を生成する。ダウンサンプル部５２０は、現フレーム４０２をダウンサンプルすることにより、縮小フレーム４１２を生成する。ダウンサンプル部５３０は、次フレーム４０３をダウンサンプルすることにより、縮小フレーム４１３を生成する。ダウンサンプルは画素数を低減する処理である。ダウンサンプルとしては、注目画素の周辺画素の重み付け平均を算出する処理や、画素の間引き処理等を例示することができる。

デフリッカ部５４０は、縮小フレーム４１１、縮小フレーム４１２、及び縮小フレーム４１３に対してデフリッカ処理を行うことにより、デフリッカ画像４３２を生成する。アップサンプル部５５０は、デフリッカ画像４３２をアップサンプルすることによって、拡大画像４４２を生成する。アップサンプルは、画素数を増加させる処理である。アップサンプルとしては、隣接画素の画素値を用いる補間処理等を例示することができる。

アップサンプル部５６０は、ダウンサンプル部５２０によって生成された縮小フレーム４１２をアップサンプルすることにより、低域成分画像４５２を生成する。差分処理部５７０は、現フレーム４０２からアップサンプル部５６０が生成した低域成分画像４５２を画素毎に減算することにより、高域成分画像４６２を生成する。加算部５８０は、アップサンプル部５５０により生成された拡大画像４４２に、差分処理部５７０により生成された高域成分画像４６２を画素毎に加算することにより、出力フレーム４７０を生成する。画像処理部５００は、連続する３個のフレームについて上述した処理を繰り返すことによって、動画においてフリッカ成分を低減する複数の出力フレームを生成する。

図６は、画像処理部５００が実行する処理の流れを示すフローチャートを示す。Ｓ６００において、ダウンサンプル部５１０、ダウンサンプル部５２０及びダウンサンプル部５３０は、それぞれ前フレーム４０１、現フレーム４０２及び次フレーム４０３をダウンサンプルすることにより、縮小フレーム４１１、縮小フレーム４１２、及び縮小フレーム４１３を生成する。

Ｓ６００において、画像処理部５００は、フリッカが生じているか否かを判断する。例えば、画像処理部５００は、縮小フレーム４１１、縮小フレーム４１２及び縮小フレーム４１３からフリッカ成分を抽出する。具体的には、画像処理部５００は、縮小フレーム４１１、縮小フレーム４１２及び縮小フレーム４１３を重ね合わせた画像を用いてスペクトルを抽出することによりフリッカ成分を抽出する。画像処理部５００は、抽出したフリッカ成分の振幅が予め定められた値を超える場合にフリッカが生じていると判断し、フリッカ成分の振幅が予め定められた値を以下の場合にフリッカが生じていないと判断する。なお、画像処理部５００は、上記特許文献２に記載されているフリッカ検出処理を、Ｓ６００において生成した縮小フレームを用いて行ってもよい。これにより、フリッカ検出処理に必要な処理量を削減することができる。

フリッカが生じていないと判断した場合、Ｓ６８０において、画像処理部５００は、現在フレームを出力フレームとして出力する。フリッカが生じていると判断した場合、Ｓ６２０において、画像処理部５００は、複数の縮小フレーム４１１、縮小フレーム４１２及び縮小フレーム４１３を用いてデフリッカ処理を実行して、デフリッカ画像４３２を生成する。Ｓ６３０において、アップサンプル部５５０は、デフリッカ画像４３２をアップサンプルすることにより画素数を増加させて拡大画像４４２を生成する。

Ｓ６４０において、アップサンプル部５６０は、現フレーム４０２に対応する縮小フレーム４１２をアップサンプルすることにより画素数を増加させて、低域成分画像４５２を生成する。Ｓ６５０において、差分処理部５７０は、現フレーム４０２から低域成分画像４５２を減算することにより、高域成分画像４６２を生成する。Ｓ６６０において、加算部５８０は、Ｓ６３０で生成した拡大画像４４２に、Ｓ６５０で生成した高域成分画像４６２を加算することにより、出力フレーム４７０を生成する。Ｓ６７０において、フリッカ成分を低減した動画を構成するフレームとして、Ｓ６６０で生成した出力フレーム４７０を出力する。

なお、本フローチャートにおいて、フリッカの有無の検出を省略してもよい。例えば、画像処理部５００は、Ｓ６１０におけるフリッカの検出処理を行うことなく、Ｓ６２０からＳ６７０の処理を実行してよい。また、画像処理部５００は、動画における動き量が予め定められた値以上の場合には、上述したデフリッカ処理方法を行わなくてよい。動画における動き量は、撮像装置１００のグローバルモーションであってよい。動画における動き量は、撮像装置１００は、パン、ズーム、回転等であってよい。画像処理部５００は、撮像装置１００に設けられたジャイロセンサの検出値に基づいて動画における動き量を取得してよい。画像処理部５００は、動画を構成する複数のフレームから動画における動き量を検出してよい。画像処理部５００は、複数の縮小フレームから動画における動き量を検出してもよい。画像処理部５００は、部分領域のみにデフリッカ処理を行ってよい。画像処理部５００は、デフリッカ処理を行う場合に、予め定められた周波数より高い空間周波数成分が予め定められた値より大きい部分領域を選択して、選択した部分領域にデフリッカ処理を行い、選択した部分領域以外の領域には上述したデフリッカ処理を行わなくてよい。画像処理部５００は、画像の全領域に対してデフリッカ処理を行うか否かを判断することなく、予め定められた周波数より高い空間周波数成分を予め定められた値より大きい部分領域が存在する場合に、当該部分領域に上述したデフリッカ処理を行ってもよい。

図７は、制御部１１０の動画データ生成ブロックの構成を模式的に示す。ＲＡＷデータは、イメージセンサ１２０で生成されて制御部１１０に順次に入力されるフレームの画像データを表す。ＲＡＷデータは、画素毎に予め定められた色成分の輝度値を持つ。メモリ部７８０は、画像処理部５００における画像処理に必要な画像データを保持する。画像処理部５００は、順次に入力されるＲＡＷデータを縮小してメモリ部７８０に保持する。画像処理部５００は、次フレーム４０３に対応するＲＡＷデータから縮小フレーム４１３を生成すると、メモリ部７８０から前フレーム及び現フレームの縮小フレームを取得して、上述したデフリッカ処理を含む画像処理を行う。このように、画像処理部５００は上述したデフリッカ処理をＲＡＷ空間において実行して、ＲＡＷ形式の出力フレームを生成する。

ＹＵＶ変換部７１０は、ＲＡＷ形式の出力フレームにＹＵＶ変換処理を行って、ＹＵＶデータを生成する。ＹＵＶ変換部７１０は、ガンマ補正を含むＹＵＶ変換処理を行う。このように、制御部１１０は、上述したデフリッカ処理をＲＡＷ空間において実行した後、ＹＵＶ変換部７１０において画素値を非線形な画素値に変換する処理を行う。したがって、画像処理部５００が処理する画素信号は、イメージセンサ１２０の画素信号に対し線形な強度を持つ画素信号となる。そのため、フリッカ成分をより適切に低減することができる。

図８は、制御部１１０の動画データ生成ブロックの他の構成を模式的に示す。ＹＵＶ変換部８１０は、ＲＡＷデータに対しガンマ補正を含むＹＵＶ変換処理を行う。画像処理部８００は、ＹＵＶデータに対して、デフリッカ処理を含む画像処理を実行する。画像処理部８００は、Ｙ信号、Ｕ信号、及びＶ信号のそれぞれについて、上述したデフリッカ処理を行うことによって、ＹＵＶデータを生成する。画像処理部８００は、Ｙ信号のみに対して、上述したデフリッカ処理を行うことによって、ＹＵＶデータを生成してもよい。ＹＵＶデータが４：２：０フォーマットである場合、図８に示す構成に基づくデフリッカ処理を行うことで、デフリッカ処理に必要となる処理量をより削減することができる。

なお、図８に示す構成では、画像処理部８００に入力されるＹＵＶデータは、ガンマ補正等の非線形処理が施されたデータとなる。そのため、複数のフレームを単純に重ね合わてもフリッカ成分を十分に低減することができない場合がある。そのため、画像処理部８００は、入力される複数のフレームに対応するＹＵＶデータを重み付け加算をすることにより重ね合わせる。画像処理部８００は、画素信号の強度に応じた重み付け加算をすることにより複数のフレームのＹＵＶデータを重ね合わせてよい。画像処理部８００は、ＹＵＶ変換部により実行されたガンマ補正の処理情報を考慮して、複数のフレームのＹＵＶデータを重ね合わせる重み付け係数を決定してよい。これにより、画像処理部８００の前段階で実行された非線形処理がデフリッカ処理に与える影響を低減することができる。

図９は、制御部１１０が実行する他のデフリッカ処理の流れを模式的に示す。図９に示す処理と図４に示す処理との相違点は、主として、動画を構成するフレームに対して２段階のダウンサンプルを行うところにある。そのため、図４等に関連して説明した処理と同様の処理については、説明を省略する場合がある。

ダウンサンプル部５１０は、縮小フレーム４１１に対して更にダウンサンプルすることにより、縮小フレーム９２１を生成する。ダウンサンプル部５２０は、縮小フレーム４１２に対して更にダウンサンプルすることにより、縮小フレーム９２２を生成する。ダウンサンプル部５３０は、縮小フレーム４１３に対して更にダウンサンプルすることにより、縮小フレーム９２３を生成する。縮小フレーム９２１、縮小フレーム９２２、及び縮小フレーム９２３は、Ｎ／４×Ｍ／４個の画素数を持つ画像である。

制御部１１０は、縮小フレーム９２１、縮小フレーム９２２、及び縮小フレーム９２３を用いてデフリッカ処理を行う。具体的には、図３等に関連して説明したように、縮小フレーム９２１、縮小フレーム９２２、及び縮小フレーム９２３を加算して平均化することによって得られたフレームを用いて、デフリッカ画像９３２を生成する。そして、アップサンプル部５５０は、デフリッカ画像９３２をアップサンプルすることによって、拡大画像９４２を生成する。拡大画像９４２は、Ｎ×Ｍの画素数を持つ画像である。

アップサンプル部５６０は、縮小フレーム９２２をアップサンプルすることによって、低域成分画像９５２を生成する。低域成分画像９５２は、Ｎ×Ｍ個の画素数を持つ画像である。低域成分画像９５２は、現フレーム４０２における高域の空間周波数成分を低減した画像であるといえる。差分処理部５７０は、現フレーム４０２と低域成分画像９５２との差分により、高域成分画像９６２を生成する。高域成分画像９６２は、Ｎ×Ｍの画素数を持ち、現フレーム４０２から高域の空間周波数成分を抽出した画像であるといえる。

加算部５８０は、拡大画像９４２に高域成分画像９６２を加算することによって、出力フレーム９７０を生成する。出力フレーム９７０は、Ｎ×Ｍの画素数を持つ画像である。図９に示す構成によれば、縮小フレーム９２１、縮小フレーム９２２、及び縮小フレーム９２３に対してデフリッカ処理を行うので、デフリッカ処理に必要な処理量の増大をより抑制することができる。なお、図９は２段階のダウンサンプルを行う構成であるが、３段階以上のダウンサンプルを行う構成を採用してもよい。

以上の説明では、照明の輝度変化の周期が１／１００秒であり、フレーム期間が１／６０秒である場合において、３個のフレームを重ね合わせた画像を用いてデフリッカ処理を行う場合を説明した。照明の輝度変化の周期とフレーム期間が他の組み合わせである場合には、重ね合わせるフレームの数を適宜調整することによって、同様のデフリッカ処理を行うことができる。

以上に説明したとおり、制御部１１０による画像処理によれば、デフリッカ処理に必要な処理量を削減することができる。また、デフリッカ処理によって高域の空間周波数成分が低下することを抑制することができる。

撮像装置１００の一部又は全ての機能は、携帯電話等の移動端末に組み込まれてよい。撮像装置１００は、監視カメラであってよい。撮像装置１００はビデオカメラ、等であってよい。撮像装置１００の一部又は全ての機能は、動画を撮像することができる任意の装置に組み込まれてよい。

上記のような撮像装置１００は、移動体に搭載されてもよい。撮像装置１００は、図１０に示すような、無人航空機（ＵＡＶ）に搭載されてもよい。ＵＡＶ１０は、ＵＡＶ本体２０、ジンバル５０、複数の撮像装置６０、及び撮像装置１００を備えてよい。ジンバル５０、及び撮像装置１００は、撮像システムの一例である。ＵＡＶ１０は、推進部により推進される移動体の一例である。移動体とは、ＵＡＶの他、空中を移動する他の航空機などの飛行体、地上を移動する車両、水上を移動する船舶等を含む概念である。

ＵＡＶ本体２０は、複数の回転翼を備える。複数の回転翼は、推進部の一例である。ＵＡＶ本体２０は、複数の回転翼の回転を制御することでＵＡＶ１０を飛行させる。ＵＡＶ本体２０は、例えば、４つの回転翼を用いてＵＡＶ１０を飛行させる。回転翼の数は、４つには限定されない。また、ＵＡＶ１０は、回転翼を有さない固定翼機でもよい。

撮像装置１００は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。ジンバル５０は、撮像装置１００を回転可能に支持する。ジンバル５０は、支持機構の一例である。例えば、ジンバル５０は、撮像装置１００を、アクチュエータを用いてピッチ軸で回転可能に支持する。ジンバル５０は、撮像装置１００を、アクチュエータを用いて更にロール軸及びヨー軸のそれぞれを中心に回転可能に支持する。ジンバル５０は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像装置１００を回転させることで、撮像装置１００の姿勢を変更してよい。

複数の撮像装置６０は、ＵＡＶ１０の飛行を制御するためにＵＡＶ１０の周囲を撮像するセンシング用のカメラである。２つの撮像装置６０が、ＵＡＶ１０の機首である正面に設けられてよい。更に他の２つの撮像装置６０が、ＵＡＶ１０の底面に設けられてよい。正面側の２つの撮像装置６０はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の２つの撮像装置６０もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置６０により撮像された画像に基づいて、ＵＡＶ１０の周囲の３次元空間データが生成されてよい。ＵＡＶ１０が備える撮像装置６０の数は４つには限定されない。ＵＡＶ１０は、少なくとも１つの撮像装置６０を備えていればよい。ＵＡＶ１０は、ＵＡＶ１０の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも１つの撮像装置６０を備えてもよい。撮像装置６０で設定できる画角は、撮像装置１００で設定できる画角より広くてよい。撮像装置６０は、単焦点レンズまたは魚眼レンズを有してもよい。

遠隔操作装置３００は、ＵＡＶ１０と通信して、ＵＡＶ１０を遠隔操作する。遠隔操作装置３００は、ＵＡＶ１０と無線で通信してよい。遠隔操作装置３００は、ＵＡＶ１０に上昇、下降、加速、減速、前進、後進、回転などのＵＡＶ１０の移動に関する各種命令を示す指示情報を送信する。指示情報は、例えば、ＵＡＶ１０の高度を上昇させる指示情報を含む。指示情報は、ＵＡＶ１０が位置すべき高度を示してよい。ＵＡＶ１０は、遠隔操作装置３００から受信した指示情報により示される高度に位置するように移動する。指示情報は、ＵＡＶ１０を上昇させる上昇命令を含んでよい。ＵＡＶ１０は、上昇命令を受け付けている間、上昇する。ＵＡＶ１０は、上昇命令を受け付けても、ＵＡＶ１０の高度が上限高度に達している場合には、上昇を制限してよい。

図１１は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ１２００の一例を示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の１または複数の「部」として機能させることができる。例えば、コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００に、制御部１１０として機能させることができる。または、当該プログラムは、コンピュータ１２００に当該オペレーションまたは当該１または複数の「部」の機能を実行させることができる。当該プログラムは、コンピュータ１２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、及びＲＡＭ１２１４を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、入力／出力ユニットを含み、それらは入力／出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。コンピュータ１２００はまた、ＲＯＭ１２３０を含む。ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納してよい。ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／またはコンピュータ１２００のハードウェアに依存するプログラムを格納する。プログラムが、ＣＲ−ＲＯＭ、ＵＳＢメモリまたはＩＣカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるＲＡＭ１２１４、またはＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ１２００の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、またはＵＳＢメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

また、ＣＰＵ１２１２は、ＵＳＢメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ１２００上またはコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ ＵＡＶ
２０ ＵＡＶ本体
５０ ジンバル
６０ 撮像装置
１００ 撮像装置
１０２ 撮像部
１１０ 制御部
１２０ イメージセンサ
１３０ メモリ
１６０ 表示部
１６２ 指示部
１７０ 通信部
４０１ 前フレーム
４０２ 現フレーム
４０３ 次フレーム
４１１ 縮小フレーム
４１２ 縮小フレーム
４１３ 縮小フレーム
４３２ デフリッカ画像
４４２ 拡大画像
４５２ 低域成分画像
４６２ 高域成分画像
４７０ 出力フレーム
５００ 画像処理部
５１０、５２０、５３０ ダウンサンプル部
５４０ デフリッカ部
５５０、５６０ アップサンプル部
５７０ 差分処理部
５８０ 加算部
７１０ ＹＵＶ変換部
７８０ メモリ部
８００ 画像処理部
８１０ ＹＵＶ変換部
９２１、９２２、９２３ 縮小フレーム
９３２ デフリッカ画像
９４２ 拡大画像
９５２ 低域成分画像
９６２ 高域成分画像
９７０ 出力フレーム
１２００ コンピュータ
１２１０ ホストコントローラ
１２１２ ＣＰＵ
１２１４ ＲＡＭ
１２２０ 入力／出力コントローラ
１２２２ 通信インタフェース
１２３０ ＲＯＭ

Claims (13)

1. 動画に対してフリッカを低減する画像処理を行うように構成された回路
   を備え、
   前記回路は、
   前記動画を構成する複数の画像のそれぞれの画素数を減少させることにより複数の縮小画像を生成し、
   前記複数の縮小画像を加算した画像を用いて、前記複数の画像に含まれる第１の画像においてフリッカ成分を低減した第２の画像を生成し、
   前記第２の画像の画素数を増加させることにより第３の画像を生成し、
   前記第１の画像と前記第１の画像の低空間周波数成分画像との間の差分画像を生成し、
   前記第３の画像と前記差分画像との加算により、前記第１の画像に対応する出力画像を生成する
   ように構成される、画像処理装置。
2. 前記回路は、前記第１の画像の画素数を減少させることによって生成された第１の縮小画像の画素数を増加させることにより、前記第３の画像を生成するように構成される
   請求項１に記載の画像処理装置。
3. 前記回路は、前記動画から検出されるフリッカ成分の大きさが予め定められた値を超える場合に、フリッカを低減する画像処理を行うように構成される
   請求項１又は２に記載の画像処理装置。
4. 前記回路は、
   前記複数の縮小画像からフリッカ成分を検出し、
   前記複数の縮小画像から検出したフリッカ成分の大きさが予め定められた値を超える場合に、前記複数の画像のそれぞれについてフリッカを低減する画像処理を行う
   ように構成される請求項３に記載の画像処理装置。
5. 前記回路は、予め定められた値より大きい高周波成分が検出された領域に前記フリッカを低減する画像処理を行うように構成される
   請求項１又は２に記載の画像処理装置。
6. 前記回路は、前記動画における動き量が予め定められた値を下回る場合に、前記フリッカを低減する画像処理を行うように構成される
   請求項１又は２に記載の画像処理装置。
7. 前記回路は、前記動画にガンマ補正が施されている場合に、前記複数の縮小画像を互いに異なる重みで加算した画像を用いて、前記第２の画像を生成するように構成される
   請求項１又は２に記載の画像処理装置。
8. 前記回路は、前記動画の色空間形式がＹＵＶ形式である場合に、前記動画のＹ信号のみに前記フリッカを低減する画像処理を行うように構成される
   請求項１又は２に記載の画像処理装置。
9. 請求項１又は２に記載の画像処理装置と、
   前記動画を生成するイメージセンサと
   を備える撮像装置。
10. 請求項９に記載の撮像装置を搭載して移動する移動体。
11. 前記移動体は、無人航空機である
    請求項１０に記載の移動体。
12. コンピュータに、動画に対してフリッカを低減する画像処理を行わせるためのプログラムであって、
    前記プログラムは、前記コンピュータに、
    前記動画を構成する複数の画像のそれぞれの画素数を減少させることにより複数の縮小画像を生成させ、
    前記複数の縮小画像を加算した画像を用いて、前記複数の画像に含まれる第１の画像においてフリッカ成分を低減した第２の画像を生成させ、
    前記第２の画像の画素数を増加させることにより第３の画像を生成させ、
    前記第１の画像と前記第１の画像の低空間周波数成分画像との間の差分画像を生成させ
    前記第３の画像と前記差分画像との加算により、前記第１の画像に対応する出力画像を生成させる、
    プログラム。
13. 動画に対してフリッカを低減する画像処理を行う方法であって、
    前記動画を構成する複数の画像のそれぞれの画素数を減少させることにより複数の縮小画像を生成する段階と、
    前記複数の縮小画像を加算した画像を用いて、前記複数の画像に含まれる第１の画像においてフリッカ成分を低減した第２の画像を生成する段階と、
    前記第２の画像の画素数を増加させることにより第３の画像を生成する段階と、
    前記第１の画像と前記第１の画像の低空間周波数成分画像との間の差分画像を生成する段階と、
    前記第３の画像と前記差分画像との加算により、前記第１の画像に対応する出力画像を生成する段階と
    を備える方法。

Images