JP6391383B2 - 画像処理装置、その制御方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は、インターバル動画撮影処理の中で、撮影した複数枚の画像を利用して比較明合成処理を行う技術に関する。

近年、デジタルカメラの技術進歩と普及に伴い、デジタルカメラを様々な撮影用途に使用し、フィルムカメラ時代には存在しなかった新たな映像表現方法が多々生まれている。その中の一つに、デジタルカメラを三脚に固定し、インターバル撮影を行って得られた多数枚の静止画を利用し、新たな映像を作成する手法がある。特許文献１には、撮影画面内を移動している蛍の光跡を増やした写真や、地球の日周運動に起因し夜空を移動する星の光跡を残した写真を作成するために、比較明合成という合成処理が用いられている。さらにそれらの画像を繋ぎ合わせることにより動画像として表現される場合もある。

前述の比較明合成処理は、一般的に、パーソナルコンピュータなどに専用のソフトウエアをインストールすることにより実行するのが一般的である。つまり、撮影者は、デジタルカメラを用いてインターバル撮影を行い、得られた多数枚の画像をパーソナルコンピューターに取り込んで、そのソフトウェアによって比較明合成処理を行うのが一般的である。

特開２０１３−６２７４０号公報

しかしながら、この方法では、デジタルカメラのインターバル撮影により得られた多数の画像をパーソナルコンピューターに取り込み、パーソナルコンピューターにて合成処理を施す必要がある。その場合、撮影した多数毎の画像をパーソナルコンピューターにコピーする必要があるなど、比較明合成するその撮影者は、デジタルカメラの使い方のみならず、パーソナルコンピューターとソフトウエアの使い方も覚えなくてはならない。さらに高度な画像処理を行おうとすると撮影者にとって難易度が高く、簡単にできるものではなかった。

上記課題に鑑み、本発明は、より簡便な操作で、複数枚の順次撮影を行った画像から残像を表現する動画を生成可能な画像処理装置及び画像処理装置の制御方法を提供することを目的とする。

上記課題を解決するために、本発明の画像処理装置は、画像データを順次取得する取得手段と、画像データ間で対応する領域ごとに値の大きいデータを選択する比較明合成を施して合成画像データを生成する合成手段と、前記合成手段から出力される合成画像データに明るさを暗くする調整処理を施す明るさ調整手段と、前記合成手段から出力される合成画像データを各フレームとして動画像データを生成する生成手段と、を有し、前記合成手段は、前記取得手段より順次取得される画像データと、前記明るさ調整手段から出力される前記調整処理後の合成画像データとで前記比較明合成を行い、新たな合成画像データを出力することを特徴とする。

また、本発明の画像処理装置は、画像データを順次取得する取得手段と、画像データ間で対応する領域ごとに値の大きいデータを選択する比較明合成を施して合成画像データを生成する合成手段と、前記合成手段から出力される合成画像データに明るさを暗くする調整処理を施し、前記合成手段に出力する明るさ調整手段と、前記取得手段により順次取得される画像データに対して前記合成手段による前記比較明合成及び前記明るさ調整手段による前記調整処理を順次行って得られる画像データを用いて動画像データを生成する生成手段と、を有することを特徴とする。

より簡便な操作で、複数枚の順次撮影を行った画像から残像を表現する動画を生成することができる。。

本発明における画像処理装置の構成ブロック図である。 第１の実施形態における残像効果を出すための処理手順を示す図である。 第１の実施形態における残像効果をより長く出すための処理手順を示す図である。 第２の実施形態における星の軌跡のイメージ図である。 第２の実施形態における軌跡残像モードの処理手順を示す図である。 第２の実施形態における軌跡の残像を生成する処理の処理手順を示す図である。 第２の実施形態における星の前半部分の軌跡を生成するための明るさ調整を説明するための図である。 第２の実施形態における星の前半部分の軌跡を生成するための明るさ調整の変形例を説明するための図である。

（第１の実施形態）
以下、図面を参照して本発明の実施例を説明する。

図１は、本発明の実施例の構成を示す図である。

図１において、１００は画像処理装置の一例としてのデジタルカメラである。

１０３は撮影レンズ、１０１は絞り機能を備える機械式シャッター、２２は光学像を電気信号に変換する撮像素子備える撮像部、２３は撮像部２２のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。撮像部２２の撮像素子は、本実施形態ではＲ、Ｇ、Ｂの画素が規則的に配置されたベイヤー配列の構成となっているが、これに限られない。なお、撮像部２２、撮影レンズ１０３、シャッター１０１はタイミング発生回路を使用してシステム制御部５０により制御される。

１０１の機械式シャッター以外にも、撮像素子のリセットタイミングの制御によって、電子シャッタとして蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

２４は画像処理部であり、Ａ／Ｄ変換器２３からのデータ或いはメモリ制御部１５からのデータに対して所定の画素補間処理やシェーディング補正などの各種補正処理、ホワイトバランス処理、γ補正処理、色変換処理などを行う。また画像処理部２４によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。シェーディング補正処理は、Ａ／Ｄ変換器２３からのデータ或いはメモリ制御部１５からのデータに対して撮影レンズ１０３の特性や撮像部２２の収差等の特性に起因して生じるシェーディングを補正するように、画面内の輝度レベルの補正を行う。ＷＢ（ホワイトバランス）処理は、画面内の白基準を白に合わせるホワイトバランス処理をシェーディング補正処理後の画像データに対して行う。本実施形態においては、シェーディング補正は撮像部２２の撮像素子の２次元の座標（位置）に応じて画素ごとにゲインをかける補正であり、ホワイトバランス処理は、ベイヤー配列のＲ、Ｇ１、Ｇ２、Ｂごとに異なるゲインをかける処理である。また、画像合成部５４は、複数の画像データを合成する合成処理回路を備える。本実施形態では、単純な加算合成あるいは加算平均合成だけでなく、合成対象の画像データの各領域において最も明るいまたは暗い値を持つ画像を選択して、それらを合成して１枚の画像データを生成する比較明合成処理、比較暗合成処理が可能である。また、画像合成部５４は画像処理２４と一体に構成されていてもよい。

また、画像処理部２４においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う、ＴＴＬ方式のＡＦ処理、ＡＥ処理、ＥＦ処理を行っている。

１５はメモリ制御部であり、Ａ／Ｄ変換器２３、画像処理部２４、メモリ３２を制御する。

Ａ／Ｄ変換器２３のデータが画像処理部２４、メモリ制御部１５を介して、或いはＡ／Ｄ変換器２３のデータが直接メモリ制御部１５を介して、メモリ３２に書き込まれる。

２８はＴＦＴ ＬＣＤ等から成る表示部であり、メモリ３２に書き込まれた表示用の画像データはメモリ制御部１５を介して表示部２８により表示される。

表示部２８を用いて、撮像部２２で所定の周期で露光及び読み出しを繰り返し行って順次撮像した画像データを順次取得し、画像処理部２４、メモリ制御部１５等を経て順次表示すれば、ライブビュー表示や電子ファインダー機能を実現することが可能である。

また、表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはデジタルカメラ１００の電力消費を大幅に低減することが出来る。

３２は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。

これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３２に対して行うことが可能となる。

また、メモリ３２はシステム制御部５０の作業領域としても使用することが可能である。

システム制御部５０は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ３２、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

５６はＦｌａｓｈＲＯＭ等で構成された不揮発性メモリである。システム制御部５０が実行するプログラムコードは不揮発性メモリ５６に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。

７０は各種ボタンやタッチパネル等からなる操作部で、シャッタースイッチ（ＳＷ１、ＳＷ２）、メニューボタン、セットボタン、マクロボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

操作部７０への操作によるシャッタースイッチＳＷ１で、シャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。

操作部７０への操作によるシャッタースイッチＳＷ２で、シャッターボタンの操作完了でＯＮとなり、露光処理、現像処理、圧縮・伸長処理、記録処理という一連の処理の動作開始を指示する。

３０はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源部である。８０は電源部３０を制御する電源制御部である。

１８はメモリカードやハードディスク等の記録媒体とのインタフェース、メモリカードやハードディスク等の記録媒体と接続を行うコネクタである。

１０２は、デジタルカメラ１００の撮影レンズ１０３及び撮像部２２を覆うことにより、撮像部の汚れや破損を防止するバリアである。

複数の画像データを合成する合成処理について説明する。画像合成部５４は合成処理として、加算合成処理、加重加算合成処理、比較明合成処理、比較暗合成処理の４つの処理が可能である。合成前の画像データのそれぞれの画素値をＩ＿ｉ（ｘ，ｙ）（ｉ＝１〜Ｎ，ｘ，ｙは画面内の座標を表す）、それらのＮ枚の画像の合成後の画像の画素値をＩ（ｘ，ｙ）とする。ここで画素値としては、ＷＢ処理部１０８から出力されるベイヤー配列のＲ、Ｇ１、Ｇ２、Ｂの各信号の値でもよいし、Ｒ、Ｇ１、Ｇ２、Ｂの信号のグループから得られる輝度信号の値（輝度値）でもよい。さらにこのとき、ベイヤー配列の信号を、画素毎にＲ、Ｇ、Ｂの信号が存在するように補間処理してから、画素毎に輝度値を算出しても良い。輝度値の演算式としては例えば、輝度値をＹとすると、Ｙ＝０．３×Ｒ＋０．５９×Ｇ＋０．１１×ＢというようにＲ、Ｇ、Ｂの信号を加重加算して算出する方法が挙げられる。複数の画像データ間で必要に応じて位置合わせ等の処理を行い対応づけられた各画素値について、各処理は下記の式に従って行われる。すなわち、加算合成処理は、
Ｉ（ｘ，ｙ）＝Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ）＋・・・＋Ｉ＿Ｎ（ｘ，ｙ）
で表され、画素別にＮ枚の画像の画素値の加算処理がなされたものが合成画像データとなる。加重加算合成処理は、ａ_ｋを重み付け係数として、
Ｉ（ｘ，ｙ）＝（ａ_１×Ｉ＿１（ｘ，ｙ）＋ａ_２×Ｉ＿２（ｘ，ｙ）＋・・・＋ａ_Ｎ×Ｉ＿Ｎ（ｘ，ｙ））／Ｎ
で表され、画素別にＮ枚の画像の画素値の加重加算処理がなされたものが合成画像データとなる。比較明合成処理は、
Ｉ（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ））
で表され、画素別にＮ枚の画像の画素値の最大値が選択されたものが合成画像データとなる。比較暗合成処理は、
Ｉ（ｘ，ｙ）＝ｍｉｎ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ））
で表され、画素別にＮ枚の画像の画素値の最小値が選択されたものが合成画像データとなる。

本実施形態における比較明合成処理は、以下の手順で行われる。まず、ユーザーの指示に従ってインターバル撮影を開始する。その後撮影した処理を行うべき複数枚の画像のうち１枚目を、メモリ３２の合成用メモリ領域に初期値としてセットする。そして、２枚目の画像と合成用メモリ領域にセットされた１枚目の画像について同じ画素の輝度を比較し、輝度が高い方の画素を合成用メモリ領域に書き戻す。この処理を全画素について行って合成用メモリ領域に１枚目の画像と２枚目の画像との合成画像を保持させる。その後、３枚目以降の画像については、合成用メモリ領域の合成画像と処理すべき画像の同じ画素の輝度を比較し、輝度が高い方（低くない方）の画素を合成用メモリ領域に書き戻す処理を全画素について行う。そして、処理すべき画像すべてについて上記の工程を繰り返す。

すなわち、先ほどの定義を用いて演算式で表すと、Ｉ２（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ）），
Ｉ３（ｘ，ｙ）＝ｍａｘ（Ｉ２（ｘ，ｙ），Ｉ＿３（ｘ，ｙ）），
‥‥
Ｉ（ｘ，ｙ）＝ＩＮ（ｘ，ｙ）＝ｍａｘ（ＩＮ−１（ｘ，ｙ），Ｉ＿Ｎ（ｘ，ｙ）），
となる。

本実施形態では、比較明合成を行った画像を用いてインターバル動画を作成する。まずユーザーの指示によりインターバル動画の撮影を開始する。前述の方法を用い、撮影された１枚目の画像から順次比較明合成を行い、その画像をインターバル動画の１枚目として順次動画を作成していく。（図１）このようにインターバル動画を撮影してくと、出来上がりの動画は例えば星空を例にすると、最初の星は点で描写されるが、その後星が動いていく様子がインターバル動画に記録されるため、だんだんと軌跡状になっていく。このように比較明合成を利用してインターバル動画を作成すると、星の動きを軌跡状にして表現することが可能である。本実施形態では、撮影画像をこのように比較明合成処理した結果を動画フレームとして動画像を生成するモードを星空軌跡モードとする。

しかしこの方法（モード）では、星がたくさん観察できる環境で、長い時間インターバル動画を撮影すると画面上に星の軌跡が大量に記録され撮影しているインターバル動画がだんだんと星ばかりになってしまう場合がある。その結果、最終的には星の動きを確認しづらくなってしまう場合があった。そこで本実施形態では、星の明るさを動画上でフレームが進むとともにだんだん薄くして、あたかも星の軌跡が移動しているように見せるような合成処理を行う星空軌跡残像モードを設ける。この手法を用いれば、大量の軌跡に星が埋もれてしまうことを抑制し、星座が動いていく様子を動画で確認しやすくすることができる。このような肉眼では見られない表現をインターバル動画を用いて行うことができる。

また、星の撮影は、周囲の明るさや、天気などに左右されて写る星の明るさが変わってくるため、同じように処理を行っても見える軌跡の長さが環境によって異なってくることが考えられる。そこで、本実施形態では、ユーザの設定や撮影条件、撮影環境などに応じて比較明合成の合成方法を変更する。すなわち、星の軌跡をどれだけ長くとるかの設定やＢｖ値を始めとする画像（環境）の明るさに応じて合成方法を制御する。本実施形態では、星の軌跡の長さの設定として１（短い）〜４（長い）の４段階の設定が、操作部７０の操作によるユーザ設定あるいはＢｖ値による判定で設定可能であり、設定１、２で第１の合成方法、設定３、４で第２の合成方法を用いる。

図２、図３を用いて、本実施形態における比較明合成動画の作成方法について説明する。図２（ａ）は、星の軌跡を比較的短く設定されているとき（上記設定１、２）に行われる合成処理のイメージ図、（ｂ）はフローチャートである。図２（ａ）は、左から１枚目の順で右端が７枚目の撮影である。図２（ｂ）、図３（ｂ）のフローチャートが示す動作は、システム制御部５０によって撮影時に行われてもよいし、撮影とは別にメモリ３２から動画生成のための画像データを読み出して行われてもよい。また、図２（ｂ）のフローチャートは、操作部７０へのユーザの設定で比較明合成処理のモードが選択され、かつ星の軌跡の長さの設定が比較的短く設定されていることを受けて動作が開始される（星空軌跡残像モード）。また、各フローの動作はシステム制御部５０あるいはシステム制御部５０の指示によって各部で行われる。

ステップＳ２００では、まず１枚目の撮影あるいはメモリ３２からの読み出し処理を行う。この画像はインターバル動画像の最初のフレームにもなり、システム制御部５０は、後段の表示あるいは記録を行う回路に出力される。その後１枚目の画像、あるいはステップＳ２０１〜Ｓ２０４で生成されるＮ−１枚目（Ｎ≧３）の合成画像に対して、軌跡の長さの設定に応じた調整パラメータ（ゲイン）でゲインダウン処理を行う（ステップＳ２０１）。ここで画像データに掛けられるゲインは、軌跡をより長く残す設定である設定２の方が、設定１よりもダウン幅が小さくなるように（１に近くなるように）ゲインを設定する。さらに、本実施形態では画像データの明るさを調整する処理として画像データの各画素値にゲインをかけて暗くするゲインダウン処理を行っているが、これに限らず、γ処理など、デジタル信号で明るさを調整する調整処理であれば、本発明には適用できる。

ステップＳ２０２では、２枚目以降のＮ枚目の画像データの撮影またはメモリ３２からの読み出しを行う。１枚目の撮影とは違い、これらの画像データはそのままインターバル動画の画像としては利用しない。Ｎ枚目の撮影が完了すると、Ｎ枚目に撮影された画像データと先にステップＳ２０１で作成した（Ｎ−１）枚目のゲインダウン画像データとを比較明合成する（ステップＳ２０３）。この段階で、Ｎ枚目で撮影した星と、ゲインダウンされた（Ｎ−１）枚目の調整処理後の画像が合成される。これをインターバル動画のＮ枚目のフレーム（画像データ）とする。画像データの撮影あるいは読み出しを受けて順次、動画像データの表示あるいは記録を行っている場合、ステップＳ２０４ではＮ枚目の合成画像を表示部２８が順次表示媒体に表示させる。あるいは記録部（システム制御部５０）が順次記録媒体２００に記録させる。

ステップＳ２０５では、撮影または読み出し処理の終了指示があるかどうかを判定し、終了指示があった場合、フローを終了する。終了指示がなかった場合、ステップＳ２０１に戻り、次の撮影画像取得、比較明合成処理及び明るさ調整処理（ゲインダウン処理）を順次行っていく。撮影または読み出しの終了指示は、予め撮影枚数や撮影時間が設定されていて、その設定情報に基づいて行われてもよいし、ユーザからの操作に応じてもよい。ステップＳ２０１において（Ｎ−１）枚目の合成画像では、１枚目に撮影された画像の星については、都合（Ｎ−１）回ゲインダウン処理がなされることになる。つまりこの処理により星は順次暗くなるという表現が可能である。暗くする量は１回の処理でゲインダウンする量に依っている。このように比較明合成とゲインダウン処理を繰り返すことにより、流れ星のような星の軌跡が移動するようなインターバル動画を生成することが可能となる。

しかし、前述の方法では暗い星などはゲインダウンによってすぐ暗くなってしまい、流れ星のような効果が少なくなってしまう。その課題を解決するために、本実施形態では星の軌跡を比較的長く残すように設定されているとき（上記設定３、４）に図３に示す比較明合成処理を行う（星空軌跡残像モード）。図２（ａ）と同様に図３（ａ）においても左から１枚目の順で右端が７枚目の撮影である。また、図３（ｂ）のフローチャートは、操作部７０へのユーザの設定で比較明合成のモードが選択され、かつ星の軌跡の長さの設定が比較的長く（３、４）設定されていることを受けて動作が開始される。また、各フローの動作はシステム制御部５０あるいはシステム制御部５０の指示によって各部で行われる。

ステップＳ３０１では、まず１枚目の撮影あるいはメモリ３２からの読み出し処理を行う。この画像はインターバル動画像の最初のフレームにもなり、システム制御部５０は、後段の表示あるいは記録を行う回路に出力される。その後１枚目の画像に対して明るさ調整処理を行う。本実施形態では、軌跡の長さの設定に応じたゲインでゲインダウン処理を行う（ステップＳ３０２）。ここで画像データに掛けられるゲインは、軌跡をより長く残す設定である設定４の方が、設定３よりもダウン幅が小さくなるように（１に近くなるように）ゲインを設定する。さらに、本実施形態では画像データの明るさを調整する処理として画像データの各画素値にゲインをかけて暗くするゲインダウン処理を行っているが、これに限らず、γ処理など、デジタル信号で明るさを調整する調整処理であれば、本発明には適用できる。

ステップＳ３０３では、２枚目以降のＮ枚目の画像データの撮影またはメモリ３２からの読み出しを行う。１枚目の撮影とは違い、これらの画像データはそのままインターバル動画の画像としては利用しない。Ｎ枚目の撮影が完了すると、Ｎ枚目に撮影された画像データと先にステップＳ３０８で作成した（Ｎ−１）枚目の合成画像データとに比較明合成処理を施す（比較明合成１、ステップＳ３０４）。Ｎ＝２のときは、２枚目に撮影された画像データと、Ｓ３０２で生成された１枚目のゲインダウン画像とに比較明合成処理を施す。この段階で、Ｎ枚目で撮影した星と、Ｓ３０７でゲインダウンされた（Ｎ−１）枚目の比較明合成２後の合成画像が合成される。これをインターバル動画のＮ枚目のフレーム（画像データ）とする。画像データの撮影あるいは読み出しを受けて順次、動画像データの表示あるいは記録を行っている場合、ステップＳ３０５ではＮ枚目の合成画像を表示部２８が表示媒体に表示させるか、あるいは記録部（システム制御部５０）が記録媒体２００に記録させる。

ステップＳ３０６では、撮影または読み出し処理の終了指示があるかどうかを判定し、終了指示があった場合、フローを終了し、終了指示がなかった場合、ステップＳ３０７に進む。撮影または読み出しの終了指示は、予め撮影枚数や撮影時間が設定されていて、その設定情報に基づいて行われてもよいし、ユーザからの操作に応じてもよい。ステップＳ３０７では、表示、記録の対象であったＮ枚目の合成画像に対してさらに明るさ調整処理（ゲインダウン）を行う。その後、（Ｎ−１）枚目の比較明合成２後の合成画像とＮ枚目のゲインダウン合成画像とに比較明合成処理を施す（比較明合成２、ステップＳ３０８）。そしてステップＳ３０３に戻り、次の（Ｎ＋１）枚目の画像の撮影またはメモリからの読み出しを行い、さらにステップＳ３０４で、（Ｎ＋１）枚目の画像と比較明合成２の処理で得られたＮ枚目までの比較明合成２画像と比較明合成処理を行う。

このように、ステップＳ３０３〜ステップＳ３０８の処理を続けていくと、星が１つの位置において同じ明るさを２回ずつ維持しながらゲインダウンされて暗くなっていくことになるため、星の軌跡を長くすることが可能である。

以上のように、本実施形態では、比較明合成処理と明るさ調整処理を繰り返し用いて動画フレームを生成することで被写体の軌跡を残像をつけながら表現することができる動画像を生成することができた。これにより、被写体の動きを残像の効果で印象づけつつ、被写体の軌跡によって見苦しい画像となることを抑制することができる。

さらに、被写体の軌跡として残像を付与する際の残像の長さによって合成方法を制御することで、残像として様々な長さを表現することが可能となる。

本実施形態では、被写体の軌跡を残像を付けながら表現するための合成方法として比較明合成処理を適用しているが、合成方法としてはこれに限らず、周囲より暗い被写体であれば比較暗合成処理でも同様の軌跡および残像効果が得られる。また加重加算処理であっても、各画像への重み付けや明るさ調整によって残像の効果を達成することが可能である。例えば、新しい画像であるほど、大きい重みを付けて加算をしながら比較明合成処理に置き換えて加重加算の合成処理を行っていくと、残像の効果を達成でき、このとき明るさ調整のゲインを調整したり、合成の組み合わせを変えることで残像の長さを調整できる。

本実施形態では、単純に１枚目撮影の画像と２枚目撮影の画像で、星の明るさを維持することで、見かけ上の流れ星の長さを長くする方法を解説した。しかし、本発明の範疇によれば、もっと長くするために、３枚目の撮影画像を組み合わせることで、見かけ上の長さをもっと長くすることも可能である。

（第２の実施形態）
本実施形態では、第１の実施形態での星の軌跡の表現方法、すなわち、最初の明るさから単に徐々に暗くなっていく方法とは異なる表現方法をとる。図４は本実施形態における合成動画フレームの生成方法を用いて生成したある動画フレームのイメージ図である。撮影時、星は左下から右上に動いており、図はある星の軌跡の様子のみを抽出したものである。図のように、通して実際の星の明るさはほとんど変わっていなくても、最新の撮影されたフレームで右上に存在する星はその明るさを減衰させた状態で合成される。そして数フレーム前の撮影フレームの星の明るさが明るさのピークになり、それ以後の撮影フレームの星の明るさが減衰するように、明るさが調整されている。このような表現方法をとることで、流星のような自然な星の軌跡残像を形成することができる。

本実施形態における合成動画フレームの生成方法について図５から図７のフローチャートを利用して説明する。図４で示す後半部分の軌跡（徐々に暗くなる）は第１の実施形態で示した方法で生成し、図４で示す前半部分の軌跡（徐々に明るくなる）を生成するために、本実施形態特有の方法をとる。また、本実施形態においては、撮影によって順次取得される画像に対して処理を進めることを前提とするが、撮影とは別のタイミングでメモリ３２から動画生成のための画像データを読み出して行われてもよい。また、一連の処理は、操作部７０へのユーザの設定で比較明合成処理のモードが選択され、ユーザーの指示により処理が開始される（星空軌跡残像モード）。また、各フローの動作はシステム制御部５０あるいはシステム制御部５０の指示によって各部で行われる。

ステップＳ５００では、Ｎ枚目の撮影フレーム（画像）が撮影またはメモリ３２から読み出される。ステップＳ５０１では、システム制御部５０、画像処理部２４、画像合成部５４等を用いて図４で示す前半部分の軌跡を生成する処理を行う。ステップＳ５０２では、システム制御部５０、画像処理部２４、画像合成部５４等を用いて図４で示す後半部分の軌跡を生成する処理を行う。ステップＳ５０３では、ステップＳ５０１、Ｓ５０２で得られた前半、後半部分の軌跡を持った合成画像データを比較明合成処理で合成する。画像の読み出しを受けて順次、動画像データの表示あるいは記録を行っている場合、ステップＳ５０４では、ステップＳ５０３で合成された合成画像データを表示部２８が順次表示媒体に表示させる。あるいは記録部（システム制御部５０）が順次記録媒体２００に記録させる。もちろん、表示、記録どちらも行われていても構わない。

最新の動画フレームとして表示及びまたは記録する。ステップＳ５０４では撮影又は読み出しが終了したかの判定を行い、終了していなければステップＳ５００に戻り、終了していればフローを終了する。

次に、ステップＳ５０１の図４で示す前半部分の軌跡を生成する処理の詳細を、図６（ａ）のフローチャートを用いて説明する。メモリ３２は、前半部分の軌跡を構成するのに必要なｋ枚分を含む最新フレーム（画像データ）を予め記憶しておき、ステップＳ６００では、Ｎ−（ｋ−１）枚目までのフレームをメモリ３２から読み出す。

ステップＳ６０１では、各フレームについて、Ｎ、Ｎ−１、‥、Ｎ−（ｋ−１）の順に星が明るく写るように、明るさの調整処理を行う。ここで、ゲインアップによる明るさ調整を行ってしまうと、ＳＮが悪く、ノイジーな画像になってしまうので、基本的にはゲインダウンで明るさ調整を行う。例えば、ｋ＝３とすると、Ｎ、Ｎ−１、Ｎ−２の順に明るさが３０％、６０％、１００％となるように明るさ調整を行う。

ステップＳ６０２では、明るさ調整後のｋ枚のフレームに対して比較明合成処理を行う。これにより合成後の動画合成フレームは、最新のフレームからｋ枚分のフレームに写る星が徐々に明るくなる軌跡を描くフレームが生成されることになる。

次に、ステップＳ５０２の図４で示す後半部分の軌跡を生成する処理の詳細を、図６（ｂ）のフローチャートを用いて説明する。ステップＳ６１０では、Ｎ枚目のフレームが撮影または読み出されたときに後半部分の軌跡を生成する最新のフレーム（Ｎ−ｋ枚目のフレーム）をメモリ３２から読み出す。ステップＳ６１１では、第１の実施形態と同様に、ユーザの設定や撮影条件、撮影環境などに応じて、星の軌跡の長さの設定として１（短い）〜４（長い）の４段階の設定を行う。設定１、２である場合、ステップＳ６１２へ進み、ステップＳ６１２、Ｓ６１３では図２（ｂ）と同様の手法で後半部分の軌跡を生成する処理を行う。設定３、４である場合、ステップＳ６１４へ進み、ステップＳ６１４〜Ｓ６１６では図３（ｂ）と同様の手法で後半部分の軌跡を生成する処理を行う。すなわち、ステップＳ６１２では前回フレームまでの合成画像データに対して明るさを暗くする調整処理を行い、ステップＳ６１３でＮ―ｋ枚目のフレームと比較明合成処理を行う。また、ステップＳ６１４では、Ｎ−ｋ枚目のフレームと前回までの合成フレームとを比較明合成処理する（比較明合成１）。その後、ステップＳ６１５、ステップＳ６１６では、次の最新フレームとの合成に備えて、比較明合成１の処理後のフレームをゲインダウンしたフレームと、前回までの合成フレームとの比較明合成（比較明合成２）を行ったフレームをメモリ３２に記憶しておく。ただし、ステップＳ５０３で前半部分の軌跡を含む動画フレームとの合成の対象になるフレームは、比較明合成１の処理後の合成フレームである。

以上の処理により、後半部分の軌跡が設定に応じて第１の実施形態と同様に生成される。

次に設定するゲインダウン量について図７を用いて説明する。図は横軸に撮影画像を縦軸に各動画フレームにとり、動画フレームに対して、どのフレームにどれだけの輝度を残すかを表した表である。この表では前半部分の軌跡を構成するフレーム数ｋはｋ＝３としている。１フレーム目は１枚目の撮影画像の輝度を３０％にし（７０％減衰）その画像を比較明合成する。また例えば３フレーム目であれば、３枚目の撮影画像の輝度を３０％、２枚目の撮影画像の輝度を６０％、１枚目の撮影画像の輝度を１００％、それぞれ残し比較明合成する。つまり一般的には軌跡表現の前半部分になる星の画像は常に一定の減衰率になるよう維持する。

しかしながら、前述の方法で示す画像処理を行い動画フレームを作成すると、例えば夕方から暗くなる空を撮影しながら星がだんだん浮き出てくる様を動画で撮影しようとする場合、最初の画像からゲインダウン処理を行うことになる。その結果、最初の動画フレームが暗くなり、その後の数フレームで明るくなりながら、順次空が暗くなるのと同時に撮影中の動画も暗くなるという動画が撮影されてしまい、動画を視聴するユーザーは不自然さを感じてしまう場合がある。そこで本実施形態では、軌跡残像モードにおける動画撮影が開始され、動画フレームが合成して生成される際の最初の撮影フレームには、本実施形態における前半部分の軌跡を生成するための明るさ調整を行わずに２枚目以降の動画フレームと合成を行う。これにより、順次行われる比較明合成では、最初の撮影フレームによる背景の明るさを引き継いで合成が行われる。その結果、最初の動画フレーム、及び最初の動画フレームの影響を残した所定枚数の合成動画フレームにおいて背景が不自然に暗くなるという現象を抑制することができる。

図８は図７と同様に横軸に撮影画像を縦軸に各動画フレームにとり、動画フレームに対して、どのフレームにどれだけの輝度を残すかを表した表である。前半部分の軌跡を構成するフレーム数ｋはｋ＝３とする。前述の問題に対応するために、１フレーム目は１枚目の撮影画像の輝度を１００％にし（減衰なし）その画像を比較明合成する。このように処理することで、背景の部分の輝度が下がることがないので画像全体が暗くなることがない。次に２フレーム目については、１枚目の撮影画像の輝度を１００％残し、２枚目の撮影画像の輝度を３０％にする。これをそれぞれ比較明合成すると明るい部分が維持されるため、画面が暗くなることがない。このように１枚目の撮影画像を他の撮影画像のゲインダウン量と異ならせ、前述の方法と組み合わせることで、夕方から暗くなる空を撮影しながら星だんだん浮き出てくる様を動画で撮影しようとする場合でも、より自然に動画描写をすることが可能である。

以上のように、本実施形態では、比較明合成処理と明るさ調整処理を繰り返し用いて動画フレームを生成することで被写体の軌跡を残像をつけながら表現することができる動画像を生成することができる。これにより、被写体の動きを残像の効果で印象づけつつ、被写体の軌跡によって見苦しい画像となることを抑制することができる。

さらに、被写体の軌跡として残像を付与するべく比較明合成を行う際に、各フレームの重みが山なりに（一旦上がってピークを迎えて下がる）なるように合成制御することで、残像として流星のようなより自然な星の軌跡を残す表現が可能となる。また、かような軌跡画像をゲインアップを行わずに生成することにより、ＳＮが低下してよりノイジーな画像になることを防いで軌跡画像を生成することを可能としている。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

Claims (19)

1. 画像データを順次取得する取得手段と、
   画像データ間で対応する領域ごとに値の大きいデータを選択する比較明合成を施して合成画像データを生成する合成手段と、
   前記合成手段から出力される合成画像データに明るさを暗くする調整処理を施す明るさ調整手段と、
   前記合成手段から出力される合成画像データを各フレームとして動画像データを生成する生成手段と、を有し、
   前記合成手段は、前記取得手段より順次取得される画像データと、前記明るさ調整手段から出力される前記調整処理後の合成画像データとで前記比較明合成を行い、新たな合成画像データを出力することを特徴とする画像処理装置。
2. 画像データを順次取得する取得手段と、
   画像データ間で対応する領域ごとに値の大きいデータを選択する比較明合成を施して合成画像データを生成する合成手段と、
   前記合成手段から出力される合成画像データに明るさを暗くする調整処理を施し、前記合成手段に出力する明るさ調整手段と、
   前記取得手段により順次取得される画像データに対して前記合成手段による前記比較明合成及び前記明るさ調整手段による前記調整処理を順次行って得られる画像データを用いて動画像データを生成する生成手段と、を有することを特徴とする画像処理装置。
3. 前記生成手段による動画像データの生成は、星の移動軌跡を残像として見せるためのモードにおいて行われることを特徴とする請求項１または２に記載の画像処理装置。
4. ユーザからの設定を指示する指示手段を有し、
   前記明るさ調整手段は、前記指示手段による指示に基づいて、合成画像データを調整するパラメータを設定することを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
5. 前記明るさ調整手段は、前記取得手段により取得される画像データの明るさに応じて、合成画像データを調整するパラメータを設定することを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
6. ユーザからの設定を指示する指示手段を有し、
   前記合成手段は、前記指示手段による指示に基づいて、前記比較明合成に用いる画像データの組み合わせを制御することを特徴とする請求項１乃至５のいずれか１つに記載の画像処理装置。
7. 前記合成手段は、前記取得手段により取得される画像データの明るさに応じて、前記比較明合成に用いる画像データの組み合わせを制御することを特徴とする請求項１乃至５のいずれか１つに記載の画像処理装置。
8. 前記合成手段は、Ｎ枚目の画像データと、（Ｎ−１）枚目までの画像データに前記比較明合成及び前記調整処理を施して生成された第３の画像データとに前記比較明合成を施し、
   当該比較明合成を施して生成された第１の画像データに前記調整処理を施した第２の画像データと、（Ｎ−１）枚目までの画像データで生成された第２の画像データとに前記比較明合成を施してＮ枚目までの画像データに対応する前記第３の画像データを生成することを特徴とする請求項１乃至７のいずれか１つに記載の画像処理装置。
9. 前記明るさ調整手段は、所定枚数の画像データを新しく撮影された画像データほど暗くなるように明るさを調整し
   前記合成手段は、前記明るさ調整手段で調整された前記所定枚数の画像データに対して前記比較明合成を施すことを特徴とする請求項１乃至８のいずれか１つに記載の画像処理装置。
10. 前記明るさ調整手段は、前記合成手段によって前記比較明合成が行われ、動画フレームが生成される際の最初に取得された画像データには明るさ調整を行わないことを特徴とする請求項９に記載の画像処理装置。
11. 前記取得手段は、撮像手段の露光および読み出しを所定の周期で繰り返し行って複数枚の画像を順次取得することを特徴とする請求項１乃至１０のいずれか１つに記載の画像処理装置。
12. 前記合成手段から出力される合成画像データを順次、記録媒体に記録する記録手段を有することを特徴とする請求項１乃至１１のいずれか１つに記載の画像処理装置。
13. 前記合成手段から出力される合成画像データを順次表示媒体に表示する表示手段を有することを特徴とする請求項１乃至１２のいずれか１つに記載の画像処理装置。
14. 前記明るさ調整手段は、画像データにゲインを掛けることで明るさを調整することを特徴とする請求項１乃至１３のいずれか１つに記載の画像処理装置。
15. 前記生成手段による動画像データの生成は、星の移動軌跡を残像として見せるためのモードにおいて行われ、
    前記指示手段による指示は、前記星の移動軌跡の残像の長さを設定するための指示であることを特徴とする請求項４または６に記載の画像処理装置。
16. 画像データを順次取得する取得ステップと、
    画像データ間で対応する領域ごとに値の大きいデータを選択する比較明合成を施して合成画像データを生成する合成ステップと、
    前記合成ステップにて出力される合成画像データに明るさを暗くする調整処理を施す明るさ調整ステップと、
    前記合成ステップにて出力される合成画像データを各フレームとして動画像データを生成する生成ステップと、を有し、
    前記合成ステップでは、前記取得ステップにて順次取得される画像データと、前記明るさ調整ステップにて出力される前記調整処理後の合成画像データとで前記比較明合成を行い、新たな合成画像データを出力することを特徴とする画像処理方法。
17. 画像データを順次取得する取得ステップと、
    画像データ間で対応する領域ごとに値の大きいデータを選択する比較明合成を施して合成画像データを生成する合成ステップと、
    前記合成ステップにて出力される合成画像データに明るさを暗くする調整処理を施し、前記合成ステップに出力する明るさ調整ステップと、
    前記取得ステップにて順次取得される画像データに対して前記合成ステップにおける前記比較明合成及び前記明るさ調整ステップにおける前記調整処理を順次行って得られる画像データを用いて動画像データを生成する生成ステップと、を有することを特徴とする画像処理方法。
18. コンピュータを、請求項１乃至１５のいずれか１つに記載の画像処理装置の各手段として機能させる、コンピュータで実行可能なプログラム。
19. コンピュータを、請求項１乃至１５のいずれか１つに記載の画像処理装置の各手段として機能させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images