JP7305689B2 - 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体 - Google Patents

Description

本発明は、一定時間内で連続に撮像した画像を動画として再生する画像処理装置に関するものである。

撮像装置などで静止画を撮像する際に、該静止画を撮像する時刻の前後一定時間の静止画も連続的に記録し、該静止画再生時に連続的に撮像された静止画をなんらかの合成をお行って見せる技術がある。特許文献１には、静止画のデータの画像変化の大きさによって合成に用いる画像の枚数を変更する技術が開示されている。

国際公開２０１３／０６５２４２号

しかしながら、近年、ユーザのニーズが多様化し、１種類の合成しか見せないことは、ユーザにとって面白みのない動画になる可能性がある。

本発明は、上述した課題を鑑みてなされたものであり、連続的に撮像された静止画から複数の種類の合成画像を生成することを目的とする。

上記課題を解決するため、本願発明は、連続して撮像された複数の静止画を取得する取得手段と、前記複数の静止画のうち１つを基準フレームとして選択する選択手段と、前記基準フレームと前記基準フレームが撮像された前後に撮像された前記複数の静止画の一部を用いて動画を生成する生成手段と、前記動画を表示する表示手段と、を有し、前記生成手段が、前記選択手段が選択した第１の基準フレームに基づいて第１の動画を生成すると、前記選択手段は前記複数の静止画から前記第１の基準フレームとは異なる第２の基準フレームを選択し、前記生成手段は前第２の基準フレームに基づいて前記第１の動画の生成時とは異なる枚数の前記複数の静止画を用いて第２の動画を生成し、前記表示手段は前記生成手段が生成した前記第１の動画と前記第２の動画を順次表示することを特徴とする画像処理装置を提供する。
また、本願発明は連続して撮像された複数の静止画を取得する取得手段と、前記複数の静止画のうち１つを基準フレームとして選択する選択手段と、前記基準フレームと前記基準フレームが撮像された前後に撮像された前記複数の静止画の一部を用いて動画を生成する生成手段と、前記動画を表示する表示手段と、を有し、前記生成手段が、前記選択手段が選択した第１の基準フレームに基づいて第１の動画を生成し、さらに前記第１の基準フレームに基づいて前記第１の動画の生成時とは異なる枚数の前記複数の静止画を用いて第２の動画を生成し、前記表示手段は前記生成手段が生成した前記第１の動画と前記第２の動画を順次表示することを特徴とする画像処理装置も提供する。

本発明の構成によれば、静止画を撮像し、該静止画を撮像する時刻の前後一定時間の静止画も連続的に記録する場合、撮像シーンに適する合成画像を得ることができる。

本発明の実施形態における画像処理装置としてのデジタルカメラの構造を示すブロック図の一例である。 本発明の実施形態におけるデジタルカメラの撮像処理を説明するためのフローチャートである。 本発明の実施形態におけるステップＳ２０７での画像バッファの更新を説明するための図である。 本発明の実施形態におけるデジタルカメラの再生処理を説明するためのフローチャートである。 本発明の実施形態における再生画像の一例を説明するための図である。 本発明の実施形態における動画の再生方法の一例を説明するための図である。 本発明の実施形態における動画の再生方法のもう一例を説明するための図である。 本発明の実施形態における動画の再生方法のもう一例を説明するための図である。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

図１は本実施形態に係る画像処理装置としてのデジタルカメラ１００の構造を示すブロック図の一例である。

制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックに対する制御プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行する。これにより、制御部１０１は、デジタルカメラ１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、電気的に消去・記録可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、制御部１０１等が実行するプログラムの展開や、デジタルカメラ１００が備える各ブロックの動作で生成等されたデータの一時的な記憶等に用いられる。

光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の撮像部１０５の撮像面上に結像する。光学系１０４には、光学系１０４のズームポジション、フォーカスポジションをユーザが直接操作して制御する不図示の操作手段が設けられている。

撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子であり、光学系１０４により撮像部１０５の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像データに変換する。Ａ／Ｄ変換部１０６から出力されたデジタル画像データは、ＲＡＭ１０３に一時的に記憶される。画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を適用する。また、画像処理部１０７は、後述する複数枚画像の合成処理や、動画像の作成処理も行う。

記録部１０８は、着脱可能なメモリーカード等である。記録部１０８は、画像処理部１０７で処理された画像データを、ＲＡＭ１０３を介し、記録画像として記録する。表示部１０９は、ＬＣＤ等の表示デバイスであり、ＲＡＭ１０３に記憶されている画像や記録部１０８に記録されている画像の表示、ユーザからの指示を受け付けるための操作ユーザーインターフェイスの表示等を行う。指示入力部１１０は、タッチパネルやシャッターボタン等であり、ユーザによる指示を入力する。

以上、デジタルカメラ１００の構成と基本動作について説明した。

次に、本実施形態におけるデジタルカメラ１００の撮像処理について説明する。

図２は、本実施形態におけるデジタルカメラ１００の撮像処理を説明するためのフローチャートである。

ステップＳ２０１で、ユーザはデジタルカメラ１００の電源を入れ、構図合わせなどの撮像準備を開始する。

ステップＳ２０２で、ユーザによる操作で、制御部１０１は、画像バッファの蓄積を開始する。画像バッファとは、準備撮影中に取得された画像データを一時的に保存する領域である。

ステップＳ２０３で、制御部１０１は、画像バッファの更新を行う。具体的に、制御部１０１は、画像バッファの更新で取得した準備撮像画像を順次に画像バッファに保存していく。その際、画像バッファの容量が不足した場合は、制御部１０１は古い準備撮影画像を順次消去しながら、撮像部１０５が新規の準備撮像画像を保存するようにする。

ステップＳ２０４で、表示部１０９は、ライブビュー画像を表示する。

ステップＳ２０５で、ユーザが指示入力部に設けられるシャッターボタンを押下すれば、ステップＳ２０６に進む。そうでなければ、フローはステップＳ２０３に戻る。

ステップＳ２０６で、撮像部１０５が本撮像を行う。

ステップＳ２０７で、制御部１０１は、所定の時間で、画像バッファの更新を行う。

図３は、本実施形態におけるステップＳ２０７での画像バッファの更新を説明するための図である。図３では、シャッターボタンが押下された前後の所定の時間に蓄積されたバッファ画像を示している。ここで、所定の時間はＮ秒である。制御部１０１は、シャッターボタンが押下される前のＮ／２秒間で取得したバッファ画像とシャッターボタンが押下された後のＮ／２秒間で取得した画像バッファとを蓄積していると意味する。つまり、ステップＳ２０７で、撮像部１０５が、本撮像の後にも、Ｎ／２秒間で画像バッファの取得を行わなければならない。ただし、本撮像の前後の画像バッファの取得のために使う時間が一致しなくてもよい。

以上は、デジタルカメラ１００の撮像処理の説明であった。

次に、デジタルカメラ１００の再生処理について説明する。

図４は、本実施形態におけるデジタルカメラ１００の再生処理を説明するためのフローチャートである。

ステップＳ４０１で、ユーザは、指示入力部１１０を通じてデジタルカメラ１００を操作し、撮像モードとは別のモードである再生モードに入る。

さらに、ステップＳ４０２で、ユーザは、指示入力部１１０を通じて、再生モードにおいて静止画再生か動画再生かを選択する。ユーザが静止画再生の場合ステップＳ４０３に進み、ユーザが動画再生の場合ステップＳ４０４に進む。ここでいう動画再生は、本実施形態における静止画が撮像の前後の若干フレームを動画として再生することを指す。

図５は、本実施形態における再生画像の一例を説明するための図である。図５（ａ）は静止画の一例を示し、図５（ｂ）は動画の一例を示す。図５に示した２種類のデータは、ステップＳ２０６での本撮像の後で同時に取得され、ユーザが静止画を撮像するとともに、動画を撮像することもできる。

しかしながら、動画を１回しか再生しないように実施すると、ユーザが確認しづらいという課題が生じ、多くの場合、動画再生モードを選ぶ場合、動画を繰り返し再生する。ただし、同じ動画を繰り返し再生することは、一部のユーザにとって面白みのない仕様になりかねない。

以上の課題を解決するために、本実施形態では、動画再生モードが選ばれる場合、単純に同じ動画の繰り返し再生でなく、動画を変更しながら再生する。以下では、図面を用いながら、本実施形態における動画の再生方法について説明する。

図６は、本実施形態における動画の再生方法の一例を説明するための図である。

図６に示した動画の再生方法は、ｍ枚のバッファ画像に対する再生処理であり、以下に説明する。

まず、最初に、画像処理部１０７は、２枚目の画像を基準画像（以下、「基準フレーム」と称する）とし、基準フレームである２枚目の画像の両側の１枚目の画像と３枚目の画像とを参照フレームとする。画像処理部１０７は、１枚目ないし３枚目の画像を用いて動画を生成し、表示部１０９は表示する。以上の一連の処理は、図６では「ループ１」と記載する。

次に、画像処理部１０７は、３枚目の画像を基準フレームとし、基準フレームである３枚目の画像の両側の２枚目の画像と４枚目の画像とを参照フレームとする。画像処理部１０７は、２枚目ないし４枚目の画像を用いて動画を生成し、表示部１０９は表示する。以上の一連の処理は、図６では「ループ２」と記載する。「ループ２」の表示は、「ループ１」の表示の後に行われる。

同様に、図６に記載の「ループ３」では、４枚目の画像を基準フレームとし、基準フレームである４枚目の画像の両側の３枚目の画像と５枚目の画像とを参照フレームとする。画像処理部１０７は、３枚目ないし５枚目の画像を用いて動画を生成し、表示部１０９は表示する。「ループ３」の表示は、「ループ２」の表示の後に行われる。

最後に、つまり図６に記載の「ループ（ｍ－２）」では、（ｍ－１）枚目の画像を基準フレームとし、基準フレームである（ｍ－１）枚目の画像の両側の（ｍ－２）枚目の画像とｍ枚目の画像とを参照フレームとする。画像処理部１０７は、（ｍ－２）枚目ないしｍ枚目の画像を用いて動画を生成し、表示部１０９は表示する。

ただし、図６に記載の例は一例にすぎず、様々な変形を行うことができる。たとえば、参照フレームの数が２でなくてもよい。

図７は、本実施形態における動画の再生方法のもう一例を説明するための図である。図７に示した例では、参照フレームの数が４である。図７に示した例での動画の再生方法は、図６に示した例と類似なので、詳細な説明は割愛する。

また、各ループでは、基準フレームの変更でなく、参照フレームの数の変更をするように実施してもよい。

図８は、本実施形態における動画の再生方法のもう一例を説明するための図である。図８では、バッファ画像をｍ枚とする。ここでｍを奇数とする。基準フレームはｍ枚の画像のうち真ん中のフレームとし、（（ｍ＋１）／２）番目の画像になる。

「ループ１」では、画像処理部１０７は、基準フレームの両側のそれぞれ１枚の参照フレームと計３枚の画像を用いて動画の生成し、表示部１０９が再生する。

「ループ２」では、画像処理部１０７は、基準フレームの両側のそれぞれ２枚の参照フレームと計５枚の画像を用いて動画の生成し、表示部１０９が再生する。

「ループ３」では、画像処理部１０７は、基準フレームの両側のそれぞれ２枚の参照フレームと計５枚の画像を用いて動画の生成し、表示部１０９が再生する。

以上のように次々と参照フレームの数を増やしながら、画像処理部１０７が動画を生成し、表示部１０９が生成した動画を再生する。

また、図６ないし図８に記載の各ループの再生回数は、１回再生しか限らなく、２回以上でもよい。さらに、すべてのループの再生が終了した後、最初から再度再生してもよい（ユーザが指示入力部１１０などを通じて止めないと無限回の再生）。

また、本実施形態において、基準フレームの変更と参照フレームの数の変更とを両方同時に行うように実施してもよい。

（その他の実施形態）
なお、上記実施形態においては、個人向けのデジタルカメラをもとに説明を行ったが、深度合成の機能を搭載していれば、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに適用することも可能である。または、前述した処理の一部を、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに行わせてもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 制御部
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 光学系
１０５ 撮像部
１０６ Ａ／Ｄ変換部
１０７ 画像処理部
１０８ 記録部
１０９ 表示部
１１０ 指示入力部

Claims (8)

1. 連続して撮像された複数の静止画を取得する取得手段と、
   前記複数の静止画のうち１つを基準フレームとして選択する選択手段と、
   前記基準フレームと前記基準フレームが撮像された前後に撮像された前記複数の静止画の一部を用いて動画を生成する生成手段と、
   前記動画を表示する表示手段と、を有し、
   前記生成手段が、前記選択手段が選択した第１の基準フレームに基づいて第１の動画を生成すると、前記選択手段は前記複数の静止画から前記第１の基準フレームとは異なる第２の基準フレームを選択し、前記生成手段は前第２の基準フレームに基づいて前記第１の動画の生成時とは異なる枚数の前記複数の静止画を用いて第２の動画を生成し、
   前記表示手段は前記生成手段が生成した前記第１の動画と前記第２の動画を順次表示することを特徴とする画像処理装置。
2. 連続して撮像された複数の静止画を取得する取得手段と、
   前記複数の静止画のうち１つを基準フレームとして選択する選択手段と、
   前記基準フレームと前記基準フレームが撮像された前後に撮像された前記複数の静止画の一部を用いて動画を生成する生成手段と、
   前記動画を表示する表示手段と、を有し、
   前記生成手段が、前記選択手段が選択した第１の基準フレームに基づいて第１の動画を生成し、さらに前記第１の基準フレームに基づいて前記第１の動画の生成時とは異なる枚数の前記複数の静止画を用いて第２の動画を生成し、
   前記表示手段は前記生成手段が生成した前記第１の動画と前記第２の動画を順次表示することを特徴とする画像処理装置。
3. 前記表示手段は、前記第１の動画を所定の回数繰り返して再生して表示したのち、前記第２の動画を表示することを特徴とする請求項１又は２に記載の画像処理装置。
4. 複数の静止画を撮像する撮像手段と、
   請求項１又は２に記載の画像処理装置と、
   を備える撮像装置。
5. 連続して撮像された複数の静止画を取得する取得手段ステップと、
   前記複数の静止画から１つを基準フレームとして選択する選択ステップと、
   前記基準フレームと前記基準フレームが撮像された前後に撮像された前記複数の静止画の一部を用いて動画を生成する生成ステップと、
   前記動画を表示する表示ステップと、を有し、
   選択ステップで第１の基準フレームと前記第１の基準フレームとは異なる第２の基準フレームが選択され、
   前記生成ステップにて前記第１の基準フレームに基づく動画と前記第２の基準フレームに基づいて前記第１の動画の生成時とは異なる枚数の前記複数の静止画を用いて第２の動画を生成し、
   前記表示ステップは前記生成ステップにて生成された前記第１の動画と前記第２の動画を順次表示することを特徴とする画像処理装置の制御方法。
6. 連続して撮像された複数の静止画を取得する取得ステップと、
   前記複数の静止画から１つを基準フレームとして選択する選択ステップと、
   前記基準フレームと前記基準フレームが撮像された前後に撮像された前記複数の静止画の一部を用いて動画を生成する生成手ステップと、
   前記動画を表示する表示ステップと、を有し、
   前記生成ステップは、前記選択ステップにて選択された第１の基準フレームに基づいて第１の動画を生成し、さらに前記第１の基準フレームに基づいて前記第１の動画の生成時とは異なる枚数の前記複数の静止画を用いて第２の動画を生成し、
   前記表示ステップは前記生成ステップにて生成された前記第１の動画と前記第２の動画を順次表示することを特徴とする画像処理装置の制御方法。
7. 請求項５又は６に記載の画像装置の処理装置の制御方法の各ステップをコンピュータに実行させるためのプログラム
8. 請求項７に記載のプログラムを記録したコンピュータが読み出し可能な記録媒体。

Images