JP5434038B2 - 撮像装置 - Google Patents

Description

本発明は、光学系を介した被写体の像を撮像する撮像素子を備えるデジタルカメラ等の撮像装置に関する。

デジタルカメラの連写機能を利用して連続的に撮像した複数の画像をバッファメモリに一時的に記憶させ、これらを当該連写における撮影間隔よりも長い時間間隔で逐次表示部にスロー表示し、該スロー表示中に撮影者が記録指示を行うことにより、当該記録指示時点で表示されている画像に係る画像データを画像記録媒体等に記録するようにした技術が開発されている（例えば、下記特許文献１参照）。

表示部にリアルタイムに表示されるライブビュー画像を見ながらの撮影では、被写体の動きが早い場合等に、ベストショットを捉えることは必ずしも容易ではないが、このようなスロー表示された被写体の画像を見ながら記録指示を行うことにより、ベストショットをより的確に捉えることが可能となる。なお、本明細書においては、このような機能をスロー表示撮影機能と、この機能を利用した撮影をスロー表示撮影と呼ぶことにする。

ところで、画像の一時的な記憶に用いるバッファメモリの容量はコスト等との関係において制限を受けるため、このような制限を受けたバッファメモリの容量との関係で規定される枚数以上の画像をスロー表示することはできない。また、撮影対象の被写体は、動いたり、静止したり、様々であるが、従来はそのような区別をすることなく、全ての画像をバッファメモリに書き込んでいた。

しかしながら、被写体が静止している場合には、実質的に同じ画像が複数回書き込まれるだけであり、ベストショットを捉える観点からは、そのような画像は１枚あれば十分である。従って、従来は制限のあるバッファメモリを無駄に消費し、その分だけ、ベストショットを取り逃がす可能性が高いものであった。

本発明は、このような点に鑑みてなされたものであり、スロー表示撮影を行う場合において、バッファメモリの利用効率を向上し、ベストショットの取り逃がしを少なくすることができる撮像装置を提供することを目的とする。
特開２００６−１４０８９２号公報

本発明に係る撮像装置は、被写体の像を第１間隔で連続的に撮像し、前記被写体の画像データを複数生成する撮像素子と、前記撮像素子により生成された時間的に相前後する画像データの所定の画像特徴量を基準とする同一性の有無を検出する検出手段と、前記検出手段により同一性がないことが検出された画像データを表示面に表示する画像の画像データとして順次一時的に記憶し、かつ前記検出手段により同一性があることが検出された画像データは記憶しない記憶手段と、前記記憶手段による画像データの記憶が行われているときに前記記憶手段に記憶されている画像データに応じた画像を前記第１間隔よりも間隔が長い第２間隔で前記表示面に順次表示させる制御部と、前記記憶手段による画像データの記憶が行われているときに前記画像特徴量を基準とする同一性の有無にかかわらず前記表示面に表示された画像の画像データを前記記憶手段から画像記録媒体へ転送させる画像データ転送指示を行う指示手段と、を備えることを特徴とする。

本発明に係る撮像装置では、撮像素子により時間的に相前後して連続的に撮像された少なくとも２枚の画像間の同一性の有無を所定の画像特徴量を基準として検出し、該同一性が無いとされた画像を記憶手段に書き込み、該同一性が有るとされた画像を記憶手段に書き込まないようにしたので、該同一性が有るとされて記憶手段に書き込まれない画像に相当する記憶領域を、該同一性が無いとされた画像の記憶に用いることができる。従って、被写体が静止している場合等において、実質的に同じ画像が複数回書き込まれるという記憶手段の記憶領域の無駄遣いを防止でき、バッファメモリの利用効率が向上し、実質的に異なる画像をより多く得ることができるので、ベストショットの取り逃がしを少なくすることができるという効果がある。

以下、図面を参照して本発明の実施形態におけるデジタルカメラについて説明する。なお、本発明が適用可能な撮像装置には、コンパクトデジタルカメラ、一眼レフ方式のデジタルカメラ、デジタルビデオカメラ等の少なくとも静止画をデジタル方式で撮影することができるあらゆるカメラが含まれ、また、カメラという名称にも限定されず、携帯電話機、ＰＤＡ、その他の撮像機能を備える電子装置等も含まれる。

〔カメラの全体構成〕
図１は本発明の実施形態におけるデジタルカメラの全体構成を示すブロック図である。図１に示すように、このカメラ１は、カメラ本体２と光学系としての撮影レンズ３とを備えている。ここで、撮影レンズ３は、カメラ本体２に固定されているものでもよいし、交換式のものでもよい。

カメラ本体２には、ＣＰＵ１０が設けられており、ＣＰＵ１０はシステムバス１１に接続されている。ＣＰＵ１０は、後述する各ブロックから出力される信号の入力を受け、システムバス１１に接続されているフラッシュＲＯＭ１２に記憶されている制御プログラム（後述するスロー表示撮影処理プログラムを含む）や各種の制御データ等に基づいて所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。

システムバス１１には、センサ駆動回路１３を介して撮像素子１４が接続されている。また、システムバス１１には、Ａ／Ｄ変換回路１５、タイミングジェネレータ（ＴＧ）１６、画像処理部１７、バッファメモリ１８、画像記録媒体１９、及び操作部２０がそれぞれ接続されている。さらに、システムバス１１には、表示駆動部（不図示）を介して画像表示モニタ（液晶パネル）２１が接続されている。

撮像素子１４は、ＣＣＤまたはＣＭＯＳ等により構成され、撮影レンズ３を介した被写体からの光を受光・撮像し、撮像信号（蓄積電荷としてのアナログ信号）を出力する。撮像素子１４から出力された撮像信号は、Ａ／Ｄ変換回路１５においてデジタル信号に変換され、システムバス１１を介して画像処理部１７に送られる。なお、タイミングジェネレータ１６は、撮像素子１４を駆動するタイミング信号及びＡ／Ｄ変換回路１５を駆動するタイミング信号を出力する。

画像処理部１７は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等で構成され、デジタル信号である原画像データに対してホワイトバランス（ＷＢ）調整、輪郭補償、ガンマ補正などの画像処理を行うとともに、所定の圧縮形式（例えば、ＪＰＥＧ等）で圧縮する圧縮処理や圧縮された画像データの伸長処理等を行う。

バッファメモリ１８は、原画像データや画像処理後の画像データ等のＣＰＵ１０による処理のための作業領域として、データを一時的に記憶するメモリである。このバッファメモリ１８の一部は、後述するスロー表示撮影モードにおいて、連写された複数の画像データを一時的に記憶するためにも使用される。

画像記録媒体１９は、フラッシュメモリ等から構成される可搬性を有するメモリカード等であり、圧縮処理が実施された画像データ（静止画、動画）を所定の付加情報と共に記録するものである。画像記録媒体１９は、カメラ本体２に設けられた所定のスロット（不図示）に交換可能に装着される。

操作部２０は、半押し及び全押しの２つのスイッチングが可能なレリーズボタン、主電源をオン／オフするメインスイッチ、コマンドダイヤル、メニューボタン、項目選択用十字キー、ＯＫボタン（決定ボタン）、スロー表示撮影モードやその他の撮影モードを選択するための撮影モード選択ボタン等を含み、撮影者はこれらのスイッチやボタン等を所定の手順に従って操作することにより、撮影指示の他、各種のモード等の選択や設定の切り換え、その他の撮影に伴う指示を行うことができる。

画像処理部１７から送られる画像、バッファメモリ１８又は画像記録媒体１９から読み出された画像、及び撮影に関する情報等は、不図示の表示駆動部を介して画像表示モニタ２１に表示される。

画像表示モニタ２１は、カメラ本体２の背面に設けられており、ライブビュー表示モードにおいては、撮像素子１４で撮像中の画像がスルー画像として画像表示モニタ２１にリアルタイム表示される。なお、スルー画像とは、撮像素子１４の解像度と画像表示モニタ２１の解像度等との関係で原画像に対して所定の間引き処理が行われ、視覚的に動画像として認識できる程度のフレームレートで表示される画像のことである。

〔スロー表示撮影機能〕
図２は本発明の実施形態におけるスロー表示撮影機能を実現するための機能構成を示すブロック図である。この機能は、ＣＰＵ１０がフラッシュＲＯＭ１２に予め記憶された所定のスロー表示撮影処理プログラムを実行することにより実現される。なお、この実施形態では、この機能はソフトウエアにより実現されるものとして説明するが、その機能の一部又は全部を電子回路によってハードウエハ的に実現するようにしてもよい。

このプログラムは、メイン制御部（制御手段）３１を中心として、同一性検出部（検出手段）３２、前画像記憶部３３、現画像記憶部３４、スロー表示用バッファ（記憶手段）３５、及び表示制御部３６を概略備えて構成されている。

ここでは、前画像記憶部３３及び現画像記憶部３４としては上述したバッファメモリ１８に予め設定された所定の作業領域の一部が用いられ、スロー表示用バッファ３５としては同じくバッファメモリ１８の該作業領域以外の予め設定された所定のスロー表示用バッファ領域が用いられるものとする。前画像記憶部３３及び現画像記憶部３４は、それぞれ画像１枚分に相当する記憶容量を有しており、スロー表示用バッファ３５は例えば画像１００枚分に相当する記憶容量を有している。

スロー表示用バッファ３５の容量は、バッファメモリ１８の記憶容量及び上述の作業領域の記憶容量等との関係において、撮影者による操作部２０を用いた所定の設定操作により、段階的に又は連続的に変更できるようにしてもよい。

なお、ここでは、スロー表示用バッファ３５は、ＦＩＦＯ（ファーストイン・ファーストアウト）方式のリングバッファとして構成されている。即ち、スロー表示用バッファ３５の先頭アドレスから順次インクリメントされる書込ポインタに従って画像データの書き込みが行われ、スロー表示用バッファ３５の最終アドレスまで書き込みがなされたならば、先頭アドレスに戻って、新たな画像データが既に書き込まれた画像データに上書きされるかたちで順次書き込みが行われ、一方、スロー表示用バッファ３５の先頭アドレスから順次インクリメントされる読出ポインタに従って画像データの読み出しが行われ、スロー表示用バッファ３５の最終アドレスまで読み出しがなされたならば、先頭アドレスに戻って、さらに画像データの読み出しを行うようにしたバッファである。

メイン制御部３１は、スロー表示用バッファ３５に書き込まれている画像データを順次に読み出し、表示制御部３６を介して、該画像データに係る再生画像を画像表示モニタ２１に表示させる。なお、表示制御部３６は、スロー表示用バッファ３５の画像データを画像表示モニタ２１への表示に適した画像に変換（間引き）処理して出力するものである。

メイン制御部３１には、撮像素子１４により撮像され、画像処理部１７により所定の画像処理が施された画像に係る画像データ４１、操作部２０のスロー表示指示ボタンの操作に従ったスロー表示指示４２及び撮影指示ボタンの操作に従った撮影指示４３が入力される。なお、この実施形態では、スロー表示指示４２は、レリーズボタンの半押しにより発生し、半押しの解除により停止するようになっている。一方、撮影指示は、レリーズボタンの全押しにより発生する。つまり、本実施形態では、スロー表示指示ボタンと撮影指示ボタンとは、１つのレリーズボタンで兼用されている。

また、メイン制御部３１には、それぞれ予め設定された撮影間隔４４、スロー表示間隔４５，及び画像データ間の同一性の検出に用いるしきい値がそれぞれ入力される。撮影間隔４４とは、スロー表示撮影モードにおける連写的な撮像の時間間隔、即ち１枚の画像を撮像してから、次の画像を撮像するまでの時間である。撮影間隔４４は、例えば、１秒間に５０枚の連写を行う場合には、０．０２秒に設定される。

スロー表示間隔４５とは、画像表示モニタ２１に画像をスロー表示する際の時間間隔、即ち１枚の画像を表示してから、次の画像を表示するまでの時間である。スロー表示間隔４５は、撮影間隔４４よりも長い時間に設定され、例えば、撮影間隔４４に対して数倍に引き伸ばした速度でスロー表示するものとすると、例えば、２倍に引き伸ばした場合には、１秒間に２５枚の表示となり、０．０４秒に設定される。なお、これらの撮影間隔４４及びスロー表示間隔４５は、予め設定された固定の値を用いるようにしてもよいが、それぞれ撮影者による操作部２０を用いた所定の設定操作により、段階的に又は連続的にその設定を任意に変更できるようにするとよい。

しきい値４６は、後述する同一性検出部３２による相前後する２枚の画像の同一性を判断する際に用いられる値であり、当該同一性の範囲を規定するものである。時間的に相前後して撮像された画像は、例えば画素単位での比較において、完全に一致することは殆どないため、完全同一でなくても、同一と認められる程度のものを同一と判断すべきであり、しきい値４６はこの範囲を規定するものである。しきい値４６は後述する同一性検出のアルゴリズムに従って、適宜な値が用いられる。

同一性検出部３２は、少なくとも２枚の画像データに係る画像中の主要被写体の動き、該画像の少なくとも一部（即ち、全部又は一部）における色の変化、及び該画像の少なくとも一部（即ち、全部又は一部）における明るさの変化のうちの少なくとも１つ（即ち、１つ、任意の２つ、又は全部）に係る画像特徴量に基づいて、同一性の有無を検出する検出手段である。ここでは、互いに相前後する２枚の画像について画像特徴量を算出して、同一性を判断するものとする。

同一性検出部３２は、前画像記憶部３３に一時記憶された画像（前画像）と現画像記憶部３４に一時記憶された画像（現画像）とに基づいて、画像特徴量を算出し、該画像特徴量をしきい値４６と比較して、これらの画像の同一性の有無を検出する。同一性検出部３２による同一性の検出に用いるアルゴリズムとしては、各種のものを用いることができる。

同一性の検出に用いるアルゴリズム（第１アルゴリズム）としては、例えば、画像特徴量として、前画像と現画像との全領域又はそのうちの主要被写体として注目すべき一部（特定領域）についての輝度値（明るさ）又は色特性値（色）の差の積算値を用い、これをしきい値４６と比較し、該積算値がしきい値４６未満である場合には同一性有りと判断し、該積算値がしきい値４６以上である場合には同一性無しと判断するものを例示できる。

この第１アルゴリズムにおいて、画像の表色系がＲＧＢである場合には、色特性値としてのＲ値、Ｇ値、Ｂ値の少なくとも１つについて、全領域内の画素又は特定領域内の画素についての差の積算値を算出し、これとしきい値４６とを比較する。Ｒ値、Ｇ値、Ｂ値の任意の２つ又は全部について、差の積算値をそれぞれ算出し、これらをさらに積算した積算値をしきい値４６と比較するようにしてもよい。

また、Ｒ値、Ｇ値、Ｂ値の任意の２つ又は全部について、差の積算値をそれぞれ算出し、これらをそれぞれしきい値４６と比較し、それぞれの積算値の少なくとも１つがしきい値４６以上である場合に同一性無しと、それ以外の場合に同一性有りと判断するようにしてもよい。この場合において、しきい値４６として、Ｒ値、Ｇ値、Ｂ値毎に異なるしきい値を設定してもよい。画像の表色系がＹＵＶ（ＹＣｂＣｒ）である場合には、輝度値としてのＹ値、色特性値としてのＣｂ値、Ｃｒ値について、同様の処理を行う。

同一性の検出に用いるアルゴリズムの他の例（第２アルゴリズム）としては、画像特徴量として、前画像と現画像とをそれぞれ微分フィルタ処理等の処理を行って得られる画像の全部又は特定の領域についての輝度値又は色特性値の差の積算値を用い、これをしきい値４６と比較し、該積算値がしきい値４６未満である場合には同一性有りと判断し、該積算値がしきい値４６以上である場合には同一性無しと判断するものを例示できる。

前画像と現画像とのそれぞれの特定領域に基づいて画像特徴量を算出する場合には、該特定領域は、撮像視野内に予め複数カ所を設定しておき、これらの少なくとも１つを撮影者による操作部２０を用いた所定の選択操作によって選択できるようにするとよい。この場合には、前画像の特定領域と現画像の特定領域とは互いに同一の位置及び同一の大きさとされる。

同一性の検出に用いるアルゴリズムのさらに他の例（第３アルゴリズム）としては、画像特徴量として前画像及び現画像中の主要被写体の動き（移動量）を算出して、該移動量をしきい値４６と比較し、該移動量がしきい値４６未満である場合には同一性有りと判断し、該移動量がしきい値４６以上である場合には同一性無しと判断するものが例示できる。

主要被写体の動きを検出する手法としては、被写体追跡等の公知の技術を用いて行うことができる。例えば、前画像と現画像とについて、テンプレート画像を用いるテンプレートマッチング処理をそれぞれ行い、テンプレート画像とマッチングした領域の移動量を算出して画像特徴量とする。

ここで、テンプレート画像とは、テンプレートマッチング処理の基準となる画像データであり、予め所定の登録操作を行うことにより、単一又は複数のテンプレート画像を予め登録しておいたものを用いる。テンプレート画像としては、任意の画像を登録することができるが、例えば、人物の顔等をテンプレート画像とすることができる。但し、テンプレート画像としては、予め登録したものに限られず、例えば画像中の人間の顔を特定する公知の顔認識等の技術を用いて、登録操作を行うことなく動的に設定されるものを用いるようにしてもよい。

同一性検出部３２は、テンプレートマッチング処理を行う場合には、前画像と現画像のそれぞれについて、画像（ターゲット画像）中に該テンプレート画像にマッチングするマッチング領域が存在するか否かを検出し、存在する場合にそれぞれの位置を検出し、その位置の差を移動量とする。なお、テンプレートマッチング処理としては、例えば相互相関法や残差逐次検定法等の公知の手法を用いることができる。

テンプレートマッチング処理は、具体的には、ターゲット画像中にテンプレート画像とのマッチングを行うための矩形枠をターゲット領域として設定し、ターゲット領域の位置をターゲット画像内で所定量ずつ、例えば１画素ずつ移動させながら、それぞれの位置におけるターゲット領域内の画像とテンプレート画像との類似度を算出する。そして、ターゲット画像全体に対してテンプレートマッチング処理を実施した結果、ターゲット領域内でテンプレート画像との類似度が最も高い領域（マッチング領域）の位置をマッチング結果とする。同一性検出部３２は、前画像についてのマッチング領域の位置と現画像についてのマッチング領域の位置との差を移動量（画像特徴量）として、しきい値４６と比較して同一性を判断する。

なお、主要被写体の動きの検出は、このようなテンプレートマッチング処理によるものに限られず、例えば、特開２０００−５９６９９号公報に記載されているような被写体の動き検出処理を応用して行うようにしてもよい。

上述したアルゴリズムはあくまで例示であって、これらと異なるアルゴリムを用いて同一性の検出を行うようにしてもよい。同一性の検出に用いるアルゴリズムを複数準備して、撮影者による操作部２０を用いた所定の設定操作により、そのうちの何れか１つを選択できるようにしてもよい。また、上述したアルゴリズムの何れか１つを行うのではなく、複数を行って、その総合結果に基づいて同一性を判断しても良い。

なお、上述した説明では、しきい値４６は予め設定された値を用いるものとしたが、撮影者による操作部２０を用いた所定の設定操作により、段階的に又は連続的に変更できるようにしてもよい。また、しきい値４６は過去の検出結果を統計的に処理して得られる値に基づいて、動的に自動変更するようにしてもよい。一例として、検出結果（同一性有り又は同一性無し）の過去の履歴を一定量保持しておき、同一性有りとの検出結果が長時間に渡って継続した場合にはしきい値４６をより小さい値に変更し、同一性無しとの検出結果が長時間に渡って継続した場合にはしきい値４６をより大きい値に変更するようにできる。また、検出結果の反転（同一性有りから同一性無しへ、同一性無しから同一性有りへ）の所定時間あたりの頻度に応じて、しきい値４６をより大きい値に、又はより小さい値に変更するようにしてもよい。

また、同一性検出部３２による検出結果が短時間に頻繁に反転する場合（例えば、１画像若しくは数画像毎に変わるような場合）には、被写体の動作と静止とがそのように頻繁に生じることは少ないと考えられ、手振れやその他の外乱によるものと推測できるため、このような場合には、被写体は静止しているものと判断して、検出結果にかかわらず、一定時間は同一性有りのまま又は同一性無しのままとするようにしてもよい。

また、前画像と現画像とのそれぞれの特定領域に基づいて画像特徴量を算出する場合には、該特定領域は、上述したような撮影者による選択操作によって事前に設定されたものではなく、上述した被写体追跡（テンプレートマッチング処理や動き検出処理）等の公知の技術を応用して動的に選定されるようにしてもよい。例えば、上述したテンプレートマッチング処理を用いる場合には、前画像についてのマッチング領域を特定領域とし、現画像についてのマッチング領域を特定領域とする。

特定領域をこのように動的に選定すると、前画像の特定領域と現画像の特定領域とは互いに異なった位置となることがあり、これらの異なった位置の特定領域に基づいて同一性を判断することになる。これにより、主要被写体は画像内で異なる位置に存在しているが、その主要被写体同士に同一性が認められる場合には、全体として同一性有りと判断することができる。主要被写体自体に動きはないが、カメラの姿勢が変化したような場合、あるいは撮影シーンによっては、このような手法が便宜である場合もあり得る。

ところで、カメラが手振れ補正機構を備える場合には、該手振れ補正機構を作動させた画像を使って同一性を判断することが望ましい。手振れ補正機構としては、カメラに発生する振動を振動検出センサにより検出し、レンズ２又は撮像素子１４を該振動を相殺するように振動させる光学式のもの、あるいは撮像した画像とそれ以降に撮像した画像とを比較して、そのはみ出し量を演算し、撮影可能領域を自動的にずらして補正を行う電子式の何れであってもよい。

〔スロー表示撮影モードにおける処理〕
図３は本発明の実施形態のスロー表示撮影モードにおける処理を示すフローチャートであり、図４は図３のスロー表示撮影ルーチン（ステップＳ１７）の詳細を示すフローチャートである。このスロー表示撮影モードは、一例として、撮影者が操作部２０のモード選択ボタンを操作して、このスロー表示撮影モードを選択することにより開始される。

図３において、処理が開始されると、まず、メイン制御部３１は、レリーズボタンの半押しがなされたか否かを判断し（ステップＳ１１）、半押しされていないと判断した場合（Ｎの場合）には待機し、半押しされたと判断した場合（Ｙの場合）には、スロー表示用バッファ３５に対して画像データの書き込みを継続するか又は停止するかに関する所定の停止条件を判断する（ステップＳ１２）。このステップＳ１２では、書き込みを継続する場合にＹと判断し、書き込みを停止する場合にＮと判断する。

停止条件（第１停止条件）としては、例えば、スロー表示用バッファ３５の書込ポインタが最終アドレスに到達した場合に書き込み停止（Ｎ）と判断し、最終アドレスに到達していない場合に書き込み継続（Ｙ）と判断する。この判断を用いることにより、スロー表示用バッファ３５の最終アドレスまで書き込みが行われた時点で、書き込みが停止されることになる。

また、他の停止条件（第２停止条件）として、スロー表示用バッファ３５の書込ポインタが最終アドレス到達後、開始アドレスに戻って進行し、場合に応じてこれらを繰り返した後に、読出ポインタに追いついた場合に書き込み停止（Ｎ）と判断し、追いついていない場合に書き込み継続（Ｙ）と判断するようにしてもよい。この判断を用いることにより、スロー表示が終了した画像データについては上書きを行い、スロー表示が終了していない画像データに上書きすることになる場合に書き込みが停止されることになる。

さらに、ステップＳ１２の停止条件の判断を行わないようにしてもよい。即ち、スロー表示用バッファ３５の書込ポインタが最終アドレス到達後、開始アドレスに戻って進行し、場合に応じてこれらを繰り返した後に、読出ポインタに追いついた場合であっても、書き込みを停止せず、さらに上書きするようにしてもよい。

なお、ステップＳ１２において、第１停止条件を実行するか、第２停止条件を実行するか、又は停止条件の判断を行わないか、を撮影者による操作部２０の設定操作によって、選択できるようにしてもよい。

ステップＳ１２において、書き込み停止と判断した場合（Ｎの場合）には、ステップＳ１７に進む。ステップＳ１２において、書き込み継続と判断した場合（Ｙの場合）には、次いで、画像データ４１を取得し、取得した画像データ４１を、現画像記憶部３４に現画像として一時記憶させる（ステップＳ１３）。

次いで、同一性検出部３２は、前画像記憶部３３に記憶された前画像と、現画像記憶部３４に記憶された現画像との間の同一性の有無を検出し（ステップＳ１４）、検出結果をメイン制御部３１に通知する。なお、ステップＳ１３で取得された画像データ４１が、処理の開始後に初めて取得されたものである場合には、前画像記憶部３３には前画像としての画像データが記憶されていないため、同一性検出部３２は、非同一、即ち同一性が無いと判断し、これをメイン制御部３１に通知する。

ステップＳ１４で同一性検出部３２が非同一、即ち同一性が無いことを検出し、これがメイン制御部３１に通知された場合には、現画像記憶部３４に記憶された画像データを、スロー表示用バッファ３５の現在の書込ポインタに対応するアドレスに書き込み（ステップＳ１５）、ステップＳ１６に進む。なお、この書き込みの後、書込ポインタはインクリメントされる。ステップＳ１４において、同一性有りと検出された場合（Ｎの場合）には、現画像記憶部３４に記憶された画像データをスロー表示用バッファ３５に書き込むことなく、ステップＳ１６に進む。

ステップＳ１６において、現画像記憶部３４に記憶されている原画像としての画像データを、前画像記憶部３３に前画像として移動し、次いで、後述するスロー表示撮影ルーチン（ステップＳ１７）に進む。ステップＳ１７のスロー表示撮影ルーチンが終了すると、メイン制御部３１は、ステップＳ１３で前回画像データを取得した時点から撮影間隔４４に相当する時間が経過したか否かを判断する。

ステップＳ１８において、撮影間隔４４に相当する時間が経過していないと判断した場合（Ｎの場合）には、経過するまで待って、経過したと判断した場合（Ｙの場合）には、レリーズボタンの半押しが解除されたか否かを判断する（ステップＳ１９）。ステップＳ１９において、レリーズボタンの半押しが解除されたと判断した場合（Ｙの場合）には、表示制御部３６を介して、画像表示モニタ２１に現在表示中の画像をクリアし（ステップＳ２０）、この処理を終了する。ステップＳ１９において、レリーズボタンの半押しが継続、即ち解除されていないと判断した場合（Ｎの場合）には、ステップＳ１２に戻って、次の画像データの取得等のステップＳ１２からステップＳ１９を繰り返す。

次に、Ｓ１７のスロー表示撮影ルーチンの詳細を、図４を参照して説明する。スロー表示撮影ルーチンが開始されると、メイン制御部３１は、まず、前回の表示（後述するステップＳ１７３）からスロー表示間隔４５に相当する時間が経過したか否かを判断する（ステップＳ１７１）。なお、最初の１枚目の表示の場合には、スロー表示間隔４５に相当する時間が経過したと判断するものとする。

ステップＳ１７１において、スロー表示間隔４５に相当する時間が経過したと判断した場合（Ｙの場合）には、スロー表示用バッファ３５の読出ポインタに対応するアドレスから画像データを読み出し（ステップＳ１７２）、読出ポインタをインクリメントする。次いで、表示制御部３６を介して画像表示モニタ２１に当該画像データに係る画像を表示させて（ステップＳ１７３）、ステップＳ１７４に進む。なお、ステップＳ１７３によるこの画像の表示は、次回このステップＳ１７３が実行されるまで、又は図３のステップＳ２０により表示クリアが実行されるまで継続される。

ステップＳ１７１において、スロー表示間隔４５に相当する時間が経過していないと判断した場合（Ｎの場合）には、ステップＳ１７２，Ｓ１７３をスキップしてステップＳ１７４に進む。次いで、ステップＳ１７４において、レリーズボタンの全押しが行われたか否かを判断し、全押しが行われたと判断した場合（Ｙの場合）には、このとき画像表示モニタ２１に表示されている画像に係る画像データ、即ち、スロー表示用バッファ３５の現在の読出ポインタの１つ前に対応する画像データが画像記録媒体１９に転送され（ステップＳ１７５）、図３のステップＳ１８に戻る。ステップＳ１７４において、レリーズボタンの全押しが行われていないと判断した場合（Ｎの場合）には、ステップＳ１７５をスキップして、図３のステップＳ１８に戻る。

上述した一連の処理を、撮影者の観点から、簡単にまとめると、以下の通りである。撮影者がスロー表示撮影モードに設定した後、レリーズボタンを半押しすると、撮影間隔４４に従って連写された画像がスロー表示用バッファ３５に蓄積される。

また、このレリーズボタンの半押しによって、スロー表示用バッファ３５に蓄積された（又は蓄積されつつある）画像の画像表示モニタ２１への表示が開始される。このときの表示は、スロー表示間隔４５に従って、ゆっくり行われるので、撮影者はこのスロー表示される画像を見ながら、最適なタイミングでレリーズボタンを全押しすることにより、表示中の画像に係る画像データを記録保存すべき画像データとして、画像記録媒体１９に転送・記録することができる。

なお、ステップＳ１２において、上述した第１又は第２停止条件により画像データのスロー表示用バッファ３５への書き込みを停止した場合には、ステップＳ１９でレリーズボタンの半押しが解除されない限り、未表示の画像についてスロー表示が順次継続され、全ての画像のスロー表示が終了した場合には、読出ポインタの現在位置から一連の画像が再度スロー表示されることになる。また、ステップＳ１２において、停止条件の判断を行わない場合には、ステップＳ１９でレリーズボタンの半押しが解除されない限り、未表示の画像についてスロー表示が継続され、書込ポインタが読出ポインタを追い越した場合には、上書きされた新たな画像が順次スロー表示されることになる。この場合には、上書きされる前の未表示の画像については、廃棄されることになる。

なお、上述した実施形態においては、互いに前後する２枚の画像（前画像、現画像）について画像特徴量を算出して、同一性を判断するものとしたが、現画像の同一性の判断に際し、該現画像よりも以前に連続的に撮像された２枚以上の画像がある場合に、これら２枚以上の画像に基づいて、現画像の同一性の有無を判断するようにしてもよい。

また、本実施形態では、同一性検出部３２が同一性の検出を行うために、前画像記憶部３３と現画像記憶部３４とを設けているが、前画像記憶部３３を省略して、現画像記憶部３４のみとし、現画像記憶部３４の画像と、スロー表示用バッファ３５の最後に記憶された画像とを比較して、同一性を判断するようにしてもよい。

また、スロー表示指示４２はレリーズボタンの半押しにより発生するものとしたが、その他のボタン等の操作により発生するようにしてもよい。

本実施形態によると、撮像素子１４により時間的に相前後して連続的に撮像された少なくとも２枚の画像間の同一性の有無を所定の画像特徴量を基準として所定のアルゴリズムに従って検出し、該同一性が無いとされた画像をスロー表示用バッファ３５に書き込み、該同一性が有るとされた画像をスロー表示用バッファ３５に書き込まないようにしたので、該同一性が有るとされてスロー表示用バッファ３５に書き込まれない画像に相当する記憶領域を、該同一性が無いとされた画像の記憶に用いることができる。

従って、被写体が静止している場合等において、実質的に同じ画像が複数回書き込まれることが防止され、実質的に記憶される画像の枚数を増大することができるため、スロー表示用バッファ３５の利用効率が向上し、全ての画像を書き込む従来技術と比較して、ベストショットの取り逃がしを少なくすることができる。

これを、図５〜図８を参照してさらに詳細に説明する。例えば、図５に示すような事象を仮定する。図５において、横軸は時間の経過を示し、Ｍ１，Ｍ２，Ｍ３の期間は被写体に動きがあり、Ｓ１，Ｓ２の期間は直前の期間の最後の撮影画像データ（例えば、Ｓ１の場合はＭ１の中の最後の画像データ）に対して被写体に動きがないことを示している。また、バッファ（本実施形態ではスロー表示用バッファ３５）の容量は図６（Ａ）に模式的に示すようなものであるとする。被写体の動きの有無にかかわらず全てを記憶させる従来技術では、図６（Ｂ）に示すように、期間Ｍ１，Ｓ１，Ｍ２に対応する画像が順次バッファに記憶され、期間Ｓ２の途中でバッファフルとなり、それ以降に発生した動きのある期間Ｍ３を記憶することはできず、これをスロー表示させた場合には、図７（Ａ）に示すように、期間Ｍ１，Ｓ１，Ｍ２における画像を表示して、Ｓ２の途中で表示が終了されることになる。従って、期間Ｍ３にベストショットが発生している場合にはこれを取り逃がしてしまう。

これに対して、直前の撮影画像データに対して被写体に動きがある場合にはバッファに書き込み、被写体に動きがない場合にはバッファに書き込まないようにした本実施形態では、図６（Ｃ）に示すように、被写体に動きがある期間Ｍ１，Ｍ２，Ｍ３を全てバッファに記憶させることができる。これをスロー表示させた場合には、図７（Ｂ）に示すように、Ｍ１，Ｓ１’（Ｍ１の最後の撮影画像データ），Ｍ２，Ｓ２’（Ｍ２の最後の撮影画像データ），Ｍ３の全ての期間についての画像が表示され、従って、期間Ｍ３にベストショットが発生している場合にも、これを取り逃がすことなく撮像することが可能である。

なお、上述した実施形態では、バッファに書き込まれていないはずの被写体に動きのない期間Ｓ１’，Ｓ２’をもスロー表示時に再現している、即ち、動きのある期間Ｍ１，Ｍ２の最後に撮影された画像が期間Ｓ１，Ｓ２にそれぞれ対応する期間だけ継続して表示されるようにしている。但し、図８に示すように、被写体に動きの無い期間Ｓ１，Ｓ２を割愛して、被写体に動きのある期間Ｍ１，Ｍ２，Ｍ３のみをスロー表示させるようにしてもよい。

また、上述した実施形態では、レリーズボタンの半押しにより、画像のバッファへの書き込みを開始し、これとほぼ同時にスロー表示を開始するようにしている。従って、バッファへの所定数の画像の書き込みを実施した後に、該バッファの初めの画像からスロー表示させるようにした従来技術では、当該所定枚の画像の書き込みが完了するまで、スロー表示を開始させることができず、その分だけ待ち時間が発生することがあったが、本実施形態では、そのような待ち時間が発生することがなく、これによってもベストショットの取り逃がしを少なくすることができる。

なお、本発明は、バッファへの所定数の画像の書き込みを実施した後に、該バッファの初めの画像からスロー表示させるようにした従来技術に適用することもでき、この場合にも上述した効果を得ることができる。

以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。従って、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

本発明の実施形態におけるデジタルカメラの概略構成を示すブロック図である。 本発明の実施形態におけるデジタルカメラのスロー表示撮影機能の構成を示すブロック図である。 本発明の実施形態におけるスロー表示撮影処理のメインルーチンを示すフローチャートである。 本発明の実施形態におけるスロー表示撮影処理のサブルーチンを示すフローチャートである。 本発明の実施形態の効果を説明するための事象を示す図である。 本発明の実施形態の効果を説明するための図であって、（Ａ）はバッファ容量を模式的に示す図、（Ｂ）は従来技術のバッファの記憶内容を示す図、（Ｃ）は本実施形態のバッファの記憶内容を示す図である。 本発明の実施形態の効果を説明するための図であって、（Ａ）は従来技術によるスロー表示の内容を示す図、（Ｂ）は本実施形態のスロー表示の内容を示す図である。 本発明の実施形態の一部を変更した場合の効果を説明するための図である。

符号の説明

１…デジタルカメラ、２…カメラ本体、３…撮影レンズ、１０…ＣＰＵ、１１…システムバス、１２…フラッシュＲＯＭ、１３…センサ駆動回路、１４…撮像素子、１５…Ａ／Ｄ変換回路、１６…タイミングジェネレータ、１７…画像処理部、１８…バッファメモリ、１９…画像記録媒体、２０…操作部、２１…画像表示モニタ、３１…メイン制御部、３２…同一性検出部、３３…前画像記憶部、３４…現画像記憶部、３５…スロー表示用バッファ、３６…表示制御部、４１…画像データ、４２…スロー表示指示、４３…撮影指示、４４…撮影間隔、４５…スロー表示間隔、４６…しきい値。

Claims (6)

1. 被写体の像を第１間隔で連続的に撮像し、前記被写体の画像データを複数生成する撮像素子と、
   前記撮像素子により生成された時間的に相前後する画像データの所定の画像特徴量を基準とする同一性の有無を検出する検出手段と、
   前記検出手段により同一性がないことが検出された画像データを表示面に表示する画像の画像データとして順次一時的に記憶し、かつ前記検出手段により同一性があることが検出された画像データは記憶しない記憶手段と、
   前記記憶手段による画像データの記憶が行われているときに前記記憶手段に記憶されている画像データに応じた画像を前記第１間隔よりも間隔が長い第２間隔で前記表示面に順次表示させる制御部と、
   前記記憶手段による画像データの記憶が行われているときに前記画像特徴量を基準とする同一性の有無にかかわらず前記表示面に表示された画像の画像データを前記記憶手段から画像記録媒体へ転送させる画像データ転送指示を行う指示手段と、
   を備えることを特徴とする撮像装置。
2. 前記指示手段は、前記撮像素子に撮像を開始させる撮像開始指示を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子は、前記指示手段により前記撮像開始指示が維持されている場合、前記第１間隔で連続的に撮像を行い、
   前記制御部は、前記撮像素子による被写体の像の撮像が行われている時に前記記憶手段に記憶された画像データに応じた画像を前記第１間隔よりも間隔が長い第２間隔で前記表示面に順次表示させることを特徴とする請求項２に記載の撮像装置。
4. 前記検出手段は、前記撮像素子により生成された相前後するそれぞれの画像データに応じた画像の主要被写体の動き、色の変化及び明るさの変化のうちの少なくとも１つに係る画像特徴量に基づいて、前記同一性の有無を検出することを特徴とする請求項１から請求項３のいずれか一項に記載の撮像装置。
5. 前記記憶手段はリングバッファであることを特徴とする請求項１から請求項４のいずれか一項に記載の撮像装置。
6. 前記検出手段は、予め設定され又は過去の検出結果を統計的に処理して得られるしきい値に従って、前記同一性の有無を判定することを特徴とする請求項１から請求項５のいずれか一項に記載の撮像装置。

Images