JP5131257B2

JP5131257B2 - 表示制御装置及び表示制御プログラム

Info

Publication number: JP5131257B2
Application number: JP2009196554A
Authority: JP
Inventors: 淳村木; 博清水; 博之星野; 英里奈市川
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2009-08-27
Filing date: 2009-08-27
Publication date: 2013-01-30
Anticipated expiration: 2029-08-27
Also published as: TW201208360A; US20110050722A1; CN102006413A; TWI423662B; KR20110022534A; KR101247645B1; US8564614B2; JP2011049822A

Description

本発明は、表示制御装置及び表示制御プログラムに関する。

従来、撮影時にシャッターチャンスを逃したり、シャッタータイミングを誤ったりしたような場合でも、シャッターチャンスを遡及できるようにする技術（所謂「パスト連写機能」）が提案されている。

このような技術として、例えば、特許文献１には、シャッターキーが押される以前に撮影を行うことにより、逐次、受け取る画像を、現在画像として表示画面に表示する一方、所定数の画像を一時記憶するメモリ内において過去画像として循環記憶することについて開示されている。また、特許文献１には、表示画面において、過去画像の表示タイミングに従い、メモリ内に記憶されている過去画像を表示し、シャッターキーが押された時点で、メモリ内に記憶されている画像を過去画像として記録保存することについて開示されている。

特開２００６−１７４１８８号公報

しかしながら、特許文献１では、表示画面において、過去画像の表示タイミングに従い、現在画像と過去画像とを異なる表示領域にそれぞれ表示させている。このため、ユーザは、撮影に際して、現在画像が表示される表示領域と、過去画像が表示される表示領域とに、交互に視線を変えながら、過去画像の記録開始時及び記録終了時（つまり、記録範囲）を確認することになる。つまり、ユーザは、異なる表示領域に表示される現在画像と過去画像とを同時に確認できず、過去画像を容易に認識することが困難であるという問題があった。

本発明は、このような点に鑑みてなされたものであり、その目的とするところは、ユーザが容易に過去画像を認識することができる、表示制御装置及び表示制御プログラムを提供することにある。

上記課題を解決するために、本発明の表示制御装置は、
撮像部が撮像した画像をリアルタイムで表示部に表示していく表示制御装置であって、
前記撮像部が撮像した最新の画像である現在画像を表す現在画像データと、前記現在画像を撮像した画角とほぼ同じ画角で当該現在画像よりも過去に前記撮像部が撮像した画像である過去画像を表す過去画像データと、を取得する画像データ取得手段と、
前記画像データ取得手段によって取得された前記現在画像データと前記過去画像データとを比較し、前記過去画像データと前記現在画像データとの間の移動距離が所定距離以上移動した画像領域を検出する検出手段と、
前記画像データ取得手段によって取得された前記現在画像データによって表現される前記現在画像内の中央領域と前記画像データ取得手段によって取得された前記過去画像データによって表現される前記過去画像内の中央領域との重なり度を検出する重なり度検出手段と、
前記重なり度検出手段によって検出された前記重なり度が所定基準を満たさない場合に検出すべき画像領域が前記過去画像と前記現在画像との間の移動距離が所定距離以上移動したと判断して前記画像データ取得手段によって取得された前記現在画像データによって表現される前記現在画像に、前記画像データ取得手段によって取得された前記過去画像データに含まれる前記検出手段によって検出された画像領域を重ね合わせるように合成した第１合成画像データを生成し、前記重なり度検出手段によって検出された前記重なり度が所定基準を満たす場合に検出すべき画像領域が前記過去画像と前記現在画像との間の移動距離が所定距離以上移動していないと判断して前記画像データ取得手段によって取得された前記過去画像データによって表現される前記過去画像を縮小し、縮小した過去画像を前記画像データ取得手段によって取得された前記現在画像データによって表現される前記現在画像に合成することによって、前記現在画像内に前記過去画像が表示された第２合成画像を表す第２合成画像データを生成する合成画像データ生成手段と、
前記合成画像データ生成手段によって生成された前記第１合成画像データ又は前記第２合成画像データによって表現される前記第１合成画像又は前記第２合成画像を前記撮像部が撮像した前記画像として前記表示部に表示する表示制御手段と、
を備える。

また、本発明の表示制御プログラムは、
撮像部が撮像した画像をリアルタイムで表示部に表示していくコンピュータを、
前記撮像部が撮像した最新の画像である現在画像を表す現在画像データと、前記現在画像を撮像した画角とほぼ同じ画角で当該現在画像よりも過去に前記撮像部が撮像した画像である過去画像を表す過去画像データと、を取得する画像データ取得手段、
前記画像データ取得手段によって取得された前記現在画像データと前記過去画像データとを比較し、前記過去画像データと前記現在画像データとの間の移動距離が所定距離以上移動した画像領域を検出する検出手段、
前記画像データ取得手段によって取得された前記現在画像データによって表現される前記現在画像内の中央領域と前記画像データ取得手段によって取得された前記過去画像データによって表現される前記過去画像内の中央領域との重なり度を検出する重なり度検出手段、
前記重なり度検出手段によって検出された前記重なり度が所定基準を満たさない場合に検出すべき画像領域が前記過去画像と前記現在画像との間の移動距離が所定距離以上移動したと判断して前記画像データ取得手段によって取得された前記現在画像データによって表現される前記現在画像に、前記画像データ取得手段によって取得された前記過去画像データに含まれる前記検出手段によって検出された画像領域を重ね合わせるように合成した第１合成画像データを生成し、前記重なり度検出手段によって検出された前記重なり度が所定基準を満たす場合に検出すべき画像領域が前記過去画像と前記現在画像との間の移動距離が所定距離以上移動していないと判断して前記画像データ取得手段によって取得された前記過去画像データによって表現される前記過去画像を縮小し、縮小した過去画像を前記画像データ取得手段によって取得された前記現在画像データによって表現される前記現在画像に合成することによって、前記現在画像内に前記過去画像が表示された第２合成画像を表す第２合成画像データを生成する合成画像データ生成手段、
前記合成画像データ生成手段によって生成された前記第１合成画像データ又は前記第２合成画像データによって表現される前記第１合成画像又は前記第２合成画像を前記撮像部が撮像した前記画像として前記表示部に表示する表示制御手段、
として機能させる。

本発明に係る表示制御装置及び表示制御プログラムによれば、ユーザが容易に過去画像を認識することができる。

本発明の実施形態１に係る表示制御装置の構成を示したブロック図である。本発明の実施形態１に係る表示制御装置のハードウェア構成を示したブロック図である。本発明の実施形態１に係る表示制御装置の記憶部の記憶領域を示した図である。本発明の実施形態１に係る表示制御装置が行う表示制御処理１のフローチャートである。（ａ）は本発明の実施形態１に係る表示制御装置の撮像部が撮影した過去画像（最古画像）を示す図である。（ｂ）は本発明の実施形態１に係る表示制御装置の撮像部が撮影した過去画像（中間画像）を示す図である。（ｃ）は本発明の実施形態１に係る表示制御装置の撮像部が撮影した現在画像を示す図である。本発明の実施形態１に係る表示制御装置の合成画像データ生成部が生成した第１合成画像データによって表現される第１合成画像を示す図である。本発明の実施形態２に係る表示制御装置の構成を示したブロック図である。本発明の実施形態２に係る表示制御装置が行う表示制御処理２のフローチャートである。（ａ）は本発明の実施形態２に係る表示制御装置の撮像部が撮影した過去画像（最古画像）を示す図である。（ｂ）は本発明の実施形態２に係る表示制御装置の撮像部が撮影した過去画像（中間画像）を示す図である。（ｃ）は本発明の実施形態２に係る表示制御装置の撮像部が撮影した現在画像を示す図である。図９の（ａ）乃至（ｃ）を合成した場合の第１合成画像を示すデータである。図９の（ａ）と（ｃ）とを合成した場合の第２合成画像を示すデータである。

本発明に係る実施形態について図面を参照して説明する。なお、本発明は下記の実施形態及び図面によって限定されるものではない。下記の実施形態及び図面に変更（特に構成要素の削除）を加えることができるのはもちろんである。また、以下では、本発明の理解を容易にするために、重要でない公知の技術的事項については説明を適宜省略している。

（実施形態１）
以下、実施形態１について説明する。

本実施形態に係る表示制御装置はデジタルカメラ等の撮影装置である。表示制御装置は、撮影モードとして一般的な静止画撮影モード及び動画撮影モードの他、過去画像記録モードを有する。

過去画像記録モードとは、過去画像記録モードの選択操作が行われた時点から、予め設定されているシャッタースピードの連写撮影により、順次取得する画像のフレームデータ（画像データの一例）を、記憶部に記録し、次にシャッターキーが押された時点で、記憶部に記録されている所定数の過去画像の画像データと、その時に表示画面に表示した現在画像の画像データとを記録保存する撮影画像の記録形態である。過去画像記録モードは、いわゆるパスト連写機能と呼ばれるものである。

図１を用いて、表示制御装置１の機能構成を説明する。表示制御装置１は、その構成を大きく分けると、図１のように、制御部１０、操作部２０、撮像部３０、表示部４０を備える。

制御部１０は、表示制御装置１全体を制御する。制御部１０は、画像データ取得部１１、画像データ記録部１２、合成画像データ生成部１３、表示制御部１４、画像データ保存部１５、記憶部１６を備える。ユーザにより過去画像記録モードの選択操作が行われた場合、制御部１０は、操作部２０から供給される操作入力信号を受け取る。そして、制御部１０（特に、各部１１〜１６）は、操作入力信号を受け取ると、後述の表示制御処理１を行う。

操作部２０は、ユーザからの操作入力を受け付け、受け付けた操作入力に応じた操作入力信号を制御部１０に対して供給する。

撮像部３０は、制御部１０の制御のもと、例えば、ユーザの撮影操作により取り込まれる画像（撮像した画像の一例）を撮像信号として制御部１０に供給する。

表示部４０は、制御部１０の制御のもと、表示制御装置１を操作するために必要なメニュー画面や設定画面、撮像された画像、後述の合成画像等を表示する。

表示制御装置１には、記録メディア５０が取り付けられる。記録メディア５０には、制御部１０の制御のもと、静止画データや動画データ等の画像データが記録保存される。なお、記録メディアの機能の一部を、表示制御装置１の記憶部１６に持たせてもよい。すなわち、表示部制御装置１の記憶部１６の一部が、記録メディア５０の記憶領域に相当する記憶装置によって構成されてもよい。記録メディア５０は、例えば、フラッシュメモリ等の半導体装置を備えるメモリーカード等によって構成される。

次に、図２を用いて、本実施形態に係る表示制御装置１のハードウェア構成を説明する。

表示制御装置１は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０３、表示制御プログラム１０５、ＲＡＭ（Random Access Memory）１０６、ＴＧ（Timing Generator）１０７、ドライバ１０９、ＡＦＥ（Analog Front End）１１１、メディアコントローラ１１３、ＤＳＰ（Digital Signal Processor）１１５、操作キー群２０１、撮像素子３０１、レンズ群３０３、撮像駆動部３０５、ディスプレイ４０１によって構成される。なお、表示制御装置１が備える各構成要素は、必要に応じて、ＴＧ１０７、またはそれ以外の図示しないタイミングジェネレータによって、同期が取られるものとする。

図１の制御部１０は、ＣＰＵ１０１、ＲＯＭ１０３、表示制御プログラム１０５、ＲＡＭ１０６、ＴＧ１０７、ドライバ１０９、ＡＦＥ１１１、メディアコントローラ１１３、ＤＳＰ１１５によって構成される。

特に、画像データ取得部１１、画像データ記録部１２、合成画像データ生成部１３、表示制御部１４、及び、画像データ保存部１５は、表示制御プログラム１０５によって処理を実行するＣＰＵ１０１、ＴＧ１０７、ドライバ１０９、ＡＦＥ１１１、メディアコントローラ１１３、ＤＳＰ１１５等のうちの適宜の組み合わせで構成される。また、記憶部１６は、ＲＯＭ１０３及びＲＡＭ１０６等によって構成される。

ＣＰＵ１０１は、表示制御装置１の各構成要素の動作を制御する。つまり、ＣＰＵ１０１は、各部を制御するための制御データを生成し、生成した制御データを構成要素に供給することによって各構成要素を制御する。特に、ＣＰＵ１０１は、操作部２０から供給される操作入力信号（入力データの一例）及びＲＯＭ１０３に記録されている表示制御プログラム１０５に従い、さらに、ＲＯＭ１０３に記録されている各種データを用いて、各構成要素を制御し、後述の表示制御処理１を実行する。なお、ＣＰＵ１０１に供給されるデータは、例えば、ＲＡＭ１０６を介して供給される。また、ＣＰＵ１０１は、例えば、ＲＡＭ１０６を介して各構成要素にデータを供給する。また、ＣＰＵ１０１の機能の少なくとも一部は、各種専用回路によって実現されてもよい。つまり、制御部１０の少なくとも一部を各種専用回路によって構成してもよい。

ＲＯＭ１０３は、適宜の半導体記憶装置によって構成される。ＲＯＭ１０３には、表示制御プログラム１０５等の各種プログラム、及び、ＣＰＵ１０１が使用する各種データ等が記憶されている。これらのプログラム及びデータは、ＣＰＵ１０１によって直接読み出されるか、ＲＡＭ１０６に一度記憶される。なお、ＲＯＭ１０３は、書き換え等が可能な他の補助記憶装置に変更してもよい。

ＲＡＭ１０６は、適宜の半導体記憶装置によって構成される。ＲＡＭ１０６は、ＣＰＵ１０１のワーキングメモリとして機能する他、後述の各種データを一時記録する。なお、ＲＡＭ１０６の機能の一部を、表示制御装置１が備える又は表示制御装置１の外部に形成される他の記憶装置に持たせてもよい。この場合、表示制御装置１が備える他の記憶装置も記憶部１６を構成する。

なお、表示制御プログラム１０５は、ＯＳ（Operation System）と協働してＣＰＵ１０１に後述の表示制御処理１を行わせるものであってもよい。また、表示制御プログラム１０５は、持ち運び可能な記録媒体（ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、又は、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）等）に記録され、表示制御装置１に供給されてもよい。また、表示制御プログラム１０５は、ネットワークを介して表示制御装置１に供給されてもよい。表示制御プログラム１０５が記録されたＲＯＭ１０３、ＲＡＭ１０６、又は、持ち運び可能な記録媒体は、コンピュータが読み取り可能なプログラム製品になる。

ＴＧ１０７は、ＣＰＵ１０１の制御のもと、ドライバ１０９を動作させるためのパルス信号を生成し、ドライバ１０９に供給する。つまり、後述の撮像素子３０１から供給される１フレーム分（つまり、１画像分）の撮像信号の間隔は、ＴＧ１０７からドライバ１０９に供給されるパルス信号に依存する。また、ＴＧ１０７は、ＣＰＵ１０１の制御のもと、ＡＦＥ１１１にも同様のパルス信号を供給する。ＴＧ１０７は、パルス信号の供給によって、ＡＦＥ１１１とドライバ１０９との動作タイミングの同期を図る。つまり、ＡＦＥ１１１とドライバ１０９とは、ＴＧ１０７を介してＣＰＵ１０１によって制御される。

ドライバ１０９は、ＴＧ１０７からのパルス信号に従い、後述の撮像素子３０１に駆動信号を供給する駆動回路である。

ＡＦＥ１１１は、撮像素子３０１から供給される撮像信号に所定の処理を行い、撮像素子が撮像した画像を表すデジタルデータ（画像元データ、以下同じ）を生成して出力する。ＡＦＥ１１１は、例えば、ＯＢ（Optical Black）クランプ部、ＣＤＳ（Correlated Double Sampling）回路、ＡＧＣ（Automatic Gain Control）回路、Ａ／Ｄ（Analog/digital）変換器等（図示しない）を備える。

ＯＢクランプ部は、撮像素子３０１から供給される撮像信号を受け取り、クランプ処理を行い、クランプ後信号としてＣＤＳ回路に供給する。ＣＤＳ回路は、ＯＢクランプ部から供給されたクランプ後信号に対して、相関二重サンプリングを行い、相関二重サンプリング後の信号をサンプリング後信号としてＡＧＣ回路に供給する。ＡＧＣ回路は、ＣＤＳ回路から供給されたサンプリング後信号に対して、自動利得調整を行い、自動利得調整後の信号を調整後信号として、Ａ／Ｄ変換器に供給する。ＡＧＣ回路のゲインは、ＣＰＵ１０１が制御することもできる。Ａ／Ｄ変換器は、ＡＧＣ回路から供給されたアナログ信号である調整後信号をデジタル信号に変換し、変換後のデジタル信号を画像元データとして、ＤＳＰ１１５に供給する。

ここで、画像元データは、撮像素子３０１の各有効画素（ＯＢ等を除いた画像の再生に寄与する画素）の画素値を含む、１フレーム分の画像を表すデータである。

ＤＳＰ１１５は、ＣＰＵ１０１の制御のもと、ＡＦＥ１１１から供給された画像元データを受け取る。ＤＳＰ１１５は、受け取った画像元データに対して各種処理を行い、ＹＵＶ（輝度・色差）データへの変換を行う。なお、ＤＳＰ１１５は、輪郭強調、オートホワイトバランス、オートアイリス等の画質を向上させる処理も行う。ＤＳＰ１１５は、１画像分のＹＵＶデータを画像データとしてＲＡＭ１０６に記録する。

ＣＰＵ１０１は、適宜、ＲＡＭ１０６に記録されたＹＵＶデータに各種処理を施し、画像のサイズ及び解像度等を変更した新たなＹＵＶデータを新たな画像データとして生成し、ＲＡＭ１０６に記録してもよい。

ＣＰＵ１０１は、適宜、ＲＡＭ１０６に記録されたＹＵＶデータに圧縮処理を施し、ＹＵＶデータを圧縮した圧縮データをＲＡＭ１０６に記録してもよい。静止画撮影モードの場合、ＣＰＵ１０１は、ＲＡＭ１０６に記録されたＹＵＶデータをＪＰＥＧ方式等でデータ圧縮を行い、新たな画像データとしてＲＡＭ１０６に記録する。動画撮影モードの場合、ＣＰＵ１０１は、ＲＡＭ１０６に記録されたＹＵＶデータをＭＰＥＧ方式等でデータ圧縮を行い、新たな画像データとしてＲＡＭ１０６に記録する。

また、ＣＰＵ１０１は、適宜、ＲＡＭ１０６に記録された、ＹＵＶデータ又はＹＵＶデータを圧縮した圧縮データをＲＧＢデータに変換し、変換したＲＧＢデータを新たな画像データとしてＲＡＭ１０６に記録する。

メディアコントローラ１１３は、ＣＰＵ１０１の制御のもと、撮影モードに応じてデータ圧縮が行われた画像データをＲＡＭ１０６から受け取り、記録メディア５０に記録保存する制御を行う。つまり、静止画撮影モードの場合、ＣＰＵ１０１の制御のもと、メディアコントローラ１１３は、１画像分の静止画データをＲＡＭ１０６から受け取り、記録メディア５０に記録保存する制御を行う。また、動画撮影モードの場合、ＣＰＵ１０１の制御のもと、メディアコントローラ１１３は、複数の静止画データからなる動画データをＲＡＭ１０６から受け取り、記録メディア５０に記録保存する制御を行う。

なお、画像（現在画像、過去画像、又は、合成画像）データとは、ＹＵＶデータの他、ＹＵＶデータを変換した新たなＹＵＶデータ、ＹＵＶデータを圧縮した圧縮データ、ＲＧＢデータ、画像元データ等であってもよい。つまり、画像データは、撮像素子３０１が撮像した画像を表現可能なデータであれば、そのデータ形式は問わない。また、撮像素子３０１が撮像した画像は、必要に応じてサイズや解像度が変更された画像であってもよい。

図１の操作部２０は、操作キー群２０１によって構成される。操作キー群２０１は、半押し全押しの二段階操作可能なシャッターキー、モード切り替えキー、十字キー、ズームキー、及び、メニューキー、セットキー、電源キー等の複数の操作キーを含む。過去画像記録モードにおいて、操作キー群２０１は、過去画像記録の開始と終了を行う際に用いられる。つまり、ユーザが操作キー群２０１に含まれる操作キーを用いてモード選択操作を行うことにより、ＣＰＵ１０１は、過去画像の一時記憶を開始し、ユーザが操作キー群２０１に含まれる操作キーを用いて過去画像の記録保存指示の操作を行うことにより、ＣＰＵ１０１は、その時点で記憶されている過去画像の記録を行う。

図１の撮像部３０は、撮像素子３０１、撮像レンズ群３０３、撮像駆動部３０５によって構成される。

撮像レンズ群３０３は、フォーカスレンズ及びズームレンズ等から構成されるレンズ群からなる。レンズ群を構成する複数のレンズは、それぞれ、撮像駆動部３０５が備えるレンズ駆動部によって駆動される。レンズ駆動部は、撮像レンズ群３０３を光軸方向にそれぞれ移動させるモータと、このモータを駆動するモータドライバとから構成される。レンズ駆動部は、ＣＰＵ１０１の制御のもと、モータドライバによってモータを駆動させ、撮像レンズ群３０３を光軸方向にそれぞれ移動させる。

さらに、撮像駆動部３０５は、絞り兼用シャッター部を備える。この絞り兼用シャッターは、絞り兼用シャッターと、駆動回路とを含む。駆動回路はＣＰＵ１０１の制御のもと、絞り兼用シャッターを動作させる。この絞り兼用シャッターは、絞りとシャッターとして機能する。絞りとは、撮像レンズ群３０３を介して入射する光の量を制御する機構のことをいい、シャッターとは、撮像素子３０１に光を当てる時間、つまり、受光素子が受光する時間を制御する機構のことをいう。

撮像素子３０１は、例えば、ベイヤー配列の色フィルタを有する各種ＣＣＤ（Charge Coupled Device：電荷結合素子）イメージセンサーによって構成される。撮像素子３０１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等、他のイメージセンサーであってもよい。撮像素子３０１は、ＣＰＵ１０１の制御のもと、ドライバ１０９から供給される駆動信号に従い、撮像レンズ群３０３を介して入射する光による画像を取り込んで画素毎に光電変換し、光電変換により発生した画素毎の電荷をアンプにより増幅し、増幅した信号を撮像信号としてＡＦＥ１１１に供給する。

図１の表示部４０は、ディスプレイ４０１によって構成される。ディスプレイ４０１は、表示画面と表示コントローラとを備える。表示コントローラには、ＣＰＵ１０１の制御のもと、ＲＡＭ１０６が記憶するＲＧＢデータが供給される。表示コントローラは、供給されたＲＧＢデータをアナログ信号に変換し、変換したアナログ信号に基づいて表示画面に画像を表示する。つまりディスプレイ４０１は、供給されたＲＧＢデータに基づいて、このＲＧＢデータが表現する画像を表示する。

次に、本実施形態１に係る表示制御装置１が行う、過去画像記録モードの撮影を行う場合の表示制御処理１について、図４等を参照して説明する。

ユーザは、電源投入後に表示部４０に表示されるメニュー画面から過去画像記録モードを選択する操作を、操作部２０を用いて行う。これにより、操作部２０は、過去画像記録モードの選択操作の入力に応じた操作入力信号を制御部１０に対して供給する。制御部１０は、操作部２０からの操作入力信号を受け取ることにより表示制御処理１を実行する。つまり、ＣＰＵ１０１は、表示制御プログラム１０５に従って表示制御装置１の制御を行い、表示制御処理１を行う。

画像データ取得部１１及び画像データ記録部１２（ＣＰＵ１０１、ＴＧ１０７、ドライバ１０９、ＡＦＥ１１１、ＤＳＰ１１５）は、現在画像データの取得及び記録を行う（ステップＳ４０１，Ｓ４０２）。

具体的には、画像データ取得部１１は、予め設定されたシャッタースピードにより撮像部３０の駆動制御を行い、撮像部３０から供給される撮像信号に対して、所定の処理を行い、現在画像となる１フレーム分の画像データを取得する。画像データ記録部１２は、取得した画像データを現在（つまり、最新）の画像の画像データである現在画像データとして、記憶部１６（ＲＡＭ１０６）の所定の記憶領域に記録する。

なお、画像データは、上述のとおり、ＹＵＶデータ、サイズ及び解像度が変更されたＹＵＶデータ、これらを変換して得られるＲＧＢデータ、又は、これらを圧縮して得られる圧縮データ等であればよい。

画像データ取得部１１は、繰り返し到来し（ステップＳ４０１及びステップＳ４０６；Ｎｏ参照）、実行するステップＳ４０１の処理において、現在画像データを取得していく。これに従い、画像データ記録部１２は、順次、取得した現在画像データを記憶部１６に記録していくことになる。このとき、画像データ記録部１２は、現在画像データよりも過去に記録された画像データ（つまり、現在画像よりも過去に撮像部３０が撮像した画像である過去画像を表す過去画像データ）を消去せずに記憶部１６に記録させたままにしておく。これにより、画像データ記録部１２は、過去画像データを記録部１６に蓄積する。

なお、このとき、画像データ記録部１２は、予め設定された枚数に応じた数の過去画像データを記憶部１６に残しておき、残しておく数の過去画像データよりも古く記憶部１６に記録された過去画像データについては、順次、現在画像データを記録していくたびに、消去（具体的には上書き）するとよい。

具体的には、例えば、図３のように、画像データ記録部１２は、最初のステップＳ４０１において、記憶部１６内の記憶領域１０６ａａに現在画像データを記録する。その後、画像データ記録部１２は、繰り返し行われるステップＳ４０１の処理において、現在画像データを、順次、記憶領域１０６ａｂ、記憶領域１０６ａｃ、・・・・記憶領域１０６ａｈ、記憶領域１０６ａｂ、記憶領域１０６ａｃ、・・・・の順に記録していく。つまり、画像データ記録部１２は、現在画像データを記憶領域１０６ａａから１０６ａｈに順次記録し、記憶領域１０６ａｈに現在画像データを記録したら、現在画像データを記憶領域１０６ａａから１０６ａｈに順次、再度上書き記録する。このように、画像データ記録部１２は、順次取得する現在画像データを記憶部１６の記憶領域１０６ａａから１０６ａｈに循環記憶させていく。ここで、あるステップＳ４０１において記録された現在画像データよりも、過去のステップＳ４０１で記録された現在画像データは、過去の画像データとなるので、過去画像データとなり、この過去画像データが表現する画像は、過去画像となる。

例えば、図３のように、あるステップＳ４０１（例えば、１２回目のステップＳ４０１）では、画像データ記録部１２は、現在画像データを記憶領域１０６ａｃに記録する。このとき、記憶領域１０６ａａ乃至１０６ａｂ及び記憶領域１０６ａｄ乃至１０６ａｈに記録されている画像データは過去画像データになる。

画像データ記録部１２は、繰り返し到来し（ステップＳ４０２及びステップＳ４０６；Ｎｏ参照）、実行するステップＳ４０１の複数回の処理において（画像データ記録部１２は、ステップＳ４０１の処理において必要に応じて所定時間待機する）、現在画像データをシャッタースピードに応じた間隔（つまり、フレームレート）で順次取得し、取得した現在画像データを記憶部１６に記録する。

次に、画像データ取得部１１（ＣＰＵ１０１）は、過去画像の表示タイミングであるかを判定する（ステップＳ４０２）。具体的には、例えば、画像データ取得部１１は、画像データ記録部１２が記憶部１６に画像データ（具体的には、現在画像データ及び過去画像データ）を所定数以上記録したかを判定することによって、ステップＳ４０２の判定を行う。画像データを所定数（ここでは、例えば画像データを記憶部１６に記録できる最大数である８）以上記録していれば、後述の合成画像データを生成できるので、過去画像の表示タイミングであると判定できる。

画像データ取得部１１は、過去画像の表示タイミングでないと判定した場合（ステップＳ４０２；Ｎｏ）、具体的には、例えば、所定数（ここでは、８）未満の画像データが記録されている場合、まだ、記憶部１６に十分な過去画像データが蓄積されていない。このとき、表示制御部１４（ＣＰＵ１０１）は、記憶部１６の所定の記憶領域から現在画像データ（記憶部１６に記録されている最新の画像データ）を取得するとともに、この現在画像データを必要に応じて、伸長（画像データが圧縮データである場合）し、及び又は、ＲＧＢデータに変換（画像データがＲＧＢデータでない場合）する。このようにして、表示制御部１４は、現在画像の画像データであるＲＧＢデータを取得する。表示制御部１４は、取得したＲＧＢデータを表示部４０（ディスプレイ４０１）に供給し、表示部４０の表示画面に供給したＲＧＢデータが表現する現在画像を表示させる（ステップＳ４０８）。このように、制御部１０は、記憶部１６に所定数以上の画像データが蓄積されるまで現在画像の表示を行う。

一方、画像データ取得部１１は、過去画像の表示タイミングであると判定した場合（ステップＳ４０２；Ｙｅｓ）、具体的には、例えば、画像データが所定数以上、記憶部１６に記録されている場合、合成画像を生成できるので、画像データ取得部１１は、記憶部１６から、現在画像データ、記憶部１６に記録された最も古い最古画像データ、及び、前記現在画像データと前記の最古画像データとの中間の中間画像データ、を記憶部１６から取得する（ステップＳ４０３）。なお、記憶領域１０６ａが図３のような８つの場合等、前記の中間画像データが二つある場合（図３では記憶領域１０６ａａ及び１０６ａｈに記録された画像データ）には、そのどちらか任意の一方を中間画像とすればよい。また、中間画像データは、現在画像データと最古画像データとの間に記録された画像であればよく、例えば、現在画像データの直前に記録された画像データ等であってもよい。

例えば、図３のように、現在画像データが記憶領域１０６ａｃに記録されている場合、画像データ取得部１１は、記憶領域１０６ａｃから現在画像データ１０６ｂａを読み出すとともに、記憶領域１０６ａｄから最古過去画像データ１０６ｂｂを読み出し、記憶領域１０６ａｈから中間画像データ１０６ｂｃを読み出す。

このようにして、画像データ取得部１１は、撮像部３０が撮像した最新の画像である現在画像を表す現在画像データと、現在画像よりも過去に撮像部３０が撮像した画像である過去画像を表す過去画像データと、を取得する。画像データ取得部１１は、このとき、例えば、現在画像データと過去画像データとを記憶部１６の作業記憶領域（例えばＣＰＵ１０１の作業に使用される、ＲＡＭ１０６におけるワーキングエリア）に記録する。また、このとき、画像データ取得部１１は、適宜、現在画像データと過去画像データとを、後述の第１合成画像を生成するためのデータ形式（例えばビットマップ形式）に変換し、変換後のデータを現在画像データと過去画像データとして記憶部１６の作業記憶領域に記録する。

合成画像データ生成部１３（ＣＰＵ１０１）は、画像データ取得部１１が取得した現在画像データによって表現される現在画像に、過去画像データによって表現される過去画像の少なくとも一部を重ね合わせるように合成し、合成した画像である第１合成画像を表す第１合成画像データを生成する（ステップＳ４０４）。なお、過去画像が複数ある場合には、例えば、現在画像に、複数ある過去画像のうち一の過去画像を用い、当該過去画像の少なくとも一部を重ね合わせた合成画像を生成し、生成した合成画像に、残りの過去画像のうち一の過去画像を用い、当該過去画像のの少なくとも一部を重ね合わせた合成画像を生成する、といった行程を、重ね合わせる過去画像の数に対応して繰り返し行う。

具体的には例えば、合成画像データ生成部１３は、記憶部１６から、現在画像データと、最古画像データと、中間画像データと、を取得し、これらの画像データを用いて第１合成画像を生成する。

さらに具体的には例えば、合成画像データ生成部１３は、最古画像データと、中間画像データ（又は現在画像データ）と、を比較する。また、合成画像データ生成部１３は、中間画像データと、現在画像データと、を比較する。そして、比較する両画像データから、画像を所定の大きさで区画した領域毎の動きベクトルを検出する。合成画像データ生成部１３は、両画像における、動きベクトルが予め設定された動きベクトル閾値（例えば記憶部１６に記録されている。）以上である領域を検出する。

この検出した領域（検出領域）に写る被写体像は、比較する両画像データが表現する両画像間での移動距離が一定基準を満たす被写体像である。つまり、この被写体像は、例えば、比較する両画像データが表現する両画像間で所定距離以上移動した被写体像になる。このような被写体像は、ユーザがメインとして撮影したいメイン被写体（例えば、主として撮影した対象人物又は動物等）の像である可能性が高い（以下、この像をメイン被写体像という。）。パスト連写は、移動する所望の被写体のシャッターチャンスを逃さないようにするための機能であり、両画像間での移動距離が一定基準を満たす被写体像は、ユーザがメインとして撮影した被写体像である可能性が高い。このため、検出領域に含まれる被写体像はメイン被写体像として扱われる。この場合において、合成画像データ生成部１３は、画像全体の領域がメイン被写体像と判断することもある。

なお、上記のような両画像間での移動距離が一定基準を満たす被写体像の検出は、差分絶対値和(Sum of Absolute Differences: SAD)や、差分自乗和(Sum of Squared Differences: SSD)等を用いた検出であってもよい。

次に、合成画像データ生成部１３は、メイン被写体像が写る前記検出領域の画像データを最古画像データ及び中間画像データそれぞれから切り出す。具体的には、例えば、合成画像データ生成部１３は、最古画像データ及び中間画像データそれぞれから前記の検出領域の画像データ（以下、検出領域画像データという。）を抽出する。検出領域画像データは、例えば、検出領域の各画素について、画像全体（つまり、最古画像全体又は中間画像全体）における位置を特定する位置情報と、この位置情報が特定する画素の内容の値を特定する画素内容値情報と、を含んだデータである。内容の値（以下、内容値という。）は、各画素の内容を示す値（画像データに含まれる。）であり、輝度値、又は、三原色毎の強度値（所謂ＲＧＢ値）等の値がある。

合成画像データ生成部１３は、現在画像における前記検出領域に対応する画像を、検出領域画像データによって表現される検出領域の画像に置き換えた現在画像（第１合成画像の一例である）を表す第１合成画像データを生成する（この処理を以下では、置き換えによる重ね合わせという）。例えば、合成画像データ生成部１３は、現在画像データの各画素のうち、前記検出領域画像データの位置情報が特定する位置に対応する画素の内容値を、前記検出領域画像データの画素内容値情報が特定する内容値に置き換えた画像データ（第１合成画像データ）を生成する。

合成画像データ生成部１３は、現在画像における前記検出領域に対応する画像を、検出領域画像データによって表現される検出領域の画像に重畳させた画像（第１合成画像）を表す第１合成画像データを生成してもよい（この処理を以下では、重畳による重ね合わせという）。例えば、合成画像データ生成部１３は、現在画像データの各画素のうち、前記検出領域画像データの位置情報が特定する位置に対応する画素の内容値に、前記検出領域画像データの画素内容値情報が特定する内容値をブレンドした画像データ（第１合成画像データの一例である。）を生成する。画素の内容をブレンドするとは、例えば、両画素の輝度値、又は、ＲＧＢ値を足し合わせて２で割る（つまり、１対１でブレンドする）ことをいう。

なお、合成画像データ生成部１３は、過去画像データによって表現される過去画像の少なくとも一部が現在画像データによって表現される現在画像よりも薄くなるように、両者を重ね合わせるように合成してもよい。

例えば、上記のように、置き換えによる重ね合わせによって第１合成画像が生成される場合、合成画像データ生成部１３は、前記検出領域画像データの画素内容値情報が特定する内容値に１未満の第１の係数（このデータは、予め設定され記憶部１６に記録されている）を乗じる。そして、合成画像データ生成部１３は、現在画像データの各画素のうち、前記検出領域画像データの位置情報が特定する位置に対応する画素の内容値を、第１の係数を乗じて得られた値に置き換えた画像データ（第１合成画像データ）を生成する。

例えば、上記のように、重畳による重ね合わせによって第１合成画像が生成される場合、合成画像データ生成部１３は、現在画像データの各画素のうち、前記検出領域画像データの画素の位置情報が特定する位置に対応する画素（つまり、ブレンド先の画素）について、ブレンド先の画素の内容値と前記検出領域画像データの画素内容値情報が特定する内容値に１未満の係数（このデータは予め設定され記憶部１６に記録されている）を乗じた値とを足し合わせて２（又は１＋ｎ（ｎは１未満の値））で割る（１対ｎでブレンドする）。

このように、合成画像データ生成部１３が過去画像データによって表現される過去画像の一部が現在画像データによって表現される現在画像よりも薄くなるように、両者を重ね合わせるように合成することによって、表示制御装置１は、過去の画像と現在の画像とを区別し易い第１合成画像を表す第１合成画像データを生成できる。また、表示制御装置１は、新たな印象を与える第１合成画像を表す第１合成画像データを生成できる。

合成画像データ生成部１３は、上記で説明した方法等によって、図５（ｃ）の現在画像に、図５（ａ）の最古画像のメイン被写体像４０５ａを含む所定領域の画像（以下では検出領域画像という。）を重ね合わせるように合成し、合成画像を生成する。さらに、合成画像データ生成部１３は、上記で説明した方法等によって、図５（ｂ）の中間画像のメイン被写体像４０５ｂを含む所定領域の画像（以下では、検出領域画像という。）を前記で生成した合成画像に重ね合わせるようにして合成する（図６参照）。このようにして、合成画像データ生成部１３は、第１合成画像データを生成する。

なお、上記と同様の方法によって、合成画像データ生成部１３は、現在画像データによって表現される現在画像に過去画像データによって表現される過去画像を重ね合わせるように合成し、合成した画像である第１合成画像を表す第１合成画像データを生成してもよい。この場合には、過去画像全体を現在画像に重ね合わせるので、動きベクトル等を用いてメイン被写体像の検出等は不要になる。また、合成画像データ生成部１３は、置き換えによる重ね合わせではなく、重畳による重ね合わせによって、第１合成画像データを生成する。

上記のように、合成画像データ生成部１３が行う、メイン被写体像を検出し、このメイン被写体像を含む領域（特に過去画像の一部）を現在画像に組み合わせる処理（以下、第１の処理という。）は、画像の背景が動いていない場合（例えば、ユーザが表示制御装置１を動かさずに撮影している場合）等に適する。メイン被写体像の動きの軌跡が良く分かるからである。また、合成画像データ生成部１３が行う、メイン被写体像を検出せずに過去画像全体を現在画像に組み合わせる処理（以下、第２の処理という。）は、画像の背景が動いている場合（例えば、ユーザが表示制御装置１を動かして、ユーザが撮影したメイン被写体像を中心にして撮影している場合）等に適する（必要に応じて図１０参照）。背景も動いていると、本当のメイン被写体像の特定が困難になる場合があるからである。

合成画像データ生成部１３は、予め設定された第１の処理又は第２の処理によって、第１合成画像を生成する。

また、合成画像データ生成部１３は、例えば、現在画像と過去画像とを比較して背景が動いているか判断し、背景が移動していると判断する場合には、第２の処理を行い、背景が移動していないと判断する場合には、第１の処理を行ってもよい。背景が動いているかの判断は、例えば、両画像において四隅の画像の変化を検出することによって行う。四隅の画像の変化（例えば、背景の移動度）が所定条件を満たせば、背景が動いていると判断できる。また四隅の画像の変化が所定条件を満たさなければ背景が動いていないと判断できる。なお、四隅の画像の変化は、動きベクトル、差分絶対値和、又は、差分自乗和等を用いて公知の方法で行える。これによって、表示制御装置１は、ユーザの撮影状況に応じた表示制御が行える。

なお、合成画像データ生成部１３は、画像の中央領域の重なり度（詳細は実施形態２参照）に応じて、又は、上記の背景の移動度に応じて、過去画像を薄くする度合いを変化させてもよい（例えば、重なり度または移動度が大きければ上記のｎを小さくする等して、薄くする度合いを大きくする）。これによって、例えば、第１合成画像におけるメイン被写体像等の重なりが大きい場合にメイン被写体像等をより薄く表示でき、ユーザは過去画像を容易に認識できる。中央領域は、例えば、画像の横方向（長辺方向）の中央から左右に向かって、それぞれ、画像の横辺の１５パーセントの長さの横辺を有する領域をいう。

また、合成画像データ生成部１３は第１合成画像データを生成した後、生成した第１合成画像データを記憶部１６（ＲＡＭ１０６）に記録する。

表示制御部１４は、第１合成画像データによって表現される第１合成画像を表示部４０（ディスプレイ４０１）に表示する。具体的には、例えば、表示制御部１４は、記憶部１６から第１合成画像データを取得するとともに、この第１合成画像データを必要に応じて、伸長（画像データが圧縮データである場合）し、及び／又は、ＲＧＢデータに変換（画像データがＲＧＢデータでない場合）する。このようにして、表示制御部１４は、第１合成画像の第１合成画像データであるＲＧＢデータを取得する。表示制御部１４は、取得したＲＧＢデータを表示部４０（ディスプレイ４０１）に供給し、表示部４０の表示画面に供給したＲＧＢデータが表現する第１合成画像を表示させる（ステップＳ４０８）。このようにして、表示制御装置１は、第１合成画像を、撮像部３０が撮像した画像として、リアルタイムで表示部４０に表示していく。なお、撮像部３０が撮像した画像は、正確にはリアルタイムで表示部４０に表示されず、処理時間によって多少の時間差が生じている。

例えば、表示制御部１４は、図６に示すようなメイン被写体像４０５ａ乃至４０５ｃが連続的に変化している第１合成画像を表示部４０の画面に表示する。ユーザは、容易に過去画像の記録範囲を捉えることができ、シャッタータイミングの判断もしやすくなる。このとき、過去のメイン被写体像４０５ａ及び４０５ｂが薄く表示されている（点線での表現参照）ので、現在と過去のメイン被写体像が分かりやすくなっている。第１合成画像は、メイン被写体像の軌跡が一つの画像に示されているので、ユーザに新たな印象を与える画像となる。

画像データ保存部１５（ＣＰＵ１０１及びメディアコントローラ１１３）は、記録保存指示の有無を判定する（ステップＳ４０６）。具体的に、例えば、ユーザは、過去画像の記録保存を判断したときに、任意のタイミングで、これを指示する操作部２０（シャッターキー）を操作（例えば押下）する。操作部２０は、過去画像記録終了の操作入力信号を画像データ保存部１５に対して供給する。ステップＳ４０６の処理の段階において、画像データ保存部１５は、記録保存指示が供給されていれば、記録保存指示があったと判定する（ステップ４０６；Ｙｅｓ）。一方、操作部２０の操作がない場合は、記録保存指示が供給されないので、画像データ保存部１５は、記録保存指示が無いと判定する（ステップ４０６；Ｎｏ）。画像データ保存部１５が、記録保存指示が無いと判定した場合、画像データ記録部１２はステップＳ４０１の処理を行う。

その後、画像データ保存部１５は、記録保存指示があったと判定すると（ステップＳ４０６；Ｙｅｓ）、記憶部１６に記録された現在画像データ及び過去画像データの全てを記録保存する（ステップＳ４０７）。画像データ保存部１５は、例えば、記憶部１６に記録された現在画像データ及び過去画像データの全てを記憶部１６から読み出し、これらの画像データを記録メディア５０に記録保存する（このとき、画像データは必要に応じて圧縮処理される）。これにより、所謂パスト連写機能によって、所定期間に撮影された画像を遡及的に記録できる。

なお、画像データ保存部１５は、ステップＳ４０７の処理において、表示部４０が表示している（ステップＳ４０５）、第１合成画像を表す第１合成画像データを（必要に応じて圧縮処理し）、記録メディア５０に記録保存しても良い。これにより、画像データ保存部１５は、表示部４０に表示された新たな印象を与える第１合成画像を表す第１合成画像データを記録保存することができる。

以上により、過去画像の保存処理が終了する。そして、画像データ保存部１５は、表示部４０に過去画像の記録処理が終了した旨の画面を表示することにより、ユーザは、過去画像の保存処理の終了を認識する。

この後、ユーザの操作部２０の操作に応じて、画像データ保存部１５は、記録メディア５０に記録保存された現在画像データ及び過去画像データそれぞれが表現する画像を表示部４０に一覧表示させ、記録保存したい画像データを選択させる。ユーザの操作部２０の操作に応じて、現在画像データ及び過去画像データの中から、ユーザが記録保存しておきたい画像の画像データが選択されると、画像データ保存部１５は、選択されなかった画像データを記録メディア５０から削除する。これによって、所望の画像データを記録メディア５０に記録保存することができる。

なお、上記では、第１合成画像データの生成に使用される過去画像データの数は二つであるが、この数は任意でよい。

また、第１合成画像データの生成に使用される過去画像データは記憶部１６に記録されたデータ全てであってもよい。これによって、第１合成画像におけるメイン被写体像の軌跡が細かく表現される。一方、上記のように、第１合成画像データの生成に使用される過去画像データは記憶部１６に記録されたデータの一部である場合、第１合成画像におけるメイン被写体像の軌跡が見やすく表現される。

当然、記憶部１６が記録する過去画像の数は、適宜変更できる。また、画像データ保存部１５がステップＳ４０７で記録保存する過去画像データは、記憶部１６に記録された過去画像データの中の一部であってもよい。

なお、本実施形態では、第１合成画像データの生成及び第１合成画像の表示が、過去画像記録モードにおいて行われているが、第１合成画像データの生成及び第１合成画像の表示は、ライブビュー画像が表示部に表示されるモード（つまり、前記の静止画撮影モード又は動画撮影モード等）において行われてもよい。

以上、本実施形態に係る表示制御装置１は、現在画像データによって表現される現在画像に過去画像データによって表現される過去画像の少なくとも一部を重ね合わせるように合成した第１合成画像を撮像部３０が撮像した画像として表示部４０に表示する。これによって、表示部４０に表示した画像で構成される所定数の過去画像を、現在画像と重ね合わせて表示部４０に表示することができるので、ユーザは、撮影を行いながら、現在画像と過去画像の確認を同時に行うことができる。そして、ユーザは、撮影に際して、交互に視線を変える必要がなく、過去画像を容易に認識できる。

（実施形態２）
実施形態１に係る表示制御装置１では、ユーザの撮影状況がいずれであっても第１合成画像データを生成していたが、実施形態２に係る表示制御装置２は、ユーザの撮影状況に応じて、種類の異なる合成画像データを生成する。

表示制御装置２は、図７のように、表示制御装置１の構成に加えて、重なり度検出部２７を備える。なお、他の構成は表示制御装置１と同様である。図７において、図１に示した表示制御装置１の各構成と同一又は対応する構成には同一の符号を付し、重複する説明は省略する。

ユーザが表示制御装置１を動かしながらメイン被写体を追いかけて撮影を行った場合、又は、メイン被写体が移動しない場合等、メイン被写体が画像内の中央領域にとどまっている場合がある（図９（ａ）乃至（ｃ）参照）。しかし、このような場合に、現在画像に過去画像を重ね合わせて表示部４０に表示させる（つまり、第１合成画像を表示部４０に表示させる）と、メイン被写体像の重なりが大きくなってしまい、現在画像のメイン被写体像と、過去画像のメイン被写体像との変化について区別をすることが難しくなる場合がある（特に、図１０において点線で表現された過去のメイン被写体像４１５ａ及び４１５ｂ参照）。そこで、ユーザがメイン被写体像を追いかけて撮影した場合等に対応するため、本実施形態２に係る表示制御装置２は、重なり度検出部２７を備える。また、メイン被写体は、一回の撮影中、画像内にとどまったり、移動したりすることもある。例えば、最初は、ユーザが表示制御装置１を動かしながら移動するメイン被写体を画像中央に位置するように捉えて撮影したが、途中から、メイン被写体は移動しているが表示制御装置１が固定された場合、一回の撮影中に、画像内にとどまったり、移動したりする。

表示制御装置２のハードウェア構成は、図２と同様であるので説明を省略する。重なり度検出部２７は、ＣＰＵ１０１等によって構成される。

次に、本実施形態２に係る表示制御装置２（特に、制御部１０）が行う、表示制御処理２を説明する。なお、表示制御処理２において、表示制御処理１と同様の処理ステップについては、説明を省略する。図８において、表示制御処理１と同様の処理ステップは、図４のステップと同じ符号を付してある。

重なり度検出部２７は、画像データ取得部１１が現在画像データ及び過去画像データを取得すると、取得した画像データを用いて、画像の中央領域の重なり度が大きいか判定する（ステップＳ８０１）。なお、中央領域は、上述のように、例えば、画像の横方向（長辺方向）の中央から左右に向かって、それぞれ、画像の横辺の１５パーセントの長さの横辺を有する領域をいう。

具体的には、例えば、重なり度検出部２７は、画像データ取得部１１が取得した、現在画像データ及び所定数（ここでは２つ）の過去画像データに基づいて、又は、記憶部１６が循環記憶する現在画像データ及び過去画像データを取得し、取得した画像データに基づいて、上記判定を行う。例えば、重なり度検出部２７は、各画像の中央領域を注目領域とし、各画像間の注目領域の輝度値の経時変化（画素毎の輝度の経時変化又は注目領域内の画素の平均の輝度の経時変化）を調べる。この経時変化が重なり度閾値を超えるか否か（つまり、一定条件を満たすか否か）を判定する。経時変化が重なり度閾値を超えない場合（つまり、一定条件を満たさない場合）、重なり度検出部２７は、重なり度が大きいと判定する。このような判定に、差分絶対値和又は差分自乗和等が用いられる。なお、重なり度閾値は、記憶部１６に予め記憶され、重なり度検出部２７はこのデータを取得して用いる。

また、重なり度検出部２７は、画像の中央領域の重なり度が大きいかを、上記のような背景の移動の判断によって行ってもよい。背景の移動が大きければ、中央領域の重なり度は大きい場合がある。画像の中央領域の重なり度が大きい場合、ユーザはメイン被写体を追いかけて撮影している可能性があり、画像を重ね合わせた場合にメイン被写体像が重なってしまう可能が高くなる。重なり度検出部２７がこのような処理をする場合、ユーザは、メイン被写体像が画像の中央領域内に位置するように被写体を追いかけて撮影していることを前提とする。一方で、重なり度検出部２７が、画像の中央領域の重なり度が大きいかを、上記のような各画像間の注目領域の輝度値の経時変化によって行う場合、ユーザがメイン被写体を追いかけて撮影してもメイン被写体を追い切れず、撮影した画像内でメイン被写体像が移動する場合にも対応できる。

重なり度検出部２７は、重なり度が小さいと判定すると（ステップＳ８０１；Ｎｏ）、合成画像データ生成部１３は、実施形態１で説明した処理と同様の処理を行う（ステップＳ４０４等）。

重なり度検出部２７は、重なり度が大きいと判定すると（ステップＳ８０１；Ｙｅｓ）、メイン被写体が画像内の中央領域にとどまっている可能性が高い。このため、合成画像データ生成部１３は、第二合成画像を生成する（ステップＳ８０２）。

具体的には、例えば、この合成画像データ生成部１３は、画像データ取得部１１が取得した過去画像データのうち、最初の（最も古い）過去画像データ（上述の最古画像データの一例である）の画像サイズを縮小させる。続いて、合成画像データ生成部１３は、縮小させた過去画像データにより表現される縮小された過去画像を現在画像データにより表現される現在画像の所定位置に組み込んだ第２合成画像を表す第２合成画像データを生成する（図１０参照）。このようにして生成された第２合成画像データによって表現される第２合成画像は、現在画像に一つの過去画像を組み込んだ画像となる。

なお、第２合成画像は、現在画像に過去画像を複数組み込んだ画像であってもよい。この場合、例えば、合成画像データ生成部１３は、画像データ取得部１１が取得した過去画像データのうち複数の過去画像データ（例えば、最古画像データ及び中間画像データ（最古画像データと現在画像データとの時系列的な間に生成されたデータ。詳しくは上述されている。））の画像サイズを縮小させる。続いて、合成画像データ生成部１３は、縮小させた複数の過去画像データによりそれぞれ表現される縮小された複数の過去画像を、現在画像データにより表現される現在画像の所定位置に組み込んだ第２合成画像を表す第２合成画像データを生成する。このような第２合成画像データにより表現される第２合成画像は、メイン被写体像４１５ｃが写った現在画像に、縮小した複数の過去画像４１７を組み合わせた画像になる。

なお、上記の重なり度が大きいかの判定は、判定時に取得する表示制御装置２が備えるセンサから受け取るセンサ情報を用いることにより行っても良い。つまり、重なり度検出部２７（ＣＰＵ１０１及び前記のセンサ）は、この判定時に、前記のセンサ（例えば加速度センサ）から速度が一定時間あたりでどれだけ変化したかを表す速度値を取得し、この速度値が予め設定された速度閾値以上（または上）であるか否かを判定する（速度閾値以上であれば重なり度が大きい）。そして、この判定に基づいて、上記と同様の処理を行う。これによって、容易に重なり度が大きいかを判定できる。

表示制御部１４は、合成画像データ生成部１３が第二画像合成データを生成すると、上記の第１合成画像を表示部４０に表示すると同様の方法で、第２合成画像を表示部４０に表示する。このように表示された第２合成画像は、図１０のように、現在画像と過去画像が別々に表示されるので、メイン被写体像の重なりによる見えにくさを防いでいる。

以上のように、本実施形態の表示制御装置２は、現在画像データによって表現される現在画像内のメイン被写体像と画像データ取得手段が取得した過去画像データによって表現される過去画像内のメイン被写体像との重なり度（つまり、中央領域の重なり度）を検出する重なり度検出部２７を備える。

本実施形態の表示制御装置２の合成画像データ生成部１３は、重なり度検出部２７が検出した重なり度が所定基準を満たさない場合（つまり、重なり度が小さい場合）に第１合成画像データを生成し、重なり度検出部２７が検出した重なり度が所定基準を満たす場合（つまり、重なり度が大きい場合）に、画像データ取得部１１が過去画像データによって表現される過去画像を縮小し、縮小した過去画像を画像データ取得部１１が取得した現在画像データによって表現される現在画像に合成する（例えば、組み込む）ことによって、現在画像内に過去画像が表示された第２合成画像を表す第２合成画像データを生成する。

さらに、本実施形態２の表示制御装置２の表示制御部１４は、合成画像データ生成部１３が生成した第１合成画像データ又は第２合成画像データによって表現される第１合成画像又は第２合成画像を撮像部３０が撮像した画像として表示部４０に表示する。このようにして、表示制御装置２は、第１合成画像又は第２合成画像を、撮像部３０が撮像した画像として、リアルタイム（当然、処理時間によって多少の時間差は生じる。）で表示部４０に表示していく。

以上、本実施形態の表示制御装置２は、メイン被写体が画像内の中央領域にとどまっているかの判定を行い、この判定結果に基づいて、表示部４０の表示形態を変えることができる。例えば、ユーザがメイン被写体を追いかけて撮影している場合、撮影された一連の画像において、メイン被写体像が中央領域に集中する（つまり、とどまる）場合があり、この場合に第１合成画像データを生成すると、第１合成画像においてメイン被写体像が重なり見にくくなる。しかし、このときには、第２合成画像データを生成するので、メイン被写体像を確認しやすくなる。一方で、ユーザがメイン被写体像を追いかけて撮影していない場合、撮影された一連の画像において、メイン被写体像が中央領域に集中する可能性が少なく、この場合に第１合成画像データを生成すると、第１合成画像においてメイン被写体像の軌跡を確認しやすくなる。また、本実施形態の表示制御装置２は、撮影中に、メイン被写体像が、画像内をとどまったり、移動したりする場合にも対応できる。ユーザは、最初、表示制御装置１を動かしながらメイン被写体を画像中央に捉えて撮影したが、途中からメイン被写体は移動しているが表示制御装置１が固定された場合等であっても、本実施形態の表示制御装置２は、最初第１合成画像を表示し、表示制御装置１の固定後に第２合成画像を表示することによって、表示部４０の表示形態を変えることができる。このため、本実施形態の表示制御装置２は、リアルタイムで好ましい表示形態が表示される。

（その他）
なお、本実施形態１及び２では、表示制御装置がデジタルカメラ等の撮影装置を例に説明したが、表示制御装置は、カメラ機能を搭載する携帯電話等の携帯端末に適用することもできる。また、本発明の表示制御装置は、それぞれの各構成を適宜分けて用いることもできる。例えば、表示制御装置をデジタルカメラ等とは独立させ、デジタルカメラ等から逐次送られてくる画像をもとに、所定時間分の動画（過去画像）を記録保存する装置として用いることもできる。その他、本発明の表示制御装置は、インターネット等の情報網やデジタルテレビ放送等の放送網等のネットワークを介して、動画を記録するシステムとして用いることもできる。例えば、本発明の表示制御装置は、サーバ側から逐次送られてくる画像をもとに、所定時間分の動画（過去画像）を記録保存する、コンピュータ等の受信端末として用いることもできる。また、本発明の表示制御装置は、記録した所定時間分の動画（過去画像）をコンピュータ等の受信端末に配信する、サーバ等の送信端末として用いることもできる。

１，２・・・表示制御装置、１０・・・制御部、１１・・・画像データ取得部、１２・・・画像データ記録部、１３・・・合成画像データ生成部、１４・・・表示制御部、１５・・・画像データ保存部、１６・・・記憶部、２０・・・操作部、２７・・・重なり度検出部、３０・・・撮像部、４０・・・表示部、５０・・・記録メディア、１０１・・・ＣＰＵ、１０３・・・ＲＯＭ、１０５・・・表示制御プログラム、１０６・・・ＲＡＭ、１０６ａａ〜１０６ａｈ・・・記憶領域、１０６ｂａ〜１０６ｂｃ・・・画像データ、１０７・・・ＴＧ、１０９・・・ドライバ、１１１・・・ＡＦＥ、１１３・・・メディアコントローラ、１１５・・・ＤＳＰ、２０１・・・操作キー群、３０１・・・撮像素子、３０３・・・レンズ群、３０５・・・撮像駆動部、４０１・・・ディスプレイ、４０５ａ〜４０５ｃ，４１５ａ〜４１５ｃ・・・メイン被写体像、４１７・・・過去画像

Claims

撮像部が撮像した画像をリアルタイムで表示部に表示していく表示制御装置であって、
前記撮像部が撮像した最新の画像である現在画像を表す現在画像データと、前記現在画像を撮像した画角とほぼ同じ画角で当該現在画像よりも過去に前記撮像部が撮像した画像である過去画像を表す過去画像データと、を取得する画像データ取得手段と、
前記画像データ取得手段によって取得された前記現在画像データと前記過去画像データとを比較し、前記過去画像データと前記現在画像データとの間の移動距離が所定距離以上移動した画像領域を検出する検出手段と、
前記画像データ取得手段によって取得された前記現在画像データによって表現される前記現在画像内の中央領域と前記画像データ取得手段によって取得された前記過去画像データによって表現される前記過去画像内の中央領域との重なり度を検出する重なり度検出手段と、
前記重なり度検出手段によって検出された前記重なり度が所定基準を満たさない場合に検出すべき画像領域が前記過去画像と前記現在画像との間の移動距離が所定距離以上移動したと判断して前記画像データ取得手段によって取得された前記現在画像データによって表現される前記現在画像に、前記画像データ取得手段によって取得された前記過去画像データに含まれる前記検出手段によって検出された画像領域を重ね合わせるように合成した第１合成画像データを生成し、前記重なり度検出手段によって検出された前記重なり度が所定基準を満たす場合に検出すべき画像領域が前記過去画像と前記現在画像との間の移動距離が所定距離以上移動していないと判断して前記画像データ取得手段によって取得された前記過去画像データによって表現される前記過去画像を縮小し、縮小した過去画像を前記画像データ取得手段によって取得された前記現在画像データによって表現される前記現在画像に合成することによって、前記現在画像内に前記過去画像が表示された第２合成画像を表す第２合成画像データを生成する合成画像データ生成手段と、
前記合成画像データ生成手段によって生成された前記第１合成画像データ又は前記第２合成画像データによって表現される前記第１合成画像又は前記第２合成画像を前記撮像部が撮像した前記画像として前記表示部に表示する表示制御手段と、
を備えることを特徴とする表示制御装置。
前記撮像部が撮像した画像を表す画像データを順次記憶部に記録する画像データ記録手段をさらに備え、
前記画像データ取得手段は、前記記憶部に記録された前記画像データを前記過去画像データとして前記記憶部から取得する、
ことを特徴とする請求項１に記載の表示制御装置。
前記画像データ取得手段は、複数の前記過去画像データを取得し、
前記合成画像データ生成手段は、前記現在画像データによって表現される前記現在画像に、前記過去画像データに含まれる前記検出手段によって検出された画像領域のそれぞれを重ね合わせるように合成した前記第１合成画像を表す前記第１合成画像データを生成する、
ことを特徴とする請求項１又は２に記載の表示制御装置。
前記合成画像データ生成手段は、前記過去画像データに含まれる前記検出手段によって検出された画像領域が前記現在画像データによって表現される前記現在画像よりも薄くなるように、両者を重ね合わせるように合成したことを特徴とする請求項１乃至３のいずれか１項に記載の表示制御装置。
前記合成画像データを記憶部に記録する画像データ保存手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の表示制御装置。
撮像部が撮像した画像をリアルタイムで表示部に表示していくコンピュータを、
前記撮像部が撮像した最新の画像である現在画像を表す現在画像データと、前記現在画像を撮像した画角とほぼ同じ画角で当該現在画像よりも過去に前記撮像部が撮像した画像である過去画像を表す過去画像データと、を取得する画像データ取得手段、
前記画像データ取得手段によって取得された前記現在画像データと前記過去画像データとを比較し、前記過去画像データと前記現在画像データとの間の移動距離が所定距離以上移動した画像領域を検出する検出手段、
前記画像データ取得手段によって取得された前記現在画像データによって表現される前記現在画像内の中央領域と前記画像データ取得手段によって取得された前記過去画像データによって表現される前記過去画像内の中央領域との重なり度を検出する重なり度検出手段、
前記重なり度検出手段によって検出された前記重なり度が所定基準を満たさない場合に検出すべき画像領域が前記過去画像と前記現在画像との間の移動距離が所定距離以上移動したと判断して前記画像データ取得手段によって取得された前記現在画像データによって表現される前記現在画像に、前記画像データ取得手段によって取得された前記過去画像データに含まれる前記検出手段によって検出された画像領域を重ね合わせるように合成した第１合成画像データを生成し、前記重なり度検出手段によって検出された前記重なり度が所定基準を満たす場合に検出すべき画像領域が前記過去画像と前記現在画像との間の移動距離が所定距離以上移動していないと判断して前記画像データ取得手段によって取得された前記過去画像データによって表現される前記過去画像を縮小し、縮小した過去画像を前記画像データ取得手段によって取得された前記現在画像データによって表現される前記現在画像に合成することによって、前記現在画像内に前記過去画像が表示された第２合成画像を表す第２合成画像データを生成する合成画像データ生成手段、
前記合成画像データ生成手段によって生成された前記第１合成画像データ又は前記第２合成画像データによって表現される前記第１合成画像又は前記第２合成画像を前記撮像部が撮像した前記画像として前記表示部に表示する表示制御手段、
として機能させることを特徴とする表示制御プログラム。