JP5732717B2 - 電子カメラ - Google Patents

Description

本発明は、電子カメラに関する。

電子カメラにおいて、動画による撮影を可能とするものがある。動画による撮影では、撮影している画像を電子カメラが備える表示部に表示して確認しながら撮影できる。また、静止画による撮影では、撮影された画像を静止画表示で１つの画面内に表示し、撮影された時刻に応じて表示することができる（例えば、特許文献１参照）。

特開２００８−７９３２３号公報

しかしながら、特許文献１によると、コマ数で指定される画像を、１つの画面内に複数組み合わせた分割画面（マルチ画像画面）を形成して合成表示する。或いは、指定される画像を、コマ送りで順次表示する。表示される画像は、２つのコマ数で指定される２点間に記録されている画像から選択され、その間を補完する画像が選択され表示される。
特許文献１による表示方法では、特定の時間を隔てて撮影された画像を、その時間間隔を保持した状態で時系列にしたがって比較することができないという問題がある。

本発明は、上記問題を解決すべくなされたもので、その目的は、特定の時間を隔てて撮影された画像を、その時間間隔を保持した状態で時系列にしたがって同一の画面内にそれぞれ動画で表示する電子カメラを提供することにある。

上記問題を解決するために、本発明は、撮像素子で撮像され時系列にしたがって記憶領域に記録された動画情報から、該動画情報における複数の時点からの画像を該時系列にしたがって読み出して、同一の画面内にそれぞれ動画で表示することを特徴とする電子カメラである。

また、本発明は、請求項１に記載の電子カメラにおいて、前記複数の画像を複数に分割された表示画面に動画で表示する分割合成部と、を備えることを特徴とする。

また、本発明は、請求項１又は請求項２に記載の電子カメラにおいて、前記複数の画像を重ねて表示する合成部と、を備えることを特徴とする。

また、本発明は、請求項１から請求項３のいずれかに記載の電子カメラにおいて、少なくとも１つの前記画像を定められる透過度にしたがって重ねられた他の画像を透過させる透過画像に変換する変換部と、を備えることを特徴とする。

また、本発明は、請求項４に記載の電子カメラにおいて、前記変換部は、前記記録された時系列に応じて設定される該透過度にしたがって変換することを特徴とする。

また、本発明は、請求項４又は請求項５に記載の電子カメラにおいて、前記変換部は、過去に記録された画像ほど高く設定される該透過度にしたがって変換することを特徴とする。

また、本発明は、請求項４から請求項６のいずれかに記載の電子カメラにおいて、前記合成部は、前記透過画像と、該透過画像に変換された画像と異なる画像を同一の画面に重ねて表示することを特徴とする。

また、本発明は、請求項１から請求項７のいずれかに記載の電子カメラにおいて、前記複数の画像のうち少なくとも１つは、前記撮像素子が変換した画像であることを特徴とする。

この本発明によれば、特定の時間を隔てて撮影された画像を、その時間間隔を保持した状態で、それぞれ時系列にしたがって再生して同一の画面に表示することができる。

本発明の一実施形態による電子カメラの構成例を示す外観図である。 同実施形態による電子カメラの構成を示すブロック図である。 同実施形態による電子カメラにおける表示画像処理の構成を示すブロック図である。 同実施形態による表示画面生成部が生成した画面を示す図である。 同実施形態による画像の重ね合わせ合成処理による合成表示の例を示す。 同実施形態による画像合成処理の手順を示すフローチャートである。 同実施形態による電子カメラにおける表示画像処理の構成を示すブロック図である。

（第１実施形態）
以下、本発明の一実施形態による電子カメラについて図面を参照して説明する。
図１は、本実施形態の電子カメラを示す外観図である。
この図に示される電子カメラ１において、１００は電子カメラ１の本体を示す。電子カメラ１における本体１００には、レンズ鏡筒２００、表示部１５、並びに、設定スイッチ４及びレリーズスイッチ５を含んだ入力部３が設けられる。本体１００の前面には、光学系２１０（図２参照）を内部に収納したレンズ鏡筒２００が設けらる。レンズ鏡筒２００は、本体１００内に収納可能に設けられ、本体１００から繰り出して突出させた状態で撮影が行われる。電子カメラ１は、撮像時には、光学系２１０の光軸を被写体に向け集光された光が、本体１００内に設けられた撮像素子８（図２参照）の受光面上に結像して撮影される画像を形成する。電子カメラ１は、撮影時以外では、レンズ鏡筒２００を本体１００に沈胴させることにより、光学系２１０を保護することができる。なお、電子カメラ１は、突出させたレンズ鏡筒２００を設けず光学系２１０を本体１００内部に設ける構成としても良い。

本体１００の背面には、表示部１５と設定スイッチ４が設けられる。表示部１５は、ＬＣＤ（Liquid Crystal Display、液晶ディスプレイ）などからなる。表示部１５には、撮像素子８によって撮像された画像データに基づいた画像が表示される。表示部１５には、撮影される画像が表示されるほかに、各種設定や撮影条件などの情報が表示される。ユーザーの操作により、設定スイッチ４は、表示部１５の表示切り換え、及び各種設定項目の設定変更の入力を検出する。本体１００の上面には、レリーズスイッチ５が設けられ、そのレリーズスイッチ５が、押下されたことを検出すると電子カメラ１において撮影処理が行われる。

図２は、本実施形態による電子カメラの構成を示すブロック図である。
この図に示される電子カメラ１は、本体１００及び本体１００に沈胴するレンズ鏡筒２００を備える。
電子カメラ１においてレンズ鏡筒２００は、光学系２１０、光学系駆動部２２０、光学系制御部２３０を備える。
レンズ鏡筒２００における光学系２１０は、撮像素子８への光の出力を調整する光学素子と、その光学素子などを保護する機構を備えている。光学系駆動部２２０は、制御部２０からの制御信号に応じて光学系２１０をモーターなどのアクチュエータによって駆動して、撮像素子８への光の出力を調整する。光学系制御部２３０は、光学系２１０に設けられた各種センサー、エンコーダの情報を収集し、制御部２０に通知する。

電子カメラ１において本体１００は、入力部３、撮像処理部１０、不揮発メモリー１１、バッファメモリー１２、操作検出回路１３、モニター制御回路１４、モニター１５、メモリー制御回路１６、メモリー１７及び制御部２０を備える。
本体１００における入力部３は、電子カメラ１への操作を検出し、操作情報を検出信号として出力する。入力部３は、例えば電源スイッチ３ａ、レリーズスイッチ５、設定スイッチ４などを備える。
撮像処理部１０は、撮像素子制御回路７、撮像素子８及び映像回路９を備える。撮像素子８は、ＣＣＤ（Charge Coupled Device）或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーなどの受光素子であり、光学系２１０から出力され結像された像を電気信号に変換してアナログの画像信号を出力する。撮像素子８には、映像回路９と、撮像素子制御回路７とが接続されている。映像回路９は、撮像素子８が出力する画像信号を増幅し、デジタル信号に変換する。撮像素子制御回路７は、撮像素子８を駆動させ、撮像素子８により結像された像の画像信号への変換や、変換された画像信号の出力などの動作を制御する。

不揮発メモリー１１には、制御部２０を動作させるプログラムや、撮像され生成された画像データ、ユーザーから入力された各種設定や撮像条件などの情報が記憶される。
バッファメモリー１２は、制御部２０の制御処理に用いられる一時的な情報の記憶領域であり、例えば、撮像素子８から出力される画像信号に応じて生成された画像データなどが制御部２０によって一時的に記憶される。

操作検出回路１３は、入力部３から入力された、ユーザーの操作に基づいた検出信号を変換して、その操作情報を制御信号として制御部２０に供給する。
モニター制御回路１４は、例えば、モニター１５の点灯、消灯や明るさ調整などの表示制御や、制御部２０から出力される画像データをモニター１５に表示させる処理を行う。
モニター１５は、表示素子として、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）を含んで構成され、供給される画像信号に応じた画像を表示する。

メモリー制御回路１６は、制御部２０とメモリー１７間の情報の入出力を制御し、例えば、制御部２０によって生成された画像データなどの情報をメモリー１７に記憶させる処理や、メモリー１７に記憶されている画像データなどの情報を読み出して制御部２０に出力する処理などを行う。メモリー１７は、例えば、メモリーカードなど本体１００から抜き差し可能な記憶媒体であり、制御部２０によって生成される画像データが記憶される。

制御部２０は、不揮発メモリー１１に記憶されたプログラムに基づいて電子カメラ１の各部の動作を制御するＣＰＵ（Central Processing Unit）などからなる。例えば、制御部２０は、操作検出回路１３に入力されるユーザーからの操作情報に応じて、本体１００への電源の投入、光学系駆動部２２０を介した光学系２１０の駆動制御、撮像素子制御回路７を介した撮像素子８の駆動制御、モニター制御回路１４を介したモニター１５の表示制御、撮像素子８で検出した被写体の撮影処理の制御を行う。

制御部２０は、画像処理部２１、表示制御部２２、撮影制御部２３、操作検出処理部２４、表示画面生成部３０及び録画処理部４０を備える。
制御部２０における画像処理部２１は、撮像素子８の撮像領域内に捉えられ映像回路９に出力された画像信号を読み出し、読み出した画像信号に基づいて画像データを生成する画像処理を行う。画像処理部２１は、画像処理により生成した画像データをバッファメモリー１２に記憶させる。
表示制御部２２は、画像処理部２１によって生成されバッファメモリー１２に記憶された画像データを一定時間間隔ごとに読み出し、読み出した画像データをリアルタイムにモニター１５に表示させ、動画像として表示するようにメモリー１７に連続的に記録させる処理を制御する。

撮影制御部２３は、ユーザーの操作入力に基づいた撮影処理の撮影処理開始指令又は撮影処理終了指令などの制御信号が操作検出回路１３から入力されることに応じて、各部に対して必要な制御信号を出力する。撮影制御部２３は、撮像処理開始命令が入力されると光学系２１０を駆動させ、画像データを生成する撮像処理を行う。撮影制御部２３は、予めユーザーから入力された撮影条件に応じて、光学系制御部２３０を介して光学系２１０のフォーカシング、露出制御、ズーミングなどの制御を行う。

操作検出処理部２４は、操作検出回路１３が検出したユーザーの操作情報を判定し、判定した情報をメモリーに記録するとともに、必要とされる各種処理の制御指示を出力する。

表示画面生成部３０は、表示制御部２２からの制御指示に基づいて、バッファメモリー１２から読み出された画像データをモニター１５に表示させるための画像データとする合成処理を行う。
録画処理部４０は、表示画面生成部３０で生成された画像データをバッファメモリー１２に記録する。
表示画面生成部３０及び録画処理部４０における各部の詳細構成及び処理について以下に示す。
図３は、本実施形態による電子カメラにおける表示画像処理を行う構成を示すブロック図である。図１及び図２と同じ構成には、同じ符号を附す。
この図に示される電子カメラ１の本体１００において制御部２０は、画像処理部２１、表示制御部２２、撮影制御部２３、操作検出処理部２４、表示画面生成部３０及び録画処理部４０を備える。

制御部２０における表示画面生成部３０は、画像読出処理部３１、画像分配部３２、透過画像生成部３３、画像合成部３４、画像選択部３５、３７、分割合成部３６及びスケール変換部３８を備える。
画像読出処理部３１は、画像処理部２１によって生成されバッファメモリー１２に記憶された画像データを、予め設定される読出し箇所のコマから順に一定時間間隔ごとに読み出す。画像読出処理部３１は、複数個設けられ、例えば分割合成画面に表示する画像の数だけ設けられる。そして、画像読出処理部３１は、独立して設定されるバッファメモリー１２からの読出し箇所に応じて、それぞれが並列に読み出し処理を行う。

画像分配部３２は、画像読出処理部３１によって読み出された画像データを後段の処理に供給する信号として分配する。画像分配部３２は、分配した画像データを透過画像生成部３３、画像合成部３４及び画像選択部３５に供給する。
透過画像生成部３３は、供給される画像データに基づいて、供給される画像データと異なる画像に基づいた背景画像と重ねた場合に、背景画像を透過的に表示するための透過性を確保する透過画像生成処理を行う。その透過画像生成処理は、設定される透過率に基づいて処理される。透過画像生成部３３は、供給される複数の画像データに対してそれぞれ異なる透過率を設定することができる。
画像合成部３４は、画像分配部３２及び透過画像生成部３３から供給される画像データの重ね合わせ処理を行う。画像合成部３４は、供給される画像データのいずれか１つの画像データを背景画像に選定する。画像合成部３４は、選定された背景画像に、背景画像と異なる他の画像の画像データに対して透過画像生成処理を行った画像データを、重ね合わせて合成画像を生成する。例えば、画像合成部３４が行う重ね合わせ処理は、各画素において、背景画像の輝度情報に、透過画像生成処理を行った画像データの輝度情報に基づいた補正を行う処理である。その補正の補正率が、透過画像生成処理の透過率に対応する。輝度情報に限らず、色差情報も透過画像生成処理をして重ね合わせることも可能である。

画像選択部３５は、予め設定される制御情報に基づいて、供給される画像データから選択されたデータを出力する。画像選択部３５には、画像分配部３２及び画像合成部３４からの画像データが供給される。分配部３２からの画像データは、バッファメモリー１２に記憶された画像データである。又、画像合成部３４からの画像データは、画面合成部３４によって重ね合わせ処理された画像データである。画像選択部３５は、画像分配部３２及び画像合成部３４から供給される画像データを選択して分割合成部３６と録画処理部４０に供給する。

分割合成部３６は、供給される複数の画像データによって示される画像を縦横に並べて表示する分割表示画面の画像データを生成する。分割合成部３６は、供給される複数の画像データに対し、その縮小画像を表示する位置を設定により定める。分割合成部３６によって生成可能な出力画面は、４画面への分割や９画面への分割などがある。分割合成部３６は、画像データを画像選択部３７に供給する。
画像選択部３７は、予め設定される制御情報に基づいて、供給される画像データから選択した画像データを出力する。画像選択部３７は、画像選択部３５及び分割合成部３６から画像データが供給される。画像選択部３５からの画像データは、バッファメモリー１２に記憶された画像データ、又は、重ね合わせ処理された画像データである。又、分割合成部３６からの画像データは、分割合成処理された画像データである。
画像選択部３７は、画像選択部３５及び分割合成部３６から供給される画像データを選択してスケール変換部３８と録画処理部４０に供給する。
スケール変換部３８は、供給される画像データの画素数を表示部１５の画素数に適応させるために、１画面を構成する画素数を変換するスケール変換処理を行い、変換処理した画像データをモニター制御回路１４に供給する。

制御部２０における録画処理部４０は、画像選択部３５及び画像選択部３７によって選択された画像データから、さらに選択して時系列に応じて順次バッファメモリー１２に記録する。
録画処理部４０は、画像選択部４１と記録処理部４２を備える。
録画処理部４０における画像選択部４１は、設定される制御情報に基づいて、供給される画像データから選択して記録処理部４２に供給する。画像選択部４１は、画像選択部３５及び画像選択部３７から画像データが供給される。画像選択部４１によって選択可能な画像データは、画像選択部３５からの画像データであって、バッファメモリー１２に記憶された画像データ、又は、画面合成部３４によって重ね合わせ処理された画像データ、若しくは、画像選択部３７からの画像データであって、バッファメモリー１２に記憶された画像データ、又は、重ね合わせ処理された画像データ、或いは、分割合成部３６によって分割合成処理された画像データである。
記録処理部４２は、画像選択部４１から供給された画像を時系列に応じて順次バッファメモリー１２に記録する。

電子カメラにおける動作の説明に先立って、表示画面生成部によって生成される表示画面の例を示す。
図４は、表示画面生成部が生成した画面を示す図である。この図に示される画面は、設定された設定に応じて定められる一例であり、他の表示状態の選択も可能とする。
図（ａ）は、表示部１５の１画面に９種類の画像データを縦横に並べて一度に表示する場合の表示例である。この図に示した９種類の画像データは、「現在」、「５秒前」、「７秒前」、「１０秒前」、「１２秒前」、「２０秒前」、「６０秒前」、「１２０秒前」、「２４０秒前」にそれぞれ撮影された画像の画像データとする。
分割された画面に配置される画像は、上段左から右方向に、「現在」、「５秒前」、「７秒前」の画像とし、中段左から右方向に、「１０秒前」、「１２秒前」、「２０秒前」の画像とし、下段左から右方向に、「６０秒前」、「１２０秒前」、「２４０秒前」の画像とする。
上記の例では、表示される各画像は、現在時刻が基準となって、過去に撮影された画像の画像データを上記で定めた時間さかのぼって参照する。基準とした現在時刻と参照した過去の時刻との時間間隔を固定にすれば、撮影を継続して時間が経過しても、現在時刻と、現在時刻からさかのぼった過去の時刻までの時間は不変である。それぞれ設定した過去の時刻までの時間を定めて、１画面に同時に表示することにより、図（ａ）に示した画面を設定できる。
なお、この図では、９画面への分割の例を示したが、選択的に４画面に分割することもできる。

図（ｂ）は、図（ａ）に示した９分割画面と同様の画面配置を示した画面であり、「現在」を表示した上段左上の画面表示が異なり、他の８箇所の画面配置の画像は上記の例と同じである。「現在」画像として撮影された画像の表示位置に、「１２０秒前」に撮影された画像を重ねて表示した例が示される。「現在」画像として撮影された画像を背景にして、「１２０秒前」に撮影された画像に透過画像生成処理をして、背景の「現在」画像として撮影された画像に重ねて表示した例が示される。

図（ｃ）は、図（ｂ）に示した９分割画面の「現在」の画像の位置に表示した「現在」の画像と「１２０秒前」に撮影された画像を重ね合わせ処理をして、画面分割をしないで１画面に表示した例を示す。図（ｂ）とは、画面分割されていない点が異なる。
図（ｄ）は、図（ｃ）に示した「現在」と「１２０秒前」の画像を重ね合わせ処理をして合成した上にさらに「２４０秒前」の画像を重ね合わせ処理をして表示する例を示す。この例に示すように、「１２０秒前」とさらに過去になる「２４０秒前」の画像の透過率を変えて設定することができる。この例では、より過去になる「２４０秒前」の画像の透過率を高めていることから、その像のコントラストは下がり、像が薄くなって表示される。
分割表示、重ね合わせ画像の組み合わせ、透過率の設定は、設定操作により任意に定めることができる。

図を参照し、より具体的な応用例を示す。
図５は、画像の重ね合わせ合成処理による合成表示の例を示す。
この図に示される画像は、スキー競技の撮影を例として説明する。
最初に示す例では、スキーの回転競技など時間差を付けて、順に各選手がスタートする場合を想定する。先の選手Ａが次の選手Ｂより１２０秒前にスタートしていたとする。各選手の滑走スピードの違いから、スタート後に同一地点に到達するまでの時間に差が生じる。このシーンを、電子カメラ１を用いて同じカメラアングルで撮影することにより、選手間のスピードの違い、通過するコースの違いなどを撮影された画像に基づいて判定することが容易になる。

図５（ａ）では、先に滑った選手Ａの画像を示す。図（ｂ）では、その１２０秒後にスタートした選手Ｂの画像を示す。（ａ）と（ｂ）とを比べると（ａ）に示される選手Ａは明らかに遅れているが、これまでの電子カメラでは、比較画像を表示することができない。そこで、図（ｃ）に示すように、（ａ）と（ｂ）の画像を重ね合わせ処理をして表示することにより、２つの画像に記録されたそれぞれの選手の位置の違いを示す画像を生成することができ、電子カメラ１が備える表示部１５に合成して表示することが可能となる。

また、他の応用例としては、２つの画像の時間間隔を短い時間に設定して重ね合わせ処理をして表示することにより、同じ選手がどのコースを通過したかを画面に表示することが可能となる。
このように、本実施形態の電子カメラ１では、過去にさかのぼった複数の時点の画像を容易に比較することが可能となる。

続いて、表示画面生成部３０の動作を整理する。
撮影に先立って、各種設定項目の初期設定を行う。初期設定は、入力部３で検出した操作入力に基づいた制御情報に応じて定められ、制御部２０によって不揮発メモリー１１に記録される。各種設定項目は、電子カメラ１をカメラとして機能させる基本機能の設定のほかに、合成表示する画面を分割表示とするか否か、合成表示するときの分割数とそれぞれの画像とその表示位置の選択、過去に撮影された画像を表示する場合の時間設定、重ね合わせ表示を行う組み合わせ、重ね合わせ表示の場合の透明度の設定などの項目がある。

入力部３のレリーズスイッチ５の操作が検出されると撮影が開始される。撮像素子８が撮像した画像に基づく画像データは、制御部２０における画像処理部２１によって取り込まれ、バッファメモリー１２に時系列に順次書き込まれる。
制御部２０における表示画面生成部３０では、次の処理を行う。複数併設された画像読出処理部３１は、バッファメモリー１２に記憶された画像データをそれぞれ定められたコマの画像から順に読み出す。画像読出処理部３１が読み出した画像データを、画像分配部３２が分配する。分配された一部の画像データを、透過画像処理部３３が、背景画像を透過的に表示させる透過性を確保した画像の画像データに変換する。画像合成部３４が、背景画像に選択した画像と透過性を確保して変換した画像とを重ね合わせる重ね合わせ処理を行う。分割合成部３６は、画像分配部３２によって分配された画像データと画像合成部３４が合成処理した画像データのなかから画像選択部３７によって選択された画像データに基づいて分割合成処理を行う。スケール変換部３８は、バッファメモリー１２に記憶された画像データと画像合成部３４が合成処理した画像データと分割合成部３６が分割合成処理した画像データのなかから画像選択部３７によって選択された画像データに基づいてスケール変換処理を行う。

表示画面生成部３０は、スケール変換処理された画像データをモニター制御回路１４に供給する。モニター制御回路１４は、その画像データに表示画像に対応する文字情報などを付加してモニター１５に表示する。
また、制御部２０における録画処理部４０では、表示画面生成部３０によって生成された画像を選択してバッファメモリー１２に記録する。

図を参照し、画像合成処理の手順を示す。
図６は、画像合成処理の手順を示すフローチャートである。
最初に、各種設定情報の設定を行う。設定スイッチ４によって検出された情報を操作検出処理部２４が、各種設定情報として不揮発メモリー１１に記録する。
ステップＳａ１において、表示する画面構成を指定する表示画面の選択設定を行う。その選択設定の項目は、合成表示する画面を分割表示とするか否かの項目、合成表示するときの分割数とそれぞれの画像とその表示位置を指定する項目などである。
ステップＳａ２において、表示部１５に表示する画像を指定するために、撮影された時刻を指標として記録された画像を選択する選択設定を行う。この選択設定により、表示する画像の時間軸を定める。
ステップＳａ３において、重ね合わせ表示を行う画像の組み合わせの設定を行う。
ステップＳａ４において、重ね合わせる画像の透過表示に関する設定を行う。透過表示に関する設定の項目は、重ね合わせ表示を行う画像の透明度の設定などがある。

続いて、ステップＳａ５において、撮影制御部２３は、レリーズスイッチ５の状態を検出し、画像記録開始入力が行われたか否かを判定する。撮影制御部２３は、画像記録開始入力が検出されるまで、その判定を繰り返す。
ステップＳａ１０において、ステップＳａ５の判定により画像記録開始入力が行われたと判定され撮影が開始される。画像処理部２１は、撮像素子８が撮像した画像に基づく画像データを取り込んで、バッファメモリー１２に時系列にしたがって順次記録する。表示画面生成部３０では、複数併設された画像読出処理部３１が、バッファメモリー１２に記憶された画像データを、それぞれ定められたコマの画像から順に読み出す。画像読出処理部３１が読み出した画像データを、画像分配部３２が分配する。

ステップＳａ１１において、透過画像処理部３３は、ステップＳａ４で設定された情報を参照し、画像分配部３２によって分配された画像データに透過画像生成処理を行うか否かを判定する。透過画像生成処理が不要と判定された画像データには、透過画像生成処理をせずにステップＳａ１３の処理をする。
ステップＳａ１２において、ステップＳａ１１の判定により画像データに透過画像生成処理を行うと判定された場合には、透過画像処理部３３は、透過画像生成処理が必要と判定された画像データに透過画像生成処理をして、背景画像を透過的に表示させる透過性を確保した画像の画像データに変換する。

ステップＳａ１３において、画像合成部３４は、ステップＳａ３で設定された情報を参照し、背景画像に選択された画像と、ステップＳａ１２で透過性を確保して変換した画像とを重ね合わせる重ね合わせ処理を行うか否かを判定する。重ね合わせ処理が不要と判定された場合には、重ね合わせ処理をせずにステップＳａ１５の処理をする。
ステップＳａ１４において、ステップＳａ１３の判定により重ね合わせ処理を行うと判定された場合には、画像合成部３４は、重ね合わせ処理として、背景画像の画像データに、背景画像を透過的に表示させるように透過性を確保して変換した画像の画像データを用いて補正を行う合成処理を行って画像データを生成する。

ステップＳａ１５において、表示制御部２２は、ステップＳａ１で設定された情報を参照し、表示する画面を１画面のまま表示するか複数の画像を並べた分割画面（分割合成表示）で表示するかを判定する。
ステップＳａ１６において、ステップＳａ１５の判定により分割画面（分割合成表示）で表示すると判定されなかった場合、すなわち１画面で表示すると判定された場合には、表示制御部２２は、画像選択部３７における画像選択を制御して、画像選択部３５からの画像データをスケール変換部３８に供給する。スケール変換部３８は、供給された画像データのスケール変換を行い、モニター制御回路１４にスケール変換された画像データを出力して、モニター１５に１画面表示で表示させる。引き続きステップＳａ２０の処理を行う。

ステップＳａ１７において、ステップＳａ１５の判定により分割画面（分割合成表示）で表示すると判定された場合には、表示制御部２２は、分割画面の画面数を９画面とするか或いは４画面とするかを判定する。
ステップＳａ１８において、ステップＳａ１７の判定により分割画面を９画面とすると判定された場合には、表示制御部２２は、分割合成部３６からの画像データがスケール変換部３８に供給するように、画像選択部３７における画像選択を制御するとともに、分割合成部３６で生成する合成画面が９分割画面とするように分割合成部３６を制御する。分割合成部３６は、画像選択部３５から供給される画像データを、９分割画面表示のそれぞれの表示位置に割り付けを行って画像を合成し、合成された画像データをスケール変換部３８に供給する。スケール変換部３８は、供給された画像データのスケール変換を行い、モニター制御回路１４にスケール変換された画像データを出力して、モニター１５に９分割画面で表示させる。引き続きステップＳａ２０の処理を行う。

ステップＳａ１９において、ステップＳａ１７の判定により分割画面を４画面とすると判定された場合には、表示制御部２２は、分割合成部３６からの画像データがスケール変換部３８に供給されるように、画像選択部３７における画像選択を制御するとともに、分割合成部３６で生成する合成画面が４分割画面とするように分割合成部３６を制御する。分割合成部３６は、画像選択部３５から供給される画像データを、４分割画面表示のそれぞれの表示位置に割り付けを行い合成し、合成された画像データをスケール変換部３８に供給する。スケール変換部３８は、供給された画像データのスケール変換を行い、モニター制御回路１４にスケール変換された画像データを出力して、モニター１５に４分割画面で表示させる。

ステップＳａ２０において、録画処理部４０は、合成画像の記録可能条件としてバッファメモリー１２における記録可能領域の空き容量を検出する。
ステップＳａ２１において、検出された空き容量に基づいて、録画処理部４０は、合成画像の記録が可能か否かを判定する。その判定の結果、記録不可能と判定された場合には、継続させてきた画像の記録処理を終了させる。

ステップＳａ２２において、ステップＳａ２１の判定により合成画像の記録が可能と判定された場合には、録画処理部４０は、表示画面生成部３０によって生成された画像を選択してバッファメモリー１２に記録するとともに、撮影を継続する。
ステップＳａ２３において、設定スイッチ４にて重ね合わせ処理の変更指示を検出する。

ステップＳａ２４において、表示制御部２２は、設定スイッチ４にて検出された重ね合わせ処理の変更指示にしたがって重ね合わせ処理の設定変更の必要の要否を判定する。その判定の結果、設定変更が必要ないと判定された場合には、ステップＳａ１０からの処理にしたがって、次の画像を取得する処理を行う。
ステップＳａ２５において、ステップＳａ２４による判定の結果、設定変更が必要と判定された場合には、表示制御部２２は、ステップＳａ２３で検出された変更指示に応じて設定を変更し不揮発メモリー１１への書き込み処理を行う。そして、ステップＳａ１０からの処理にしたがって、次の画像を取得する処理を行う。

（第２実施形態）
図７は、本実施形態による電子カメラにおける表示画像処理の構成を示すブロック図である。
この図に示される本体１００ａは、入力部３、撮像処理部１０、不揮発メモリー１１、バッファメモリー１２ａ、操作検出回路１３、モニター制御回路１４、モニター１５、メモリー制御回路１６、メモリー１７及び制御部２０ａを備える。図３に示した構成と同じ構成には同じ符号を附す。
本体１００ａにおけるバッファメモリー１２ａは、制御部２０ａの制御処理に用いられる一時的な情報の記憶領域であり、例えば、撮像素子８から出力される画像信号や、画像信号に応じて生成された画像データなどが制御部２０ａによって一時的に記憶される。図１に示したバッファメモリー１２と異なり、撮像素子８によって撮像された画像に基づく画像データの書き込みポートと、読み出しポートとを独立に備える構成を有する。また、バッファメモリー１２の記憶領域は、固定的に分割される。分割された記憶領域の読み出しポートも独立して配置され、制御部２０ａは、それぞれ独立して読み出すことができる。

制御部２０ａは、不揮発メモリー１１に記憶されたプログラムに基づいて本体１００の各部の動作を制御するＣＰＵ（Central Processing Unit）などからなる。
制御部２０ａは、画像処理部２１ａ、表示制御部２２、撮影制御部２３、操作検出処理部２４、表示画面生成部３０ａ及び録画処理部４０ａを備える。
制御部２０ａにおける画像処理部２１ａは、撮像素子８の撮像領域内に捉えられ映像回路９に出力された画像信号を読み出し、読み出した画像信号に基づいて画像データを生成する画像処理を行う。画像処理部２１ａは、画像処理により生成した画像データをバッファメモリー１２ａに記憶させる。バッファメモリー１２ａへの書き込みは、バッファメモリー１２ａの分割された記憶領域にそれぞれ同じ画像データを書き込んで記憶させる。

表示画面生成部３０ａは、画像読出処理部３１ａ、３１ｂ、画像分配部３２、透過画像生成部３３、画像合成部３４、画像選択部３５、３７、分割合成部３６及びスケール変換部３８を備える。表示画面生成部３０ａは、図１に示した表示画面生成部３０における画像読出処理部３１が異なる、
画像読出処理部３１ａ、３１ｂは、バッファメモリー１２ａの分割された記憶領域の読み出しポートにそれぞれ独立して接続され、記録されている画像データをそれぞれ独立して読み出す。画像読出処理部３１ａは、画像処理部２１ａによって生成されバッファメモリー１２ａに記憶された画像データを、設定される読出し箇所のコマから順に一定時間間隔ごとに読み出す。画像読出処理部３１ｂは、録画処理部４０ａによってバッファメモリー１２ａに記憶された画像データを、設定される読出し箇所のコマから順に一定時間間隔ごとに読み出す。画像読出処理部３１ａ、３１ｂは、複数個設けて、例えばバッファメモリー１２ａの分割された記憶領域の数だけ設けて、それぞれを並列に動作させる。画像読出処理部３１ａ、３１ｂは、それぞれが独立して設定されるバッファメモリー１２からの読出し箇所に応じて読み出し処理を行う。

録画処理部４０ａは、画像選択部３５及び画像選択部３７によって選択された画像データから選択した画像データを時系列に応じて順次バッファメモリー１２ａに記録する。
録画処理部４０ａは、画像選択部４１と記録処理部４２ａを備える。
記録処理部４２ａは、画像選択部４１から供給された画像を時系列に応じて順次バッファメモリー１２ａに記録する。

本体１００ａとして示した構成とすることにより、バッファメモリー１２ａへの読み出し及び記録のアクセスを分散させることができる。
例えば、合成表示する画像の時間間隔が短く、複数の画像を読み出す場合を仮定する。バッファメモリー１２の構成を分割しない形態では、特定のメモリーアドレスの周辺領域に書き込みと読み出しの処理が集中する。すなわち、高い処理能力が要求され、バッファメモリーａを構成するメモリー素子のアクセス速度や制御部２０におけるＣＰＵの能力などがその要求される処理能力に達しない場合が発生する。この仮定で示される条件下において複数の画像を読み出す場合でも、バッファメモリー１２ａを分割して、処理を分散させることにより、構成するメモリー素子の負荷を低減させることが可能となる。

なお、上記の実施形態では、表示する画像信号の同期についての説明を省略している。それぞれの処理で、画像データをフレーム単位で同期を取ることにより、合成処理、分割合成処理のタイミング調整を容易とすることができる。
なお、実施形態に示した分割合成処理では、選択された画像の縦横比率を維持したままで、設定された位置に割り付けることが容易な９画面分割と４画面分割を例示した。本実施形態では、分割表示される範囲の縦横比率に原画像を割り付けることができればよく、縦或いは横の２分割での表示を採用してもよい。その際、原画像の割り付けは、縦横比率を維持した状態で任意の範囲を切り出すこととしてもよく、或いは、縦横比率を変更するスケール変換を行って変形させてもよい。比較する画像同士が対比できるように選択することができる。
また、撮像装置８で撮像され、時系列に記録された画像データに基づいた処理を例示したが、一部の画像データは更新させずに固定的に表示させることとしても良い。

なお、表示部１５の表面に、ユーザーの接触を検出するタッチパネルセンサーを配置して、入力部３における設定スイッチ４の機能を配置させることも可能である。分割表示画面の状態で、選択した画像をクリップし、重ね合わせる画像の位置までドラッグすることにより、重ね合わせ画像の設定を容易に行うことができる。
なお、表示画像生成部３０では、モニター制御回路１４の入力条件に適応させるスケール変換をスケール変換部３８でまとめて行う形態を例示したが、表示画像生成部３０の各機能部に分散させて配置することも可能である。その場合、スケール変換を行わない画像データと同様の処理をするスケール変換された表示用画像データとに分けて同様の処理を行う機能部を用意する必要がある。

なお、本実施形態の電子カメラ１は、撮像素子８で撮像され時系列にしたがって記憶領域に記録された動画データから、動画データにおける複数の時点からの画像を該時系列にしたがって読み出して、同一の画面内にそれぞれ動画で表示する。
これにより、特定の時間を隔てて撮影された画像を、その時間間隔を保持した状態で、それぞれ時系列にしたがって再生して同一の画面に表示することができる。

また、本実施形態の電子カメラ１において、分割合成部３６は、複数の画像を複数に分割された表示画面に動画で表示する。
これにより、特定の時間を隔てて撮影された画像を、その時間間隔を保持した状態で、それぞれ時系列にしたがって再生して同一の画面に並べて表示することができる。

また、本実施形態の電子カメラ１において、画像合成部３４は、複数の画像を重ねて表示する。
これにより、特定の時間を隔てて撮影された画像を、その時間間隔を保持した状態で、それぞれ時系列にしたがって再生して同一の画面に重ねて表示することができる。

また、本実施形態の電子カメラ１において、画像変換部３３は、少なくとも１つの画像を定められる透過度にしたがって、重ねられた他の画像を透過させる透過画像に変換する。
これにより、特定の時間を隔てて撮影された画像を、その時間間隔を保持した状態で、それぞれ時系列にしたがって再生して同一の画面に、少なくとも１つの画像を透過画像に変換して重ねて表示することができる。

また、本実施形態の電子カメラ１において、画像変換部３３は、記録された時系列に応じて設定される透過度にしたがって変換する。
これにより、特定の時間を隔てて撮影された画像を、その時間間隔を保持した状態で、それぞれ時系列にしたがって再生して同一の画面に、記録された時系列に応じて設定される透過度にしたがって画像を透過画像に変換して重ねて表示することができる。

また、本実施形態の電子カメラ１において、画像変換部３３は、過去に記録された画像ほど高く設定される透過度にしたがって変換する。
これにより、特定の時間を隔てて撮影された画像を、その時間間隔を保持した状態で、それぞれ時系列にしたがって再生して同一の画面に、過去に記録された画像ほど高く設定される透過度にしたがって画像を透過画像に変換して重ねて表示することができる。

また、本実施形態の電子カメラ１において、画像合成部３４は、透過画像と、透過画像に変換された画像と異なる画像を同一の画面に重ねて表示する。
これにより、特定の時間を隔てて撮影された画像を、その時間間隔を保持した状態で、それぞれ時系列にしたがって再生して同一の画面に、透過画像に変換した画像と、過画像に変換された画像と異なる画像を重ねて表示することができる。

また、本実施形態の電子カメラ１において、複数の画像のうち少なくとも１つは、撮像素子８が変換した画像である。
これにより、少なくとも１つは、撮像素子８が変換した画像であって、特定の時間を隔てて撮影された画像を、その時間間隔を保持した状態で、それぞれ時系列にしたがって再生して同一の画面に表示することができる。

１ 電子カメラ
８ 撮像素子
１２ バッファメモリー

Claims (5)

1. 撮像素子で撮像され時系列にしたがって記憶領域に記録された動画情報から、前記動画情報における複数の時点からの画像を前記時系列にしたがって読み出して、前記読み出した複数の画像を重ね合わせた合成画像と、前記読み出した複数の画像が同一の画面内に分割表示される分割画像と、複数の前記合成画像が前記画面内に分割表示される分割合成画像とのなかから、表示対象の動画像を、入力される操作に基づいて設定する設定部と、
   前記設定部の設定に基づいて、前記合成画像、前記分割画像、及び、前記分割合成画像のいずれかを、表示対象の動画像として出力する制御部と、
   前記制御部が出力する動画像を表示する表示部と
   を備えることを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   少なくとも１つの前記画像を定められる透過度にしたがって、重ねられた他の前記画像を透過させる透過画像に変換する変換部と、
   を備えることを特徴とする電子カメラ。
3. 請求項２に記載の電子カメラにおいて、
   前記変換部は、
   前記記録された時系列に応じて設定される該透過度にしたがって変換する
   ことを特徴とする電子カメラ。
4. 請求項２又は請求項３に記載の電子カメラにおいて、
   前記変換部は、
   過去に記録された画像ほど高く設定される該透過度にしたがって変換する
   ことを特徴とする電子カメラ。
5. 請求項２から請求項４のいずれかに記載の電子カメラにおいて、
   前記制御部は、
   前記透過画像と、該透過画像に変換された画像と異なる画像を同一の画面に重ねた画像を、前記合成画像として生成する
   ことを特徴とする電子カメラ。

Images