JP3821130B2 - ディジタルカメラ - Google Patents

Description

技術分野
本発明はディジタルカメラに関する。
背景技術
ディジタルカメラには、例えば合成画像の素材としてのデータを記録するという用途がある。合成画像は、コメント付き写真、枠付き写真シールなどを印刷するために広く用いられている。被写体に枠の画像を重ねて印刷する場合など、合成処理によって被写体の一部がトリミングされる場合がある。このような場合、合成用の背景データを予めメモリに格納しておき、背景データと合成されて実際に印刷される被写体の領域を撮影時に電子ビューファインダに表示することにより、適切な構図で被写体を記録することを容易にできる。
特開２００１−４５３５２号公報には、背景を表すデータと被写体を表すデータとを合成して得た合成画像データを、液晶パネルに表示し、撮影後に外部メモリに記録するディジタルカメラが開示されている。
特開平１１−８８３１号公報には、ディジタルカメラで作成した合成画像データを、ディジタルカメラに直結したプリンタで印刷させる技術が開示されている。
しかし、イメージセンサの画素数の増加に伴って被写体データのデータ量が増加する傾向にあるため、被写体データと背景データを合成する処理に必要なメモリ容量も増加している。
本発明は、このような問題に鑑みて創作されたものであって、合成処理に必要なメモリ容量を低減するディジタルカメラを提供することを目的とする。
発明の開示
上記目的を達成するため、本発明に係るディジタルカメラは、背景データに合成され、被写体像を表す被写体データを作成するディジタルカメラであって、背景データを減色処理して減色背景データを作成する減色手段と、減色背景データと被写体データとを合成する合成手段と、を備えることを特徴とする。
本発明に係るディジタルカメラでは、減色手段により背景データを減色処理して作成された減色背景データと被写体データとを合成するため、合成処理に必要なメモリ容量を低減することができる。これにより例えば、合成画像データをディスプレイに動画表示して被写体像を適切な構図で記録することを容易にする場合や、ディジタルカメラからプリンタに合成画像データを直接出力して印刷する場合などに必要なメモリの容量を小さくすることができる。
さらに本発明に係るディジタルカメラによると、イメージセンサの出力に基づいて被写体像を表す被写体データを作成する画像処理手段と、前記被写体データと合成される背景データを減色処理して減色背景データを作成する減色手段と、前記減色背景データと前記被写体データとを合成してディスプレイに表示する表示手段と、を備えることを特徴とする。
本発明に係るディジタルカメラでは、減色手段により背景データを減色処理して作成された減色背景データと被写体データとを合成してディスプレイに表示するため、合成表示に必要なメモリ容量を低減することができる。
さらに本発明に係るディジタルカメラでは、前記表示手段により合成画像データを前記ディスプレイに動画表示している時にシャッタ指示を受け付けるため、被写体像を適切な構図で記録することが容易になる。
尚、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。
また、本発明は装置の発明として特定できるだけでなく、プログラムの発明としても、そのプログラムを記録した記録媒体の発明としても、方法の発明としても特定することができる。
発明を実施するための最良の形態
以下、実施例に基づいて本発明の実施の形態を説明する。
図２は、本発明の一実施例によるディジタルカメラ１の構成を示すブロック図である。図３（Ａ）、図３（Ｂ）は、それぞれディジタルカメラ１の外観を示す正面図、背面図である。
レンズ駆動部７２は、ＣＰＵ６８から入力される信号に応じた倍率で被写体像がイメージセンサ４４の受光部に結像されるように、レンズ４０を駆動する。絞り駆動部７４は、イメージセンサ４４への入射光量がＣＰＵ６８から入力される信号に応じた入射光量になるように光学絞り４２を駆動する。
イメージセンサ４４は、Ｃ（Ｃｙａｎ）、Ｍ（Ｍａｇｅｎｔａ）、Ｙ（Ｙｅｌｌｏｗ）及びＧ（Ｇｒｅｅｎ）の４色の補色フィルタで構成されたカラーフィルタアレイをオンチップで形成したエリアイメージセンサであり、受光した光を光電変換して得られる電荷を一定時間蓄積し、光電変換素子毎の受光量に応じた電気信号を出力する。なお、カラーフィルタアレイは、ＣＭＹの３色の補色フィルタで構成してもよいし、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の原色フィルタで構成してもよい。
ＣＤＳ回路４６は、アナログ電気信号に含まれる雑音の低減処理を行う。ＡＧＣ回路４８は、ゲインの調整によりアナログ電気信号のレベルの調整を行う。Ａ／Ｄ変換器５０は、上記各処理の施されたアナログ電気信号を所定階調のディジタル信号に量子化する。走査制御部７６は、イメージセンサ４４にシフトパルス、垂直転送パルス、水平転送パルス等を出力し、ＣＤＳ回路４６、ＡＧＣ回路４８及びＡ／Ｄ変換器５０にこれらをイメージセンサ４４と同期して作動させるための駆動パルスを出力する。
ディジタル画像処理部５２は、例えばＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）で構成され、Ａ／Ｄ変換器５０から出力された画像信号に基づいて、画像生成処理、ホワイトバランス補正、ガンマ補正、色空間変換等を行い、各画素について例えばＲ、Ｇ、Ｂの階調値や、Ｙ、Ｃｂ及びＣｒの階調値などを表す被写体データを作成し、ＲＡＭ６６に格納する。尚、ここでいう画像生成処理とは、主に、各光電変換素子の出力に対応するＣＭＹＧいずれかの階調値を表すディジタルデータを用いた補間処理により画素毎にＣＭＹＧの４つの階調値を持つ画像データを生成する処理である。
圧縮・伸張処理部５４は、撮影モードにおいては、ディジタル画像処理部５２から出力された被写体データを圧縮して例えばＪＰＥＧ形式に準拠した圧縮画像データを作成し、再生モードにおいては、リーダライタ５６を用いてリムーバブルメモリ５７から読み出した圧縮画像データを伸張してＲＡＭ６６に格納する。リーダライタ５６にはフラッシュメモリ等の不揮発性メモリで構成されるリムーバブルメモリ５７を脱着自在であって、リーダライタ５６はリムーバブルメモリ５７にデータを書き込み、また、リムーバブルメモリ５７に格納されたデータを読み取る。
操作部６４は、電源のＯＮ／ＯＦＦを行うための電源ボタン１４、撮影モード、再生モード、ダイレクトプリントモードなどのモードを設定するためのダイヤルスイッチ１６、シャッタ指示を入力するためのシャッタボタン２８、撮影モードにおいて背景を設定するための背景撮影ボタン１８、ズームレンズの倍率を設定するためのズームボタン１０、１２、次選択キー２０、前選択キー２２、決定キー２４等の各種のボタンとボタンの押下及びダイヤルスイッチ１６の回転角度を検出する回路を備えている。
表示制御部５８は、ＲＡＭ６６に格納された画像データをディスプレイの表示領域に応じて間引く処理、色空間変換処理、合成処理等を行い、これらの処理を施したデータに基づいてディスプレイとしてのＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）２６を駆動する。フレームバッファ６２には合成される画像データを個別に格納する背景領域と前景領域とがある。表示制御部５８は、前景領域に格納された画像データの透明画素よりも背景領域に格納された画像データの画素を優先して表示し、背景領域に格納された画像データの画素よりも前景領域に格納された画像データの不透明画素を優先して表示することにより、合成画像をＬＣＤ２６に表示するための合成処理回路を備えている。前景領域は合成表示が行われる場合にのみ利用されるため、背景領域に対して容量を小さく設定するとよい。一般に合成処理に用いる背景データは線画、塗りつぶし、文字などの人工画像であるため、電子写真画像等の自然画像に比べて階調を小さくしても画像の粗さはそれほど目立たないからである。具体的には例えば画素数３２０×２４０画素の表示領域内にＲＧＢ各８ビットの階調で被写体データを格納し、ＲＧＢ各４ビットの階調で背景データを格納するならば、前景領域に必要なメモリ容量は次の通り、背景領域に必要なメモリ容量の２分の１になる。
背景領域の容量：（８＋８＋８）×３２０×２４０
前景領域の容量：（４＋４＋４）×３２０×２４０
ＣＰＵ６８は、ＲＯＭ７０に記憶されているコンピュータプログラムを実行することにより、ディジタルカメラ１の全体を制御する。ＲＯＭ７０は、ＣＰＵ６８が各種の制御を実行するためのコンピュータプログラムなどを格納するためのメモリである。ＲＡＭ６６は、各種のプログラムやデータを一時的に記憶するためのメモリである。
以上、ディジタルカメラ１の構成を説明した。次に背景データについて説明する。図４はリムーバブルメモリ５７に記録された背景データ及びレイアウト情報を示す模式図である。背景データと被写体データとの合成処理を規定するレイアウト情報は当該背景データに関連付けてリムーバブルメモリ５７に記録されている。
背景データ及びレイアウト情報は写真入り挨拶状、写真入りシールなどの印刷物を作成するためのテンプレートを規定するものであって、ＲＯＭ７０又はリムーバブルメモリ５７に予め格納しておく。以後、背景データ及びレイアウト情報はリムーバブルメモリ５７に格納されているものとして説明する。背景データは、線画、塗りつぶし、文字などで構成される画像８０を表す。背景データの階調値は、例えばＹＣｂＣｒ、ＲＧＢ等の各色成分について８ビット、合計２４ビットで１画素を表すものである。ハッチングが付された領域は被写体データがはめ込み合成される領域（透明領域）である。はめ込み合成される領域は、その領域の画素の階調値に、例えばＲ＝００Ｈ、Ｇ＝００Ｈ、Ｂ＝００Ｈなどの予め決められた透明を表す値を設定しておくことによって規定してもよいし、背景画像を規定するデータとは別に、背景画像と被写体画像のいずれを優先的に表示するかを規定する所謂αチャンネルを規定してもよい。背景データ及びレイアウト情報は、印刷用紙等の再生媒体の規格サイズ毎に規定しておいてもよいし、特定のサイズを基準として１つのデザインについて各１つの背景データ及びレイアウト情報を規定しておき、再生時に、再生サイズに応じてそれらの情報を変換してもよい。
レイアウト情報は、再生サイズ、再生サイズに対応する再生領域に対して背景データを割り付ける矩形領域（被写体割り付け領域）を定義する座標、再生領域に対して被写体データを割り付ける矩形領域（被写体割り付け領域）を定義する座標等を示すデータから編成されている。
レイアウト情報を用いて背景データ及び被写体データを合成して再生する印刷システムや表示システムでは、背景割り付け領域及び被写体割り付け領域に応じて背景データ及び被写体データを拡大または縮小し、拡大又は縮小したそれらのデータを背景割り付け領域及び被写体割り付け領域に割り付ける。背景割り付け領域と被写体割り付け領域が重なっている領域については、背景データ又は被写体データのいずれかの画素が優先して再生される。
また、パーソナルコンピュータ又はスタンドアロンプリンタに被写体データ、背景データ及びレイアウト情報を移動させた後に印刷等の最終出力のための合成処理を実施することとし、ディジタルカメラ１で印刷等の最終出力のための合成処理を実施しないのであれば、合成画像データの作成に用いる真の背景データはパーソナルコンピュータ又はスタンドアロンプリンタに格納しておき、真の背景データよりも低解像度で階調が粗いものをリムーバブルメモリ５７やＲＯＭ７０に格納しておいてもよい。このようにすれば、ディジタルカメラ１のメモリ空間が背景データで圧迫されることがなく、また、背景データを高速に処理することができる。
以上、背景データについて説明した。次に背景データと被写体データの合成表示ついて説明する。図１は背景データと被写体データの合成表示処理を示すデータフロー図である。
伸張プロセスＰ１００には、リムーバブルメモリ５７に格納された背景データに圧縮した状態で格納された背景データがリーダライタ５６によって読み取られて入力される。伸張プロセスＰ１００は、主に圧縮・伸張処理部５４において実行されるプロセスであって、入力された背景データを伸張し、伸張した背景データを減色プロセスＰ１１０に出力する。
減色プロセスＰ１１０は、主にＣＰＵ６８において実行されるプロセスであって、入力された背景データを減色処理し、減色処理した背景データ（減色背景データ）を縮小プロセスＰ１２０に出力する。この減色処理では、２の累乗で背景データの階調値を除し、その商を減色背景データの階調値とする。例えば、背景データの各色成分の階調値を１６で除し、各色成分８ビットの階調値を各色成分４ビットに減色処理する。このような減色処理により例えば１画素当たりのデータ量が２４ビットから１２ビットに減少する。
縮小プロセスＰ１２０は、表示制御部５８に備えられた専用回路又はＣＰＵ６８で実行されるプロセスである。縮小プロセスＰ１２０には、ディジタル画像処理部５２から出力される被写体データと、減色プロセスＰ１１０から出力される減色背景データとが入力される。縮小プロセスＰ１２０では、被写体データ及び減色背景データをそれぞれ表示領域の画素数に応じて間引き処理し、間引き処理したそれぞれのデータ（表示用被写体データ及び表示用背景データ）を合成表示プロセスＰ１３０に出力する。
合成表示プロセスＰ１３０は、主に表示制御部５８において実行されるプロセスであって、入力された表示用被写体データ及び表示用背景データを合成することにより合成画像データを編成し、合成画像データに基づいてＬＣＤ２６に駆動信号を出力する。合成表示プロセスＰ１３０で編成された合成画像データに基づいてＬＣＤ２６に駆動信号が出力されると、被写体データと背景データが合成された合成画像データがＬＣＤ２６に表示される。具体的には例えば、注目画素の階調値が透明色に予め割り当てられた階調値（例えば前述のＲ＝００Ｈ、Ｇ＝００Ｈ、Ｂ＝００Ｈ）である場合には、背景領域に格納された画像データの注目画素の階調値に基づいてＬＣＤ２６に駆動信号を出力し、それ以外の場合には前景領域に格納された画像データの注目画素の階調値に基づいてＬＣＤ２６に駆動信号を出力する。このときＬＣＤ２６に出力される駆動信号の源として選択されるデータが合成画像データに相当する。
以上、背景データと被写体データの合成表示ついて説明した。次にディジタルカメラ１の作動を説明する。図５は被写体データをリムーバブルメモリ５７に格納する処理の流れを示すフローチャートである。図５に示すシーケンスはダイヤルスイッチ１６の回転角度によって決まる撮影モードにおいて、オペレータが背景撮影ボタン１８を押下することによって開始される。
ステップＳ１００では、リムーバブルメモリ５７に格納された背景データのいずれか１つが選択される。ステップＳ１０５では、選択された背景データに格納された背景データが次のようにして表示される。はじめに背景データがリーダライタ５６によりリムーバブルメモリ５７から読み取られ、圧縮・伸張処理部５４で実行される伸張プロセスＰ１００で伸張されてＲＡＭ６６に格納される。尚、背景データは予め圧縮して記録されているものとして説明したが、非圧縮の状態で記録されていてもよい。次に縮小プロセスＰ１２０でＬＣＤ２６の表示領域の画素数に応じて背景データを縮小する処理を行う。ＬＣＤ２６の表示領域の画素数が３２０×２４０画素、背景データが６４０×４８０画素だとすれば、縦横の画素数が２分の１になるように間引き、３２０×２４０画素の表示用の背景データを作成する。尚、ＬＣＤ２６の表示領域に合わせた表示用の背景データを予めリムーバブルメモリ５７に記録しておき、それをそのまま表示してもよい。表示用に編集された背景データはフレームバッファ６２に格納され、それに基づいて表示制御部５８がＬＣＤ２６を駆動することにより表示される。尚、ステップＳ１０５では減色プロセスＰ１１０を実行しなくてもよい。被写体データを合成しないため、背景データをフレームバッファ６２の背景領域に格納できるからである。ステップＳ１１０で次選択キー２０が押下されるとステップＳ１００に戻って次の背景データが選択されて上述の処理が繰り返される。
ステップＳ１２０で決定キー２４が押されると、ステップＳ１３０では、ＣＰＵ６８で減色プロセスＰ１１０を実行することにより、ステップＳ１０５でＲＡＭ６６に格納された背景データ８０を減色処理し、各階調値４ビットの減色背景データを作成する。さらに、表示制御部５８又はＣＰＵ６８で縮小プロセスＰ１２０を実行することにより、減色背景データを表示領域の画素数に応じて間引きして表示用背景データ８１を作成し、図６に示すように、フレームバッファ６２の前景領域に格納する。
次に説明するＳ１４０、Ｓ１５０をシャッタボタン２８が押下されるまでの期間繰り返すことにより、背景データの透明領域内に被写体像を動画表示する。ステップＳ１４０では、走査制御部７６に所定の制御信号を入力し、イメージセンサ４４に所定時間蓄積した電荷を走査し、ディジタル画像処理部５２で作成した被写体データ８４を図６に示すようにＲＡＭ６６に格納する。さらに、表示制御部５８又はＣＰＵ６８で縮小プロセスＰ１２０を実行することにより、被写体データ８４を表示領域の画素数に応じて間引きしたもの（表示用被写体データ８５）をフレームバッファ６２の背景領域に格納する。
ステップＳ１５０では、表示制御部５８で合成表示プロセスＰ１３０を実行することにより、フレームバッファ６２の背景領域に格納された表示用被写体データ８２及びフレームバッファ６２の前景領域に格納された表示用背景データ８１を合成してＬＣＤ２６に駆動信号を出力する。この処理の結果、図３（Ａ）に示すように合成画像が表示される。具体的には例えば、表示用背景データ８１の注目画素の階調値が透明色に予め割り当てられた階調値（例えば前述のＲ＝００Ｈ、Ｇ＝００Ｈ、Ｂ＝００Ｈ）である場合には、表示用被写体データ８５の注目画素の階調値に基づいてＬＣＤ２６に駆動信号を出力し、それ以外の場合には表示用背景データ８１の注目画素の階調値に基づいてＬＣＤ２６に駆動信号を出力する。このときＬＣＤ２６に出力される駆動信号の源として選択されるデータが合成画像データ８６であり、請求項に記載された合成画像データに相当する。
ステップＳ１６０ではシャッタ指示が入力されたか否か、すなわちシャッタボタン２８が押下されたか否かを検出し、シャッタボタン２８の押下が検出されなければステップＳ１４０に戻って上述の処理を繰り返す。ステップＳ１６０でシャッタボタン２８の押下が検出された場合、ステップＳ１７０に進む。
ステップＳ１７０では、ステップＳ１３０と同様に、走査制御部７６に所定の制御信号を入力し、イメージセンサ４４に所定時間蓄積した電荷を走査し、ディジタル画像処理部５２で被写体データを作成させ、その被写体データをＲＡＭ６６に格納する。
ステップＳ１８０では、ＲＡＭ６６に格納された被写体データを圧縮・伸張処理部５４で圧縮して圧縮画像データを作成し、それをリーダライタ５６によってリムーバブルメモリ５７に格納する。またステップＳ１８０では、このとき記録される被写体データとステップＳ１１０の決定キー２４の押下により選択された背景データとを関連付けるデータがリムーバブルメモリ５７に格納される。背景データと被写体データとを合成して得られるデータがリムーバブルメモリ５７に格納されるのではなく、被写体データ自体はそのままリムーバブルメモリ５７に格納されるため、撮影後の背景の変更、取消などが可能である。
以上、被写体データをリムーバブルメモリ５７に格納する処理の流れを説明した。本発明の実施例では、請求項に記載の減色手段は、ＣＰＵ６８などで構成され、その機能はステップＳ１３０で実行される減色プロセスＳ１１０によって実現されている。請求項に記載の合成手段は、表示制御部５８、フレームバッファ６２などで構成され、その機能はステップＳ１５０で実行される合成プロセスＰ１３０によって実現されている。請求項に記載の画像処理手段は、ＣＤＳ回路４６、ＡＧＣ回路４８、Ａ／Ｄ変換器５０、ディジタル画像処理部５２などで構成され、その機能はステップＳ１４０及びステップＳ１７０の処理によって実現されている。請求項に記載の表示手段は、表示制御部５８、フレームバッファ６２などで構成され、その機能は、ステップＳ１５０で実行される合成表示プロセスＰ１３０によって実現されている。
以上説明した実施例では、減色処理した背景データをフレームバッファ６２の前景領域に格納するため、フレームバッファ６２の前景領域の容量を小さくすることができる。また上述の実施例では、背景データの前景に合成される被写体データの領域の輪郭を表示するため、合成処理でトリミングされない領域に被写体の要部（例えば顔）を入れた構図で撮影することが容易である。したがって上述の実施例によると、合成処理に用いる画像データを適切な構図で記録することが容易になる。
尚、上述の実施例では表示制御部５８における合成処理について説明したが、例えば印刷のための合成処理についても本発明を適用することができる。
【図面の簡単な説明】
図１は、本発明の一実施例による合成画像データの表示処理を説明するためのデータフロー図である。
図２は、本発明の一実施例によるディジタルカメラを示すブロック図である。
図３（Ａ）は本発明の一実施例によるディジタルカメラの背面図、図３（Ｂ）はその正面図である。
図４は、本発明の一実施例において、リムーバブルメモリに記録された背景データ及びレイアウト情報を示す模式図である。
図５は、本発明の一実施例において、被写体データをリムーバブルメモリに格納する処理の流れを示すフローチャートである。
図６は、本発明の一実施例による合成画像データを説明するための模式図である。

Claims (3)

1. 背景データに合成され、被写体像を表す被写体データを作成するディジタルカメラであって、
   背景データを減色処理して減色背景データを作成する減色手段と、
   減色背景データと被写体データとを合成する合成手段と、
   を備えることを特徴とするディジタルカメラ。
2. イメージセンサの出力に基づいて被写体像を表す被写体データを作成する画像処理手段と、
   前記被写体データと合成される背景データを減色処理して減色背景データを作成する減色手段と、
   前記減色背景データと前記被写体データとを合成してディスプレイに表示する表示手段と、
   を備えることを特徴とするディジタルカメラ。
3. 前記表示手段により合成画像データを前記ディスプレイに動画表示している時にシャッタ指示を受け付けることを特徴とする請求項２に記載のディジタルカメラ。

Images