JP5501548B2

JP5501548B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP5501548B2
Application number: JP2005369452A
Authority: JP
Inventors: 智美関本; 晃上野
Original assignee: Olympus Corp; Olympus Imaging Corp
Current assignee: Olympus Corp; Olympus Imaging Corp
Priority date: 2005-12-22
Filing date: 2005-12-22
Publication date: 2014-05-21
Anticipated expiration: 2025-12-22
Also published as: JP2007171581A

Description

本発明は、複数の画像を重ね合わせて表示するための画像処理装置及び画像処理方法に関する。

複数の画像を重ね合わせて表示する際に、複数の画像が重なる領域において、上層の画像に半透過（半透明）処理を施すことで、重ね合わせの際に下層に隠れてしまう画像を視認可能とする技術が各種提案されている。このような半透明処理がなされた画像はオンスクリーンディスプレイ（ＯＳＤ）画像と呼ばれている。このようなＯＳＤ画像を利用した技術の１つとして、例えば特許文献１において提案されている手法がある。この特許文献１の手法について簡単に説明する。

特許文献１の手法は、重ね合わせる複数の画像の各画素のデータをルックアップテーブルのテーブル番号データとして構成し、このように構成した画像に対し、図１３に示すようなルックアップテーブルを用意しておく。図１３に示すルックアップテーブルは、テーブル番号データに対応して色データと半透過処理のＯＮ/ＯＦＦとが設定されている。このような構成において、複数の画像を重ね合わせる際に半透過処理がＯＮとなっている画素が存在していれば、その画素に対して半透過処理を施すようにする。

例えば、図１４（ａ）、図１４（ｂ）に示す画像４０１に、透明度を有するＯＳＤ画像４０２と、ＯＳＤ画像４０３とを重ね合わせる際に、ＯＳＤ画像４０２の領域４０２ａと領域４０２ｂ、及びＯＳＤ画像４０３の領域４０３ａが半透過処理ＯＦＦとなっていた場合には、図１４（ａ）に示すように、重ね合わせた後の画像４０４において、領域４０２ａ、領域４０２ｂ、及び領域４０３ａの下層の画像４０１が隠れて見えなくなる。これに対し、ＯＳＤ画像４０２の領域４０２ａと領域４０２ｂ、及びＯＳＤ画像４０３の領域４０３ａが半透過処理ＯＮとなっていた場合には、図１４（ｂ）に示すように、重ね合わせの際に、ＯＳＤ画像４０２とＯＳＤ画像４０３とが所定の重み付け係数で半透過処理（平均化処理）され、結果として、重ね合わせ後の画像４０４において、領域４０２ａ、領域４０２ｂ、及び領域４０３ａの下層の画像４０１が透けて見えるようになる。

即ち、特許文献１の手法は、画素単位での半透過処理を行うことが可能であり、したがって、複数の画像を重ね合わせ表示する際に、画像の任意の領域に対して半透過処理を施すことが可能である。
特開２０００−６６６５９号公報

ここで、上記特許文献１の手法は、半透過処理を施す場合に所定の重み付け係数で平均化処理するだけであるので、複雑な半透過処理を行うことが困難である。複雑な半透過処理を施すためには、例えば、入力する画像の数を増やし、増やした画像毎に重み付け係数を設定することが考えられるが、このような手法では回路規模が増大しやすい。

本発明は、上記の事情に鑑みてなされたもので、回路規模を増大させずに、複雑な半透過処理を施すことができる画像処理装置を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様による画像処理装置は、少なくとも色を示す情報を含む画像情報によって表される画像と、色を示す情報と透明度を示す情報とを含む画像情報によって表される画像とを重ね合わせる画像処理装置であって、撮像して画像データを生成する画像データ生成手段と、色を示す情報と透明度を示す情報を含む第１の画像情報を記憶する第１の記憶手段と、前記第１の画像情報とは異なる色を示す情報と透明度を示す情報を含む第２の画像情報を記憶する第２の記憶手段と、前記第２の画像情報における色を示す情報を前記第１の画像情報における透明度を示す情報として使用するか否かを選択し、使用すると選択した場合に、前記第２の画像情報における色を示す情報を、前記第１の画像情報における透明度を示す情報を変更するための情報として使用するように選択する選択手段と、前記選択手段からの出力を前記第１の画像情報における透明度を示す情報に乗じることによって、前記第１の画像情報における透明度を示す情報を変更する変更手段と、前記画像データと前記透明度を示す情報が変更された前記第１の画像情報とを合成する第１の合成手段と、前記第１の合成手段で合成された画像データと前記第２の画像情報とを合成する第２の合成手段とを具備することを特徴とする。

また、上記の目的を達成するために、本発明の第２の態様による画像処理方法は、少なくとも色を示す情報を含む画像情報によって表される画像と、色を示す情報と透明度を示す情報とを含む画像情報によって表される画像とを重ね合わせる画像処理方法であって、撮像して画像データを生成し、色を示す情報と透明度を示す情報を含む第１の画像情報を記憶し、前記第１の画像情報とは異なる色を示す情報と透明度を示す情報を含む第２の画像情報を記憶し、前記第２の画像情報における色を示す情報を前記第１の画像情報における透明度を示す情報として使用するか否かを選択し、使用すると選択した場合に、前記第２の画像情報における色を示す情報を、前記第１の画像情報における透明度を示す情報を変更するための情報として使用するように選択し、前記選択された結果を前記第１の画像情報における透明度を示す情報に乗じることによって、前記第１の画像情報における透明度を示す情報を変更し、前記画像データと前記透明度を示す情報が変更された前記第１の画像情報とを合成し、前記合成された画像データと前記第２の画像情報とを合成することを特徴とする。

これら第１〜第２の態様によれば、色情報の一部を透明度として利用可能とすることにより、回路規模を増大させずに、複雑な半透過処理を行うことが可能である。

本発明によれば、回路規模を増大させずに、複雑な半透過処理を施すことができる画像処理装置を提供することができる。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像処理装置の適用例としてのデジタルカメラの構成を示す図である。図１のデジタルカメラは、撮影レンズ系１０１と、撮像素子１０２と、撮像回路１０３と、アナログ/デジタル（Ａ/Ｄ）変換回路１０４と、画像処理回路１０５と、バス１０６と、バッファメモリ１０７と、記録インターフェイス（Ｉ/Ｆ）１０８と、メモリ装着部１０９と、着脱メモリ１１０と、表示用画像処理装置１１１と、ＬＣＤモニタ１１２と、表示出力端子１１３と、外部インターフェイス（Ｉ/Ｆ）１１４と、外部入出力端子１１５と、フラッシュ発光部１１６と、システムコントローラ１１７と、操作部１１８と、電源部１１９とから構成されている。

撮影レンズ系１０１は、複数のレンズとこれらレンズの駆動機構などから構成されており、図示しない被写体の像を、後段の撮像素子１０２に結像させる。撮像素子１０２は、撮影レンズ系１０１を介して結像された被写体像を光電変換によって電気信号（撮像信号）に変換する。撮像回路１０３は、撮像素子１０２の各画素において得られた撮像信号を、システムコントローラ１１７からの指示の下、所定タイミング毎に読み出し、ノイズ除去のためのＣＤＳ（相関２重サンプリング処理）やゲイン調整処理などの各種アナログ処理を行う。そして処理した撮像信号をＡ/Ｄ変換回路１０４に出力する。Ａ/Ｄ変換回路１０４は、撮像回路１０３からアナログ信号として出力された撮像信号をデジタル信号（画像データ）に変換し、変換して得られた画像データを画像処理回路１０５に入力する。

画像処理回路１０５は、前処理部１０５ａと画像データ処理部１０５ｂとから構成されている。前処理部１０５ａは、入力された画像データに対して、シェーディング補正、欠陥画素補正等の前処理を行う。画像データ処理部１０５ｂは、前処理された画像データに対して、各種画像処理を行う。この画像処理としては、例えば画像の色バランスを補正するホワイトバランス補正、画像の階調を補正する階調補正、ＲＧＢ信号からなる画像をＹＣｂＣｒ（輝度・色差）信号に変換するＹＣ変換処理等がある。更に、画像データ処理部１０５ｂは、画像データの記録時にはＹＣｂＣｒ信号に変換された画像データの圧縮処理、画像データの表示時には圧縮された画像データの伸張処理等も行う。これら画像処理は周知の技術を用いれば良いので、ここではその詳細な説明は省略する。

バス１０６は、画像処理回路１０５で処理された画像データ等の各種データを本デジタルカメラの各部に転送するデータ転送路である。このバス１０６には、画像処理回路１０５のほか、バッファメモリ１０７、記録Ｉ/Ｆ１０８、表示用画像処理装置１１１、外部Ｉ/Ｆ１１４、システムコントローラ１１７が接続されている。

バッファメモリ１０７は、例えばＳＤＲＡＭ等で構成され、画像処理回路１０５で処理された画像データ等を一時格納しておくためのメモリである。

記録Ｉ/Ｆ１０８は、画像データの記録時に、バッファメモリ１０７から画像データを読み出し、読み出した画像データを、メモリ装着部１０９を介して本デジタルカメラに装着された着脱メモリ１１０に記録する。着脱メモリ１１０は、メモリ装着部１０９を介して本デジタルカメラに着脱自在に構成されたメモリである。

本発明の第１の実施形態に係る画像処理装置としての表示用画像処理装置１１１は、画像処理回路１０５において処理されバッファメモリ１０７に格納された画像データ、又は着脱メモリ１１０に記録された画像データを読み出して表示のための各種処理を行い、処理した画像データに基づいて画像表示を行う。このとき、画像は、本デジタルカメラに設けられたＬＣＤモニタ１１２、又は表示出力端子１１３を介して本デジタルカメラに接続された図示しないテレビジョン受像機（ＴＶ）に表示される。ここで、表示用画像処理装置１１１の詳しい構成及び動作については、後で説明する。

外部Ｉ/Ｆ１１４は、本デジタルカメラとパーソナルコンピュータ（ＰＣ）等の外部機器とを外部入出力端子１１５を介して通信接続するための通信インターフェイスである。この外部Ｉ/Ｆ１１４により、例えば、画像処理回路１０５において処理された画像データや着脱メモリ１１０に記録されている画像データを外部機器に転送したり、逆に外部機器から本デジタルカメラに画像データなどの各種データを転送したりすることが可能である。

フラッシュ発光部１１６は、被写体の撮影時に露光量が不足している場合や逆光状態のとき等に、被写体に対して補助光の発光を行う。

システムコントローラ１１７は、ＣＰＵなどから構成されており、撮像回路１０３やフラッシュ発光部１１６などの、本デジタルカメラの全体の制御を統括して行う。また、システムコントローラ１１７には、操作部１１８が接続されており、ユーザによって操作部１１８が操作された場合には、システムコントローラ１１７は操作部１１８の操作に応じた制御を開始する。ここで、操作部１１８には、例えば本デジタルカメラによる撮影動作を開始させるためのレリーズ操作部、本デジタルカメラの各種モードを設定するためのモード設定操作部、電池残量表示の有無を選択するための選択操作部などの各種操作部が含まれる。

電源部１１９は本デジタルカメラの電源としての図示しない電池の電圧を本デジタルカメラの各回路が必要とする電圧に変換して供給する。

次に、表示用画像処理装置１１１について説明する。図２は、表示用画像処理装置１１１の内部の構成を示す図である。なお、図２は、画像処理回路１０５において処理された画像データ又は着脱メモリ１１０に記録された画像データ（以下、画像データ１とする）に、透明度を有する２つのオンスクリーンディスプレイ画像データ（それぞれ、ＯＳＤデータ１、ＯＳＤデータ２とする）を、ＯＳＤデータ１、ＯＳＤデータ２の順で重ね合わせる場合の例について示している。ここで、例として、画像データ１は色データ（例えば、ＹＣｂＣｒデータ）で構成されており、ＯＳＤデータ１とＯＳＤデータ２はそれぞれカラーパレット化された色データ（ＹＣｂＣｒデータ）と透明度データに対応するテーブル番号（テーブルＮＯ）で構成されているとする。

図２に示すように、表示用画像処理装置１１１は、概略的には、ビデオメモリ１１１ａと、ビデオ出力回路１１１ｂとから構成されている。
ビデオメモリ１１１ａは、バス１０６を介して入力された画像データ１を一時格納すると共に、ＯＳＤデータ１とＯＳＤデータ２とを格納している。

ビデオ出力回路１１１ｂは、アービタ２０１と、重畳処理部２０２と、画像出力用調整部２０３とから構成されている。このような構成において、ビデオ出力回路１１１ｂは、ビデオメモリ１１１ａから、画像データ１、ＯＳＤデータ１、及びＯＳＤデータ２を選択的に読み出して、これらデータを重ね合わせ処理（重畳処理）した後、これによって得られた画像データの出力用調整処理を行う。

以下、ビデオ出力回路１１１ｂの構成について更に詳しく説明する。アービタ２０１は、ビデオメモリ１１１ａに接続されると共に、重畳処理部２０２内のルックアップテーブル３０１ａ、ルックアップテーブル３０１ｂ、ルックアップテーブル３０２ａ、ルックアップテーブル３０２ｂ、及び乗算器３０７に接続されており、ルックアップテーブル３０１ａ及びルックアップテーブル３０１ｂからのＯＳＤデータ１の取得要求、ルックアップテーブル３０２ａ及びルックアップテーブル３０２ｂからのＯＳＤデータ２の取得要求、及び乗算器３０７からの画像データ１の取得要求に対し、所定の優先順位に従ってルックアップテーブル３０１ａ及びルックアップテーブル３０１ｂ、ルックアップテーブル３０２ａ及びルックアップテーブル３０２ｂ、並びに乗算器３０７の何れかにデータを取得させる。

ここで、ルックアップテーブル３０１ａ、３０１ｂ、３０２ａ、３０２ｂはそれぞれ、テーブル記憶部と、パレットデータ生成部とから構成されている。記憶手段としてのテーブル記憶部はカラーＮＯデータに対応してカラーパレット化された色データ又は透明度データをルックアップ形式で記憶している。ここで、テーブル記憶部３０１ａ１はＯＳＤデータ１の透明度データに対応するルックアップテーブルを記憶しており、テーブル記憶部３０１ｂ１はＯＳＤデータ１の色データに対応するルックアップテーブルを記憶しており、テーブル記憶部３０２ａ１はＯＳＤデータ２の透明度データに対応するルックアップテーブルを記憶しており、テーブル記憶部３０２ｂ１はＯＳＤデータ２の色データに対応するルックアップテーブルを記憶している。

ここで、透明度データに対応するルックアップテーブルは、例えば図３（ａ）に示すような形式で記憶されている。即ち、図３（ａ）のルックアップテーブルは、テーブルＮＯに対応して０〜８までのテーブルデータが割り当てられている。このルックアップテーブルの透明度は、整数部１bit、小数部３bitで表現されている。例えば、図３（ａ）のテーブルＮＯ４の透明度＝０ｘ４は、透明度１/２であることを表している。また、色データに対応するルックアップテーブルは、例えば図３（ｂ）に示すような形式で記憶されている。即ち、図３（ｂ）のルックアップテーブルは、テーブルＮＯに対応して０〜２５５までのテーブルデータが割り当てられている。このルックアップテーブルの色情報（輝度、色差）は、整数部８bitで表現されている。例えば、図３（ｂ）のテーブルＮＯ４のＹ＝０ｘＥ２は輝度２２６であることを表している。

ここで、図３（ａ）及び図３（ｂ）の値は一例であり、それぞれ任意のビット幅で任意の値を設定することができる。また、テーブル記憶部３０１ａ１と３０２ａ１とにそれぞれ異なるルックアップテーブルを記憶させても良いし、テーブル記憶部３０１ｂ１と３０２ｂ１とにそれぞれ異なるルックアップテーブルを記憶させても良い。

パレットデータ生成部は、テーブル参照によって、色データ又は透明度データを生成する。なお、図２において、パレットデータ生成部３０１ａ２はＯＳＤデータ１に係る透明度データを生成し、パレットデータ生成部３０１ｂ２はＯＳＤデータ１に係る色データを生成し、パレットデータ生成部３０２ａ２はＯＳＤデータ２に係る透明度データを生成し、パレットデータ生成部３０２ｂ２はＯＳＤデータ２に係る色データを生成する。ここで、第１の実施形態の場合、初期設定では透明度のパレットが選択されている。この状態でユーザがボタン操作を行ったとき、透明度値の初期設定が変更される。

例えば、インデックス表示で非アクティブ状態の項目を、ユーザのボタン操作によってアクティブ状態にした場合に透明度のセレクタの論理が変更される。これにより、透明度のパレットに、色情報のパレットを透明度として使用するように論理が切り替わる。

切り替え手段としてのセレクタ３０３、３０４には、ユーザによる操作部１１８の操作により、論理値‘０’または論理値‘１’の何れか一方が入力される。第１の実施形態においては、図４に示すように、「ルックアップテーブル３０２ｂから出力される色データの一部（例えばＹデータ）をＯＳＤデータ１の透明度データを求めるためのデータとして使用しない」ことがユーザによって選択された場合に論理値‘０’が入力され、「使用する」ことがユーザによって選択された場合に論理値‘１’が入力されるようになっている。そして、セレクタ３０３は、論理値‘０’が入力された場合に‘１’を、論理値‘１’が入力された場合に‘ルックアップテーブル３０２ｂから出力された色データのうちのＹデータ’を乗算器３０５に出力する。一方、セレクタ３０４は、論理値‘０’が入力された場合にルックアップテーブル３０２ａから出力された透明度データ‘Ｐ_２’を、論理値‘１’が入力された場合に‘０’を出力Ｐ’（０≦Ｐ’≦１）として乗算器３１０に出力する。

透明度設定手段としての乗算器３０５はルックアップテーブル３０１ａから出力される透明度データＰ_１にセレクタ３０３からの出力を乗算し、その結果Ｐ（０≦Ｐ≦１）をＯＳＤデータ１の透明度として、乗算器３０６に出力する。乗算器３０６はルックアップテーブル３０１ａから出力される色データに乗算器３０５からの出力Ｐを乗算し、その結果を加算器３０８に出力する。乗算器３０７はアービタ２０１から出力された画像データ１に（１−Ｐ）を乗算し、その結果を加算器３０８に出力する。加算器３０８は乗算器３０６から出力された色データと乗算器３０７から出力された色データとを加算し、その結果を乗算器３０９に出力する。

乗算器３０９は加算器３０８から出力された色データに（１−Ｐ’）を乗算し、その結果を加算器３１１に出力する。乗算器３１０はルックアップテーブル３０２ｂから入力された色データにセレクタ３０４から出力されたＰ’を乗算し、その結果を加算器３１１に出力する。加算器３１１は乗算器３０９から出力された色データと乗算器３１０から出力された色データとを加算する。したがって、重畳処理部２０２全体では、
｛画像１＊（１−Ｐ）＋ＯＳＤ１＊Ｐ｝＊（１−Ｐ’）＋ＯＳＤ２＊Ｐ’ （式１）
の演算が行われ、この結果が画像出力用調整部２０３に出力される。ここで、（式１）において、画像１は画像データ１の色データであり、ＯＳＤ１はＯＳＤデータ１の色データであり、ＯＳＤ２はＯＳＤデータ２の色データである。（式１）に示すように、重畳処理部２０２では、画像データ１とＯＳＤデータ１とが重み付け係数Ｐで重ね合わせ処理され、この重ね合わせ処理によって得られた画像データとＯＳＤデータ２とが重み付け係数Ｐ’で重ね合わせ処理される。

画像出力用調整部２０３は、加算器３１１から入力された画像データを、ＬＣＤモニタ１１２やＴＶ等の表示部の表示特性に応じて調整し、調整した画像をＬＣＤモニタ１１２やＴＶに表示させる。

このような構成において、ユーザによる操作部１１８の操作により、ルックアップテーブル３０２ｂから出力されるＹデータをＯＳＤデータ１の透明度データを求めるためのデータとして使用しないことが選択された場合には、上述したように論理値‘０’がセレクタ３０３、３０４に入力される。この場合、セレクタ３０３からは‘１’が出力され、セレクタ３０４からは‘ルックアップテーブル３０２ａからの透明度データＰ_２’が出力される。

これにより、上記（式１）のＰはルックアップテーブル３０１ｂから出力されるＯＳＤデータ１の透明度データＰ_１となり、上記（式１）のＰ’はルックアップテーブル３０２ｂから出力されるＯＳＤデータ２の透明度データＰ_２となる。したがって、上記（式１）より、画像データ１とＯＳＤデータ１とが重み付け係数Ｐ_１で重ね合わされた後に、ＯＳＤデータ２が重み付け係数Ｐ_２で重ね合わされる。

このように、ルックアップテーブル３０２ｂから出力されるＹデータをＯＳＤデータ１の透明度データを求めるためのデータとして使用しない場合には、図５に示すように、ＯＳＤデータ２のルックアップテーブルの全てのデータが有効となり、ＯＳＤデータ２のルックアップテーブルを、ＯＳＤデータ２を表すカラーパレットとして使用できる。

一方、ユーザによる操作部１１８の操作により、ルックアップテーブル３０２ｂから出力されるＹデータをＯＳＤデータ１の透明度データを求めるためのデータとして使用することが選択された場合には論理値‘１’がセレクタ３０３、３０４に入力される。この場合、セレクタ３０３からは‘ルックアップテーブル３０２ｂから出力された色データのうちのＹデータ’が出力され、セレクタ３０４からは‘０’が出力される。ここで、セレクタ３０３から出力されるＹデータは、透明度データに変換するために、実際には、Ｙデータの階調値２５５で除算した値となっている。

これにより、上記（式１）のＰはルックアップテーブル３０１ｂから出力されるＯＳＤデータ１の透明度データＰ_１とＯＳＤデータ２のＹデータ（＝Ｙ/２５５）との乗算結果となり、上記（式１）のＰ’は０となる。したがって、この場合には、上記（式１）より、画像データ１とＯＳＤデータ１とが重み付け係数Ｐ（＝Ｐ_１＊Ｙ/２５５）で重ね合わされる。

このように、ルックアップテーブル３０２ｂから出力されるＹデータをＯＳＤデータ１の透明度データを求めるためのデータとして使用する場合には、図５に示すように、ＯＳＤデータ２のルックアップテーブルのＹ以外のデータが無効となり、ＯＳＤデータ２のルックアップテーブルを、ＯＳＤデータ１の透明度を変更するための透明度プレーンとして使用できる。

ここで、第１の実施形態の具体例として、例えば、表示用画像処理装置１１１によって、図６（ａ）に示すような画像データ１、ＯＳＤデータ１、ＯＳＤデータ２を重ね合わせる場合を考える。ここで、画像データ１は４枚の撮影画像ｉｎｄｅｘ１〜４を編集して得られたインデックス画像である。

ユーザによる操作部１１８の操作により、ルックアップテーブル３０２ｂから出力されるＹデータをＯＳＤデータ１の透明度データを求めるためのデータとして使用しないことが選択された場合には、まず画像データ１にＯＳＤデータ１が重ね合わされ、その後にＯＳＤデータ２が重ね合わされる。この場合、ＯＳＤデータ１に対して半透過処理がなされないので、重ね合わせ処理後の画像は、画像データ１のｉｎｄｅｘ１〜ｉｎｄｅｘ４が全て上層の画像に隠れて見えなくなる。したがって、画像データ１のｉｎｄｅｘ１〜ｉｎｄｅｘ４は全て非アクティブ状態（非表示状態）となる（図６（ｂ）参照）。

これに対し、ユーザによる操作部１１８の操作により、ルックアップテーブル３０２ｂから出力されるＹデータをＯＳＤデータ１の透明度データを求めるためのデータとして使用することが選択された場合には、まずＯＳＤデータ１の透明度がＯＳＤデータ２のＹから求められた透明度に応じて変更され、このＯＳＤデータ１と画像データ１とが重ね合わされる。この場合、ＯＳＤデータ２において最も透明度が小さい領域に対応する画像データ１の部分、即ち、ｉｎｄｅｘ２が透けて見えるようになる。したがって、画像データ１のｉｎｄｅｘ２はアクティブ状態（表示状態）となる（図６（ｃ）参照）。

このように、第１の実施形態によれば、同じ３枚の画像データを重ね合わせる場合であっても、ユーザによる操作部１１８の操作により、異なる半透明効果の画像を表示させることができる。

以上説明したように、第１の実施形態によれば、ルックアップテーブル３０２ｂをカラーパレットと透明度プレーンとで兼用できるようにすることにより、回路規模を増やすことなく複雑な半透明処理を行うことができる。例えば、図３（ａ）の例の透明度テーブルにおいては透明度データの分解能が０〜８までの９であるが、図３（ｂ）のＹデータを透明度データとして使用することにより、透明度データの分解能を最大でＹの階調数、即ち２５６まで向上させることができる。

ここで、第１の実施形態において、ルックアップテーブル３０２ｂを透明度プレーンとして使用する際には、Ｙデータのみを使用するようにしているが、Ｙデータの代わりにＣｂ又はＣｒデータを使用するようにしても良い。また、Ｙ、Ｃｂ、Ｃｒの何れを使用するかをユーザ操作により選択できるようにしても良い。また、画像データ及びＯＳＤデータをそれぞれ構成する色データは、ＹＣｂＣｒデータに限らず、ＲＧＢデータであっても良い。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。図７は第２の実施形態におけるセレクタ３０３周辺の構成について示す図である。ここで、第２の実施形態においては、画像データ１に透明度を有していない画像データ２を重ね合わせる点（したがって、ルックアップテーブル３０１ａ、３０１ｂは不要である）とセレクタ３０３の論理が異なっている点とが第１の実施形態と異なっている。これ以外は図２で説明した第１の実施形態と同様であるので説明を省略する。

第２の実施形態では、カメラに内蔵されている全てのＯＳＤデータについて、ＯＳＤデータ毎に演算で用いる透明度の切り替え部分の初期設定がファームウェアにプログラムされていて、ＯＳＤデータ毎に透明度の切り替えの論理が異なる。例えば、第２の実施形態では、レジスタで設定した透明度か、ルックアップテーブル３０２ｂを選択する。

第２の実施形態におけるセレクタ３０３には、システムコントローラ１１７を介して図示しないレジスタに設定されるレジスタ設定値が入力される。ここで、セレクタ３０３には、画像データ１、画像データ２の重ね合わせに所定の透明度データＸを使用する場合に‘０’が入力され、画像データ１、画像データ２の重ね合わせにルックアップテーブル３０２ｂのＹデータを使用する場合に‘１’が入力されるように構成されている（図８参照）。そして、セレクタ３０３は、論理値‘０’が入力された場合に所定の透明度‘Ｘ’を、論理値‘１’が入力された場合に‘ルックアップテーブル３０２ｂから入力された色データのうちのＹデータ’を、Ｐとして乗算器３０５に出力する。即ち、このような第２の実施形態の重畳処理部２０２全体では、
｛画像１＊（１−Ｐ）＋画像２＊Ｐ｝＊（１−Ｐ’）＋ＯＳＤ２＊Ｐ’ （式２）
の演算が行われる。ここで、画像２は画像データ２の色データである。

このような構成において、レジスタ設定により、画像データ１と画像データ２の重ね合わせに、所定の透明度データＸを使用することが選択された場合には論理値‘０’がセレクタ３０３、３０４に入力される。この場合、セレクタ３０３からは透明度データ‘Ｘ’が出力され、セレクタ３０４からは‘ルックアップテーブル３０２ａからの透明度データＰ_２’が出力される。

したがって、上記（式２）より、画像データ１に対し、画像データ２、ＯＳＤデータ２の順で重ね合わせが行われる。これらの重ね合わせの際には、所定の透明度データＸが上記（式２）のＰとして、ＯＳＤデータ２の透明度データＰ_２が上記（式２）のＰ’として用いられる。つまり、この場合は、ＯＳＤデータ２のルックアップテーブルを、ＯＳＤデータ２を表すカラーパレットとして使用できる。

一方、レジスタ設定により、画像データ１と画像データ２の重ね合わせに、ルックアップテーブル３０２ｂのＹデータを使用することが選択された場合には論理値‘１’がセレクタ３０３、３０４に入力される。この場合、セレクタ３０３からは‘ルックアップテーブル３０２ｂから入力された透明度データ’が出力され、セレクタ３０４からは‘０’が出力される。

したがって、上記（式２）のＰはＯＳＤデータ２のＹデータ（＝Ｙ/２５５）となり、上記（式２）のＰ’は０となる。この場合には、上記（式２）より、画像データ１と画像データ２とが重み付け係数Ｙ（＝Ｙ/２５５）で重ね合わされる。つまり、この場合は、ＯＳＤデータ２のルックアップテーブルを、画像データ１と画像データ２との重ね合わせの際の重み付け係数を決定するための透明度プレーンとして使用できる。

例えば、全面黒の画像データ１に全面白の画像データ２を所定の重み付け係数で重ね合わせた場合には、重ね合わせによって得られる画像データは一定の輝度値からなる画像となる。これに対し、ＯＳＤデータ２のＹデータを画像データ１と画像データ２との重ね合わせの際の重み付け係数に図９に示す輝度分布を有する画像を用いた場合には、ＯＳＤデータ２において輝度値の低い部分は重ね合わせ後に黒く、輝度値の高い部分は重ね合わせ後に白くなるので、結果として重ね合わせ後の画像データはＯＳＤデータ２の輝度分布に応じた白黒画像データとなる。

以上説明したように、第２の実施形態によれば、透明度を有さない複数の画像データ同士を重ね合わせる際の重み付け係数として、ルックアップテーブル３０２ｂを利用することができる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。図１０は第３の実施形態におけるセレクタ３０４周辺の構成について示す図である。ここで、第３の実施形態においては、第２の実施形態の構成に対して、ＯＳＤデータ２のルックアップテーブルの構成が異なっている。つまり、図１０に示されていない構成については、図１及び図７に準じている。図１０に示すように、第３の実施形態においては、ルックアップテーブル３０２ａ、３０２ｂの代わりに１つのルックアップテーブル３０２ｃが設けられている。このルックアップテーブル３０２ｃからの色データは乗算器３１０に入力され、透明度データはセレクタ３０４に入力される。

図１１は、セレクタ３０４の論理を示す図である。セレクタ３０４には、画像データ１、画像データ２の重ね合わせにルックアップテーブルの３０２ｃの透明度データを使用する場合に‘０’が入力され、画像データ１、画像データ２の重ね合わせにルックアップテーブル３０２ｃの透明度データを使用しない場合に‘１’が入力されるように構成されている。そして、セレクタ３０４は、論理値‘０’が入力された場合に‘ルックアップテーブル３０２ｃから入力された透明度データ’を、論理値‘１’が入力された場合に‘０’を出力する。

図１２は、ルックアップテーブル３０２ｃ内のルックアップテーブルの構成を示す図である。図１２に示すように、第３の実施形態においては、ルックアップテーブル３０２ｃ内のテーブルは色データに対応するテーブルと透明度データに対応するテーブルとが１つのテーブルとして構成されている。このような構成においては、１つのテーブルＮＯに対応する透明度データと色データとが出力される。

また、第３の実施形態においては、ルックアップテーブル３０２ｃ内に異なる２つのルックアップテーブルが設けられており、これらルックアップテーブルのうち、何れかが図示しないレジスタによって選択されるようになっている。このように、複数の異なるルックアップテーブルを格納しておくことにより、より複雑な半透明処理を行うことが可能となる。なお、ルックアップテーブルを１つのみとしても良いことは言うまでもない。また、図１２のような構成のルックアップテーブルを第１の実施形態に適用するようにしても良い。

以上説明したように、第３の実施形態のような構成でも、透明度を有さない複数の画像データ同士を重ね合わせる際の重み付け係数として、ルックアップテーブル３０２ｃを利用することができる。

以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上記した各実施形態においては、３つの画像の重ね合わせについて説明しているが、２つ若しくは４つ以上の画像の重ね合わせに、上記した各実施形態の手法を適用することもできる。また、３つの画像の重ね合わせであっても、例えば３つ目に重ね合わせる画像を、複数の異なる透明度を有するＯＳＤ画像の中から、ユーザによる操作部１８の操作によって選択できるようにしておき、この選択されたＯＳＤ画像の透明度データ又は色データの一部を使用して重ね合わせ処理を行うようにしても良い。この場合、操作部１８は透明度選択手段と言うこともできる。このような構成とすることにより、回路上では３つの画像データの重ね合わせ回路でありながら、より複雑な重ね合わせ処理を行うことが可能となる。

更に、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の第１の実施形態に係る画像処理装置の適用例としてのデジタルカメラの構成を示す図である。表示用画像処理装置の内部の構成を示す図である。図３（ａ）は透明度データに対応するルックアップテーブルについて説明するための図であり、図３（ｂ）は色データに対応するルックアップテーブルについて説明するための図である。第１の実施形態におけるセレクタ３０３、３０４の論理について説明するための図である。カラーパレットと透明度プレーンとの間の切り替えについて説明するための図である。第１の実施形態の具体例について説明するための図である。第２の実施形態におけるセレクタ３０３周辺の構成について示す図である。第２の実施形態におけるセレクタ３０３の論理について説明するための図である。第２の実施形態の具体例について説明するための図である。第３の実施形態におけるセレクタ３０４周辺の構成について示す図である。第３の実施形態におけるセレクタ３０３の論理について説明するための図である。第３の実施形態におけるルックアップテーブルの構成について説明するための図である。従来例について説明するための第１の図である。従来例について説明するための第２の図である。

符号の説明

１０１…撮影レンズ系、１０２…撮像素子、１０３…撮像回路、１０４…アナログ/デジタル（Ａ/Ｄ）変換回路、１０５…画像処理回路、１０６…バス、１０７…バッファメモリ、１０８…記録インターフェイス（Ｉ/Ｆ）、１０９…メモリ装着部、１１０…着脱メモリ、１１１…表示用画像処理装置、１１２…ＬＣＤモニタ、１１３…表示出力端子、１１４…外部インターフェイス（Ｉ/Ｆ）、１１５…外部入出力端子、１１６…フラッシュ発光部、１１７…システムコントローラ、１１８…操作部、１１９…電源部、２０１…アービタ、２０２…重畳処理部、２０３…画像出力用調整部、３０１ａ，３０１ｂ，３０２ａ，３０２ｂ，３０２ｃ…ルックアップテーブル、３０３，３０４…セレクタ、３０５，３０６，３０７，３０９，３１０…乗算器、３０８，３１１…加算器

Claims

少なくとも色を示す情報を含む画像情報によって表される画像と、色を示す情報と透明度を示す情報とを含む画像情報によって表される画像とを重ね合わせる画像処理装置であって、
撮像して画像データを生成する画像データ生成手段と、
色を示す情報と透明度を示す情報を含む第１の画像情報を記憶する第１の記憶手段と、
前記第１の画像情報とは異なる色を示す情報と透明度を示す情報を含む第２の画像情報を記憶する第２の記憶手段と、
前記第２の画像情報における色を示す情報を前記第１の画像情報における透明度を示す情報として使用するか否かを選択し、使用すると選択した場合に、前記第２の画像情報における色を示す情報を、前記第１の画像情報における透明度を示す情報を変更するための情報として使用するように選択する選択手段と、
前記選択手段からの出力を前記第１の画像情報における透明度を示す情報に乗じることによって、前記第１の画像情報における透明度を示す情報を変更する変更手段と、
前記画像データと前記透明度を示す情報が変更された前記第１の画像情報とを合成する第１の合成手段と、
前記第１の合成手段で合成された画像データと前記第２の画像情報とを合成する第２の合成手段と、
を具備することを特徴とする画像処理装置。
前記選択手段は、前記第２の画像情報を使用する旨の指示の入力を受けて、前記第２の画像情報における色を示す情報を前記第１の画像情報の透明度として使用することを選択することを特徴とする請求項１に記載の画像処理装置。
少なくとも色を示す情報を含む画像情報によって表される画像と、色を示す情報と透明度を示す情報とを含む画像情報によって表される画像とを重ね合わせる画像処理方法であって、
撮像して画像データを生成し、
色を示す情報と透明度を示す情報を含む第１の画像情報を記憶し、
前記第１の画像情報とは異なる色を示す情報と透明度を示す情報を含む第２の画像情報を記憶し、
前記第２の画像情報における色を示す情報を前記第１の画像情報における透明度を示す情報として使用するか否かを選択し、使用すると選択した場合に、前記第２の画像情報における色を示す情報を、前記第１の画像情報における透明度を示す情報を変更するための情報として使用するように選択し、
前記選択された結果を前記第１の画像情報における透明度を示す情報に乗じることによって、前記第１の画像情報における透明度を示す情報を変更し、
前記画像データと前記透明度を示す情報が変更された前記第１の画像情報とを合成し、
前記合成された画像データと前記第２の画像情報とを合成する、
ことを特徴とする画像処理方法。