JP6048046B2 - 画像合成装置及び画像合成方法 - Google Patents
画像合成装置及び画像合成方法 Download PDFInfo
- Publication number
- JP6048046B2 JP6048046B2 JP2012219562A JP2012219562A JP6048046B2 JP 6048046 B2 JP6048046 B2 JP 6048046B2 JP 2012219562 A JP2012219562 A JP 2012219562A JP 2012219562 A JP2012219562 A JP 2012219562A JP 6048046 B2 JP6048046 B2 JP 6048046B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- target pixel
- unit
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本願に開示の技術は、画像入力装置にて入力される画像データに他の画像データを合成する画像合成装置及び画像合成方法に関するものである。
従来、デジタルカメラ等の撮像装置は、ＣＣＤ（Charge Coupled Devices）イメージセンサなどの撮像素子によって取得した画像データ（動画を含む）を複数の処理部にて処理しメモリに格納する。撮像装置は、各処理部にて画像データを適宜処理する際に処理した画像データをメモリに一時的に格納する。
近年、このような撮像装置では、高画素化やフレームレートの向上等にともなってメモリのアクセス頻度が高くなり、メモリアクセスにおける帯域幅や消費電力が増加することからアクセス頻度が抑えられる構成が望まれている。
一方で、撮像装置は、例えば画像データを表示部に表示させる際にメニュー表示や各種の設定情報等の他の画像を重畳して表示させるオンスクリーンディスプレイ（ＯＳＤ）と呼ばれる機能を有するものがある。また、このような画像の合成技術では、撮影画像に対してリアルタイムにコンピュータグラフィックス（ＣＧ）画像等の画像データを重畳して表示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。
例えば、撮像装置として、撮像素子により取得したベイヤ形式の画像データ（以下、「ベイヤ信号」という）を、ＹＣｂＣｒ形式の画像データ（以下、「ＹＣｂＣｒ信号」という）に変換し、変換後のＹＣｂＣｒ信号に他の画像を合成するものがある（例えば、特許文献１など）。
上記したような画像合成の機能を有する撮像装置では、例えばベイヤ信号を他のデータ形式の画像データ（例えば、ＹＣｂＣｒ信号）に変換する前処理としてベイヤ信号に対してデモザイキング処理（画素補間処理）を施す。このデモザイキング処理では、ベイヤ形式の１画素（例えばＲ（赤）画素）に対して他の２画素（Ｇ（緑）及びＢ（青）画素）の画素値を補間する処理が実行される。この結果、補間処理後の画像データは、１画素あたりのデータ量が増加する。従って、補間処理した画像データを用いた画像合成ではメモリのアクセス頻度が増加する。
本願に開示される技術は、上記の課題に鑑み提案されたものであって、画像合成における画像データが記憶されたメモリに対するアクセス頻度を抑えることが可能な画像合成装置及び画像合成方法を提供することを目的とする。
本願に開示される技術に係る画像合成装置は、画像入力装置から入力される第１画像信号と、前記第１画像信号とは相関がなくメモリに格納される第２画像信号とを合成する画素位置の情報を含む合成位置情報を指示する制御部と、前記合成位置情報に基づいて、前記第１画像信号の第１注目画素と前記第２画像信号の第２注目画素との間で、前記第１注目画素に対応する色と、前記第２画像信号の第２注目画素に対応する色とが異なる場合に、前記第２注目画素の周辺画素のうち前記第１注目画素に対応する色と同色となる前記周辺画素の平均値を算出して前記第２注目画素の画素値に設定する変換処理部と、前記合成位置情報に基づいて、前記第１注目画素の画素値に前記変換処理部により設定された前記第２注目画素の画素値を合成し第３画像信号を生成する画像合成部と、を備え、前記変換処理部は、前記制御部により値が設定されるレジスタ部と、前記レジスタ部に設定された値に基づいて制御を行う制御処理部と、前記制御処理部の制御に基づいて前記メモリから前記第２注目画素を含む前記第２画像信号の部分画像を入力するバッファ部と、前記制御処理部から入力される前記レジスタ部に設定された値に基づいて前記バッファ部から前記部分画像を入力し前記部分画像の前記周辺画素から前記第２注目画素の画素値を算出して設定する画素値変換部と、を備え、前記レジスタ部には、前記第１及び第２画像信号の画素のタイプと前記合成位置情報とを含む値が前記制御部により設定され、前記画素値変換部は、複数の演算回路を有し、前記レジスタ部に設定された前記第１及び第２画像信号の画素のタイプと前記合成位置情報とを含む値に基づいて前記第１及び第２画像信号の重畳される態様を検出し、前記検出した結果に応じた演算回路を選択する。
また、本願に開示される技術に係る画像合成方法は、画像入力装置から入力される第１画像信号と、前記第１画像信号とは相関がなくメモリに格納される第２画像信号とを合成する画素位置の情報を含む合成位置情報を指示し、前記合成位置情報に基づいて、前記第１画像信号の第１注目画素に合成すべき前記第２画像信号の第２注目画素に対して、前記第１注目画素に対応する色と、前記第２注目画素に対応する色とが異なる場合に、前記第２注目画素の周辺画素のうち前記第１注目画素に対応する色と同色となる前記周辺画素の平均値を算出して前記第２注目画素の画素値に設定し、前記合成位置情報に基づいて、前記第１画像信号の第１注目画素に前記設定された第２注目画素を合成して第３画像信号を生成し、前記第２注目画素の画素値を設定する際に、指示した前記合成位置情報をレジスタ部に設定し、前記レジスタ部に設定された値に基づいて制御を行い、当該制御に基づいて前記メモリから前記第２注目画素を含む前記第２画像信号の部分画像をバッファ部に入力し、前記レジスタ部に設定された値に基づいて前記バッファ部から前記部分画像を入力し前記部分画像の前記周辺画素から前記第２注目画素の画素値を算出して設定し、前記レジスタ部には、前記第１及び第２画像信号の画素のタイプと前記合成位置情報とを含む値が設定され、前記第２注目画素の画素値を算出して設定する際に、複数の演算回路を用意し、前記レジスタ部に設定された前記第１及び第２画像信号の画素のタイプと前記合成位置情報とを含む値に基づいて前記第１及び第２画像信号の重畳される態様を検出し、前記検出した結果に応じた演算回路を選択する。
本願に開示される技術に係る画像合成装置及び画像合成方法によれば、画像合成における画像データが記憶されたメモリに対するアクセス頻度を抑えることができる。
（第１実施形態）
図１を参照し、第１実施形態の撮像装置１０の構成について説明する。
図１に示す撮像装置１０は、例えばデジタルカメラであり、撮像部１１、画像処理装置１２、メモリ１３、外部記憶媒体１５、表示部１６を有している。
図１を参照し、第１実施形態の撮像装置１０の構成について説明する。
図１に示す撮像装置１０は、例えばデジタルカメラであり、撮像部１１、画像処理装置１２、メモリ１３、外部記憶媒体１５、表示部１６を有している。
撮像部１１は、撮像素子１１ａ及びＡ／Ｄ変換回路１１ｂを有している。撮像素子１１ａは、例えばＣＣＤイメージセンサであり、色フィルタ成分｛赤（Ｒ）、緑（Ｇ）、青（Ｂ）｝がベイヤ配列されたカラーフィルタを介して入射光を受光する。撮像素子１１ａは、カラーフィルタを介して受光した入射光を撮像信号に変換してＡ／Ｄ変換回路１１ｂに出力する。Ａ／Ｄ変換回路１１ｂは、撮像素子１１ａから入力されるＲＧＢ形式の撮像信号を画像データ（ベイヤ信号）に変換して画像処理装置１２に出力する。ベイヤ信号における各画素値のビット幅は、例えば１２ビットである。
画像処理装置１２は、撮像部１１から入力されるベイヤ信号に対して画像処理やデータ形式の変換処理を施す。画像処理装置１２は、各処理の所定段階で画像データ（ベイヤ信号等）をメモリ１３に一時的に格納する。従って、メモリ１３は作業メモリとして機能する。メモリ１３は、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）である。
また、画像処理装置１２は、メモリ１３に格納した画像処理後の画像データを外部記憶媒体１５に格納したり、表示部１６に出力したりする。外部記憶媒体１５は、例えばＳＤメモリカード（登録商標）である。表示部１６は、例えば液晶ディスプレイ（ＬＣＤ）である。
次に、画像処理装置１２の内部構成について説明する。
画像処理装置１２は、プリプロセス処理部２１、画像合成部２２、画像処理部２３、コーデック処理部２４、中央処理装置（ＣＰＵ）２６、調停回路２７、記憶媒体用インターフェース回路２８、表示用インターフェース回路２９を有し、これら各回路が共有バス３１によって互いに接続されている。この共有バス３１は、アドレスバス、コントロールバス及びデータバスを有している。
画像処理装置１２は、プリプロセス処理部２１、画像合成部２２、画像処理部２３、コーデック処理部２４、中央処理装置（ＣＰＵ）２６、調停回路２７、記憶媒体用インターフェース回路２８、表示用インターフェース回路２９を有し、これら各回路が共有バス３１によって互いに接続されている。この共有バス３１は、アドレスバス、コントロールバス及びデータバスを有している。
プリプロセス処理部２１は、撮像部１１から入力される１フレームのベイヤ信号に対し、例えばホワイトバランス調整、ゲイン調整、欠陥信号の補正等の前処理を施す。プリプロセス処理部２１は、処理後のベイヤ信号（以下、「第１ベイヤ信号」という）をメモリ１３の所定の領域に格納する。
画像合成部２２は、メモリ１３からプリプロセス処理部２１により前処理された１フレームの第１ベイヤ信号を読み出し、第１ベイヤ信号に対して他のベイヤ信号（メニュー表示用の文字データやＣＧ画像等）を重畳する処理を施す。本実施形態の撮像装置１０は、撮像部１１からプリプロセス処理部２１を介して入力される第１ベイヤ信号に合成する画像データ（以下、「第２ベイヤ信号」という）がベイヤ形式でメモリ１３に格納されている。第２ベイヤ信号は、例えば不揮発性の記憶媒体（例えばＲＯＭ）に格納され（メニュー表示用の文字データなど）、外部記憶媒体１５に格納されあるいはＣＰＵ２６により演算され（ＣＧ画像など）、所定の処理段階でＣＰＵ２６によりメモリ１３に読み出される。画像合成部２２は、合成したベイヤ信号（以下、「第３ベイヤ信号」という）をメモリ１３に格納する。
画像処理部２３は、メモリ１３から画像合成部２２により合成処理された１フレームの第３ベイヤ信号を読み出し、第３ベイヤ信号にデモザイキング処理等を施し、ＹＣｂＣｒ信号に変換する処理を実行する。画像処理部２３は、変換後のＹＣｂＣｒ信号をメモリ１３に格納する。
コーデック処理部２４は、メモリ１３から画像処理部２３により変換されたＹＣｂＣｒ信号を読み出し、そのＹＣｂＣｒ信号を所定の方式（ここでは、ＪＰＥＧ方式）により符号化し、符号化後の画像データをメモリ１３に格納する。
ＣＰＵ２６は、各回路の動作を統括制御する制御装置であり、各画像データの解析、解析結果に基づく必要な情報の各回路への設定及びデータの書き込み／読み出し制御等を実行する。また、ＣＰＵ２６は、画像合成部２２に対し第１ベイヤ信号のどの部分に第２ベイヤ信号を合成するかを示すデータ（以下、「合成位置情報」という）ＣＩを画像合成部２２に対して出力する。画像合成部２２は、合成位置情報ＣＩに基づいて、第１及び第２ベイヤ信号の合成処理を実行する。
各処理部（画像合成部２２を含む）は、メモリ１３にデータを書き込む又は読み出すために共有バス３１の使用権を要求するための信号を調停回路２７に出力する。調停回路２７は、要求信号に応じて各処理部に対して調停回路２７の使用権を設定する。
記憶媒体用インターフェース回路２８は、外部記憶媒体１５に対するデータ入出力を実行する。ＣＰＵ２６は、コーデック処理部２４により変換されたＪＰＥＧ方式の画像データをメモリ１３から読み出し、記憶媒体用インターフェース回路２８を介して外部記憶媒体１５に格納する。表示用インターフェース回路２９は、メモリ１３から転送される画像データを、表示部１６が対応し得る形式のデータに変換して該表示部１６に出力する。
次に、図２を用いて画像処理部２３の構成について説明する。
図２に示すように、画像処理部２３は、補間処理部４１、ガンマ変換部４２、輪郭強調部４３、フォーマット変換部４４を有する。
図２に示すように、画像処理部２３は、補間処理部４１、ガンマ変換部４２、輪郭強調部４３、フォーマット変換部４４を有する。
補間処理部４１は、画像合成部２２により合成処理された第３ベイヤ信号に対しデモザイキング処理（画素補間処理）を施す。デモザイキング処理では、例えば、第３ベイヤ信号の各画素に対して周辺の他の色の画素（Ｒ画素であればＧ、Ｂ画素）の画素値を補間した画像データ（以下、「ＲＧＢ信号」という）を生成する。なお、このＲＧＢ信号は、例えば１画素あたりのデータ幅が１２ビットのベイヤ信号を補間処理すると、１画素あたりのデータ幅が３６ビットとなる、即ち処理前の第３ベイヤ信号のデータ量に比べてデータ量が３倍となる。
ガンマ変換部４２は、表示部１６等のデバイス特性（ガンマ特性）に合わせるための処理、所謂ガンマ補正を行う。輪郭強調部４３は、画像全体の鮮明感を向上させるために空間フィルタを用いて輪郭（エッジ）強調やノイズ除去等の処理を行う。フォーマット変換部４４は、ＲＧＢ信号をＹＣｂＣｒ信号に変換する処理を実行する。
次に、画像データの合成について図３を用いて説明する。
例えば、図３に示す第１ベイヤ信号５１に第２ベイヤ信号５２を合成する処理について説明する。説明の便宜上、第１ベイヤ信号５１を、１フレームに縦１２、横１２の格子状の画素が配置された画像データを想定する。また、第２ベイヤ信号５２を、縦６、横６の格子状の画素が配置された画像データ（例えばＣＧ画像）を想定する。
例えば、図３に示す第１ベイヤ信号５１に第２ベイヤ信号５２を合成する処理について説明する。説明の便宜上、第１ベイヤ信号５１を、１フレームに縦１２、横１２の格子状の画素が配置された画像データを想定する。また、第２ベイヤ信号５２を、縦６、横６の格子状の画素が配置された画像データ（例えばＣＧ画像）を想定する。
なお、第１及び第２ベイヤ信号５１，５２の各画素に示す文字は、各画素に対応するカラーフィルタの色フィルタ成分｛赤（Ｒ）、緑（Ｇ）、青（Ｂ）｝を示す。また、第２ベイヤ信号５２のハッチングで示される部分は有色である画素を示す。また、第２ベイヤ信号５２のハッチングがない部分は無色（透明）である画素、即ち第１ベイヤ信号５１に重畳した場合に第１ベイヤ信号５１の画素値が合成した値となる画素を示している。
画像合成部２２は、第１ベイヤ信号５１の各画素について順に合成処理を実行する。例えば、画像合成部２２は、第１ベイヤ信号５１の処理対象の画素（以下、「第１注目画素」という）６２を、１ライン目の画素位置（１，１）から画素位置（１，２）の順に１画素ずつ（図３において右方向に）移動させながら合成する処理を実行する。また、画像合成部２２は、同様の処理を１ラインから１２ラインの順に各ラインで実行する。この際に、画像合成部２２は、第１注目画素６２の画素位置が合成する位置になると、第２ベイヤ信号５２の処理対象の画素（第２注目画素）６３の画素位置を同様に移動させながら第１及び第２注目画素６２，６３を合成する処理を実行する。
まず、図３に示す矢印６１ａの場合について説明する。矢印６１ａに示す場合では、第１注目画素６２が画素位置（１，３）のＲ画素の場合に、第２注目画素６３が画素位置（１，１）のＲ画素となる場合を示す。この場合の合成処理について図４に従って説明する。ＣＰＵ２６（図２参照）は、合成位置情報ＣＩを画像合成部２２に出力する（図４のステップ１０１）。この合成位置情報ＣＩは、合成する画素の位置や合成される画像データの大きさ等の情報を含む。例えばＣＰＵ２６は、合成が開始される位置（この場合、第１ベイヤ信号５１の画素位置（１，３））及び第２ベイヤ信号５２の画素数（６×６）に係る情報を合成位置情報ＣＩとして画像合成部２２に出力する。なお、合成位置情報ＣＩの内容は、第１及び第２ベイヤ信号５１，５２の大きさ・画素値等に応じて適宜変更する。
次いで、画像合成部２２は、メモリ１３から１フレームの第１ベイヤ信号５１と、第２ベイヤ信号５２とを読み出す（ステップ１０２）。なお、画像合成部２２は、メモリ１３から読み出した第１及び第２ベイヤ信号５１，５２を画像合成部２２が有するバッファ（図示略）に一時的に格納する。
次いで、画像合成部２２は、合成位置情報ＣＩに基づいて、第１注目画素６２が合成処理を行う画素位置であるか否かを判定する（ステップ１０３）。画像合成部２２は、合成位置情報ＣＩに基づいて、例えば第１ベイヤ信号５１の１ライン目であれば画像合成を開始する画素位置（１，３）から第２ベイヤ信号５２の横の画素数「６個」分（画素位置（１，８））までを合成位置として判定する。
画像合成部２２は、第１注目画素６２が合成処理する画素位置でないと判定した場合には、第１ベイヤ信号５１の第１注目画素６２の画素値を処理結果（第３ベイヤ信号）の画素値として出力する（ステップ１０４）。画像合成部２２は、第１注目画素６２が合成する画素位置（この場合、画素位置（１，３））になるまで、第１注目画素６２の位置を１画素ずつ移動させながらステップ１０４の処理を繰り返し実行する。
次いで、第１注目画素６２が画素位置（１，３）となると、画像合成部２２は、第２ベイヤ信号５２の第２注目画素６３をバッファから読み出す（ステップ１０５）。
次いで、画像合成部２２は、第２注目画素６３が有色又は透明（無色）であるかを判定する（ステップ１０６）。画像合成部２２は、例えば、特定の画素値（全てのビット値が「１」、又は全てのピット値が「０」等）を透明として判定する。また、例えば、第２ベイヤ信号５２の各画素値に透明であるか否かを示すビット値（α値：有色であれば「１」、透明であれば「０」）を設定し、画像合成部２２がこのビット値に基づいて判定してもよい。
次いで、画像合成部２２は、第２注目画素６３が有色又は透明（無色）であるかを判定する（ステップ１０６）。画像合成部２２は、例えば、特定の画素値（全てのビット値が「１」、又は全てのピット値が「０」等）を透明として判定する。また、例えば、第２ベイヤ信号５２の各画素値に透明であるか否かを示すビット値（α値：有色であれば「１」、透明であれば「０」）を設定し、画像合成部２２がこのビット値に基づいて判定してもよい。
画像合成部２２は、ステップ１０６において第２注目画素６３の画素値が有色であると判定した場合には、第２注目画素６３の画素値を第３ベイヤ信号として出力する（ステップ１０７）。また、画像合成部２２は、第２注目画素６３の画素値が透明であると判定した場合には、第１注目画素６２の画素値を第３ベイヤ信号として出力する（ステップ１０８）。このようにして、画像合成部２２は、第２ベイヤ信号５２の第２注目画素６３の画素値に応じて第３ベイヤ信号として出力する画素値を第１及び第２注目画素６２，６３のどちらかに切り替えながら出力する処理を実行する。
次いで、画像合成部２２は、第２ベイヤ信号５２に対する処理が終了したか否か、即ち第２注目画素６３が第２ベイヤ信号５２の画素位置（６，６）であるかを判定する（ステップ１０９）。画像合成部２２は、合成位置情報ＣＩに基づいて、例えば第２ベイヤ信号５２の画素数（６×６＝３６個）とステップ１０６の処理回数とを比較して判定する。
ステップ１０９において第２ベイヤ信号５２に対する処理が終了していないと判定されると、ステップ１０３からの処理が繰り返し実行される。また、ステップ１０９において第２ベイヤ信号５２に対する処理が終了したと判定されると、第１ベイヤ信号５１の画素値が処理結果として１フレームの最後の画素（画素位置（１２，１２））まで出力される（ステップ１１０）。
例えば、図３に示す場合では、画像合成部２２は、第１注目画素６２が第１ベイヤ信号５１の画素位置（２，５）の位置になるまでは第１ベイヤ信号５１の画素値（画素位置（１，１）〜画素位置（２，４）に対応する画素値）が第３ベイヤ信号として出力される。また、例えば、第１注目画素６２が画素位置（２，５）になると、画像合成部２２は、第１注目画素６２の画素値に置き換えて第２注目画素６３画素値（画素位置（２，３）の画素値）を処理結果として出力する。
画像合成部２２は、メモリ１３からフレーム単位で読み出される第１ベイヤ信号５１に対し上記した処理を繰り返し実行し、処理結果の第３ベイヤ信号をメモリ１３に格納する。メモリ１３に格納された第３ベイヤ信号は、例えばＣＰＵ２６により読み出され表示部１６に表示される処理が実行される。
なお、合成位置情報ＣＩは、図３の矢印６１ｂ，６１ｃで示すように、第１注目画素６２の色（Ｒ，Ｇ，Ｂ）と第２注目画素６３の色が一致する位置が設定できる。例えば、矢印６１ｃは、第１ベイヤ信号５１の画素位置（１，５）のＲ画素と、第２ベイヤ信号５２の画素位置（１，１）のＲ画素とを重畳させる場合である。第１注目画素６２と第２注目画素６３の色が一致しない場合については第２実施形態で説明する。
以上、記述したように、第１実施形態によれば、以下の効果を奏する。
（１）画像処理装置１２は、撮像部１１から入力される第１ベイヤ信号５１に合成する第２ベイヤ信号５２が、ベイヤ形式でメモリ１３に格納されている。画像合成部２２は、ＣＰＵ２６から入力される合成位置情報ＣＩに基づいて第１ベイヤ信号５１と第２ベイヤ信号５２とを合成し第３ベイヤ信号として出力する。補間処理部４１は、第３ベイヤ信号に対しデモザイキング処理を実行する。このような構成では、デモザイキング処理を施す前の第１及び第２ベイヤ信号５１，５２を用いて合成処理が実行できる。
（１）画像処理装置１２は、撮像部１１から入力される第１ベイヤ信号５１に合成する第２ベイヤ信号５２が、ベイヤ形式でメモリ１３に格納されている。画像合成部２２は、ＣＰＵ２６から入力される合成位置情報ＣＩに基づいて第１ベイヤ信号５１と第２ベイヤ信号５２とを合成し第３ベイヤ信号として出力する。補間処理部４１は、第３ベイヤ信号に対しデモザイキング処理を実行する。このような構成では、デモザイキング処理を施す前の第１及び第２ベイヤ信号５１，５２を用いて合成処理が実行できる。
ここで、第１及び第２ベイヤ信号５１，５２は、従来の画像合成に用いられるデモザイキング処理後の画像データ（ＹＣｂＣｒ信号等）に比べて１画素あたりのデータ量が少ない。これにより、画像合成処理におけるメモリ１３に対する１回のデータ転送量が低減できる。
また、従来のように、デモザイキング処理後の信号を合成処理に用いる構成では、例えば本実施形態の第１ベイヤ信号５１に相当する信号をＹＣｂＣｒ信号に変換してメモリに格納する処理が必要となる。また、本実施形態の第１及び第２ベイヤ信号５１，５２に相当する信号（何れも、ＹＣｂＣｒ信号等）を共にメモリから読み出す処理が必要となる。
また、従来のように、デモザイキング処理後の信号を合成処理に用いる構成では、例えば本実施形態の第１ベイヤ信号５１に相当する信号をＹＣｂＣｒ信号に変換してメモリに格納する処理が必要となる。また、本実施形態の第１及び第２ベイヤ信号５１，５２に相当する信号（何れも、ＹＣｂＣｒ信号等）を共にメモリから読み出す処理が必要となる。
これに対し、本実施形態の画像合成部２２は、合成処理におけるメモリ１３に対するアクセス処理が第２ベイヤ信号５２の読み出し処理のみで実行できる。これにより、画像合成処理におけるメモリ１３とのデータ転送量を低減するとともに読み出し／書き込み回数を減らすことにより、メモリ１３に対するアクセス頻度を抑えることができる。
（第２実施形態）
図５は、第２実施形態のブロック図である。第１実施形態では、第１ベイヤ信号５１の第１注目画素６２に対応する色（Ｒ，Ｇ，Ｂ）と第２ベイヤ信号５２の第２注目画素６３に対応する色とが一致する場合の合成処理について例示した。これに対し、第２実施形態では、画素の色が一致しない場合の合成処理について例示する。なお、第２実施形態において、上記第１実施形態と同じ構成については同じ符号を付して詳細な説明を省略する。
図５は、第２実施形態のブロック図である。第１実施形態では、第１ベイヤ信号５１の第１注目画素６２に対応する色（Ｒ，Ｇ，Ｂ）と第２ベイヤ信号５２の第２注目画素６３に対応する色とが一致する場合の合成処理について例示した。これに対し、第２実施形態では、画素の色が一致しない場合の合成処理について例示する。なお、第２実施形態において、上記第１実施形態と同じ構成については同じ符号を付して詳細な説明を省略する。
図５に示すように、画像処理装置１２ａは変換処理部７１を有する。変換処理部７１は、共有バス３１（図１参照）によって各回路と接続されている。変換処理部７１は、画像合成部２２に入力される第２ベイヤ信号５２に対する前処理として、第２注目画素６３を含む画像データを入力し第１注目画素６２の色に応じて第２注目画素６３の画素値を変換する処理を実行する。
図６に示すように、変換処理部７１は、レジスタ部７２と、制御処理部７３と、バッファ部７４と、画素値変換部７５とを有している。レジスタ部７２は、３つのレジスタＲ１〜Ｒ３を含む。
レジスタＲ１は、メモリ１３における第２ベイヤ信号５２が格納されているアドレスを示す値が保存されている。レジスタＲ２は、第１及び第２ベイヤ信号５１，５２の画素のタイプを示す値が保存されている。ここでいう画素のタイプとは、例えば第１及び第２ベイヤ信号５１，５２の各々の画素位置（１，１）に対応する色（Ｒ，Ｇ，Ｂ）である。また、レジスタＲ２は、画素位置（１，１）に対応する色がＧ画素である場合には、Ｒ画素が配置されたラインのＧ画素か、Ｂ画素が配置されたラインのＧ画素かを示す値も含む（図７参照）。レジスタＲ３は、上述した合成位置情報ＣＩを示す値が保存されている。
レジスタ部７２は、各レジスタＲ１〜Ｒ３の値がＣＰＵ２６により設定される。制御処理部７３は、バッファ部７４に対しメモリ１３におけるレジスタＲ１のアドレスから第２ベイヤ信号５２の所定の画素数分を読み出す制御を実行する。この所定画素数分のデータは、第２注目画素６３を含むデータであり、例えば図８に示す縦３、横３の部分画像である。画素値変換部７５は、制御処理部７３の制御に基づいてバッファ部７４に入力された部分画像を順次入力して画素値を変換する処理を実行する。
制御処理部７３は、レジスタＲ２，Ｒ３の値を画素値変換部７５に出力する。画素値変換部７５は、レジスタＲ２，Ｒ３の値に基づいて第２注目画素６３の画素値を変換する演算回路を選択する。画素値変換部７５は、選択した演算回路に応じてバッファ部７４から供給される部分画像の画素値を入力する。そして、画素値変換部７５は、演算回路により算出された画素値を第２注目画素６３の画素値として設定し画像合成部２２に出力する処理を実行する。
ここで、第１及び第２ベイヤ信号５１，５２の合成処理における第１及び第２注目画素６２，６３の色の組み合わせは以下の４通りがある。
（ａ）Ｒ画素の第１注目画素６２に、Ｒ画素の第２注目画素６３を合成（図７の矢印６４、第１実施形態）
（ｂ）Ｒ画素の第１注目画素６２に、Ｂ画素の第２注目画素６３を合成（図７の矢印６５ａ，６５ｂ、図８〜図１１参照）
（ｃ）Ｒ画素の第１注目画素６２に、Ｒ画素が配置されたラインのＧ画素の第２注目画素６３を合成（図７の矢印６６ａ，６６ｂ、図１２〜図１５参照）
（ｄ）Ｒ画素の第１注目画素６２に、Ｂ画素が配置されたラインのＧ画素の第２注目画素６３を合成（図１６〜図１９参照）
以下に、上記（ｂ）〜（ｄ）の順に説明する。なお、（ａ）の場合（色が一致する場合、図７における部分画素データ８１）については、第１実施形態と同様の処理となるため説明を省略する。また、図８〜図１９の各画素に示される文字は画素値を示す。また、図８〜図１９の第１及び第２ベイヤ信号５１，５２の各々の中央画素は第１及び第２注目画素６２，６３を示している。
（ａ）Ｒ画素の第１注目画素６２に、Ｒ画素の第２注目画素６３を合成（図７の矢印６４、第１実施形態）
（ｂ）Ｒ画素の第１注目画素６２に、Ｂ画素の第２注目画素６３を合成（図７の矢印６５ａ，６５ｂ、図８〜図１１参照）
（ｃ）Ｒ画素の第１注目画素６２に、Ｒ画素が配置されたラインのＧ画素の第２注目画素６３を合成（図７の矢印６６ａ，６６ｂ、図１２〜図１５参照）
（ｄ）Ｒ画素の第１注目画素６２に、Ｂ画素が配置されたラインのＧ画素の第２注目画素６３を合成（図１６〜図１９参照）
以下に、上記（ｂ）〜（ｄ）の順に説明する。なお、（ａ）の場合（色が一致する場合、図７における部分画素データ８１）については、第１実施形態と同様の処理となるため説明を省略する。また、図８〜図１９の各画素に示される文字は画素値を示す。また、図８〜図１９の第１及び第２ベイヤ信号５１，５２の各々の中央画素は第１及び第２注目画素６２，６３を示している。
（ｂ）の場合について
画像処理装置１２ａは、（ｂ）の場合には図７に示すように第２ベイヤ信号５２を変換処理部７１にて変換（矢印６５ａ）し、変換後の第２ベイヤ信号５２ａを第１ベイヤ信号５１の部分画素データ８２に合成する処理（矢印６５ｂ）を実行する。
画像処理装置１２ａは、（ｂ）の場合には図７に示すように第２ベイヤ信号５２を変換処理部７１にて変換（矢印６５ａ）し、変換後の第２ベイヤ信号５２ａを第１ベイヤ信号５１の部分画素データ８２に合成する処理（矢印６５ｂ）を実行する。
詳述すると、第１及び第２ベイヤ信号５１，５２は、各画素に対応する色がベイヤ配列となっており規則的に配置されている。レジスタＲ２，Ｒ３の値には、第１及び第２ベイヤ信号５１，５２の画素のタイプ（画素位置（１，１）の色）と、合成位置情報ＣＩ（ベイヤ信号５１，５２を重畳する画素位置）に関する情報が含まれる。従って、画素値変換部７５は、レジスタＲ２，Ｒ３の値に基づいて第１及び第２ベイヤ信号５１，５２がどのような色で重畳されるか、即ち上記（ａ）〜（ｂ）のどの場合に当てはまるかを検出することができる。その結果、画素値変換部７５は、（ａ）〜（ｂ）の場合に応じた演算回路を択一的に選択し第２注目画素６３の画素値を変換することが可能となる。
図８は、（ｂ）の場合において第１注目画素６２がＲ画素、第２注目画素６３がＢ画素の場合を示している。第１注目画素６２の画素値がＲ１１、第２注目画素６３の画素値がＢ１１である。この場合、画素値変換部７５は、第２注目画素６３に設定する画素値ｒ１１を、第２注目画素６３の周辺画素から算出する処理を実行する。画素値変換部７５は、画素値ｒ１１を画像合成部２２に出力し、画素値ｒ１１が画像合成部２２により第１注目画素６２（第１ベイヤ信号５１）のＲ１１に合成される。
例えば、画素値ｒ１１は、第２注目画素６３の周辺画素の画素値（左上のＲ００，右上のＲ０２，左下のＲ２０，右下のＲ２２）を用いて以下の演算式で表される。
ｒ１１＝（Ｒ００＋Ｒ０２＋Ｒ２０＋Ｒ２２）／４
つまり、変換後の第２注目画素６３の画素値に、第２注目画素６３と隣り合う周辺画素のうち第１注目画素６２の色と同色（ベイヤ配列上の同色）となる周辺画素の画素値の平均値を設定する。
ｒ１１＝（Ｒ００＋Ｒ０２＋Ｒ２０＋Ｒ２２）／４
つまり、変換後の第２注目画素６３の画素値に、第２注目画素６３と隣り合う周辺画素のうち第１注目画素６２の色と同色（ベイヤ配列上の同色）となる周辺画素の画素値の平均値を設定する。
同様に、図９に示す第１注目画素６２がＢ画素（画素値Ｂ１１）、第２注目画素６３がＲ画素（画素値Ｒ１１）の場合には、変換後の画素値ｂ１１は、以下の演算式で表される。
ｂ１１＝（Ｂ００＋Ｂ０２＋Ｂ２０＋Ｂ２２）／４
なお、図１０及び図１１に示す第１注目画素６２（画素値Ｇ１１）と第２注目画素６３（画素値Ｇ１１）が同色の場合には、第２注目画素６３の画素値Ｇ１１がそのまま変換後の画素値として設定される。
ｂ１１＝（Ｂ００＋Ｂ０２＋Ｂ２０＋Ｂ２２）／４
なお、図１０及び図１１に示す第１注目画素６２（画素値Ｇ１１）と第２注目画素６３（画素値Ｇ１１）が同色の場合には、第２注目画素６３の画素値Ｇ１１がそのまま変換後の画素値として設定される。
ここで、画素値変換部７５は、上記したように第２注目画素６３の画素値を周辺画素の画素値から算出する。言い換えると、対応する周辺画素が有色である場合には、第２注目画素６３に有色な値が設定される。これを踏まえ、本実施形態の第２ベイヤ信号５２は、図７に示すように有色の画素の周りに透明の画素が設定されている。そして、この第２ベイヤ信号５２に対して画素値の変換処理が施されることで、変換後の第２ベイヤ信号５２ａの有色の画素の範囲が変換前に比べて拡がっている。つまり、第２ベイヤ信号５２に対し、変換後に有色となる画素の位置を加味して透明な画素を設定することにより、第２ベイヤ信号５２の画素値の変換処理をより適切な範囲で実施することができる。
なお、画素値の変換処理については、対応する周辺画素が設定されていない場合には所定値を設定する。具体的には、例えば、第２ベイヤ信号５２の画素位置（１，３）のＲ画素を第２注目画素６３とした場合には、図９に示すような第２注目画素６３の周囲の４つのＢ画素のうち２つ（Ｂ００，Ｂ０２）に対応する画素がない。このような場合には、画素値Ｂ００，Ｂ０２に所定値として透明な画素値（例えば全てのピット値が「０」）を設定する。また、例えば、第２注目画素６３（この場合画素値Ｒ１１）を間に挟んで対向位置の画素値を設定、（Ｂ００であればＢ２２、Ｂ０２であればＢ２０）を設定してもよい。
そして、画素値変換部７５は、（ｂ）の場合には上記した演算処理を施す演算回路を選択する処理を実行する。第１及び第２ベイヤ信号５１，５２は、画素の色が規則的に配列されており、画素値変換部７５により第２注目画素６３の画素値が選択された演算回路に順次入力されることで画素値が変換される。
例えば、図７に示すように、（ｂ）の場合（矢印６５ａ，６５ｂ）の場合には、第１ベイヤ信号５１の合成位置の部分画素データ８２は、１ライン目にＢ，Ｇ，Ｂ，・・・・の順に画素の色が配置されている。一方で、第２ベイヤ信号５２は、１ライン目にＲ，Ｇ,Ｒ・・・・の順に画素の色が配置されている。従って、画素値変換部７５は、１ライン目の変換処理を、図９及び図１１に示す処理内容のそれぞれ対応した演算回路に第２注目画素６３の画素値を交互に入力することで実行できる。
また、例えば、部分画素データ８２は、２ライン目にＧ，Ｒ，Ｇ，・・・・の順に画素の色が配置されている。一方で、第２ベイヤ信号５２は、２ライン目にＧ，Ｂ,Ｇ・・・・の順に画素の色が配置されている。従って、画素値変換部７５は、２ライン目の変換処理を、図８及び図１０に示す処理内容のそれぞれ対応した演算回路に第２注目画素６３の画素値を交互に入力することで実行できる。このようにして、画素値変換部７５は、第２注目画素６３の画素値に周辺画素から算出した平均値を設定し画像合成部２２に出力する。画像合成部２２は、画素値変換部７５から入力される変換後の第２注目画素６３を第１ベイヤ信号５１の第１注目画素６２に合成する（置き換える）。
（ｃ）の場合について
画像処理装置１２ａは、（ｃ）の場合には図７に示すように第２ベイヤ信号５２を変換処理部７１にて変換（矢印６６ａ）し、変換後の第２ベイヤ信号５２ｂを第１ベイヤ信号５１に合成する（矢印６６ｂ）処理を実行する。
画像処理装置１２ａは、（ｃ）の場合には図７に示すように第２ベイヤ信号５２を変換処理部７１にて変換（矢印６６ａ）し、変換後の第２ベイヤ信号５２ｂを第１ベイヤ信号５１に合成する（矢印６６ｂ）処理を実行する。
図１２は、（ｃ）の場合において第１注目画素６２がＲ画素、第２注目画素６３がＧ画素（Ｒ画素が配置されたラインのＧ画素）の場合を示している。第２注目画素６３に設定する画素値ｒ１１は、第２注目画素６３の周辺画素の画素値（左のＲ１０，右のＲ１２）を用いて以下の演算式で表される。
ｒ１１＝（Ｒ１０＋Ｒ１２）／２
ｒ１１＝（Ｒ１０＋Ｒ１２）／２
同様に、図１３に示す第１注目画素６２がＢ画素（画素値Ｂ１１）、第２注目画素６３がＧ画素（画素値Ｇ１１）の場合には、変換後の画素値ｂ１１が以下の演算式で表される。
ｂ１１＝（Ｂ１０＋Ｂ１２）／２
ｂ１１＝（Ｂ１０＋Ｂ１２）／２
同様に、図１４に示す第１注目画素６２がＧ画素（Ｒ画素が配置されたラインのＧ画素）、第２注目画素６３がＲ画素（画素値Ｒ１１）の場合には、変換後の画素値ｇ１１が以下の演算式で表される。
ｇ１１＝（Ｇ０１＋Ｇ１０＋Ｇ１２＋Ｇ２１）／４
なお、図１５に示す第１注目画素６２がＢラインのＧ画素（画素値Ｇ１１）、第２注目画素６３がＢ画素（画素値Ｂ１１）の場合は、図１４の場合と同様であるため説明を省略する。
このようにして、画素値変換部７５は、（ｃ）の場合においても第２注目画素６３の画素値に第１注目画素６２の画素の色に応じた周辺画素の画素値の平均値を設定する。
ｇ１１＝（Ｇ０１＋Ｇ１０＋Ｇ１２＋Ｇ２１）／４
なお、図１５に示す第１注目画素６２がＢラインのＧ画素（画素値Ｇ１１）、第２注目画素６３がＢ画素（画素値Ｂ１１）の場合は、図１４の場合と同様であるため説明を省略する。
このようにして、画素値変換部７５は、（ｃ）の場合においても第２注目画素６３の画素値に第１注目画素６２の画素の色に応じた周辺画素の画素値の平均値を設定する。
（ｄ）の場合について
図１６は、（ｄ）の場合において第１注目画素６２がＲ画素、第２注目画素６３がＧ画素（Ｂ画素が配置されたラインのＧ画素）の場合を示している。第２注目画素６３に設定する画素値ｒ１１は、第２注目画素６３の周辺画素の画素値（上のＲ０１，下のＲ２１）を用いて以下の演算式で表される。
ｒ１１＝（Ｒ０１＋Ｒ２１）／２
図１６は、（ｄ）の場合において第１注目画素６２がＲ画素、第２注目画素６３がＧ画素（Ｂ画素が配置されたラインのＧ画素）の場合を示している。第２注目画素６３に設定する画素値ｒ１１は、第２注目画素６３の周辺画素の画素値（上のＲ０１，下のＲ２１）を用いて以下の演算式で表される。
ｒ１１＝（Ｒ０１＋Ｒ２１）／２
同様に、図１７に示す第１注目画素６２がＢ画素（画素値Ｂ１１）、第２注目画素６３がＧ画素（画素値Ｇ１１）の場合には、変換後の画素値ｂ１１が以下の演算式で表される。
ｂ１１＝（Ｂ０１＋Ｂ２１）／２
ｂ１１＝（Ｂ０１＋Ｂ２１）／２
同様に、図１８に示す第１注目画素６２がＧ画素（Ｒ画素が配置されたラインのＧ画素）、第２注目画素６３がＢ画素（画素値Ｂ１１）の場合には、変換後の画素値ｇ１１が以下の演算式で表される。
ｇ１１＝（Ｇ０１＋Ｇ１０＋Ｇ１２＋Ｇ２１）／４
なお、図１９に示す第１注目画素６２がＧ画素（Ｂ画素が配置されたラインのＧ画素）、第２注目画素６３がＲ画素（画素値Ｒ１１）の場合は、図１８の場合と同様であるため説明を省略する。
このようにして、画素値変換部７５は、（ｄ）の場合においても第２注目画素６３の画素値に第１注目画素６２の画素の色に応じた周辺画素の画素値の平均値を設定する。
ｇ１１＝（Ｇ０１＋Ｇ１０＋Ｇ１２＋Ｇ２１）／４
なお、図１９に示す第１注目画素６２がＧ画素（Ｂ画素が配置されたラインのＧ画素）、第２注目画素６３がＲ画素（画素値Ｒ１１）の場合は、図１８の場合と同様であるため説明を省略する。
このようにして、画素値変換部７５は、（ｄ）の場合においても第２注目画素６３の画素値に第１注目画素６２の画素の色に応じた周辺画素の画素値の平均値を設定する。
以上、記述したように、第２実施形態によれば、以下の効果を奏する。
（１）画像処理装置１２ａの変換処理部７１は、第１及び第２注目画素６２，６３の各々に対応するカラーフィルタの色が異なる場合に、第２注目画素６３の周辺画素のうち第１注目画素６２に対応する色と同色となる周辺画素の画素値に基づいて第２注目画素６３の画素値を算出する処理を実行する。この結果、第１及び第２注目画素６２，６３の色が異なる場合の第１及び第２ベイヤ信号５１，５２の合成処理が可能となる。つまり、メモリ１３に対するアクセス頻度を抑えることが可能なベイヤ形式の画像合成処理を、画素位置の制限を受けることなく処理できる。
（１）画像処理装置１２ａの変換処理部７１は、第１及び第２注目画素６２，６３の各々に対応するカラーフィルタの色が異なる場合に、第２注目画素６３の周辺画素のうち第１注目画素６２に対応する色と同色となる周辺画素の画素値に基づいて第２注目画素６３の画素値を算出する処理を実行する。この結果、第１及び第２注目画素６２，６３の色が異なる場合の第１及び第２ベイヤ信号５１，５２の合成処理が可能となる。つまり、メモリ１３に対するアクセス頻度を抑えることが可能なベイヤ形式の画像合成処理を、画素位置の制限を受けることなく処理できる。
（２）変換処理部７１は、第２注目画素６３と隣り合う画素を周辺画素として設定し、この周辺画素の画素値の平均値を第２注目画素６３の画素値として設定する。これにより、第２注目画素６３に近接する画素から画素値を算出することで、変換後の第２注目画素６３の画素値が精度よく算出できる。
（３）レジスタ部７２は、レジスタＲ１〜Ｒ３の値がＣＰＵ２６により設定される。制御処理部７３は、レジスタＲ１の値に基づいてメモリ１３からバッファ部７４に第２注目画素６３を含む部分画像を出力する制御を行う。また、制御処理部７３は、レジスタＲ１，Ｒ３の値を画素値変換部７５に出力し、画素値変換部７５がレジスタＲ１，Ｒ３の値に基づいてバッファ部７４から部分画像を入力し第２注目画素６３の画素値を変換する処理を実行する。このような構成では、ＣＰＵ２６による制御が容易な変換処理部７１が構成できる。
（４）レジスタＲ２，Ｒ３の値には、第１及び第２ベイヤ信号５１，５２の画素のタイプと、合成位置情報ＣＩに関する情報が含まれている。画素値変換部７５は、レジスタＲ２，Ｒ３の値に基づいて第１及び第２ベイヤ信号５１，５２の重畳される態様を検出できる。その結果、画素値変換部７５は、各場合（（ａ）〜（ｄ）の場合）に応じた演算回路を択一的に選択することが可能となり、画素値の変換処理を効率よく実行することが可能となる。
（５）画素値変換部７５は、第２注目画素６３の変換後の画素値を隣り合う周辺画素のうち第１注目画素６２と同色の周辺画素の画素値から算出する。これを踏まえ、第２ベイヤ信号５２は、有色の画素の周りに透明の画素が設定されている（図７参照）。これにより、第２ベイヤ信号５２の画素値の変換処理をより適切な範囲で実施することができる。
（第３実施形態）
図２０は、第３実施形態のブロック図である。第３実施形態は、第２実施形態の構成に逆ガンマ変換部７７を付加した構成となっている。ここで、撮像部１１が出力するデータは入射光の光量に比例した値となる。従って、第１ベイヤ信号５１は線形的な値となる。一方で、メモリ１３に格納される第２ベイヤ信号５２を含む画像データは、ガンマ変換部４２によりガンマ補正が施された非線形的なデータである場合が多い。
図２０は、第３実施形態のブロック図である。第３実施形態は、第２実施形態の構成に逆ガンマ変換部７７を付加した構成となっている。ここで、撮像部１１が出力するデータは入射光の光量に比例した値となる。従って、第１ベイヤ信号５１は線形的な値となる。一方で、メモリ１３に格納される第２ベイヤ信号５２を含む画像データは、ガンマ変換部４２によりガンマ補正が施された非線形的なデータである場合が多い。
第３実施形態の画像処理装置１２ｂでは、図２０に示すように、メモリ１３から変換処理部７１に読み込まれる第２ベイヤ信号５２に対し逆ガンマ補正を施す逆ガンマ変換部７７が設けられている。逆ガンマ変換部７７は、第２ベイヤ信号５２に対してあらかじめ施されたガンマ補正を相殺する逆ガンマ補正を施す処理を実行する。
以上、記述したように、第３実施形態によれば、以下の効果を奏する。
（１）逆ガンマ変換部７７は、メモリ１３から第２ベイヤ信号５２を入力し逆ガンマ補正を施し変換処理部７１に出力する処理を実行する。これにより、例えば、第３ベイヤ信号を表示部１６に表示した場合に、第１ベイヤ信号５１に相当する部分と第２ベイヤ信号５２に相当する部分との間にデバイス特性によって生じる輝度の差等が低減できる。
（１）逆ガンマ変換部７７は、メモリ１３から第２ベイヤ信号５２を入力し逆ガンマ補正を施し変換処理部７１に出力する処理を実行する。これにより、例えば、第３ベイヤ信号を表示部１６に表示した場合に、第１ベイヤ信号５１に相当する部分と第２ベイヤ信号５２に相当する部分との間にデバイス特性によって生じる輝度の差等が低減できる。
また、撮像部１１は画像入力装置の一例として、画像処理装置１２は画像合成装置の一例として、メモリ１３はメモリの一例として、ＣＰＵ２６は制御部の一例として、第１ベイヤ信号５１は第１画像信号の一例として、第２ベイヤ信号５２は第２画像信号の一例として、第３ベイヤ信号は第３画像信号の一例として挙げられる。
尚、本願に開示される技術は前記各実施形態に限定されるものではなく、趣旨を逸脱しない範囲内での種々の改良、変更が可能であることは言うまでもない。
例えば、上記第２、第３実施形態では、変換処理部７１は、第２注目画素６３の画素値を対応する周辺画素の全ての画素値を使って求めた。これに対し、任意の画素値を用いて算出するようにしてもよい。
また、変換処理部７１は、第２注目画素６３と隣り合う画素を演算に用いたが、これに限定されず、近接する他の画素を用いてもよい。この場合、メモリ１３からバッファ部７４に入力する部分画像（第２注目画素６３を中央とした画像）の画素数を適宜変更する。
例えば、上記第２、第３実施形態では、変換処理部７１は、第２注目画素６３の画素値を対応する周辺画素の全ての画素値を使って求めた。これに対し、任意の画素値を用いて算出するようにしてもよい。
また、変換処理部７１は、第２注目画素６３と隣り合う画素を演算に用いたが、これに限定されず、近接する他の画素を用いてもよい。この場合、メモリ１３からバッファ部７４に入力する部分画像（第２注目画素６３を中央とした画像）の画素数を適宜変更する。
また、上記各実施形態において、画像合成部２２は、第１ベイヤ信号５１に対し複数の第２ベイヤ信号（文字やメニュー表示やＣＧ画像等）を合成する構成としてもよい。また、合成処理を複数回実行する構成としてもよい。
また、上記各実施形態において、撮像素子１１ａを構成する複数の画素についてＲＧＢのカラーフィルタを介したベイヤ配列とし、第１ベイヤ信号５１をベイヤ形式のデータとして扱ったが、第１ベイヤ信号５１は補間処理前のデータ（ＲＡＷデータ）であればよく、他の配列のデータであってもよい。例えば、ハニカム配列でもよい。またベイヤ配列についても、他の配列（ダブルベイヤ配列等）を用いてもよい。この場合、第２ベイヤ信号５２のデータ形式についても第１ベイヤ信号５１のデータ形式に応じて適宜変更する。
また、上記第３実施形態の構成において変換処理部７１を省略した構成としてもよい。言い換えると、第１実施形態の構成に逆ガンマ変換部７７を付加した構成としてもよい。
また、画像合成部２２は、Ａ／Ｄ変換回路１１ｂから出力されるベイヤ信号を第１ベイヤ信号として用いてもよい。この場合、プリプロセス処理部２１を省略した構成とすることができる。
また、画像合成部２２は、Ａ／Ｄ変換回路１１ｂから出力されるベイヤ信号を第１ベイヤ信号として用いてもよい。この場合、プリプロセス処理部２１を省略した構成とすることができる。
また、撮像部１１を複数備えた構成としてもよい。この場合、各撮像部１１に対応して画像処理装置１２をそれぞれ備えた構成としてもよい。
以下、本願に開示される技術の諸態様を付記としてまとめる。
（付記１）
画像入力装置から入力される第１画像信号と、メモリに格納される第２画像信号とを合成する画素位置の情報を含む合成位置情報を指示する制御部と、
前記合成位置情報に基づいて、前記第１画像信号の第１注目画素と前記第２画像信号の第２注目画素との間で、前記第１注目画素に対応する色と、前記第２画像信号の第２注目画素に対応する色とが異なる場合に、前記第２注目画素の周辺画素のうち前記第１注目画素に対応する色と同色となる前記周辺画素の画素値に基づいて前記第２注目画素の画素値を設定する変換処理部と、
前記合成位置情報に基づいて、前記第１注目画素の画素値に前記変換処理部により設定された前記第第２注目画素の画素値を合成し第３画像信号を生成する画像合成部と、
を備えたことを特徴とする画像合成装置。
（付記２）
前記変換処理部は、前記第２注目画素と隣り合う画素を前記周辺画素として設定し、前記周辺画素の画素値の平均値を算出して前記第２注目画素の画素値として設定する、
ことを特徴とする付記１に記載の画像合成装置。
（付記３）
前記変換処理部は、
前記制御部により値が設定されるレジスタ部と、
前記レジスタ部に設定された値に基づいて制御を行う制御処理部と、
前記制御処理部の制御に基づいて前記メモリから前記第２注目画素を含む前記第２画像信号の部分画像を入力するバッファ部と、
前記制御処理部から入力される前記レジスタ部に設定された値に基づいて前記バッファ部から前記部分画像を入力し前記部分画像の前記周辺画素から前記第２注目画素の画素値を算出して設定する画素値変換部と、
を備えたことを特徴とする付記１又は２に記載の画像合成装置。
（付記４）
前記レジスタ部は、前記第１及び第２画像信号の画素のタイプと前記合成位置情報とを含む値が前記制御部により設定され、
前記画素値変換部は、複数の演算回路を有し、前記レジスタ部に設定された前記第１及び第２画像信号の画素のタイプと前記合成位置情報とを含む値に基づいて前記第１及び第２画像信号の重畳される態様を検出し、検出結果に応じた演算回路を選択することを特徴とする付記１〜３のいずれか１つに記載の画像合成装置。
（付記５）
前記メモリから前記第２画像信号を入力し、前記第２画像信号に対して逆ガンマ補正を施して前記変換処理部に出力する逆ガンマ変換部を備えたことを特徴とする付記１〜４のいずれか１つに記載の画像合成装置。
（付記６）
画像入力装置から入力される第１画像信号と、メモリに格納される第２画像信号とを合成する画素位置の情報を含む合成位置情報を指示し、
前記合成位置情報に基づいて、前記第１画像信号の第１注目画素に合成すべき前記第２画像信号の第２注目画素に対して、前記第１注目画素に対応する色と、前記第２注目画素に対応する色とが異なる場合に、前記第２注目画素の周辺画素のうち前記第１注目画素に対応する色と同色となる前記周辺画素の画素値に基づいて前記第２注目画素の画素値を設定し、
前記合成位置情報に基づいて、前記第１画像信号の第１注目画素の画素値に前記設定された第２注目画素の画素値を合成して第３画像信号を生成する、
ことを特徴とする画像合成方法。
（付記７）
前記第２画像信号は、有色の画素値が設定された画素の周囲に、透明の画素値が設定された画素が設けられたことを特徴とする付記１〜付記５のいずれかに記載の画像合成装置。
（付記８）
画像入力装置から入力される第１画像信号と、メモリに格納される第２画像信号とを合成する画素位置の情報を含む合成位置情報を指示する制御部と、
前記合成位置情報に基づいて、前記第１画像信号の第１注目画素と前記第２画像信号の第２注目画素との間で、前記第１注目画素に対応する色と、前記第２画像信号の第２注目画素に対応する色とが異なる場合に、前記第２注目画素の周辺画素のうち前記第１注目画素に対応する色と同色となる前記周辺画素の画素値に基づいて前記第２注目画素の画素値を設定する変換処理部と、
前記合成位置情報に基づいて、前記第１注目画素の画素値に前記変換処理部により設定された前記第第２注目画素の画素値を合成し第３画像信号を生成する画像合成部と、
を備えたことを特徴とする画像合成回路。
（付記１）
画像入力装置から入力される第１画像信号と、メモリに格納される第２画像信号とを合成する画素位置の情報を含む合成位置情報を指示する制御部と、
前記合成位置情報に基づいて、前記第１画像信号の第１注目画素と前記第２画像信号の第２注目画素との間で、前記第１注目画素に対応する色と、前記第２画像信号の第２注目画素に対応する色とが異なる場合に、前記第２注目画素の周辺画素のうち前記第１注目画素に対応する色と同色となる前記周辺画素の画素値に基づいて前記第２注目画素の画素値を設定する変換処理部と、
前記合成位置情報に基づいて、前記第１注目画素の画素値に前記変換処理部により設定された前記第第２注目画素の画素値を合成し第３画像信号を生成する画像合成部と、
を備えたことを特徴とする画像合成装置。
（付記２）
前記変換処理部は、前記第２注目画素と隣り合う画素を前記周辺画素として設定し、前記周辺画素の画素値の平均値を算出して前記第２注目画素の画素値として設定する、
ことを特徴とする付記１に記載の画像合成装置。
（付記３）
前記変換処理部は、
前記制御部により値が設定されるレジスタ部と、
前記レジスタ部に設定された値に基づいて制御を行う制御処理部と、
前記制御処理部の制御に基づいて前記メモリから前記第２注目画素を含む前記第２画像信号の部分画像を入力するバッファ部と、
前記制御処理部から入力される前記レジスタ部に設定された値に基づいて前記バッファ部から前記部分画像を入力し前記部分画像の前記周辺画素から前記第２注目画素の画素値を算出して設定する画素値変換部と、
を備えたことを特徴とする付記１又は２に記載の画像合成装置。
（付記４）
前記レジスタ部は、前記第１及び第２画像信号の画素のタイプと前記合成位置情報とを含む値が前記制御部により設定され、
前記画素値変換部は、複数の演算回路を有し、前記レジスタ部に設定された前記第１及び第２画像信号の画素のタイプと前記合成位置情報とを含む値に基づいて前記第１及び第２画像信号の重畳される態様を検出し、検出結果に応じた演算回路を選択することを特徴とする付記１〜３のいずれか１つに記載の画像合成装置。
（付記５）
前記メモリから前記第２画像信号を入力し、前記第２画像信号に対して逆ガンマ補正を施して前記変換処理部に出力する逆ガンマ変換部を備えたことを特徴とする付記１〜４のいずれか１つに記載の画像合成装置。
（付記６）
画像入力装置から入力される第１画像信号と、メモリに格納される第２画像信号とを合成する画素位置の情報を含む合成位置情報を指示し、
前記合成位置情報に基づいて、前記第１画像信号の第１注目画素に合成すべき前記第２画像信号の第２注目画素に対して、前記第１注目画素に対応する色と、前記第２注目画素に対応する色とが異なる場合に、前記第２注目画素の周辺画素のうち前記第１注目画素に対応する色と同色となる前記周辺画素の画素値に基づいて前記第２注目画素の画素値を設定し、
前記合成位置情報に基づいて、前記第１画像信号の第１注目画素の画素値に前記設定された第２注目画素の画素値を合成して第３画像信号を生成する、
ことを特徴とする画像合成方法。
（付記７）
前記第２画像信号は、有色の画素値が設定された画素の周囲に、透明の画素値が設定された画素が設けられたことを特徴とする付記１〜付記５のいずれかに記載の画像合成装置。
（付記８）
画像入力装置から入力される第１画像信号と、メモリに格納される第２画像信号とを合成する画素位置の情報を含む合成位置情報を指示する制御部と、
前記合成位置情報に基づいて、前記第１画像信号の第１注目画素と前記第２画像信号の第２注目画素との間で、前記第１注目画素に対応する色と、前記第２画像信号の第２注目画素に対応する色とが異なる場合に、前記第２注目画素の周辺画素のうち前記第１注目画素に対応する色と同色となる前記周辺画素の画素値に基づいて前記第２注目画素の画素値を設定する変換処理部と、
前記合成位置情報に基づいて、前記第１注目画素の画素値に前記変換処理部により設定された前記第第２注目画素の画素値を合成し第３画像信号を生成する画像合成部と、
を備えたことを特徴とする画像合成回路。
１１ 撮像部（画像入力装置）
１２ 画像処理装置（画像合成装置）
１３ メモリ
２２ 画像合成部
２３ 画像処理部
４１ 補間処理部
２６ ＣＰＵ（制御部）
５１ 第１ベイヤ信号（第１画像信号）
５２ 第２ベイヤ信号（第２画像信号）
６２ 第１注目画素
６３ 第２注目画素
７１ 変換処理部
７２ レジスタ部
７３ 制御処理部
７４ バッファ部
７５ 画素値変換部
ＣＩ 合成位置情報
Ｒ１〜Ｒ３ レジスタ
１２ 画像処理装置（画像合成装置）
１３ メモリ
２２ 画像合成部
２３ 画像処理部
４１ 補間処理部
２６ ＣＰＵ（制御部）
５１ 第１ベイヤ信号（第１画像信号）
５２ 第２ベイヤ信号（第２画像信号）
６２ 第１注目画素
６３ 第２注目画素
７１ 変換処理部
７２ レジスタ部
７３ 制御処理部
７４ バッファ部
７５ 画素値変換部
ＣＩ 合成位置情報
Ｒ１〜Ｒ３ レジスタ
Claims (3)
- 画像入力装置から入力される第１画像信号と、前記第１画像信号とは相関がなくメモリに格納される第２画像信号とを合成する画素位置の情報を含む合成位置情報を指示する制御部と、
前記合成位置情報に基づいて、前記第１画像信号の第１注目画素と前記第２画像信号の第２注目画素との間で、前記第１注目画素に対応する色と、前記第２画像信号の第２注目画素に対応する色とが異なる場合に、前記第２注目画素の周辺画素のうち前記第１注目画素に対応する色と同色となる前記周辺画素の画素値の平均値を算出して前記第２注目画素の画素値に設定する変換処理部と、
前記合成位置情報に基づいて、前記第１注目画素の画素値に前記変換処理部により設定された前記第２注目画素の画素値を合成し第３画像信号を生成する画像合成部と、
を備え、
前記変換処理部は、
前記制御部により値が設定されるレジスタ部と、
前記レジスタ部に設定された値に基づいて制御を行う制御処理部と、
前記制御処理部の制御に基づいて前記メモリから前記第２注目画素を含む前記第２画像信号の部分画像を入力するバッファ部と、
前記制御処理部から入力される前記レジスタ部に設定された値に基づいて前記バッファ部から前記部分画像を入力し前記部分画像の前記周辺画素から前記第２注目画素の画素値を算出して設定する画素値変換部と、
を備え、
前記レジスタ部には、前記第１及び第２画像信号の画素のタイプと前記合成位置情報とを含む値が前記制御部により設定され、
前記画素値変換部は、複数の演算回路を有し、前記レジスタ部に設定された前記第１及び第２画像信号の画素のタイプと前記合成位置情報とを含む値に基づいて前記第１及び第２画像信号の重畳される態様を検出し、前記検出した結果に応じた演算回路を選択することを特徴とする画像合成装置。 - 前記メモリから前記第２画像信号を入力し、前記第２画像信号に対して逆ガンマ補正を施して前記変換処理部に出力する逆ガンマ変換部を備えたことを特徴とする請求項１に記載の画像合成装置。
- 画像入力装置から入力される第１画像信号と、前記第１画像信号とは相関がなくメモリに格納される第２画像信号とを合成する画素位置の情報を含む合成位置情報を指示し、
前記合成位置情報に基づいて、前記第１画像信号の第１注目画素に合成すべき前記第２画像信号の第２注目画素に対して、前記第１注目画素に対応する色と、前記第２注目画素に対応する色とが異なる場合に、前記第２注目画素の周辺画素のうち前記第１注目画素に対応する色と同色となる前記周辺画素の画素値の平均値を算出して前記第２注目画素の画素値に設定し、
前記合成位置情報に基づいて、前記第１画像信号の第１注目画素に前記設定された第２注目画素を合成して第３画像信号を生成し、
前記第２注目画素の画素値を設定する際に、
指示した前記合成位置情報をレジスタ部に設定し、
前記レジスタ部に設定された値に基づいて制御を行い、
当該制御に基づいて前記メモリから前記第２注目画素を含む前記第２画像信号の部分画像をバッファ部に入力し、
前記レジスタ部に設定された値に基づいて前記バッファ部から前記部分画像を入力し前記部分画像の前記周辺画素から前記第２注目画素の画素値を算出して設定し、
前記レジスタ部には、前記第１及び第２画像信号の画素のタイプと前記合成位置情報とを含む値が設定され、
前記第２注目画素の画素値を算出して設定する際に、複数の演算回路を用意し、前記レジスタ部に設定された前記第１及び第２画像信号の画素のタイプと前記合成位置情報とを含む値に基づいて前記第１及び第２画像信号の重畳される態様を検出し、前記検出した結果に応じた演算回路を選択することを特徴とする画像合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012219562A JP6048046B2 (ja) | 2012-10-01 | 2012-10-01 | 画像合成装置及び画像合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012219562A JP6048046B2 (ja) | 2012-10-01 | 2012-10-01 | 画像合成装置及び画像合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014072846A JP2014072846A (ja) | 2014-04-21 |
| JP6048046B2 true JP6048046B2 (ja) | 2016-12-21 |
Family
ID=50747632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012219562A Active JP6048046B2 (ja) | 2012-10-01 | 2012-10-01 | 画像合成装置及び画像合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6048046B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6924723B2 (ja) * | 2018-06-12 | 2021-08-25 | マクセルフロンティア株式会社 | 画像処理装置及び撮像装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3800192B2 (ja) * | 2002-05-21 | 2006-07-26 | カシオ計算機株式会社 | 撮像装置、画像合成方法及び画像合成プログラム |
| JP2006157568A (ja) * | 2004-11-30 | 2006-06-15 | Konica Minolta Holdings Inc | 撮像装置およびプログラム |
| JP2011199786A (ja) * | 2010-03-23 | 2011-10-06 | Olympus Corp | 画像処理装置及び画像処理方法並びにプログラム |
-
2012
- 2012-10-01 JP JP2012219562A patent/JP6048046B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014072846A (ja) | 2014-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5962328B2 (ja) | データ転送装置、データ転送方法、及び半導体装置 | |
| JP4971442B2 (ja) | ピクセルデータ変換のための画像処理装置及び方法 | |
| US8861846B2 (en) | Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image | |
| US20120050309A1 (en) | Display control apparatus and display control method | |
| JP4263190B2 (ja) | 映像合成回路 | |
| JP5948508B2 (ja) | ビデオプロセッサ、ビデオプロセッサの作動方法 | |
| JP6948810B2 (ja) | 画像処理システム | |
| US8565542B2 (en) | Data processing apparatus and data processing method | |
| US8482438B2 (en) | Data processing device and data processing method | |
| JP6048046B2 (ja) | 画像合成装置及び画像合成方法 | |
| JP6739257B2 (ja) | 画像処理装置とその制御方法及びプログラム | |
| JP4215014B2 (ja) | 画像処理装置および画像処理プログラム | |
| WO2017187508A1 (ja) | 表示処理装置および撮像装置 | |
| JP2001209789A (ja) | グラフィックアクセラレータおよび描画方法 | |
| CN113242413B (zh) | 抗锯齿的rccb滤镜阵列插值计算方法及系统 | |
| US8966145B2 (en) | Data conversion apparatus and method | |
| JP2012099993A (ja) | 画像処理装置および画像処理装置の動作方法 | |
| US20130021371A1 (en) | Image display apparatus and image display method | |
| US11763417B2 (en) | Semiconductor device and image processing system for processing regions of interest images | |
| US20120144150A1 (en) | Data processing apparatus | |
| US10475158B2 (en) | Image processing device | |
| JP2009260788A (ja) | 撮像装置 | |
| JP2006050584A (ja) | 画像処理装置 | |
| JP2018067893A (ja) | 画像処理装置及び画像処理方法 | |
| WO2014097482A1 (ja) | ピクセル合成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20150605 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150701 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20151215 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20151217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160420 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160426 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161025 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161107 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6048046 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |