JP4924699B2 - 画像処理装置 - Google Patents

Description

本発明は、携帯電話機やデジタルカメラ等の画像処理装置に関するもので、特に、背景画や前景画などのテンプレート画像と他の画像との合成に関する。

テンプレート画像と被写体画像を合成して位置合わせ用の表示を行い、構図を決定している画像処理装置がある（例えば、特許文献１参照。）。

この特許文献１の画像処理装置にあっては、複数のテンプレート画像から１つのテンプレート画像を選択する時には、複数のテンプレート画像全画像を低解像度にして選択用表示を行い、応答速度の向上を図っている。また、選択したテンプレート画像と被写体画像とを位置合わせする時には、高解像度のままで両画像を合成して、モニタの解像度に合わせて位置合わせ用表示を行って、位置合わせを行った後、両画像の合成画像をメモリに保存する時には、カメラの解像度に合わせた高解像度で保存している。

また、２つの画像を合成して位置合わせ用表示を行い、構図を決定している撮像装置がある（例えば、特許文献２参照。）。

この特許文献２の撮像装置にあっては、２つの画像の位置合わせ用表示を行う時は、２つの画像共に高解像度のままで合成して、ＬＣＤに表示している。この時、２つの画像の位置合わせは、座標演算処理で行っており、この処理速度を速くするために、一方の画像の輝度情報をある閾値で区切って、座標演算処理の簡素化を行っている。

特開２００２−２１８２１２号公報（第１０−１１頁、図４−図６） 特開平１１−１９６３６２号公報（第１２−１４、１９、２０頁、図７−１０、１２、１３図）

ところで、上述した特許文献１に記載される従来技術の画像処理装置においては、テンプレート画像と被写体画像とを位置合わせする時には、高解像度のままで両画像を合成して位置合わせ用表示を行っている。ところが、高解像度のままで両画像を合成して表示するためには、ソフトウェアのみで処理する場合、処理速度が遅くて、構図合わせのユーザビリティが悪いという問題がある。一方、ハードウェアで処理するためには、ハードウェアが増加して部品実装の面積増大や価格アップとなり、携帯電話機やデジタルカメラのような小型で安価な装置には適用できないという問題がある。

また、上述した特許文献２に記載される従来技術の撮像装置においては、２つの画像の位置合わせ用表示を行う時には、２つの画像共に高解像度のままで合成して、ＬＣＤに表示している。そのため、特許文献１と同様な問題がある。

本発明は、上記の問題点を解決するためになされたもので、２つの画像の位置合わせ用表示を行う時には、処理速度が速くて、構図合わせのユーザビリティが良い画像処理装置を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、背景画又は前景画である第１の画像を記憶する第１の画像記憶手段と、前記第１の画像と合成される第２の画像を記憶する第２の画像記憶手段と、前記第１の画像の解像度を下げる低解像度変換手段と、前記第１の画像の解像度を下げた低解像度画像と前記第２の画像を合成して表示用合成画像を作成する表示用合成手段と、前記表示用合成画像を表示する表示手段とを具備し、前記低解像度画像の解像度は前記第２の画像の解像度よりも低いことを特徴とする。

本発明によれば、２つの画像の位置合わせ用表示を行う時には、一方のテンプレート画像の解像度が他方の被写体撮影中のカレント画像の解像度よりも低いことで、ハードウェアの増加なしに、他方の被写体撮影中のカレント画像は高解像度のままで、表示用合成画像をハードウェアにより作成して高速表示ができる。このことにより、構図合わせのユーザビリティが良い。

本発明の実施例に係るカメラを有する携帯電話機の画像処理に関する主要部のブロック図。 本発明の各実施例に係るテンプレート画像を作成する説明図。 本発明の各実施例に係るテンプレート画像と被写体画像の合成を説明する図。

以下、本発明の実施例を、図面を参照して説明する。

図１〜図３は、本発明を携帯電話機に適用した実施例を示し、図１はカメラを有する携帯電話機の画像処理に関する主要部のブロック図、図２はテンプレート画像を作成する説明図、図３はテンプレート画像と被写体画像の合成を説明する図である。

図１は、カメラを有する携帯電話機の画像処理に関する主要部のブロック図を示す。携帯電話機の画像処理に関する主要部は、カメラユニット１、シャッターボタン２、制御部３、ＬＣＤコントローラ４、ＬＣＤ５、ガイドフレームメモリ６、テンプレート画像メモリ７、カレント画像メモリ８、確定合成画像メモリ９などにより構成されている。

更に、制御部３は、図示しないＣＰＵ、プログラムメモリ、Ｉ／Ｏなどにより構成されて、画像処理、通信処理、ユーザーインターフェース処理などをソフトウェアにより行う。また、ＬＣＤコントローラ４は、主画像メモリ４１、小容量の副画像メモリ４２、ＬＣＤ制御部４３などにより構成されて、ＬＣＤ５に表示するための画像処理を行う。

ＬＣＤコントローラ４とＬＣＤ５とのインターフェース４ａは、制御線や信号線の本数が多い。そのために、ＬＣＤコントローラ４とＬＣＤ５は、同じＬＣＤユニット内に実装される。携帯電話機やデジタルカメラ等の小型の画像処理装置では、ＬＣＤユニットを大きくできないために、ＬＣＤコントローラ４のメモリも大容量を備えることができない。そのため、副次的な目的で使用する副画像メモリ４２の容量は小容量となっている。

次に、携帯電話機の各部の機能について、図２、図３も用いて説明する。

（テンプレート画像の作成）
まず、合成する２つの画像の内の一方の画像であるテンプレート画像を作成する機能について説明する。ユーザー（使用者）は、キー（図示せず）を操作して、携帯電話機を撮影モードにする。そして、携帯電話機のカメラを被写体Ａ（図２（ａ））に向ける。

この時、被写体Ａは、カメラユニット１により撮影されて、高解像度の被写体画像が制御部３へ送出される。この被写体画像は、ユーザーがカメラの向きを変えると構図が変わって常時変化するカレント画像である。制御部３は、この被写体画像をＬＣＤコントローラ４の主画像メモリ４１へ送出する。ＬＣＤコントローラ４のＬＣＤ制御部４３は、主画像メモリ４１の被写体画像を読み出して、ＬＣＤ５の画素配置に合わせた変換等を行って、ＬＣＤ５へ被写体画像を送出する。ＬＣＤ５はこれを表示する。

この表示画像は、カメラの向きにより構図が変化する。ユーザーは、所望の構図となった時に、シャッターボタン２を押す。制御部３は、シャッターボタン２が押された時のカメラユニット１からの被写体画像である被写体Ａ（図２（ａ））をカレント画像メモリ８又は他のＳＤカード（図示せず）などの外部メモリに保存する。

次に、ユーザーは、キーを操作して、ガイドフレーム表示モードにする。制御部３は、ガイドフレームメモリ６にある複数のガイドフレーム画像（図示せず）を読み出して、ＬＣＤコントローラ４を経由して、ＬＣＤ５に表示する。ユーザーは、被写体Ａ（図２（ａ））の顔の部分を抽出する目的の場合、その顔の輪郭に近いガイドフレーム（図２（ｂ））を複数のガイドフレーム画像の中からキーを操作して選択する。

制御部３の輪郭抽出処理部（図示せず）は、カレント画像メモリ８に記憶されている被写体Ａ（図２（ａ））と、選択されたガイドフレーム（図２（ｂ））を基に、輪郭抽出処理を行い、顔の輪郭部を抽出する。この輪郭抽出処理については、様々な方法が公開されており、例えば、特開２００１−１８８９１０号公報などがある。

次に、制御部３のテンプレート画像作成部（図示せず）は、抽出された顔の輪郭部を被写体Ａ（図２（ａ））から中抜きした中抜きテンプレート画像（図２（ｃ））を作成する。この時、中抜きした顔の部分をピンク色に変換する。この中抜きテンプレート画像（図２（ｃ））は、フレーム（外枠や背景）として使用される画像であり、ピンク色である中抜きの顔の部分に他の画像を合成する目的で使用される。

また、制御部３のテンプレート画像作成部は、顔の輪郭部の外側を抜いた外抜きテンプレート画像（図２（ｄ））を作成する。この時、外抜きした部分をピンク色に変換する。この外抜きテンプレート画像（図２（ｄ））は、スタンプ（前景）として使用される画像であり、ピンク色である外抜き部分に他の画像を合成する目的で使用される。

制御部３は、中抜きテンプレート画像（図２（ｃ））及び外抜きテンプレート画像（図２（ｄ））を、テンプレート画像メモリ７に記憶する。

この中抜きテンプレート画像（図２（ｃ））及び外抜きテンプレート画像（図２（ｄ））は、カメラユニット１により撮影された被写体Ａ（図２（ａ））と同様に、高解像度の画像である。

（テンプレート画像と被写体画像の合成表示）
次に、合成する２つの画像の内の他方の画像である被写体画像と、前述のテンプレート画像の合成表示について説明する。テンプレート画像は、外抜きテンプレート画像（図２（ｄ））の場合について説明する。

ユーザーは、キーを操作して、携帯電話機を画像合成モードにする。制御部３は、テンプレート画像メモリ７に記憶されている複数のテンプレート画像を読み出して、ＬＣＤ５に表示する。ユーザーは、複数のテンプレート画像の中から外抜きテンプレート画像（図２（ｄ））を選択する。

制御部３は、このテンプレート画像メモリ７に記憶されている高解像度の外抜きテンプレート画像（図２（ｄ））を、ＬＣＤコントローラ４の副画像メモリ４２へ送出する。高解像度として、例えば、画像１ドットあたり８ビットの色情報だとする。ところが、副画像メモリ４２は小容量のメモリであり、例えば、画像１ドットあたり４ビットの色情報を記憶する容量を備えている。

この時、８ビットの色情報の内、上位４ビットの色情報のみが副画像メモリ４２に書き込まれるように、制御部３とＬＣＤコントローラ４の接続ハードを構成している。このことにより、色情報の減色が行われる。但し、外抜きのピンク色部分は、上位ビットのみの単一階調であり、そのままピンク色が保持される。

この結果、副画像メモリ４２には、図３（ｂ）に示す減色した低解像度の外抜きテンプレート画像が記憶される。

なお、８ビットを上位４ビットに減らす処理は、ハードウェアで実行する以外にも、ソフトウェア処理により、高解像度の外抜きテンプレート画像（図２（ｄ））を、図３（ｂ）に示す減色した低解像度の外抜きテンプレート画像に一旦変換し、そして、低解像度の外抜きテンプレート画像（図３（ｂ））をＬＣＤコントローラ４の副画像メモリ４２へ送出してもよい。

また、低解像度への変換は、色情報の減色に限らず、画像１ドットの面積変換などの他の変換方法であっても良く、情報量が減少すればよい。

次に、ユーザーは、携帯電話機のカメラを被写体Ｂ（図３（ａ））に向ける。

この時、被写体Ｂは、カメラユニット１により撮影されて、高解像度の被写体画像が制御部３へ常時送出される。この被写体画像は、ユーザーがカメラの向きを変えると構図が変わって画像が常時変化するカレント画像である。制御部３は、この被写体画像をＬＣＤコントローラ４の主画像メモリ４１へ送出する。

ＬＣＤコントローラ４のＬＣＤ制御部４３は、主画像メモリ４１に常時書き込まれる被写体Ｂ（図３（ａ））のカレント画像と、副画像メモリ４２の減色した低解像度の外抜きテンプレート画像（図３（ｂ））とを以下に説明する方法で合成する。

ＬＣＤ制御部４３は、外抜きテンプレート画像（図３（ｂ））のピンク色検出手段を有しており、画素毎に、ピンク色検出を行う。そして、ピンク色を検出した画素については、主画像メモリ４１の被写体Ｂ（図３（ａ））のカレント画像の該当する画素をＬＣＤ５へ送出する。

また、ＬＣＤ制御部４３は、外抜きテンプレート画像（図３（ｂ））のピンク色以外の画素については、副画像メモリ４２の外抜きテンプレート画像（図３（ｂ））の該当する画素をＬＣＤ５へ送出する。つまり、外抜きテンプレート画像（図３（ｂ））の顔の部分がＬＣＤ５へ送出される。

この合成処理ハードウェアは、ピンク色検出デコーダ（図示せず）、及び２つの画像のいずれかを選択するマルチプレクサ（図示せず）により簡単に構成される。しかもハードウェアであるため、この合成処理及び表示は高速で行われる。

その結果、ＬＣＤ５には、図３（ｃ）に示す合成画像が表示される。ユーザーは、この合成画像を見ながら、カメラの向きを変えて、被写体Ｂのアングルを変える。この時、アングルを変えて常に変化する被写体Ｂの高解像度のカレント画像と、低解像度の固定のテンプレート画像との合成表示は、高速で行われるために、ユーザーは違和感なく、ユーザビリティのよい状態で位置合わせを行うことができる。テンプレート画像は低解像度であるが、位置合わせを行う目的のためには、何ら問題はない。

そして、図３（ｄ）に示すように、ユーザーは、外抜きテンプレート画像（図３（ｂ））の顔の部分と、被写体Ｂ（図３（ａ））の顔の部分の位置が合って、所望の構図となった時に、シャッターボタン２を押して位置合わせが確定する。

（テンプレート画像と被写体画像の合成保存）
次に、シャッターボタン２が押された時のカレント画像と、前述のテンプレート画像の合成保存について説明する。制御部３は、シャッターボタン２が押された時、その時点のカメラユニット１からのカレント画像である被写体Ｂ（図３（ａ））をカレント画像メモリ８に一旦記憶する。

次に、制御部３は、カレント画像メモリ８に一旦記憶してある確定した被写体Ｂ（図３（ａ））の高画質画像と、テンプレート画像メモリ７に保存してある高画質の外抜きテンプレート画像（図２（ｄ））を読み出す。そして、ソフトウェア処理により以下に説明するように合成する。

制御部３は、外抜きテンプレート画像（図２（ｄ））の画素毎に、ピンク色検出を行う。そして、ピンク色を検出した画素については、カレント画像メモリ８の被写体Ｂ（図３（ａ））の該当する画素を確定合成画像メモリ９に保存する。

また、制御部３は、外抜きテンプレート画像（図２（ｄ））のピンク色以外の画素については、外抜きテンプレート画像（図２（ｄ））の該当する画素を確定合成画像メモリ９に保存する。つまり、外抜きテンプレート画像（図２（ｄ））の顔の部分が確定合成画像メモリ９に保存される。これを全画素について行うことにより、高画質の確定合成画像（図３（ｅ））が確定合成画像メモリ９に保存される。

次に、この高解像度の確定合成画像の表示は、制御部３は、確定合成画像メモリ９に保存してある確定合成画像（図３（ｅ））を読み出して、ＬＣＤコントローラ４の主画像メモリ４１へ送出する。ＬＣＤコントローラ４のＬＣＤ制御部４３は、主画像メモリ４１の確定合成画像を読み出して、ＬＣＤ５の画素配置に合わせた変換等を行って、ＬＣＤ５へ被写体画像を送出する。ＬＣＤ５はこれを表示する。

なお、上述した実施例では、テンプレート画像は、外抜きテンプレート画像（図２（ｄ））を使用したが、中抜きテンプレート画像（図２（ｃ））を使用する場合も、同様に行うことができる。

また、上述した実施例では、カレント画像を高画質表示し、テンプレート画像を低画質表示したが、逆に、カレント画像を低画質表示し、テンプレート画像を高画質表示してもよい。そのためには、制御部３は、カレント画像をＬＣＤコントローラ４の副画像メモリ４２へ送出し、テンプレート画像をＬＣＤコントローラ４の主画像メモリ４１へ送出すればよい。

このように、実施例によれば、ハードウェアの増加なしに、２つの画像を高速で合成表示し、ユーザーは、位置合わせを高速で行うことができ、又、位置合わせ後は、高解像度の画像を保存することができる。

なお、上述した実施例では、合成する２つの画像の一方は、ユーザーがカメラの向きを変えると構図が変わって画像が常時変化するカレント画像（図３（ａ））であったが、固定された画像であってもよい。たとえば、複数の商品である「かつら」の固定画像が既に他方のテンプレート画像（図３（ｂ））と既に位置合わせされた構図として備えられている場合、「かつら」の固定画像と他方のテンプレート画像（図３（ｂ））の顔の部分とを高速で合成表示し、順次、複数の「かつら」の固定画像に切り換えて表示を行うことができる。そして、ユーザーは気に入った「かつら」を選択することができる。

このように、ハードウェアの増加なしに、合成する２つの画像を高速で合成して表示することができる。又、合成画像を決定後は、高解像度の合成画像として保存することができる。

１ カメラユニット
２ シャッターボタン
３ 制御部
４ ＬＣＤコントローラ
５ ＬＣＤ
６ ガイドフレームメモリ
７ テンプレート画像メモリ
８ カレント画像メモリ
９ 確定合成画像メモリ
４１ 主画像メモリ
４２ 小容量の副画像メモリ
４３ ＬＣＤ制御部

Claims (6)

1. 背景画又は前景画である第１の画像を記憶する第１の画像記憶手段と、
   前記第１の画像と合成される第２の画像を記憶する第２の画像記憶手段と、
   前記第１の画像の解像度を下げる低解像度変換手段と、
   前記第１の画像の解像度を下げた低解像度画像と前記第２の画像を合成して表示用合成画像を作成する表示用合成手段と、
   前記表示用合成画像を表示する表示手段と
   を具備し、
   前記低解像度画像の解像度は前記第２の画像の解像度よりも低いことを特徴とする画像処理装置。
2. 背景画又は前景画である第１の画像を記憶する第１の画像記憶手段と、
   前記第１の画像と合成される第２の画像を記憶する第２の画像記憶手段と、
   前記第２の画像の解像度を下げる低解像度変換手段と、
   前記第２の画像の解像度を下げた低解像度画像と前記第１の画像を合成して表示用合成画像を作成する表示用合成手段と、
   前記表示用合成画像を表示する表示手段と
   を具備し、
   前記低解像度画像の解像度は前記第１の画像の解像度よりも低いことを特徴とする画像処理装置。
3. 背景画又は前景画であるテンプレート画像を記憶するテンプレート画像記憶手段と、
   カメラアングルにより常時変化する被写体のカレント画像を出力する撮影手段と、
   前記テンプレート画像の解像度を下げる低解像度変換手段と、
   前記テンプレート画像の解像度を下げた低解像度テンプレート画像と前記カレント画像を合成して表示用合成画像を作成する表示用合成手段と、
   前記表示用合成画像を表示する表示手段と
   を具備し、
   前記低解像度画像の解像度は前記カレント画像の解像度よりも低いことを特徴とする画像処理装置。
4. 背景画又は前景画であるテンプレート画像を記憶するテンプレート画像記憶手段と、
   カメラアングルにより常時変化する被写体のカレント画像を出力する撮影手段と、
   前記カレント画像の解像度を下げる低解像度変換手段と、
   前記カレント画像の解像度を下げた低解像度カレント画像と前記テンプレート画像を合成して表示用合成画像を作成する表示用合成手段と、
   前記表示用合成画像を表示する表示手段と
   を具備し、
   前記低解像度画像の解像度は前記テンプレート画像の解像度よりも低いことを特徴とする画像処理装置。
5. さらに、前記低解像度画像を記憶する第３の画像記憶手段を備え、
   前記低解像度変換手段は、
   前記第１の画像記憶手段の第１の画像の解像度を表すビット数の内、前記第３の画像記憶手段の容量に合わせて、上位側の複数のビット分の第１の画像を前記低解像度画像として、前記第３の画像記憶手段に記憶させ、
   前記表示用合成手段は、
   前記低解像度画像と前記第２の画像を合成して前記表示手段に表示させることを特徴とする請求項１記載の画像処理装置。
6. さらに、前記低解像度画像を記憶する第３の画像記憶手段を備え、
   前記低解像度変換手段は、
   前記テンプレート画像記憶手段のテンプレート画像の解像度を表すビット数の内、前記第３の画像記憶手段の容量に合わせて、上位側の複数のビット分のテンプレート画像を前記低解像度画像として、前記第３の画像記憶手段に記憶させ、
   前記表示用合成手段は、
   前記低解像度画像と前記カレント画像を合成して前記表示手段に表示させることを特徴とする請求項３記載の画像処理装置。

Images