JP5459771B2 - 電子機器、画像処理方法およびプログラム - Google Patents

Description

本発明は、撮影機能を有する電子機器、撮像された画像データを処理する画像処理方法および画像処理のためのプログラムに関する。

従来、静止画を撮影する電子撮像装置（デジタルカメラ）を用いて撮影した画像を処理ないしは加工する技術が種々存在する。例えばデジタルカメラを用いて背景内に被写体が存在する画像を撮影し、その後に背景内に被写体が存在しない背景画像を撮影して、背景画像と被写体が存在する画像から差分情報を生成し、被写体のみを切り抜くようにした画像処理技術に関する発明もその一つである（例えば、特許文献１）。

特開平１０−２１４０８号公報

前記特許文献１に開示されている技術を適用したデジタルカメラにあっては、撮影の主対象である物や人物等の被写体を背景画像から切り抜くには、被写体が入った画像を撮影した後、カメラを動かさないようにしたまま被写体を移動させて被写体が存在しない画像を撮影するという操作、つまり少なくとも２回の撮影操作が必要でありユーザの手数が多くなって面倒であるという課題がある。

この発明の目的は、被写体の切り抜き画像を１回の撮影操作で得ることができる電子機器、画像処理方法およびプログラムを提供することにある。

この発明の他の目的は、予め登録しておいた被写体に対してその切り抜き画像を１回の撮影操作で得ることができる電子機器、画像処理方法およびプログラムを提供することにある。

上記目的を達成するため請求項１に記載の発明は、
撮像手段と、
前記撮像手段による撮像範囲内に存在する一もしくは複数の被写体を認識する認識手段と、
前記撮像手段による１回目の撮像の後、前記認識手段により認識された被写体に変化があった否か判別可能な判別手段と、
前記判別手段により被写体に変化があったと判別された場合に、前記撮像手段による２回目の撮像を行い、前記１回目の撮像による画像と前記２回目の撮像による画像とに基づいて、前記変化があった被写体の画像を抽出する被写体抽出手段と、
を備えることを特徴としている。

請求項２に記載の発明は、請求項１に記載の発明において、
前記判別手段は、前記１回目の撮像の後、前記認識手段により認識された被写体の数が減少したか否かを判別し、
前記判別手段により被写体の数が減少したと判別された場合に、前記撮像手段による２回目の撮像を行い、
前記被写体抽出手段は、前記１回目の撮像による画像と前記２回目の撮像による画像とに基づいて、減少により存在しなくなった被写体の画像を抽出することを特徴としている。

請求項３に記載の発明は、請求項１に記載の発明において、
前記判別手段は、前記１回目の撮像の後、前記認識手段により認識された被写体の数が増加したか否かを判別し、
前記判別手段により被写体の数が増加したと判別された場合に、前記撮像手段による２回目の撮像を行い、
前記被写体抽出手段は、前記１回目の撮像による画像と前記２回目の撮像による画像とに基づいて、増加により新たに存在する被写体の画像を抽出することを特徴としている。

請求項４に記載の発明は、請求項１に記載の発明において、
予め抽出の対象となる被写体の画像を登録する登録手段をさらに備え、
前記判別手段は、前記１回目の撮像の後、前記登録手段により登録された画像に類似する被写体が前記撮像手段による撮像範囲内に存在するか否かを判別し、
前記判別手段により前記類似する被写体が存在しないと判別された場合に、前記撮像手段による２回目の撮像を行い、
前記被写体抽出手段は、前記１回目の撮像による画像と前記２回目の撮像による画像とに基づいて、存在しないと判別された被写体の画像を抽出することを特徴としている。

請求項５に記載の発明は、請求項３に記載の発明において、
識別情報と画像とを関連付けて記憶する記憶手段をさらに備え、
前記登録手段は、画像に代えて前記識別情報を登録可能であり、
前記判別手段は、前記登録手段により登録された画像または前記登録手段により登録された識別情報に対応する画像に類似する被写体が前記撮像手段による撮像範囲内に存在するか否かを判別し、
前記被写体抽出手段は、前記１回目の撮像による画像と前記２回目の撮像による画像とに基づいて、存在しないと判別された被写体の画像を抽出することを特徴としている。

請求項６に記載の発明は、請求項１に記載の発明において、
予め抽出の対象となる被写体の画像を登録する登録手段をさらに備え、
前記判別手段は、前記１回目の撮像の後、前記登録手段により登録された画像に類似する被写体が前記撮像手段による撮像範囲内に存在するか否かを判別し、
前記判別手段により前記類似する被写体が存在すると判別された場合に、前記撮像手段による２回目の撮像を行い、
前記被写体抽出手段は、前記１回目の撮像による画像と前記２回目の撮像による画像とに基づいて、存在すると判別された被写体の画像を抽出することを特徴としている。

請求項７に記載の発明は、請求項６に記載の発明において、
識別情報と画像とを関連付けて記憶する記憶手段をさらに備え、
前記登録手段は、画像に代えて前記識別情報を登録可能であり、
前記判別手段は、前記登録手段により登録された画像または前記登録手段により登録された識別情報に対応する画像に類似する被写体が前記撮像手段による撮像範囲内に存在するか否かを判別し、
前記被写体抽出手段は、前記１回目の撮像による画像と前記２回目の撮像による画像とに基づいて、存在すると判別された被写体の画像を抽出することを特徴としている。

請求項８に記載の発明は、請求項２〜４のいずれかに記載の発明において、
前記１回目の撮像による画像は動画像であることを特徴としている。

請求項９に記載の発明は、請求項２〜５のいずれかに記載の発明において、
前記被写体抽出手段により抽出された被写体画像と選択された背景画像とを合成した合成画像を生成する画像合成手段をさらに備えることを特徴としている。

請求項１０に記載の発明は、
撮像手段を備える電子機器における画像処理方法であって、
前記撮像手段による撮像範囲内に存在する一もしくは複数の被写体を、認識手段により認識する認識ステップと、
前記撮像手段による１回目の撮像の後、前記認識手段により認識された被写体に変化があった否かを、判別手段により判別する判別ステップと、
前記判別手段により被写体に変化があったと判別された場合に、前記撮像手段による２回目の撮像を行う撮像ステップと、
前記１回目の撮像による画像と前記２回目の撮像による画像とに基づいて、前記変化があった被写体の画像を抽出する被写体抽出ステップと、
を含むことを特徴としている。

請求項１１に記載の発明は、
撮像手段を備える電子機器を構成するマイクロプロセッサを、
前記撮像手段による撮像範囲内に存在する一もしくは複数の被写体を認識する認識手段、
前記撮像手段による１回目の撮像の後、前記認識手段により認識された被写体に変化があった否か判別可能な判別手段、
前記判別手段により被写体に変化があったと判別された場合に、前記撮像手段による２回目の撮像を行い、前記１回目の撮像による画像と前記２回目の撮像による画像とに基づいて、前記変化があった被写体の画像を抽出する被写体抽出手段、
として機能させることを特徴としている。

本発明によれば、撮影機能を有する電子機器において、被写体の切り抜き画像を１回の撮影操作で得ることができる。また、予め登録しておいた被写体についてその切り抜き画像を１回の撮影操作で得ることができるという効果がある。

本発明を適用した電子機器の一例としての携帯電話機の一実施形態を示すブロック図である。 撮像手段により撮影された画像および切り抜かれた画像の一例を示す画像説明図である。 図１の携帯電話機の撮像部および画像認識部の概略構成を示すブロック図である。 本発明を適用した第１の実施形態の携帯電話機において行う画像処理のための制御の前半部分を示すフローチャートである。 本発明を適用した第１の実施形態の携帯電話機において行う画像処理のための制御の後半部分を示すフローチャートである。 本発明を適用した第２の実施形態の携帯電話機における記憶部の構成を示す説明図である。 第２の実施形態の携帯電話機における画像の切り抜き方法を示す画像説明図である。 本発明を適用した第２の実施形態の携帯電話機において行う画像処理のための制御の前半部分を示すフローチャートである。 本発明を適用した第２の実施形態の携帯電話機において行う画像処理のための制御の後半部分を示すフローチャートである。 第３の実施形態の携帯電話機における撮像手段により撮影された画像および切り抜かれた画像の一例を示す画像説明図である。 本発明を適用した第３の実施形態の携帯電話機において行う画像処理のための制御の前半部分を示すフローチャートである。 第４の実施形態の携帯電話機における画像の切り抜き方法を示す画像説明図である。 本発明を適用した第４の実施形態の携帯電話機において行う画像処理のための制御の前半部分を示すフローチャートである。

以下、本発明の好適な実施の形態を図面に基づいて説明する。

図１は、本発明を適用した撮像機能を有する電子機器の一例としての携帯電話機の一実施形態のブロック図を示す。

図１に示すように、本実施形態の携帯電話機１０は、プログラムに従って機器全体を制御するとともに画像処理を行うＣＰＵ（マイクロプロセッサ）、ＣＰＵ（１１）が実行するプログラムや固定データを記憶する読み出し専用のＲＯＭ（リードオンリメモリ）、ＣＰＵ（１１）の作業領域やデータの一時的な記憶領域を提供する随時書き込み読み出し可能なＲＡＭ（ランダムアクセスメモリ）などからなる制御部１１と、テンキーやファンクションキーなどからなる操作部１２と、液晶表示パネルなどからなる表示部１３と、機器内部の電子部品に直流電源電圧を供給する電源部１４を備える。

また、携帯電話機１０は、スピーカ２１を駆動したりマイクロフォン２２からの音声信号を増幅してデジタル信号に変換したりする電話部１５と、フィルタやパワーアンプなどを備え送受信信号の変復調処理や無線通信で基地局との間の音声やデータの通信を行う通信部１６と、アドレス帳のデータや撮影した画像などを記憶する書込み可能な不揮発性メモリなどからなる記憶部１７と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサやレンズなどの光学系を有する撮像部１８と、撮像部１８により撮影された画像データを処理する画像認識部１９等を備え、これらがシステムバス２０を介して互いに接続されている。

図３には、撮像部１８と、撮像部１８により撮影された画像データを処理する画像認識部１９の概略構成が示されている。
撮像部１８は、複数のズームレンズやフォーカスレンズやレンズを光軸方向に移動させるレンズ駆動部からなるレンズ部１８１と、光電変換用のイメージセンサと該センサを走査駆動する駆動回路やタイミング発生回路などからなる電子撮像部１８２と、レンズ駆動部やイメージセンサを制御して画像信号を読み出す撮像制御部１８３とからなる。なお、撮像制御部１８３は、ＡＥ（自動露出処理）、ＡＦ（自動合焦処理）、ＡＷＢ（自動ホワイトバランス）等の撮像条件の調整制御も行う。

画像認識部１９は、電子撮像部１８２から出力された画像信号から１画面分ずつ画像フレームを生成する画像データ生成部１９１と、画像データ生成部１９１により生成された画像フレームを記憶する画像メモリ１９２と、特徴量演算部１９３、ブロックマッチング部１９４、画像処理部１９５、記録制御部１９６、表示制御部１９７などを備えている。図３には、前記操作部１２を構成する各種入力キーのうち、シャッタボタン１２１と選択決定ボタン１２２が示されている。

上記画像データ生成部１９１は、電子撮像部１８２から出力されたアナログ値の画像信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号データＣｂ，Ｃｒ（ＹＵＶデータ）を生成する。

生成された輝度信号Ｙ及び色差信号データＣｂ，Ｃｒは、図示しないＤＭＡコントローラによって、バッファメモリとして使用される画像メモリ１９２へＤＭＡ転送される。画像メモリ１９２は、例えばＤＲＡＭ等により構成され、特徴量演算部１９３と、ブロックマッチング部１９４と、画像処理部１９５と、制御部（ＣＰＵ）１１等によって処理されるデータ等を一時記憶する。特徴量演算部１９３は、背景画像を基準として、当該背景画像から特徴点を抽出する特徴抽出処理を行う。具体的には、特徴量演算部１９３は、例えば、背景画像のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレート（例えば、１６×１６画素の正方形）として抽出する。ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。

ブロックマッチング部１９４は、被写体切り抜き画像を生成する際に、図２（ａ）のような目的とする被写体Ｂが存在する画像ｆ１と図２（ｂ）のような被写体Ｂが存在しない画像（以下、背景画像と称する）ｆ２との位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部１９４は、特徴抽出処理にて抽出されたテンプレートが被写体存在画像ｆ１内のどこに対応するか、つまり、被写体存在画像ｆ１内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索する。

画像処理部１９５は、画像メモリ１９２に記憶された複数の画像フレーム（動画像を含む）に基づいて、背景内に被写体Ｂが存在するか否かを判定する判定機能を具備している。また、画像処理部１９５は、画像メモリ１９２に記憶された画像フレームの中から被写体Ｂが存在しない背景画像ｆ２及び被写体Ｂが存在する画像ｆ１とに基づいて、ブロックマッチング部１９４により抽出されたテンプレートを用いて位置合わせを行い、背景画像ｆ２と被写体存在画像ｆ１との間で対応する各画素の差分情報に基づいて、被写体存在画像ｆ１から被写体Ｂを切り抜く機能を有する。画像制御部１９６は、上記のようにして生成された切り抜き画像を記録部１７に記憶する。

表示制御部１９７はＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備え、画像メモリ１９２に一時的に記憶されている表示用画像データを読み出して表示部１３に表示させる制御を行う。具体的には、デジタルビデオエンコーダは、画像メモリ１９２から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１３に出力する。表示部１３は、表示制御部１９７から供給されるビデオ信号に基づいて、ライブビュー画像や撮像された画像、切り抜き画像など加工された画像を表示画面に表示する。

以上のような機能を有する本実施例の画像認識部１９においては、ユーザは特定の被写体が存在する画像ｆ１の撮像と被写体が存在しない画像ｆ２の撮像の２回の手順を踏むことなく、一度シャッタボタンを操作するだけで２つの画像を取得することができ、これらの画像を用いて被写体切り抜き画像Ｂの生成（被写体画像の抽出）を行うことができるようになっている。

次に、本発明を適用した撮像機能を有する携帯電話機の第１の実施形態における画像処理のための制御手順について、図４および図５のフローチャートを用いて説明する。
本実施形態は、画像認識部１９が、撮像部１８によって最初に撮像された画像フレームｆ１（図２（ａ））に基づいて、画像内に被写体が存在するか否かを判定し、存在すると判定した場合に、その後の撮像部１８からの画像フレームを監視し被写体が減少したか否かを判定し、減少したと判定した場合に、撮像部１８によって自動的に２回目の撮影を行う。そして、１回目と２回目に撮像された画像フレームｆ１とｆ２（図２（ａ）と（ｂ）参照）から画像間で対応する各画素の差分情報に基づいて、被写体存在画像ｆ１から被写体画像Ｂを抽出して切り抜き画像データ（図２（ｃ）参照）を生成できるようにするものである。

携帯電話機は通常状態は待ち受け状態であるため、制御部（ＣＰＵ）１１は、図４に示すように、待ち受け状態（ステップＳ１）から処理を開始し、先ず着信があるか否かを判定する（ステップＳ２）。着信があったときはオフフック操作があったか否かを判定する（ステップＳ３）。ステップＳ３でオフフック操作がない（＝ＮＯ）と判定したときはステップＳ２へ戻り、ステップＳ３でオフフック操作があった（＝ＹＥＳ）と判定したときは通話処理（ステップＳ４）を実行する。その後、オンフック操作があったか否かを判定する（ステップＳ５）。ステップＳ５でオンフック操作がない（＝ＮＯ）と判定したときはオンフック操作がなされるのを待ち、ステップＳ５でオンフック操作があった（＝ＹＥＳ）と判定したときは終話処理（ステップＳ６）を実行した後、ステップＳ２へ戻る。

一方、ステップＳ２で着信なし（＝ＮＯ）と判定したときは、抽出画像撮影操作が設定されたか否か判定する（ステップＳ７）。ここで、撮影操作設定なし（＝ＮＯ）と判定したときは、符号「１」に従って図５のステップＳ３１へ移行する。また、ステップＳ７で、撮影操作設定があった（＝ＹＥＳ）と判定したときは、１回目の撮影操作（シャッタボタンのオン操作）がなされたか否か判定する（ステップＳ８）。ここで、１回目の撮影操作がなされていない（＝ＮＯ）と判定したときは１回目の撮影操作がなされるのを待ち、１回目の撮影操作がなされた（＝ＹＥＳ）と判定したときは、撮像部１８からの画像信号より生成された画像フレームを解析して撮影範囲内にある被写体の認識処理（ステップＳ９）を実行する。つまり、該認識処理ステップＳ９は、撮像手段による撮像範囲内に存在する一もしくは複数の被写体を認識する認識手段として機能する。

その後、ステップＳ１０で、動画像撮影が設定されているか否か判定し、動画像撮影でない（＝ＮＯ）と判定したときは、静止画像撮影処理を実行する（ステップＳ１１）。一方、ステップＳ１０で動画像撮影が設定されている（＝ＹＥＳ）と判定したときは、所定時間動画像撮影処理を実行する（ステップＳ１２）。続いて、撮影画像を解析して撮影画面内の被写体の数が減少したか否か判定し（ステップＳ１３）、減少していない（＝ＮＯ）と判定したときは、ユーザによる２回目の撮影操作がなされたか否か判定する（ステップＳ１４）。つまり、判定ステップＳ１３は、撮像手段による１回目の撮像の後、認識手段として機能するステップＳ９により認識された被写体に変化があった否か判別可能な判別手段として機能する。

ここで、２回目の撮影操作がなされていない（＝ＮＯ）と判定したときはステップＳ１３へ戻る。ステップＳ１３で被写体の数が減少したと判定したとき（＝ＹＥＳ）、またはステップＳ１４で２回目の撮影操作がなされたと判定したときは（＝ＹＥＳ）、２回目の撮影処理を実行する（ステップＳ１５）。次に、１回目に撮影した画像と２回目に撮影した画像とから被写体画像を抽出する抽出処理（ステップＳ１６）を実行し、抽出された被写体画像からキャラクタを生成して、記憶部１７へ記憶する（ステップＳ１７）。つまり、撮影処理ステップＳ１５および抽出処理ステップＳ１６は、判別手段として機能する判定ステップＳ１３により被写体に変化があったと判別された場合に、前記撮像手段による２回目の撮像を行い、１回目の撮像による画像と２回目の撮像による画像とに基づいて、変化があった被写体の画像を抽出する被写体抽出手段として機能する。

さらに、本実施形態では、ステップＳ１７で抽出された被写体からキャラクタを生成した後にステップＳ２へ戻るようにされており、ステップＳ２で着信なしと判定してステップＳ７へ移行して抽出画像の撮影操作なしと判定すると、符号「１」に従って図５のステップＳ３１へジャンプする。そして、このステップで合成操作がなされたか否か判定し、合成操作がなされた（＝ＹＥＳ）と判定した場合には、ユーザ操作で、記憶部１７内に予め記憶されている背景画像の中から１つが選択され（ステップＳ３２）、さらにキャラクタの選択（ステップＳ３３）がなされた後、背景画像に対するキャラクタの位置調整（ステップＳ３４）がなされると、背景画像とキャラクタとの合成し合成画像を記憶部１７に記憶する処理（ステップＳ３５）を行ってステップＳ２へ戻る。つまり、ステップＳ３５は、被写体抽出手段により抽出された被写体画像と選択された背景画像とを合成した合成画像を生成する画像合成手段として機能する。

なお、ステップＳ３１で合成操作がなされていない（＝ＮＯ）と判定した場合には、ステップＳ３６へ移行して、発信操作や背景画像撮影操作などその他の操作がなされたか否か判定し、操作がなされていない（＝ＮＯ）と判定した場合にはステップＳ２へ戻り、その他の操作がなされた（＝ＹＥＳ）と判定した場合にはその操作に対応する処理（ステップＳ３７）を実行してステップＳ２へ戻る。

以上のように、この実施形態においては、１回目の撮影後に撮影画面から被写体の数が減少したと判定されると２回目の撮影が自動的に行われ、変化に応じて被写体が切り抜かれるため、ユーザが２度撮影操作をする必要がない。従って、１回目の撮影後に被写体としての人物が撮影範囲から外れることによって被写体の数が減少すると、自動的に２回目の撮影が行われるため、被写体の切り抜き処理を行わせる際にユーザの操作が簡単になるという利点がある。

また、この実施形態では、ユーザが自らの意思で２度の撮影を行った場合にも、２つの画像から被写体の抽出処理を行えるようになっている。被写体の数が減少せず、被写体が入れ替わったような場合等にも被写体の切り抜き処理を行えるという利点がある。さらに、１回目の撮影を動画像撮影とすることで、被写体画像の抽出が容易に行える。また、抽出された被写体画像と任意の背景画像とを合成した合成画像を生成する機能を有することにより、コラージュ写真や動画を容易に作成して楽しむことができるようになる。

［第２実施形態］
図６は、本発明を適用した撮像機能を有する携帯電話機の第２の実施形態を示す。
第２の実施形態は、第１の実施形態の携帯電話機（図１参照）における記憶部１７内に、図６（ａ）のように、アドレス帳データを記憶する領域Ｍ１の他に、被写体設定メモリ部Ｍ２を設けたものである。そして、アドレス帳領域Ｍ１には、図６（ｃ）のように、名前と電話番号の他に、切り抜き画像データが名前と対応して記憶され、被写体設定メモリ部Ｍ２には、図６（ｂ）のように、アドレス帳に登録されている名前または画像が設定可能にされている。第２の実施形態は、被写体設定メモリ部領域Ｍ２に、アドレス帳に登録されている名前または画像が設定されると、図７に示すように、１回目の撮影で得られた画像（ａ）と、設定された被写体が画面から外れた状態で撮影された２回目の画像（ｂ）とから、登録された被写体の画像を切り抜く画像抽出機能を持たせたものである。かかる機能により、例えばコラージュ写真や動画の作成が可能になる。

次に、撮像機能を有する携帯電話機の第２の実施形態における画像処理のための制御手順について、図８および図９のフローチャートを用いて説明する。
第２の実施形態の画像処理のための制御手順を示す図８，図９のフローチャートのステップＳ１〜Ｓ８およびＳ３１〜Ｓ３７は、第１の実施形態の画像処理方法を示す図４，図５のフローチャートのステップＳ１〜Ｓ８およびＳ３１〜Ｓ３７と同じであるので、同一の符号を付して、ステップＳ１〜Ｓ８およびステップＳ３６，Ｓ３７については重複した説明を省略する。

第２の実施形態の画像処理では、制御部（ＣＰＵ）１１は、抽出画像撮影操作の設定がなされたか否か判定するステップＳ７で、撮影操作設定なし（＝ＮＯ）と判定したときは、符号「３」に従って図９のステップＳ３１へ移行する。また、ステップＳ７で、撮影操作設定があった（＝ＹＥＳ）と判定したときは、１回目の撮影操作がなされたか否か判定する（ステップＳ８）。ここで、１回目の撮影操作がなされていない（＝ＮＯ）と判定したときは１回目の撮影操作がなされるのを待ち、１回目の撮影操作がなされた（＝ＹＥＳ）と判定したときは、被写体設定メモリ部領域Ｍ２に設定されているのは名前か画像かを判定する（ステップＳ１８）。ここで、設定されているのが画像であれば（＝ＮＯ）、次のステップ１９をスキップし、設定されているのが名前であれば（＝ＹＥＳ）、アドレス帳を参照して登録されている画像を設定被写体として読み出す（ステップＳ１９）。そして、撮影された画像に基づいて被写体の認識処理（ステップＳ２０）を実行する。

その後、ステップＳ２１で、動画像撮影が設定されているか否か判定し、動画像撮影でない（＝ＮＯ）と判定したときは、静止画像撮影処理を実行する（ステップＳ２２）。一方、ステップＳ２１で動画像撮影が設定されている（＝ＹＥＳ）と判定したときは、所定時間動画像撮影処理を実行する（ステップＳ２３）。続いて、撮影画像を解析して撮影画面内に、Ｍ２に設定されている被写体に類似した被写体が存在するか否か判定し（ステップＳ２４）、存在していない（＝ＮＯ）と判定したときは、ユーザによる２回目の撮影操作がなされたか否か判定する（ステップＳ２５）。つまり、判定ステップＳ２４は、撮像手段による１回目の撮像の後、予め登録されている画像に類似する被写体が前記撮像手段による撮像範囲内に存在するか否か判別する判別手段として機能する。

ここで、２回目の撮影操作がなされていない（＝ＮＯ）と判定したときは２回目の撮影操作がなされるのを待つ。ステップＳ２４で設定被写体に類似した被写体が存在すると判定したときは（＝ＹＥＳ）、設定被写体が撮影画面から外れたか否か判定する（ステップＳ２６）。ここで、外れていない（＝ＮＯ）と判定したときは、ユーザによる２回目の撮影操作がなされたか否か判定する（ステップＳ２７）。そして、２回目の撮影操作がなされていない（＝ＮＯ）と判定したときは、ステップＳ２６へ戻る。

ステップＳ２６で設定被写体が撮影画面から外れたと判定したときまたはステップＳ２７もしくはステップＳ２５で２回目の撮影操作がなされたと判定したときは、２回目の撮影処理を実行する（ステップＳ２８）。つまり、次に、１回目に撮影した画像と２回目に撮影した画像とから被写体画像を抽出する抽出処理（ステップＳ２９）を実行し、抽出された被写体画像からキャラクタを生成して、記憶部１７へ記憶する（ステップＳ３０）。つまり、抽出処理ステップＳ２９は、１回目の撮像による画像と２回目の撮像による画像とに基づいて、存在しないと判別された被写体の画像を抽出する被写体抽出手段として機能する。

ステップＳ３０でキャラクタを生成した後はステップＳ２へ戻るようにされており、ステップＳ２で着信なしと判定してステップＳ７へ移行して抽出画像の撮影操作設定なしと判定すると、符号「３」に従って図９のステップＳ３１へジャンプする。そして、このステップで合成操作がなされたか否か判定し、合成操作がなされた（＝ＹＥＳ）と判定した場合には、ユーザ操作で、記憶部１７内に予め記憶されている背景画像の中から１つが選択され（ステップＳ３２）、さらにキャラクタの選択（ステップＳ３３）がなされた後、背景画像に対するキャラクタの位置調整（ステップＳ３４）がなされると、背景画像とキャラクタとの合成し合成画像を記憶部１７に記憶する処理（ステップＳ３５）を行ってステップＳ２へ戻る。

また、ステップＳ３１で合成操作がなされていない（＝ＮＯ）と判定した場合には、ステップＳ４１へ移行して被写体を被写体設定メモリ部領域Ｍ２に設定するための操作がなされたか否か判定する。ここで、設定操作がなされた（＝ＹＥＳ）と判定すると、名前を登録する操作であるか画像を登録する操作であるかを判定する（ステップＳ４２）。そして、名前を登録する操作であると判定したときは（＝ＹＥＳ）、ステップＳ４３でユーザの操作でアドレス帳から名前を選択する処理を行う。
その後、アドレス帳の選択された名前に対応して登録された画像があるか否かを判定する（ステップＳ４４）。ここで、画像が登録されていれば（＝ＹＥＳ）、その画像を設定被写体として登録する（ステップＳ４６）。また、アドレス帳に登録された画像がなければ（＝ＮＯ）、ステップＳ４７へ移行して、設定が行えない旨のエラーメッセージを出力してステップＳ４２へ戻る。一方、ステップＳ４２で画像を登録する操作であると判定したときは（＝ＮＯ）、ステップＳ４５でユーザの操作で画像を撮影する処理を行う。その後、撮影された画像を設定被写体として登録（ステップＳ４６）してステップＳ２へ戻る。つまり、登録ステップＳ４６は、予め抽出の対象となる被写体の画像を登録する登録手段として機能する。

さらに、ステップＳ４１で被写体の設定操作がなされていない（＝ＮＯ）と判定すると、ステップＳ３６へ移行してその他の操作がなされたか否か判定し、操作がなされていない（＝ＮＯ）と判定した場合にはステップＳ２へ戻り、その他の操作がなされた（＝ＹＥＳ）と判定した場合にはその操作に対応する処理（ステップＳ３７）を実行してステップＳ２へ戻る。なお、図９のフローチャートのステップＳ４３ではアドレス帳から登録する名前を選択するとしているが、写真フォルダから画像ファイル名を選択するようにしてもよい。

以上のように、この第２の実施形態においては、１回目の撮影後に撮影範囲内に、予め画像登録された被写体に類似する被写体が存在するか否か判定し、類似する被写体が存在しないと判定された場合に２回目の撮影が自動的に行われ、１回目と２回目の撮影画像から登録被写体に類似する被写体を切り抜く処理が行われるため、登録された被写体が撮影範囲からはずれるだけで自動的に２回目の撮影と被写体の切り抜き処理が行われるので、ユーザが２回の撮影操作をする必要がなく、操作が簡単になるという利点がある。

また、１回目の撮影範囲内に予め識別情報が登録された被写体に類似する被写体が存在しないと判定された場合に２回目の撮影を行い、１回目と２回目の撮影画像から１回目の撮影画像に存在しない被写体を切り抜く処理が行われるため、改めて画像を撮影しなくとも人物の名前やファイル名等の識別情報を登録するだけで、自動的に２回目の撮影と被写体の切り抜き処理が行われるので、ユーザが２回の撮影操作をする必要がないという利点がある。さらに、１回目の撮影を動画像撮影とすることで、被写体画像の抽出が容易に行える。また、抽出された被写体画像と任意の背景画像とを合成した合成画像を生成する機能を有することにより、コラージュ写真や動画を容易に作成して楽しむことができるようになる。

［第３実施形態］
第３の実施形態におけるブロック図の構成は第１の実施形態の図１、３と同一であるので、動作の異なる部分のみ説明する。

ブロックマッチング部１９４は、被写体切り抜き画像を生成する際に、図１０（ａ）のような目的とする被写体Ｂが存在しない画像（以下、背景画像と称する）ｆ３と図１０（ｂ）のような被写体Ｂが存在する画像ｆ４との位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部１９４は、特徴抽出処理にて抽出されたテンプレートが被写体存在画像ｆ４内のどこに対応するか、つまり、被写体存在画像ｆ４内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索する。

画像処理部１９５は、画像メモリ１９２に記憶された画像フレームの中から被写体Ｂが存在する背景画像ｆ４及び被写体Ｂが存在しない画像ｆ３とに基づいて、ブロックマッチング部１９４により抽出されたテンプレートを用いて位置合わせを行い、背景画像ｆ３と被写体存在画像ｆ４との間で対応する各画素の差分情報に基づいて、被写体存在画像ｆ４から被写体Ｂを切り抜く機能を有する。画像制御部１９６は、上記のようにして生成された切り抜き画像を記録部１７に記憶する。

以上のような機能を有する本実施例の画像認識部１９においては、ユーザは特定の被写体が存在しない画像ｆ３の撮像と被写体が存在する画像ｆ４の撮像の２回の手順を踏むことなく、一度シャッタボタンを操作するだけで２つの画像を取得することができ、これらの画像を用いて被写体切り抜き画像Ｂの生成（被写体画像の抽出）を行うことができるようになっている。

次に、本発明を適用した撮像機能を有する携帯電話機の第３の実施形態における画像処理のための制御手順について、図１１のフローチャートを用いて説明する。
第３の実施形態の画像処理のための制御手順を示す図１１のフローチャートのステップＳ１〜Ｓ１２、Ｓ１４およびＳ１６〜Ｓ１７は、第１の実施形態の画像処理方法を示す図４のフローチャートのステップＳ１〜Ｓ１２、Ｓ１４およびＳ１６〜Ｓ１７と同じであるので、同一の符号を付して、重複した説明を省略する。また、図１１に続くフローチャートは図５のＳ３１〜Ｓ３７と同じであるので、図の記載及び説明を省略する。

本実施形態は、画像認識部１９が、撮像部１８によって最初に撮像された画像フレームｆ３（図１０（ａ））に基づいて、画像内に被写体が存在するか否かを判定し、存在しないと判定した場合に、その後の撮像部１８からの画像フレームを監視し被写体が増加したか否かを判定し、増加したと判定した場合に、撮像部１８によって自動的に２回目の撮影を行う。そして、１回目と２回目に撮像された画像フレームｆ３とｆ４（図１０（ａ）と（ｂ）参照）から画像間で対応する各画素の差分情報に基づいて、被写体存在画像ｆ４から被写体画像Ｂを抽出して切り抜き画像データ（図１０（ｃ）参照）を生成できるようにするものである。

第３の実施形態の画像処理では、制御部（ＣＰＵ）１１は、被写体の認識処理（ステップＳ９）に続いて、１回目の撮影処理を行う（ステップＳ５１）。次に撮影画像を解析して撮影画面内の被写体の数が増加したか否か判定し（ステップＳ５２）、増加していない（＝ＮＯ）と判定したときは、ユーザによる２回目の撮影操作がなされたか否か判定する（ステップＳ１４）。つまり、判定ステップＳ５２は、撮像手段による１回目の撮像の後、認識手段として機能するステップＳ９により認識された被写体に変化があった否か判別可能な判別手段として機能する。

ここで、２回目の撮影操作がなされていない（＝ＮＯ）と判定したときはステップＳ５２へ戻る。ステップＳ５２で被写体の数が増加したと判定したとき（＝ＹＥＳ）、またはステップＳ１４で２回目の撮影操作がなされたと判定したときは（＝ＹＥＳ）、次にステップＳ１０で、動画像撮影が設定されているか否か判定し、動画像撮影でない（＝ＮＯ）と判定したときは、静止画像撮影処理を実行する（ステップＳ１１）。一方、ステップＳ１０で動画像撮影が設定されている（＝ＹＥＳ）と判定したときは、所定時間動画像撮影処理を実行する（ステップＳ１２）。続いて、被写体抽出処理（ステップＳ１６）、抽出被写体からキャラクタ生成処理（ステップＳ１７）を実行する。つまり、撮影処理ステップＳ１１、Ｓ１２および抽出処理ステップＳ１６は、判別手段として機能する判定ステップＳ５２により被写体に変化があったと判別された場合に、前記撮像手段による２回目の撮像を行い、１回目の撮像による画像と２回目の撮像による画像とに基づいて、変化があった被写体の画像を抽出する被写体抽出手段として機能する。

以上のように、この実施形態においては、１回目の撮影後に撮影画面から被写体の数が増加したと判定されると２回目の撮影が自動的に行われ、変化に応じて被写体が切り抜かれるため、ユーザが２度撮影操作をする必要がない。従って、１回目の撮影後に被写体としての人物が撮影範囲に入ってくることによって被写体の数が増加すると、自動的に２回目の撮影が行われるため、被写体の切り抜き処理を行わせる際にユーザの操作が簡単になるという利点がある。

［第４実施形態］
本発明を適用した撮像機能を有する携帯電話機の第４の実施形態は図６と同じであるので、図の記載及び説明を省略する。
第４の実施形態は、被写体設定メモリ部領域Ｍ２に、アドレス帳に登録されている名前または画像が設定されると、図１２に示すように、１回目の撮影で得られた画像（ａ）と、設定された被写体が画面に入った状態で撮影された２回目の画像（ｂ）とから、登録された被写体の画像を切り抜く画像抽出機能を持たせたものである。かかる機能により、例えばコラージュ写真や動画の作成が可能になる。

次に、撮像機能を有する携帯電話機の第４の実施形態における画像処理のための制御手順について、図１３のフローチャートを用いて説明する。
第４の実施形態の画像処理のための制御手順を示す図１３のフローチャートのステップＳ１〜Ｓ２３、Ｓ２５、Ｓ２７およびＳ２９〜Ｓ３０は、第２の実施形態の画像処理方法を示す図８のフローチャートのステップＳ１〜Ｓ２３、Ｓ２５、Ｓ２７およびＳ２９〜Ｓ３０と同じであるので、同一の符号を付して、重複した説明を省略する。また、図１３に続くフローチャートは図９のＳ３１〜Ｓ４７と同じであるので、図の記載及び説明を省略する。

第４の実施形態の画像処理では、制御部（ＣＰＵ）１１は、被写体の認識処理（ステップＳ２０）に続いて、１回目の撮影処理を行う（ステップＳ６１）。続いて、撮影画像を解析して撮影画面内に、Ｍ２に設定されている被写体に類似した被写体が存在しないか否か判定し（ステップＳ６２）、存在している（＝ＮＯ）と判定したときは、ユーザによる２回目の撮影操作がなされたか否か判定する（ステップＳ２５）。つまり、判定ステップＳ６２は、撮像手段による１回目の撮像の後、予め登録されている画像に類似する被写体が前記撮像手段による撮像範囲内に存在するか否か判別する判別手段として機能する。

ここで、２回目の撮影操作がなされていない（＝ＮＯ）と判定したときは２回目の撮影操作がなされるのを待つ。ステップＳ６２で設定被写体に類似した被写体が存在しないと判定したときは（＝ＹＥＳ）、設定被写体が撮影画面に入ったか否か判定する（ステップＳ６３）。ここで、入っていない（＝ＮＯ）と判定したときは、ユーザによる２回目の撮影操作がなされたか否か判定する（ステップＳ２７）。そして、２回目の撮影操作がなされていない（＝ＮＯ）と判定したときは、ステップＳ６３へ戻る。

ステップＳ６３で設定被写体が撮影画面に入ったと判定したときまたはステップＳ２７もしくはステップＳ２５で２回目の撮影操作がなされたと判定したときは、ステップＳ２１で、動画像撮影が設定されているか否か判定し、動画像撮影でない（＝ＮＯ）と判定したときは、静止画像撮影処理を実行する（ステップＳ２２）。一方、ステップＳ２１で動画像撮影が設定されている（＝ＹＥＳ）と判定したときは、所定時間動画像撮影処理を実行する（ステップＳ２３）。続いて、被写体抽出処理（ステップＳ２９）、被写体からのキャラクタ生成処理（ステップＳ３０）を実行する。つまり、抽出処理ステップＳ２９は、１回目の撮像による画像と２回目の撮像による画像とに基づいて、存在すると判別された被写体の画像を抽出する被写体抽出手段として機能する。

以上のように、この第４の実施形態においては、１回目の撮影後に撮影範囲内に、予め画像登録された被写体に類似する被写体が存在するか否か判定し、類似する被写体が存在すると判定された場合に２回目の撮影が自動的に行われ、１回目と２回目の撮影画像から登録被写体に類似する被写体を切り抜く処理が行われるため、登録された被写体が撮影範囲に入るだけで自動的に２回目の撮影と被写体の切り抜き処理が行われるので、ユーザが２回の撮影操作をする必要がなく、操作が簡単になるという利点がある。

また、１回目の撮影範囲内に予め識別情報が登録された被写体に類似する被写体が存在すると判定された場合に２回目の撮影を行い、１回目と２回目の撮影画像から２回目の撮影画像に存在する被写体を切り抜く処理が行われるため、改めて画像を撮影しなくとも人物の名前やファイル名等の識別情報を登録するだけで、自動的に２回目の撮影と被写体の切り抜き処理が行われるので、ユーザが２回の撮影操作をする必要がないという利点がある。さらに、２回目の撮影を動画像撮影とすることで、被写体画像の抽出が容易に行える。また、抽出された被写体画像と任意の背景画像とを合成した合成画像を生成する機能を有することにより、コラージュ写真や動画を容易に作成して楽しむことができるようになる。

以上本発明者によってなされた発明を実施形態に基づき具体的に説明したが、本発明は前記実施形態に限定されるものではない。例えば、前記実施形態においては、撮影範囲から被写体が存在しなくなったまたは存在するようになった場合に２回目の撮影をするとしたが、被写体が変動するなど変化があった場合に２回目の撮影を行い、それぞれの撮影画像から被写体画像を切り抜くようにしてもよい。また、第２、４の実施形態においては、予め設定された被写体と類似の被写体の画像を２回の撮影画像に基づいて切り抜くようにしているが、予め設定された被写体と非類似の被写体の画像を２回の撮影画像に基づいて切り抜くようにしてもよい。これにより、まだアドレス帳に画像が登録されていない名前の人物の画像をアドレス帳に登録する作業を容易に行えるようにすることができる。

さらに、前記実施形態においては、本発明を適用して有効な電子機器の一例としての携帯電話機を例にとって説明したが、本発明は携帯電話機に限定されず、撮像機能を有する電子機器であれば例えばデジタルカメラはもちろんＰＤＡ（パーソナルデジタルアシスタンツ）やノートパソコンなどにも利用することができる。

１０ 携帯電話機
１１ 制御部（ＣＰＵ；マイクロプロセッサ）
１２ 操作部
１３ 表示部
１４ 電源部
１５ 電話部
１６ 通信部
１７ 記憶部
１８ 撮像部
１９ 画像認識部
１８１ レンズ部
１８２ 電子撮像部（撮像手段）
１８３ 撮像制御部
１９１ 画像データ生成部
１９２ 画像メモリ
１９３ 特徴量演算部
１９４ ブロックマッチング部
１９５ 画像処理部
１９６ 記録制御部
１９７ 表示制御部

Claims (11)

1. 撮像手段と、
   前記撮像手段による撮像範囲内に存在する一もしくは複数の被写体を認識する認識手段と、
   前記撮像手段による１回目の撮像の後、前記認識手段により認識された被写体に変化があった否か判別可能な判別手段と、
   前記判別手段により被写体に変化があったと判別された場合に、前記撮像手段による２回目の撮像を行い、前記１回目の撮像による画像と前記２回目の撮像による画像とに基づいて、前記変化があった被写体の画像を抽出する被写体抽出手段と、
   を備えることを特徴とする電子機器。
2. 前記判別手段は、前記１回目の撮像の後、前記認識手段により認識された被写体の数が減少したか否かを判別し、
   前記判別手段により被写体の数が減少したと判別された場合に、前記撮像手段による２回目の撮像を行い、
   前記被写体抽出手段は、前記１回目の撮像による画像と前記２回目の撮像による画像とに基づいて、減少により存在しなくなった被写体の画像を抽出することを特徴とする請求項１に記載の電子機器。
3. 前記判別手段は、前記１回目の撮像の後、前記認識手段により認識された被写体の数が増加したか否かを判別し、
   前記判別手段により被写体の数が増加したと判別された場合に、前記撮像手段による２回目の撮像を行い、
   前記被写体抽出手段は、前記１回目の撮像による画像と前記２回目の撮像による画像とに基づいて、増加により新たに存在する被写体の画像を抽出することを特徴とする請求項１に記載の電子機器。
4. 予め抽出の対象となる被写体の画像を登録する登録手段をさらに備え、
   前記判別手段は、前記１回目の撮像の後、前記登録手段により登録された画像に類似する被写体が前記撮像手段による撮像範囲内に存在するか否かを判別し、
   前記判別手段により前記類似する被写体が存在しないと判別された場合に、前記撮像手段による２回目の撮像を行い、
   前記被写体抽出手段は、前記１回目の撮像による画像と前記２回目の撮像による画像とに基づいて、存在しないと判別された被写体の画像を抽出することを特徴とする請求項１に記載の電子機器。
5. 識別情報と画像とを関連付けて記憶する記憶手段をさらに備え、
   前記登録手段は、画像に代えて前記識別情報を登録可能であり、
   前記判別手段は、前記登録手段により登録された画像または前記登録手段により登録された識別情報に対応する画像に類似する被写体が前記撮像手段による撮像範囲内に存在するか否かを判別し、
   前記被写体抽出手段は、前記１回目の撮像による画像と前記２回目の撮像による画像とに基づいて、存在しないと判別された被写体の画像を抽出することを特徴とする請求項４に記載の電子機器。
6. 予め抽出の対象となる被写体の画像を登録する登録手段をさらに備え、
   前記判別手段は、前記１回目の撮像の後、前記登録手段により登録された画像に類似する被写体が前記撮像手段による撮像範囲内に存在するか否かを判別し、
   前記判別手段により前記類似する被写体が存在すると判別された場合に、前記撮像手段による２回目の撮像を行い、
   前記被写体抽出手段は、前記１回目の撮像による画像と前記２回目の撮像による画像とに基づいて、存在すると判別された被写体の画像を抽出することを特徴とする請求項１に記載の電子機器。
7. 識別情報と画像とを関連付けて記憶する記憶手段をさらに備え、
   前記登録手段は、画像に代えて前記識別情報を登録可能であり、
   前記判別手段は、前記登録手段により登録された画像または前記登録手段により登録された識別情報に対応する画像に類似する被写体が前記撮像手段による撮像範囲内に存在するか否かを判別し、
   前記被写体抽出手段は、前記１回目の撮像による画像と前記２回目の撮像による画像とに基づいて、存在すると判別された被写体の画像を抽出することを特徴とする請求項６に記載の電子機器。
8. 前記１回目の撮像による画像は動画像であることを特徴とする請求項２〜７のいずれかに記載の電子機器。
9. 前記被写体抽出手段により抽出された被写体画像と選択された背景画像とを合成した合成画像を生成する画像合成手段をさらに備えることを特徴とする請求項２〜８のいずれかに記載の電子機器。
10. 撮像手段を備える電子機器における画像処理方法であって、
    前記撮像手段による撮像範囲内に存在する一もしくは複数の被写体を、認識手段により認識する認識ステップと、
    前記撮像手段による１回目の撮像の後、前記認識手段により認識された被写体に変化があった否かを、判別手段により判別する判別ステップと、
    前記判別手段により被写体に変化があったと判別された場合に、前記撮像手段による２回目の撮像を行う撮像ステップと、
    前記１回目の撮像による画像と前記２回目の撮像による画像とに基づいて、前記変化があった被写体の画像を抽出する被写体抽出ステップと、
    を含むことを特徴とする画像処理方法。
11. 撮像手段を備える電子機器を構成するマイクロプロセッサを、
    前記撮像手段による撮像範囲内に存在する一もしくは複数の被写体を認識する認識手段、
    前記撮像手段による１回目の撮像の後、前記認識手段により認識された被写体に変化があった否か判別可能な判別手段、
    前記判別手段により被写体に変化があったと判別された場合に、前記撮像手段による２回目の撮像を行い、前記１回目の撮像による画像と前記２回目の撮像による画像とに基づいて、前記変化があった被写体の画像を抽出する被写体抽出手段、
    として機能させることを特徴とするプログラム。

Images