JP5233577B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、スタンプ用の画像を写真に貼り付ける機能を有した撮像装置及び撮像方法に関する。詳しくは、スタンプ用の画像を自動的に抽出し、抽出したスタンプ用の画像を撮影情報に基づいて優先順位を決定して表示部に表示する。このように、ユーザの好みに合ったスタンプ用の画像から順番に表示できるようにする。

近年、例えばデジタルスチルカメラのタッチパネル機種において、ペイント機能を有したものが提供されている。このペイント機能は、撮影した写真を編集する編集モードで、ユーザがスタイラスなどでタッチパネル上の図形を囲い、この図形を切り抜いたものをスタンプ用の画像として保存する。保存したスタンプ用の画像を呼び出して、所定の写真における任意の位置に貼り付けて合成する。

このような画像を抽出する処理に関連して、特許文献１には、撮像画像から被写体を抽出する電子カメラが開示されている。この電子カメラによれば、主張被写体を含んだ第１領域と該第１領域を除いた第２領域を判別し、この第１領域において詳細に被写体の抽出処理を行う。このように領域を切り分けるので、被写体の抽出する演算量を減少できるようになる。

特開２００８−９２５１５

しかしながら、従来例に係るデジタルスチルカメラのペイント機能において、ユーザは、タッチパネルに対して細長い棒状のスタイラスなどでスタンプ用の画像の領域を囲む必要がある。領域を囲む操作はユーザの手作業によるため、正確に領域を囲むことが難しく、何度もやり直さなければならない場合もある。特に、デジタルスチルカメラは屋外で操作する場合が多いので安定した場所で操作できず、タッチパネルにスタイラスでスタンプ用の画像の領域を囲むことが困難な場合が多い。

また、特許文献１に係る電磁カメラにより抽出した被写体の画像を保存し、保存した被写体の画像をスタンプ用の画像として写真に貼り付けることも考えられる。しかしながら、ユーザが、電子カメラにより抽出した複数の被写体の画像の中からスタンプ用の画像を選択する場合に、これらの被写体の画像をランダムに表示すると、ユーザはスタンプ用の画像を選択する手間が掛かる。

そこで、本発明はこのような従来例に係る問題を解決したものであって、ユーザの好みに合った貼り付け用の画像から順番に表示できるようにすると共にユーザビリティを向上させた撮像装置及び撮像方法を提供することを目的とする。

上述した課題を解決するために本発明に係る撮像装置は、被写体を撮影する撮影情報を設定するための操作入力部と、前記被写体を撮像して画像信号を生成する撮像部と、前記撮像部により生成された画像信号から物体画像を抽出する物体抽出部と、前記物体抽出部により抽出した前記物体画像を表示する表示部と、前記物体画像を前記表示部に表示する優先順位を示すテーブルを記憶する記憶部と、前記テーブルを参照して、前記操作入力部から設定された前記撮影情報における優先順位を取得し、該優先順位に基づいて前記物体画像を表示するように前記表示部を制御する制御部とを備える。

本発明に係る撮像装置によれば、物体抽出部は、撮像部により生成された画像信号から物体画像を抽出する。例えば、物体抽出部は、画像信号の輪郭を抽出し、該輪郭が示す物体輪郭情報に基づいて物体画像がいかなる種類の物体であるかを判別して抽出する。記憶部には、物体抽出部により抽出した物体画像を表示部に表示する優先順位を示すテーブルが記憶されている。制御部は、このテーブルを参照して、操作入力部から設定された撮影情報における優先順位を取得し、該優先順位の高い順番に物体画像を表示部に表示する。これにより、ユーザの好みに合った貼り付け用の画像から順番に表示できる。

上述した課題を解決するために本発明に係る撮像方法は、被写体を撮影する撮影情報を操作入力部から設定するステップと、前記被写体を撮像して画像信号を生成するステップと、生成された前記画像信号から物体画像を抽出するステップと、前記物体画像を表示部に表示する優先順位を示すテーブルを記憶部に記憶するステップと、前記テーブルを参照して、前記操作入力部から設定された前記撮影情報における優先順位を取得するステップと、取得した前記優先順位に基づいて前記表示部に前記物体画像を表示するように制御するステップとを有する。

本発明に係る撮像装置及び撮像方法によれば、物体画像を表示部に表示する優先順位を示すテーブルを参照して撮影情報の優先順位を取得する。そして、この優先順位に基づいて、抽出した物体画像を表示する。

この構成によって、ユーザの好みに合った貼り付け用の画像から順番に表示できるようになる。これにより、ユーザは、貼り付け用の画像を簡単に選択できるので、ユーザビリティを向上できるようになる。

続いて図面を参照しながら、発明を実施するための最良の形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（スタンプ機能）
２．第２の実施の形態（サムネイル機能）
＜第１の実施の形態＞
[スタンプ機能]

Ａ〜図１Ｄは、デジタルスチルカメラ１００の構成例を示す図である。本発明は画像情報を取り扱う装置全般に係る発明であるが、実施の形態の一例としてデジタスチルカメラの形式を採用する。本発明に係るデジタルスチルカメラ１００は、スタンプ用の画像をユーザの好みに応じて表示し、該スタンプ用の画像を写真に貼り付ける機能を有している。

図１Ａに示すデジタルスチルカメラ１００は正面図であり、デジタルスチルカメラ本体１、シャッターボタン（レリーズボタン）２、電源切り替えボタン３、フラッシュ４及び撮像レンズ５を備えている。

デジタルスチルカメラ本体１の上部にはシャッターボタン２及び電源切り替えボタン３が取り付けられている。デジタルスチルカメラ本体１の正面にはフラッシュ４及び撮像レンズ５が取り付けられている。

デジタルスチルカメラ１００は、電源切り替えボタン３がＯＮされると起動する。電源ＯＮ後、シャッターボタン２が押下されると、状況に応じてフラッシュ４が閃光を発光して撮像レンズ５が被写体を撮像する。

図１Ｂに示すデジタルスチルカメラ１００は背面図であり、液晶ディスプレイパネル(以下ＬＣＤパネルと称する)６、カーソル指示ボタン類（上下左右ボタン＋決定ボタン）７及びメニューボタン８を備えている。さらに、ＬＣＤパネル表示切り替えボタン９、ズームボタン（”-”ズームダウン、”＋”ズームアップ）１０及び撮影画像再生ボタン１１を備えている。

表示部の一例であるＬＣＤパネル６には、撮影待機時に画像が動画表示される。また、ＬＣＤパネル６は、ＯＳＤ(On Screen Display)によって、撮影に必要となる各種情報の表示を画像に重畳表示する。さらに、ＬＣＤパネル６は、透明電極を有したタッチパネルが組み合わされている。これにより、スタイラスや指先などでタッチパネルに圧力を加えることにより操作可能となる。

カーソル指示ボタン類７は、オンスクリーン機能によってＬＣＤパネル６に表示されたアイコンなどを選択する際に操作される。メニューボタン８は、顔検出モードやスタンプ機能などを選択する際に操作される。ＬＣＤパネル表示切り替えボタン９は、ＬＣＤパネル６の表示画面を動画像や静止画像の表示に切り替える際に操作される。

ズームボタン１０は、被写体をズームアップ又はズームダウンする際に操作される。撮影画像再生ボタン１１は、過去に撮影した画像を１枚ずつ再生する際に操作される。

図１Ｃに示すデジタルスチルカメラ１００は側面図であり、バッテリ挿入口１３、画像記録用メモリカード挿入口１４及びＵＳＢ端子口１５を備えている。図１Ｄに示すように開閉可能な保護カバー１６が装着されているため、バッテリ挿入口１３、メモリカード挿入口１４及びＵＳＢ端子口１５は外部からは見えない。バッテリやメモリカードを入れ替えたり、デジタルスチルカメラ１００をクライアントコンピュータなどと接続したりするときに保護カバー１６を開ける。

続いて、デジタルスチルカメラ１００の制御系について説明する。図２は、デジタルスチルカメラ１００の制御系の構成例を示すブロック図である。図２に示す撮像レンズ５は、光（被写体の映像）を、ＣＣＤ（Charge Coupled Device）素子やＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子などからなる撮像素子１７に入射する。撮像レンズ５は、１枚又は複数枚のレンズで構成され、単焦点レンズでもよいし、ズームレンズ等の焦点距離可変のものでもよい。なお、図２の例において、撮像レンズ５以外の光学系、すなわち、例えば、フォーカスレンズや絞り部これらの駆動部などの光学系は、その図示が省略されている。

撮像素子１７は、受光した光の強度を電気信号に変換し、アナログ信号処理部１８に出力する。アナログ信号処理部１８は、サンプリングホールド回路、色分離回路、ゲイン調整回路等を含む。このアナログ信号処理部１８において、相関二重サンプリング（ＣＤＳ）処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され、各色信号の信号レベルの調整（プリホワイトバランス処理）が行われる。

アナログ信号処理部１８から出力された信号は、Ａ／Ｄ（Analog to Digital）変換部１９によりデジタル信号の画像データに変換された後、デジタル信号処理部２０に供給される。

デジタル信号処理部２０は、輝度・色差信号生成回路、γ補正回路、シャープネス補正回路、コントラスト補正回路、ホワイトバランス補正回路等を含む画像処理手段である。デジタル信号処理部２０は、ＣＰＵ（Central Processing Unit）２４からの制御のもと、デジタル信号の画像データを処理する。

すなわち、デジタル信号処理部２０は、画像データを、輝度信号（Ｙ信号）および色差信号（Ｃr,Ｃb信号）に変換するとともに、γ補正等の所定の処理を施した後、処理済みの画像データを内蔵するメモリに格納する。メモリに記憶された画像データは、ＣＰＵ２４の制御のもと、制御バス２９を介して読み出され、画像ＲＡＭ（Random Access Memory）２６、物体抽出部２８、映像信号生成処理部３０などに供給される。なお、撮像レンズ５、撮像素子１７、アナログ信号処理部１８、Ａ／Ｄ変換部１９及びデジタル信号処理部２０は、撮像部の一例を構成する。

ＣＰＵ２４は、フラッシュメモリ２７に記憶され、プログラムＲＡＭ２５にロードされたプログラムに従って、デジタルスチルカメラ１００の各部を制御する。また、ＣＰＵ２４は、被写体を撮影する撮影情報を設定するための操作入力部２３から入力されるユーザの操作に対応する信号に従って、デジタルスチルカメラ１００の各部を制御する。ＣＰＵ２４は、被写体を撮像する処理を行う各種の処理や、撮像された画像データに対応する画像を表示する各種の処理などを実行する。

例えば、ＣＰＵ２４は、操作入力部２３からの電源ＯＮに対応して、撮像素子１７を駆動させてデジタル信号処理部２０から画像データを取得する。映像信号生成処理部３０は、ＣＰＵ２４からの画像データをＬＣＤパネル６に動画表示させる。このとき、物体抽出部２８は、画像認識アルゴリズムを用いて画像データから人物の顔や動物等の物体を抽出する。例えば、物体抽出部２８は、画像データの輪郭を抽出し、該輪郭が示す物体輪郭情報に基づいて物体画像がいかなる種類の物体であるかを判別して抽出する。例えば、画像データの輪郭線を直線や、円、円弧、楕円などの形状要素に分解してそれらの相対的位置関係から物体画像を判別する。人物の顔を判別する場合、画像データの肌色情報に基づいて抽出する。

ＣＰＵ２４は、ユーザによるシャッターボタン２の半押しに対応して、デジタル信号処理部２０からの画像データを用いて、ＡＥ（自動露出）処理やＡＦ（オートフォーカス）処理を含めた撮像前処理を実行する。例えば、顔検出モードが選択されている場合、ＣＰＵ２４は、シャッターボタン２が半押しされると、画像データの顔を基準にしてＡＥ処理やＡＦ処理を含めた撮像前処理を実行する。

ＣＰＵ２４は、ユーザによるシャッターボタン２の全押しに対応して、デジタル信号処理部２０からの画像データを符号化し、Ｉ／Ｏ制御部２１を介して、メモリカード２２に記録する。

ところで、デジタルスチルカメラ１００は、自動的にスタンプ画像を生成する自動スタンプ機能を備えている。例えば、ユーザにより操作入力部２３から自動スタンプ機能が設定されると、ＣＰＵ２４は、例えば物体抽出部２８が抽出した被写体の顔の画像データを画像ＲＡＭ２６に一旦格納するように制御する。ＣＰＵ２４は、ユーザによる選択により、抽出された顔の画像データをメモリカード２２に保存させる。このメモリカード２２に保存された顔の画像データは、他の画像データに貼り付ける際に使用される。なお、この自動スタンプ機能は、詳細に後述する。

操作入力部２３は、図１のシャッターボタン２や、電源切り替えボタン３、カーソル指示ボタン類７、メニューボタン８、不図示のタッチパネルなどで構成され、ユーザの操作に応じた操作信号をＣＰＵ２４に供給する。例えば、ユーザによりメニューボタン８が押下されると、ＣＰＵ２４は、ソフトスナップなど各種撮影モードや顔検出モードなどをＬＣＤパネル６に表示させる。

プログラムＲＡＭ２５には、ＣＰＵ２４が各種の処理を実行する上において必要なデータなどが適宜記憶される。画像ＲＡＭ２６には、ＣＰＵ２４が各種の処理を実行する上において必要な画像データが一時的に格納される。

フラッシュメモリ２７は記憶部の一例であり、ＣＰＵ２４が実行する制御プログラム、制御プログラムの実行に必要な基本的に固定のパラメータなどを記録している。フラッシュメモリ２７は、マスクＲＯＭ（Read Only Memory）や、ＥＰＲＯＭ（Erasable Programmable ROM）で構成するようにしてもよい。

ＣＰＵ２４、プログラムＲＡＭ２５、画像ＲＡＭ２６、およびフラッシュメモリ２７は、制御バス２９を介して相互に接続されている。また、制御バス２９には、フラッシュ４、デジタル信号処理部２０、Ｉ／Ｏ制御部２１、物体抽出部２８および映像信号生成処理部３０も接続されている。

フラッシュ４は、キセノン管などで構成され、ＣＰＵ２４の制御に応じて、外部の光が低照度あるいは低コントラストの場合における撮影の照度を補助するための閃光を発光する。

映像信号生成処理部３０は、ＣＰＵ２４の制御に応じて、デジタル信号処理部２０または画像ＲＡＭ２６から供給される画像データから、ＬＣＤパネル６に表示するための映像信号を生成する。映像信号生成処理部３０は、生成した映像信号に対応する映像をＬＣＤパネル６に表示させる。映像信号生成処理部３０は、また、ＣＰＵ２４の制御に応じて、警告表示やメニュ表示などのＯＳＤデータを生成し、このＯＳＤデータを、映像信号に重畳してＬＣＤパネル６に表示させる。

Ｉ／Ｏ制御部２１は、ＣＰＵ２４の制御に応じて、デジタル信号処理部２０や画像ＲＡＭ２６などから供給される画像データをメモリカード２２に記録したり、メモリカード２２に記録されている画像データを画像ＲＡＭ２６に供給する。

メモリカード２２は、例えば、メモリースティック（登録商標）などで構成され、Ｉ／Ｏ制御部２１に適宜装着される。Ｉ／Ｏ制御部２１は、このメモリカード２２に画像データを記録したり、記録されている画像データを読み出したりする。なお、Ｉ／Ｏ制御部２１に接続される記録媒体は、メモリカード２２だけに限らず、光ディスクや光磁気ディスクなどのその他の記録媒体であってもよい。

次に、デジタルスチルカメラ１００の動作について説明する。画像を撮影時において、撮像レンズ５は、光を撮像素子１７に入射する。撮像素子１７は、受光した光の強度を電気信号に変換し、アナログ信号処理部１８に出力する。撮像素子１７より入力された電気信号は、アナログ信号処理部１８において、相関二重サンプリング処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され、各色信号の信号レベルの調整が行われ、Ａ／Ｄ変換部１９に供給される。

アナログ信号処理部１８から出力された信号は、Ａ／Ｄ変換部１９によりデジタル信号の画像データに変換された後、デジタル信号処理部２０に供給される。デジタル信号処理部２０は、画像データを、輝度信号（Ｙ信号）および色差信号（Ｃr,Ｃb信号）に変換するとともに、γ補正等の所定の処理を施した後、処理済みの画像データを内蔵するメモリに格納する。

ユーザがシャッターボタン２を半押しした場合、操作入力部２３からの操作入力に対応する信号に応じて、ＣＰＵ２４は、撮像素子１７により受光されて変換された電気信号が対応する画像データを、デジタル信号処理部２０から読み出す。ＣＰＵ２４は、読み出した画像データを映像信号生成処理部３０に供給し、ＬＣＤパネル６に表示させるとともに、画像ＲＡＭ２６に一旦格納する。ここで顔検出モードが選択されている場合、ＣＰＵ２４は、シャッターボタン２が半押しされると、画像データの顔を基準にしてＡＥ処理やＡＦ処理を含めた撮像前処理を実行する。

ユーザがシャッターボタン２を全押しした場合、操作入力部２３からの操作入力に対応する信号に応じて、ＣＰＵ２４は、シャッターボタン２を全押しタイミングで、必要に応じてフラッシュ４を制御し、被写体に向けて閃光を発光させる。また、このとき、ＣＰＵ２４は、撮像素子１７によりシャッターボタン２の全押しのタイミングで受光されて変換された電気信号が対応する画像データをデジタル信号処理部２０から読み出す。そしてＣＰＵ２４は、この画像データを映像信号生成処理部３０に供給し、ＬＣＤパネル６に表示させるとともに、画像ＲＡＭ２６に一旦格納する。

そして、ＣＰＵ２４は、画像ＲＡＭ２６に格納された画像データをＪＰＥＧ（Joint Photographic Experts Group）などで符号化し、符号化した画像データをＩ／Ｏ制御部２１に供給し、メモリカード２２に記録させる。

ここで、ユーザにより操作入力部２３から自動スタンプ機能を設定すると、物体抽出部２８は、撮影情報に応じて被写体の画像データを抽出する。ＣＰＵ２４は、物体抽出部２８が抽出した被写体の画像データを画像ＲＡＭ２６に一旦格納すると共にＬＣＤパネル６に表示するように制御する。ＣＰＵ２４は、ユーザによる選択により、抽出された画像データをメモリカード２２に保存する。このメモリカード２２に保存された画像データは、他の画像データに貼り付ける際に使用される。

続いて、上述した自動スタンプ機能について詳細に説明する。図３は、被写体を撮影する撮影情報を示すテーブル４０の構成図である。図３に示すテーブル４０は、撮影情報（ユーザ指定情報）が設定されている。この撮影情報として、「撮影モード」、「顔検出」、「スマイルシャッターで撮影」、「セルフタイマー」、「露出モード」、「前後の画像」及び「オートフォーカス」の項目から構成されている。「撮影モード」の項目は、ソフトスナップ、花火及びペットから構成されている。このテーブル４０は、フラッシュメモリ２７に保存されている。

これらの項目には、スタンプ用に抽出した画像データを図１ＢのＬＣＤパネル６に表示する際の優先順位が設定されている。この例では、「撮影モード（ソフトスナップ）」が最も優先順位が高く、次に「撮影モード（花火）」の優先順位が高く設定されている。また、「オートフォーカス」が最も優先順位が低く設定されている。

例えば、ユーザが操作入力部２３を操作して「撮影モード（ソフトスナップ）」のみを選択した場合、物体抽出部２８はピントの合った被写体の画像データを抽出し、ＬＣＤパネル６は、このピントの合った被写体の画像データをスタンプ候補として表示する。

また、ユーザが操作入力部２３を操作して「撮影モード（ペット）」及び「顔検出（有り）」を選択した場合、物体抽出部２８は動物の画像データ及び人物の顔の画像データを抽出する。ＬＣＤパネル６はスタンプ候補として、先ず優先順位の高い動物の画像データを表示して、次に人物の顔の画像データを表示する。これにより、ユーザの好みに合ったスタンプ候補の画像データから優先的に提示することができる。

同様に、テーブル４０の他の項目「スマイルシャッターで撮影」、「セルフタイマー」、「露出モード」、「前後の画像」及び「オートフォーカス」についても、ＬＣＤパネル６はスタンプ候補として、抽出した物体の画像データを優先順位の高い順番に表示する。

続いて、実際に撮影した画像データを用いてデジタルスチルカメラ１００の機能例について説明する。図４は、デジタルスチルカメラ１００の撮影例を示す図である。図４には、ＬＣＤパネル６の画面を拡大して図示している。このＬＣＤパネル６には、人物２名、動物（犬）１匹を撮影した写真が表示されている。この写真は、過去に撮影して図２に示したメモリカード２２に保存された画像データを画像ＲＡＭ２６に展開した写真でも良いし、又は現在撮影した画像データを画像ＲＡＭ２６に展開した写真でも良い。

ＣＰＵ２４は、Ｅｘｉｆファイルを読み出して写真の付加情報、例えば図３に示した撮影情報を読み取る。この例では、図４に示す写真のＥｘｉｆファイルには、「撮影モード（ペット）」及び「顔検出（有り）」の撮影情報が設定されている。これは、ユーザがメニューボタン８及びカーソル指示ボタン類７を操作して撮影（ペット）モード及び顔検出モードで写真を撮影した場合の例である。

ＣＰＵ２４は、テーブル４０を参照して、例えばＥｘｉｆファイルから読み出した「撮影モード（ペット）」及び「顔検出（有り）」の撮影情報における優先順位を取得する。ＣＰＵ２４は、取得した優先順位に基づいて、図５Ａに示すように優先リスト４１を作成して例えば画像ＲＡＭ２６に保存する。図５Ａに示す優先リスト４１は、「動物」及び「人物の顔」の項目が優先する順番に昇順に作成されている。

ここで、ユーザがメニューボタン８及びカーソル指示ボタン類７を操作して自動スタンプ機能を実行する。このとき、ＣＰＵ２４は、タグ別の空リストを作成する。例えば、図５Ｂに示す「動物」を示すタグ４２Ａ、「人物の顔」を示すタグ４２Ｂを作成する。このタグとは、画像認識アルゴリズムによって判定することができるオブジェクト（物体）のことである。

ＣＰＵ２４は物体抽出部２８を駆動する。物体抽出部２８は、画像認識アルゴリズムを用いて、動物の画像データＷ１を抽出する。ＣＰＵ２４は、物体抽出部２８により抽出した動物の画像データＷ１をタグ４２Ａに関連付けて画像ＲＡＭ２６に保存する。また、物体抽出部２８は、画像認識アルゴリズムを用いて、人物の顔の画像データＷ１，Ｗ２を抽出する。ＣＰＵ２４は、物体抽出部２８により抽出した人物の顔の画像データＷ１，Ｗ２をタグ４２Ｂに関連付けて画像ＲＡＭ２６に保存する。ＣＰＵ２４は優先リスト４１を参照して、タグ４２Ａ，４２Ｂに関連付けられたスタンプ用の各画像データＷ１〜Ｗ３を優先順位に基づいてＬＣＤパネル６に表示する。

図６は、スタンプ用の画像データをＬＣＤパネル６に表示する順番を示す図である。図６に示すＬＣＤパネル６は１画面に、一例としてスタンプ用の画像データを４枚だけ表示する。図６に示すように、左上の表示領域Ｐ１に最も優先順位が高い画像データを表示し、右上の表示領域Ｐ２に２番目に優先順位が高い画像データを表示する。そして、左下の表示領域Ｐ３に３番目に優先順位が高い画像データを表示し、右下の表示領域Ｐ４に４番目に優先順位が高い画像データを表示する。画像データが５枚以上の場合は、ＬＣＤパネル６の次の画面に表示領域Ｐ１〜Ｐ４の順番で５枚目以降の画像データを表示する。

図７は、ＬＣＤパネル６におけるスタンプ画像の表示例を示す図である。図７に示すＬＣＤパネル６には、スタンプ用の画像データＷ１〜Ｗ３とその枚数を示す情報（３枚）が表示されている。この例で、ＣＰＵ２４は、画像ＲＡＭ２６に保存された優先リスト４１を参照して最も優先順位の高いタグ４２Ａに対応づけられた動物の画像データＷ１を取得する。ＣＰＵ２４は、この動物の画像データＷ１と表示位置情報を映像信号生成処理部３０に出力する。映像信号生成処理部３０は、表示位置情報に基づいて動物の画像データＷ１をＬＣＤパネル６の表示領域Ｐ１に表示する。

次に、ＣＰＵ２４は、画像ＲＡＭ２６に保存された優先リスト４１を参照して次に優先順位の高いタグ４２Ｂに対応づけられた人物の顔の画像データＷ２を取得する。ＣＰＵ２４は、この人物の顔の画像データＷ２と表示位置情報を映像信号生成処理部３０に出力する。映像信号生成処理部３０は、表示位置情報に基づいて人物の顔の画像データＷ２をＬＣＤパネル６の表示領域Ｐ２に表示する。

同様に、ＣＰＵ２４は、タグ４２Ｂに対応づけられた人物の顔の画像データＷ３を取得する。ＣＰＵ２４は、この人物の顔の画像データＷ３と表示位置情報を映像信号生成処理部３０に出力する。映像信号生成処理部３０は、表示位置情報に基づいて人物の顔の画像データＷ３をＬＣＤパネル６の表示領域Ｐ３に表示する。

このように、ＣＰＵ２４は、優先リスト４１を参照して優先順位の高い順番に各タグに対応づけられた画像データをＬＣＤパネル６に表示するように制御する。これにより、撮影情報に合わせてスタンプ用の画像を自動的にＬＣＤパネル６に表示できる。従って、ユーザは優先順位の高いスタンプ用の画像から選択できるので、ユーザビリティを向上できる。

スタンプ用の画像を選択する場合、ユーザはカーソル指示ボタン類７を操作して、オンスクリーン機能によってＬＣＤパネル６に表示された選択用のアイコンＭを移動させる。そして、ユーザはカーソル指示ボタン類７を操作して、スタンプ用の画像データを選択して保存する。例えば、図７に示すようにユーザはカーソル指示ボタン類７を操作して、ＬＣＤパネル６の表示領域Ｐ１にアイコンＭを移動して画像データＷ１を選択する。選択された画像データＷ１は、メモリカード２２に保存される。

スタンプ用の画像を選択する画面を終了する場合、ユーザはカーソル指示ボタン類７を操作して、選択用のアイコンＭを「終了」ボタンＱ１に移動させて選択する。なお、スタンプ用の画像が５枚以上の場合は、スタンプ用の画像データの枚数を画面左上に示すと共に、次のページへの移動を促す「次へ」ボタンなどを表示する。ユーザは、この「次へ」ボタンを選択すると、５枚目以降のスタンプ用の画像が優先順位に基づいて次の画面に表示される。

なお、自動スタンプ機能を実行したときに、物体抽出部２８がスタンプ用の画像データを抽出できなかった場合、図８に示すようにスタンプ用の画像が見つからなかった旨を表示する。スタンプ用の画像の手動で選択する場合、ユーザはカーソル指示ボタン類７を操作して、選択用のアイコンＭを「はい」ボタンＱ２に移動させて選択する。この場合、ユーザは、従来のように例えばスタイラスなどのペンで画像を囲ってスタンプ用の画像を作成する。スタンプ用の画像の手動で選択しない場合、ユーザはカーソル指示ボタン類７を操作して、選択用のアイコンＭを「いいえ」ボタンＱ３に移動させて選択する。

続いて、保存したスタンプ用の画像を他の写真に貼り付ける例を説明する。図９に示すＬＣＤパネル６には、風景を撮影した写真が表示されている。この風景写真の画像データは、ＣＰＵ２４により画像ＲＡＭ２６に展開されている。

ユーザはメニューボタン８及びカーソル指示ボタン類７を操作して、図１０に示すようにメモリカード２２に保存されたスタンプ用の画像をＬＣＤパネル６に表示する。ユーザはカーソル指示ボタン類７を操作して、オンスクリーン機能によってＬＣＤパネル６に表示された選択用のアイコンＭを移動させる。そして、図１０に示すようにユーザはカーソル指示ボタン類７を操作して、例えばＬＣＤパネル６の画像データＷ１にアイコンＭを移動して動物の画像データＷ１を選択する。選択された動物の画像データＷ１は、ＣＰＵ２４により図１１に示すように風景の写真に貼り付けられる。

続いて、図１２を参照してデジタルスチルカメラ１００の動作例を説明する。図１２に示すステップＳＴ１で、図２に示したＣＰＵ２４は、候補とするスタンプ用の画像の上限数を設定する。例えば、ＣＰＵ２４は、フラッシュメモリ２７に保存されているデフォルト値、例えば「３０」を読み出して上限数に設定する。この上限数は、ユーザが変更可能である。続いてステップＳＴ２に移行する。

ステップＳＴ２で、ＣＰＵ２４は、Ｅｘｉｆファイルを読み出して写真の付加情報、例えば図３に示した撮影情報を読み取って優先リスト４１を作成する。例えば、ＣＰＵ２４は、Ｅｘｉｆファイルから読み出した「撮影モード（ペット）」及び「顔検出（有り）」の撮影情報に基づいて、図５Ａに示したように優先リスト４１を作成して例えば画像ＲＡＭ２６に保存する。続いてステップＳＴ３に移行する。

ステップＳＴ３で、ＣＰＵ２４は、自動スタンプ作成を実行するボタンが押下されたか否かを判定する。この例で、ユーザはメニューボタン８及びカーソル指示ボタン類７を操作して自動スタンプ機能を実行する。自動スタンプ作成を実行するボタンが押下された場合、ステップＳＴ４に移行する。

ステップＳＴ４で、ＣＰＵ２４は、タグ別の空リストを作成する。例えば、図５Ｂに示したように「動物」を示すタグ４２Ａ、「人物の顔」を示すタグ４２Ｂを作成してステップＳＴ５に移行する。

ステップＳＴ５で、ＣＰＵ２４ｈは、優先リスト４１の中から、まだ検索されていないタグを検索タグに設定する。この検索タグとは、画像に対して適用している画像認識アルゴリズムの対象を覚えておく変数である。続いてステップＳＴ６に移行する。

ステップＳＴ６で、ＣＰＵ２４は物体抽出部２８を駆動して、検索タグについて画像認識アルゴリズムを適用する。例えば、優先リスト４１に「動物」と「人物の顔」のタグが登録されていた場合、タグごとに適用する。続いてステップＳＴ７に移行する。

ステップＳＴ７で、ＣＰＵ２４は、物体抽出部２８により画像認識アルゴリズムを適用した結果、候補となるスタンプ用の画像を抽出できたか否かを判定する。スタンプ用の画像を抽出できた場合ステップＳＴ８に移行する。

ステップＳＴ８，ＳＴ９で、ＣＰＵ２４は、物体抽出部２８により抽出したスタンプ用の画像をメモリ上に生成してタグに関連付けて保存する。例えばＣＰＵ２４は、物体抽出部２８により抽出した動物の画像データＷ１をタグ４２Ａに関連付けて画像ＲＡＭ２６に保存する。ファイル形式はＪＰＥＧなどの形式で良く特に問わない。続いてステップＳＴ１０に移行する。

ステップＳＴ１０で、ＣＰＵ２４は、これまでに検出したスタンプ用の画像の数が、ステップＳＴ１で設定した上限数を超えたか否かを判定する。スタンプ用の画像の数が、ステップＳＴ１で設定した上限数を超えていない場合ステップＳＴ６に戻り、上限数を超えている場合ステップＳＴ１３に移行する。

上述のステップＳＴ７で、スタンプ用の画像を抽出できなかった場合、ステップＳＴ１１に移行する。ステップＳＴ１１で、ＣＰＵ２４は、優先リスト４１の中に画像認識アルゴリズムを適用していないタグが存在するか否かを判定する。優先リスト４１の中に画像認識アルゴリズムを適用していないタグが存在する場合、ステップＳＴ５に戻る。また、優先リスト４１の中に画像認識アルゴリズムを適用していないタグが存在しない場合ステップＳＴ１２に移行する。

ステップＳＴ１２で、これまでにスタンプ用の画像を１つ以上、抽出できたか否かを判定する。ＣＰＵ２４は、スタンプ用の画像を１つ以上、抽出できた場合ステップＳＴ１３に移行する。ステップＳＴ１３で、ＣＰＵ２４は、優先リスト４１に登録されているタグの優先順位に基づいて、タグに関連付けられた画像をＬＣＤパネル６に表示させる。例えば、図７に示したようにＣＰＵ２４は、優先リスト４１を参照して最も優先順位の高いタグ４２Ａに対応づけられた動物の画像データＷ１をＬＣＤパネル６の表示領域Ｐ１に表示させてスタンプ用の画像の表示処理を終了する。

また、上述のステップＳＴ１２で、スタンプ用の画像を１つ以上、抽出できなかった場合、ステップＳＴ１４に移行する。ステップＳＴ１４で、図８に示したようにスタンプ用の画像が１つも抽出できなかった旨の通知を行い、手動でスタンプ用の画像を囲うか否かを確認する。

このように、本発明に係るデジタルスチルカメラ１００によれば、物体画像をＬＣＤパネル６に表示する優先順位を示すテーブル４０を参照して撮影情報の優先順位を取得する。そして、この優先順位に基づいて、抽出した物体画像をＬＣＤパネル６に表示する。

この構成によって、撮影した画像の中からスタンプとして登録したい領域を選択する際に、カメラ側からスタンプの候補を提示してくれるので、ユーザがわざわざ領域を囲む手間を省くことができる。また、撮影情報（ユーザ指定情報）を使用してスタンプ候補を提示するため、ユーザの好みに合ったスタンプ候補を優先的に提示することができる。

従来、スタンプ用の画像を切り取る領域を選択するには、ユーザの好みを反映させるために、スタイラスなどでタッチパネル上の画像の領域を囲う必要があった。本発明では、装置側からスタンプの候補を挙げてくれるため、タッチパネルを有しない十字キーモデルにも搭載可能である。
＜第２の実施の形態＞
[サムネイル機能]

上述したスタンプ用の画像はサムネイルとして、画像を保存するフォルダ（又はディレクトリ）の画像に貼り付けても良い。例えば図１３に示すように、動物の写真を格納したフォルダＦ１に動物の画像データＷ１を貼り付ける。また、家族などの写真を格納したフォルダＦ２に人物の顔の画像データＷ２を貼り付ける。これにより、各フォルダの内容が明確になる。

また、写真全体をそのまま縮小したサムネイルを用いずに、抽出された画像をサムネイルとして用いている。これにより、カメラなどのようにＬＣＤパネル６のサイズがパーソナルコンピュータのモニタなどに比べて小さい場合でも、図１３に示すように対象の画像のみを表示できるのでフォルダの内容を明確に判断できる。

本発明は、写真にスタンプ用の画像を貼り付ける機能を有した撮像装置及び撮像方法に適用して極めて好適である。

デジタルスチルカメラ１００の構成例を示す図である。 デジタルスチルカメラ１００の制御系の構成例を示すブロック図である。 被写体を撮影する撮影情報を示すテーブル４０の構成図である。 デジタルスチルカメラ１００の撮影例を示す図である。 優先リスト４１及びタグ４２Ａ，４２Ｂの構成例を示す図である。 スタンプ用の画像データをＬＣＤパネル６に表示する順番を示す図である。 ＬＣＤパネル６におけるスタンプ画像の表示例を示す図である。 スタンプ用の画像を抽出できなかった場合の表示例を示す図である。 スタンプ用の画像を貼り付ける前の写真を示す図である。 メモリカード２２に保存されたスタンプ用の画像の表示例を示す図である。 スタンプ用の画像を貼り付けた後の写真を示す図である。 デジタルスチルカメラ１００の動作例を示すフローチャートである。 サムネイル用の画像をフォルダＦ１，Ｆ２に貼り付けた状態を示す図である。

符号の説明

６・・・ＬＣＤパネル（表示部）、２３・・・操作入力部、２４・・・ＣＰＵ（制御部）、２７・・・フラッシュメモリ（記憶部）、２８・・・物体抽出部、１００・・・デジタルスチルカメラ

Claims (6)

1. 被写体を撮影する撮影情報を設定するための操作入力部と、
   前記被写体を撮像して画像信号を生成する撮像部と、
   あらかじめ決められた複数の画像認識アルゴリズムのうちのいずれかに基づき、前記撮像部により生成された画像信号から物体画像を抽出する物体抽出部と、
   前記物体抽出部により抽出した前記物体画像を表示する表示部と、
   前記物体画像を抽出した前記画像認識アルゴリズムごとに優先順位が示されたテーブルを記憶する記憶部と、
   前記テーブルを参照して、前記操作入力部から設定された前記撮影情報における優先順位を取得し、該優先順位に基づいて前記物体画像を表示するように前記表示部を制御する制御部とを備える撮像装置。
2. 前記制御部は、
   前記優先順位の高い順番に前記物体画像を前記表示部に表示するように制御する請求項１に記載の撮像装置。
3. 前記操作入力部が操作されて、前記表示部に表示された前記物体画像が選択され、
   前記制御部は、
   前記選択された物体画像を所定の画像に貼り付けるスタンプ用の画像として前記記憶部に記憶する請求項２に記載の撮像装置。
4. 前記操作入力部が操作されて、前記表示部に表示された前記物体画像が選択され、
   前記制御部は、
   前記選択された物体画像をフォルダの画像に貼り付けるサムネイル用の画像として前記記憶部に記憶する請求項２に記載の撮像装置。
5. 前記物体抽出部は、
   前記画像信号の輪郭を抽出し、該輪郭が示す物体輪郭情報に基づいて前記物体画像がいかなる種類の物体であるかを判別して抽出する請求項２に記載の撮像装置。
6. 被写体を撮影する撮影情報を操作入力部から設定するステップと、
   前記被写体を撮像して画像信号を生成するステップと、
   あらかじめ決められた複数の画像認識アルゴリズムのうちのいずれかに基づき、生成された前記画像信号から物体画像を抽出するステップと、
   前記物体画像を抽出した前記画像認識アルゴリズムごとに優先順位が示されたテーブルを記憶部に記憶するステップと、
   前記テーブルを参照して、前記操作入力部から設定された前記撮影情報における優先順位を取得するステップと、
   取得した前記優先順位に基づいて前記表示部に前記物体画像を表示するように制御するステップとを有する撮像方法。
   

Images