JP4424364B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、撮像画像データについての画像処理を行う画像処理装置、画像処理方法に関する。

特開２００３−１１０９９９号公報 特開２００５−３０３５１１号公報 特開２００４−６２５６０号公報 特開２００５−１１０００４号公報 特許第３７４０３５１号公報

インターネット等のネットワークの普及や、一般ユーザが使用する各種機器（パーソナルコンピュータ、携帯電話機、撮像装置等）の高機能化により、個人が撮像した画像データ（静止画／動画）をホームページ等で公表したり、ネットワーク上で共有可能としたり、交換したりすることが容易に可能となっている。例えば上記特許文献１、２には、画像（写真）共有システムや、画像（写真）共有サービスに関する技術が開示されている。
これらのシステムが実用化され、共有画像データが増えるほど、肖像権や著作権に関する問題が生じてくることが予想される。例えば或る人物の顔が写された画像データや、或る著作物を撮像した画像データが、無断でネットワーク上で公開されたり共有されることが、善意／悪意にかかわらず、発生する状況が生まれる。
これに対しては、上記特許文献３，４，５に開示されているように、画像データについて人物の顔の部分をモザイク化等の処理を行うことで、肖像権や著作権の問題が生じないようにする技術も提案されている。

ところが、このような現状において、ユーザが撮像した画像データに対して、不必要なモザイク化等が行われないようにしたり、或いは逆にモザイク化等を行わなかったためにユーザが知らずに肖像権や著作権を侵害するような事態を生じさせないようにする技術は提案されていない。
そこで本発明は、ユーザが特に意識しなくとも、撮像画像データに対して適切な画像処理が実行されるようにすることを目的とする。

本発明の画像処理装置は、撮像画像データを取得する撮像画像取得手段と、上記撮像画像取得手段により取得した撮像画像データの画像解析を行い、その撮像画像データの画像内に特定種別の被写体画像が存在した場合、該被写体画像の画像サイズに応じて、該被写体画像の画素領域を画像変換処理の処理対象領域に設定する対象領域設定手段と、上記処理対象領域の被写体画像を認識不能又は認識困難な画像とする画像変換処理、又は上記処理対象領域の被写体画像を他の画像に置き換える画像変換処理を行い、上記撮像画像データにおいて上記処理対象領域のみが上記画像変換処理後の画像とされた変換画像データを生成する変換処理手段とを備える。
上記対象領域設定手段は、上記撮像画像データが手動操作に基づいたタイミングで撮像（手動撮像）された撮像画像データであるか、自動撮像された撮像画像データであるかを判別する。そして上記撮像画像データが、手動操作によるタイミングで撮像された撮像画像データである場合は、上記特定種別の被写体画像の画像サイズが小サイズと判別された場合に、当該被写体画像の画素領域を上記処理対象領域に設定し、一方、上記撮像画像データが、自動撮像された撮像画像データである場合は、大サイズと判別された場合に、当該被写体画像の画素領域を上記処理対象領域に設定する。
また上記特定種別の被写体画像とは、人間の顔の画像や著作物の画像であるとする。
また上記変換処理手段は、上記画像変換処理として、上記処理対象領域の顔画像を、その顔画像の属性又は表情の判別結果に応じて、他の画像に置き換える処理を行う。

上記撮像画像取得手段は、画像撮像を行う撮像部を有し、上記撮像部での撮像により、上記撮像画像データを取得する。上記撮像部は、撮像素子として例えばＣＣＤセンサ又はＣＭＯＳセンサを用いて構成されている。
また上記撮像画像取得手段は、外部機器と通信を行う通信部を有し、上記通信部での外部機器と通信により、上記撮像画像データを受信して取得する。
また上記撮像画像取得手段は、可搬性記録媒体から情報を再生する再生部を有し、上記再生部による上記可搬性記録媒体の再生により、上記撮像画像データを取得する。

また上記変換処理手段で生成された変換画像データについて保存処理を行う保存処理手段を、さらに備える。
上記保存処理手段は、記録媒体に対して情報の記録を行う記録部を有し、上記保存処理として、上記変換画像データを、上記記録媒体に記録する。
また上記保存処理手段は、外部機器と通信を行う通信部を有し、上記保存処理として、上記変換画像データを、外部機器に送信する。

また上記変換処理手段で生成された上記変換画像データについての出力処理を行う画像出力手段を、さらに備える。
上記画像出力手段は、表示部を有し、上記出力処理として、上記表示部において上記変換画像データについての表示出力を行う。
また上記画像出力手段は、外部機器と通信を行う通信部を有し、上記出力処理として、上記通信部により上記変換画像データについての外部機器への送信出力を行う。
また上記画像出力手段は、可搬性記録媒体に情報を記録する記録部を有し、上記出力処理として、上記記録部によって上記可搬性記録媒体に上記変換画像データを記録する。

本発明の画像処理方法は、撮像画像データを取得するステップと、取得した撮像画像データの画像解析を行い、その撮像画像データの画像内に特定種別の被写体画像が存在した場合、該被写体画像の画像サイズに応じて、該被写体画像の画素領域を画像変換処理の処理対象領域に設定する対象領域設定ステップと、上記処理対象領域の被写体画像を認識不能又は認識困難な画像とする画像変換処理、又は上記処理対象領域の被写体画像を他の画像に置き換える画像変換処理を行い、上記撮像画像データにおいて上記処理対象領域のみが上記画像変換処理後の画像とされた変換画像データを生成するステップとを備える。そして上記対象領域設定ステップでは、上記撮像画像データが手動操作によるタイミングで撮像された撮像画像データであるか、自動撮像された撮像画像データであるかを判別するとともに、上記撮像画像データが、手動操作によるタイミングで撮像された撮像画像データである場合は、上記特定種別の被写体画像の画像サイズについて、大サイズか小サイズを判別する処理を行い、小サイズと判別された場合に、当該被写体画像の画素領域を上記処理対象領域に設定し、上記撮像画像データが、自動撮像された撮像画像データである場合は、上記特定種別の被写体画像の画像サイズについて、大サイズか小サイズを判別する処理を行い、大サイズと判別された場合に、当該被写体画像の画素領域を上記処理対象領域に設定する。

即ち以上の本発明では、撮像画像データの画像内で、画像変換処理の処理対象領域を設定する。例えば人の顔画像や著作物の画像などの特定の被写体画像を抽出し、その画像サイズに基づいて処理対象領域とするか否かを決める。例えば画像上で小さく写されている顔や著作物の領域を処理対象領域とする。或いは逆に画像上で大きく写されている顔や著作物の領域を処理対象領域とする。
また、特にユーザのシャッタ操作に応じたタイミングなどで撮像が行われる手動撮像と、ユーザが意識せずに自動的に撮像が行われる自動撮像の両方を実行できる撮像装置の場合、手動撮像による撮像画像データについては小さく写されている顔や著作物の領域を処理対象領域とし、自動撮像の撮像画像データについては大きく写されている顔や著作物の領域を処理対象領域とする。
設定された処理対象領域については、画像変換処理として被写体が認識不能又は認識困難な画像とする処理を行ったり、被写体画像を他の画像に置き換える処理を行う。認識不能又は認識困難な画像とする処理とは、例えばモザイク化、ソフトフォーカス化、暗号化（画像スクランブル処理）、顔画像への目線等の追加などが想定される。他の画像に置き換える処理とは、例えば顔画像や著作物をアニメーション画像や各種イメージ画像などに置き換えることが想定される。

本発明によれば、撮像画像データにおける特定の被写体画像（人物の顔や著作物など）について、そのサイズに応じて適切な画像変換処理が行われる。例えば被写体画像を認識不能又は認識困難な画像とする処理や、被写体画像を他の画像に置き換える処理が行われる。これにより、ユーザが特に意識しなくとも、撮像画像データに対して適切な画像処理が実行される。
例えば手動撮像による撮像画像データでは、ユーザは目的の人物等を主な被写体として撮像するが、その場合、背後に写り込んだ人物等が問題となる場合がある。このような場合、小さく写されている顔画像についてモザイク化等を行うことが適切である。
またユーザがシャッタ操作を意識していない自動撮像の撮像画像データの場合、ユーザが無意識のうちに人物の顔や著作物が大きく撮されることがあり、このような場合、大きく撮された人物等にモザイク化等の処理を行うことが適切である。本発明によれば、これらのような適切な画像処理が実現できる。

以下、本発明の画像処理装置、画像処理方法の実施の形態を説明する。ここでは画像処理装置の例として撮像装置を挙げて説明する。なお後に変形例、拡張例として述べるが本発明の画像処理装置は、撮像装置以外の機器でも実現できる。
説明は次の順序で行う。
［１．撮像装置の外観例］
［２．撮像装置の構成例］
［３．画像処理例］
［４．画像解析／変換部の処理］
［５．人物属性／表情に応じた処理］
［６．顔画像以外の処理対象］
［７．動作手順例］
［８．実施の形態の効果、及び変形例、拡張例］

［１．撮像装置の外観例］

実施の形態の撮像装置１としては、各種の形態が想定されるが、それらの外観例を図１（ａ）（ｂ）（ｃ）（ｄ）に例示する。
図１（ａ）は、眼鏡型ディスプレイカメラとした撮像装置１を示している。撮像装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
この撮像装置１は、ユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
また図示のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示パネル部２ａ、２ａが配置される構成とされている。この表示パネル部２ａには、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示パネル部２ａがスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
なお、表示パネル部２ａは、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成も考えられる。

図１（ｂ）は、同じくユーザが頭部に装着する撮像装置１を示しているが、図１（ａ）のような表示パネル部２ａを備えない構成である。例えば耳殻に掛けられるような装着ユニットによりユーザ頭部に装着される。そしてこの状態でユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。

これら図１（ａ）（ｂ）では、眼鏡型或いは頭部装着型の装着ユニットによりユーザの頭部に装着される撮像装置１を挙げたが、撮像装置１をユーザが装着するための構造は多様に考えられる。例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。また必ずしもユーザの頭部に装着されるものでなくても良い。
また、撮像方向をユーザの視界方向としているが、装着時にユーザの後方、側方、上方、足下方向などを撮像するように撮像レンズ３ａが取り付けられている構成や、撮像方向が同一又は異なる方向とされた複数の撮像系が設けられている構成も考えらえる。
さらには、１又は複数の撮像レンズ３ａについて、被写体方向を手動又は自動で可変できる撮像方向可変機構を設けても良い。

図１（ｃ）は一般にデジタルスチルカメラとして知られているような形態の撮像装置１を示している。
また図１（ｄ）は一般にビデオカメラとして知られているような形態の撮像装置１を示している。
これら図１（ｃ）（ｄ）のようにユーザが所持して使用する撮像装置１も、本発明の実施の形態の一態様となる。そして図では撮像レンズ３ａしか示していないが、撮像モニタ用のパネル表示部やビューファインダなどの表示デバイスも設けられている。

なお、静止画撮像や動画撮像を行う撮像装置として、これら図１（ａ）（ｂ）（ｃ）（ｄ）に示す以外の形態も考えられることは言うまでもない。例えば携帯電話機やＰＤＡ（Personal Digital Assistant）、携帯用パーソナルコンピュータなどの機器であって、撮像装置としての機能を備えているものも本実施の形態の撮像装置１として想定できる。
また、これらの各種形態において、例えば外部音声を集音するマイクロホンを設け、撮像時に、画像データと共に記録する音声信号を得るようにしてもよい。また音声出力を行うスピーカ部やイヤホン部を形成するようにしても良い。
また撮像レンズ３ａの近辺に、被写体方向への照明を行う発光部を、例えばＬＥＤ（Light Emitting Diode）等により設けたり、静止画撮像のためのフラッシュ発光部を設けることも考えられる。

［２．撮像装置の構成例］

撮像装置１の構成例を図２で説明する。
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像装置１の全体を制御する制御部とされる。このシステムコントローラ１０は内部のＲＯＭ等に保持したプログラムに基づいて、各種演算処理やバス１３を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。

撮像部３は、撮像光学系、撮像素子部、撮像信号処理部を有する。
撮像部３における撮像光学系では、図１に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部３における撮像素子部では、撮像光学系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
また撮像部３における撮像信号処理部では、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理などを行う。

これらの撮像光学系、撮像素子部、撮像信号処理部を有する撮像部３により、撮像が行われ、撮像画像データが得られる。
この撮像部３の撮像動作によって得られた画像データは、撮像制御部６で処理される。
撮像制御部６は、システムコントローラ１０の制御に従って、撮像画像データを所定の画像データフォーマットに変換する処理や、変換した撮像画像データを、動作状況に応じて画像解析／変換部１２，ストレージ部１４，通信部１５，表示制御部７へ供給する処理を行う。
また撮像制御部６はシステムコントローラ１０の指示に基づいて、撮像部３における撮像動作のオン／オフ制御、撮像光学系のズームレンズ、フォーカスレンズの駆動制御、撮像素子部の感度やフレームレートの制御、撮像信号処理部の各処理のパラメータ制御や実行処理の設定などを行う。

ところでこの撮像装置１は、手動撮像と自動撮像を実行可能とすることができる。
手動撮像とは、ユーザの操作に応じて画像撮像を行う動作である。例えばユーザのシャッタ操作により静止画撮像を行ったり、スタート操作で動画撮像を行う動作である。
一方、自動撮像とは、ユーザの撮像タイミングの操作に基づかない撮像動作であり、例えば定期的に撮像を行ったり、或るトリガ（ユーザの意識的な操作以外のトリガ）で撮像を行ったり、電源オン状態で常時撮像を行うなどの動作である。つまり自動撮像は、ユーザが意識していないタイミングで撮像を行う動作とも言える。
手動撮像の場合、後述する操作入力部１１によるユーザの意識的な操作が検知されると、システムコントローラ１０は撮像制御部６に撮像を指示することになる。
一方、自動撮像としては、システムコントローラ１０は撮像制御部６に定期的に撮像を指示したり、ユーザの意識的な操作以外のトリガの検知により撮像制御部６に撮像を指示することになる。

例えば図１（ａ）（ｂ）（ｃ）（ｄ）のような撮像装置１では、いずれも、手動撮像を実行する機器として好適であるが、特に図１（ａ）（ｂ）のようなウェアラブルな撮像装置１の場合、ユーザの日々の行動軌跡を撮像するために自動撮像を行うことも好適である。
なお実施の形態としては、手動撮像のみを行う撮像装置１や、或いは自動撮像のみを行う撮像装置１も想定される。

画像解析／変換部１２は、この撮像装置１が取得した撮像画像データについて、画像解析や画像変換の処理を行い、変換画像データを生成する。
例えば撮像部３で得られる撮像画像データに対して画像解析を行って、画像内における処理対象領域を検出する処理を行う。
また検出された処理対象領域の被写体画像について画像変換処理を行う。例えばモザイク化、ソフトフォーカス化、暗号化（画像スクランブル処理）、顔画像への目線等の追加などの画像変換処理を行って変換画像データを生成する。
また、被写体画像を他の画像に置き換える処理も可能である。例えば顔画像や著作物をアニメーション画像や各種イメージ画像などに置き換える画像変換処理を行う。
なおアニメーション画像など、画像の置き換えに使用する画像データはＲＯＭ或いはフラッシュメモリなどとしてのメモリ１２ａに登録されている。但し、後述するストレージ部１４から読み出される画像データや、通信部１５で受信される画像データを用いて被写体画像の置き換え処理を行うことも考えられる。

画像解析／変換部１２が処理の対象とする撮像画像データとは、例えば上記のように撮像部３で撮像された撮像画像データ（静止画データや動画データ）であるが、他の場合もある。
即ち撮像装置１が取得できる撮像画像データとしては、外部の撮像装置で撮像された撮像画像データもあり得る。例えば外部の撮像装置で撮像された撮像画像データが、その撮像装置やサーバ装置等から送信され、通信部１５で受信される場合がある。
また外部の撮像装置で撮像された撮像画像データが可搬性記録媒体に記録され、その可搬性記録媒体をストレージ部１４（ストレージ部１４が可搬性記録媒体に対する再生機能を備えている場合）で再生することで取得する場合もある。
このため、例えば通信部１５で受信した撮像画像データや、可搬性記録媒体から再生して読み出した撮像画像データを、画像解析／変換部１２での処理対象とすることもできる。

この画像解析／変換部１２は、マイクロコンピュータやビデオプロセッサとしてのＤＳＰ（Digital Signal Processor）などで構成できる。また、この図２ではマイクロコンピュータによるシステムコントローラ１０と別ブロックで示しているが、システムコントローラ１０内で起動されるソフトウエアにより画像解析／変換部１２としての動作が実現されても良い。
画像解析／変換部１２の処理対象領域の設定処理や、画像変換処理についての詳細は後述する。

撮像装置１においてユーザに対して表示を行う構成としては、表示部２、表示制御部７が設けられる。
この表示部２は、上述した液晶パネル等による表示パネル部２ａと、表示パネル部２ａを表示駆動する表示駆動部が設けられる。
表示駆動部は、撮像制御部６から供給される画像データを、例えば液晶ディスプレイとされる表示パネル部２ａにおいて表示させるための画素駆動回路で構成されている。画素駆動回路は表示パネル部２ａにおいてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。

表示制御部７は、システムコントローラ１０の制御に基づいて、表示部２における画素駆動回路を駆動し、表示パネル部２ａに所定の表示を実行させる。
即ち、撮像部３での撮像モニタとしての表示や、ストレージ部１４に取り込まれた撮像画像データの再生表示、さらには通信部１５で受信したデータの表示、各種キャラクタの表示などを、表示パネル部２ａにおいて実行させる。
またこれらの表示のために、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。
また表示制御部７は、システムコントローラ１０の指示に基づいて表示駆動部を制御し、表示パネル部２ａの各画素の透過率を制御して、スルー状態（透明又は半透明の状態）とすることもできる。

ストレージ部１４は、各種データの保存に用いられる。例えば撮像画像データや、画像解析／変換部１２で生成した変換画像データの保存に用いられる。
このストレージ部１４は、ＲＡＭ或いはフラッシュメモリなどの固体メモリにより構成されても良いし、例えばＨＤＤ（Hard Disk Drive）により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
もちろん、固体メモリやＨＤＤ等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。
このストレージ部１４は、システムコントローラ１０の制御に基づいて、撮像画像データや変換画像データを記録し、保存する。
またシステムコントローラ１０の制御に基づいて、記録したデータを読み出し、システムコントローラ１０や表示制御部７などに供給する。

撮像画像データや変換画像データは、例えば図３のような形式でストレージ部１４に保存される。
まず撮像画像データとして、例えば撮像部３で撮像を行うことで取得した撮像画像データ、或いは通信部１５で受信して取得した撮像画像データ、或いは可搬性記録媒体から読み出されることで取得した撮像画像データがストレージ部１４で保存される。
取得された各撮像画像データは、例えば図３のエントリ＃１、＃２・・・＃ｎとしての撮像画像データＶＤ１，ＶＤ２・・・ＶＤｎとして保存される。
また、これらの画像データにそれぞれ対応して、画像管理情報Ｃ１，Ｃ２・・・Ｃｎが記録される。画像管理情報は、例えば撮像画像データのファイル名、画像種別（動画／静止画の別など）、データサイズ、圧縮方式、撮像を行った装置の識別情報などを含む。また撮像日時情報（撮像時の年月日時分秒）や、撮像時に位置検出部１７で検出された撮像場所としての緯度・経度の情報も含むようにしてもよい。

また特に画像管理情報には、それぞれ、撮像画像データが手動撮像によるものであるか自動撮像によるものであるかを示す情報を含むようにする場合もある。例えば撮像装置１において自動撮像により撮像を行った場合、システムコントローラ１０は画像管理情報に、その撮像画像データが自動撮像によるものである情報を付加してストレージ部１４に保存させる。もちろん手動撮像を行った場合は、その撮像画像データの画像管理情報に、手動撮像であることを示す情報を付加する。

撮像画像データについて画像解析／変換部１２で処理を行って生成した変換画像データは、元の撮像画像データと対応させて保存する。即ち図のように撮像画像データＶＤ１，ＶＤ２・・・ＶＤｎに対応させて、それぞれ生成された変換画像データｃＶＤ１，ｃＶＤ２・・・ｃＶＤｎが記憶される。
例えば画像解析／変換部１２で撮像画像データＶＤ１を処理対象として処理して生成した変換画像データｃＶＤ１は、撮像画像データＶＤ１に対応させて保存する。

なお、１つの撮像画像データを用いて複数の変換画像データを生成することもできる。その場合も、各変換画像データを、元の撮像画像データに対応させて記憶すればよい。
また、この図３では撮像画像データと変換画像データの両方をストレージ部１４に保存する例を示したが、ストレージ部１４では撮像画像データを保存しないようにすることや、逆に変換画像データを保存しないようにすることも考えられる。

通信部１５は外部機器との間でのデータの送受信を行う。この通信部１５は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。
また、必ずしも無線通信ではなく、外部機器との間の有線接続により外部機器と通信を行うものでもよい。
通信を行う外部機器としては、サーバ装置や、表示装置、撮像装置、ストレージ装置などが想定される。

また撮像装置１には著作物データベース１６が設けられる。著作物データベースは、各種の絵画、デザイン、ＣＤ、ＤＶＤ等のパッケージメディアのジャケット画像などの著名な著作物の画像データが登録されている。例えば撮像画像データに撮し込まれた絵画等について、著作物データベース１６に登録されている画像等と照合することで、その撮し込まれた絵画等が著名な著作物であり、画像変換処理が必要な絵画等であるか否かを判断できる。
この著作物データベース１６は、フラッシュメモリなどの固体メモリ、ＨＤＤ等を用いて構成できるし、可搬性記録媒体に対する記録再生ドライブとして構成されてもよい。また、この図２ではストレージ部１４とは別に示しているが、ストレージ部１４において用いる記録媒体の一部の領域に著作物データベースを形成してもよい。

この撮像装置１では、ユーザの操作のために操作入力部１１が設けられる。
操作入力部１１は、例えばキー、ダイヤル等の操作子を有するようにし、キー操作等としてのユーザの操作を検知する構成としてもよいし、或いはユーザの意識的な挙動を検知する構成としても良い。
操作子を設ける場合、例えば、電源オン／オフ操作、撮像系の操作（例えばシャッタ操作、ズーム等の操作や、信号処理の指示操作）、表示関連操作（例えば表示内容の選択や表示調整操作）などに用いる操作子が形成されればよい。

また、操作子としてタッチパッドやタッチパネルを設けても良い。例えば表示部２においてタッチパネルを配し、表示画面上にユーザがタッチすることで操作入力が行われるようにする。
また、画面上でカーソル等のポインタを移動させる操作子として、上記タッチパネルや十字キー、ジョグダイヤル等を備えるようにしてもよい。或いは、加速度センサ、角速度センサ等を内蔵したリモートコントローラにより、ユーザがリモートコントローラを手に持って動かすことで、画面上のカーソル等が移動するような操作が実行可能としても良い。
例えば図１（ｃ）（ｄ）のような撮像装置を考えた場合、操作キー、ダイヤル、タッチパネル等により各種の操作を行うことが好適である。

一方、図１（ａ）（ｂ）のような頭部に装着する撮像装置の場合、操作キー、ダイヤル、タッチパネル等を設けてもよいし、リモートコントローラを使用する形態も想定されるが、多数の操作子等の配置が難しいことを考慮すれば、ユーザの挙動を検知して操作入力とみなす構成を採ることも好適となる。

ユーザの挙動を検知する構成とする場合は、加速度センサ、角速度センサ、振動センサ、圧力センサ等を設けることが考えられる。
例えばユーザが撮像装置１を側面側からコツコツと軽く叩くといったことを、加速度センサ、振動センサ等で検知し、例えば横方向の加速度が一定値を越えたときにシステムコントローラ１０がユーザの操作として認識するようにすることができる。また、加速度センサや角速度センサによりユーザが右側から側部（眼鏡のツルに相当する部分）を叩いたか、左側から側部を叩いたかを検出できるようにすれば、それらを、それぞれ所定の操作として判別することもできる。
またユーザが頭を回す、首を振るなどとすることを加速度センサや角速度センサで検知し、これをシステムコントローラ１０がユーザの操作として認識することができる。
また、撮像装置１の左右の側部（眼鏡のツルに相当する部分）等に圧力センサを配置し、右側部をユーザが指で押したときは望遠方向のズーム操作、左側部をユーザが指で押したときは広角方向のズーム操作などとすることもできる。

さらには、生体センサとしての構成を備えるようにし、ユーザの生体情報を検出して、操作入力と認識するようにしても良い。生体情報とは、脈拍数、心拍数、心電図情報、筋電、呼吸情報（例えば呼吸の速さ、深さ、換気量など）、発汗、ＧＳＲ（皮膚電気反応）、血圧、血中酸素飽和濃度、皮膚表面温度、脳波（例えばα波、β波、θ波、δ波の情報）、血流変化、眼の状態などである。
そしてシステムコントローラ１０は生体センサの検出情報を、ユーザの操作入力として認識する。例えばユーザの意識的な挙動として目の動き（視線方向の変化やまばたき）が考えられるが、ユーザが３回まばたきをしたことを検知したら、それを特定の操作入力と判断するなどである。さらには、上記生体情報の検知によりユーザが撮像装置１を装着したことや外したこと、あるいは特定のユーザが装着したことなども検出可能であり、システムコントローラ１０がその検出に応じて電源オン／オフなどを行うようにしてもよい。
なお生体センサは、例えば眼鏡型の撮像装置１の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部に接触して、上記各種情報を検知できるようにしてもよいし、撮像装置１の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。
また眼の状態や動き、瞳孔などの状態の検出のためには、ユーザの眼部を撮像するカメラを用いることが考えられる。

操作入力部１１は、このように操作子、加速度センサ、角速度センサ、振動センサ、圧力センサ、生体センサ等として得られる情報をシステムコントローラ１０に供給し、システムコントローラ１０はこれらの情報によりユーザの操作を検知する。
なお、ユーザの挙動を検出するための構成としては、さらにユーザの声を検知するセンサ、唇の動きを検知するセンサなど、他のセンサが設けられても良い。

以上、撮像装置１の構成を示したが、これは一例にすぎない。実際に実施される動作例や機能に応じて各種の構成要素の追加や削除は当然考えられる。

図４は撮像装置１の動作形態を、外部機器との関連において例示したものである。
図４（ａ）は撮像装置１が単体で動作する場合であり、この場合、撮像装置１では、例えば撮像動作により取得した撮像画像データについて画像変換処理を行う。撮像画像データや、画像変換処理により生成した変換画像データは、保存処理としてストレージ部１４に保存する。
またストレージ部１４として、光ディスク、メモリカードなどの可搬性記録媒体に対する再生部を備える場合は、可搬性記録媒体から読み出した撮像画像データを利用した画像変換処理も可能である。

図４（ｂ）は撮像装置１が通信部１５により外部機器７０と通信を行う例である。この場合、撮像動作により取得した撮像画像データに対して画像変換処理を行う他、撮像画像データを外部機器７０から取得して、画像変換処理を行うことも想定される。例えば外部機器７０が撮像装置である場合や、外部機器７０が他の撮像装置で撮像した撮像画像データを格納している場合、この外部機器７０から撮像画像データを送信させ、通信部１５で受信する。このように通信部１５で受信した撮像画像データに対して画像変換処理を行う。
また画像変換処理により生成した変換画像データの保存処理としては、撮像装置１の内部のストレージ部１４に保存する他、通信部１５から外部機器に変換画像データを送信し、外部機器７０の画像格納部７１に保存させるという動作例が考えられる。
外部機器７０との通信は、無線通信だけでなく、有線通信も想定される。

図４（ｃ）は、撮像装置１の通信部１５が、特にインターネット等のネットワーク６０を介した通信アクセス機能を備えることで、ネットワーク６０で接続される外部機器７０と通信を行う例である。動作例は上記図４（ｂ）の場合と同様に考えられる。
ネットワーク６０とは、インターネットの他に、携帯電話通信網、ＰＨＳ通信網、アドホックネットワーク、ＬＡＮなど、各種考えられる。
また図４（ｂ）（ｃ）における外部機器７０とは、図２のような構成の他の撮像装置１も想定できるし、通信機能を備えたデータサーバ、パーソナルコンピュータ、ビデオプレーヤ、ビデオカメラ、デジタルスチルカメラ、撮像機能を備えた携帯電話機、ＰＤＡなど多様な機器が想定できる。特に撮像画像データをネットワーク上で共有できるようにする画像共有システムのサーバ装置も外部機器７０として想定される。

［３．画像処理例］

本例では画像解析／変換部１２において、撮像画像データとしての画像内で特定の被写体画像が存在する処理対象領域を設定し、処理対象領域の画像を変換する処理を行う。
特定の被写体画像として人物の顔画像とし、また画像変換処理としてモザイク化を行う場合の例を図５，図６に示す。

図５（ａ）は、例えばユーザが手動撮像により或る人物を撮像した撮像画像であるとする。そしてこの画像内には、撮像目的の人物の背後に無関係な人物が撮し込まれていたとする。
画像解析／変換部１２では、例えばこのような撮像画像データについて、まず処理対象領域の設定を行う。処理対象領域は、まず画像解析を行い、画像内で特定の被写体画像を抽出する。例えば顔画像を抽出する。この図５（ａ）の場合、３人の人物の顔画像が抽出される。そして各顔画像のサイズを計算する。サイズとは、画像内における顔画像の面積とすればよい。例えば顔画像としての画素領域の画素数とすればよい。また、面積でなく、顔画像の対角線の長さとしてもよい。
そして各顔画像の画像サイズについて、大サイズか小サイズを判別する処理を行い、小サイズと判別された場合に、その顔画像の領域を処理対象領域とする。図５（ｂ）には、小さく撮し込まれた背後の二人の顔画像部分を処理対象領域ＡＲｉとした状態を示している。

各顔画像の画像サイズについて、大サイズか小サイズを判別する処理としては、その顔画像の領域の面積（画素数）或いは対角線が所定の閾値以下であるか否かという判別を行えばよい。
或いは、画像内で最大の面積（或いは対角線）の顔画像に対して面積（或いは対角線）が十分に小さい顔画像を、小サイズの顔画像としてもよい。例えば最大の面積の顔画像の１／２以下の面積の顔画像を、小サイズの顔画像とするなどである。
例えばこのようにして判定される小サイズの顔画像は、ユーザが撮像しようとした目的の人物の背後にたまたま撮し込まれてしまった無関係な人物の顔である可能性が高い。言い換えれば、本人の同意無く、撮像画像内に含まれてしまった可能性が高い。
そこで小サイズの顔画像と判定された画素領域を処理対象領域ＡＲｉとする。
そして画像解析／変換部１２は、このように設定した処理対象領域ＡＲｉについてモザイク化処理を行い、図５（ｃ）のような変換画像データを生成する。

図６（ａ）は、例えば撮像装置１が自動撮像により撮像を行った撮像画像の１つであるとする。つまりユーザが撮像を意識しておらず、図１（ａ）（ｂ）のような撮像装置１が定期的に撮像を行っていたような場合である。この場合、ユーザがすれ違った人物などが画像に撮し込まれることが多々ある。
画像解析／変換部１２では、例えばこのような撮像画像データについて、まず処理対象領域の設定を行う。処理対象領域は、まず画像解析を行い、画像内で特定の被写体画像として顔画像を抽出する。この図６（ａ）の場合、３人の人物の顔画像が抽出される。そして各顔画像のサイズ（顔画像部分の面積や対角線）を計算する。
そして各顔画像の画像サイズについて、大サイズか小サイズを判別する処理を行い、大サイズと判別された場合に、その顔画像の領域を処理対象領域とする。図６（ｂ）には、大きく撮し込まれた一人の顔画像部分を処理対象領域ＡＲｉとした状態を示している。

この場合、各顔画像の画像サイズについて、大サイズか小サイズを判別する処理としては、その顔画像の領域の面積（画素数）或いは対角線が所定の閾値以上であるか否かという判別を行えばよい。
或いは、画像全体の面積（或いは対角線）において顔画像の面積（或いは対角線）が所定割合以上の顔画像を、大サイズの顔画像としてもよい。例えば画像全体の面積の１／６以上の面積となった顔画像を、大サイズの顔画像とするなどである。
例えばこのようにして判定される大サイズの顔画像は、容易に個人識別ができる画像となり、自動撮像であるため、撮像装置１のユーザが意識せずに撮像されてしまった場合であるから、もし画像を公開すると肖像権等の問題が生ずる可能性がある。
そこで大サイズの顔画像と判定された画素領域を処理対象領域ＡＲｉとする。
そして画像解析／変換部１２は、このように設定した処理対象領域ＡＲｉについてモザイク化処理を行い、図６（ｃ）のような変換画像データを生成する。

なお、この図５，図６では画像変換処理として、処理対象領域ＡＲｉをモザイク化する例を挙げたが、他にも多様に考えられる。
本例の画像変換処理は、特定の被写体（例えば顔画像）が認識不能又は認識困難な画像とする処理を行ったり、被写体画像を他の画像に置き換える処理を行う。いずれにしても、その特定の被写体の実画像を隠すようにする処理である。
被写体を認識不能又は認識困難な画像とする処理とは、モザイク化以外に、ソフトフォーカス化としてボケた画像（焦点の合っていない画像）とすることとしてもよいし、暗号化（画像スクランブル処理）として、その被写体部分が見えなくなるようにしてもよい。また顔画像の目の部分に黒い線を入れて目隠しするなどして、個人を特定できなくする処理も考えられる。
また被写体を他の画像に置き換える処理とは、例えば顔画像や著作物等の被写体をアニメーション画像や各種イメージ画像などに置き換える。

［４．画像解析／変換部の処理］

画像解析／変換部１２は、システムコントローラ１０の指示に応じて、システムコントローラ１０が指定した撮像画像データを処理対象として、上記のような変換画像データの生成のための処理を行う。ここでは画像解析／変換部１２の処理例として、供給された撮像画像データの画像内で顔画像を抽出して処理対象領域ＡＲｉを設定し、処理対象領域ＡＲｉについて所定の処理を行って変換画像データを生成する処理を述べる。

図７はシステムコントローラ１０の指示に応じて画像解析／変換部１２が実行する処理を示している。
システムコントローラ１０は、画像解析／変換部１２において図７の処理を実行させる際、その処理対象となる撮像画像データを画像解析／変換部１２に転送させる。例えば撮像部３で撮像した撮像画像データを撮像制御部６から画像解析／変換部１２に転送させる。或いは通信部１５で受信した撮像画像データを画像解析／変換部１２に転送させたり、ストレージ部１４で撮像画像データを再生させて画像解析／変換部１２に転送させる場合もある。
画像解析／変換部１２は、処理対象とされた撮像画像データが入力されると、図７の処理をステップＦ１０１からＦ１０２に進める。

画像解析／変換部１２はステップＦ１０２で、入力された撮像画像データについて画像解析処理を行い、画像内において１又は複数の処理対象領域ＡＲｉを設定する。
また設定した処理対象領域ＡＲｉの数を変数Ｎに代入する。

ここで、このステップＦ１０２の処理としては、図８，図９，図１０のような各例が考えられる。それぞれ説明していく。

図８は、例えば手動撮像を行う撮像装置１に好適な処理例となる。
図７のステップＦ１０２の処理として、画像解析／変換部１２はまず図８のステップＦ２００で、撮像画像データを解析して、その画像に含まれている１又は複数の顔画像ＦＣ（ＦＣ１〜ＦＣｍ）を抽出する。
ステップＦ２０１では、変数Ｍに抽出した顔画像ＦＣ１〜ＦＣｍの数（ｍ）を代入する。
ステップＦ２０２では、処理のループ制御のための変数Ｙを１にセットし、変数Ｘを０にセットする。
ステップＦ２０３では変数Ｍ＝０であるか否かを判別する。変数Ｍ＝０とは、撮像画像データ内に顔画像が検出されなかった場合であり、この場合はステップＦ２１０に進み、処理対象領域数Ｎに変数Ｘを代入する。つまり処理対象領域数Ｎ＝０とする。

変数Ｍが１以上の値であり、１以上の顔画像が存在する場合は、以降、変数ＹをインクリメントしながらステップＦ２０４〜Ｆ２０７の処理で、抽出した各顔画像ＦＣについての処理を行う。

即ち画像解析／変換部１２はステップＦ２０４で、抽出した顔画像ＦＣ（Ｙ）のサイズを算出し、サイズの値を変数ＳＺとして保持する。最初は変数Ｙ＝１であるため、抽出した顔画像のうちで１つめの顔画像ＦＣ１についてサイズを算出することになる。
上述したようにサイズとは、顔画像の領域の面積（画素数）や、或いは画像上での顔の対角線の長さなどとすればよい。
次にステップＦ２０５Ａで、算出したサイズＳＺを、閾値ＳＺｔｈ１と比較し、顔画像ＦＣ（Ｙ）が小サイズの顔画像であるか大サイズの顔画像であるかを判別する。
ここでは、ＳＺ≦ＳＺｔｈ１、つまりサイズが閾値ＳＺｔｈ１以下の小サイズであると判定される場合に、その顔画像ＦＣ（Ｙ）の領域を処理対象領域ＡＲｉとする。
即ち小サイズの顔画像と判定されたら、ステップＦ２０６に進んで変数Ｘをインクリメントし、ステップＦ２０７で、顔画像ＦＣ（Ｙ）の領域を処理対象領域ＡＲｉ（ｘ）と設定する。

ステップＦ２０５ＡでＳＺ≦ＳＺｔｈ１ではなく、サイズが閾値ＳＺｔｈ１を越えていて大サイズであると判定された場合は、ステップＦ２０６，Ｆ２０７の処理は行わない。つまり、その顔画像ＦＣ（Ｙ）の領域は処理対象領域ＡＲｉとはしない。

ステップＦ２０８では変数Ｙと抽出した顔画像数（変数Ｍ）を比較し、ステップＦ２０１で抽出した全ての顔画像ＦＣについて処理対象領域ＡＲｉとするかどうかの処理を終えたか否かを判定する。まだ未処理の顔画像ＦＣが存在すれば、ステップＦ２０９で変数Ｙをインクリメントし、ステップＦ２０４に戻る。例えば変数Ｙ＝２とされることで、続いて２つめの顔画像ＦＣ２について上記同様の処理を行う。

抽出した各顔画像についてステップＦ２０４以降の処理を終えた場合、ステップＦ２０８で変数Ｙ＝Ｍとなり、処理はステップＦ２１０に進む。
この場合、変数Ｘは、ステップＦ２０７で処理対象領域ＡＲｉとされた領域の数を示していることになるため、処理対象領域数Ｎに、変数Ｘを代入する。

この図８のような処理により、例えば図５（ｂ）に示したように、小サイズの顔画像の領域が処理対象領域ＡＲｉと設定されることになる。

一方、図９は、例えば自動撮像を行う撮像装置１に好適な処理例となる。
図７のステップＦ１０２の処理として、画像解析／変換部１２は図９の処理を行う。なおステップＦ２００〜Ｆ２０４、及びステップＦ２０６〜Ｆ２１０は上記図８と同様である。この図９は、ステップＦ２０５Ｂの処理が図８と異なる。
即ちステップＦ２０５Ｂでは、算出した顔画像ＦＣ（Ｙ）のサイズＳＺを、或る閾値ＳＺｔｈ２と比較し、顔画像ＦＣ（Ｙ）が小サイズの顔画像であるか大サイズの顔画像であるかを判別する。
そしてここでは、ＳＺ≧ＳＺｔｈ２、つまりサイズが閾値ＳＺｔｈ２以上の大サイズであると判定される場合に、その顔画像ＦＣ（Ｙ）の領域を処理対象領域ＡＲｉとする。
即ち大サイズの顔画像と判定されたら、ステップＦ２０６に進んで変数Ｘをインクリメントし、ステップＦ２０７で、顔画像ＦＣ（Ｙ）の領域を処理対象領域ＡＲｉ（ｘ）と設定する。
ステップＦ２０５ＢでＳＺ≧ＳＺｔｈ２ではなく、サイズが閾値ＳＺｔｈ２未満の小サイズであると判定された場合は、ステップＦ２０６，Ｆ２０７の処理は行わない。つまり、その顔画像ＦＣ（Ｙ）の領域は処理対象領域ＡＲｉとはしない。
この図９の処理によれば、例えば図６（ｂ）に示したように、大サイズの顔画像の領域が処理対象領域ＡＲｉと設定されることになる。

図１０は、例えば自動撮像と手動撮像の両方を実行可能な撮像装置１に好適な処理例となる。
図７のステップＦ１０２の処理として、画像解析／変換部１２は図１０の処理を行う。なおステップＦ２００〜Ｆ２０４、及びステップＦ２０６〜Ｆ２１０は上記図８と同様である。
この図１０の処理では、画像解析／変換部１２は、まずステップＦ２５０で、供給された処理対象の撮像画像データが自動撮像されたものか手動撮像されたものであるかを判別する。例えば撮像時に、撮像制御部６から撮像画像データが処理対象として転送されてくる場合、システムコントローラ１０が画像解析／変換部１２に、該撮像画像データについて自動撮像したものか手動撮像したものかの情報を与えればよい。
またストレージ部１４から撮像画像データを読み出して画像解析／変換部１２に転送する場合、画像解析／変換部１２は、その撮像画像データについての画像管理情報を確認して手動撮像／自動撮像の別を判別すればよい。
また通信部１５で受信された撮像画像データを処理対象とする場合、その受信された撮像画像データの画像管理情報に、手動撮像／自動撮像を示す情報が含まれていれば、画像解析／変換部１２は、手動撮像／自動撮像を判別可能となる。

例えば画像解析／変換部１２は、自動撮像であると判別した場合、ステップＦ２５１で自動撮像フラグをオンとする。
そしてステップＦ２００で顔画像の抽出処理を行い、またステップＦ２０１，Ｆ２０２の変数Ｍ、Ｙ、Ｘの設定処理を行う。
この処理例では、ステップＦ２０４で顔画像ＦＣ（Ｙ）のサイズを算出したら、ステップＦ２５２で、自動撮像フラグのオン／オフに応じて処理を分岐する。
自動撮像フラグがオフであれば（即ち手動撮像による撮像画像データを処理しているのであれば）、ステップＦ２５４に進み、算出した顔画像ＦＣ（Ｙ）のサイズＳＺを、閾値ＳＺｔｈ１と比較し、顔画像ＦＣ（Ｙ）が小サイズの顔画像であるか否かを判別する。
一方、自動撮像フラグがオンであれば（即ち自動撮像による撮像画像データを処理しているのであれば）、ステップＦ２５３に進み、算出した顔画像ＦＣ（Ｙ）のサイズＳＺを、閾値ＳＺｔｈ２と比較し、顔画像ＦＣ（Ｙ）が大サイズの顔画像であるか否かを判別する

ステップＦ２５４に進んだ場合は、ＳＺ≦ＳＺｔｈ１、つまりサイズが閾値ＳＺｔｈ１以下の小サイズであると判定される場合に、ステップＦ２０６，Ｆ２０７に進み、その顔画像ＦＣ（Ｙ）の領域を処理対象領域ＡＲｉとする。
またステップＦ２５３に進んだ場合は、ＳＺ≧ＳＺｔｈ２、つまりサイズが閾値ＳＺｔｈ２以上の大サイズであると判定される場合に、ステップＦ２０６，Ｆ２０７に進み、その顔画像ＦＣ（Ｙ）の領域を処理対象領域ＡＲｉとする。

つまりこの図１０の処理によれば、供給された撮像画像データが手動撮像で撮像されたものである場合は、例えば図５（ｂ）に示したように、小サイズの顔画像の領域が処理対象領域ＡＲｉと設定され、一方、供給された撮像画像データが自動撮像で撮像されたものである場合は、例えば図６（ｂ）に示したように、大サイズの顔画像の領域が処理対象領域ＡＲｉと設定されることになる。
なお、抽出した全ての顔画像についての処理を終えた後は、ステップＦ２１０で処理対象領域数Ｎに変数Ｘを代入するとともに、ステップＦ２５５で自動撮像フラグをオフとする。

図７のステップＦ１０２の処理として、以上のように図８，図９，図１０等の処理例が考えられる。
これらのようにして１又は複数の処理対象領域ＡＲｉが設定されたら、続いて画像解析／変換部１２は図７のステップＦ１０３に進む。
ステップＦ１０３では、変数Ｎ＝０であるか否かを確認する。即ち図８、又は図９，又は図１０のステップＦ２１０で設定した処理対象領域数Ｎ＝０であるか否かを確認するものであり、画像内で処理対象領域ＡＲｉとして設定した領域が無いという状況であったか否かを確認するものとなる。処理対象領域数Ｎ＝０とは、顔画像が存在しなかった場合か、或いは図８又は図１０の手動撮像の場合に、処理対象領域ＡＲｉとする小サイズの顔画像が存在しなかった場合か、或いは図９又は図１０の自動撮像の場合に、処理対象領域ＡＲｉとする大サイズの顔画像が存在しなかった場合である。
これらの場合で処理対象領域数Ｎ＝０であって、処理対象領域ＡＲｉが１つも設定されていなければ、ステップＦ１１０に進み、今回供給された撮像画像データについては、変換画像データの生成が不能である旨をシステムコントローラ１０に通知して処理を終える。

１以上の処理対象領域ＡＲｉが設定された場合は、画像解析／変換部１２の処理はステップＦ１０４に進み、まず変数Ｘ＝１とする。
そしてステップＦ１０５で画像解析／変換部１２は、第Ｘの処理対象領域ＡＲｉ（Ｘ）について画像変換処理を行い、変換画像データを生成する。
例えばモザイク化処理、ソフトフォーカス化処理、スクランブル処理、或いはアニメーション画像等への置き換え処理などを行う。アニメーション画像等への置き換え処理を行う場合は、メモリ部１２ａから置き換える画像データを読み出し、当該処理対象領域ＡＲｉ（Ｘ）の画素データと入れ換えることになる。

ステップＦ１０５で処理対象領域ＡＲｉ（Ｘ）の画像内容を入れ換えた変換画像データを生成したら、画像解析／変換部１２はステップＦ１０６で、変数Ｘと変数Ｎ（設定した処理対象領域ＡＲｉの数）を比較し、画像内で設定された全ての処理対象領域ＡＲｉについて処理を終えたか否かを確認する。
まだ、未処理の処理対象領域ＡＲｉが存在すれば、ステップＦ１０７に進んで変数Ｘをインクリメントし、ステップＦ１０５に戻る。即ち次の処理対象領域ＡＲｉ（Ｘ）について同様に処理を行う。

全ての処理対象領域ＡＲｉについて処理を終え、Ｘ＝Ｎとなったら、ステップＦ１０８に進む。この時点で、全ての処理対象領域ＡＲｉについて変換処理が施された変換画像データが生成されていることになる。例えば図５（ｃ）、図６（ｃ）で例示したような変換画像データが生成されたことになる。
画像解析／変換部１２は、システムコントローラ１０の指示に従って、このように生成した変換画像データを転送出力する。
例えば変換画像データを表示出力するのであれば表示制御部７に転送する。表示制御部７は供給された変換画像データについての表示を表示部２に実行させる。
また、変換画像データを外部機器７０に送信出力するのであれば通信部１５に転送する。通信部１５は供給された変換画像データの送信処理を行う。
また変換画像データを記憶するのであればストレージ部１４に転送する。例えばストレージ部１４においては、図３のような形式で変換画像データが記憶される。或いは、特に変換画像データの出力処理として、可搬性記録媒体に記録するのであれば、ストレージ部１４（ストレージ部１４に可搬性記録媒体に対する記録再生部が設けられている場合）に転送し、可搬性記録媒体に記録させることになる。

画像解析／変換部１２では、以上のように処理対象領域設定処理と画像変換処理が実行される。
なお、撮像画像データを静止画とした場合は、上記処理が１フレームの画像データに対して行われればよいが、動画としての撮像画像データを処理対象とする場合、その動画を構成する各フレーム毎に上記処理を行うことになる。

［５．人物属性／表情に応じた処理］

ところで、上記のようにステップＦ１０５の画像変換処理として、モザイク化等ではなく、他の画像に置き換える処理を行うことも想定されるが、その場合に、顔画像の属性や表情を解析して、属性や表情に応じたアニメーション画像へ置き換えることが考えられる。

ここで言う人物の属性とは、例えば性別、年齢層である。顔画像を解析して性別や年齢層を推定することは、或る程度の確率で可能であることが知られている。
また画像解析により、表情も判定できる。
顔の表情の判定の処理は各種考えられるが、例えば顔を構成するパーツを抽出し、各パーツに評価値を与えて、表情判定する方式が採用できる。
例えば笑顔を判定する場合、顔を構成するパーツとして、画像から眼、眉、唇の各部分を抽出する。そして例えば眉については、角度を判定する。いわゆる「つり上がり」の状態を低いポイントとし、眉の両端が下がるほど、高いポイントを付与するようにする。また眼については、瞳孔の開き具合を判定し、瞳孔が開いているほど高いポイントを付与するようにする。唇については、両端の角度が下がっているほど低く、逆に両端の角度が上がっているほど高いポイントを付与する。
例えばこのように各パーツに、笑顔判定のポイントを付与し、それらを加算（或いはパーツ毎に重み付けを変えて加算）し、笑顔ポイントとする。この笑顔ポイントが高い値である場合、「笑顔」と判定できる。
もちろんこれは一例であり、頬の状態や、笑ったときに生じる皺などを判定要素としてもよい。
また、笑顔判定でなく、怒った表情や不機嫌な表情など、他の表情も、顔を構成する各パーツの画像から推定することも可能である。

例えばこのような解析を行って、顔画像についての属性／表情を判別することで、その属性／表情に応じたアニメーション画像を選択し、処理対象領域ＡＲｉの顔画像を選択したアニメーション画像に置き換えるということが考えられる。
図１１、図１２は、アニメーション画像の選択例を示している。
図１１では左側に、大人の女性の撮像画像として、普通の表情、笑顔、怒った表情の３種類の表情を例示している。
これに対して、図中右側に示すようなアニメーション画像を用意する。即ち「大人の女性」のアニメーション画像としての、普通の表情、笑顔、怒った表情の画像データである。
また図１２では左側に、子供の男性の撮像画像として、普通の表情、笑顔、怒った表情の３種類の表情を例示している。
これに対して、図中右側に示すようなアニメーション画像を用意する。即ち「子供の男性」のアニメーション画像としての、普通の表情、笑顔、怒った表情の画像データである。
図示しないが、同様に子供の女性、大人の男性などとして、各種の表情のアニメーション画像を用意する。

そして例えば処理対象領域ＡＲｉとされた顔画像を解析して、「笑顔の大人の女性」という結果が得られた場合、図１１の右側中段に示す「笑顔の大人の女性」としてのアニメーション画像を選択し、処理対象領域ＡＲｉの実際の顔画像を選択したアニメーション画像に置き換える。

このような処理を行う場合の画像解析／変換部１２の処理例を図１３、図１４に示す。
図１３は、上記図７のステップＦ１０２の詳細な処理として示したものである。つまり上記図８，図９，図１０で述べた処理例に代わる、さらに他の処理例となる。
この図１３では、図１０の処理例にステップＦ２６１〜Ｆ２６３を追加した例としている。図１３におけるステップＦ２５０，Ｆ２５１、Ｆ２００〜Ｆ２０４、Ｆ２５２〜Ｆ２５４、Ｆ２０６、Ｆ２０７、Ｆ２０８〜Ｆ２１０、Ｆ２５５は図１０と同様であるため、これらのステップの詳細な説明は省略する。

この場合、抽出した顔画像ＦＣについて、そのサイズの判定に基づいてステップＦ２０７で処理対象領域ＡＲｉ（Ｘ）と設定した後、ステップＦ２６１〜Ｆ２６３の処理を行うようにする。
画像解析／変換部１２は、ステップＦ２６１では、処理対象領域ＡＲｉ（Ｘ）とした顔画像について解析処理を行い、その人物の属性や表情を判定し、性別、年齢層、表情の情報を得る。
そしてステップＦ２６２では、判定した性別、年齢層、表情の情報を、属性／表情データＤＦ（Ｘ）として保存する。
またステップＦ２６３では、その処理対象領域ＡＲｉ（Ｘ）とした顔画像のサイズＳＺ、つまりステップＦ２０４で算出した顔画像ＦＣ（Ｙ）のサイズの値を、サイズＳＺ（Ｘ）として保存する。
このステップＦ２６１，Ｆ２６２，Ｆ２６３の処理を行ってステップＦ２０８に進む。

つまりこの図１３の処理では、処理対象領域ＡＲｉとして設定した顔画像ＦＣのそれぞれについて、その顔画像ＦＣを解析し、属性／表情データＤＦ（Ｘ）、サイズＳＺ（Ｘ）を一時的に保存するという処理を行うものとなる。
例えば処理対象領域ＡＲｉが１つ設定された場合は、処理対象領域ＡＲｉ１について、属性／表情データＤＦ１、サイズＳＺ１が保存される。また処理対象領域ＡＲｉが３つ設定された場合は、処理対象領域ＡＲｉ１、ＡＲｉ２、ＡＲｉ３のそれぞれに対応して、属性／表情データＤＦ１、ＤＦ２、ＤＦ３、サイズＳＺ１、ＳＺ２、ＳＺ３がそれぞれ保存されることになる。

画像解析／変換部１２は、図７のステップＦ１０２として、この図１３の処理を行った後、図７のステップＦ１０３以降に進むが、ステップＦ１０５での処理対象領域ＡＲｉ（Ｘ）の画像変換処理の際に、図１４の処理を行うようにする。
まずステップＦ１０５ａとして、属性／表情データＤＦ（Ｘ）を参照し、その属性／表情データＤＦ（Ｘ）に基づいてアニメーション画像を選択する。例えば図１１，図１２に示したようなアニメーション画像データが、性別、年齢層、表情により多数、メモリ１２ａに記憶されている。そして上述したように、属性／表情データＤＦ（Ｘ）が例えば「笑顔の大人の女性」という内容を示すデータであった場合は、「笑顔の大人の女性」のアニメーション画像を選択してメモリ１２ａから取り出すこととなる。

次にステップＦ１０５ｂでは、当該処理対象領域ＡＲｉ（Ｘ）とした顔画像のサイズＳＺ（Ｘ）に合うように、メモリ１２ａから読み出したアニメーション画像のサイズ調整を行う。即ちアニメーション画像のサイズをａＳＺとすると、アニメーション画像を顔画像のサイズＳＺ（Ｘ）に合わせるために｛ＳＺ（Ｘ）／ａＳＺ｝倍に縮小（又は拡大）する処理を行う。
そしてステップＦ１０５ｃで、処理対象領域ＡＲｉ（Ｘ）の各画素データを、サイズ調整したアニメーション画像の各画素データに置き換える。

図８のステップＦ２０７で以上の処理を行うことで、処理対象領域ＡＲｉとされた顔画像が、その性別、年齢層、表情に応じたアニメーション画像に置き換えられた変換画像データが生成されることになる。

［６．顔画像以外の処理対象］

以上の説明では、撮像画像データの画像内に存在する顔画像を特定種別の被写体として検出し、その顔画像のサイズが小サイズ（もしくは大サイズ）と判定された場合に、その顔画像の部分を処理対象領域ＡＲｉとする例を述べてきた。
しかしながら、処理対象領域ＡＲｉの設定のために抽出する特定種別の被写体としては、顔画像以外でも各種考えられる。
即ち、著作物として絵画、工芸美術品、壁画、ＣＤ、ＤＶＤ等のパッケージメディアのジャケット、本の表紙、本の内容などがある。またブランドネーム、ロゴ、商標なども特定種別の被写体としてもよい。
さらに、車のナンバープレート、紙幣なども特定種別の被写体としてもよい。
以下、これらの特定種別の被写体を「著作物等」と呼ぶ。

これら著作物等を特定の被写体とする場合、撮像画像データの画像解析において、これらの著作物等の被写体を認識できるようにすればよい。つまり、図８又は図９又は図１０のステップＦ２００において、著作物等を認識する処理を行い、上述した顔画像ＦＣの場合と同様、その著作物等の画像サイズに応じて処理対象領域ＡＲｉとするか否かを決めればよい。
そして著作物等を処理対象領域ＡＲｉと設定した後は、図７のステップＦ１０５の画像変換処理として、その著作物等の画像についてのモザイク化、ソフトフォーカス化、暗号化、或いはアニメーション画像等の他の画像への置き換えなどを行う。
つまり画像解析／変換部１２が、撮像画像データにおいて著作物等を認識できるようにすれば、顔画像の場合と同様に著作物等の被写体の画像変換処理を行うことができる。

画像解析によって撮像画像データ内の著作物等の存在を判定するためには、著作物データベース１６を利用することが考えられる。
著作物データベース１６には、絵画、工芸美術品、壁画、ＣＤ、ＤＶＤ等のジャケット、本の表紙、ブランドネーム、ロゴ、商標、紙幣などの画像を登録しておく。
例えば絵画やＣＤジャケット等、方形の輪郭線を持つ物については、画像内で輪郭線が方形（長方形、台形、平行四辺形）となっている部分を抽出する。なお、一般に長方形、正方形等の輪郭線を有する絵画やＣＤジャケット等は、撮像方向や撮像時の仰角、遠近などにより、画像上では台形や平行四辺形に映し出される。このため、画像内の全体的な輪郭線の様子（例えば道路や建物の輪郭線）などから撮像方向、仰角等を推定し、元（実物）は長方形であると推定される台形や平行四辺形を画像内から抽出するような解析処理も有効である。
このような方形の画像を抽出したら、その方形内の画像パターンを、著作物データベースにおいて登録されている画像と照合する。一致又は類似した画像が存在すれば、その方形の画像を著作物等と推定すればよい。

また、ロゴ、ブランドネーム、商標、紙幣なども同様に画像パターンの照合により推定できる。ブランドネームや商標などは、文字認識を行って、テキストデータベースで照合を行うことも有効である。
車のナンバープレートについては、方形の領域内に文字や数字が所定の配列（つまりナンバープレートとしての配列）で存在するか否かを判断すればよい。

［７．動作手順例］

画像解析／変換部１２では、上述のように処理対象領域ＡＲｉの設定や、変換画像データの生成が行われる。
このような画像解析／変換部１２の処理を利用した本例の撮像装置１の動作手順は非常に多様に考えられる。
以下、図１５，図１６により、システムコントローラ１０の制御によって実行される撮像装置１の動作手順の例を述べていく。各ステップの動作は、システムコントローラ１０の制御に基づいて、所要の部位が実行する。

図１５（ａ）の動作手順は次のようになる。
ステップＳＴ１００で撮像画像データを取得する。
なお、図１５（ａ）（ｂ）（ｃ）（ｄ）、図１６（ａ）（ｂ）（ｃ）（ｄ）における「画像取得」とは、撮像部３での撮像を行って撮像画像データを取得するか、または通信部１５での受信により撮像画像データを取得するか、またはストレージ部１４において可搬性記録媒体から読み出すことで撮像画像データを取得することを示す。
ステップＳＴ１０１では、ステップＳＴ１００で取得した撮像画像データを画像解析／変換部１２に供給し、画像変換処理を実行させる。即ち画像解析／変換部１２に上記図７の処理を実行させる。
ステップＳＴ１０２では、ステップＳＴ１００で取得した撮像画像データと、ステップＳＴ１０１で画像解析／変換部１２が生成した変換画像データを、ストレージ部１４において保存させる。つまり図３の１つのエントリ＃ｎとして撮像画像データと変換画像データを対応させて保存させる。

図１５（ｂ）の動作手順は次のようになる。
ステップＳＴ１１０で撮像画像データを取得する。
ステップＳＴ１１１では、ステップＳＴ１１０で取得した撮像画像データをストレージ部１４において保存させる。
ステップＳＴ１１２では、ステップＳＴ１１０で取得した撮像画像データを画像解析／変換部１２に供給し、画像変換処理を実行させる。
ステップＳＴ１１３では、ステップＳＴ１１２で画像解析／変換部１２が生成した変換画像データを、ストレージ部１４において保存させる。この時点で図３の１つのエントリ＃ｎとして撮像画像データと変換画像データを対応されて保存される。

以上の図１５（ａ）、図１５（ｂ）は、撮像画像データから変換画像データを生成するとともに、これらをストレージ部１４において保存する動作例である。
ストレージ部１４に保存された撮像画像データや変換画像データは、後の時点で読み出して、表示部２で表示出力したり、外部機器７０に送信したり、可搬性記録媒体に記録することができる。
特に表示部２で表示する場合は、撮像画像データを読み出して表示させ、一方、外部機器７０として画像共有システムのサーバ装置等へ送信する場合は、変換画像データを読み出して送信するという動作が考えられる。

図１５（ｃ）の動作手順は次のようになる。
ステップＳＴ１２０で撮像画像データを取得する。
ステップＳＴ１２１では、ステップＳＴ１２０で取得した撮像画像データを画像解析／変換部１２に供給し、画像変換処理を実行させる。
ステップＳＴ１２２では、ステップＳＴ１２１で画像解析／変換部１２が生成した変換画像データを出力する。
なお、図１５（ｃ）（ｄ）、図１６（ａ）（ｂ）（ｄ）における「変換画像出力」とは、変換画像データを表示制御部７に転送して表示部２で表示出力させるか、または通信部１５に転送して外部機器７０に送信出力させるか、またはストレージ部１４（ストレージ部１４に可搬性記録媒体に対する記録再生部が設けられている場合）に転送し、可搬性記録媒体に記録させることを示す。

図１５（ｄ）の動作手順は次のようになる。
ステップＳＴ１３０で撮像画像データを取得する。
ステップＳＴ１３１では、ステップＳＴ１３０で取得した撮像画像データをストレージ部１４において保存させる。
ステップＳＴ１３２では、ステップＳＴ１３０で取得した撮像画像データを画像解析／変換部１２に供給し、画像変換処理を実行させる。
ステップＳＴ１３３では、ステップＳＴ１３２で画像解析／変換部１２が生成した変換画像データを出力する。

以上の図１５（ｃ）、図１５（ｄ）は、取得した撮像画像データと生成した変換画像データを撮像装置１の内部（ストレージ部１４のＨＤＤや固体メモリなどの内部記録媒体）に保存せず、変換画像データを出力する動作例である。

図１６（ａ）の動作手順は次のようになる。
ステップＳＴ１４０で撮像画像データを取得する。
ステップＳＴ１４１では、ステップＳＴ１４０で取得した撮像画像データを画像解析／変換部１２に供給し、画像変換処理を実行させる。
ステップＳＴ１４２では、ステップＳＴ１４０で取得した撮像画像データと、ステップＳＴ１４１で画像解析／変換部１２が生成した変換画像データを、ストレージ部１４において保存させる。
ステップＳＴ１４３では、ステップＳＴ１４１で画像解析／変換部１２が生成した変換画像データを出力する。

図１６（ｂ）の動作手順は次のようになる。
ステップＳＴ１５０で撮像画像データを取得する。
ステップＳＴ１５１では、ステップＳＴ１５０で取得した撮像画像データをストレージ部１４において保存させる。
ステップＳＴ１５２では、ステップＳＴ１５０で取得した撮像画像データを画像解析／変換部１２に供給し、画像変換処理を実行させる。
ステップＳＴ１５３では、ステップＳＴ１５２で画像解析／変換部１２が生成した変換画像データを、ストレージ部１４において保存させる。
ステップＳＴ１５４では、ステップＳＴ１５２で画像解析／変換部１２が生成した変換画像データを出力する。

以上の図１６（ａ）、図１６（ｂ）は、取得した撮像画像データと、生成した変換画像データの両方を撮像装置１の内部（ストレージ部１４のＨＤＤや固体メモリなどの内部記録媒体）に保存するとともに、その時点で変換画像データを出力する動作例である。

図１６（ｃ）の動作手順は次のようになる。
ステップＳＴ１６０で撮像画像データを取得する。
ステップＳＴ１６１では、ステップＳＴ１６０で取得した撮像画像データを画像解析／変換部１２に供給し、画像変換処理を実行させる。
ステップＳＴ１６２では、ステップＳＴ１６１で画像解析／変換部１２が生成した変換画像データを、ストレージ部１４において保存させる。

図１６（ｄ）の動作手順は次のようになる。
ステップＳＴ１７０で撮像画像データを取得する。
ステップＳＴ１７１では、ステップＳＴ１７０で取得した撮像画像データを画像解析／変換部１２に供給し、画像変換処理を実行させる。
ステップＳＴ１７２では、ステップＳＴ１７１で画像解析／変換部１２が生成した変換画像データを、ストレージ部１４において保存させる。
ステップＳＴ１７３では、ステップＳＴ１７１で画像解析／変換部１２が生成した変換画像データを出力する。

以上の図１６（ｃ）、図１６（ｄ）は、生成した変換画像データを撮像装置１の内部（ストレージ部１４のＨＤＤや固体メモリなどの内部記録媒体）に保存するが、取得した撮像画像データについては保存しない動作例である。
図１６（ｃ）の場合は、保存した変換画像データを後の時点で出力可能であり、また図１６（ｄ）の場合は、変換画像データが保存処理と共に出力されるが、取得した撮像画像データについては保存されておらず出力されることはない。
ただし、画像変換処理として、例えば暗号化スクランブル処理が行われる場合、保存した変換画像データのスクランブル処理を復号して、元の撮像画像データを得、これを出力することはできる。これは暗号化キーを知る装置或いは特定ユーザのみ、元の撮像画像データを見ることができるような装置とする場合に好適である。

以上、撮像装置１の動作を例示したが、動作手順の例は他にも各種考えられる。

［８．実施の形態の効果、及び変形例、拡張例］

以上の実施の形態によれば、撮像画像データにおける特定の被写体画像（人物の顔や著作物など）について、そのサイズに応じて適切な画像変換処理が行われる。例えば被写体画像を認識不能又は認識困難な画像とする処理や、被写体画像を他の画像に置き換える処理が行われる。これにより、ユーザが特に意識しなくとも、撮像画像データに対して適切な画像処理が実行される。
特に手動撮像による撮像画像データでは、ユーザは目的の人物等を主な被写体として撮像するが、その場合、背後に写り込んだ人物等が問題となる場合がある。例えば画像を公開するなど撮像画像データの使用のしかたによっては、肖像権などの問題が生ずることもある。そこで、目的外の被写体として小さく写されている顔画像や著作物等についてモザイク化等の処理を行うことが適切となる。
またユーザがシャッタ操作を意識していない自動撮像の撮像画像データの場合、ユーザが無意識のうちに人物の顔や著作物が大きく撮されることがある。その撮像画像データの使用のしかたによっては肖像権や著作権に関する問題が生ずることがある。一方、個人を特定できないほど小さく撮された顔や、内容が認識できないほど小さく撮された著作物等は、そのままでも問題ない。そこで、このような場合、大きく撮された顔や著作物等についてモザイク化等の処理を行うことが適切である。

また、人物の顔をアニメーション画像に置き換えるような画像変換処理を行う場合、特に性別、年齢層、表情に応じて置き換える画像を選択することで、肖像権等の問題を回避した上で、面白みのある画像ともすることができる。

本発明は、上記実施の形態に限られず、撮像装置１の構成例や処理例として各種の変形例や拡張例が考えられる。
本発明の画像処理装置は、撮像装置１として実現する以外に、多様な装置が想定される。
図１７は、本発明の画像処理装置としての構成要素として、システムコントローラ１０と、画像取得部２０と、画像解析／変換部１２と、保存処理部２２と、画像出力部２１を示している。
例えばこのような構成要素を備える各種機器として本発明の画像処理装置を実現できる。特に、少なくとも画像取得部２０と画像解析／変換部１２が設けられればよい。
また画像出力部２１や保存処理部２２の両方又は一方を設けない構成も本発明の画像処理装置として想定される。

画像取得部２０は、画像解析／変換部１２の処理対象となる撮像画像データを取得する部位である。上記実施の形態の撮像装置１で述べたように、画像取得部２０としては、撮像部３及び撮像制御部６や、通信部１５や、例えば光ディスク、メモリカードなどの可搬性記録媒体に対して再生を行って可搬性記録媒体に記録されている撮像画像データを読み出す再生ドライブとして実現できる。
また画像取得部２０で取得する撮像画像データとは、静止画データでもよいし、動画データでもよい。

画像解析／変換部１２については、上述してきた実施の形態のように処理対象領域設定処理と画像変換処理を行う。つまり本発明請求項でいう対象領域設定手段と、変換処理手段とが、画像解析／変換部１２によって実現される。
もちろん画像解析を行って処理対象領域を設定する対象領域設定手段と、処理対象領域の画像について変換処理を行う変換処理手段が、例えば別体の演算処理回路部などの別の回路ブロックとして構成されても良い。

保存処理部２２は、変換画像データを保存する処理を行う部位であるが、上記実施の形態のストレージ部１４に相当する。
但し、図４（ｂ）（ｃ）のような形態で、変換画像データを外部機器７０に送信して、外部機器７０において保存を実行させるようにする場合、その送信を行う通信部１５は、保存処理部２２に相当することになる。もちろん無線送信、有線送信のいずれでも良い。

画像出力部２１は、上記実施の形態の場合では変換画像データを表示出力する表示部２が相当する。また、外部のモニタ装置において表示させるために変換画像データを出力する出力部も、画像出力部２１となり得る。
また、変換画像データを図４（ｂ）（ｃ）の外部機器７０に有線又は無線で送信する通信部１５も、画像出力部２１となり得る。
また、変換画像データを可搬性記録媒体に記録し、可搬性記録媒体によって装置外に持ち出せるようにする記録ドライブも画像出力部２１となり得る。

このように例えば画像取得部２０、画像出力部２１、保存処理部２２としては、非常に多様な形態が想定される。それらを考慮すると、本発明は、スチルカメラやビデオカメラ等の撮像装置として実現する他、撮像機能のない、モニタ表示装置、通信装置、画像データ保存装置、画像合成を行う画像編集装置などとしても実現できる。

本発明の実施の形態の撮像装置の外観例の説明図である。 実施の形態の撮像装置のブロック図である。 実施の形態の画像保存形式の説明図である。 実施の形態のシステム動作形態の説明図である。 実施の形態の変換画像の説明図である。 実施の形態の変換画像の説明図である。 実施の形態の画像解析／変換部の処理のフローチャートである。 実施の形態の処理対象領域設定処理のフローチャートである。 実施の形態の処理対象領域設定処理のフローチャートである。 実施の形態の処理対象領域設定処理のフローチャートである。 実施の形態の属性／表情に応じたアニメーション画像への置き換えの説明図である。 実施の形態の属性／表情に応じたアニメーション画像への置き換えの説明図である。 実施の形態の処理対象領域設定処理のフローチャートである。 実施の形態の画像変換処理のフローチャートである。 実施の形態の撮像装置の動作手順例のフローチャートである。 実施の形態の撮像装置の動作手順例のフローチャートである。 本発明の構成要素の説明図である。

符号の説明

１ 撮像装置、２ 表示部、２ａ 表示パネル部、３ 撮像部、６ 撮像制御部、７ 表示制御部、１０ システムコントローラ、１１ 操作入力部、１２ 画像解析／変換部、１４ ストレージ部、１５ 通信部、１６ 著作物データベース、２０ 画像取得部、２１ 画像出力部、２２ 保存処理部

Claims (15)

1. 撮像画像データを取得する撮像画像取得手段と、
   上記撮像画像取得手段により取得した撮像画像データの画像解析を行い、その撮像画像データの画像内に特定種別の被写体画像が存在した場合、該被写体画像の画像サイズに応じて、該被写体画像の画素領域を画像変換処理の処理対象領域に設定する対象領域設定手段と、
   上記処理対象領域の被写体画像を認識不能又は認識困難な画像とする画像変換処理、又は上記処理対象領域の被写体画像を他の画像に置き換える画像変換処理を行い、上記撮像画像データにおいて上記処理対象領域のみが上記画像変換処理後の画像とされた変換画像データを生成する変換処理手段と、
   を備え、
   上記対象領域設定手段は、上記撮像画像データが手動操作によるタイミングで撮像された撮像画像データであるか、自動撮像された撮像画像データであるかを判別するとともに、
   上記撮像画像データが、手動操作によるタイミングで撮像された撮像画像データである場合は、上記特定種別の被写体画像の画像サイズについて、大サイズか小サイズを判別する処理を行い、小サイズと判別された場合に、当該被写体画像の画素領域を上記処理対象領域に設定し、
   上記撮像画像データが、自動撮像された撮像画像データである場合は、上記特定種別の被写体画像の画像サイズについて、大サイズか小サイズを判別する処理を行い、大サイズと判別された場合に、当該被写体画像の画素領域を上記処理対象領域に設定する画像処理装置。
2. 上記特定種別の被写体画像とは、人間の顔の画像である請求項１に記載の画像処理装置。
3. 上記特定種別の被写体画像とは、著作物の画像である請求項１に記載の画像処理装置。
4. 上記変換処理手段は、上記処理対象領域の被写体画像を他の画像に置き換える画像変換処理として、上記処理対象領域の顔画像を、その顔画像の属性又は表情の判別結果に応じて、他の画像に置き換える処理を行う請求項１に記載の画像処理装置。
5. 上記撮像画像取得手段は、画像撮像を行う撮像部を有し、上記撮像部での撮像により、上記撮像画像データを取得する請求項１に記載の画像処理装置。
6. 上記撮像画像取得手段は、外部機器と通信を行う通信部を有し、上記通信部での外部機器と通信により、上記撮像画像データを受信して取得する請求項１に記載の画像処理装置。
7. 上記撮像画像取得手段は、可搬性記録媒体から情報を再生する再生部を有し、上記再生部による上記可搬性記録媒体の再生により、上記撮像画像データを取得する請求項１に記載の画像処理装置。
8. 上記変換処理手段で生成された変換画像データについて保存処理を行う保存処理手段を、さらに備えた請求項１に記載の画像処理装置。
9. 上記保存処理手段は、記録媒体に対して情報の記録を行う記録部を有し、上記保存処理として、上記変換画像データを、上記記録媒体に記録する請求項８に記載の画像処理装置。
10. 上記保存処理手段は、外部機器と通信を行う通信部を有し、上記保存処理として、上記変換画像データを、外部機器に送信する請求項８に記載の画像処理装置。
11. 上記変換処理手段で生成された上記変換画像データについての出力処理を行う画像出力手段を、さらに備えた請求項１に記載の画像処理装置。
12. 上記画像出力手段は、表示部を有し、上記出力処理として、上記表示部において上記変換画像データについての表示出力を行う請求項１１に記載の画像処理装置。
13. 上記画像出力手段は、外部機器と通信を行う通信部を有し、上記出力処理として、上記通信部により上記変換画像データについての外部機器への送信出力を行う請求項１１に記載の画像処理装置。
14. 上記画像出力手段は、可搬性記録媒体に情報を記録する記録部を有し、上記出力処理として、上記記録部によって上記可搬性記録媒体に上記変換画像データを記録する請求項１１に記載の画像処理装置。
15. 撮像画像データを取得するステップと、
    取得した撮像画像データの画像解析を行い、その撮像画像データの画像内に特定種別の被写体画像が存在した場合、該被写体画像の画像サイズに応じて、該被写体画像の画素領域を画像変換処理の処理対象領域に設定する対象領域設定ステップと、
    上記処理対象領域の被写体画像を認識不能又は認識困難な画像とする画像変換処理、又は上記処理対象領域の被写体画像を他の画像に置き換える画像変換処理を行い、上記撮像画像データにおいて上記処理対象領域のみが上記画像変換処理後の画像とされた変換画像データを生成するステップと、
    を備え、
    上記対象領域設定ステップでは、上記撮像画像データが手動操作によるタイミングで撮像された撮像画像データであるか、自動撮像された撮像画像データであるかを判別するとともに、
    上記撮像画像データが、手動操作によるタイミングで撮像された撮像画像データである場合は、上記特定種別の被写体画像の画像サイズについて、大サイズか小サイズを判別する処理を行い、小サイズと判別された場合に、当該被写体画像の画素領域を上記処理対象領域に設定し、
    上記撮像画像データが、自動撮像された撮像画像データである場合は、上記特定種別の被写体画像の画像サイズについて、大サイズか小サイズを判別する処理を行い、大サイズと判別された場合に、当該被写体画像の画素領域を上記処理対象領域に設定する画像処理方法。

Images