JP5845988B2 - 画像処理システム、画像処理方法、サーバおよびプログラム - Google Patents

Description

本発明は、プライバシーの保護を目的として、画像、テキストに目隠し処理を施す画像処理システム等に関するものである。

従来、デジタルカメラ等で撮影されたデジタル画像をウェブサイトにアップロードしてブログ、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）等に用いる場合がある。このような場合には、ユーザは、必要に応じて、画像に写っている人物のプライバシーを保護するために、顔に目隠し処理を施して、その人物を特定できないように画像処理を施す場合がある。このような画像処理は、ユーザが画像処理ソフトを用いて手動で行うことも可能であるが、ユーザの負担が大きく、また、仕上がりもよくない。

このため、画像中の全ての顔を検出し、検出された顔に対して自動で目隠し処理を行う方法が提案されている（例えば特許文献１、特許文献２）。

特開２００８−０３４９６３号公報 特開２０１０−１７０２６５号公報

しかし、特許文献１、特許文献２のいずれの方法も、画像中の人物の雰囲気によらず、画像中の全ての顔上に同一の目隠し処理を施すため、画像全体の雰囲気が著しく害される恐れがある。また、検出された顔全てに目隠し処理を施すため、本来目隠し処理の不要な部位（人物）にまで、目隠し処理が施されてしまうという問題がある。

また、ブログやＳＮＳ等では、画像と同一の記事としてテキストを掲載するが、テキスト内で画像に関する記載がされている場合に、画像にプライバシー処理が施されたために、画像とテキストの関係や意味が閲覧者に伝わらなくなってしまうという問題がある。また、そのためにテキストを再編集することは、ユーザにとって負担が大きく、また、書きたいことが書けなくなってしまうという問題も発生する。

本発明は、前述した問題点に鑑みてなされたもので、画像や人物の雰囲気を壊すことなく複数の人物についてプライバシー保護のための目隠し処理を自動で行うとともに、テキストと画像に紐づけられたプライバシー保護を施すことが可能な画像処理システム等を提供することを目的とする。

前述した目的を達成するために、第１の発明は、人の属性情報と目隠しデザイン情報とを対応づけて記憶する第１の記憶部と、人の顔情報と当該顔情報に対応する人固有情報とを対応づけて記憶する第２の記憶部と、画像データを解析して、前記画像データ中の人の顔情報を抽出する顔情報抽出手段と、前記顔情報抽出手段により抽出された前記画像データ中の前記顔情報から、人の属性情報を推定する推定手段と、前記推定手段で推定された前記人の属性情報を用いて、前記第１の記憶部から対応する前記目隠しデザイン情報を選択する選択手段と、前記画像データに対して、前記顔情報抽出手段により抽出された顔の上に、選択された前記目隠しデザイン情報を配置する第１の配置手段と、顔情報抽出手段により抽出された前記顔情報と、前記第２の記憶部に記憶されている前記人の顔情報から、前記人固有情報を識別する個人識別手段と、テキストから前記人固有情報を抽出し、前記テキストの前記人固有情報の部分に、前記選択された前記目隠しデザイン情報を配置する第２の配置手段と、を具備することを特徴とするサーバである。

前記目隠しデザイン情報は、前記人の属性情報および感性情報に対応づけられており、前記選択手段は、前記人の属性情報および感性情報によって、対応する前記目隠しデザイン情報を選択することが望ましい。

前記第１の記憶部は、前記人の属性情報に対応づけて複数の目隠しデザイン情報を記憶し、前記選択手段は、前記顔情報抽出手段により複数の前記人の顔情報が抽出され、前記個人識別手段により前記複数の人の顔情報に対応して前記人固有情報が識別された場合に、前記複数の人のそれぞれに異なる前記目隠しデザイン情報を選択することが望ましい。

目隠し処理を行う対象を設定する設定手段をさらに具備し、前記選択手段は、前記設定手段により設定された人のみに対して、前記目隠しデザイン情報を選択するようにしてもよい。

前記第１の配置手段は、対象である前記画像データ中における顔のサイズに応じて、前記目隠しデザイン情報のサイズを調整し、調整後の前記目隠しデザイン情報を対応する顔の上に配置するようにしてもよい。
また、前記第２の配置手段は、対象である前記テキスト中における前記人固有情報の部分のサイズに応じて、前記目隠しデザイン情報のサイズを調整し、配置するようにしてもよい。

第１の発明によれば、ブログやＳＮＳ等の画像とテキストで構成されたコンテンツにおいて、画像データ中の顔と、テキスト中の当該顔に対応する人固有情報の部位を同一の目隠しデザインで、プライバシー保護のために目隠し処理することが可能になる。
また、画像データ中の複数の顔について目隠し処理を行う場合には、それぞれの顔に異なる目隠しデザインを選択して目隠し処理を施し、また、テキスト中の当該顔に対応する人固有情報の部位に対しても当該顔と同じ目隠しデザインを配置することにより、複数の人の顔およびテキストの人固有情報を区別したプライバシー処理が可能であり、閲覧者に容易に画像とテキストの関係や意味を伝えることが可能である。

また、画像データ中の顔情報から人の属性情報を推定し、推定された人に応じて目隠しデザインを選択するため、画像中の人物の雰囲気や画像全体の雰囲気を壊すことない。したがって、対象画像に対して、自然な感じで目隠し処理を施すことができる。特に、目隠し処理を施す対象人物の属性および感性に基づいて目隠しデザインを選択すれば、より人物の雰囲気に合わせた目隠し処理を施すことが可能である。

また、目隠し処理を施す対象を設定する設定手段を有すれば、画像中に検出された顔に対して、任意の顔にのみ目隠し処理を施すことができる。この際、あらかじめ顔情報と人固有情報とを対応させておくことで、人固有情報によるグループ分けが可能となり、目隠し処理を行う対象を当該グループによって選択することが可能である。したがって、目隠し処理対象の設定が容易である。

また、画像中の顔およびテキスト中の人固有情報の部位のサイズに応じて、目隠しデザインのサイズを調整するため、確実に対象に対して目隠し処理を施すことが可能であるとともに、必要以上に大きな目隠し処理を施すことがない。

第２の発明は、サーバと端末とがネットワークを介して接続され、画像およびテキストの特定の部位に画像処理を施す画像処理システムであって、前記端末は、画像データおよびテキストデータを前記サーバに送信する手段を有し、前記サーバは、人の属性情報と目隠しデザイン情報とを対応づけて記憶する第１の記憶部と、人の顔情報と当該顔情報に対応する人固有情報とを対応づけて記憶する第２の記憶部と、画像データを解析して、前記画像データ中の人の顔情報を抽出する顔情報抽出手段と、前記顔情報抽出手段により抽出された前記画像データ中の前記顔情報から、人の属性情報を推定する推定手段と、前記推定手段で推定された前記人の属性情報を用いて、前記第１の記憶部から対応する前記目隠しデザイン情報を選択する選択手段と、前記画像データに対して、前記顔情報抽出手段により抽出された顔の上に、選択された前記目隠しデザイン情報を配置する第１の配置手段と、顔情報抽出手段により抽出された前記顔情報と、前記第２の記憶部に記憶されている前記人の顔情報から、前記人固有情報を識別する個人識別手段と、テキストから前記人固有情報を抽出し、前記テキストの前記人固有情報の部分に、前記選択された前記目隠しデザイン情報を配置する第２の配置手段と、を有し、前記端末は、前記目隠しデザインが配置された前記画像データおよび前記テキストデータを表示する表示手段を有することを特徴とする画像処理システムである。

第２の発明によれば、ブログやＳＮＳ等の画像とテキストで構成されたコンテンツにおいて、画像データ中の顔と、テキスト中の当該顔に対応する人固有情報の部位を同一の目隠しデザインで、プライバシー保護のために目隠し処理することが可能になる。

第３の発明は、画像およびテキストの特定の部位に画像処理を施す画像処理方法であって、コンピュータが、画像データを解析して、前記画像データ中の人の顔情報を抽出する工程と、抽出された前記画像データ中の前記顔情報から、人の属性情報を推定する工程と、人の属性情報と目隠しデザイン情報とを対応づけて記憶する第１の記憶部から、推定された前記人の属性情報を用いて、対応する目隠しデザイン情報を選択する工程と、前記画像データに対して、抽出された顔の上に、選択された前記目隠しデザイン情報を配置する工程と、人の顔情報と当該顔情報に対応する人固有情報とを対応づけて記憶する第２の記憶部の前記人の顔情報と、前記顔情報を抽出する工程により抽出された前記顔情報とから、前記人固有情報を識別する工程と、前記テキストから前記人固有情報を抽出し、前記テキストの前記人固有情報の部分に、前記選択された前記目隠しデザイン情報を配置する工程と、を実行することを特徴とする画像処理方法である。

第３の発明によれば、画像データ中の顔と、テキスト中の当該顔に対応する人固有情報の部位を同一の目隠しデザインで、プライバシー保護のために目隠し処理することが可能になる

第４の発明は、コンピュータを、人の属性情報と目隠しデザイン情報とを対応づけて記憶する第１の記憶部と、人の顔情報と当該顔情報に対応する人固有情報とを対応づけて記憶する第２の記憶部と、画像データを解析して、前記画像データ中の人の顔情報を抽出する顔情報抽出手段と、前記顔情報抽出手段により抽出された前記画像データ中の前記顔情報から、人の属性情報を推定する推定手段と、前記推定手段で推定された前記人の属性情報を用いて、前記第１の記憶部から対応する前記目隠しデザイン情報を選択する選択手段と、前記画像データに対して、前記顔情報抽出手段により抽出された顔の上に、選択された前記目隠しデザイン情報を配置する第１の配置手段と、顔情報抽出手段により抽出された前記顔情報と、前記第２の記憶部に記憶されている前記人の顔情報から、前記人固有情報を識別する個人識別手段と、テキストから前記人固有情報を抽出し、前記テキストの前記人固有情報の部分に、前記選択された前記目隠しデザイン情報を配置する第２の配置手段と、を具備するサーバとして機能させるためのプログラムである。

第４の発明によれば、汎用的なコンピュータにインストールすることで、第１の発明のサーバを実現することができる。

本発明は、画像や人物の雰囲気を壊すことなく複数の人物についてプライバシー保護のための目隠し処理を自動で行うとともに、テキストと画像の紐づけを行うことが可能な画像処理システム等を提供することができる。

画像処理システム１の概要を示すブロック図。 サーバ３および端末５のハードウエア構成図。 表情デザイン３６の例を示す図。 個人識別情報４０を示す図。 画像処理システム１における画像処理を示すフローチャート。 ステップ１０２の処理を詳細に示すフローチャート。 ステップ１０３の処理を詳細に示すフローチャート。 画像データ５０およびテキストデータ５５の例を示す図。 画像データ５０の解析結果例を示す図。 人情報６０を示す図。 プライバシー処理設定画面７０を示す図。 目隠し処理画像８０を示す図。 テキスト解析データ５７を示す図。 プライバシー処理済みテキストデータ８５の例を示す図。 ブログ／ＳＮＳ投稿記事例を示す図。

以下、添付図面に基づいて、本発明に係る画像処理システム等の好適な実施形態について詳細に説明する。尚、以下の説明及び添付図面において、略同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。

図１は、画像処理システム１の概要を示すブロック図である。画像処理システム１は、サーバ３、端末５がネットワーク４を介して接続される。

サーバ３は、本実施形態にかかる画像処理プログラムを格納し、このプログラムを実行することで、各種処理を行う。端末５は、例えばパーソナルコンピュータ等であり、インターネット等のネットワーク４を介して、サーバ３にアクセス可能である。

図２は、サーバ３のハードウエア構成例を示す図である。端末５も同様の構成である。サーバ３（端末５）は、制御部７、記憶部９、メディア入出力部１１、通信制御部１３、入力部１５、表示部１７、周辺機器Ｉ／Ｆ部１９等がバス２１を介して接続される。

制御部７は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。
ＣＰＵは、ＲＯＭ、記憶部９等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス２１を介して接続された各装置を駆動制御し、コンピュータが行う処理を実現する。
ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。
ＲＡＭは、揮発性メモリであり、記憶部９、ＲＯＭ、記憶媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部７が各種処理を行うために使用するワークエリアを備える。

記憶部９は、ＨＤＤ（ハードディスクドライブ）であり、制御部７が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、アプリケーションプログラム、ファイル等が格納されている。
これらの各プログラムコードは、制御部７により必要に応じて読み出されてＲＡＭに移され、ＣＰＵにより各種の手段として実行される。
本発明の本実施形態に係る画像処理システム１を実行するためのプログラムやデータは、記憶部９に格納されており、必要に応じて制御部１に読み出されて実行される。

メディア入出力部１１は、記録媒体のデータの入出力を行うドライブ装置であり、例えば、フロッピー（登録商標）ディスクドライブ、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＭＯドライブ等のメディア入出力装置を有する。
通信制御部１３は、通信制御装置、通信ポート等を有し、ネットワーク４を介した通信を媒介する通信インタフェースであり、他のコンピュータ間との通信制御を行う。

入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。
表示部１７は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）モニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。
周辺機器Ｉ／Ｆ部１９は、周辺機器を接続するためのＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート等である。
バス２１は、各装置間の制御信号、データ信号等の授受を媒介する経路である。

図３（ａ）は、記憶部９に記憶された目隠しデザイン設定情報３０の一例を示す図である。目隠しデザイン設定情報３０は、画像データ中の人物の属性情報３１、感性情報３３ごとに、目隠しデザイン情報３５が対応づけられたものである。
目隠しデザイン情報３５は、表情デザイン３６と個体識別用デザイン３７より成る。

属性情報３１は、例えば画像データ中の人物の性別（Ｍａｌｅ、Ｆｅｍａｌｅ）などの情報であり、感性情報３３は、例えば笑顔判定による笑顔情報である。笑顔情報とは、後述する画像データ中の顔情報より得られる情報であり、当該顔が笑顔であるか否かを判定し、その確度等の情報である。すなわち、笑顔の確度が高いほど、その人の気分が「ｐｏｓｉｔｉｖｅ」であると判断し、笑顔確度が低いほど、その人の気分が「ｎｅｇａｔｉｖｅ」であると判断する。
目隠しデザイン設定情報４０は、これらのそれぞれの組み合わせ毎に、その属性情報３１および感性情報３３に適した表情デザイン３６が対応付けられ、更に、複数の人の顔を区別するために、個体識別用デザイン３７が設けられる。

図３（ｂ）は、表情デザイン３６の一例を示す図である。前述の通り、目隠しデザイン設定情報３０には、各属性情報３１および各感性情報３３に対して、適切な表情デザイン３６が対応付けられている。例えば、図３（ｂ）に示す例では、上段は男性、下段は女性に対して適用され、それぞれ、図中左側から右側に行くにつれて、人物の感性が「ｎｅｇａｔｉｖｅ」側から「ｐｏｓｉｔｉｖｅ」側に対応して設定される。ここで、目隠しデザイン情報とは、本発明において、画像データ中の対象となる顔を隠すために、その顔の上に挿入される画像情報である。

例えば、画像データ中の人物が男性であり、笑顔（ｓｍｉｌｌｉｎｇ）の確度（ｔｒｕｅ）が２０％であると判定される（図３（ａ）の上から２段目）と、表情デザイン３６として「パターンＢ」（図３（ｂ）の上段左から二つ目）の表情デザイン３６が選択される。なお、あらかじめ設定された属性情報３１および感性情報３３の組み合わせに該当しないものに対しては、標準設定である「ｄｅｆａｕｌｔ」として目隠しデザイン情報を対応づけてもよい。

また、同一画像データ中に複数の人物が存在する場合には、それぞれの人物の顔の性別（属性情報３１）と笑顔の確度（感性情報３３）から表情デザイン３６を対応づけるとともに、それぞれの人物に異なる個体識別デザイン３７を対応づけるようにする。

すなわち、例えば、画像データ中に２人の女性が存在し、それぞれの女性の笑顔の確度（ｔｕｒｅ）が４０％と８０％であると判定された場合、笑顔の確度が４０％の女性には、イエロー（個体識別用デザイン３７）のパターンＬ（表情デザイン３６）を、８０％の女性には、ブルー（個体識別用デザイン３７）のパターンＮ（表情デザイン３６）を対応付けるようにする。

尚、図３の例では個体識別用デザイン３７の区別を色で行うようにしたが、色に限ることなく、他の方法で区別するようにしてもよい。すなわち、個体識別用デザイン３７は、例えば、形状、色彩、模様等で区別することが可能である。

図４は、記憶部９に記憶された個人識別情報４０の一例を示す図である。個人識別情報４０は、必要に応じて予め記憶部９に保存される。個人識別情報４０は、人の顔情報４１と、人固有情報４３とが関連付けられている。

顔情報４１は、予め登録された個人の顔情報である。すなわち、個人の顔の正面または正面に近い画像データを記憶部９に登録するとともに、登録された顔情報に基づいて、目、鼻、口その他のデータを解析することで、その人物の顔情報の特徴点を抽出して記憶したものである。

人固有情報４３は、その人物固有の情報である。例えば、その人物の氏名やニックネーム、本人との関係などのグループ情報が記憶される。すなわち、ある画像データ中に、登録された顔情報の特徴に近い特徴を有する顔が抽出されると、当該人物に対応付けられた人固有情報４３を抽出することができる。

次に、画像処理システム１における画像処理について説明する。図５〜図７は、画像処理を示すフローチャート、図８〜図１５は、画像処理を説明する図である。

図５は、画像処理システム１の主要な処理の流れを示すフローチャートである。
まず、端末５の制御部７は、画像データおよびテキストデータをサーバ３に送信する（ステップ１０１）。サーバ３の制御部７は、画像データおよびテキストデータを端末５から取得する。

図８は、サーバ３が取得した画像データ５０（同図（ａ））およびテキストデータ５５（同図（ｂ））の一例を示す図である。
ブログ、ＳＮＳ等では、多くの場合、画像の内容に対応付けられたテキストが作成される。

次に、サーバ３の制御部７は、まず、取得した画像データを解析して、画像データ中の顔に対してプライバシー処理を施す（ステップ１０２）。画像データ中の顔に対するプライバシー処理については後述する。
さらに、サーバ３の制御部７は、取得したテキストデータに対するプライバシー処理を施す（ステップ１０３）。テキストデータに対するプライバシー処理についても後述する。

サーバ３の制御部７は、プライバシー処理が施された画像データおよびテキストデータを端末５に送信する（ステップ１０４）。
端末５は、受信したプライバシー処理済みの画像データおよびテキストデータを表示（ステップ１０５）して処理を終了する。

以下、画像データに対するプライバシー処理（ステップ１０２）とテキストデータに対するプライバシー処理（ステップ１０３）について詳しく説明する。
図６は、画像データに対するプライバシー処理（ステップ１０２）の処理の流れを示すフローチャートである。

まず、サーバ３の制御部７は、画像データ５０内の全ての顔について、顔情報を抽出し、記憶部９の人情報６０のデータベースとして抽出した顔情報を格納する（ステップ２０１）。
例えば、人の目、鼻、口等の位置を取得するとともに、顔と認定した部位の顔領域を推定する。

図９は、顔情報の抽出処理を施した画像データ解析結果５３を示す図である。
図９に示す例では、ＩＤ＝０、１、２の３つの顔情報が抽出され、それぞれの顔の顔領域５１ａ、５１ｂ、５１ｃ等の情報が抽出される。

図１０は、データベースである人情報６０の例を示す図である。
ステップ２０１の顔情報の抽出処理によって、画像データ中の各顔（ＩＤ＝０、１、２）について、顔領域座標、目の位置座標、鼻の位置座標、口の位置座標、性別、年代、メガネの有無、笑顔の確度等の情報が人情報６０に格納される。
例えば、ＩＤ＝２の顔情報（図８（ａ）の画像データ中の右側の顔）に対しては、顔領域座標、目・鼻・口の位置座標、性別が女性、推定年代は２０代であり、笑顔の確度８３％等の情報が格納される。

画像データ５０から、顔情報を抽出し、その顔の属性や感性（笑顔判定）の推定を行う方法としては、例えば、特開２００９−２９４９２５号公報、特開２００５−１６５４４７号公報、特開２００７−３３６１２４号公報などの公知の手法を用いればよく、例えば以下のようにすればよい。

まず、顔画像から顔領域検出部にて顔領域を検出し、さらに顔特徴抽出部にて顔の特徴情報を抽出する。また、あらかじめ男女別の幅広い年齢層の個人顔特徴情報を作成しておき、年齢と性別の情報と合わせて顔特徴保持部に保持し、顔特徴抽出部で抽出された顔特徴情報と顔特徴保持部内の個人顔特徴情報とを照合して類似度を求める。得られた類似度とそれに付属した年齢および性別の情報から当該人物の年齢と性別を判別すればよい。

また、笑顔認識は、口の曲がり具合、口角の上がり具合、目の大きさ、しわのより具合などにもとづいて定量化することができる。定量化された値にもとづいてあらかじめ設定されたしきい値との比較により、被写体像がどの程度笑っているかを判定することができる。

次に、サーバの制御部７は、ステップ２０１で人情報６０に格納した画像データ中の顔の顔情報と、予め記憶部９に格納してあり個人識別情報４０（図４）の顔情報を照合し、画像データ中の顔の顔情報の人固有情報を推定する（ステップ２０２）。

画像データ５０から、顔情報を抽出して、予め登録された人固有情報から、画像中の人物の人固有情報を推定する手段としては、例えば、非特許文献１（「顔画像を用いた顔認識システム」、信学技法ＰＲＭＵ９７−５０、）１９９７年６月、山口、福井、前田）や、特開２００３−１４１５４２号公報などの公知の手法を用いればよい。

例えば、特開２００３−１４１５４２号公報に記載されるように、顔照合用の辞書内に類似する顔パターンが存在する場合であっても一定の照合性能及びセキュリティレベルを維持するため、類似した顔パターンが辞書に複数登録されている場合、類似した顔パターン同士を類似グループとしてグループ分けし、類似グループに属する顔パターンに対しては、通常の照合処理とは異なる特別処理によって照合の可否を判断する方法により、顔認識の精度を向上させればよい。

ステップ２０２の個人識別処理の結果は、記憶部９の人情報６０に人固有情報として格納される。
図１０に示すように、画像データ中の各顔（ＩＤ＝０、１、２）について、識別結果として、人物固有情報が格納される。

例えば、ＩＤ＝０の顔情報（図８（ａ）の画像データ中の左側の顔）に対しては、人固有情報として、名前の「大日本春子」、ニックネームの「ハルちゃん」、グループの「本人」等が、ＩＤ＝１の顔情報（図８（ａ）の画像データ中の中央の顔）に対しては、名前の「五反田秋子」、ニックネームの「アキ」、グループの「友人」等が、ＩＤ＝２の顔情報（図８（ａ）の画像データ中の右側の顔）に対しては、名前の「市ヶ谷夏子」、ニックネームの「お夏」、グループの「家族」等が格納される。

ステップ２０２の個人識別処理において、識別確度が低く、人固有情報が推定できない場合には、未登録とみなして、人固有情報のグループを「未登録」として人情報６０に格納するようにしてもよい。

次に、サーバ３の制御部７は、画像データ中のどの顔に対して目隠しデザインを挿入するかを設定する処理を実行する（ステップ２０３）。目隠し処理を行う対象の選択は、それぞれの顔ごとに端末５から設定可能としても良いが、例えば以下のように行うこともできる。
すなわち、サーバ３の制御部７は、目隠し処理を選択する選択画面を作成し、端末５に表示させる（ステップ２０３）。

図１１は、目隠し処理設定画面７０を示す図である。
目隠し処理設定画面７０には、画像データとともに、目隠し処理選択部７１、設定ボタン７３、人固有情報表示部７５が設けられる。目隠し処理選択部７１は、前述したグループ分けされた各人物の人固有情報により、目隠し処理対象を選択可能である。例えば、図１１に示す例では、画像中の全ての人物は、「本人」、「友人」、「家族」のいずれかのグループに分けられ、ユーザが「友人」、「家族」の人物に対して目隠し処理の選択を行った例を示す。

なお、画像中の各ＩＤに対応させて、人固有情報表示部７５にはそれぞれの人固有情報が表示される。したがって、この画面上から、それまでは未登録だった顔情報、人固有情報をユーザに入力させることにより、新たに、記憶部９の個人識別情報４０に追加することもできる。また、人固有情報の識別が誤っている場合には、この目隠し処理設定情報画面７０に正しい情報を入力させることで、人固有情報の修正や、さらに詳細なグループ分け（例えば「友人Ａグループ」「友人Ｂグループ」など）を行うことも可能である。

目隠し処理対象を選択し、設定ボタン７３が押されることで、端末５からサーバ３に対して、目隠し処理対象のプライバシー処理設定データが送信される（図６、ステップ２０４）。端末５からプライバシー処理設定データを受信すると、サーバ３の制御部７は、プライバシー処理設定データを人情報６０に格納する（ステップ２０５）。

図１０に示すように、人情報６０にプライバシー処理設定データが格納される。例えば、図１０、図１１の例では、ＩＤ＝１（図８（ａ）の画像データ中の中央の顔）およびＩＤ＝２（図８（ａ）の画像データ中の右側の顔）が目隠し対象（「友人」および「家族」）であり、プライバシー処理設定データは「ｔｒｕｅ」、ＩＤ＝０（図８（ａ）の画像データ中の左側の顔）は、「本人」であるため目隠し対象ではなく、プライバシー処理設定データは「ｆａｌｓｅ」が格納される。

次に、制御部７は、記憶部９内の目隠しデザイン設定情報３０（図３（ａ））から、それぞれの推定された人に関する情報６０に対応する目隠しデザイン情報３５を決定し、人情報６０に目隠しデザインとして格納する（ステップ２０６）。

図１０に示すように、目隠し処理を行うＩＤ＝１の顔は、女性であり、笑顔の確度（ｓｍｉｌｌｉｎｇ）は４３％なので、図３に示した目隠しデザイン設定情報を検索し、表情デザイン３６として「パターンＬ」を選択し、個体識別用デザイン３７としては例えば「イエロー」を選択し、図１０の人情報６０に決定した目隠しデザイン「イエロー・パターンＬ」を格納する。
一方、目隠し処理を行うＩＤ＝２の顔は、女性であり、笑顔の確度は８３％なので、表情デザイン３６として「パターンＮ」を選択し、個体識別用デザイン３７としてＩＤ＝１とは異なる「グリーン」を選択し、図１０の人情報６０に決定した目隠しデザイン「グリーン・パターンＮ」を格納する。

次に、サーバ３の制御部７は、選択された目隠しデザイン情報のサイズを、画像データ中の対象となる顔の大きさに応じて調整する（ステップ２０７）。なお、サイズの調整は、必要に応じて、顔情報の縦方向または横方向に伸縮させてもよく、顔の向きに応じて回転させてもよい。すなわち、画像データ中の対象となる顔の顔領域に適するように、目隠しデザイン情報のサイズが調整される。

次に、制御部７は、設定された目隠しデザイン情報を、設定された顔情報の上に挿入し、目隠し処理画像８０を作成し、サーバ３の記憶部９に保持する（ステップ２０８）。
図１２は、目隠し処理画像８０の例を示す図である。
図１２に示すように、プライバシー処理設定データが「ｔｒｕｅ」のＩＤ＝１の女性の顔はイエローのパターンＬの目隠しデザイン８１によって、ＩＤ＝２の女性の顔はグリーンのパターンＮの目隠しデザイン８３によって目隠し処理され、プライバシー処理済みの目隠し処理画像８０が得られる。

以上のステップ２０１〜ステップ２０８の処理により、画像データに対するプライバシー処理（図５のステップ１０２）が完了する。

次に、サーバ３の制御部７は、テキストデータに対するプライバシー処理を実行する（図５のステップ１０３）。
図７は、ステップ１０３のテキストデータに対するプライバシー処理の流れを示すフローチャートである。

サーバ３の制御部７は、ステップ１０１によって端末５から受信したテキストデータを解析し、画像データ５０のなかでプライバシー処理設定されている人の人固有情報（名前・ニックネーム等）を抽出する。すなわち、図１０の人情報６０のプライバシー処理設定が「ｔｒｕｅ」の人の人固有情報を抽出する（ステップ３０１）。
図１０の例では、ＩＤ＝１の人の人固有情報である「五反田秋子」、「アキ」、ＩＤ＝２の人の人固有情報である「市ヶ谷夏子」、「お夏」をテキストデータから抽出する。

図１３は、テキスト解析結果例を示す図である。
テキストから、「お夏」および「秋子」の部分が抽出部分５９として抽出され、それぞれの部分に対応するＩＤ番号が保持される。

次に、サーバ３の制御部７は、抽出した抽出部分５９に、対応するＩＤ番号に設定された目隠しデザインを挿入し、目隠しデザインが挿入されたテキストデータを作成する（ステップ３０２）。作成されたプライバシー処理済みのテキストデータ８５は、サーバ３の記憶部９に格納される。

図１４は、プライバシー処理済みテキストデータの例を示す図である。
図１４（ａ）では、図１３に示されているＩＤ番号の部分に目隠しデザインを付した例である。
すなわち、抽出された「お夏」に対応するＩＤ番号（ｉｄ＝２）の部分に「グリーン・パターンＮ」の目隠しデザインが、「秋子」に対応するＩＤ番号（ｉｄ＝１）の部分に「イエロー・パターンＬ」の目隠しデザインが挿入されている。
一方、図１４（ｂ）は、ＩＤ番号の部分に加えて、抽出された「お夏」、「秋子」の人固有情報の部分も目隠しするように、それぞれの目隠しデザインを挿入した場合を示している。

以上のステップ３０１〜ステップ３０２の処理により、テキストデータのプライバシー処理（図５のステップ１０３）が完了する。

図１５は、端末５に表示されたプライバシー処理結果を示す図である。
画像とテキストが組み合わさったブログ等のプライバシー処理結果として示されている。
プライバシー処理済みの画像８０とプライバシー処理済みのテキスト８５が一つの表示画面として表示部１７に表示される。
プライバシー処理済みの画像８０とテキスト８５で、同じＩＤの人の顔と人固有情報を紐づけて同一の目隠しデザインを挿入することにより、閲覧者は画像を見ながら、テキストの意味をよりよく理解することが可能になる。

また、目隠しデザイン情報は、もともとの画像データ中の属性および感性に基づいて選択されるため、目隠し処理によって、画像データの雰囲気に影響が少ない。また、目隠しデザイン情報のサイズは、画像データ上の顔領域に応じて調整されるため、確実に顔が隠されるとともに、必要以上の部位が隠されることがない。

なお、さらにユーザは、端末５を介して、自動で設定された目隠しデザイン情報を手動で修正することもできる。例えば、自動で設定された目隠しデザイン情報に対して、他のデザインに修正しても良く、そのサイズや配置を調整しても良い。

以上、本発明によれば、ユーザは、対象画像データとテキストデータをサーバに送信することで、手間のかかる目隠し処理を手動で行うことなく、目隠しデザインを画像に挿入し、さらに、テキストの対応する人固有情報に対しても画像と紐づけられた目隠しデザインを挿入することが可能となり、閲覧者が画像を見ながらテキストの意味をよりよく理解することが可能な画像データおよびテキストデータを、ユーザに負担をかけることなく作成することが可能になる。

以上、添付図を参照しながら、本発明の実施の形態を説明したが、本発明の技術的範囲は、前述した実施の形態に左右されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、目隠しデザイン情報と関連付けられる人に関する情報としては、性別および笑顔判定のみではなく、年齢や各グループに対して、それぞれ異なる目隠しデザイン情報を対応させてもよい。
また、人固有情報として、複数のニックネーム等を登録可能にしてもよい。

１………画像処理システム
３………サーバ
４………ネットワーク
５………端末
３０………目隠しデザイン設定情報
３１………属性情報
３３………感性情報
３５………目隠しデザイン情報
３６………表情デザイン
３７………個人識別用デザイン
４０………個人識別情報
４１………顔情報
４３………人固有情報
５０………画像データ
５１ａ、５１ｂ、５１ｃ………顔領域
５５………テキストデータ
６０………人情報
７０………プライバシー処理設定画面
７１………目隠し処理選択部
７３………設定ボタン
７５………人固有情報表示部
８０………目隠し処理画像
８５………プライバシー処理済みテキストデータ
９０………ブログ／ＳＮＳ投稿記事

Claims (9)

1. 人の属性情報と目隠しデザイン情報とを対応づけて記憶する第１の記憶部と、
   人の顔情報と当該顔情報に対応する人固有情報とを対応づけて記憶する第２の記憶部と、
   画像データを解析して、前記画像データ中の人の顔情報を抽出する顔情報抽出手段と、
   前記顔情報抽出手段により抽出された前記画像データ中の前記顔情報から、人の属性情報を推定する推定手段と、
   前記推定手段で推定された前記人の属性情報を用いて、前記第１の記憶部から対応する前記目隠しデザイン情報を選択する選択手段と、
   前記画像データに対して、前記顔情報抽出手段により抽出された顔の上に、選択された前記目隠しデザイン情報を配置する第１の配置手段と、
   顔情報抽出手段により抽出された前記顔情報と、前記第２の記憶部に記憶されている前記人の顔情報から、前記人固有情報を識別する個人識別手段と、
   テキストから前記人固有情報を抽出し、前記テキストの前記人固有情報の部分に、前記選択された前記目隠しデザイン情報を配置する第２の配置手段と、
   を具備することを特徴とするサーバ。
2. 前記目隠しデザイン情報は、前記人の属性情報および感性情報に対応づけられており、前記選択手段は、前記人の属性情報および感性情報によって、対応する前記目隠しデザイン情報を選択することを特徴とする請求項１記載のサーバ。
3. 前記第１の記憶部は、前記人の属性情報に対応づけて複数の目隠しデザイン情報を記憶し、前記選択手段は、前記顔情報抽出手段により複数の前記人の顔情報が抽出され、前記個人識別手段により前記複数の人の顔情報に対応して前記人固有情報が識別された場合に、前記複数の人のそれぞれに異なる前記目隠しデザイン情報を選択することを特徴とする請求項１または請求項２に記載のサーバ。
4. 目隠し処理を行う対象を設定する設定手段をさらに具備し、
   前記選択手段は、前記設定手段により設定された人のみに対して、前記目隠しデザイン情報を選択することを特徴とする請求項１から請求項３のいずれかに記載のサーバ。
5. 前記第１の配置手段は、対象である前記画像データ中における顔のサイズに応じて、前記目隠しデザイン情報のサイズを調整し、調整後の前記目隠しデザイン情報を対応する顔の上に配置することを特徴とする請求項１から請求項４のいずれかに記載のサーバ。
6. 前記第２の配置手段は、対象である前記テキスト中における前記人固有情報の部分のサイズに応じて、前記目隠しデザイン情報のサイズを調整し、配置することを特徴とする請求項１から請求項５のいずれかに記載のサーバ。
7. サーバと端末とがネットワークを介して接続され、画像およびテキストの特定の部位に画像処理を施す画像処理システムであって、
   前記端末は、画像データおよびテキストデータを前記サーバに送信する手段を有し、
   前記サーバは、
   人の属性情報と目隠しデザイン情報とを対応づけて記憶する第１の記憶部と、
   人の顔情報と当該顔情報に対応する人固有情報とを対応づけて記憶する第２の記憶部と、
   画像データを解析して、前記画像データ中の人の顔情報を抽出する顔情報抽出手段と、
   前記顔情報抽出手段により抽出された前記画像データ中の前記顔情報から、人の属性情報を推定する推定手段と、
   前記推定手段で推定された前記人の属性情報を用いて、前記第１の記憶部から対応する前記目隠しデザイン情報を選択する選択手段と、
   前記画像データに対して、前記顔情報抽出手段により抽出された顔の上に、選択された前記目隠しデザイン情報を配置する第１の配置手段と、
   顔情報抽出手段により抽出された前記顔情報と、前記第２の記憶部に記憶されている前記人の顔情報から、前記人固有情報を識別する個人識別手段と、
   テキストから前記人固有情報を抽出し、前記テキストの前記人固有情報の部分に、前記選択された前記目隠しデザイン情報を配置する第２の配置手段と、
   を有し、
   前記端末は、前記目隠しデザインが配置された前記画像データおよび前記テキストデータを表示する表示手段を有することを特徴とする画像処理システム。
8. 画像およびテキストの特定の部位に画像処理を施す画像処理方法であって、
   コンピュータが、
   画像データを解析して、前記画像データ中の人の顔情報を抽出する工程と、
   抽出された前記画像データ中の前記顔情報から、人の属性情報を推定する工程と、
   人の属性情報と目隠しデザイン情報とを対応づけて記憶する第１の記憶部から、推定された前記人の属性情報を用いて、対応する目隠しデザイン情報を選択する工程と、
   前記画像データに対して、抽出された顔の上に、選択された前記目隠しデザイン情報を配置する工程と、
   人の顔情報と当該顔情報に対応する人固有情報とを対応づけて記憶する第２の記憶部の前記人の顔情報と、前記顔情報を抽出する工程により抽出された前記顔情報とから、前記人固有情報を識別する工程と、
   前記テキストから前記人固有情報を抽出し、前記テキストの前記人固有情報の部分に、前記選択された前記目隠しデザイン情報を配置する工程と、
   を実行することを特徴とする画像処理方法。
9. コンピュータを、
   人の属性情報と目隠しデザイン情報とを対応づけて記憶する第１の記憶部と、
   人の顔情報と当該顔情報に対応する人固有情報とを対応づけて記憶する第２の記憶部と、
   画像データを解析して、前記画像データ中の人の顔情報を抽出する顔情報抽出手段と、
   前記顔情報抽出手段により抽出された前記画像データ中の前記顔情報から、人の属性情報を推定する推定手段と、
   前記推定手段で推定された前記人の属性情報を用いて、前記第１の記憶部から対応する前記目隠しデザイン情報を選択する選択手段と、
   前記画像データに対して、前記顔情報抽出手段により抽出された顔の上に、選択された前記目隠しデザイン情報を配置する第１の配置手段と、
   顔情報抽出手段により抽出された前記顔情報と、前記第２の記憶部に記憶されている前記人の顔情報から、前記人固有情報を識別する個人識別手段と、
   テキストから前記人固有情報を抽出し、前記テキストの前記人固有情報の部分に、前記選択された前記目隠しデザイン情報を配置する第２の配置手段と、
   を具備するサーバとして機能させるためのプログラム。

Images