JP5880946B2 - 画像処理装置、端末装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、端末装置、画像処理方法及びプログラムラムに関し、詳細には、肖像権の保護を意図した画像処理装置、端末装置、画像処理方法及びプログラムに関する。

近年、撮像装置の多くは撮影した画像をデジタルデータの画像ファイルとして保存することができる、いわゆるデジタルカメラが主流であり、また、その画像ファイルをインターネット上のホームページやブログなどに掲載して公開することが一般的に行われるようになってきたが、一方で、肖像権、すなわち、他人から無断で画像を撮られたり無断で公表されたり利用されたりしないように主張できる権利の侵害が問題視されるようになってきた。

肖像権の保護を意図した技術としては、たとえば、下記の特許文献１〜９に記載されたものが知られている。
＜特許文献１＞
画像にパスワードを設定し、正しいパスワードを入力した人物にだけ閲覧を許可するようにした技術。
＜特許文献２〜５＞
保護対象の画像部分に加工を施す技術。
＜特許文献６＞
通信の相手ごとに画像の顔部分の開示／非開示を制御する技術。
＜特許文献７＞
元画像の顔部分に可逆性の加工を施し、加工後の画像と復元用の制御情報とを関連付けして保存する技術。
＜特許文献８＞
顔画像を似顔絵に変換する技術。
＜特許文献９＞
インターネット上の画像の中から自分が写っている画像を検索し、その画像の掲載元にプライバシー保護依頼文書を送信する技術。

特許文献１〜８の技術によれば、画像にパスワードを設定し（特許文献１）、保護対象の画像部分を加工し（特許文献２〜５）、通信の相手ごとに画像の顔部分の開示／非開示を制御し（特許文献６）、元画像の顔部分に可逆性の加工を施し（特許文献７）、または、顔画像を似顔絵に変換する（特許文献８）ので、肖像権の侵害を防止することができる。また、特許文献９の技術によれば、不本意に公開されている自分の画像を見つけ出して、プライバシー保護依頼文書を送信するので、肖像権の侵害に対する対策を講じることができる。

特開２００１−３５８９２７号公報 特開２００２−０１００６３号公報 特許第３７４０３５１号公報 特許第４２０６８８８号公報 特許第４４２４３６４号公報 特開２００３−２１９３８３号公報 特開２００９−０３３７３８号公報 特開２００９−２２３５００号公報 特開２０１１−０２２６４１号公報

しかしながら、特許文献１〜９の技術にあっては、複数の人物の顔が写っている場合に肖像権の保護／非保護を人物ごとに設定できないという問題点がある。
たとえば、行楽地の雑踏の中で記念画像を撮影した場合を考える。この場合の被写体は、おそらく撮影者本人と親しい間柄の人物であるが、雑踏の中での撮影であることから、偶然に見知らぬ第三者（他人）が映り込んでしまうことがあり得る。このような場合、その画像をインターネット等で公開してしまうと、当該他人の肖像権を侵害することになる。前記の特許文献１〜９の技術にあっては、かかる不都合（他人の肖像権侵害）に対処できない。複数の人物の顔が写っている場合に、肖像権の保護／非保護を人物ごとに設定できないからである。

そこで、本発明は、複数の人物の顔が写っている場合に肖像権の保護／非保護を人物ごとに設定できるようにした画像処理装置、端末装置、画像処理方法及びプログラムを提供することにある。

本発明の画像処理装置は、公開対象の画像に他人が写っているか否かを判定する判定手段と、前記判定手段の判定結果が肯定の場合にその判定対象となった画像に対して前記他人が特定されないようにするための加工を行う加工手段とを備え、前記判定手段は、公開対象の画像とすでに公開済みの画像とを比較し、公開対象の画像に写っている人物が前記公開済みの画像に写っていない場合に、当該人物を他人であると判定することを特徴とする。
本発明の端末装置は、前記判定手段に対して、公開対象となる画像を提供することが可能な画像提供手段を備えたことを特徴とする。
本発明の画像処理方法は、公開対象の画像に他人が写っているか否かを判定する判定工程と、前記判定工程の判定結果が肯定の場合にその判定対象となった画像に対して前記他人が特定されないようにするための加工を行う加工工程とを含み、前記判定工程は、公開対象の画像とすでに公開済みの画像とを比較し、公開対象の画像に写っている人物が前記公開済みの画像に写っていない場合に、当該人物を他人であると判定することを特徴とする。
本発明のプログラムは、コンピュータを、公開対象の画像に他人が写っているか否かを判定する判定手段、前記判定手段の判定結果が肯定の場合にその判定対象となった画像に対して前記他人が特定されないようにするための加工を行う加工手段として機能させるためのプログラムであって、前記判定手段は、公開対象の画像とすでに公開済みの画像とを比較し、公開対象の画像に写っている人物が前記公開済みの画像に写っていない場合に、当該人物を他人であると判定する。

本発明によれば、複数の人物の顔が写っている場合に肖像権の保護／非保護を人物ごとに設定できるようにした画像処理装置、端末装置、画像処理方法及びプログラムを提供することができる。

実施形態のシステム構成図である。 ユーザリスト１７のデータ構造を示す模式図である。 知人リスト１８とプロフィール画像リスト１９のデータ構造を示す模式図である。 アルバムリスト２０のデータ構造を示す模式図である。 タグのデータ構造を示す模式図である。 サーバ１の画像処理部９の動作フローを示す図である。 知人プロフィール画像判定処理（ステップＳ１００）のサブルーチンフローを示す図である。 タグ付け判定処理（ステップＳ３００）のサブルーチンフローを示す図である。 未登録の知人判定処理（ステップＳ５００）のサブルーチンフローを示す図である。 実施形態の変形例を示す図である。 付記１の構成図である。

以下、本発明の実施形態を、図面を参照しながら説明する。
まず、構成を説明する。
図１は、実施形態のシステム構成図である。このシステムは、インターネット等のネットワーク上に常設された画像公開サーバ（以下、単にサーバという）１と、そのサーバ１に、必要に応じてアクセスして画像の登録や画像の閲覧などを行うことができる１台から複数台の端末装置とで構成されている。

この図において、端末装置は２台の携帯電話端末（以下、第１の携帯電話端末２と第２の携帯電話端末３）で示されている。これら第１及び第２の携帯電話端末２、３は、携帯電話機としての通話機能を有することに加え、さらに、インターネットに接続して前記のサーバ１にアクセスし、画像の登録や閲覧などを行うことができる付加機能を有する、たとえば、スマートフォンなどの携帯電話機であってもよく、あるいは、上記の付加機能を主に有する、たとえば、パーソナルコンピュータやＰＤＡなどの情報処理機器であってもよい。

第１の携帯電話端末２及び第２の携帯電話端末３は、ともに同じ構成（つまり、前記の通話機能と付加機能に必要な同一の構成）を有していてもよいが、ここでは、簡単化のために、第１の携帯電話端末２を画像の登録用とし、また、第２の携帯電話端末３を画像の閲覧用として説明することにする。

すなわち、第１の携帯電話端末２は、少なくとも、任意の被写体を撮像してその画像データ（以下、単に画像という）を生成出力するカメラ部４と、その画像を蓄積保存する画像記憶部５と、必要に応じてサーバ１にアクセスし、画像記憶部５に蓄積保存されている画像の全てまたはユーザによって選択された一部の画像をサーバ１にアップロードしてサーバ１に登録する画像アップロード部６とを備えるものとし、また、第２の携帯電話端末３は、少なくとも、必要に応じ、サーバ１にアクセスして画像を閲覧する画像閲覧部７（たとえば、一般的な携帯電話機に搭載されているブラウザ部等）を備えるものとして説明する。

なお、ここでは、第１の携帯電話端末２としてカメラ部４を備えるもの、つまり、カメラ付きの携帯電話機を想定しているが、これに限定されない。デジタルカメラ等の他の撮影機器で撮影された画像を取り込み、その画像をネットワークを介してサーバ１にアップロードできるものであってもよい。この場合、当然ながらカメラ部４は不要であり、また、取り込んだ画像をそのままアップロードするのであれば、画像記憶部５も不要である。

ちなみに、カメラ部４は、ＣＣＤやＣＭＯＳなどの二次元撮像デバイスと、撮影レンズなどの光学系と、二次元撮像デバイスの撮像データをデジタルの画像データに変換する画像処理部とを含む撮像装置によって構成することができ、また、画像記憶部５は、フラッシュメモリやシリコンディスクあるいはハードディスクなどの不揮発性（電源をオフにしても記憶データを失わない）の記憶デバイス及びそれらのデータ入出力部によって構成することができ、さらに、画像アップロード部６は、携帯電話用無線通信あるいはＷｉＦｉ等の近距離無線通信などの通信媒体を用いてデジタルデータの送受信を行う通信部によって構成することができる。これらの撮像装置、記憶デバイス及び通信部については、その構成や仕組みが公知であるため具体的な説明を割愛する。

サーバ１は、画像登録部８、画像処理部９、画像公開部１０、画像データベース部１１、ユーザデータベース部１２及びユーザデータ管理部１３を備え、さらに、画像処理部９は、顔検出部１４、画像加工要否判定部１５及び画像加工部１６を備える。

一般的にサーバとは、コンピュータネットワークにおいて、クライアントコンピュータ（実施形態では第１の携帯電話端末２や第２の携帯電話端末３）に対して、自身の持っている機能やデータを提供するコンピュータ機器またはコンピュータシステムのことをいう。
これらのサーバでは、管理のしやすさや機能改善などの容易性を考慮し、提供する機能のすべてまたはその多くをソフトウェアで実装している。この点、実施形態のサーバ１も同様である。すなわち、実施形態のサーバ１も、コンピュータネットワークにおいて、クライアントコンピュータ（実施形態では第１の携帯電話端末２や第２の携帯電話端末３）に対して、自身の持っている機能やデータを提供するコンピュータ機器またはコンピュータシステムであり、且つ、その機能、つまり、上記の各部（画像登録部８、画像処理部９、画像公開部１０、画像データベース部１１、ユーザデータベース部１２及びユーザデータ管理部１３）をソフトウェアで実装している。

画像登録部８は、ユーザの端末（ここでは第１の携帯電話端末２）からアップロードされた画像を画像データベース部１１に登録する一連の処理を実行する。この「一連の処理」には、本実施形態に特有の「肖像権保護に関する処理」が含まれる。

肖像権保護に関する処理とは、大まかにいえば、これから登録しようとする画像（以下、便宜的にターゲット画像という）に他人（知人以外の第三者）が映り込んでいる場合に、その他人と思われる人物が特定されないようにするための所要の画像加工を行うことをいう。なお、知人とは、友達や友人などの親しい間柄の人物を指す用語であることはもちろんのこと、さらに、それ以外にも、たとえば、会社の仲間や取引先の相手といった仕事関係人、または、町内会や趣味同好者等の生活関係人・・・・等々、赤の他人以外の人物を全て指す用語であるが、本実施形態では、サーバ１に登録されている画像に映っている人物のうち、肖像権保護の対象としない人物のことをいう。

より具体的に説明する。今、ターゲット画像が、行楽地の雑踏の中で友人を被写体にして撮影した画像である場合を考える。この場合、行楽地の雑踏の中では、友人以外の他人が同時に映り込んでしまう蓋然性が高い。かかるターゲット画像（友人と他人が同時に写っている画像）をそのまま公開してしまうと、思わぬトラブルを招く可能性がある。たとえば、当該他人またはその他人の関係人からの肖像権侵害の訴えなどである。

このようなトラブルを回避するためには、他人の顔にボカシを入れるなどの加工を行ってからサーバ１に登録することが望ましいものの、手間と面倒を否めない。とりわけ、カメラ付きの携帯電話機は、その場で撮影した画像をワンタッチでサーバ１などにアップロードできる手軽さがメリットの一つであるところ、上記のようなボカシ加工は、このメリットを阻害するので何らかの対策が必要である。

本実施形態では、ボカシ等の画像加工（肖像権保護に関する処理）をサーバ１で行うようにしているため、上記のメリット、すなわち、「カメラ付きの携帯電話機は、その場で撮影した画像をワンタッチでサーバ１などにアップロードできる手軽さがある」を阻害しない。ただし、肖像権保護に関する処理は、ボカシ等の画像加工に限定されない。たとえば、モザイク処理やマスク（黒色、白色、その他の色や模様）加工であってもよく、あるいは、文字や記号、絵などを顔の上に重畳表示する加工などであってもよい。要は、人物の特定を困難にする画像加工であれば、どの様な方法であってもよい。

この実施形態における肖像権保護に関する処理の内容は、以下の説明から明らかになるが、かいつまんで説明すれば、ターゲット画像（サーバ１に登録しようとする画像）に映り込んでいる人物と、画像データベース部１１にすでに登録されている画像（以下、参照画像という）に映り込んでいる人物とを比較して、ターゲット画像に写っている人物が参照画像にも写っている場合には当該人物を知人とする一方、ターゲット画像に写っている人物が参照画像に写っていない場合には当該人物（ターゲット画像に写っている人物）を他人と判断し、その他人と判断された人物が特定されないようにするための所要の画像加工（顔のボカシ等）を行うようにしたものである。画像加工の対象部分は、たとえば、顔全体や顔の一部（両目を含む部分等）であってもよいし、または、人物の体全体であってもよい。もしくは、ユーザ指定された任意の範囲であってもよい。顔全体や顔の一部を加工の対象とする場合は公知の顔検出技術を利用することができる。また、人物の体全体を対象とする場合は、顔検出技術で検出された顔を基準にして標準身長の人物像を想定し、当該想定人物の体全体を含む範囲を加工の対象とすればよい。

以下、サーバ１をＦａｃｅｂｏｏｋ（登録商標）等のＳＮＳ（Social Networking Service）用であるものとして説明する。なお、この例示（ＳＮＳ用）は、あくまでも説明を具体化するためのものに過ぎない。したがって、以下の説明から発明の外縁を把握してはならない。要は、前記のとおりの「肖像権保護に関する処理」を行うもの、つまり、ターゲット画像（サーバ１に登録しようとする画像）に映り込んでいる人物と、画像データベース部１１にすでに登録されている画像（参照画像）に映り込んでいる人物とを比較して、ターゲット画像に写っている人物が参照画像に写っていない場合には当該人物（ターゲット画像に写っている人物）を他人と判断し、その他人と判断された人物が特定されないようにするための所要の画像加工（顔のボカシ等）を行うものであればよい。

画像処理部９は、前記のとおり、顔検出部１４、画像加工要否判定部１５及び画像加工部１６を備える。顔検出部１４は、ターゲット画像（サーバ１に登録しようとする画像）に映り込んでいる人物の顔と、画像データベース部１１にすでに登録されている画像（参照画像という）に映り込んでいる人物の顔とを検出する。この顔検出に関する技術はいろいろあり、しかもいずれも公知であるため、ここでは詳しく説明しない。画像の中から人物の顔を検出できればよい。

画像データベース部１１は、公開用の画像を多数格納する。一般的にＳＮＳでは、公開用画像はユーザ本人のプロフィール紹介画像と、それ以外の画像とに分けることができる。プロフィール紹介画像は一般的に本人の顔画像が使われることが多い。このプロフィール紹介画像を単に「プロフィール画像」ということにする。プロフィール画像以外の画像は、必要に応じてサーバ１に登録される任意の画像（たとえば、旅行画像など）であり、この任意の画像は、ユーザごとのアルバムと呼ばれる入れ物単位で分類整理できるようになっている。アルバムは一人のユーザごとに複数作成することができる。アルバムごとに公開する範囲（無制限公開や特定知人グループへの制限公開など）を設定することができる。

画像公開部１０は、画像データベース部１１に格納されている画像を、ユーザの端末（ここでは第２の携帯電話端末３）からの要求に応答して当該端末で閲覧できるように公開する。

ユーザデータベース部１２及びユーザデータ管理部１３は、サーバ１の利用権限を有するユーザの情報を保持し、且つ、管理する。この管理には、ユーザの新規登録や登録内容の変更及びユーザの削除などが含まれる。

以下、サーバ１のデータ構造について具体的に説明する。
図２は、ユーザリスト１７のデータ構造を示す模式図である。この図において、ユーザリスト１７は、このサーバ１で管理している全てのユーザの情報を格納したリストであり、ここでは、ユーザリスト１７は、ユーザＡ、ユーザＢ、ユーザＣ、ユーザＤ・・・・の各ユーザ情報で構成されている。各々のユーザ情報は知人リスト１８、プロフィール画像リスト１９及びアルバムリスト２０を含む。

知人リスト１８はユーザ＊（＊はＡ、Ｂ、Ｃ、Ｄ・・・・を示す；以下同様）の知人をすべて網羅したリストであり、また、プロフィール画像リスト１９はユーザ＊のプロフィール画像を全て網羅したリストである。なお、プロフィール画像の“リスト”としているのは、一人のユーザについて複数のプロフィール画像を登録できる仕組みになっているからである。したがって、一人のユーザについて１つのプロフィール画像しか登録しない（通常このケースが多い）場合は、プロフィール画像リスト１９の中身は一つ（つまり１つのプロフィール画像）である。

アルバムリスト２０もユーザ＊のアルバムを全て網羅したリストである。上記のプロフィール画像リスト１９と同様に、このアルバムリスト２０についても一人のユーザについて複数のアルバムを作成できる仕組みになっているため、“リスト”としている。

図３は、知人リスト１８とプロフィール画像リスト１９のデータ構造を示す模式図である。この図において、知人リスト１８は、ユーザの全ての知人Ａ、Ｂ、Ｃ、Ｄ・・・・を網羅したリストであり、知人＊（＊はＡ、Ｂ、Ｃ、Ｄ・・・・を示す；以下同様）の各々にプロフィール画像リスト１９が関連づけられている。たとえば、この例では、知人Ａに関連づけられたプロフィール画像リスト１９に、その知人Ａの全ての知人のプロフィール画像（画像１、画像２、画像３、画像４・・・・）が格納されており、同様に、知人Ｂに関連づけられたプロフィール画像リスト１９に、その知人Ｂの全ての知人のプロフィール画像（画像５、画像６、画像７、画像８・・・・）が格納されている。

図４は、アルバムリスト２０のデータ構造を示す模式図である。この図において、アルバムリスト２０は、複数のアルバム２３（たとえば、アルバムＡ、Ｂ、Ｃ、Ｄ・・・・）で構成されており、各アルバム２３には任意数の画像が格納されている。たとえば、アルバムＡには、画像１、画像２、画像３、画像４・・・・が格納され、同様に、アルバムＢには、画像５、画像６、画像７、画像８・・・・が格納されている。

ここで、Ｆａｃｅｂｏｏｋ（登録商標）では、「タグ」と呼ばれる便利な機能を使うことができる。タグとは、サーバ１にアップロードした画像に知人の名前を登録（紐付け）すると、その画像が自動的に知人の元へリンクとしてつながる機能である。タグの使い方は、以下のとおりである。まず、知人と共有したい画像を格納したアルバムを開き、画像を選択し、画像内の人物（複数人の場合は、タグをつけたい人物）を指定する。人物の指定は顔でも頭でも背中でもどこでもかまわない。人物を指定すると、その人物を囲む四角い枠が表示され、同時に自分の知人一覧が表示される。知人一覧の中から一人又は複数人を選択すると、指定した人物と選択した知人との紐付けが行われる。人物をタグしていくだけで簡単に画像を共有することができる。

図５は、タグのデータ構造を示す模式図である。この図において、知人リスト１８は、複数の知人（たとえば、知人Ａ、Ｂ、Ｃ、Ｄ・・・・）で構成されており、各知人にはタグリスト２１が関連づけられている。たとえば、知人Ａに紐付けられたタグリスト２１は、タグ１、タグ２、タグ３、タグ４・・・・から構成され、同様に、知人Ｂに紐付けられたタグリスト２１は、タグ５、タグ６、タグ７、タグ８・・・・から構成されている。それぞれのタグは、画像へのリンク、顔の左上座標、顔の左下座標からなるタグ情報で構成されている。ここで、「画像へのリンク」とは、上記のタグの使い方の説明における“画像”の保存先情報であり、また、「顔の左上座標」や「顔の左下座標」とは、上記のタグの使い方の説明における“人物を囲む四角い枠”の原点座標のことである。

次に、作用を説明する。
図６は、サーバ１の画像処理部９の動作フローを示す図である。この動作フローは、画像登録部８において、ユーザの端末（ここでは第１の携帯電話端末２）からアップロードされた画像の登録が受け付けられるたびに、画像処理部９で実行される。

この動作フローの目的は、これから登録しようとする画像に他人が映り込んでいるか否かを判定することにある。判定の仕方は後述するが、画像処理部９は、最終的に他人が映り込んでいると判定された場合に、その他人が映り込んでいる画像に対して肖像権保護のための画像加工（ステップＳ７００：たとえば、人物の顔にボカシを入れる等）を施した後、フローを終了し、一方、他人が映り込んでいると判定されなかった場合に、当該加工を行わず、そのままフローを終了する。

判定の仕方について説明する。
簡単化のために、これから登録しようとする画像（ターゲット画像）に一人の人物（以下、便宜的に人物Ｘとする）が写り込んでいる場合を考える。図６のフローでは、要するに、この人物Ｘが他人であるか否かを判定する。この判定のために、実施形態では、単純に言えば、画像データベース１１に登録済みの画像を参照画像とし、それら大量の参照画像の中から比較の対象となるすべての人物（以下、便宜的に人物Ｙとする）を検出する。そして、人物Ｘとすべての人物Ｙとが不一致の場合に人物Ｘが他人であると判定し、その人物Ｘが特定されないような加工（顔のボカシ等）を行った後、当該画像を画像データベース１１に登録する。このようにすれば、他人が映り込んだ画像が画像データベース１１に登録されなくなり、肖像権問題を生じることがない。

しかしながら、このような単純な仕組みでは、とりわけ多くのユーザが利用するＳＮＳなどの場合に不都合が生じる。画像データベース１１に登録済みの画像は、多くのユーザによって登録されたものであるからであり、前記の人物Ｘは、あるユーザにとって他人であっても、別のユーザにとっては知人であるかもしれないからである。

このような不都合を解消するために、画像処理部９は、知人プロフィール画像判定処理（ステップＳ１００）、タグ付け画像判定処理（ステップＳ３００）及び未登録の知人判定処理（ステップＳ５００）を実行する。

そして、画像処理部９は、知人プロフィール画像判定処理（ステップＳ１００）の実行後に、知人のプロフィール画像の中に同じ顔が検出されたか否かを判定し（ステップＳ２００）、検出された場合は、そのままフローを終了する一方、検出されなかった場合は、タグ付け画像判定処理（ステップＳ３００）を実行する。同様に、タグ付け画像判定処理（ステップＳ３００）の実行後に、タグ付けされた画像の中に同じ顔が検出されたか否かを判定し（ステップＳ４００）、検出された場合は、そのままフローを終了する一方、検出されなかった場合は、未登録の知人判定処理（ステップＳ５００）を実行する。同様に、未登録の知人判定処理（ステップＳ５００）の実行後に、知人として未登録の知人が検出されたか否かを判定し（ステップＳ６００）、検出された場合は、そのままフローを終了する一方、検出されなかった場合は、その画像に対して肖像権保護のための画像加工（ステップＳ７００：たとえば、人物の顔にボカシを入れる等）を施した後、フローを終了する。

＜知人プロフィール画像判定処理＞
画像処理部９は、新規にアップロードされた画像に写る顔（判定対象の顔；人物Ｘの顔）が、知人の顔であるかを判定するために、知人プロフィール画像判定処理を行う。
図７は、知人プロフィール画像判定処理（ステップＳ１００）のサブルーチンフローを示す図である。このフローは、第１のループ（ステップＳ１０１）の内側で第２のループ（ステップＳ１０２）を実行するネスト構造になっており、第２のループを実行中に所定の条件（ステップＳ１０３）が成立すると、ループを強制的に抜け出すようになっている。

ここで、第１のループの最大ループ数は、知人リスト１８（図３参照）を構成する知人（知人Ａ、Ｂ、Ｃ、Ｄ・・・・）の数であり、また、第２のループの最大ループ数は、一人の知人（知人＊）に関連づけられたプロフィール画像リスト１９（図３参照）のプロフィール画像（たとえば、知人Ａは画像１、２、３、４・・・・、知人Ｂは画像５、６、７、８・・・・、）の数である。
ここで、第１のループの対象となる知人を「Ｆ」とし、第２のループの対象となる画像を「Ｐ」とする。

第１及び第２のループを実行中に、入力画像の人物（人物Ｘ）と「Ｐ」の人物との顔が一致するか否かを判定する（ステップＳ１０３）。一致した場合は、人物（人物Ｘ）を知人と判断して強制的にループを抜けてフローを終了するが、一致しなかった場合は、ループを繰り返し、最後のループを実行しても一致しなかった場合は、人物（人物Ｘ）を他人と判断してフローを終了する。

このように、知人プロフィール画像判定処理では、自身の知人リストの中の知人一人ひとりについて繰り返し処理を行う。また、ある知人（Ｆと呼ぶ）のプロフィール画像一枚一枚について処理を行う。Ｆのあるプロフィール画像から顔を検出し、その顔と判定対象の顔が同一人物であるか検査する。同一人物の場合、その顔に画像処理を施す必要は無いとして判定処理を終了するが、同一人物ではない場合、次のプロフィール画像について同様に判定を繰り返す。そして、Ｆの全てのプロフィール画像を検査し終わったら、次の知人について同様に判定を繰り返す。

＜タグ付け判定処理＞
さらに、画像処理部９は、知人の顔であるかを判定するために、タグ付け画像判定処理を行う。
図８は、タグ付け判定処理（ステップＳ３００）のサブルーチンフローを示す図である。このフローも、第１のループ（ステップＳ３０１）の内側で第２のループ（ステップＳ３０２）を実行するネスト構造になっており、第２のループを実行中に所定の条件（ステップＳ３０３）が成立すると、ループを強制的に抜け出すようになっている。

ここで、第１のループの最大ループ数は、知人リスト１８（図１０参照）を構成する知人（知人Ａ、Ｂ、Ｃ、Ｄ・・・・）の数であり、また、第２のループの最大ループ数は、一人の知人（知人＊）に紐付けられたタグリスト２１（図３参照）のタグ（たとえば、知人Ａはタグ１、２、３、４・・・・、知人Ｂはタグ５、６、７、８・・・・、）の数である。
ここで、第１のループの対象となる知人を「Ｆ」とし、第２のループの対象となるタグ付けされた画像を「Ｐ」とする。

第１及び第２のループを実行中に、入力画像の人物（人物Ｘ）と「Ｐ」の人物との顔が一致するか否かを判定する（ステップＳ３０３）。一致した場合は、人物（人物Ｘ）を知人と判断して強制的にループを抜けてフローを終了するが、一致しなかった場合は、ループを繰り返し、最後のループを実行しても一致しなかった場合は、人物（人物Ｘ）を他人と判断してフローを終了する。

このように、タグ付け画像判定処理では、自身の知人リストの中の知人一人ひとりについて繰り返し処理を行う。また、ある知人（Ｆと呼ぶ）にタグ付けされた画像一枚一枚について処理を行う。タグが示す位置に移っている顔と、判定対象の顔が同一人物であるか検査する。同一人物の場合、その顔に画像処理を施す必要は無いとして判定処理を終了し、同一人物ではない場合、次のタグ付け画像について同様に判定を繰り返す。そして、Ｆの全てのタグ付け画像を検査し終わったら、次の知人について同様に判定を繰り返す。

＜未登録の知人判定処理＞
さらに、画像処理部９は、知人として登録はされていないが、面識のある知人であるかを判定するために、未登録の知人判定処理を行う。
図８は、未登録の知人判定処理（ステップＳ５００）のサブルーチンフローを示す図である。このフローは、二段構えのループ構造を有している。すなわち、第１のループ（ステップＳ５０１）の内側で第２のループ（ステップＳ５０２）と第３のループ（ステップＳ５０３）を実行するネスト化された前段のループ構造と、第３のループを実行中に所定の条件（ステップＳ５０４）が成立すると、さらに、第４のループ（ステップＳ５０５）を実行するとともに、その内側で第５のループ（ステップＳ５０６）と第６のループ（ステップＳ５０７）を実行するネスト化された後段のループ構造とを備えており、そして、第６のループを実行中に所定の条件（ステップＳ５０８）が成立すると、ループを強制的に抜け出すようになっている。

ここで、第１のループの最大ループ数は、知人リスト１８（図１０参照）を構成する知人（知人Ａ、Ｂ、Ｃ、Ｄ・・・・）の数であり、また、第２のループの最大ループ数は、一人の知人（知人＊）に関連付けられたアルバムリスト２３（図４参照）の画像（たとえば、アルバムＡは画像１、２、３、４・・・・、アルバムＢは画像５、６、７、８・・・・、）の数であり、また、第３のループの最大ループ数は、「Ｐ」に写る人物の顔の数である。
さらに、第４のループの最大ループ数は、自分のアルバムリスト中のアルバムの数「Ａ」であり、また、第５のループの最大ループ数は、「Ａ」の中の画像「Ｐｏ」の数であり、また、第６のループの最大ループ数は、「Ｐｏ」に写る顔「Ｆｃ」の数である。
ここで、第１のループの対象となる知人を「Ｆ」とし、第２のループの対象となる画像を「Ｐ」とし、その画像「Ｐ」に写る人物の顔を「Ｆｏ」とする。

第１〜第３のループを実行中に、入力画像の人物（人物Ｘ）と「Ｆｏ」の人物との顔が一致するか否かを判定する（ステップＳ５０４）。一致した場合は、後段のループ（第４〜第６のループ）を実行し、この第４〜第６のループを実行中に、「Ｆｃ」と「Ｆｏ」が同一人物であるか否かを判定する（ステップＳ５０８）。一致した場合は、人物（人物Ｘ）を未登録の知人と判断して強制的にループを抜けてフローを終了するが、一致しなかった場合は、ループを繰り返し、最後のループを実行しても一致しなかった場合は、人物（人物Ｘ）を他人と判断してフローを終了する。

このように、未登録の知人判定処理では、自身の知人リストの中の知人一人ひとりについて繰り返し処理を行う。また、ある知人（Ｆと呼ぶ）にタグ付けされた画像と、Ｆのアルバム内にある画像（Ｐと呼ぶ）一枚一枚について処理を行う。Ｐから顔を検出し、その顔と判定対象の顔が同一人物であるか検査する。同一人物ではない場合、Ｐに写る次の顔、および次の画像について同様に判定を繰り返し、同一人物の場合は、さらに自身のアルバム内にある画像にその人物が写っているかを判定する。すなわち、自身のアルバム内の画像に写る顔を検出し、その顔と判定対象の顔が同一人物であるかを検査する。同一人物の場合、知人関係として登録されていないが、知人であると判断し、その顔に画像処理を施す必要は無いとして判定処理を終了する。同一人物ではない場合、次の顔、および次の画像について同様に判定を繰り返す。全ての検査を終えても同一人物であるという判定にならなかった場合、その顔に画像処理を施す必要があると判定する。

以上の三つの判定処理、すなわち、知人プロフィール画像判定処理（ステップＳ１００）、タグ付け画像判定処理（ステップＳ３００）及び未登録の知人判定処理（ステップＳ５００）は、ＳＮＳ用のサーバ１に適合した処理である。ＳＮＳ用のサーバ１では、プロフィール画像やアルバムで分類された画像及びタグ付けされた画像を保持しているからであり、しかも、それらの画像が自分の知人としてグループ化されて管理されているからである。そして、これから登録しようとする画像に知人以外の他人（つまり肖像権保護の対象となる人物）が写っているかどうかの判定を、これらの画像に基づいて行うことができるからである。加えて、他人であるが未登録の知人であるか否かの判定も、これらの画像に基づいて行うことができるからである。
このように、実施形態では、ＳＮＳ用のサーバ１を想定し、そのサーバ１に適合した処理について詳しく且つ具体的に説明したが、これに限定されない。要は、画像を公開する機能を有するサーバ１であって、且つ、公開対象の画像に知人以外の他人が写っているか否かを判定する判定手段と、前記判定手段の判定結果が肯定の場合にその判定対象となった画像に対して前記他人が特定されないようにするための加工を行う加工手段と、前記加工を行った画像または前記他人を含まない画像を公開する公開手段とを備えていればよい。

以上のとおりであるから、本実施形態においては、以下に記載するような効果を奏することができる。まず、ＳＮＳなどに登録されている知人の顔画像を検出対象にしているので、知人の顔には画像処理を施さないという判定を容易に行うことができる（第１の効果）。加えて、原則的には全ての顔に画像処理を施すが、知人の顔には画像処理を施さないという考え方を採用しているので、肖像権侵害の可能性を抑制しつつ、本来写っていて欲しい人物の顔には画像処理を施さないようにすることができる（第２の効果）。

以上の実施形態は、いうまでもなく様々な変形や発展が可能である。たとえば、以下のようにしてもよい。
図１０は、実施形態の変形例を示す構成図である。この図において、先の構成（図１）との相違は、画像処理されていない元々の画像（以下、元画像）を保存しておくための元画像記憶部２４と、ユーザ登録情報公開部２５とを備える点、及び、このユーザ登録情報公開部２５は、第３の携帯電話端末２６の登録情報編集部２７で、あるユーザーと別のユーザーとの知人関係が新たに設定されると、その新たな知人関係の情報を、ユーザ登録情報管理部１３を経由してユーザデータベース部１２に記録するとともに、画像処理部１４を用いて、再度前記の画像処理（肖像権侵害対処のための画像加工）を行う点にある。
画像処理部１４は、元画像記憶部２４から元画像を読み出し、再度、図６の処理を行うことで、新しく知人関係になった人物の顔に画像処理が施されていない新たな画像を公開することができる。

なお、実施形態では、ターゲット画像（サーバ１に登録しようとする画像）に映り込んでいる人物と、画像データベース部１１にすでに登録されている画像（参照画像）に映り込んでいる人物とを比較して、ターゲット画像に写っている人物が参照画像にも写っている場合には当該人物を知人とする一方、ターゲット画像に写っている人物が参照画像に写っていない場合には当該人物（ターゲット画像に写っている人物）を他人と判断し、その他人と判断された人物が特定されないようにするための所要の画像加工（顔のボカシ等）を行うようにしているが、これに限定されず、たとえば、以下のようにしてもよい。
すなわち、実施形態における「他人」の判定の条件は、単に「ターゲット画像に写っている人物が参照画像に写っていない場合」というものであるが、これに代えて、「ターゲット画像に写っている人物が参照画像に写っている場合であっても“所定の条件”が成立する場合」は、当該人物を「他人」と判定するようにしてもよい。所定の条件は様々である。たとえば、所定の条件を「予め登録された特定の人物である」としてもよい。「ターゲット画像に写っている人物」が「予め登録された特定の人物である」場合は、当該人物が他人と判定され、画像加工の対象となる。このようにすると、たとえば、特定の人物を隠蔽した写真に加工して公開することができる。使い方はいろいろ考えられるが、典型的には、一緒に写っている人物（たとえその人物が知人であっても）を隠したい場合などである。所定の条件はこれに限定されない。たとえば、撮影時間や撮影場所などであってもよい。同様に、特定の時間や特定の場所で撮影した写真に写っている人物を隠蔽して公開することができる。

また、実施形態では、端末装置（第１の携帯電話端末２：いわゆるクライアント）で画像を撮影し、その画像をサーバ１で処理しているが、このようなクライアント−サーバ型の態様に限定されない。画像を撮影する端末装置で肖像権の保護に関する処理も合わせて行うスタンドアロン型の態様であってもよい。この場合、端末装置それ自体が、肖像権保護のための画像加工を行うことが可能な画像処理装置になる。
また、端末装置は携帯電話やスマートフォンなどに限らず、他の装置（たとえば、ゲーム機、タブレットＰＣ、ノートＰＣ）などであってもかまわない。

以下、本発明の特徴を付記する。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
図１１は、付記１の構成図である。
付記１は、公開対象の画像に他人が写っているか否かを判定する判定手段１００（実施形態の画像加工要否判定部１５に相当）と、前記判定手段１００の判定結果が肯定の場合にその判定対象となった画像に対して前記他人が特定されないようにするための加工を行う加工手段１０１（実施形態の画像加工部１６に相当）とを備えたことを特徴とする画像処理装置１０３（実施形態の画像公開サーバ１に相当）である。
（付記２）
付記２は、図１１に示すように、前記判定手段１００は、公開対象の画像とすでに公開済みの画像とを比較し、公開対象の画像に写っている人物が前記公開済みの画像に写っていない場合に、当該人物を他人であると判定することを特徴とする付記１に記載の画像処理装置である。
（付記３）
付記３は、図１１に示すように、前記判定手段１００は、公開対象の画像とすでに公開済みの画像とを比較し、公開対象の画像に写っている人物が前記公開済みの画像に写っていない場合、または、公開対象の画像に写っている人物が前記公開済みの画像に写っている場合であって且つ所定の条件に該当する場合に、当該人物を他人であると判定することを特徴とする付記１に記載の画像処理装置である。
（付記４）
付記４は、図１１に示すように、さらに、前記加工を行った画像または前記他人を含まない画像を公開する公開手段１０２（実施形態の画像公開部１０に相当）を備えたことを特徴とする付記１乃至付記３いずれかに記載の画像処理装置である。
（付記５）
付記５は、付記１乃至付記４いずれかに記載の画像処理装置として動作することを特徴とする端末装置である。
（付記６）
付記６は、付記１乃至付記３いずれかに記載の判定手段に対して、公開対象となる画像を提供することが可能な画像提供手段を備えたことを特徴とする端末装置である。
（付記７）
付記７は、付記４に記載の公開手段で公開された画像を閲覧することが可能な画像閲覧手段を備えたことを特徴とする端末装置である。
（付記８）
付記８は、公開対象の画像に他人が写っているか否かを判定する判定工程と、
前記判定工程の判定結果が肯定の場合にその判定対象となった画像に対して前記他人が特定されないようにするための加工を行う加工工程と
を含むことを特徴とする画像処理方法である。
（付記９）
付記９は、前記判定工程は、公開対象の画像とすでに公開済みの画像とを比較し、公開対象の画像に写っている人物が前記公開済みの画像に写っていない場合に、当該人物を他人であると判定することを特徴とする付記８に記載の画像処理方法である。
（付記１０）
付記１０は、前記判定工程は、公開対象の画像とすでに公開済みの画像とを比較し、公開対象の画像に写っている人物が前記公開済みの画像に写っていない場合、または、公開対象の画像に写っている人物が前記公開済みの画像に写っている場合であって且つ所定の条件に該当する場合に、当該人物を他人であると判定することを特徴とする付記８に記載の画像処理方法である。
（付記１１）
付記１１は、さらに、前記加工を行った画像または前記他人を含まない画像を公開する公開工程を含むことを特徴とする付記８乃至付記１０いずれかに記載の画像処理方法である。
（付記１２）
付記１２は、コンピュータに、
公開対象の画像に他人が写っているか否かを判定する判定手段、
前記判定手段の判定結果が肯定の場合にその判定対象となった画像に対して前記他人が特定されないようにするための加工を行う加工手段
としての機能を与えることを特徴とするプログラムである。
（付記１３）
付記１３は、前記判定手段は、公開対象の画像とすでに公開済みの画像とを比較し、公開対象の画像に写っている人物が前記公開済みの画像に写っていない場合に、当該人物を他人であると判定することを特徴とする付記１２に記載のプログラムである。
（付記１４）
付記１４は、前記判定手段は、公開対象の画像とすでに公開済みの画像とを比較し、公開対象の画像に写っている人物が前記公開済みの画像に写っていない場合、または、公開対象の画像に写っている人物が前記公開済みの画像に写っている場合であって且つ所定の条件に該当する場合に、当該人物を他人であると判定することを特徴とする付記１２に記載のプログラムである。
（付記１５）
付記１５は、前記判定手段及び前記加工手段に加えて、さらに、前記加工を行った画像または前記他人を含まない画像を公開する公開手段としての機能を前記コンピュータに与えることを特徴とする付記１２乃至付記１４いずれかに記載のプログラムである。

１００ 判定手段
１０１ 加工手段
１０２ 公開手段
１０３ 画像処理装置

Claims (7)

1. 公開対象の画像に他人が写っているか否かを判定する判定手段と、
   前記判定手段の判定結果が肯定の場合にその判定対象となった画像に対して前記他人が特定されないようにするための加工を行う加工手段と
   を備え、
   前記判定手段は、公開対象の画像とすでに公開済みの画像とを比較し、公開対象の画像に写っている人物が前記公開済みの画像に写っていない場合に、当該人物を他人であると判定することを特徴とする画像処理装置。
2. 前記判定手段は、公開対象の画像とすでに公開済みの画像とを比較し、公開対象の画像に写っている人物が前記公開済みの画像に写っていない場合、または、公開対象の画像に写っている人物が前記公開済みの画像に写っている場合であって且つ所定の条件に該当する場合に、当該人物を他人であると判定することを特徴とする請求項１に記載の画像処理装置。
3. さらに、前記加工を行った画像または前記他人を含まない画像を公開する公開手段を備えたことを特徴とする請求項１または２いずれかに記載の画像処理装置。
4. 請求項１または２いずれかに記載の判定手段に対して、公開対象となる画像を提供することが可能な画像提供手段を備えたことを特徴とする端末装置。
5. 請求項３に記載の公開手段で公開された画像を閲覧することが可能な画像閲覧手段を備えたことを特徴とする端末装置。
6. 公開対象の画像に他人が写っているか否かを判定する判定工程と、
   前記判定工程の判定結果が肯定の場合にその判定対象となった画像に対して前記他人が特定されないようにするための加工を行う加工工程と
   を含み、
   前記判定工程は、公開対象の画像とすでに公開済みの画像とを比較し、公開対象の画像に写っている人物が前記公開済みの画像に写っていない場合に、当該人物を他人であると判定することを特徴とする画像処理方法。
7. コンピュータを、
   公開対象の画像に他人が写っているか否かを判定する判定手段、
   前記判定手段の判定結果が肯定の場合にその判定対象となった画像に対して前記他人が特定されないようにするための加工を行う加工手段
   として機能させるためのプログラムであって、
   前記判定手段は、公開対象の画像とすでに公開済みの画像とを比較し、公開対象の画像に写っている人物が前記公開済みの画像に写っていない場合に、当該人物を他人であると判定するプログラム。

Images