JP3626679B2

JP3626679B2 - コンピュータ画像処理により猥褻ヌード画像を弁別する方法

Info

Publication number: JP3626679B2
Application number: JP2000372040A
Authority: JP
Inventors: 曉菊川
Original assignee: 株式会社ガーラ
Priority date: 2000-12-06
Filing date: 2000-12-06
Publication date: 2005-03-09
Anticipated expiration: 2020-12-06
Also published as: JP2002175527A

Description

【０００１】
【発明の属する技術分野】
この発明は、電子化された画像データを取り扱うコンピュータ画像処理技術により猥褻ヌード画像（女性器の露出を主題としたヌード画像）を自動的に弁別する方法に関し、例えばインターネット上に展示されている膨大な量の画像を処理対象として、汎用的なパソコンやサーバー機を使った安価なシステムにより十分に高速な実用速度で猥褻ヌード画像を検出する技術に関する。
【０００２】
【従来の技術】
本出願人らは先に、インターネットなどで運営される電子掲示板への不適切な発言を自動的にチェックするシステムを開発して実用化した（特許第２９５１３０７号）。これと同じような趣旨で、多種多様なＷｅｂサイトで公開されているＷｅｂページの画像について、猥褻ヌード画像を自動的に摘出したいという要請が様々なインターネット関係者から寄せられている。
【０００３】
【発明が解決しようとする課題】
コンピュータ画像処理技術は、研究の歴史も長くて高度に発展しており、学問的な研究は進化し続けている。その応用も多岐にわたり、さまざまな分野で実用技術としての実績を積み重ねてきている。しかし、大量のＷｅｂページ画像の中から猥褻ヌード画像を摘出するという限定された目的にかない、汎用的なパソコンやサーバー機を使った安価なコンピュータ上で稼動して高速処理が可能な画像処理システムは、これまで実用化されていなかった。そのような実用的なシステムを実現することが本発明の目的である。この目的に沿って、本発明者らは、つぎのように研究を進めた。
【０００４】
【課題を解決するための手段】
女性器の露出を主題にした猥褻ヌード写真を撮影するとき、当然、その目的に合うように被写体となる女性のポーズが決められ、被写体とカメラの関係や採光方法も目的に合わせるので、できあがる猥褻ヌード写真は必然的に類型的なものになる。この観点でたくさんの猥褻ヌード写真を分析すると、大部分の猥褻ヌード写真は３〜５種類の類型にごく自然に分類できることが分かった。
【０００５】
これらの類型に共通する特徴で、猥褻ヌード画像とは言えない画像（これを目的外画像とする）と区別するのに適した特徴をまず究明した。その共通の特徴量に基づく判断で猥褻ヌード画像と目的外画像とをごく大雑把に区別することはできるが、それ以上は無理である。そこで１つひとつの類型ごとに特徴を究明し、それら類型により異なる特徴を利用して猥褻ヌード画像かも知れない候補をどれかの類型に分類し、さらに各類型ごとの特徴を利用して目的外画像と区別し、候補をさらに絞り込む処理を行う。とくに、猥褻ヌード画像と誤認されやすい目的外画像を各類型ごとにリストアップしておき、各類型ごとに絞り込まれた候補について誤認されやすい目的外画像かどうかを判断するという手法をとった。
【０００６】
以上のような研究開発により創作された本発明は、つぎの事項（１）〜（１０）により特定されるものである。
（１）コンピュータ画像処理により猥褻ヌード画像を弁別する方法である。
（２）処理対象となるカラー画像データをビットマップ形式でメモリに用意する。
（３）メモリ上の処理対象画像データに前処理を施して階調特性を基準に合わせるとともにドット構成を基準に合わせる。
（４）前処理された画像データに領域分割処理を施して少なくとも肌色領域を抽出する。
（５）画像データから抽出された複数の肌色領域について、各領域の面積と各領域の重心位置を求める。
（６）画像データから抽出された肌色領域の合計面積が基準に満たない場合は、その画像を目的外画像と判断して、この画像データを処理対象から外す。
（７）画像データから抽出された肌色領域の合計面積が基準に達している場合、その画像データについて弁別処理を進める。
（８）１つの画像データから抽出された複数の肌色領域の各面積を対照し、面積の大きい順に選んだ複数の肌色領域について、適宜に設定してある面積の組み合わせパターンＰ１、Ｐ２、Ｐ３、・・・（数パターンから十数パターンを用意しておく）のどのパターンに属するのかを決定する。
（９）面積の組み合わせパターンＰｉ（ｉ＝１、２、３、・・・）に分類された画像データについて、その画像データから抽出された複数の肌色領域の面積と重心位置とに基づいて、各肌色領域の密集度合い・離散度合いに相関した肌色分布特徴量を求め、その肌色分布特徴量を各パターンＰｉごとに設定されたパターン別基準に照らして、この画像が目的外画像か否かを判断し、目的外画像と判断した画像データは処理対象から外し、そうでない画像データについて弁別処理を進める。
（１０）前記肌色分布特徴量と前記パターン別基準とに基づく判断プロセスで除外されなかった画像データの前記肌色分布特徴量について、顔画像特徴量テーブルに照らし、目的外画像であるか否かを判断する。顔画像特徴量テーブルには、大量の顔画像データをいくつかのパターンに分類して、各分類ごとにそれら顔画像データから抽出した肌色分布特徴量を記録してある。処理対象の画像データの肌色分布特徴量が前記顔画像特徴量テーブルの記録値との近似度が基準以上である場合、その画像を目的外画像と判断し、そうでない画像を猥褻ヌード画像である可能性が大きいと判断して、その判断結果を出力する。
【０００７】
【発明の実施の形態】
以下、本発明の好ましい実施の形態につき、添付図面を参照して詳細に説明する。人は視覚・聴覚・触覚を通じて外界からの９割以上の刺激を受けており、そのうち特に視覚を通じて得る情報は大きく知的情報を入手する手段としてその役割は大きい。一方で外界からの情報を受けるだけでなく、画像を通じて情報を発信するのも、また人であり、現在ではこの画像情報についてコンピュータを利用した様々な解析・処理技術が模索されている。以下順次明らかにする本発明の一実施形態において適宜選択使用される画像処理手法のいくつかを、予め簡単に解説しておく。
【０００８】
＝＝＝主な画像処理手法＝＝＝
＜１＞前処理フィルタリング
画像は、コンピュータ上で単に入力・標本化された段階では、各画素が何ビットかの濃淡情報を持つ濃淡画像のビットマップ形式で表現される。濃淡情報を持った画像に対し、それを見やすくしたり態様を整える前処理手法としては、強調処理（ｅｎｈａｎｃｅｍｅｎｔ）、平滑化処理（ｓｍｏｏｔｈｉｎｇ）、幾何学的変換処理（ｇｅｏｍｅｔｒｉｃａｌｔｒａｎｓｆｏｒｍａｔｉｏｎ）などが挙げられる。ここでは、不鮮明な画像を鮮明に見せるための強調処理である、濃度ヒストグラム変換（ｇｒａｙｌｅｖｅｌｈｉｓｔｏｇｒａｍｔｒａｎｓｆｏｒｍａｔｉｏｎ）をとりあげる。この方法は、画像の濃度値が特定の値付近に集まりすぎている場合、細かい濃度値の変化は見にくいので、画像の細かい特徴がわかりにくくなることに対応したものであり、画像の濃度値を付けなおすことにより、細かい特徴を見やすくするものである。実際にはヒストグラム平均分散処理と呼ばれる手法で代表され、ヒストグラム中で度数（画素数）が多い部分は濃度（明度）値間隔を細かくし、度数が少ない部分は間隔を粗くして、各度数がほぼ等しくなるように濃度（明度）値をつけなおすのである。これにより、各画像データを所定の階調特性の基準に揃えて以後の処理を容易にするのである。
【０００９】
＜２＞画素圧縮・量子化
一般のパーソナルコンピュータやサーバーを用いて画像処理を高速に遂行するのが本発明の意図するところでもあるから、扱う画像データは可能な限り小さいデータサイズであることが好ましい。そこで画像上に適当な仮想正方格子をあてはめて、かかる格子点上の濃度値（輝度値）を離散値しかとらずに近似する量子化を行う。この作業により、例えばカラー３２ビットのデータを同９ビットのデータへとリサイズし、ＲＧＢごとのマスキング処理を施す。また、平面平均画素の手法より、画像の画面サイズも例えば幅２００画素又は１００画素にデータ圧縮する。
【００１０】
＜３＞フィルタリング
１）平滑フィルタ：画像にランダムなノイズが入ると不規則性が増し、画像が処理しにくくなるため、このノイズを除去するのが平滑フィルターによる平滑化処理である。ある画素を中心とした近傍領域内の画素の濃度値をすべて加算した結果を出力するという操作を各画素で行うことで、画素の値が平均化され滑らかになる。中央の画素からの距離に応じて重み付け処理を施す場合もある。
【００１１】
２）ラプラシアンフィルタ：画像中の図形境界がぼけて鈍ってしまっているものを、ぼけを取り除いて鮮明化（シャープニング）する手法の一つである。他にフーリエ変換による手法もあり、いずれも図形のエッジ（輪郭部）の濃度変化を強調することで画像の鮮明化を図る。
【００１２】
３）色偏差フィルタおよびＨＳＶ偏差フィルタ：ＲＧＢ値やＨＳＶ値の空間微分を行って明るさや色相が変化している部分を明らかにすることで、画像中における輪郭を検出し平面塊状領域を抽出するものである。画像の線画化を図り領域分割処理を実施するとも言える。
【００１３】
４）ファジーフィルタ：いわゆるファジー推論を本発明に適用したものであり、以下のようなメンバーシップ関数を定義して、肌色らしい画素数が１画像中あるいは１図形中に占める割合ｆｚを検出する。

ａ，ｂ，ｃ，ｄはｈ（色相）、ｓ（彩度）、ｖ（明度）と肌色との対応関係により適宜設定される。そしてｈ、ｓ、ｖについて求めたメンバーシップ関数の引数を式：ｆｚ（ｈ，ｓ，ｖ）＝ＭＡＸ［ＭＩＮ［ＭＦｈ（ｈ），ＭＦｓ（ｓ），ＭＦｖ（ｖ）］］にあてはめ、ｆｚを求めるのである。実際にはこのｆｚが所定値以上であるか否かで当該画像データが多面積の人肌を表現したものかどうか、あるいは画像中の１図形の肌色らしさを判断する。
【００１４】
＝＝＝実際の実施手順＝＝＝
次に、上記の画像処理手法を適宜用いつつ本発明を実施する際の実際手順を述べる。図１は本発明のコンピュータ画像処理により猥褻ヌード画像を弁別する方法の実行手順を示す流れ図であり、図２は画像処理の進行を順次示した画像処理例である。画像処理を行うコンピュータは例えば一般のパーソナルコンピュータであり、このコンピュータをインターネットにアクセスさせて（あるいは予めダウンロード済みの）所定Ｗｅｂページにおけるカラー画像データを取得することから処理が始まる（ステップｓ１００）。例えば、ある企業が自社のホームページにリンクをはった他人のホームページを検索エンジン等により検索し、ヒットしたＷｅｂページを順次辿ってそこに掲示されている画像データが猥褻ヌード画像であるか否かチェックする状況が想定される。この場合、企業としては猥褻ヌード画像を伴うアダルトサイト等に勝手に設定されたリンクにより自社イメージが低落することを憂慮し本発明の画像処理方法の実施によりその企業にとって有害なＷｅｂページを検知するのである。
【００１５】
Ｗｅｂページ上のカラー画像データ（図２（ａ））をビットマップ形式でメモリに確保した上記コンピュータは、前述の前処理フィルタリングにおけるヒストグラム平均分散処理や画素圧縮・量子化（図２（ｂ）および（ｃ））をこのカラー画像データに施すことで階調基準およびドット構成を所定基準に合わせる（ステップｓ１０１、ｓ１０２）。これにより以後の画像処理を円滑たらしめる。次に、画像データに応じて前述のフィルタリング処理における平滑フィルタやラプラシアンフィルタを適用し、図形境界を鮮明化する（図２（ｄ））。当初から画像データがごく単純な色彩や線形のみからなるものであったり、あるいは画像が精細でノイズ等がほとんど含まれていないことが知見されている場合にはこの処理は省略することもあり得る。
【００１６】
カラー画像を構成する各図形の境界が鮮明化したら、前述の色偏差フィルタやＨＳＶ偏差フィルタを適用し、明度や色相が変化している境界を図形輪郭として捕捉する。これにより、ある色で構成された平面塊状領域がその周囲を線画化されて画像全体から切り出される、領域分割処理が実行される（ステップｓ１０３）。領域分割処理に際しては、図形輪郭を前記ＨＳＶ偏差フィルタ等により求めた後、各領域内における高い明度値が外周に向かい低減する明度変化に主に着目して領域の境界や面積算定ならびに影部分の検出を行う、いわゆる水ため法を併用する。なお、“ヌード画像”が画像処理の対象となることからして、この領域分割処理において抽出されるのは例えば肌色領域となる。勿論、その他の色領域を指定して抽出することも目的に応じて随意可能である。この“肌色”について、切り出された各領域の色がそうであるか否かを判定するのが、前記ファジーフィルタである。
【００１７】
輪郭検出により切り出された各領域はそれぞれ色の傾向があり、この色は色相、彩度、明度の組合せで特定される。従って、どういった色合いの肌色（例えば白っぽい、黄色っぽい、黒っぽいなど）まで抽出対象とするかにより、ファジーフィルタにおいて定義するメンバーシップ関数の定数ａ，ｂ，ｃ、ｄも変化させる必要がある。特定の色相範囲、彩度範囲、明度範囲におさまる肌色らしい画素（ドット）数がメンバーシップ関数により算定され、前述した肌色らしさを示す割合ｆｚが明らかとなる。例えば“ｆｚが７０％以上なら肌色領域”といった判断基準を定めておき、分割された各領域が肌色であるかの判定を行うのである。肌色領域として判定された領域２０のみを画像中より抽出した例が図２（ｅ）である。なお、この肌色らしさを領域ごとに判定するため、予め各領域についてＲＧＢまたはＨＳＶにおけるヒストグラムの分布形状を特徴量として分析しておく。
【００１８】
ここでは他に並行して、各肌色領域２０の周長の２乗を当該肌色領域面積で除した引数の大小をもって肌色領域２０の形状を判定することも行う。引数が所定値（例えば４π）より大きければ凹凸が鋭角ないわゆる角張った図形であり、肉体を普通に構成する丸っぽい形とは異なる図形であることが分かるのである。よってここで“丸っぽい”と判定された肌色領域のみが選択抽出される。
【００１９】
このように肌色領域２０が抽出されたら、引き続いて各領域２０の面積と各領域の重心位置Ｇを求める（ステップｓ１０４）。ただし、各領域２０の面積は前記の水ため法を実施した際に既に求まっている。重心位置Ｇについては構造力学等における各種積分式などを適宜用いれば簡便に求まる。そして、１画像データにおける肌色領域２０の合計面積が基準に満たない場合は、その画像を目的外画像と判断して、この画像データを処理対象から外す（ステップｓ１０５）。一般に、画面中に占める肌色の面積が少なすぎる場合は、大抵が着衣を身につけている画像であることが多く、たとえヌード画像だとしてもサイズが小さすぎてヌードとして認識困難である場合であるという視点から、かかる処理はなされる。
【００２０】
一方、画像データから抽出された肌色領域２０の合計面積が基準に達している場合、その画像データについて弁別処理を更に進める。ここでは、１つの画像データから抽出された複数の肌色領域２０の各面積を対照し、面積の大きい順に選んだ複数の肌色領域について、適宜に設定してある面積の組み合わせパターンＰ１、Ｐ２、Ｐ３、・・・（数パターンから十数パターンを用意しておく）のどのパターンに属するのかを決定する（ステップｓ１０６）。この組合せパターンとは、例えば顔、胴体、腕、足といった主要パーツを含む体全体（この場合、大きな肌色領域２０が６つ）が１画面中におさまっている場合の面積組合せパターンから、脚部を開いた状態でのアップ画面（極めて大きな肌色領域である脚部が画面中に２つのみ）における面積組合せパターンに至るまで猥褻ヌード画像に類型的なパターンが含まれている。
【００２１】
図２（ｆ）に示すように、所定の大きさをもった各肌色領域２０はその重心間距離Ｌをもって密集・離散しており、各肌色領域２０の面積と互いの重心間距離Ｌとを特徴量として１画面ごとに分類すれば、この分類をもって例えば人体外観をある側面から切り取った画像の類型を表現することが出来る。したがって、弁別対象の画像データがどの面積組み合わせパターンに分類されるのか上述の如く判定されたら、その画像データから抽出された複数の肌色領域２０の面積および重心位置Ｇの実際値と相互比とを画像データごとに集約し、各肌色領域２０の密集度合い・離散度合いに相関した肌色分布特徴量を求める（ステップｓ１０７、ステップｓ１０８）。
【００２２】
そして、その肌色分布特徴量を各パターンごとに設定されたパターン別基準に照らして、この画像が目的外画像か否かを判断し、目的外画像と判断した画像データは処理対象から外し、そうでない画像データについて弁別処理を進める（ステップｓ１０９、ステップｓ１１０）。前記パターン別基準とは、例えば全身を含んだヌード画像に設定された面積組合せパターンにおいて、一番大きな胴体領域と二番目に大きな脚領域との重心間距離を１００とすれば、前記胴体領域と４番目に大きな頭部領域との重心間距離は約６０であるといった具合に、面積と重心位置とが相互に関連づけられているデータ集合である。図２に示すように水着を着用した画像データである場合には、脚と胴体に関する各肌色領域２０間に肌色が大きく断絶したエリア（つまり水着）が存在し、それらの重心間距離はパターン別基準のそれより大きくなることとなり、また、胸部の水着に関しても同様にその存在が窺えれば猥褻ヌード画像ではなく、単なる水着画像であると判断される。
【００２３】
肌色分布特徴量とパターン別基準とに基づく判断プロセスで除外されなかった画像データの肌色分布特徴量については、顔画像特徴量テーブルに照らし、目的外画像であるか否かを判断する（ステップｓ１１１）。１画像中で肌色領域の占める割合がヌード画像であると判断されるほど充分大きいが、各肌色領域の分布がヌード画像における類型的なパターンと一致しない場合、体部位の肌色が集まっているのではなく顔面のアップである可能性も考慮にいれるべきであろう。顔面の画像は、データとして色にのみ着目して単純に扱えば、アンダーヘヤーと取りうる頭髪やひげ、まゆげ等を備える場合が多く、もちろん肌色領域も大きいためである。
【００２４】
この顔画像と他の体部位画像とを選別する基準として前記の顔画像特徴量テーブルが存在する。これには大量の顔画像データを、性別、人種、表情、髪型、撮像角度といった様々な観点からパターン分類して、各分類ごとにそれら顔画像データから抽出した肌色分布特徴量を記録してある。処理対象の画像データの肌色分布特徴量がこの顔画像特徴量テーブルの記録値との近似度が基準以上である場合、その画像を目的外画像である顔画像であると判断し（ステップｓ１１２）、そうでない画像を猥褻ヌード画像である可能性が大きいと最終的に判断を下し出力する（ステップｓ１１３）。この判断にはいわゆるＣＢＲ（ｃａｓｅｂａｓｅｒｅａｓｏｎｉｎｇ）法と呼ばれる判断手法を用いることが出来る。
【００２５】
なお、本実施例において採用した一般的な画像処理技術は、処理対象となる画像データや処理装置となるコンピュータの能力等に応じて適宜選択適用されるものであり、実施例中の手法に限定されるものではない。
【００２６】
【発明の効果】
以上詳細に説明したように、本発明のコンピュータ画像処理により猥褻ヌード画像を弁別する方法によれば、大量のＷｅｂページ画像の中から猥褻ヌード画像を摘出するという限定された目的にかない、汎用的なパソコンやサーバー機を使った安価なコンピュータによっても高速処理が可能な画像処理方法を提供可能となる。
【図面の簡単な説明】
【図１】本発明のコンピュータ画像処理により猥褻ヌード画像を弁別する方法の実行手順を示す流れ図である。
【図２】画像処理の進行を順次示した画像処理例である。
【符号の説明】
Ｇ重心位置
２０肌色領域

Claims

つぎの事項（１）〜（１０）により特定される発明。
（１）コンピュータ画像処理により猥褻ヌード画像を弁別する方法である。
（２）処理対象となるカラー画像データをビットマップ形式でメモリに用意する。
（３）メモリ上の処理対象画像データに前処理を施して階調特性を基準に合わせるとともにドット構成を基準に合わせる。
（４）前処理された画像データに領域分割処理を施して少なくとも肌色領域を抽出する。
（５）画像データから抽出された複数の肌色領域について、各領域の面積と各領域の重心位置を求める。
（６）画像データから抽出された肌色領域の合計面積が基準に満たない場合は、その画像を目的外画像と判断して、この画像データを処理対象から外す。
（７）画像データから抽出された肌色領域の合計面積が基準に達している場合、その画像データについて弁別処理を進める。
（８）１つの画像データから抽出された複数の肌色領域の各面積を対照し、面積の大きい順に選んだ複数の肌色領域について、適宜に設定してある面積の組み合わせパターンＰ１、Ｐ２、Ｐ３、・・・（数パターンから十数パターンを用意しておく）のどのパターンに属するのかを決定する。
（９）面積の組み合わせパターンＰｉ（ｉ＝１、２、３、・・・）に分類された画像データについて、その画像データから抽出された複数の肌色領域の面積と重心位置とに基づいて、各肌色領域の密集度合い・離散度合いに相関した肌色分布特徴量を求め、その肌色分布特徴量を各パターンＰｉごとに設定されたパターン別基準に照らして、この画像が目的外画像か否かを判断し、目的外画像と判断した画像データは処理対象から外し、そうでない画像データについて弁別処理を進める。
（１０）前記肌色分布特徴量と前記パターン別基準とに基づく判断プロセスで除外されなかった画像データの前記肌色分布特徴量について、顔画像特徴量テーブルに照らし、目的外画像であるか否かを判断する。顔画像特徴量テーブルには、大量の顔画像データをいくつかのパターンに分類して、各分類ごとにそれら顔画像データから抽出した肌色分布特徴量を記録してある。処理対象の画像データの肌色分布特徴量が前記顔画像特徴量テーブルの記録値との近似度が基準以上である場合、その画像を目的外画像と判断し、そうでない画像を猥褻ヌード画像である可能性が大きいと判断して、その判断結果を出力する。