JP3436473B2 - 画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理を行うコ
ンピュータ、ワープロ、携帯型情報ツール、コピー機、
スキャナ装置、ＦＡＸ等の情報処理装置に利用される画
像処理装置に関するものであり、特に利用者がマウスや
ペン、タブレットなどの座標入力装置を用いて当該画像
上の任意の座標を指定できるもの、あるいは、あらかじ
め紙などに印刷された画像に異なるインクなどを用いて
座標指定があるものを光電変換し、当該画像と指定され
た座標を入力する事のでできる画像処理装置において、
画像中の物体を任意の大きさや位置で切り取りすること
が可能な画像処理装置に関するものである。

【０００２】

【従来の技術】従来、目的とする物体や顔を含む画像を
切り出す場合、写真ならばハサミやカッターなどで目的
の大きさに切り取ったり、またＣＣＤカメラやスキャナ
装置で電子的に変換された画像の場合は、画像処理を行
うためのソフトウェアでマウスなどの座標入力装置を用
いて２つの座標を指定し、その２点を対角線とした矩形
を領域として指定している（例えば、Adobe社の画像処
理ソフトウェアPhotoShopなど）［請求項１、１０］。

【０００３】また、従来は目的とする物体を含む画像を
特定サイズの画像として出力するために、目的とする物
体がバランスよく配置されているように画像を切り取っ
た後、必要なサイズに拡大／縮小しており、写真の場
合、それはコピー機等を用いて行っている。電子的な画
像の場合、目的のサイズに大きさを変えることは容易で
あるが、まず物体がバランスよく配置された画像を切り
取るという作業をおこなっている［請求項２］。

【０００４】また、従来は顔肌（ここでは、顔の頭髪を
除いた部分を指す。以下同様）を表す領域を画像から抽
出するために、作業者の目視により人間が顔肌であると
判断した領域を塗り潰すというようなことが行われてい
る。また電子的な画像の場合、マウスなどの座標入力装
置で指定したピクセルの色と似た色を併合して一つの領
域とするような領域の指定方法（上記、Adobe社の画像
処理ソフトウェアPhotoShopなど）を行っている。ま
た、あらかじめ人間の顔肌の色分布を解析して確率密度
関数を設定しておき、入力画素のＲＧＢ値やＨＳＶ値な
どを引数としてその確率密度を求め、一定の確率以上を
もつ画素を顔肌領域とする手法もある（船山，横矢，岩
佐，竹村，“複数の動的な網のモデルの協調とその顔部
品抽出への応用”，電子情報通信学会技術報告， PRU95
-179, pp.15-22, 1995.）［請求項３］。

【０００５】また、従来は画像中の顔肌を表す領域を含
む矩形を求めるに、作業者の目視による方法が一般的で
あった［請求項４］。

【０００６】また、従来は顔の中心軸を検出する方法
は、作業者の目視による方法が一般的であり、代表的な
手法は、顔の肌色部分を領域として抽出し、その領域を
投影してヒストグラムを得、そこから顔の左右の端点を
決め、その中央が顔の中心軸であるとする方法がある
（特開平７−１８１０１２号公報）［請求項５］。

【０００７】また、従来は顔の鼻の垂直位置、目の垂直
位置、口の垂直位置を検出する方法は、作業者の目視に
よる方法が一般的であり、代表的な手法は、鼻の画像テ
ンプレートを入力画像とマッチングさせる手法がある
（R. Brunelli and T. Poggio,*Face Recognition: Fea
tures versus Templates*, IEEE Transactions on Pa
ttern Analysis and Machine Intelligence, Vol.15, N
o.10, pp.1042-1052, 1993.）。また、濃淡画像やエッ
ジ画像を投影してヒストグラムの山や谷を調べることに
より検出する手法も提案されている（上記R. Brunelli
and T. Poggio, *Face Recognition: Features versus
Templates*, IEEE Transactions on Pattern Analysi
s and Machine Intelligence, Vol.15, No.10, pp.1042
-1052, 1993.）［請求項６〜８］。

【０００８】また、従来は顔の幅を検出する方法は、作
業者の目視による方法が一般的であり、代表的な手法
は、顔の肌色部分を領域として抽出し、その領域を投影
してヒストグラムを得、そこから顔の左右の端点を決
め、その両端点の距離が顔の幅であるとする方法がある
（特開平７−１８１０１２号公報）［請求項９］。

【０００９】また、従来は目的とする顔を含む画像を特
定サイズの画像として出力するために、上述のように目
的とする顔がバランスよく配置されているように画像を
切り取った後、コピー機等を用いて必要なサイズに拡大
／縮小している。また電子的な画像の場合、目的のサイ
ズに大きさを変えることは容易であるが、まず顔がバラ
ンスよく配置された画像を切り取るという作業が必要で
ある。またユーザーの調整により画像中の顔サイズがあ
らかじめ適当なサイズになるようにしておき、ユーザー
の目視により顔が中央に含まれるように画面上の枠を移
動させて、その枠内にある画像を出力するものとして特
開昭６４−８２８５４号公報が提案されている［請求項
１１］。

【００１０】また、従来は写真や画像中にある人物顔の
視認性を高めるためには、写真の場合、プリント時に焼
き付けのための露光量を調整を行っており、画像が電子
的なものである場合、コントラストや色調、明るさの調
整やエッジ強調、ぼかし処理などを行うことのできるソ
フトウェアがある（上記、Adobe社の画像処理ソフトウ
ェアPhotoShopなど）［請求項１２］。

【００１１】

【発明が解決しようとする課題】しかしながら、従来の
ように物体や顔を含む画像を切り出す場合、写真ならば
ハサミやカッターなどで目的の大きささに切り取ること
になるため、実際にハサミやカッターなどを用いて作業
を行うことは非常に手間であり、目的の物体や顔をバラ
ンスよく配置された画像に切りとるには熟練を要し、Ｃ
ＣＤカメラによって取得されたものやスキャナ装置を用
いて電子的に変換された画像の画像処理を行うためのソ
フトウェアは、通常はマウスなどの座標入力装置を用
い、２つの座標を指定することでその２点を対角線とし
た矩形を領域として指定することになり（例えば、Adob
e社の画像処理ソフトウェアPhotoShopなど）、目的の物
体や顔をバランスよく配置された画像に切りとるには熟
練を要するし、また目的の物体や顔が画面の端に存在す
る場合、その物体や顔をバランスよく中央に配置した画
像を切り取る場合、切り取った後でさらにその物体が中
央にくるように位置を変えるような操作が要求されてい
た［請求項１、１０］。

【００１２】また、従来のようには目的とする物体を含
む画像を特定サイズの画像として出力するために、上述
のように目的とする物体がバランスよく配置されている
ように画像を切り取った後、必要なサイズに拡大／縮小
するものは、それはコピー機等を用いて行うことになる
が、切り取られた画像のサイズは場合により異なってお
り、目的のサイズの画像を得るためには、拡大／縮小の
率を計算するなどしなければならず、面倒であり、また
電子的な画像の場合、目的のサイズに大きさを変えるこ
とは容易であるが、上記で述べたように、まず物体がバ
ランスよく配置された画像を切り取るという作業が必要
となり、作業は１度では済まない［請求項２］。

【００１３】また、従来のように顔肌を表す領域を画像
から抽出するために、作業者の目視により人間が顔肌で
あると判断した領域を塗り潰すというような作業は、画
像が写真であれ電子的なものであれ、非常に面倒なもの
であるし、顔肌領域とその他部分の境界線を正しく塗り
分けるのは細かい注意が必要な作業であり、また電子的
な画像の場合、マウスなどの座標入力装置で指定したピ
クセルの色と似た色を併合して一つの領域とするような
領域の指定方法（上記、Adobe社の画像処理ソフトウェ
アPhotoShopなど）では、顔の肌の色と唇、目の色は異
なるため、顔肌全体を抽出するためには何回かの作業を
統合する必要があるし、陰影の影響などで同じ顔肌であ
っても場所によって色が大きく異なっているものもある
ため、同様に複数の作業を統合する必要がある。また、
あらかじめ人間の顔肌の色分布を解析して確率密度関数
を設定しておき、入力画素のＲＧＢ値やＨＳＶ値などを
引数としてその確率密度を求め、一定の確率以上をもつ
画素を顔肌領域とする手法（船山，横矢，岩佐，竹村，
“複数の動的な網のモデルの協調とその顔部品抽出への
応用”，電子情報通信学会技術報告， PRU95-179, pp.1
5-22, 1995.）は、撮影条件の違いにより極端に明るさ
が異なる画像や異なる民族で肌の色が異なっている場合
にうまく抽出できない可能性がある［請求項３］。

【００１４】また、従来の用に画像中の顔肌を表す領域
を含む矩形を求めるには、作業者の目視による方法が一
般的であった。画像が写真であれ電子的なものであれ、
それは面倒な作業である［請求項４］。

【００１５】また、従来のように顔の中心軸を検出する
のに作業者の目視による方法は、顔の肌色部分を領域と
して抽出し、その領域を投影してヒストグラムを得、そ
こから顔の左右の端点を決め、その中央が顔の中心軸で
あるとする方法（特開平７−１８１０１２号公報）は、
完全に顔が正面を向いている場合は問題ないが、多少な
りとも横を向いている場合、ここで得られる中心軸は、
正しい顔の中心軸ではないことになる［請求項５］。

【００１６】また、従来のように鼻の画像テンプレート
を入力画像とマッチングさせる手法（R. Brunelli and
T. Poggio, *Face Recognition: Features versus Temp
lates*, IEEE Transactions on Pattern Analysis an
d Machine Intelligence, Vol.15, No.10, pp.1042-105
2, 1993.）は、抽出しようとしている鼻のサイズが既知
であることが望ましく、また既知でない場合は、様々な
サイズのテンプレートを入力画像に対してマッチングし
なければならないため、多大な計算時間を要し、濃淡画
像やエッジ画像を投影してヒストグラムの山や谷を調べ
ることにより検出する手法（同R. Brunelli and T. Pog
gio, *Face Recognition: Features versus Templates
*, IEEE Transactions on Pattern Analysis and Mac
hine Intelligence, Vol.15, No.10, pp.1042-1052, 19
93.）も、顔肌領域が既知であるか、背景が既知である
かなどの前提条件がない場合には誤抽出の原因となる
［請求項６〜８］。

【００１７】また、従来のように顔の肌色部分を領域と
して抽出し、その領域を投影してヒストグラムを得、そ
こから顔の左右の端点を決め、その両端点の距離が顔の
幅であるとする方法（特開平７−１８１０１２号公報）
は、まず色情報をもとに正しく顔領域が抽出されている
必要があり、背景領域に顔肌と同様の色がある場合に本
来顔肌領域でない部分まで顔肌であると判断されたり、
逆に顔肌領域の影になっている部分など本来顔肌である
部分がそうでないと判断される危険がある。また、耳が
画像中に写っている場合とそうでない場合とで検出され
る顔幅が違ってくる可能性があるし、また、傾いた顔で
は本来より大きめに幅がでてしまうことが考えられる
［請求項９］。

【００１８】また、従来のように目的とする顔がバラン
スよく配置されているように画像を切り取った後、必要
なサイズに拡大／縮小するものは、それはコピー機等を
用いて行うことになるが、切り取られた画像のサイズは
場合により異なっており、目的のサイズの画像を得るた
めには、拡大／縮小の率を計算するなどしなければなら
ず、面倒である。電子的な画像の場合、目的のサイズに
大きさを変えることは容易であるが、上記で述べたよう
に、まず顔がバランスよく配置された画像を切り取ると
いう作業が必要となり、作業は１度では済まず、また、
ある程度自動化する方法（特開昭６４−８２８５４号公
報）は、ユーザーの調整により画像中の顔サイズがあら
かじめ適当なサイズになるようにしておき、ユーザーの
目視により顔が中央に含まれるように画面上の枠を移動
させて、その枠内にある画像を出力するといったもの
や、同様に画像中の顔サイズがあらかじめ適当なサイズ
になるようにしておき、画面上にあらわれるＴマークの
水平線の端点が両目と重なるようにユーザーが目視で移
動させ、そのＴマークから適当なマージンを与えた矩形
中の画像を出力するといったものである［請求項１
１］。

【００１９】また、従来のように写真や画像中にある人
物顔の視認性を高めるために、写真の場合、プリント時
に焼き付けのための露光量を調整するものは、非常に熟
練を要求される作業である。画像が電子的なものである
場合、コントラストや色調、明るさの調整やエッジ強
調、ぼかし処理などを行うことのできるソフトウェアは
（上記、Adobe社の画像処理ソフトウェアPhotoShopな
ど）、この調整に関しても熟練を要するものであり、目
的の画像が得られるまで、通常は試行錯誤的に様々な操
作を行わなければならない［請求項１２］。

【００２０】

【課題を解決するための手段】本発明は上記課題の解決
を目的としてなされたものであり、請求項１に記載の発
明は、画像中の任意の領域または任意の位置を指定する
指定手段と、指定された任意の領域または任意の位置、
乃至その周辺の色分布を解析する解析手段と、該解析手
段の解析結果にもとづいて、画像中に存在する画像を特
定するための条件を調整する条件調節手段と、調整され
た条件にもとづいて、指定された任意の領域または任意
の位置、乃至その周辺に存在する物体の画像領域を特定
する特定手段と、特定された物体の画像領域から、切り
取りすべき画像領域を決定する切取領域決定手段と、決
定された画像領域を切り取る画像切取手段とを備えるこ
とを特徴とする画像処理装置である。

【００２１】また、請求項２に記載の発明は、前記切取
領域決定手段は、切り取りすべき画像領域の大きさを、
予め定められた大きさに調整する手段を備えることを特
徴とする請求項１に記載の画像処理装置である。

【００２２】また、請求項３に記載の発明は、画像中の
任意の領域または任意の位置を指定する指定手段と、指
定された任意の領域または任意の位置、乃至その周辺の
色分布を解析する解析手段と、解析結果にもとづいて、
画像中に存在する顔画像を特定するための条件を調整す
る条件調節手段と、調整された条件にもとづいて、指定
された任意の領域または任意の位置、乃至その周辺に存
在する顔画像領域を特定する顔画像特定手段と、特定さ
れた顔画像領域から、切り取りすべき画像領域を決定す
る切取領域決定手段と、決定された画像領域を切り取る
画像切取手段とを備えることを特徴とする画像処理装置
である。

【００２３】また、請求項４に記載の発明は、前記切取
領域決定手段は、切り取りすべき画像領域の大きさを、
前記指定手段により指定された任意の領域または任意の
位置を基準として調整する手段を備えることを特徴とす
る請求項３に記載の画像処理装置である。

【００２４】また、請求項５に記載の発明は、前記顔画
像特定手段は、特定した顔画像領域にノイズ除去、ラベ
リングなどの処理を加えて顔マスクを作成する手段と、
作成された顔マスク内の垂直方向を探索し、当該顔マス
クに対応する原画像画素の輝度の垂直方向の微分値の総
和を求めてヒストグラムを生成する手段と、生成された
ヒストグラムの形状から、顔の中心軸を検出する手段と
を備えることを特徴とする請求項３または請求項４に記
載の画像処理装置である。

【００２５】また、請求項６に記載の発明は、前記顔画
像特定手段は、特定した顔画像領域にノイズ除去、ラベ
リングなどの処理を加えて顔マスクを作成する手段と、
作成された顔マスク内の水平方向を探索し、当該顔マス
クに対応する原画像画素の輝度の平均値を求めてヒスト
グラムを生成する手段と、生成されたヒストグラムの形
状から、鼻の垂直位置を検出する手段とを備えることを
特徴とする請求項３または請求項４に記載の画像処理装
置である。

【００２６】また、請求項７に記載の発明は、前記顔画
像特定手段は、特定した顔画像領域にノイズ除去、ラベ
リングなどの処理を加えて顔マスクを作成する手段と、
作成された顔マスク内の水平方向を探索し、当該顔マス
クに対応する原画像画素の輝度の平均値を求めてヒスト
グラムを生成する手段と、生成されたヒストグラムの形
状から、目の垂直位置を検出する手段とを備えることを
特徴とする請求項３または請求項４に記載の画像処理装
置である。

【００２７】また、請求項８に記載の発明は、前記顔画
像特定手段は、特定した顔画像領域にノイズ除去、ラベ
リングなどの処理を加えて顔マスクを作成する手段と、
作成された顔マスク内の水平方向を探索し、当該顔マス
クに対応する原画像画素の輝度の平均値を求めてヒスト
グラムを生成する手段と、生成されたヒストグラムの形
状から、口の垂直位置を検出する手段とを備えることを
特徴とする請求項３または請求項４に記載の画像処理装
置である。

【００２８】また、請求項９に記載の発明は、前記顔画
像特定手段は、特定した顔画像領域にノイズ除去、ラベ
リングなどの処理を加えて顔マスクを作成する手段と、
作成された顔マスク内の水平方向を探索し、当該顔マス
クに対応する原画像画素の輝度の平均値を求めてヒスト
グラムを生成する手段と、生成されたヒストグラムの形
状から、目の垂直位置を検出する手段と、生成されたヒ
ストグラムの形状から、口の垂直位置を検出する手段
と、前記ヒストグラムの形状から検出された目の垂直位
置と口の垂直位置の間の中央位置を求め、当該中央位置
で前記顔マスクの幅を検出する手段とを備えることを特
徴とする請求項３または４に記載の画像処理装置であ
る。

【００２９】また、請求項１０に記載の発明は、前記ヒ
ストグラムの形状から、顔の中心軸を検出する手段がさ
らに設けられており、前記切取領域決定手段は、切り取
りすべき画像領域の位置を、前記顔画像領域と、前記顔
の中心軸と、前記鼻の垂直位置と、前記目の垂直位置
と、前記口の垂直位置と、前記顔マスクの幅とにもとづ
いて調整する手段を備えることを特徴とする請求項９に
記載の画像処理装置である。

【００３０】また、請求項１１に記載の発明は、前記ヒ
ストグラムの形状から、顔の中心軸を検出する手段がさ
らに設けられており、前記切取領域決定手段は、切り取
りすべき画像領域の大きさを、前記顔画像領域と、前記
顔の中心軸と、前記鼻の垂直位置と、前記目の垂直位置
と、前記口の垂直位置と、前記顔マスクの幅とにもとづ
いて調整する手段を備えることを特徴とする請求項９に
記載の画像処理装置である。

【００３１】また、請求項１２に記載の発明は、前記切
取領域決定手段は、決定された画像領域全体、または決
定された画像領域の一部の画像領域の画像の補正を行う
画像補正手段を備えることを特徴とする請求項１〜１１
のいずれかに記載の画像処理装置である。

【００３２】

【発明の実施の形態】図１に本発明による画像処理装置
のブロック図を示す。処理の対象となる画像と、処理に
必要な座標は、画像および座標入力装置１−１により入
力される。ここで取得された画像がデジタル信号の場合
はそのまま、アナログ信号の場合はデジタル化されて記
憶装置１−２の中の、入力画像格納部１−２−１に格納
される。入力された座標は入力座標格納部１−２−２に
格納される。これらの２つを入力情報とし、画像処理装
置１−３により、しかるべき画像処理が行われ、結果と
して得られる画像あるいは座標はそれぞれ、記憶装置１
−２中の出力画像格納部１−２−３および出力座標格納
部１−２−４に格納される。

【００３３】図２および図３は、図１における画像およ
び座標入力装置１−１の詳細を示したものである。

【００３４】図２において、画像入力装置と座標入力装
置はそれぞれ別々のシステムからなり、画像入力装置２
−１から入力された画像は、記憶装置１−２中の入力画
像格納部１−２−１に格納され、座標入力装置２−２か
ら入力された座標は、記憶装置１−２中の入力座標格納
部１−２−２に格納される。画像入力装置２−１として
は、固体撮像素子（ＣＣＤ）を用いてデジタル化された
画像を直接入力できるカメラや、スキャナ装置などを用
いて銀鉛写真や印刷物をデジタル化できるもの、あるい
はインターネットなどのネットワークに接続された機器
や磁気記憶装置などデジタル化された画像を保持してい
る装置などが考えられる。座標入力装置は、ディスプレ
イ上にポインタを表示させて座標を入力することのでき
るマウスや、トラックボール、ペン型の装置や、タブレ
ットを用いたペン型、あるいは指による座標入力装置な
どが考えられる。

【００３５】図３の画像および座標入力装置では、画像
読み取り装置２−３と画像および座標の分離装置２−４
の２つからなる。処理の対象となる物体を含む画像およ
び入力される座標の両方が、ひとつの画像上に存在する
場合はこちらを使う。例えば、写真の上に特定の色で座
標を表す線や点が描かれている場合、その色成分のみを
取り出して別画像として分離し、その画像における点や
線の位置を解析して座標を取り出すことになる。

【００３６】図４に、ユーザーによる画像中の物体の領
域の指定例を示す。まず、先に示した画像および座標入
力装置１−１には、図４で示す画像と、その上に示され
た実線もしくは点で示すようなパターンが入力される。
４−１のような矩形パターンが入力された場合、その左
上の座標と右下の２つの座標をもって入力領域を表す座
標とする。入力パターンが、４−４、４−１０、４−１
１、４−１２、４−１３のような場合、入力座標はそれ
らのパターンの外接矩形（各画像上の点線で示されてい
る）の左上の座標と右下の座標となる。その他、他のパ
ターンが入力された場合でも、そのパターンの外接矩形
を表す２つの座標をもって、ユーザー入力領域とみなす
ことができる。しかし、入力パターンが、４−２、４−
３、４−５、４−６のように、直線などで外接矩形を得
ることができなかったり、外接矩形が得られても縦横の
アスペクト比が極端に大きい場合は、対象物体の平均的
な縦横のアスペクト比にあわせて適当な矩形領域を設定
する（対象物体が未知の場合、正方形とする）。例えば
４−２のように、対象物体が人間の顔で、入力パターン
の外接矩形が縦に極端に細い（あるいは、垂直な直線で
外接矩形が得られない）場合、縦方向の高さに対して一
定の比率を掛けて得られる長さを横方向の幅として矩形
を設定（図中の点線）し、その左上座標と右下座標をも
って入力座標とすることができる。４−７、４−８、４
−９のように、入力パターンの外接矩形に縦横特定の比
率を乗じて拡大された矩形の２つの座標をもって入力座
標とすることも考えられる。

【００３７】ユーザーによる物体の指定が、領域ではな
く位置の場合の指定例を図５に示す。５−１に示されて
いるようにユーザー指定が１点の場合は、その点の座標
をもって入力座標とすることができる。５−２のよう
に、ユーザー指定が１点ではなく、何らかのパターンの
場合その外接矩形の中心を入力座標とすることができ
る。

【００３８】〔実施の形態１〕本発明による画像処理装
置のフローチャートを図７に示す。まず、図４で示され
ているように、ユーザーが物体の領域を大まかに指定す
る。もしくは、図５で示されているように、物体の位置
を大まかに指定する。図６にはユーザー指定から領域の
抽出までを図示している。ユーザーによって指定された
ものが領域（６−１−１）の場合（Ｓ１−１）、その領
域を示すパターンの外接矩形を適当な比率で小さくした
もの（６−１−２）を、設定領域として記憶する（Ｓ１
−７）。ユーザーによって指定されたものが位置（６−
２−１）の場合（Ｓ１−２）、その位置を示す点を中心
として適当な矩形（６−２−２）を設定（Ｓ１−３）
し、設定領域として記憶する（Ｓ１−７）。

【００３９】その設定領域内に含まれる画素の色を記憶
し（Ｓ１−４）その設定領域を物体領域の初期領域とし
て設定する（Ｓ１−５）。

【００４０】図８は物体領域の画素を表す図で、その物
体領域（８−１）に隣接する画素（８−２）を見つけだ
し、その画素の色が以下のいずれかの条件を満たす場合
（Ｓ１−６）、その画素を物体領域に含める（Ｓ１−
９）。

【００４１】１．当該画素の色と、その画素に隣接する
物体領域内のある画素の色とが特定の色差以内にある場
合 ２．当該画素の色と、Ｓ１−４で記憶された画素の色と
が特定の色差以内にある場合 全ての物体領域の隣接画素についてこれを調べ、物体領
域に含めることのできる画素が存在しなくなるまでこれ
をくり返す。そして、最終的に物体領域を得る（Ｓ１−
８）（６−３−１）。なお、色差として様々な指標が提
案されているが、例えば「I.H.Godlove, "Improved Col
or-Difference Formula with Applications to the Per
ceptibility and Acceptability of Fadings" J.Opt.So
c.Am., 41, 11, pp.760-772, 1951.」に示されているよ
うなGodloveの色差式などが利用できる。

【００４２】以上のようにして得られた物体領域（６−
４−１）の面積を領域内に含まれる画素数として表し、
その物体面積があらかじめ設定した特定の比率（例え
ば、３０％など）になるように、その物体領域の重心
（６−４−２）を中心とした矩形（６−４−３）を求め
る。矩形は、正方形の場合も考えられるし、テレビ画面
のアスペクト比にあわせるのなら４：３、ハイビジョン
のアスペクト比なら１６：９など、アプリケーションに
よって適当な値を設定する。物体領域の重心を中心とし
ているが、これについてもアプリケーション次第で上下
左右の適当な位置にずらすべきである。なお、重心の求
め方は「谷内田，“ロボットビジョン”，昭晃堂， ISB
N4-7856-3074-4 C3355, 1990.」などに記されている。
その矩形の座標をもとに原画像から画像の一部を切り取
ることができる。

【００４３】〔実施の形態２〕上記実施の形態１に記載
の装置を用いて切り取られた画像を適当なサイズに拡大
あるいは縮小し、記憶装置に記憶する。その記憶された
画像を適当なアプリケーションで利用することができ
る。例えば図１０は、画像の一部を文書等に張り込んだ
例を表す図であり、デジタルカメラなどで自動車の画像
（１０−１）を取得し、その画像のうち自動車だけを含
んだ部分画像を、特定のフォーマットをもち、特定の画
像サイズの枠が提供されているような報告書に張り込む
（１０−２）ような場合、本装置が利用できる。

【００４４】〔実施の形態３〕本装置を構成するため
に、あらかじめ以下の手順で人間の顔の肌の色分布を解
析しておく。

【００４５】１．人間が手作業により、人物顔が写って
いる画像より顔の肌部分のみを抽出した画像を作成する
（図１２） ２．同様の画像を別の人物分についても複数人分作成す
る ３．それら肌部分画像において、画素の色分布を、色相
（１１−１）、彩度（１１−２）、明度（１１−３）そ
れぞれについて、出現頻度のヒストグラムをプロットす
る（図１１）。

【００４６】４．各ヒストグラムにて、分布の平均と分
散を求め、分布に最もよくフィットするような正規確率
密度関数を求める（１１−１−２、１１−２−２、１１
−３−２） かくして、顔の肌の色分布は、色相、彩度、明度それぞ
れについて、その平均値と分散（それぞれ、μhue、σh
ue２、μsat，σsat２、μval、σval２）の２つの引数
で表される正規確率密度関数（Ｐhue(hue)、Ｐsat(sa
t)、Ｐval(val)）で表すことができる。この関数を、肌
領域確率密度関数と呼ぶ。各関数は以下のように表され
る。

【００４７】 Ｐhue(hue) 〜 Ｎ（μhue，σhue２） ．．． 式１ Ｐsat(sat) 〜 Ｎ（μsat，σsat２） ．．． 式２ Ｐval(val) 〜 Ｎ（μval，σval２） ．．． 式３ なお、平均と分散を求めて正規分布にあてはめる際、平
均から大きくずれるような値（例えば、１１−１の色相
の分布ヒストグラムにおいて、２０位を中心に±３０程
度にほとんどの画素の色相が分布するような場合に、１
００や−１５０といった値）は、例え数が少なくとも、
分散を大きく見積もってしまうことになるため、それら
の色相値を持つ画素は異常値として除去したのち、平均
と分散を計算したほうが、より正しい分布にあてはめら
れる正規分布曲線（確率密度関数）を得ることができ
る。

【００４８】さて、装置の処理の流れを図３２に示す。
まず、Ｓ１−０のステップでユーザー入力に基づき最初
の処理領域を設定する。図９において、９−１のように
ユーザーによって領域を示すパターンが入力された場合
は、これまでに説明したようなルールに従って、処理領
域は９−２のように、また、９−４のように位置のみが
入力された場合は、処理領域は９−５のように設定され
る。設定領域内にて、前節で求めた色相、彩度、明度を
それぞれ引数とする３つの正規確率密度関数に、各画素
の色相値、彩度値、明度値を代入して確率を求め、各確
率が特定の比率以上になるような画素を最初の顔肌候補
画素とする（Ｓ２−１）。この時、設定する確率は、例
えば５％のように、なるべく広い範囲をとるように小さ
めに設定すべきである。このようにして、ユーザー指定
によって設定された領域のなかで、多少なりとも肌であ
る可能性のある画素を最初の肌候補画素とする。そし
て、その画素の色相、彩度、明度の平均と分散を求める
（Ｓ２−２）。ここで、肌候補画素の選択を、確率を基
準にして行うことを述べたが、撮像系の特性などによ
り、適宜、この確率での画素値（色相、彩度、明度）に
近い値で適当にしきい値を調整することも有効である。

【００４９】新しく計算された色相、彩度、明度の平
均、分散をそれぞれ、μhue'、σhue'２、μsat'、σsa
t'２、μval'、σval'２とすると、色相、彩度、明度を
引数とした新しい確率密度関数、Ｐhue'(hue)、Ｐsat'
(sat)、Ｐval'(val)はそれぞれ、以下のように表され
る。 Ｐhue'(hue) 〜 Ｎ（μhue'，σhue'２） ．．． 式４ Ｐsat'(sat) 〜 Ｎ（μsat'，σsat'２） ．．． 式５ Ｐval'(val) 〜 Ｎ（μval'，σval'２） ．．． 式６ この関数を用いて顔肌を構成する画素を選択する。

【００５０】１．まず、画像に含まれるすべての画素を
初期値とし、そのなかで、色相値を引数として得られた
顔肌確率（Ｐhue'(hue)）が一定値以下の画素を除去す
る（Ｓ２−３）。 ２．次に、彩度値を引数として得られた顔肌確率（Ｐhu
e'(sat)）が一定値以下の画素を除去する（Ｓ２−
４）。 ３．最後に、明度値を引数として得られた顔肌確率（Ｐ
hue'(val)）が一定値以下の画素を除去する（Ｓ２−
５）。

【００５１】ここで、しきい値として設定される確率の
下限は、最初の顔肌候補画素を求めた時より高く設定す
る。例えば、前者が５％なら、後者は３０％というふう
にする。これにより、最初の顔肌候補画素を求めた時に
ノイズとして誤抽出されていたような画素も、後段で行
われた手法では誤抽出されない、といった特徴があるこ
とになる。

【００５２】ここで、顔肌画素の選択を、確率を基準に
して行うことを述べたが、撮像系の特性などにより、適
宜、この確率での画素値（色相、彩度、明度）に近い値
で適当にしきい値を調整することも有効である。例え
ば、図１４は明度と頻度の関係を表す図で、明度に関し
て言及すると、顔肌と髪の毛では明らかに明度が異な
り、ヒストグラムをとると明度値の小さいほうに髪の毛
を洗わす山（１４−２）および、明度の比較的高いほう
に顔肌領域を表す山（１４−３）が現れることになる
（図１４）。１４−１で示した画像に対して、単純に確
率をしきい値として画素を選択してしまうと、１４−２
のような位置にしきい値が設定されてしまい、髪の毛の
一部も顔肌画素として抽出されてしまう可能性がある。
そこで、このような場合には、適当な明度値以下で大津
の判別分析のようなアルゴリズム（谷内田，“ロボット
ビジョン”， 昭晃堂， ISBN4-7856-3074-4 C3355, 19
90.に紹介）を適用し、明度のしきい値を１４−５のよ
うに、より適当な値に設定することが可能となる。

【００５３】以上のような方法で、適応的に顔肌関数を
更新することにより、１２−３のような顔肌領域画像を
得ることができる。これは、従来のような固定関数で抽
出する手法で得られる顔肌領域画像（１２−２）に比
べ、ノイズによる誤抽出が少なくなるという利点があ
る。

【００５４】〔実施の形態４〕まず、上記実施の形態３
に記載の装置によって、顔肌領域画像を得る。図１６の
ように、ユーザーの指定が位置（１６−１−０）だけの
場合、その指定された座標を中心に、設定上の最小矩形
を考え（１６−１−１）、それより少しだけ大きい矩形
（１６−１−２）との間の領域（１６−１−３）を窓領
域の初期値とする。その窓領域を、１６−２、１６−３
に示すように少しずつ大きくしていき、外側の矩形の４
辺のうち１辺が画像の端に到達するまで、窓領域を徐々
に大きくしていく。そして、入力画像に対応する顔肌領
域画像において、窓領域内の画素の分散を求める。１６
−４に示すように、窓領域部分に顔肌と、顔肌以外の輪
郭部分が存在する時、分散が最も大きくなる。したがっ
て、窓領域を少しずつ大きくしていき、分散が最大とな
る時点での外側矩形を、顔肌を表す領域を含む矩形とす
る。

【００５５】ユーザーによる指定が、位置ではなく図１
５に示すような領域を表すパターン（１５−１）の場
合、窓領域を表現するための外側矩形が、ユーザー指定
により得られる矩形（１５−２）より小さくなるように
適当な比率を掛けて初期値に設定（１５−３）する。窓
領域を徐々に大きくしていき、内側矩形が、ユーザー指
定により得られる矩形（１５−２）から適当な比率を掛
けて大きくした矩形（１５−４）なるまで繰り返す。前
節と同様に窓領域部分の分散を求め、分散が最大となる
時点での外側矩形を、顔肌を表す領域を含む矩形とす
る。なお、ユーザー指定領域が、顔領域からあまりずれ
ていないという制約がある場合は、ユーザー指定により
得られる矩形に一定の比率を掛けて大きくした矩形をも
って、顔肌を表す領域を含む矩形とすることもできる。

【００５６】〔実施の形態５〕入力カラー画像（１７−
１）に対し、上記実施の形態４に記載の装置で得られた
顔肌領域を含む矩形中において、上記実施の形態３に記
載の装置で得られた顔肌領域画像（１７−３）に対し、
まず、連結画素を結合していくことによりラベル画像を
作成し、もっとも大きな面積をもつラベル領域のみを残
し、それを２値画像とする（１７−４）（Ｓ３−１）。
ここで残った領域について、白色画素で囲まれた黒色画
素（穴）を白色画素に置き換えることにより、穴を塞ぐ
（１７−５）（Ｓ３−２）。この画像に対し、まず収縮
処理を１回施し（Ｓ３−３）、この時点で再びラベル画
像を作成し、最大面積領域のみを残す（Ｓ３−４）。こ
の画像に対し、ｎ回膨張処理を行った後（Ｓ３−５）、
ｎ回収縮処理を行い（Ｓ３−６）、最後に再び最大面積
領域のみ残すことで（Ｓ３−７）、顔マスクを得る（１
７−６）。ここでｎは、３〜４などの、画像サイズや特
性などにより適当な値を選択すべきである。なお、膨張
処理、収縮処理は「谷内田，“ロボットビジョン”，
昭晃堂， ISBN4-7856-3074-4 C3355, 1990.」などに紹
介されている。

【００５７】上記の方法で得られた顔マスク（１７−
６）は、後段の処理範囲を限定するのに用いる。入力カ
ラー画像（１７−１）より輝度成分のみを取り出し、濃
淡画像を得る（１７−２）（Ｓ４−１）。この濃淡画像
に対し、顔マスク（１７−６）の白画素に対応する画素
における、垂直方向の微分値を画素値とする微分画像を
得る（１７−７）（Ｓ４−２）。なお、この微分画像に
おいて、顔マスクの黒画素に対応する画素の画素値は０
とする。ここで、微分画像を得るためには、Prewittの
オペレータなどによる方法が一般的である（谷内田，
“ロボットビジョン”， 昭晃堂， ISBN4-7856-3074-4
C3355, 1990.）。

【００５８】このようにして得られた微分画像を、垂直
方向に投影することにより、ヒストグラムを得る（１７
−８）（Ｓ４−３）。ヒストグラムの垂直方向の軸は、
該当する水平位置での微分画像における画素値の合計が
示される。このヒストグラムを左右に分割するような垂
直の軸を考え（２１−１）、この軸に添ってヒストグラ
ムを折り曲げて重ねた時、対応する縦軸の値の差の２乗
和が最小となるような軸の位置を探し（２１−２）（Ｓ
４−４）、これをもって顔の中心軸（２１−３）を表す
ものとする。

【００５９】〔実施の形態６〕上記実施の形態５に記載
の装置のところで説明した方法で、濃淡画像および顔マ
スク画像を生成する（Ｓ４−１、Ｓ３−０）。顔マスク
内のみ濃淡画像を水平方向に探索し、輝度値の平均値を
投影したヒストグラムを生成する（１８−１）（Ｓ５−
１）。このヒストグラムの解像度を低下させたヒストグ
ラムを作り（１８−２）（Ｓ５−２）、この低解像度の
ヒストグラムにて中央付近のピーク位置を探す（１８−
２−１）（Ｓ５−３）。もし、ピークが見つからない場
合は、ヒストグラムの中央を鼻の垂直位置とする（Ｓ５
−５）。ピークが見つかった場合、低解像度ヒストグラ
ムで検出されたピーク位置に対応する元解像度ヒストグ
ラムの位置の近傍を探索し、ピークを探す（１８−３−
１）（Ｓ５−４）。このピーク位置をもって、鼻の垂直
位置とする（Ｓ５−０）。

【００６０】〔実施の形態７〕上記実施の形態６に記載
の装置のところで説明した方法で、水平方向のヒストグ
ラムを生成する（２５−５）（Ｓ５−１０）。そのヒス
トグラムにて、上記実施の形態６に記載の装置により検
出された鼻の垂直位置（２５−６）より上方を探索（２
５−１）し、深いほうから谷を２つ検出する（２５−
２、２５−３）。谷が２つ見つかった場合、この２つの
谷のうち、下方（２５−３）を目の垂直位置とする（２
５−７）（Ｓ６−２）。谷が１つだけ見つかった場合
は、その谷を目の垂直位置とする（Ｓ６−５）。谷がひ
とつも見つからない場合は、鼻の垂直位置とヒストグラ
ムの上端との中央を目の垂直位置とする（Ｓ６−６）。

【００６１】〔実施の形態８〕上記実施の形態６に記載
の装置のところで説明した方法で、水平方向のヒストグ
ラムを生成する（２６−１）（図２７：Ｓ５−１０）。
そのヒストグラムにて、上記実施の形態６に記載の装置
により検出された鼻の垂直位置（２６−２）より下方を
探索（２６−３）し、深いほうから谷を３つ検出する
（２６−４、２６−５、２６−６）（Ｓ７−１）。谷が
３つ見つかった場合、真ん中の谷位置を、口の垂直位置
とする（２６−７）（Ｓ７−５） 谷が２つしか見つからない場合は、まず２つの谷位置に
おける顔マスクの幅を検出する（２６−１１）。上の谷
位置での顔マスクの幅（２６−９）に対する、下の谷位
置での顔マスクの幅（２６−１０）の比を求め、その値
が一定の値（例えば、０．７など）を超えた場合、２つ
の谷のうち上方の谷位置を口の垂直位置とする（Ｓ７−
９）。そうでない場合は、下方の谷位置を口の垂直位置
とする（Ｓ７−１０）。

【００６２】谷が１つだけ見つかった場合、その谷を口
の垂直位置とする（Ｓ７−７）。

【００６３】谷がひとつも見つからない場合は、鼻の垂
直位置とヒストグラムの下端との中央を口の垂直位置と
する（Ｓ７−８）。

【００６４】〔実施の形態９〕上記実施の形態７、８に
記載の装置にて、顔マスク（２８−１）および、目の垂
直位置（２８−２）、口の垂直位置（２８−３）が得ら
れる。目の垂直位置から口の垂直位置まで順に、水平に
画素を探索して顔マスクの幅を求める。当該区間におけ
る顔マスクの幅の中央値をもって、顔の幅とする（２８
−４）（Ｓ２９−１）。

【００６５】〔実施の形態１０〕上記実施の形態５、
６、７、８、９に記載の装置を用いることで、顔マス
ク、顔の中心軸、目・口の垂直位置より目〜口の高さ、
顔の幅が検出される。これらの情報を用い、顔のサイ
ズ、水平位置、垂直位置がバランスよく収まるように顔
を含むように、原画像から画像の一部を矩形状に切り出
す。処理を流れを図２３に示す。

【００６６】まず顔の横幅が信用できるかどうかの判定
を行なう。上記実施の形態９に記載の装置により顔幅を
検出するが、上記実施の形態５に記載の装置で顔の中心
軸が得られるので、当該中心軸より左側を左顔幅、右側
を右顔幅とする。まず、左顔幅、右顔幅がが０ではない
事を確認する（Ｓ１０−１）。次に、左顔幅と右顔幅の
比率を計算し、この比率があらかじめ設定した閾値の範
囲内に入っている事を確認する（Ｓ１０−２）。閾値の
範囲外であった場合には推定した顔の横幅は信用できな
いとし、検出した目〜口の高さより切り出し矩形を決定
する。具体的には、検出した顔の中心線及び検出した鼻
の位置を基準点とし、上下左右それぞれの方向に対しあ
らかじめ設定した倍率を目〜口の高さに掛けた長さを取
り、それにより得られる矩形を切り出し矩形とする（Ｓ
１０−６）。

【００６７】顔の横幅が信用できるとした場合には、次
に検出した目〜口の高さが信用できるかどうかの判定を
行なう。検出した目〜口高さとユーザーにより指定され
たパターンの外接矩形の高さ（ユーザ指定が位置のみの
場合、上記実施の形態４に記載の装置により求められ
た、顔肌を表す領域に一定の比率を掛けて縮小した矩形
の高さ）との比率を計算し、この比率があらかじめ設定
した閾値の範囲内に入っている事を確認する（Ｓ１０−
３）。閾値の範囲外であった場合には検出した目及び口
の垂直位置（及び目〜口の高さ）は信用できないとし、
顔の横幅から切り出し矩形を決定する。具体的には、検
出した顔の中心軸及びユーザー指定により得られる矩形
の縦方向の中心を基準点とし、上下左右それぞれの方向
に対しあらかじめ設定した倍率を顔の横幅に掛けた長さ
を取り、それにより得られる矩形を切り出し矩形とする
（Ｓ１０−５）。

【００６８】顔の横幅及び目〜口の高さの両方が信用で
きる場合には、両方の値から切り出し矩形を決定する。
具体的には、まず検出した顔の中心軸及び検出した鼻の
垂直位置を基準点とする。次に顔の横幅及び目〜口の高
さにあらかじめ設定した倍率を掛けて重み付き相加平均
を計算する。基準点から上下左右それぞれの方向に対し
あらかじめ設定した倍率を先ほど計算した平均に掛けた
長さを取り、それにより得られる矩形を切り出し矩形と
する（Ｓ１０−４）。

【００６９】最後に、以上のようにして求められた切り
出し矩形のサイズとユーザー指定から求められる矩形サ
イズの比率を計算し、この比率があらかじめ設定した閾
値の範囲内に入っている事を確認する（Ｓ１０−７）。
閾値の範囲内に入っていなかった場合には、切り出し矩
形は適当でないとし、ユーザー指定から切り出し矩形を
決定する。具体的には、ユーザによる指定が領域を表す
パターンの場合、そのパターンの外接矩形の中心を基準
点とし、基準点から上下左右それぞれの方向に対しあら
かじめ設定した倍率を当該矩形の縦の長さに掛けた長さ
を取り、それにより得られる矩形を切り出し矩形とする
（Ｓ１０−８）。ユーザ指定が位置のみの場合、上記実
施の形態４に記載の装置により求められた顔肌を表す領
域を含む矩形に対して、同様の処理を行う。

【００７０】〔実施の形態１１〕上記実施の形態１０に
記載の装置を用いて切り取られた顔画像を適当なサイズ
に拡大あるいは縮小し、記憶装置に記憶する。その記憶
された顔画像を適当なアプリケーション、例えば携帯型
情報ツールなどにおける住所録などで利用することがで
きる。デジタルカメラなどで任意の人物画像を取得し、
ユーザーインタフェイス（例えば、ペン型の座標入力装
置）を用いて顔付近を大まかに指定する（３０−１）。
そのようにして、上記実施の形態１０に記載の装置によ
り顔をその中にバランスよく含む画像を元画像より切り
出し、あらかじめ用意された枠に収まるように拡大縮小
されて貼り込まれる（３０−２）。図３０は、顔をペン
型インタフェイスで大まかに指定し、切り出されて縮小
され、住所録に貼り込まれた状態を示している。

【００７１】〔実施の形態１２〕上記実施の形態５に記
載の装置により顔マスクが得られる。本装置では、顔の
視認性を向上するため、入力画像に対して、顔マスクの
白画素に対応する領域のみ適当な画像処理を行い、顔領
域とその他の領域で画像の特性を変化させる。あるい
は、顔の視認性を向上するため、入力画像に対して、顔
マスクの黒画素に対応する領域のみ適当な画像処理を行
い、顔領域とその他の領域で画像の特性を変化させる。

【００７２】例えば、図３１は画像の補正処理を表す図
で、入力画像３１−１に対して顔マスク３１−２が得ら
れるとき、顔マスクの黒画素に対応する入力画像の領域
をガウシアンフィルタや平均化フィルタなどを用いてぼ
かすことで、顔以外の背景の視認性を落とし、相対的に
顔の視認性を高めることが可能である（３１−３）。入
力画像がボケている場合は、逆に顔マスクの白画素に対
応する入力画像の領域についてエッジ強調などを行うこ
とで顔の視認性を高めることができる。顔以外の領域を
ぼかすかわりにコントラストを下げる、あるいは入力画
像がコントラストの低い画像の場合、顔領域のコントラ
ストを上げるなどしても同様の効果を得ることができ
る。その顔マスクの白画素に対応する入力画像の領域の
コントラストが最も高くになるように、画像全体のコン
トラストを調整するようなことも考えられる。

【００７３】

【発明の効果】本発明によれば、請求項１に記載の発明
では、ユーザーが画像中の物体の位置（および領域）を
大まかに指定することにより、その物体がバランスよく
配置されるように、画像の一部を原画像より切り取るこ
とを可能にすことができる。

【００７４】請求項２に記載の発明では、ユーザーが画
像中の物体の位置（および領域）を大まかに指定するこ
とにより、その物体がバランスよく配置された特定サイ
ズの画像を出力することを可能にすることができる。

【００７５】請求項３に記載の発明では、ユーザーが画
像中の人物顔の位置（および領域）を大まかに指定する
ことにより、顔肌を表す領域を抽出することを可能にす
る。

【００７６】請求項４に記載の発明では、ユーザーが画
像中の人物顔の位置（および領域）を大まかに指定する
ことにより、顔肌を表す領域を含む矩形を求めることを
可能にすることができる。

【００７７】請求項５に記載の発明では、ユーザーが画
像中の人物顔の位置（および領域）を大まかに指定する
ことにより、顔の中心軸を検出することを可能にするこ
とができる。

【００７８】請求項６に記載の発明では、ユーザーが画
像中の人物顔の位置（および領域）を大まかに指定する
ことにより、顔中の鼻の垂直位置を検出することを可能
にすることができる。

【００７９】請求項７に記載の発明では、ユーザーが画
像中の人物顔の位置（および領域）を大まかに指定する
ことにより、顔中の目の垂直位置を検出することを可能
にすることができる。

【００８０】請求項８に記載の発明では、ユーザーが画
像中の人物顔の位置（および領域）を大まかに指定する
ことにより、顔中の口の垂直位置を検出することを可能
にすることができる。

【００８１】請求項９に記載の発明では、ユーザーが画
像中の人物顔の位置（および領域）を大まかに指定する
ことにより、顔の幅を検出することを可能にすることが
できる。

【００８２】請求項１０に記載の発明では、ユーザーが
画像中の人物顔の位置（および領域）を大まかに指定す
ることにより、その顔がバランスよく配置されるよう
に、画像の一部を原画像より切り取ることを可能にする
ことができる。

【００８３】請求項１１に記載の発明では、ユーザーが
画像中の人物顔の位置（および領域）を大まかに指定す
ることにより、その顔がバランスよく配置された特定サ
イズの画像として出力することを可能にすることができ
る。

【００８４】請求項１２に記載の発明では、ユーザーが
画像中の人物顔の位置（および領域）を大まかに指定す
ることにより、その顔の視認性が良くなるよう画質を調
整することを可能にすることができる。

【図面の簡単な説明】

【図１】本発明による画像処理装置のブロック図であ
る。

【図２】本発明による画像処理装置の画像および座標入
力装置を表す図である。

【図３】本発明による画像処理装置の画像および座標入
力装置を表す図である。

【図４】ユーザーによる画像中の物体や顔の領域の指定
例を表す図である。

【図５】ユーザーによる画像中の物体や顔の位置の指定
例を表す図である。

【図６】ユーザー指定から領域の抽出までを表した図で
ある。

【図７】本発明の実施の形態１の動作を表すフローチャ
ート図である。

【図８】物体領域の画素を表す図である。

【図９】ユーザーによって領域を示すパターンが入力さ
れた状態を表す図である。

【図１０】画像の一部を文書に張り込んだ例を表す図で
ある。

【図１１】画素の色分布を、色相（１１−１）、彩度
（１１−２）、明度（１１−３）それぞれについて、出
現頻度のヒストグラムをプロットした図である。

【図１２】人物顔が写っている画像より顔の肌部分のみ
を抽出した画像を作成する例を表す図である。

【図１３】人物顔が写っている画像より顔の肌部分のみ
を抽出した画像を作成する例を表す図である。

【図１４】明度と頻度の関係を表す図である。

【図１５】ユーザーによって領域を示すパターンが入力
された状態を表す図である。

【図１６】窓領域を少しずつ大きくした状態を表す図で
ある。

【図１７】顔マスクの作成を表した図である。

【図１８】鼻の垂直位置を探索する処理を表した図であ
る。

【図１９】顔マスクの生成処理を表すフローチャート図
である。

【図２０】顔の中心軸を検出する処理を表すフローチャ
ート図である。

【図２１】顔の中心軸を検出する処理を表す図である。

【図２２】鼻の垂直位置を検出する処理を表すフローチ
ャート図である。

【図２３】原画像から画像の一部を矩形状に切り出す処
理を表すフローチャート図である。

【図２４】目の垂直位置を検出する処理を表すフローチ
ャート図である。

【図２５】目の垂直位置を検出する処理を表す図であ
る。

【図２６】口の垂直位置を検出する処理を表す図であ
る。

【図２７】口の垂直位置を検出する処理を表すフローチ
ャート図である。

【図２８】顔マスクの幅を検出する処理を表す図であ
る。

【図２９】顔マスクの幅を検出する処理を表すフローチ
ャート図である。

【図３０】顔画像を住所録に張り込んだ例を表す図であ
る。

【図３１】画像の補正処理を表す図である。

【図３２】顔肌領域画像の生成処理を表すフローチャー
ト図である。

【符号の説明】

１−１ 画像および座標入力装置 １−２ 記憶装置 １−２−１ 入力画像格納部 １−２−２ 入力座標格納部 １−２−３ 出力画像格納部 １−２−４ 出力座標格納部 １−３ 画像処理装置 １−４ 画像出力装置

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ Ｈ０４Ｎ 1/409 Ｈ０４Ｎ 1/40 １０１Ｃ (72)発明者 斗谷 充宏 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (56)参考文献 特開 平７−322054（ＪＰ，Ａ) 特開 昭64−82854（ＪＰ，Ａ) 特開 平３−182189（ＪＰ，Ａ) 特開 平６−309433（ＪＰ，Ａ) 特開 平８−77334（ＪＰ，Ａ) 特開 平９−44670（ＪＰ，Ａ) 呉海元 陳謙 谷内田正彦，カラー自 然画像からの顔の抽出，電子情報通信学 会技術研究報告［パターン認識・理解 ］，日本，社団法人電子情報通信学会, 1995年 １月20日，Ｖｏｌ．94 Ｎｏ. 445（ＰＲＵ94−108），７−14 船山竜士 竹澤創 紺矢峰弘 斗谷充 宏，ユーザーの簡易指定を伴う顔領域の 適応的セグメンテーション，情報処理学 会第55回（９年後期）全国大会講演論文 集（２），日本，社団法人情報処理学 会，1997年 ９月24日，６ＡＢ−３，２ −332〜２−333 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 3/00 400 G06T 1/00 580 - 340 H04N 1/387 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】 画像中の任意の領域または任意の位置を
   指定する指定手段と、 指定された任意の領域または任意の位置、乃至その周辺
   の色分布を解析する解析手段と、 該解析手段の解析結果にもとづいて、画像中に存在する
   画像を特定するための条件を調整する条件調節手段と、 調整された条件にもとづいて、指定された 任意の領域ま
   たは任意の位置、乃至その周辺に存在する物体の画像領
   域を特定する特定手段と、 特定された物体の画像領域から、切り取りすべき画像領
   域を決定する切取領域決定手段と、 決定された画像領域を切り取る画像切取手段とを備える
   ことを特徴とする画像処理装置。
2. 【請求項２】 前記切取領域決定手段は、切り取りすべ
   き画像領域の大きさを、予め定められた大きさに調整す
   る手段を備えることを特徴とする請求項１に記載の画像
   処理装置。
3. 【請求項３】 画像中の任意の領域または任意の位置を
   指定する指定手段と、 指定された任意の領域または任意の位置、乃至その周辺
   の色分布を解析する解析手段と、 解析結果にもとづいて、画像中に存在する顔画像を特定
   するための条件を調整する条件調節手段と、 調整された条件にもとづいて、指定された任意の領域ま
   たは任意の位置、乃至その周辺に存在する顔画像領域を
   特定する顔画像特定手段と、 特定された顔画像領域から、切り取りすべき画像領域を
   決定する切取領域決定手段と、 決定された画像領域を切り取る画像切取手段とを備える
   ことを特徴とする画像処理装置。
4. 【請求項４】 前記切取領域決定手段は、切り取りすべ
   き画像領域の大きさを、前記指定手段により指定された
   任意の領域または任意の位置を基準として調整する手段
   を備えることを特徴とする請求項３に記載の画像処理装
   置。
5. 【請求項５】 前記顔画像特定手段は、特定した顔画像
   領域にノイズ除去、ラベリングなどの処理を加えて顔マ
   スクを作成する手段と、作成された顔マスク内の垂直方
   向を探索し、当該顔マスクに対応する原画像画素の輝度
   の垂直方向の微分値の総和を求めてヒストグラムを生成
   する手段と、生成されたヒストグラムの形状から、顔の
   中心軸を検出する手段とを備えることを特徴とする請求
   項３または請求項４に記載の画像処理装置。
6. 【請求項６】 前記顔画像特定手段は、特定した顔画像
   領域にノイズ除去、ラベリングなどの処理を加えて顔マ
   スクを作成する手段と、作成された顔マスク内の水平方
   向を探索し、当該顔マスクに対応する原画像画素の輝度
   の平均値を求めてヒストグラムを生成する手段と、生成
   されたヒストグラムの形状から、鼻の垂直位置を検出す
   る手段とを備えることを特徴とする請求項３または請求
   項４に記載の画像処理装置。
7. 【請求項７】 前記顔画像特定手段は、特定した顔画像
   領域にノイズ除去、ラベリングなどの処理を加えて顔マ
   スクを作成する手段と、作成された顔マスク内の水平方
   向を探索し、当該顔マスクに対応する原画像画素の輝度
   の平均値を求めてヒストグラムを生成する手段と、生成
   されたヒストグラムの形状から、目の垂直位置を検出す
   る手段とを備えることを特徴とする請求項３または請求
   項４に記載の画像処理装置。
8. 【請求項８】 前記顔画像特定手段は、特定した顔画像
   領域にノイズ除去、ラベリングなどの処理を加えて顔マ
   スクを作成する手段と、作成された顔マスク内の水平方
   向を探索し、当該顔マスクに対応する原画像画素の輝度
   の平均値を求めてヒストグラムを生成する手段と、生成
   されたヒストグラムの形状から、口の垂直位置を検出す
   る手段とを備えることを特徴とする請求項３または請求
   項４に記載の画像処理装置。
9. 【請求項９】 前記顔画像特定手段は、特定した顔画像
   領域にノイズ除去、ラベリングなどの処理を加えて顔マ
   スクを作成する手段と、作成された顔マスク内の水平方
   向を探索し、当該顔マスクに対応する原画像画素の輝度
   の平均値を求 めてヒストグラムを生成する手段と、生成
   されたヒストグラムの形状から、目の垂直位置を検出す
   る手段と、生成されたヒストグラムの形状から、口の垂
   直位置を検出する手段と、前記ヒストグラムの形状から
   検出された目の垂直位置と口の垂直位置の間の中央位置
   を求め、当該中央位置で前記顔マスクの幅を検出する手
   段とを備えることを特徴とする請求項３または４に記載
   の画像処理装置。
10. 【請求項１０】 前記ヒストグラムの形状から、顔の中
    心軸を検出する手段がさらに設けられており、 前記切取領域決定手段は、切り取りすべき画像領域の位
    置を、前記顔画像領域と、前記顔の中心軸と、前記鼻の
    垂直位置と、前記目の垂直位置と、前記口の垂直位置
    と、前記顔マスクの幅とにもとづいて調整する手段を備
    えることを特徴とする請求項９に記載の画像処理装置。
11. 【請求項１１】 前記ヒストグラムの形状から、顔の中
    心軸を検出する手段がさらに設けられており、 前記切取領域決定手段は、切り取りすべき画像領域の大
    きさを、前記顔画像領域と、前記顔の中心軸と、前記鼻
    の垂直位置と、前記目の垂直位置と、前記口の垂直位置
    と、前記顔マスクの幅とにもとづいて調整する手段を備
    えることを特徴とする請求項９に記載の画像処理装置。
12. 【請求項１２】 前記切取領域決定手段は、決定された
    画像領域全体、または決定された画像領域の一部の画像
    領域の画像の補正を行う画像補正手段を備えることを特
    徴とする請求項１〜１１のいずれかに記載の画像処理装
    置。