JP4947018B2

JP4947018B2 - 顔画像の自動トリミング装置

Info

Publication number: JP4947018B2
Application number: JP2008235524A
Authority: JP
Inventors: 靖寿松葉; 聡田端; 徹太郎小野
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2008-09-12
Filing date: 2008-09-12
Publication date: 2012-06-06
Anticipated expiration: 2028-09-12
Also published as: JP2010068470A

Description

本発明は、コンピュータを用いた画像処理技術に関し、特に証明写真に用いるような、顔を含む人物画像に対し、顔認識技術に基き所定のトリミングを自動的に行なう画像処理技術に関する。

免許証や履歴書などに用いる証明写真のように、被写体の顔を中心とし、予め定められたサイズの写真を作成するには、各サイズに応じたトリミング枠を精度良く決める必要がある。中にはパスポートのように、頭頂位置や下顎位置に基準を設けているものもあり、顔の大きさ、位置など、トリミング枠内での顔画像の配置には配慮すべき要素が多い。すなわち、顔の中心線はトリミング枠の中心線にできるだけ近く、また、頭上および顎下には適度なスペースを確保することが要求される。
したがって、トリミングにかかわる一連の処理は手作業または半自動でなされることが多かったが、手作業による部分が残ると、多数の証明写真を連続して作成するような場合は作業負担が大きいという問題があった。
また近年は、肖像写真をセルフ方式で作成する撮影ボックスのような形態が普及しており、人手の介在するトリミング操作を極力排する必要性も高まっている。
このような事情のもと、顔の輪郭や特徴点を手がかりに顔領域を特定し、トリミング枠の決定を自動化する試みが種々行なわれている。例えば、下記の特許文献１では、背景と頭頂部境界での濃度変化から頭頂位置を検出し、さらに、パターンマッチングを利用した両目位置の検出により顔の上下方向のおおよその大きさを求め、トリミングのタイプ毎に予め決められた配分にしたがって枠の位置を決定することとしている。
特開２００３−１８７２５７号公報

しかしながら、境界（エッジ）を手がかりに顔形状を判別する方法では、様々な被写体、様々な撮影条件の画像から必要とする境界部を確実に抽出することは難しく、例えば背景の一部を頭頂部と誤認識し、誤ったトリミング枠の生成に至るといったことが避け難かった。また、頭頂部の位置は髪型等によっても大きく変わるため、これを手がかりにしたトリミング枠は、顔の大きさに対しバラツキが生じ、特に、社員証作製のような統一性のあるデザインでの連続処理ではトリミング品質の安定性の点で欠点が目立った。
そこで本発明は、顔の特徴点の自動認識により顔領域を特定することにより、境界検出のような誤認識の可能性を極小化し、適正なトリミング枠を安定して求めることを課題とする。

上記課題を解決するために本発明の自動トリミング装置は、
人物の顔を含む画像データを入力する人物画像入力手段と、前記人物画像入力手段で入力された人物画像から、物体の明暗のパターンに基づく顔の特徴点の自動認識により顔の領域を表わす矩形領域を特定し記憶する顔矩形領域抽出手段と、予め設定された上方向および下方向の倍率パラメータおよびトリミング枠の縦横比を、前記顔領域抽出手段で得られた顔矩形領域に作用させることにより前記人物画像のトリミング枠を決定し、前記人物画像にトリミング加工を行なう画像加工手段と、
を有し、
前記画像加工手段は、前記人物画像のトリミング枠を決定する際、前記顔領域の中心を基準として、同顔領域の高さと前記上方向および下方向の倍率パラメータに基づき上辺および下辺の位置を決定し、前記トリミング枠の縦横比により左辺、右辺の位置を決定してトリミング枠を決定することを特徴としている。
さらに、本発明の自動トリミング装置は、人物画像のトリミング枠を決定する倍率パラメータおよびトリミング枠の縦横比の組合せを幾つか用意し、利用者に選択させる入力手段を備えたことを特徴としている。

本発明の顔画像の自動トリミング装置によれば、トリミングの対象となる顔画像データに対し、適正なトリミング結果が安定して得られるため、一般の証明写真の用途はもちろんのこと、特に、社員証や学生証のような、一時期大量作成のような用途により効果的である。
また、利用者はトリミングの体裁を複数の中から選択できるため、より好ましい体裁の仕上がりを得ることができる。

以下、本発明の実施形態について、図面を参照しながら説明する。
図1は本発明の自動トリミング装置の機能ブロック図、図２は本発明をコンピュータ処理により実現した場合の構成図を示す。
図３はトリミング枠を決定するまでの画像加工の遷移を示す図、図４は処理の過程を表わすフロー図、図５はトリミング枠の様態を示す図、図６は種々のパラメータの組み合わせによるトリミング結果を示す図である。

図１は本発明の自動トリミング装置の構成を機能別に表わしたもので、本装置は大別して、操作部１１、処理部１０、Ｉ／Ｏ外部接続部１６、データ格納部１７から構成される。
操作部１１は、キーボードやマウスなどを用いて本発明のトリミング処理に関するパラメータを入力し、あるいは指示を与えるためのものである。また処理部１０はデータ格納部１７に格納されたデータやパラメータを参照し画像処理を行なうことを示し、本発明のトリミング処理で用いる画像入力手段１２、顔矩形領域抽出手段１３、トリミング枠決定手段１４、画像加工手段１５などから構成される。Ｉ／Ｏ外部接続部１６は、主に画像データの入出力のためのものであり、例えば、入力の場合は、データ格納メディアやデジタル撮像機器などが接続され、また、出力の場合は、データ格納メディアや、その他プリンタなどが接続されることを想定している。

この中で、顔矩形領域抽出手段１３とは、トリミング範囲を決定するにあたり顔の位置と大きさを検出し決定する機能であり、その結果は図３（２）に示すような、顔の位置と大きさを表わす矩形領域３１として得られる。また、トリミング枠決定手段１４は、矩形領域３１に基き、別途設定されたパラメータに応じて図３（３）のようなトリミング枠３２を導き出す機能である。
なお、トリミング枠とはトリミング領域３３と他の領域との境界部であり、図上では線または線分で表わしている。

図２は、本発明のトリミング処理をコンピュータ処理で実現した時のハードウェア構成例である。自動トリミング装置１は、バス９を介して接続されるＣＰＵ２、メモリ３、モニタ４、Ｉ／Ｏ５、キーボード６、マウス７とハードディスク８などで構成される。
メモリ３は、ＣＰＵ２がプログラム８２を実行する際に、実行すべきプログラムや一時的作業データを格納するデータ記憶場所である。
モニタ４は、視覚情報を表示する表示装置であり、キーボード６およびマウス７は、操作者による情報入力や指示を受け付け、その信号をＣＰＵに伝達する入力装置である。
Ｉ／Ｏ５は外部との接続に関する接続口を表わし、例えば、デジタルカメラ、ＣＤ、ＤＶＤなどの外部機器、あるいはネットワークを介してプリンタや他のシステムと接続される。
ハードディスク８には、本システムが扱う対象とする情報からなるデータ８１、ＣＰＵが実行するプログラム８２、本システムがコンピュータとして機能するための基盤ソフトウェアであるＯＳ８３などが格納される。
また、上記の画像処理や入出力の制御は図２のＣＰＵ２がプログラム８２を実行することにより実現される。

図４は、本発明の自動トリミング装置の処理フローを表わしたものである。
まず、画像入力段階（Ｓ１１）でコンピュータに入力された人物画像は、顔検出処理により顔部が特定される。顔検出のための手法は種々あるが図４に示すフローでは「Ｈａａｒ−ｌｉｋｅ特徴」を用いている（以下、Ｈａａｒ−ｌｉｋｅ特徴をＨ−Ｌ特徴と略記）。
Ｈ−Ｌ特徴を用いた物体検出手法は、検出対象となる物体の明暗のパターンを基に、高速に識別を行うことを特徴とし、静止画や動画像中における顔検出などに利用されており、特に、証明写真のような正面、無帽の人物像に対しては高い検出精度を発揮する。Ｈ−Ｌ特徴を用いた顔の検出結果は、目・鼻・口などといった顔の局所情報と、顔の中心、サイズなどの情報を含んだ領域として表わされる。

なお、Ｈ−Ｌ特徴による対象物検出の原理、顔検出への適用例などについては、下記の文献（非特許文献１、非特許文献２）に紹介されている。
Paul Viola and Michel J. Jones: "Rapid Object Detection Using a Boosted Cascade of Simple Features", Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.511-518, (2001) Rainer Lienhart and Jochen Maydt: "An Extended Set of Haar-likeFeatures for Rapid Object Detection", Proceedings of the 2002 IEEEInternational Conference on Image Processing, Vol.1, pp.900-903, (2002)

また、Ｈ−Ｌ特徴を用い、画像中から顔を特定し、顔のサイズや位置を取得する手法は、既に画像処理のライブラリとして提供されている（Ｉｎｔｅｌ社が開発、公開しているＯｐｅｎＣＶライブラリ）。
本発明では、得られた顔の位置やサイズを基に、最終的にトリミング枠を決めるのに最適な領域として、顔の矩形領域を求めることとしている。顔矩形領域を使用することで、髪型などによる影響を受けずに、適正なトリミング枠を安定して決定することが可能となる。
図３（２）に示す顔矩形領域３１は、Ｈａａｒ−ｌｉｋｅ特徴およびＯｐｅｎＣＶを用いて得られた顔領域を図示したものであり、同顔矩形領域は処理画像中の顔の位置（中心）と大きさ（顔の幅および高さ）を表わしている。

顔矩形領域３１が特定されると、ここから得られる顔の高さに、予め設定された上方向および下方向の倍率パラメータを作用させることにより、上下のトリミング領域が求められる（Ｓ１５）。すなわち、図５に示すように、顔矩形領域３１の中心から顔矩形領域３１の上下辺までの距離をｈ、また、顔矩形領域３１の中心からトリミング枠の上辺および下辺までの距離をそれぞれＨｕおよびＨｌとすると、Ｈｕ、Ｈｌは、
Ｈｕ＝ｈ×ｕｐｐｅｒ
Ｈｌ＝ｈ×ｌｏｗｅｒ
ただし、ｕｐｐｅｒは上方向の倍率パラメータ
ｌｏｗｅｒは下方向の倍率パラメータ
の計算式で求められる。
ここからトリミング枠の上辺および下辺の位置が定まり、上下方向のトリミング領域が決定される（Ｓ１５）。

また、トリミング枠の高さをＨとすると、
Ｈ＝Ｈｕ＋ｈｌ
からトリミング枠の高さが求められる（Ｓ１６）。このＨに、予め設定されたトリミング枠の縦横比を作用させることでトリミング枠の幅が得られ、ここから幅方向のトリミング領域が決定される。この幅方向のトリミング領域と、上記で得られた上下トリミング領域（Ｓ１５）とを合わせることにより、求めるトリミング領域が決定される（Ｓ１８）。

このようなトリミング領域を参照して、同領域内の画像のみを取り出し、また場合によっては決められた仕上げ寸法に収める画素密度変換などの画像加工（Ｓ１９）を施すことにより図３（４）に示すようなトリミング結果が得られる。

なお、上下方向の倍率パラメータ（Ｓ１４）およびトリミング枠の縦横比（Ｓ１７）は、求める仕上がりの体裁にしたがって予め設定されるが、仕上がりの体裁はトリミング画像の用途により種々異なるため、利用者の便のためには、前記パラメータ類が複数の体裁に対応した形で提供されることが望ましい。そこで本発明では、上下方向の倍率パラメータとトリミング枠の縦横比の組合せを幾つか用意し、利用者に選択させることとしている。

図６（Ａ）〜（Ｄ）は、上下方向の倍率パラメータとトリミング枠の縦横比を変化させたときのトリミングの様子を示す。例えば図６の（Ｂ）図では、（Ａ）図に対し上方向の倍率パラメータが変わっており、これに応じて、トリミング枠Ｂ６２がトリミング枠Ａ６１に対し上方向に伸びることを表わしている。

このような組合せを利用者に選択させることは、例えば、図６（Ａ）〜（Ｄ）のような選択用画像を図２のモニタ４に表示し、マウス７で指定する、といった方法で実現できる。

本発明の自動トリミング装置の機能ブロック図ハードウェア構成図画像加工の遷移を示す図処理過程を表わすフロー図トリミング枠を示す図種々のパラメータに対するトリミング結果を示す図

符号の説明

１自動トリミング装置
２ＣＰＵ
３メモリ
５Ｉ／Ｏ
６キーボード
７マウス
８ハードディスク
１０処理部
１１操作部
１６Ｉ／Ｏ外部接続部
１７データ格納部
３１顔矩形領域
３２トリミング枠
３３トリミング領域
４０トリミング処理フロー
６１トリミング枠Ａ
６２トリミング枠Ｂ

Claims

人物の顔を含む画像データを入力する人物画像入力手段と、
前記人物画像入力手段で入力された人物画像から、物体の明暗のパターンに基づく顔の特徴点の自動認識により顔の領域を表わす矩形領域を特定し記憶する顔矩形領域抽出手段と、
予め設定された上方向および下方向の倍率パラメータおよびトリミング枠の縦横比を、前記顔領域抽出手段で得られた顔矩形領域に作用させることにより前記人物画像のトリミング枠を決定し、前記人物画像にトリミング加工を行なう画像加工手段と、
を有し、
前記画像加工手段は、前記人物画像のトリミング枠を決定する際、前記顔領域の中心を基準として、
同顔領域の高さと前記上方向および下方向の倍率パラメータに基づき上辺および下辺の位置を決定し、前記トリミング枠の縦横比により左辺、右辺の位置を決定してトリミング枠を決定することを特徴とする顔画像の自動トリミング装置。
請求項１に記載の顔画像の自動トリミング装置であって、
あらかじめ定めた、人物画像のトリミング枠を決定する倍率パラメータおよびトリミング枠の縦横比の幾つかの組合せを、利用者に選択させる入力手段をさらに備えたことを特徴とする顔画像の自動トリミング装置。