JP5871473B2 - 目標物選択装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、画像データにおいて、顔などの目標物を検出するための目標物選択装置、その制御方法、および制御プログラムに関する。

近年、デジタルフォトプリンタおよびデジタルスチルカメラなどのようにデジタル画像データを扱う機器が普及し、これらの機器には、画像データにおいて目標物である人物の顔を検出する機能（顔検出機能）を有するものがある。そして、顔検出機能によって検出された人物の顔部分について特定の画像処理を施すようにしたアプリケーションが提案されている。

さらに、顔検出結果を用いて顔部分のデータ（顔データ）をオブジェクト化すれば、当該顔データを用いて画像処理以外の用途、例えば、データベース化又は個人認証などに応用することができる。

従来の顔検出機能として、例えば、画像データを一括して読み込み、画像データの全領域に対して一括で顔検出処理を行ってその検出結果を表示するようにしたものがある。

ところで、画像データに関して、処理を行いたい顔部分と処理を行いたくない顔部分が存在することがある。このため、顔検出結果から顔部分を選別する必要がある。その選別手法として、顔検出結果から画像処理対象とする顔部分を選択する手法および特定の顔部分と一致照合する顔部分を選択する手法がある（特許文献１参照）。

また、顔部分に係るデータを全体の画像データの一部分と捉えて、顔部分に係る画像を選択する手法がある。ここでは、図形・文章等の画像情報を画像記憶装置に記憶して、ディスプレイに表示された画像情報の一部を、ライトペンなどを用いて閉曲線等で指定する。そして、閉曲線内／外を示す情報（内／外情報）を、閉曲線内部認識装置７を用いて作成して画像記憶装置に記憶し、画像情報と内／外情報とを論理演算した結果指定された部分の画像を選択する（特許文献２参照）。

特開２００４−６２５６０号公報 特開昭５８−１６１０３１号公報

ところが、特許文献１においては、特定の顔部分（人物の顔画像）を予め事前登録しておく必要がある。そして、検出された顔画像と事前登録された顔画像と照合して一致するか否かを判定する必要がある。このため、不特定多数の人物が写っている画像データについて選別を行おうとすると、即時性が損なわれてしまう。

また、特許文献２においては、ライトペンを用いた閉曲線等の形成が終了するまでは画像の部分指定を行うことができない。従って、画像の部分選択から次の処理、例えば、画像の部分選択部分に対する画像処理に移行するまでに時間が掛かってしまう。

よって、本発明の目的は、目標物検出結果に応じて所望の目標物を選別して、当該目標物に画像処理を施す際、速やかに選別処理を行うことのできる目標物選択装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による目標物選択装置は、複数の目標物が含まれる画像データから当該目標物を選択する目標物選択装置において、前記画像データに応じた画像を表示手段に表示させる表示制御手段と、前記表示手段に表示されている画像に描画線を描画するための描画手段と、前記描画手段により描画された描画線に基づいて、前記画像データに含まれる目標物を選択する選択手段と、前記描画手段により描画された描画線が閉曲線となったことに応じて、目標物の選択を確定する確定手段と、を有し、前記描画手段により描画された前記描画線が閉曲線を形成していない場合は、前記選択手段は、前記描画線に点を設定して、前記描画線の始点および前記点を結ぶ線と前記描画線とによって規定される領域にある目標物を選択し、前記描画手段により描画された前記描画線が閉曲線となった場合には、前記選択手段は、前記閉曲線に囲まれる領域にある目標物を選択し、前記確定手段は、前記閉曲線に囲まれる領域にある目標物の選択を確定し、前記表示制御手段は、前記描画手段により描画された前記描画線が閉曲線を形成していない場合は、前記選択手段により選択された目標物を第１の表示形態で識別可能に表示し、前記描画手段により描画された前記描画線が閉曲線となった場合には、前記選択手段により選択されて前記確定手段により選択が確定した目標物を前記第１の表示形態と異なる第２の表示形態で識別可能に表示するように制御することを特徴とする。

本発明によれば、目標物選択結果に応じて所望の目標物を選別して、当該目標物に画像処理を施す際、速やかに選別処理を行うことができる。

本発明の第１の実施形態による顔検出装置が用いられた印刷装置の一例を示すブロック図である。 図１に示すポインティングデバイスを用いて座標を入力した際の座標値および既入力曲線の表示処理を説明するためのフローチャートである。 本発明の第１の実施形態において、図１に示すポインティングデバイスを用いて画像データに対応した座標の曲線を描いた際の顔検出結果の表示処理を説明するためのフローチャートである（その１）。 本発明の第１の実施形態において、図１に示すポインティングデバイスを用いて画像データに対応した座標の曲線を描いた際の顔検出結果の表示処理を説明するためのフローチャートである（その２）。 図３Ａおよび図３Ｂで説明する顔予測検出処理の概念を説明するための図であり、（Ａ）は画像処理推移を示す図、（Ｂ）は表示推移を示す図、（Ｃ）は顔検出結果推移を示す図である。 図３Ａおよび図３Ｂで説明する顔予測検出処理の概念を説明するための図であり、（Ａ）は画像処理推移を示す図、（Ｂ）は表示推移を示す図、（Ｃ）は顔検出結果推移を示す図である。 図３Ａおよび図３Ｂで説明する顔予測検出処理の概念を説明するための図であり、（Ａ）は画像処理推移を示す図、（Ｂ）は表示推移を示す図、（Ｃ）は顔検出結果推移を示す図である。 図３Ａおよび図３Ｂで説明する顔予測検出処理の概念を説明するための図であり、（Ａ）は画像処理推移を示す図、（Ｂ）は表示推移を示す図、（Ｃ）は顔検出結果推移を示す図である。 図３Ａおよび図３Ｂで説明する顔予測検出処理の概念を説明するための図であり、（Ａ）は画像処理推移を示す図、（Ｂ）は表示推移を示す図、（Ｃ）は顔検出結果推移を示す図である。 図３Ａおよび図３Ｂで説明する顔予測検出処理の概念を説明するための図であり、（Ａ）は画像処理推移を示す図、（Ｂ）は表示推移を示す図、（Ｃ）は顔検出結果推移を示す図である。 図３Ａおよび図３Ｂで説明する顔予測検出処理の概念を説明するための図であり、（Ａ）は画像処理推移を示す図、（Ｂ）は表示推移を示す図、（Ｃ）は顔検出結果推移を示す図である。 本発明の第２の実施形態において、図１に示すポインティングデバイスを用いて画像データに対応した座標の曲線を描いた際の顔検出結果の表示処理を説明するためのフローチャートである。 図１１で説明する顔予測検出処理の概念を説明するための図であり、（Ａ）は画像処理推移を示す図、（Ｂ）は表示推移を示す図、（Ｃ）は顔検出結果推移を示す図である。 図１１で説明する顔予測検出処理の概念を説明するための図であり、（Ａ）は画像処理推移を示す図、（Ｂ）は表示推移を示す図、（Ｃ）は顔検出結果推移を示す図である。 図１１で説明する顔予測検出処理の概念を説明するための図であり、（Ａ）は画像処理推移を示す図、（Ｂ）は表示推移を示す図、（Ｃ）は顔検出結果推移を示す図である。 図１１で説明する顔予測検出処理の概念を説明するための図であり、（Ａ）は画像処理推移を示す図、（Ｂ）は表示推移を示す図、（Ｃ）は顔検出結果推移を示す図である。 図１１で説明する顔予測検出処理の概念を説明するための図であり、（Ａ）は画像処理推移を示す図、（Ｂ）は表示推移を示す図、（Ｃ）は顔検出結果推移を示す図である。

以下、本発明の実施の形態による目標物選択装置について図面を参照して説明する。ただし、本形態において例示する構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。また、ここでは、ポインティングデバイスの入力を曲線という言葉で説明するが、軌跡という言葉に置き換えても同義である。なお、以下の説明では、目標物として、顔を例に挙げて説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態による顔検出装置が用いられた印刷装置の一例を示すブロック図である。

図示の印刷装置はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１を有しており、ＣＰＵ２０１は印刷装置全体の制御を司る。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０２はＣＰＵ２０１のワークエリアとして用いられる。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３にはＣＰＵ２０１で実行される処理手順が記憶され、ＲＯＭ２０３として、例えば、フラッシュメモリなどの書き換えが可能な不揮発性メモリが用いられる。

画像処理部２０４はデジタル画像データ（以下単に画像データと呼ぶ）を画面表示可能なデータに変換する処理を行うとともに、画像データにおける顔パーツ（顔部分）の検出処理を行う。表示制御部２０５にはＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示器）２０６が接続されており、表示制御部２０５はＬＣＤ２０６に画像データおよび操作情報などを画面表示する。

図示の例では、外部記憶装置制御部２０７にはメモリソケット２０８が接続され、このメモリソケット２０８には、例えば、カード記録媒体（図示せず）が挿入される。そして、外部記憶装置制御部２０７はカード記憶媒体に記憶されている画像データの読込み制御を行うとともに、カード記憶媒体に対して画像データの書込み制御を行う。

操作入力部２０９には操作ボタン２１０およびポインティングデバイス２１１が接続され、操作入力部２０９は操作ボタン２１０およびポインティングデバイス２１１からの入力を操作情報としてＣＰＵ２０１に送る。なお、ポインティングデバイス２１１は座標情報を取得可能なデバイスであればよく、タッチパネルおよびマウスが相当する。

印刷機能制御部２１２は画像データに応じて印刷エンジン２１３を制御して、プリントを実行する。外部インタフェース（Ｉ／Ｆ）制御部２１４には外部Ｉ／Ｆコネクタが接続される。外部Ｉ／Ｆは、例えば、ＵＳＢ Ｉ／Ｆであり、外部Ｉ／Ｆ制御部２１４は外部Ｉ／Ｆ２１５を介して外部機器と接続される。この外部機器として、例えば、別のポインティングデバイスを接続することができる。

図２は、図１に示すポインティングデバイス２１０を用いて座標を入力した際の座標値および既入力曲線の表示処理を説明するためのフローチャートである。なお、図２で説明するポインティングデバイス入力と既入力曲線の表示処理については一般的に知られた処理であるので、ここでは簡略して説明する。

図１および図２を参照して、いま、ポインティングデバイス２１１を用いて曲線の入力が開始されると、ＣＰＵ２０１は内蔵タイマーをクリアする（ステップＳ４０１）。そして、ＣＰＵ２０１はポインティングデバイス２１１による入力が継続中であるか否かについて判定する（ステップＳ４０２）。ポインティングデバイス２１１による入力が継続中であると（ステップＳ４０２において、ＹＥＳ）、ＣＰＵ２０１は内蔵タイマーをクリアしてから一定の時間（所定の時間）が経過したか否かについて判定する（ステップＳ４０３）。

一定の時間が経過していない場合には（ステップＳ４０３において、ＮＯ）、ＣＰＵ２０１はＳ４０２の処理に戻る。一方、一定の時間が経過した場合には（ステップＳ４０３において、ＹＥＳ）、ＣＰＵ２０１はポインティングデバイス２１１で入力された座標値を、一旦ＲＡＭ２０２に記憶する（ステップＳ４０４）。その後、ＣＰＵ２０１は、ＲＡＭ２０２に記憶された座標値に応じて曲線を求めて、既入力曲線とする（ステップＳ４０５）。ＣＰＵ２０１は既入力曲線をＲＡＭ２０２に既入力曲線記憶値として一旦記憶して（ステップＳ４０６）、当該既入力曲線を表示制御部２０５によってＬＣＤ２０６に表示する（ステップＳ４０７）。そして、ＣＰＵ２０１はＳ４０１の処理に戻る。

ステップＳ４０２において、ポインティングデバイス２１１による入力が継続中でなければ（ステップＳ４０２において、ＮＯ）、ＣＰＵ２０１は、ユーザによるポインティングデバイス２１１を用いた入力が終了したと判定して、処理を終了する。

図３Ａおよび図３Ｂは、本発明の第１の実施形態において、図１に示すポインティングデバイス２１１を用いて画像データに対応した座標の曲線を描いた際の顔検出結果（目標物検出結果）の表示処理を説明するためのフローチャートである。

図３Ａおよび図３Ｂにおいては、ユーザがポインティングデバイス２１１を用いて画像データに対応する座標の曲線を描いて、当該曲線が閉じるまでの間に段階的に顔予測検出処理を行って顔検出結果（目標物検出結果）を表示する。なお、図２で説明した表示処理と図３Ａおよび図３Ｂで説明する表示処理とは、独立に並行して実行され、図２で説明した既入力曲線記憶値は図３Ａおよび図３Ｂで説明する顔予測検出処理に用いられる。

図１、図３Ａ、および図３Ｂを参照して、ここでは、画像データはカード記録媒体に記憶されているものとし、カード記録媒体に記憶された全ての画像データの一覧が表示制御部２０５によってＬＣＤ２０６に表示される。

ユーザは操作ボタン２１０又はポインティングデバイス２１１を操作して表示処理対象とする画像データを一覧から選択する。これによって、ＣＰＵ２０１は選択された画像データに係る画像をＬＣＤ２０６に画面表示する。ＬＣＤ２０６に表示された画像には、画像データに対応する座標がマッピングされており、座標はポインティングデバイス２１１を用いて入力される。

ポインティングデバイス２１１を用いて、ＬＣＤ２０６に表示された画像に対して曲線の入力を開始すると、ＣＰＵ２０１は入力始点を設定する（ステップＳ１０１）。入力始点を設定した後、ＣＰＵ２０１は内蔵するカウンタＮを０に設定する（ステップＳ１０２）。そして、ＣＰＵ２０１はカウンタＮを＋１インクリメントする（ステップＳ１０３）。

図４〜図１０は、図３Ａおよび図３Ｂで説明する顔予測検出処理を行う際の画像処理推移、表示推移、および顔検出結果推移の概念を説明するための図である。なお、図４〜図１０において、画像処理推移とは画像処理を行う際の内部的な処理概念の推移をいい、表示推移とはＬＣＤ２０６に表示される画像の推移をいう。

ここで、画像処理推移においては、図４（Ａ）に示すように、例えば、入力始点は”３００”で示され、既入力曲線は”３４０”で示される。表示推移においては、図４（Ｂ）に示すように、ＬＣＤ２０６に既入力曲線３５０が表示される。なお、図４（Ｃ）に示すように、顔検出結果推移には結果が示されていない。

続いて、ＣＰＵ２０１はポインティングデバイス２１１で入力された入力曲線が閉じているか否かについて判定する（ステップＳ１０４）。入力曲線が閉じていない場合には（ステップＳ１０４において、ＮＯ）、ＣＰＵ２０１は始点又は分割点を設定してから一定の時間が経過したか又は絶対座標に関して一定の距離が描画されたか（経過したか）否かについて判定する（ステップＳ１０５）。なお、ここで、分割点とは、後述するように、ポインティングデバイス２１１における曲線の入力中に当該曲線上にポイントされる画像処理概念上の点をいう。

始点又は分割点を設定してから一定の時間が経過せず、しかも絶対座標に関して一定の距離が描画されていないと（ステップＳ１０５において、ＮＯ）、ＣＰＵ２０１はステップＳ１０４の処理に戻る。始点又は分割点を設定してから一定の時間が経過したか又は絶対座標に関して一定の距離が描画された場合には（ステップＳ１０５において、ＹＥＳ）、ＣＰＵ２０１は分割点Ｎを設定する（ステップＳ１０６）。そして、ＣＰＵ２０１は始点と分割点Ｎとを結んで、分割線Ｎを設定する（ステップＳ１０７）。

図４（Ａ）に示す画像処理推移に示すように、ここでは、分割点３０１および分割線３１１が設定される。

続いて、ＣＰＵ２０１は既入力曲線および分割線Ｎが囲む領域（既入力曲線と分割線とによって規定される領域）と、設定済みの分割検出領域との差を分割検出領域Ｎとして設定する（ステップＳ１０８）。ここで、ポインティングデバイスの既入力曲線として、図２で説明した既入力曲線記憶値が用いられる。

なお、カウンタＮ＝１の場合には、設定済みの分割検出領域は存在しないから、図４（Ａ）に示す画像処理推移においては、既入力曲線３４０と分割線３１１とが囲む領域が分割検出領域として設定されることになる。

次に、ＣＰＵ２０１は分割検出領域Ｎに対応する画像データ領域Ｎを設定して（ステップＳ１０９）、この画像データ領域Ｎに対して顔パーツ検出処理を実行する（ステップＳ１１０）。ここで、顔パーツとは人物の顔を形成する一部分、例えば、髪、眉毛、目、眼鏡、鼻、口、耳、および髭である。そして、ＣＰＵ２０１は画像データ領域Ｎについて顔検出処理を実行する（ステップＳ１１１）。なお、顔パーツ検出処理および顔検出処理については、様々な方法が提案されており、周知の技術であるので説明は省略する。

続いて、ＣＰＵ２０１は画像データ領域Ｎに「未検出顔の不完全顔パーツ」が含まれていないか否かについて判定する（ステップＳ１１２）。未検出顔の不完全顔パーツが含まれている場合には（ステップＳ１１２において、ＮＯ）、ＣＰＵ２０１は当該検出した「未検出顔の不完全顔パーツ」に関する検出情報を、例えば、ＲＡＭ２０２に記憶する（ステップＳ１１３）。そして、ＣＰＵ２０１は画像データ領域Ｎにおける顔検出結果をクリアする（ステップＳ１１４）。さらに、ＣＰＵ２０１は分割検出領域Ｎの設定をクリアして（ステップＳ１１５）、ステップＳ１０３の処理に戻る。

ここで、「未検出顔の不完全顔パーツ」とは、ステップＳ１１１における顔検出処理の際にいずれの顔にも属さず、かつ既に記憶された顔検出結果のいずれにも属さない顔パーツのことをいう。

一方、画像データＮに「未検出顔の不完全顔パーツ」が含まれていない場合には（ステップＳ１１２において、ＹＥＳ）、ＣＰＵ２０１は顔検出結果に、既に記憶済みの不完全顔パーツが属しているかについて判定する（ステップＳ１１６）。顔検出結果に既に記憶済みの不完全顔パーツが含まれている場合には（ステップＳ１１６において、ＹＥＳ）、ＣＰＵ２０１は既に記憶済みの不完全顔パーツに係る検出情報をクリアする（ステップＳ１１７）。そして、ＣＰＵ２０１は分割検出領域Ｎを設定済み分割検出領域として、ＲＡＭ２０２に記憶する（ステップＳ１１８）。

なお、顔検出結果に既に記憶済みの不完全顔パーツが含まれていない場合に（ステップＳ１１６において、ＮＯ）、ＣＰＵ２０１はステップＳ１１８の処理に進む。ここでは、既に記憶済みの不完全顔パーツに係る検出情報のうち、顔検出結果に属さない検出情報は、クリアされずに残る。

続いて、ＣＰＵ２０１はステップＳ１１１における顔検出処理で得られた顔の顔番号と顔の中心座標とを、ＲＡＭ２０２に記憶する（Ｓ１１９）。そして、ＣＰＵ２０１は検出顔番号に対応した検出顔枠座標を、ＲＡＭ２０２に記憶する（ステップＳ１２０）。その後、ＣＰＵ２０１はステップＳ１１１における顔検出処理で得られた顔の顔枠を、表示制御部２０５を制御してＬＣＤ２０６に仮表示する（ステップＳ１２１）。そして、ＣＰＵ２０１はステップＳ１０３の処理に戻ってカウンタＮを＋１インクリメントする。なお、ステップＳ１２１における顔枠の仮表示について破線で示されているが、後述する本表示と仮表示との区別が可能であれば、仮表示はどのような表示状態でもよい。

ここまでの処理について、図５で説明すると、画像処理推移においては分割検出領域３２１が設定され、分割検出領域３２１内にある顔が検出される（図５（Ａ））。そして、表示推移においてはＬＣＤ２０６に検出した顔について仮表示枠３５１が表示される（図５（Ｂ））。顔検出結果の推移においては、顔番号”１”として次の顔検出結果がＲＡＭ２０２に記憶される。

顔番号＝１、状態＝仮、領域＝３２１、中心座標＝（ｘ１，ｙ１）、左上枠座標＝（ｘ１ｌｕ，ｙ１ｌｕ）、右上枠座標＝（ｘ１ｒｕ，ｙ１ｒｕ）、右下枠座標＝（ｘ１ｒｂ，ｙ１ｒｂ）、および左下枠座標＝（ｘ１ｌｂ，ｙ１ｌｂ）が顔検出結果として記憶される。

このようにして、ＣＰＵ２０１はポインティングデバイス２１１で入力された入力曲線が閉じるまで（ステップＳ１０４において、ＮＯ）、ステップＳ１０３からステップＳ１０３に戻るまでの処理を繰り返す。

ここで、入力曲線が閉じるまでの処理について、図６〜図８を参照して説明する。

図６（Ａ）に示す画像処理推移においては、２つ目の分割点３０２と分割線３１２とが設定されて、既入力曲線および分割線３１２が囲む領域と設定済みの分割検出領域との差が分割検出領域３２２として設定される。そして、分割検出領域３２２内にある顔が顔検出処理によって検出される。図６（Ｂ）に示す表示推移においては、ＬＣＤ２０６に検出した顔について仮表示枠３５２が表示される。図６（Ｃ）に示す顔検出結果の推移においては、顔番号”２”として次の顔検出結果がＲＡＭ２０２に記憶される。

顔番号＝２、状態＝仮、領域＝３２２、中心座標＝（ｘ２，ｙ２）、左上枠座標＝（ｘ２ｌｕ，ｙ２ｌｕ）、右上枠座標＝（ｘ２ｒｕ，ｙ２ｒｕ）、右下枠座標＝（ｘ２ｒｂ，ｙ２ｒｂ）、および左下枠座標＝（ｘ２ｌｂ，ｙ２ｌｂ）が顔検出結果として記憶される。

図７（Ａ）に示す画像処理推移においては、３つ目の分割点３０３と分割線３１３とが設定されて、既入力曲線および分割線３１３が囲む領域と設定済みの分割検出領域との差が分割検出領域３２３として設定される。そして、分割検出領域３２３内にある顔が顔検出処理によって検出される。図７（Ｂ）に示す表示推移においては、ＬＣＤ２０６に検出した顔について仮表示枠３５３および３５４が表示される。図７（Ｃ）に示す顔検出結果の推移においては、顔番号”３”および”４”として次の顔検出結果がＲＡＭ２０２に記憶される。

顔番号＝３、状態＝仮、領域＝３２３、中心座標＝（ｘ３，ｙ３）、左上枠座標＝（ｘ３ｌｕ，ｙ３ｌｕ）、右上枠座標＝（ｘ３ｒｕ，ｙ３ｒｕ）、右下枠座標＝（ｘ３ｒｂ，ｙ３ｒｂ）、および左下枠座標＝（ｘ３ｌｂ，ｙ３ｌｂ）が顔検出結果として記憶される。さらに、顔番号＝４、状態＝仮、領域＝３２３、中心座標＝（ｘ４，ｙ４）、左上枠座標＝（ｘ４ｌｕ，ｙ４ｌｕ）、右上枠座標＝（ｘ４ｒｕ，ｙ４ｒｕ）、右下枠座標＝（ｘ４ｒｂ，ｙ４ｒｂ）、および左下枠座標＝（ｘ４ｌｂ，ｙ４ｌｂ）が顔検出結果として記憶される。

図８（Ａ）に示す画像処理推移においては、４つ目の分割点３０４と分割線３１４とが設定されて、既入力曲線および分割線３１３が囲む領域と設定済みの分割検出領域との差が分割検出領域３２４として設定される。分割検出領域３２４においては「顔と不完全顔パーツ」３４４が検出されているので、顔検出結果および分割検出領域３２４の設定がクリアされる。このため、図８（Ｂ）に示す表示推移は図７（Ｂ）に示す表示推移と同様であり、図８（Ｃ）に示す顔検出結果の推移において顔検出結果はＲＡＭ２０２に記憶されない。つまり、図８（Ｃ）に示す顔検出結果の推移は図７（Ｃ）に示す顔検出結果の推移と同様である。

再び図３Ａおよび図３Ｂを参照して、ポインティングデバイス２１１における入力曲線が閉じた場合には（ステップＳ１０４において、ＮＯ）、ＣＰＵ２０１は終点設定を行う（ステップＳ１２２）。つまり、ＣＰＵ２０１は既入力曲線が囲む領域と設定済みの分割検出領域との差を分割検出領域Ｎとして設定する（ステップＳ１２３）。

続いて、ＣＰＵ２０１は分割検出領域Ｎに対応する画像データ領域Ｎを設定して（ステップＳ１２４）、この画像データ領域Ｎに対して顔パーツ検出処理を実行する（ステップＳ１２５）。そして、ＣＰＵ２０１は画像データ領域Ｎについて顔検出処理を実行する（ステップＳ１２６）。

次に、ＣＰＵ２０１は画像データ領域Ｎに「未検出顔の不完全顔パーツ」が含まれていないかについて判定する（ステップＳ１２７）。画像データ領域Ｎに「未検出顔の不完全顔パーツ」が含まれている場合には（ステップＳ１２７において、ＮＯ）、ＣＰＵ２０１は検出した「未検出顔の不完全顔パーツ」に係る検出情報を、ＲＡＭ２０２な記憶する（ステップＳ１２８）。そして、ＣＰＵ２０１は後述するＳ１３４の処理に進む。

画像データ領域Ｎに「未検出顔の不完全顔パーツ」が含まれていない場合には（ステップＳ１２７において、ＹＥＳ）、ＣＰＵ２０１は顔検出結果に、記憶済みの不完全顔パーツが属しているか否かについて判定する（ステップＳ１２９）。顔検出結果に記憶済みの不完全顔パーツが含まれている場合には（ステップＳ１２９において、ＹＥＳ）、ＣＰＵ２０１は記憶済みの不完全顔パーツに係る検出情報をクリアする（ステップＳ１３０）。そして、ＣＰＵ２０１はステップＳ１２６の顔検出処理で検出した顔の顔番号および顔の中心座標を記憶する（ステップＳ１３１）。

なお、顔検出結果に記憶済みの不完全顔パーツが含まれていない場合には（ステップＳ１２９において、ＮＯ）、ＣＰＵ２０１はステップＳ１３１の処理に進む。また、記憶済みの不完全顔パーツに係る検出情報のうち、顔検出結果に属さない検出情報はクリアされずに残る。

続いて、ＣＰＵ２０１は検出顔番号に対応した検出顔枠座標を、ＲＡＭ２０２に記憶する（ステップＳ１３２）。そして、ＣＰＵ２０１はステップＳ１２６の顔検出処理で検出した顔の顔枠を仮表示する（ステップＳ１３３）。

ここまでの処理では、図９（Ａ）に示す画像処理推移においては、終点３０５が設定され、既入力曲線と設定済みの分割検出領域との差が分割検出領域３２５として設定される。そして、顔検出処理によって分割検出領域３２５内にある顔が検出される。図９（Ｂ）に示す表示推移においては、ＬＣＤ２０６に検出した顔ついて仮表示枠３５５および３５６を表示される。図９（Ｃ）に示す顔検出結果においては、顔番号５および６として次の顔検出結果がＲＡＭ２０２に記憶される。

顔番号＝５、状態＝仮、領域＝３２５、中心座標＝（ｘ５，ｙ５）、左上枠座標＝（ｘ５ｌｕ，ｙ５ｌｕ）、右上枠座標＝（ｘ５ｒｕ，ｙ５ｒｕ）、右下枠座標＝（ｘ５ｒｂ，ｙ５ｒｂ）、および左下枠座標＝（ｘ５ｌｂ，ｙ５ｌｂ）が顔検出結果として記憶される。さらに、顔番号＝６、状態＝仮、領域＝３２５、中心座標＝（ｘ６，ｙ６）、左上枠座標＝（ｘ６ｌｕ，ｙ６ｌｕ）、右上枠座標＝（ｘ６ｒｕ，ｙ６ｒｕ）、右下枠座標＝（ｘ６ｒｂ，ｙ６ｒｂ）、および左下枠座標＝（ｘ６ｌｂ，ｙ６ｌｂ）が顔検出結果として記憶される。

続いて、ＣＰＵ２０１は既入力曲線の閉領域外に中心座標を有する顔番号の顔枠仮表示を消去する（ステップＳ１３４）。そして、ＣＰＵ２０１は既入力曲線の閉領域内に中心座標を有する顔番号の顔をオブジェクト登録して（ステップＳ１３５）、他のアプリケーションによって当該顔をオブジェクトとして処理できるようにする。その後、ＣＰＵ２０１は既入力曲線の閉領域内（つまり、閉曲線内）に中心座標を有する顔番号の顔枠仮表示を本表示枠に変更する（ステップＳ１３６）。つまり、ＣＰＵ２０１は閉曲線内に位置する顔に対して本表示枠を表示する。

ここまでの処理では、図１０（Ａ）に示す画像処理推移は、図９（Ａ）に示す画像処理推移と同様である。また、図１０（Ｂ）に示す表示推移においては、既入力曲線閉領域外に中心座標がある顔番号”１”に係る仮表示枠３５１がＬＣＤ２０６から消去され、仮表示枠３５２〜３５６（第１の表示形態）が本表示枠３６０（第２の表示形態）に変更されている（つまり、識別可能に表示されている）。そして、図１０（Ｃ）に示す顔検出結果の推移においては、顔番号”１”に係る検出結果が消去されて、顔番号”２”〜”６”の状態が「仮」から「本」に変更されている。

なお、ステップＳ１３６における本表示枠は、図示の例では、太い実線で示されているが、仮表示枠との区別ができれば、本表示枠はどのような表示状態でもあってもよい。

最後に、ＣＰＵ２０１は「未検出顔の不完全顔パーツ」に係る検出情報がＲＡＭ２０２に残っているかについて判定する（ステップＳ１３７）。「未検出顔の不完全顔パーツ」に係る検出情報がＲＡＭ２０２に残っていない場合には（ステップＳ１３７において、ＮＯ）、ＣＰＵ２０１は処理を終了する。このようにして、目標物の選択が確定するまでは所定のタイミングで選択される目標物を識別可能するための表示が更新される。

一方、「未検出顔の不完全顔パーツ」に係る検出情報がＲＡＭ２０２に残っている場合には（ステップＳ１３７において、ＹＥＳ）、ＣＰＵ２０１はポインティングデバイス２１１による入力曲線の閉じた領域内外に顔が跨っていると判定する。そして、ＣＰＵ２０１は表示制御部２０５を制御してＬＣＤ２０６に顔検出漏れ警告を表示して（ステップＳ１３８）、処理を終了する。

このように、第１の実施形態では、ポインティングデバイスによって画像データに対応した座標を入力している状態で、段階的に顔検出処理（予測処理）を行って、その結果を即時に表示することができる。さらに、ポインティングデバイスによる座標入力が終了した際、顔検出結果の確定と顔のオブジェクト登録とが同時に行える。つまり、ポインティングデバイスにより曲線を描画中は、その曲線により選択される可能性がある顔に枠を表示するので、どの顔が選択されるかを確認しながら曲線を描画できる。そのため、ユーザは曲線を描画中に、選択したくない顔に枠が表示された場合、その後の曲線の描画を調整することで、一度選択されて枠が表示された顔を選択対象から外すことも可能となる。また、曲線を描画し、閉曲線となったことに応じて、顔の選択を確定するため、複数の顔の選択と、その選択の確定という２つの操作を、曲線の描画という１つの操作で行うことができるため、操作性が向上する。また、閉曲線なったことに応じて、顔のオブジェクト登録を行うので、他のアプリケーションに対するオブジェクトの受け渡しを高速に行うことができる。そして、他のアプリケーションにおいては、オブジェクト登録された顔に対して、画像処理、例えば、モザイク処理および色補正処理などを実施することができる。

（第２の実施形態）
続いて、本発明の第２の実施形態による顔検出装置について説明する。

第２の実施形態による顔検出装置の構成は図１に示す顔検出装置と同様であるので説明を省略する。

上述の第１の実施形態においては、既入力曲線および分割線が囲む領域と設定済みの分割検出領域との差を分割検出領域として設定して、分割検出領域内にある顔検出するようにしたが、第２の実施形態においては、分割検出領域を拡大して顔検出するようにする。

図１１は、本発明の第２の実施形態において、図１に示すポインティングデバイスを用いて画像データに対応した座標の曲線を描いた際の顔検出結果の表示処理を説明するためのフローチャートである。なお、図１１において、図３Ａおよび図３Ｂに示す処理と同様の処理について同一の参照符号を付し、説明を省略する。

第２の実施形態においては、ステップＳ１１０において画像データ領域Ｎについて顔パーツ検出処理を実行した後、ＣＰＵ２０１は分割点Ｎ設定時におけるポインティングデバイスの進行方向ベクトル（つまり、描画方向）に分割線を拡大した領域を分割検出領域Ｎに加算して領域を拡大する（ステップＳ５５１）。そして、ＣＰＵ２０１は拡大した分割検出領域Ｎ（拡大分割領域）に対応する画像データ領域Ｎを設定する（ステップＳ５５２）。その後、図３ＡのステップＳ１１１で説明したように、ＣＰＵ２０１は画像データ領域Ｎについて顔検出処理を実行する。

顔検出処理の後、ＣＰＵ２０１は分割点Ｎ設定時におけるポインティングデバイスの進行方向ベクトルに分割線を拡大した領域を分割検出領域Ｎから減算して、領域を元に戻す（ステップＳ５１３）。その後、ＣＰＵ２０１は図３Ａで説明したステップＳ１１２〜Ｓ１２１の処理を行う。なお、ステップＳ１０４において、ポインティングデバイス２１１における入力曲線が閉じた場合には、ＣＰＵ２０１は図３Ｂで説明したステップＳ１２２〜１３８の処理を行う。

図１２〜図１６は、図１１で説明した顔予測検出処理を行う際の画像処理推移、表示推移、および顔検出結果推移の概念を説明するための図である。なお、ここでは画像データについて第１の実施形態と同様であるので、顔番号に対応する顔検出結果は第１の実施形態と同様である。

図４で説明したように、分割点３０１および分割線３１１が設定されて、既入力曲線３４０と分割線３１１とが囲む領域が分割検出領域として設定される。そして、ＬＣＤ２０６に既入力曲線３５０が表示される。

続いて、図１２（Ａ）に示す画像処理推移においては、分割検出領域３７１が設定され、分割点３０１の設定時におけるポインティングデバイスの進行方向ベクトルに分割線３１１を拡大した領域３３１を分割検出領域３７１に加算して、拡大分割検出領域とする。この結果、分割検出領域３７１＋拡大領域３３１内にある顔が検出されることになる。そして、図１２（Ｂ）に示す表示推移においては、検出した顔についてＬＣＤ２０６に仮表示枠３５１が表示される。図１２（Ｃ）に示す顔検出結果の推移においては、顔番号”１”に係る顔検出結果がＲＡＭ２０２に記憶される。

ここで、拡大領域３３１内には他の顔パーツの一部が掛かった状態になっているが、顔パーツ検出処理は分割検出領域を拡大する前分割検出領域３７１において行われるため、「未検出顔の不完全顔パーツ」としては記憶されない。

図１３（Ａ）に示す画像処理推移においては、分割検出領域３７２が設定され、分割点３０２の設定時におけるポインティングデバイスの進行方向ベクトルに分割線３１２を拡大した領域３３２を分割検出領域３７２に加算して拡大分割検出領域とする。この結果、分割検出領域３７２＋拡大領域３３２内にある顔が検出されることになる。図１３（Ｂ）に示す表示推移においては、検出した顔についてＬＣＤ２０６に仮表示枠３５２が表示される。そして、図１３（Ｃ）に示す顔検出結果の推移においては、顔番号”２”に係る顔検出結果がＲＡＭ２０２に記憶される。

図１４（Ａ）に示す画像処理推移においては、分割検出領域３７３が設定され、分割点３０３の設定時におけるポインティングデバイスの進行方向ベクトルに分割線３１３を拡大した領域３３３を分割検出領域３７３に加算して拡大分割検出領域とする。そして、分割検出領域３７３＋拡大領域３３３内にある顔が検出されることになる。図１４（Ｂ）に示す表示推移においては、検出した顔についてＬＣＤ２０６に仮表示枠３５３、３５４が表示される。図１４（Ｃ）に示す顔検出結果の推移において、顔番号”３”および”４”に係る顔検出結果がＲＡＭ２０２に記憶される。

図１５（Ａ）に示す画像処理推移においては、分割検出領域３７４が設定され、分割点３０４の設定時におけるポインティングデバイスの進行方向ベクトルに分割線３１４を拡大した領域３３４を分割検出領域３７４に加算して拡大分割検出領域とする。そして、分割検出領域３７４＋拡大領域３３４内にある顔が検出されることになる。図１５（Ｂ）に示す表示推移において、検出した顔についてＬＣＤ２０６に仮表示枠３５５、３５６が表示される。図１５（Ｃ）に示す顔検出結果の推移においては、顔番号”５”および”６”に係る顔検出結果がＲＡＭ２０２に記憶される。

なお、図１５において、分割検出領域３７４では一度不完全顔パーツ３４４が検出されているが、その後の顔検出処理により当該不完全顔パーツ３４４を含む顔が検出される。このため、不完全顔パーツ３４４は「未検出顔の不完全顔パーツ」ではないと判定され、未検出顔の不完全顔パーツに係る検出情報としては記憶されない。

図１６（Ａ）に示す画像処理推移においては、終点３０５および分割検出領域３７５が設定される。分割検出領域３７５では複数の顔パーツ３４５が検出されるが、既に検出済みの顔の顔パーツであるため、これらは「未検出顔の不完全顔パーツ」に係る検出情報として記憶されない。

このように、第２の実施形態では、ポインティングデバイスによる入力曲線が図１５（Ａ）に示す状態である際に、顔番号”６”までを検出することができる。つまり、第２の実施形態では、分割線の設定時に分割線に跨る顔があった場合に、分割検出領域を拡大して顔を検出して入力曲線に対する顔予測検出を効率的に行うことができる。

以上のように、本発明の実施の形態では、ポインティングデバイスによって画像データ、つまり、画像に対応して描画された描画線（曲線）を描き、当該描画線が閉じるまでの間において段階的に顔予測検出処理を行う。そして、描画線が描かれる途中において顔予測検出結果を即時に画面表示する。さらに、描画線が閉じると（つまり、描画線が閉曲線となると）、描画線で囲まれた領域（閉曲線内の領域）における顔検出結果のみを画面表示する。これによって、顔検出結果に応じて所望の顔を選別して、当該顔に画像処理を施す際、速やかに選別処理を行うことができる。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

上述の説明では、顔検出装置を印刷装置に適用した例について説明したが、印刷装置に限らず、任意の画像データに対して座標を入力して、顔パーツおよび顔検出を行う装置であれば本発明を適用することができる。

上述の実施形態では、描画線が描かれている間に、顔の検出処理を行ったが、画像データ中の顔検出処理は予め行い、顔の位置の座標データを記録しておいてもよい。この場合、描画線が描かれている間は、記録されている顔の座標データに基づいて、顔の検出枠を表示したり、顔オブジェクトの登録の処理を行う。また、上記の実施の形態の機能を制御方法として、この制御方法を、顔検出装置に実行させるようにすればよい。また、上述の実施の形態の機能を有する制御プログラムを、顔検出装置が備えるコンピュータに実行させるようにしてもよい。

この際、制御方法及び制御プログラムの各々は、少なくとも描画ステップ、領域形成ステップ、目標物検出ステップ、および表示制御ステップを備える。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ ＲＯＭ
２０４ 画像処理部
２０５ 表示制御部
２０６ ＬＣＤ
２０９ 操作入力部
２１１ ポインティングデバイス
２１２ 印刷機能制御部
２１３ 印刷エンジン

Claims (11)

1. 複数の目標物が含まれる画像データから当該目標物を選択する目標物選択装置において、
   前記画像データに応じた画像を表示手段に表示させる表示制御手段と、
   前記表示手段に表示されている画像に描画線を描画するための描画手段と、
   前記描画手段により描画された描画線に基づいて、前記画像データに含まれる目標物を選択する選択手段と、
   前記描画手段により描画された描画線が閉曲線となったことに応じて、目標物の選択を確定する確定手段と、を有し、
   前記描画手段により描画された前記描画線が閉曲線を形成していない場合は、前記選択手段は、前記描画線に点を設定して、前記描画線の始点および前記点を結ぶ線と前記描画線とによって規定される領域にある目標物を選択し、
   前記描画手段により描画された前記描画線が閉曲線となった場合には、前記選択手段は、前記閉曲線に囲まれる領域にある目標物を選択し、
   前記確定手段は、前記閉曲線に囲まれる領域にある目標物の選択を確定し、
   前記表示制御手段は、前記描画手段により描画された前記描画線が閉曲線を形成していない場合は、前記選択手段により選択された目標物を第１の表示形態で識別可能に表示し、前記描画手段により描画された前記描画線が閉曲線となった場合には、前記選択手段により選択されて前記確定手段により選択が確定した目標物を前記第１の表示形態と異なる第２の表示形態で識別可能に表示するように制御することを特徴とする目標物選択装置。
2. 前記表示制御手段は、前記確定手段による目標物の選択が確定するまでは、所定のタイミングで、選択される目標物を識別可能するための表示を更新し続けることを特徴とする請求項１に記載の目標物選択装置。
3. 前記表示制御手段は、前記第１の表示形態として前記目標物を示す仮表示枠を表示し、前記第２の表示形態として前記仮表示枠を当該仮表示枠と表示形態が異なる本表示枠に変更することを特徴とする請求項１又は２に記載の目標物選択装置。
4. 前記選択手段は、前記始点又は前記点が設定されてから所定の時間が経過するか又は前記描画線が所定の距離だけ描画されると、新たに前記描画線に点を設定することを特徴とする請求項１乃至３のいずれか１項に記載の目標物選択装置。
5. 前記選択手段は、前記描画手段により描画された前記描画線が閉曲線を形成していない場合には、前記描画線の始点および前記点を結ぶ線と前記描画線とによって規定される領域を検出領域とし、前記描画手段により描画された前記描画線が閉曲線となった場合には、前記閉曲線に囲まれる領域を検出領域とし、前記検出領域から検出される目標物を選択することを特徴とする請求項１乃至３のいずれか１項に記載の目標物選択装置。
6. 前記選択手段は、前記始点又は前記点が設定されてから所定の時間が経過するか前記描画線が所定の距離だけ描画されると、新たに前記描画線に点を設定し、新たな点を設定した場合には、新たな点および前記始点を結ぶ線と前記描画線とによって規定される領域と前回に設定されていた領域との差を検出領域として目標物を検出し、新たに検出した目標物を追加して選択することを特徴とする請求項５に記載の目標物選択装置。
7. 前記描画手段により描画された前記描画線が閉曲線を形成していない場合に前記選択手段により選択された目標物について、前記画像データにおける座標を記憶する記憶手段を有することを特徴とする請求項１乃至６のいずれか１項に記載の目標物選択装置。
8. 前記選択手段は、所定の条件を満たす場合に、前記検出領域として設定される領域をクリアするとともに、前記検出領域から検出される目標物の選択をクリアするクリア手段を有することを特徴する請求項５又は６に記載の目標物選択装置。
9. 前記目標物は人物の顔であることを特徴とする請求項５又は６に記載の目標物選択装置。
10. 複数の目標物が含まれる画像データから当該目標物を選択する目標物選択装置の制御方法において、
    前記画像データに応じた画像を表示手段に表示させる表示制御ステップと、
    前記表示手段に表示されている画像に描画線を描画するための描画ステップと、
    前記描画ステップで描画された描画線に基づいて、前記画像データに含まれる目標物を選択する選択ステップと、
    前記描画ステップで描画された描画線が閉曲線となったことに応じて、目標物の選択を確定する確定ステップと、を有し、
    前記描画ステップで描画された前記描画線が閉曲線を形成していない場合は、前記選択ステップでは、前記描画線に点を設定して、前記描画線の始点および前記点を結ぶ線と前記描画線とによって規定される領域にある目標物を選択し、
    前記描画ステップで描画された前記描画線が閉曲線となった場合には、前記選択ステップでは、前記閉曲線に囲まれる領域にある目標物を選択し、
    前記確定ステップでは、前記閉曲線に囲まれる領域にある目標物の選択を確定し、
    前記表示制御ステップでは、前記描画ステップで描画された前記描画線が閉曲線を形成していない場合は、前記選択ステップで選択された目標物を第１の表示形態で識別可能に表示し、前記描画ステップで描画された前記描画線が閉曲線となった場合には、前記選択ステップで選択されて前記確定ステップにより選択が確定した目標物を前記第１の表示形態と異なる第２の表示形態で識別可能に表示するように制御することを特徴とする制御方法。
11. 複数の目標物が含まれる画像データから当該目標物を選択する目標物選択装置で用いられる制御プログラムにおいて、
    前記目標物選択装置が備えるコンピュータに、
    前記画像データに応じた画像を表示手段に表示させる表示制御ステップと、
    前記表示手段に表示されている画像に描画線を描画するための描画ステップと、
    前記描画ステップで描画された描画線に基づいて、前記画像データに含まれる目標物を選択する選択ステップと、
    前記描画ステップで描画された描画線が閉曲線となったことに応じて、目標物の選択を確定する確定ステップと、を実行させ、
    前記描画ステップで描画された前記描画線が閉曲線を形成していない場合は、前記選択ステップでは、前記描画線に点を設定して、前記描画線の始点および前記点を結ぶ線と前記描画線とによって規定される領域にある目標物を選択し、
    前記描画ステップで描画された前記描画線が閉曲線となった場合には、前記選択ステップでは、前記閉曲線に囲まれる領域にある目標物を選択し、
    前記確定ステップでは、前記閉曲線に囲まれる領域にある目標物の選択を確定し、
    前記表示制御ステップでは、前記描画ステップで描画された前記描画線が閉曲線を形成していない場合は、前記選択ステップで選択された目標物を第１の表示形態で識別可能に表示し、前記描画ステップで描画された前記描画線が閉曲線となった場合には、前記選択ステップで選択されて前記確定ステップにより選択が確定した目標物を前記第１の表示形態と異なる第２の表示形態で識別可能に表示するように制御することを特徴とする制御プログラム。

Images