JP4355726B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像データに基づいて、画像中の人物の顔領域等の特定領域を抽出して画像処理を行う画像処理装置、画像処理方法およびプログラムに関する。

高解像度デジタルカメラなどの登場などにより、情報量が多く画像サイズの大きなデジタル画像が生成可能になった。高品質のデジタル画像の利点は、画像中の特定領域を拡大表示しても十分な品質を保てることにある。

そこで、スライドショー再生中に自動で画像を拡大表示するスライドショー機能など、画像の拡大表示を有効的に利用したアプリケーションソフトウェアが提案されている。

しかし、このアプリケーションソフトウェアでは、拡大表示される領域は必ずしも人物の顔を中心に拡大表示されているとは限らない。撮影された画像が人物であれば、撮影された人物の表情を大きく表示したい場合がある。

このような要求に応えるために、画像の顔領域を自動検出して、順番に拡大表示する方法が提案されている（特許文献１）。
特開２００３−２０９６８３号公報

しかし、上記特許文献１では、集合写真として撮影した画像であっても個々の顔領域を拡大表示するだけであり、顔領域を効果的に拡大表示することができない。

また、画像の情報量が多くなることで、画像処理に要する時間が増大するという問題も生じる。

そこで、本発明は、画像から抽出された顔領域を効果的に拡大表示することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、画像中の顔領域を抽出し、前記顔領域を含んだ拡大画像を表示する画像処理装置であって、前記拡大画像に含まれる顔領域の個数をユーザの指示に応答して設定する設定手段と、前記画像に含まれる顔領域の前記設定された個数ずつの組み合わせを取得する取得手段と、前記組み合わせの１つを構成する前記顔領域を内包する最小の矩形枠を決定する決定手段と、前記矩形枠の画像を拡大表示する拡大表示手段とを備え、前記決定手段は、前記拡大表示手段が前記矩形枠の画像を拡大表示しているときに前記ユーザの切替操作を受け付けると、前記組み合わせと異なる組み合わせを選択し、前記矩形枠を更新することを特徴とする。

本発明の画像処理方法は、画像中の顔領域を抽出し、前記顔領域を含んだ拡大画像を表示する画像処理方法であって、前記拡大画像に含まれる顔領域の個数をユーザの指示に応答して設定する設定ステップと、前記画像に含まれる顔領域の前記設定された個数ずつの組み合わせを取得する取得ステップと、前記組み合わせの１つを構成する前記顔領域を内包する最小の矩形枠を決定する決定ステップと、前記矩形枠の画像を拡大表示する拡大表示ステップとを備え、前記決定ステップは、前記拡大表示ステップで前記矩形枠の画像を拡大表示しているときに前記ユーザの切替操作を受け付けると、前記組み合わせと異なる組み合わせを選択し、前記矩形枠を更新することを特徴とする。

本発明のプログラムは、画像中の顔領域を抽出し、前記顔領域を含んだ拡大画像を表示する画像処理装置を制御するプログラムであって、前記拡大画像に含まれる顔領域の個数をユーザの指示に応答して設定する設定ステップと、前記画像に含まれる顔領域の前記設定された個数ずつの組み合わせを取得する取得ステップと、前記組み合わせの１つを構成する前記顔領域を内包する最小の矩形枠を決定する決定ステップと、前記矩形枠の画像を拡大表示する拡大表示ステップとをコンピュータに実行させ、前記決定ステップは、前記拡大表示ステップで前記矩形枠の画像を拡大表示しているときに前記ユーザの切替操作を受け付けると、前記組み合わせと異なる組み合わせを選択し、前記矩形枠を更新することを特徴とする。

本発明によれば、画像から抽出された顔領域を効果的に拡大表示することができる。

以下、本発明の実施の形態の一例を図を参照して説明する。

図１は、本発明の実施形態である、プラットフォームとなる画像処理装置の構成例を示している。

この画像処理装置は、図１に示すように、コンピュータシステム本体１０１、データを表示するディプレイ１０２、ポインティングデバイスであるマウスボタン１０４を有するマウス１０３、およびキーボード１０５を備える。

図２に、画像処理装置のハードウェア２０１と、ハードウェア２０１の上で動作するオペレーティングシステム（以下、ＯＳという）２０２と、ＯＳ２０２の上で動作するアプリケーションソフトウェア２０３を含む構成例を示す。

ＯＳ２０２は、ファイルシステム２０２１、描画管理システム２０２２、および入力デバイス管理システム２０２３を備える。

ファイルシステム２０２１は、アプリケーションソフトウェア２０３がハードウェア２０１を意識せずにファイルの入出力が行える機能がある。描画管理システム２０２２は、アプリケーションソフトウェア２０３がハードウェア２０１を意識せずに描画が行えるようにする機能がある。入力デバイス管理システム２０２３は、アプリケーションソフトウェア２０３がハードウェア２０１を意識せずに、ユーザの入力を受け取ることができるようにする機能がある。

ハードウェア２０１は、入力デバイスインターフェイス２０１４、ビデオインターフェイス２０１３、ディスクＩＯインターフェイス２０１２、マウス・キーボード１０３，１０５、ディスプレイ２０１０、およびハードディスク２００９を備える。

ディスクＩＯインターフェイス２０１２は、ファイルシステム２０２１がハードディスク２００９の読み書きを行うためのインターフェイスである。ビデオインターフェイス２０１３は、描画管理システム２０２２がディスプレイ１０２に描画を行うためのインターフェイスである。入力デバイスインターフェイス２０１４は、入力デバイス管理システム２０２３がキーボード１０５やマウス１０３からの入力を受け取るためのインターフェイスである。

また、アプリケーションソフトウェア２０３は、転送状態管理ソフト２０３１を備える。なお、図２では、ハードウェア２０１では、ＣＰＵ，メモリ、ＯＳ２０２では、メモリ管理システム等の図示を省略してある。

次に、本発明の第１の実施形態である画像処理装置について説明する。この実施形態では、顔領域が含まれているデジタル画像をビューアで効果的に拡大表示する例を説明する。

図３は顔領域が含まれた画像例を示す図、図４は顔領域を検出し拡大表示するビューアアプリケーションの一例を示す図である。

このビューアアプリケーションでは、図３の画像３０１がウィンドウ４０７に表示される。ウィンドウ４０７には、ラジオボタン４０１、ラジオボタン４０２、エディットボックス４０５、および「拡大する」ボタン４０６が配置されている。

ラジオボタン４０１は、画像３０１に含まれるすべての顔領域を含んだ拡大画像の表示を指示するボタンである。エディットボックス４０５は、拡大表示する顔領域の個数を指定するボタンである。ラジオボタン４０２は、エディットボックス４０５で指定された個数の顔領域を含んだ拡大画像の表示を指示するボタンである。「拡大する」ボタン４０６は、ラジオボタン４０１もしくはラジオボタン４０２で指定された拡大方法に従って画像の拡大表示を開始するボタンである。

まず、図１４を参照して、ラジオボタン４０１を選択し、続けて「拡大する」ボタン４０６を押下した場合の動作例について説明する。

まず、ステップＳ１４０１では、ラジオボタン４０１を選択し、「拡大する」ボタン４０６を押下すると、画像中の顔領域４０３を抽出開始する。画像には複数の顔領域が存在する可能性があるため、ステップＳ１４０２で、顔領域が抽出できなくなるまでこの顔領域抽出作業を繰り返す。

次に、ステップＳ１４０３では、抽出されたすべての顔領域を内包する最も小さな矩形枠４０４（図４）を決定する。次に、ステップＳ１４０４では、決定した矩形枠４０４が出力画像に求められている縦横比を満たしていなければ、矩形枠４０４の中心を基準に出力画像に求められている縦横比を満たすまで矩形枠４０４を広げる。そして、ステップＳ１４０５で、矩形枠４０４を矩形枠５０１（図５）として拡大表示する。

次に、図１５を参照して、ラジオボタン４０２を選択し、続けて「拡大する」ボタン４０６を押下した場合の動作について説明する。

まず、ステップＳ１５０１では、拡大表示する顔領域の個数を指定する。図４の例では、ラジオボタン４０２を選択し、エディットボックス４０５に数値を入力し、「拡大する」ボタン４０６を押下する。ここでは、エディットボックス４０５に「２」を入力した場合を例に採る。

次に、ステップＳ１５０２およびステップＳ１５０３では、画像中に存在する全ての顔領域を抽出する。そして、ステップＳ１５０４では、エディットボックス４０５で指定された数と同数の顔領域を内包する最も小さな矩形枠６０１（図６）を決定する。

さらに、ステップＳ１５０５では、決定した矩形枠６０１が出力画像に求められている縦横比を満たしていなければ、矩形枠６０１の中心を基準に出力画像に求められている縦横比を満たすまで矩形枠６０１を広げる。そして、ステップＳ１５０６で、矩形枠６０１を矩形枠７０１（図７）として拡大表示する。

指定された個数がすべての顔領域の個数に満たない場合、拡大表示する顔領域の組み合わせは複数個存在する。ラジオボタン４０２を選択し、エディットボックス４０５にすべての顔領域の個数に満たない個数を指定した状態で、繰り返して[拡大する]ボタン４０６を押した場合の動作について、図８を用いて説明する。

まず、ステップＳ８０２では、拡大表示する顔領域の個数を指定する。図４の例では、ラジオボタン４０２を選択し、エディットボックス４０５に数値を入力し、「拡大する」ボタン４０６を押すことに相当する。

次に、ステップＳ８０３およびステップＳ８０４では、画像中に存在する全ての顔領域を抽出する。そして、ステップＳ８０５では、抽出されたすべての顔領域の数から、ステップＳ８０２で指定された個数の組み合わせをすべて計算する。

次に、ステップＳ８０６では、ステップＳ８０５で計算された組み合わせのうち一つの組み合わせを選び、組み合わせが内包できる最も小さな矩形枠を決定する。さらに、ステップＳ８０７では、決定した矩形枠が出力画像に求められている縦横比を満たしていなければ、矩形枠の中心を基準に出力画像に求められている縦横比を満たすまで矩形枠を広げる。そして、ステップＳ８０８では、矩形枠を拡大表示する。

次に、ステップＳ８０９では、再度、ステップＳ８０２で指定された個数の顔領域の拡大表示要求を受け取ると、ステップＳ８１０で、これまで拡大表示した組み合わせとは異なる組み合わせを選びだし、ステップＳ８０６に戻って、拡大処理を繰り返す。

ここで、拡大表示された顔領域から別の顔領域を拡大表示する際には、次に拡大表示する顔領域に瞬時に切り替えて拡大表示してもよいが、全ての顔領域を含む最小の矩形枠を表示できるまでズームアウトし、それから別の顔領域へズームインをしてもよい。もしくは次に拡大表示したい顔領域までをパンニングしながら拡大表示領域を切り替えてもよい。

なお、既に拡大表示している状態でラジオボタン４０２を選択し、「拡大する」ボタン４０６を押すと、現在拡大表示している顔領域の組み合わせとは異なる組み合わせの顔領域を拡大表示することもできる。

次に、本発明の第２の実施形態である画像処理装置について説明する。この実施形態では、顔領域への自動ズーム機能と顔領域への自動パンニング機能とを有したスライドショー表示の例を説明する。

図９に、顔領域に対して自動でズーミングするスライドショー表示の例を示す。

まず、スライドショーで表示する画像９０２内の顔領域９０５を抽出し、ズームインするための基準点となる顔領域９０５を内包する矩形枠９０６を決め、矩形枠９０６が矩形枠９０３、矩形枠９０４と徐々に面積が大きくなるように拡大表示をする。

次に、一枚の画像から複数の顔領域が抽出された場合の自動ズーミングをするスライドショーの例を説明する。図１０に、一枚の画像中から抽出された顔領域を順にズーミングする例を示す。

顔領域が複数個抽出される画像１００１の場合は、顔領域が抽出できなくなるまで抽出作業を繰り返す。この場合、画像１００２と画像１００３のように、一つの画像に対してズーミングを行うことも可能である。また、画像１００４のように複数の顔領域のうち、例えば２つを拡大表示する顔領域と決め、画像１００５のように２つの顔領域の中心が徐々に画像中央に近づくように拡大表示することもできる。

拡大表示しているある顔領域から別の顔領域に切り替えて拡大表示する際には、全ての顔領域を含む最小の矩形枠を表示できるまで、拡大表示時にズームインをするために利用した基準点を基にズームアウトをしてもよい。もしくは次に拡大表示したい顔領域の基準点までをパンニングしながら拡大表示領域を切り替えてもよい。もちろん、次に拡大表示する顔領域に瞬時に切り替えて拡大表示してもよい。

上述の例では、画像１００１をスライドショーの開始状態としたが、開始状態は拡大表示状態の画像１００３もしくは画像１００５であっても構わない。

次に、本発明の第３の実施形態である画像処理装置について説明する。この実施形態では、デジタルカメラなどで撮影したＣＣＤ−ＲＡＷ画像を用いて、顔領域を利用した画像処理の効率化を図る例を説明する。

図１２に、一般的なＣＣＤ−ＲＡＷ画像のデータ構成例を示す。

デジタルカメラで撮影されるＣＣＤ−ＲＡＷ画像ファイル１２０１は、ＲＡＷデータ１２０２と、ＲＡＷデータ１２０２と同じ構図のＪＰＥＧデータ１２０３およびサムネイルデータ１２０４とで構成される場合が多い。通常、サムネイルデータ１２０４やＪＰＥＧデータ１２０３は、ＲＡＷデータ１２０２の簡易表示用として用いられる。ＲＡＷデータ１２０２を表示するためには、多くの処理時間を必要とする現像処理しなくてはならないためである。

しかし、図１３に示すように、ＪＰＥＧデータ１３０１から抽出される顔領域１３０３の位置情報を用いて、ＲＡＷデータ１３０２上の顔領域１３０４から現像処理を開始すれば、顔領域１３０４以外の現像処理を待つ必要がなくなる。このため、画像１３０２全体を現像処理するに値するかを早い段階で判断できる。

ＪＰＥＧデータ１３０１がＲＡＷデータ１３０２と全く同じ解像度であれば、ＪＰＥＧデータ１３０１上の顔領域１３０３とＲＡＷデータ１３０２上の顔領域１３０４とは全く同じ場所になる。一方、ＪＰＥＧデータ１３０１とＲＡＷデータ１３０２との解像度が異なる場合は、ＪＰＥＧデータ１３０１とＲＡＷデータ１３０２との比率を基にＲＡＷデータ１３０２上の顔領域１３０４を算出することができる。

ここでは、ＪＰＥＧデータ１３０１とＲＡＷデータ１３０２とが同一ファイルの中にある場合を例示したが、ＪＰＥＧデータ１３０１とＲＡＷデータ１３０２とが同一の構図であれば、異なるファイルであってもこの方法を採用することが可能である。

このＪＰＥＧデータを用いて、ＲＡＷ画像の顔領域を優先的に現像処理する流れを図１１に示す。

まず、ステップＳ１１０１では、ＲＡＷ画像の解析を始める。ステップＳ１１０２では、ＲＡＷ画像中の内蔵ＪＰＥＧの有無を判断する。ステップＳ１１０２で、内蔵ＪＰＥＧが存在しなければ、ステップＳ１１１０に移行して、顔領域を優先した現像処理は行なわず通常の現像処理を行う。ステップＳ１１０２で、内蔵ＪＰＥＧが存在すれば、ステップＳ１１０３に移行する。

ステップＳ１１０３では、内蔵ＪＰＥＧから顔領域を抽出する。複数の顔領域が抽出可能な場合は、最も確度の高い顔領域のみの抽出でもよい。もちろんすべての顔領域を抽出してもかまわない。

次に、ステップＳ１１０４では、抽出した顔領域の大きさと、顔領域のＪＰＥＧデータ上での位置情報を算出する。この位置情報を算出する例を図１６で示す。この例では、顔領域を矩形で表示しているため、矩形の横の長さ１６０１をＸ１と縦の長さ１６０２をＹ１としている。また、ＪＰＥＧデータ上の位置はＪＰＥＧデータの左上の隅を基準としているので、顔領域を示す矩形が左上の隅からの横方向の距離１６０３をＸ２とし、縦方向の距離１６０４をＹ２としている。

次に、ステップＳ１１０５では、ステップＳ１１０４で算出したＪＰＥＧデータ上の位置情報を基にＲＡＷデータ上での顔領域を特定する。ＲＡＷデータは内蔵ＪＰＥＧのａ倍であると、図１７に示すように、ＲＡＷデータ上での顔領域の大きさはａＸ１、ａＹ１となり、ＲＡＷデータ上での顔領域の位置はａＸ２、ａＹ２となることがわかる。

次に、ステップＳ１１０６では、ステップＳ１１０５で特定した顔領域の現像処理を優先的に開始し、ステップＳ１１０７で、現像処理された領域から優先的にＲＡＷデータを表示する。次に、ステップＳ１１０８では、現像を中断する指示がある、又は現像すべきデータが存在しない場合は、処理を終了し、そうでなければ、ステップＳ１１０６に戻り、現像処理を繰り返す。

以上説明したように、この実施形態では、画像から抽出された顔領域情報に基づいて、該顔画像領域を効果的に拡大表示することができるとともに、顔画像領域の画像の現像処理を効率よく行なうことができるという効果が得られる。

また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

本発明の実施形態であるプラットフォームとなる画像処理装置の概略図である。 ソフトウェアとハードウェアの構成例を示すブロック図である。 顔領域が含まれた画像の一例を示す図である。 顔領域を抽出して拡大表示する例を示す図である。 全ての顔領域を拡大表示した例を示す図である。 指定された個数の顔領域を拡大表示する例を示す図である。 指定された個数の顔領域を拡大表示した例を示す図である。 異なる顔領域を拡大表示する動作例を説明するためのフローチャート図である。 スライドショーで顔領域を自動でズーミングする例を示す図である。 スライドショーで複数の顔を含んだ顔領域を自動でズーミングする例を示す図である。 ＪＰＥＧデータの顔領域位置情報を利用してのＲＡＷデータ現像処理を説明するためのフローチャート図である。 ＣＣＤ−ＲＡＷ画像のデータ構成例を示す図である。 ＪＰＥＧデータの顔領域位置情報を利用してのＲＡＷデータ現像処理例を示す図である。 ビューアで全ての顔領域を拡大表示する際の動作例を説明するためのフローチャート図である。 ビューアで指定した個数の顔領域を拡大表示する際の動作例を説明するためのフローチャート図である。 ＪＰＥＧデータ上での顔領域の位置情報の算出例を説明するための図である。 ＪＰＥＧデータ上での顔領域位置情報を基にした、ＲＡＷデータ上での顔領域位置情報の算出例を説明するための図である。

符号の説明

１０１ コンピュータシステム本体
１０２ ディプレイ
１０３ マウス
１０５ キーボード
２０１ ハードウェア
２０２ ＯＳ
２０３ アプリケーションソフトウェア
４０１ ラジオボタン
４０２ ラジオボタン
４０５ エディットボックス
４０６ 「拡大する」ボタン
４０７ ウィンドウ
２００９ ハードディスク
２０１２ ＩＯインターフェイス
２０１３ ビデオインターフェイス
２０１４ 入力デバイスインターフェイス
２０２１ ファイルシステム
２０２２ 描画管理システム
２０２３ 入力デバイス管理システム
２０３４ 転送状態管理ソフト

Claims (3)

1. 画像中の顔領域を抽出し、前記顔領域を含んだ拡大画像を表示する画像処理装置であって、
   前記拡大画像に含まれる顔領域の個数をユーザの指示に応答して設定する設定手段と、
   前記画像に含まれる顔領域の前記設定された個数ずつの組み合わせを取得する取得手段と、
   前記組み合わせの１つを構成する前記顔領域を内包する最小の矩形枠を決定する決定手段と、
   前記矩形枠の画像を拡大表示する拡大表示手段とを備え、
   前記決定手段は、前記拡大表示手段が前記矩形枠の画像を拡大表示しているときに前記ユーザの切替操作を受け付けると、前記組み合わせと異なる組み合わせを選択し、前記矩形枠を更新することを特徴とする画像処理装置。
2. 画像中の顔領域を抽出し、前記顔領域を含んだ拡大画像を表示する画像処理方法であって、
   前記拡大画像に含まれる顔領域の個数をユーザの指示に応答して設定する設定ステップと、
   前記画像に含まれる顔領域の前記設定された個数ずつの組み合わせを取得する取得ステップと、
   前記組み合わせの１つを構成する前記顔領域を内包する最小の矩形枠を決定する決定ステップと、
   前記矩形枠の画像を拡大表示する拡大表示ステップとを備え、
   前記決定ステップは、前記拡大表示ステップで前記矩形枠の画像を拡大表示しているときに前記ユーザの切替操作を受け付けると、前記組み合わせと異なる組み合わせを選択し、前記矩形枠を更新することを特徴とする画像処理方法。
3. 画像中の顔領域を抽出し、前記顔領域を含んだ拡大画像を表示する画像処理装置を制御するプログラムであって、
   前記拡大画像に含まれる顔領域の個数をユーザの指示に応答して設定する設定ステップと、
   前記画像に含まれる顔領域の前記設定された個数ずつの組み合わせを取得する取得ステップと、
   前記組み合わせの１つを構成する前記顔領域を内包する最小の矩形枠を決定する決定ステップと、
   前記矩形枠の画像を拡大表示する拡大表示ステップとをコンピュータに実行させ、
   前記決定ステップは、前記拡大表示ステップで前記矩形枠の画像を拡大表示しているときに前記ユーザの切替操作を受け付けると、前記組み合わせと異なる組み合わせを選択し、前記矩形枠を更新することを特徴とするプログラム。

Images