JP4464116B2 - 画像表示制御装置、画像表示制御装置の制御方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、画像表示制御装置、画像表示制御装置の制御方法、プログラム及び記録媒体に関する。

近年、デジタルカメラやデジタルビデオの普及により、個人が大量のデジタル画像データを保持することが増えている。このように、保持するデータ量が膨大になると、その中から求めるデジタル画像データを検索するための方法が重要になる。たとえば、検索方法のひとつとして、デジタル画像データから人間の顔が写っているものだけを検索したい、あるいは、特定の人物の顔が写っているものだけを検索したい、といった方法が求められている。

これらの検索を行なうことによって、特定の人物が映っているデジタル画像データだけを特定のフォルダに収納したり、顔領域だけを切り出して他のデジタル画像データと合成したりするなどの処理を行なうことができる。

また、人物の顔を検出した場合、それをどのようにユーザに見せるか、というユーザインタフェースも重要になる。たとえば、特許文献１に記載されている「画像処理装置及び画像処理装置制御プログラムを記憶した媒体」においては、人物像を含むデジタル画像データに対して、画像の色データと、あらかじめ用意された顔認識色データを比較することによって顔画像の領域を検出し、最大の面積を持つ顔画像の領域を補色データで反転表示することで、顔画像の領域がどこかをユーザに提示するようにしている。また、「選択」ボタンをタッチすることで、次に大きな面積を持つ顔画像を検出し、その顔画像を反転表示するようにしている。

特開平１０-３３４２１３号公報

しかしながら、前記特許文献１では、１枚のデジタル画像データにおいて、複数の顔画像の領域を、「選択」ボタンによって次々と反転表示していくことは開示されているが、顔画像の領域を持つデジタル画像データが複数のあった場合のユーザインタフェースについては何も開示されていなかった。

また、実際にユーザが顔画像の検索を行なうときには、一般に、複数のデジタル画像データが検索されるため、それに対応したユーザインタフェースが必要となる問題点があった。
本発明は前述の問題点にかんがみ、複数のデジタル画像データの中から所望のデジタル画像データを表示できるようにすること、及びデジタル画像データにおける顔領域の選択を単一の操作でできるようにすることを目的とする。

本発明の画像表示制御装置は、画像に含まれる顔領域を示す領域情報を該画像と関連付けて記憶する記憶手段と、複数の顔領域を含む第１の画像のうち、少なくとも現在選択している顔領域を含む領域を表示部に表示するよう制御する表示制御手段と、前記第１の画像に含まれる顔領域うち、選択される顔領域を前記現在選択している顔領域から他の顔領域へ切り替える指示を受け付ける指示受付手段と、前記指示受付手段によって前記指示を受け付けた際に、前記現在選択している顔領域が、前記第１の画像に関連付けて前記記憶手段に記憶されている複数の前記領域情報のうち、所定の順序における最後の領域情報が示す顔領域でない場合に、前記現在選択している顔領域とは異なる該第１の画像に含まれる他の顔領域を選択するように制御し、前記指示受付手段によって前記指示を受け付けた際に、前記現在選択している顔領域が前記最後の領域情報が示す顔領域である場合には、該第１の画像とは異なる第２の画像に含まれる顔領域を選択し、該第２の画像のうち少なくとも選択した顔領域を含む領域を前記表示部に表示するように制御する制御手段とを有することを特徴とする。

本発明の画像表示制御装置の制御方法は、複数の顔領域を含む第１の画像のうち、少なくとも現在選択している顔領域を含む領域を表示部に表示するよう制御する表示制御ステップと、前記第１の画像に含まれる顔領域うち、選択される顔領域を前記現在選択している顔領域から他の顔領域へ切り替える指示を受け付ける指示受付ステップと、画像に含まれる顔領域を示す領域情報を該画像と関連付けて記憶する記憶手段を参照し、前記指示受付ステップによって前記指示を受け付けた際に、前記現在選択している顔領域が、前記第１の画像に関連付けて前記記憶手段に記憶されている複数の前記領域情報のうち、所定の順序における最後の領域情報が示す顔領域でない場合に、前記現在選択している顔領域とは異なる該第１の画像に含まれる他の顔領域を選択するように制御し、前記指示受付ステップによって前記指示を受け付けた際に、前記現在選択している顔領域が前記最後の領域情報が示す顔領域である場合には、該第１の画像とは異なる第２の画像に含まれる顔領域を選択し、該第２の画像のうち少なくとも選択した顔領域を含む領域を前記表示部に表示するように制御する制御ステップとを有することを特徴とする。

本発明のプログラムは、コンピュータを、画像に含まれる顔領域を示す領域情報を該画像と関連付けて記憶する記憶手段、複数の顔領域を含む第１の画像のうち、少なくとも現在選択している顔領域を含む領域を表示部に表示するよう制御する表示制御手段、前記第１の画像に含まれる顔領域うち、選択される顔領域を前記現在選択している顔領域から他の顔領域へ切り替える指示を受け付ける指示受付手段、前記指示受付手段によって前記指示を受け付けた際に、前記現在選択している顔領域が、前記第１の画像に関連付けて前記記憶手段に記憶されている複数の前記領域情報のうち、所定の順序における最後の領域情報が示す顔領域でない場合に、前記現在選択している顔領域とは異なる該第１の画像に含まれる他の顔領域を選択するように制御し、前記指示受付手段によって前記指示を受け付けた際に、前記現在選択している顔領域が前記最後の領域情報が示す顔領域である場合には、該第１の画像とは異なる第２の画像に含まれる顔領域を選択し、該第２の画像のうち少なくとも選択した顔領域を含む領域を前記表示部に表示するように制御する制御手段として機能させることを特徴とする。

本発明の記録媒体は、前記に記載のコンピュータプログラムを記録したことを特徴としている。

本発明によれば、複数のデジタル画像データを扱う際に、単一の操作を行なうだけで、デジタル画像データをまたいで次々と顔領域を画像表示部に表示するようにすることができ、ユーザが複数のデジタル画像データを簡単に扱うことができる。

図１は、本発明の画像表示制御装置、画像表示制御装置の制御方法、プログラム及び記録媒体に係る画像表示装置の構成例を示すブロック図である。
図１において、１０１は、デジタル画像データを入力するための画像入力部である。前記画像入力部１０１は、メモリや二次記憶上にあるデジタル画像データを画像表示装置に入力するものであってもよいし、デジタルカメラやデジタルビデオ、スキャナーなどの外部機器からアナログまたはデジタルインタフェースを介してデジタル画像データを入力するものであっても構わない。

１０２は、画像入力部１０１から入力されたデジタル画像データから、顔画像の領域を検出するための顔画像領域検出部である。顔画像の領域を検出する方法としては、例えば、特開平１０-３３４２１３に述べられているように、デジタル画像データに対して、画像の色データと、あらかじめ用意された顔認識色データを比較することによって顔画像の領域を検出する方法でもよいし、それ以外の方法であっても構わない。顔画像領域検出部１０２は、実際にはＣＰＵおよびメモリから構成される。

１０３は、画像入力部１０１から入力されたデジタル画像データを記録するための記録部である。画像入力部１０１によって入力されたデジタル画像データがメモリや二次記憶上にあった場合、記録部１０３では、デジタル画像データそのものを記録する必要はなく、メモリ上のポインタ、あるいは二次記憶上のファイル名を記録する方式であっても構わない。記録部１０３は、実際にはメモリあるいは二次記憶装置から構成される。

１０４は、ユーザからの操作を受け付ける操作部である。図３は、本実施の形態のユーザインタフェースの例であるが、操作部１０４によって、図３における「前へ」ボタン３０４あるいは「次へ」ボタン３０５にタッチすることができる。操作部１０４は、実際には、マウスあるいはキーボードあるいはタッチパネルあるいは実際のボタンより構成される。

１０５は、顔画像領域検出部１０２によって検出した顔画像の領域を記録し、図３におけるデジタル画像データ表示部３０２に、どのデジタル画像データとどの顔画像領域３０３を表示するかを制御する表示画像制御部である。顔画像領域検出部１０２によって検出した顔画像の領域は、たとえば図２のようなデータファイルとして記録される。

図２において、２０１は各デジタル画像データを一意に識別する画像名であり、デジタル画像データのファイル名であってもよいし、表示画像制御部１０５が発行するユニークなIDであっても構わない。また２０２〜２０５は、各デジタル画像データごとに顔画像領域検出部１０２が検出した顔画像の領域である。

本実施の形態では、簡単のため、顔画像の領域として、顔画像を囲む長方形の枠を顔画像領域３０３とし、２０２〜２０５にはその長方形の枠の左上および右下の頂点の座標を記録するものとする。２０２〜２０５において、「(０、０)、(０、０)」と書かれている部分は、その部分にデータが存在しないこと、すなわち顔画像が存在しないことを意味する。もちろん、実際には、顔画像が写っている部分だけを顔画像領域３０３としても構わない。

その場合は、２０２〜２０５において、顔画像を囲む長方形の枠の左上および右下の頂点および、顔画像のみをマスクするようなマスクデータを記録すればよい。また、顔画像の領域の記録方法としては、本実施の形態では簡単のため図２のような表を利用したが、実際にはそれに限ったものではない。たとえば、線形リストを用いることでデジタル画像データ１枚あたりの顔画像領域数の上限をなくすとともにメモリの節約を行う方法などが考えられる。また、顔画像領域検出部１０２によって検出した顔画像の領域を利用することが考えられる。

表示画像制御部１０５は、操作部１０４からの入力をトリガーとして、次にデジタル画像データ３０２にどのデジタル画像データとどの顔画像領域３０３を表示するかを制御する。この際の動作については、のちに図４および図５を用いて詳述する。表示画像制御部１０５は、実際にはＣＰＵおよびメモリから構成される。

１０６は、表示画像制御部１０５によって制御され、デジタル画像データ表示部３０２に表示するデジタル画像データを作成する表示画像作成部である。表示画像作成部１０６は、表示画像制御部１０５から、次にどのデジタル画像データのどの顔画像を表示するかを指示され、指示されたデジタル画像データを記録部１０３から取り出し、表示画像制御部１０５の図２のデータファイルに記録された顔画像の領域を枠で囲い、デジタル画像データ表示部３０２に表示するデジタル画像データを作成する。

もちろん、顔画像の領域を反転表示するような装置の場合には、表示画像制御部１０５から領域座標とともにマスクデータを取り出し、マスクされた領域のみを反転表示するような処理を行なえばよい。表示画像作成部１０６は、実際にはＣＰＵおよびメモリから構成される。

１０７は、ユーザインタフェース３０１を表示する画像表示部である。ユーザインタフェース３０１において、３０２には表示画像作成部１０６が作成したデジタル画像データが、３０３には現在選択されている顔画像の領域が枠で囲まれてそれぞれ表示されている。画像表示部１０７は、実際にはモニタなどから構成される。

次に、図４と図５を用いて、表示画像制御部１０５の動作を詳述する。まず、操作部１０４において、「前へ」ボタン３０４がタッチされたときの動作を、図４を用いて述べる。
最初のステップＳ４０１において「前へ」ボタン３０４がタッチされると、ステップＳ４０２で図２のファイルを参照し、現在表示しているデジタル画像データにおいて、ひとつ前の顔画像の領域があるかどうかを調べる。

ステップＳ４０２の調査の結果、顔画像の領域が存在した場合はステップＳ４０５に進み、該当する顔画像の領域を表示画像作成部１０６に伝え、動作を終了する。
一方、顔画像の領域が存在しなかった場合は、ステップＳ４０３に進んで図２のデータファイルを参照し、ひとつ前のデジタル画像データが存在するかどうかを調べる。存在しない場合は、動作を終了する。

一方、顔画像の領域が存在した場合は、ステップＳ４０４に進み、ひとつ前のデジタル画像データの一番最後の顔画像の領域が存在するかどうかを調べる。そして、調べた結果、もし存在しなかった場合は、ステップＳ４０３に戻り、さらにひとつ前のデジタル画像データが存在するかどうかを調べる。また、顔画像の領域が存在した場合は、ステップＳ４０５に進み、該当する顔画像の領域を表示画像作成部１０６に伝え、動作を終了する。

次に、操作部１０４において、「次へ」ボタン３０５がタッチされたときの動作を図５のフローチャートを用いて述べる。
最初のステップＳ５０１において、「次へ」ボタン３０５がタッチされると、ステップＳ５０２に進み、図２のデータファイルを参照し、現在表示しているデジタル画像データにおいて、ひとつ後の顔画像の領域があるかどうかを調べる。

その結果、顔画像の領域が存在した場合はステップＳ５０５に進み、該当する顔画像の領域を表示画像作成部１０６に伝え、動作を終了する。
一方、顔画像の領域が存在しなかった場合は、ステップＳ５０３に進んで図２のデータファイルを参照し、ひとつ後のデジタル画像データが存在するかどうかを調べる。存在しない場合は、動作を終了する。

また、顔画像の領域が存在した場合は、ステップＳ５０４に進み、ひとつ後のデジタル画像データにおける一番最初の顔画像の領域が存在するかどうかを調べる。調べた結果、存在しなかった場合は、ステップＳ５０３に戻り、さらにひとつ後のデジタル画像データが存在するかどうかを調べる。
一方、顔画像の領域が存在した場合は、ステップＳ５０５に進み、該当する顔画像の領域を表示画像作成部１０６に伝え、動作を終了する。

前記の動作では、最初のデジタル画像データにおける一つ目の顔画像の領域が表示されているときに「前へ」ボタン３０４がタッチされた場合、および最後のデジタル画像データの最後の顔画像の領域が表示されているときに「次へ」ボタン３０５がタッチされたときに、本実施の形態の画像表示装置は動作しないが、必ずしもそのようにする必要はない。

たとえば、最初のデジタル画像データの一つ目の顔画像の領域が表示されているときに「前へ」ボタン３０４がタッチされた場合には、最後のデジタル画像データにおける最後の顔画像の領域が表示されるように、ループして動作してもよい。

また、最初のデジタル画像データの一つ目の顔画像の領域が表示されているときは「前へ」ボタン３０４がタッチできなくなり、最後のデジタル画像データの最後の顔画像の領域が表示されているときは「次へ」ボタン３０５がタッチできなくなるようにしてもよい。

本実施の形態では、３０２のように、デジタル画像データの顔画像の領域を、枠をつけたり反転表示したりすることによって強調表示しているが、これ以外の動作をしても構わない。たとえば、顔画像の領域のみを切り取って表示するようなユーザインタフェースであっても構わない。

（本発明の他の実施形態）
前述した実施形態の機能を実現するべく各種のデバイスを動作させるように、前記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。

また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記録する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれる。

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれる。
本発明によれば、複数のデジタル画像データを扱う際に、簡単な操作を行なうだけで、デジタル画像データをまたいで次々と顔画像の領域を画像表示部に表示するようにすることができ、ユーザが複数のデジタル画像データを簡単に扱うことができる。
また、本発明の他の特徴によれば、「前へ」ボタンまたは「次へ」ボタンを画像表示部に表示するようにしたので、操作手段を介して前記ボタンをタッチするだけで、現在表示しているデジタル画像データの前後の画像データを表示することができる。

本発明の実施の形態を示し、画像表示装置の構成例を示すブロック図である。 顔画像領域検出部によって検出した顔画像の領域を記録するファイル構成の一例を示す図である。 本実施の形態のユーザインタフェースの例を示す図である。 操作部において「前へ」ボタンがタッチされたときの表示画像制御部の動作を説明するフローチャートである。 操作部において「次へ」ボタンがタッチされたときの表示画像制御部の動作を説明するフローチャートである。

符号の説明

１０１ 画像入力部
１０２ 顔画像領域検出部
１０３ 記録部
１０４ 操作部
１０５ 表示画像制御部
１０６ 表示画像作成部
１０７ 画像表示部

Claims (10)

1. 画像に含まれる顔領域を示す領域情報を該画像と関連付けて記憶する記憶手段と、
   複数の顔領域を含む第１の画像のうち、少なくとも現在選択している顔領域を含む領域を表示部に表示するよう制御する表示制御手段と、
   前記第１の画像に含まれる顔領域うち、選択される顔領域を前記現在選択している顔領域から他の顔領域へ切り替える指示を受け付ける指示受付手段と、
   前記指示受付手段によって前記指示を受け付けた際に、前記現在選択している顔領域が、前記第１の画像に関連付けて前記記憶手段に記憶されている複数の前記領域情報のうち、所定の順序における最後の領域情報が示す顔領域でない場合に、前記現在選択している顔領域とは異なる該第１の画像に含まれる他の顔領域を選択するように制御し、
   前記指示受付手段によって前記指示を受け付けた際に、前記現在選択している顔領域が前記最後の領域情報が示す顔領域である場合には、該第１の画像とは異なる第２の画像に含まれる顔領域を選択し、該第２の画像のうち少なくとも選択した顔領域を含む領域を前記表示部に表示するように制御する制御手段と
   を有することを特徴とする画像表示制御装置。
2. 前記表示制御手段は、前記第１の画像の全領域を、該全領域のうち現在選択している顔領域が識別可能なように表示するように制御し、
   前記制御手段は、前記第２の画像に含まれる顔領域を選択した場合は、前記第２の画像の全領域を、該全領域のうち選択した顔領域を識別可能なように表示するように制御することを特徴とする請求項１に記載の画像表示制御装置。
3. 前記表示制御手段は、前記第１の画像の全領域のうち現在選択している顔領域に対し、枠をつけて表示、反転表示、その他の強調表示のうち少なくとも１つの表示をするように制御し、
   前記制御手段は、前記第２の画像の全領域のうち選択した顔領域に対し、枠をつけて表示、反転表示、その他の強調表示のうち少なくとも１つの表示をするように制御することを特徴とする請求項２に記載の画像表示制御装置。
4. 前記表示制御手段は前記第１の画像のうち、前記現在選択している顔領域のみを前記表示部に表示するように制御し、
   前記制御手段は、前記第２の画像のうち、前記選択した顔領域のみを前記表示部に表示するように制御することを特徴とする請求項１に記載の画像表示制御装置。
5. 前記記憶手段は、画像の記録されているメモリ領域、画像のパス名、画像のファイル名、画像を一意に識別する画像名、前記表示制御手段が発行するユニークなIDのうちの少なくも１つに関連づけて前記領域情報を記憶することを特徴とする請求項１乃至４のいずれか１項に記載の画像表示制御装置。
6. 前記指示受付手段は、前記現在選択している顔領域の前の顔領域を選択するための第１の操作手段と、前記現在選択している顔領域の後の顔領域を選択するための第２の操作手段のうち、前記第２の操作手段の操作に応じて前記指示を受け付けることを特徴とする請求項１乃至５のいずれか１項に記載の画像表示制御装置。
7. 前記記憶手段は、前記領域情報を矩形情報として記憶していることを特徴とする請求項１乃至６のいずれか１項に記載の画像表示制御装置。
8. 複数の顔領域を含む第１の画像のうち、少なくとも現在選択している顔領域を含む領域を表示部に表示するよう制御する表示制御ステップと、
   前記第１の画像に含まれる顔領域うち、選択される顔領域を前記現在選択している顔領域から他の顔領域へ切り替える指示を受け付ける指示受付ステップと、
   画像に含まれる顔領域を示す領域情報を該画像と関連付けて記憶する記憶手段を参照し、前記指示受付ステップによって前記指示を受け付けた際に、前記現在選択している顔領域が、前記第１の画像に関連付けて前記記憶手段に記憶されている複数の前記領域情報のうち、所定の順序における最後の領域情報が示す顔領域でない場合に、前記現在選択している顔領域とは異なる該第１の画像に含まれる他の顔領域を選択するように制御し、
   前記指示受付ステップによって前記指示を受け付けた際に、前記現在選択している顔領域が前記最後の領域情報が示す顔領域である場合には、該第１の画像とは異なる第２の画像に含まれる顔領域を選択し、該第２の画像のうち少なくとも選択した顔領域を含む領域を前記表示部に表示するように制御する制御ステップと
   を有することを特徴とする画像表示制御装置の制御方法。
9. コンピュータを、
   画像に含まれる顔領域を示す領域情報を該画像と関連付けて記憶する記憶手段、
   複数の顔領域を含む第１の画像のうち、少なくとも現在選択している顔領域を含む領域を表示部に表示するよう制御する表示制御手段、
   前記第１の画像に含まれる顔領域うち、選択される顔領域を前記現在選択している顔領域から他の顔領域へ切り替える指示を受け付ける指示受付手段、
   前記指示受付手段によって前記指示を受け付けた際に、前記現在選択している顔領域が、前記第１の画像に関連付けて前記記憶手段に記憶されている複数の前記領域情報のうち、所定の順序における最後の領域情報が示す顔領域でない場合に、前記現在選択している顔領域とは異なる該第１の画像に含まれる他の顔領域を選択するように制御し、
   前記指示受付手段によって前記指示を受け付けた際に、前記現在選択している顔領域が前記最後の領域情報が示す顔領域である場合には、該第１の画像とは異なる第２の画像に含まれる顔領域を選択し、該第２の画像のうち少なくとも選択した顔領域を含む領域を前記表示部に表示するように制御する制御手段
   として機能させることを特徴とするプログラム。
10. 請求項９に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images