JP5679687B2

JP5679687B2 - 情報処理装置およびその動作方法

Info

Publication number: JP5679687B2
Application number: JP2010075091A
Authority: JP
Inventors: 田中　淳; 淳田中
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-03-29
Filing date: 2010-03-29
Publication date: 2015-03-04
Anticipated expiration: 2030-03-29
Also published as: JP2011211349A

Description

本発明は、画像データを記憶手段に記憶させる技術に関する。

デジタルカメラ等で撮像された画像データに属性情報を付与しておき、当該属性情報に対応するフォルダに当該画像データを分類する技術が知られている。

また、デジタルカメラ等で撮像された画像データに、属性情報として個人の声紋、網膜パターン等を関連付けて、記憶媒体に記憶し、当該属性情報に従って、記憶した画像データを分類する技術が知られている（例えば、特許文献１）。

特開２００１−０７５８４６号公報

しかしながら、従来技術によると、被写体を撮像した撮影者毎に当該被写体の画像データを分類するためには、当該撮影者を表す属性情報を付与する手間が発生する。

また、特許文献１に開示されている技術によると、声紋、網膜パターン等から特定された個人が撮影者ではない場合があり、被写体を撮像した撮影者毎に当該被写体の画像データを分類することができない場合がある。

従って、本発明は、効率良く、被写体を撮像した撮影者毎に当該被写体の画像データを分類することを目的とする。

上記課題を解決するために、本発明に係る情報処理装置は、人物を特定する顔画像データを保持する保持手段と、第１の被写体を撮像する第１の撮像手段と、前記第１の撮像手段による前記第１の被写体の撮像に応答して、前記第１の被写体を撮像している撮影者の顔を第２の被写体として撮像する第２の撮像手段と、前記第２の被写体の画像データと、前記人物を特定する顔画像データとに基づいて、前記第２の被写体に相当する人物を特定する特定手段と、前記第１の被写体の画像データを、特定された前記人物に属する画像データとして記憶手段に記憶させる制御手段とを有し、前記特定手段は、更に、前記撮影者の顔の画像データと、表情を特定する顔画像データとに基づいて、前記第２の被写体の表情を特定し、前記第２の被写体の予め定められた表情が前記特定手段によって特定された場合、前記制御手段は、前記第１の被写体の画像データの読み出しおよび書き換えのうち少なくとも一方の権限を撮影者以外禁止として設定することを特徴とする。

以上より、本発明によれば、効率良く、被写体を撮像した撮影者毎に当該被写体の画像データを分類することが可能となる。

図１は、本発明に係る情報処理装置の外観を示す図である。図２は、本発明に係る情報処理装置の機能構成を示す機能ブロック図である。図３は、撮影者の種類毎に画像データを分類する処理を示すフローチャートである。図４は、顔を表す画像データの例を示す図である。図５は、画像を分類するフォルダの構成の例を示す図である。

以下、図面を参照しながら本発明を実施するための形態について説明する。

（第１の実施形態）
図１は、本発明に係る情報処理装置の外観を示す図である。尚、情報処理装置とは、例えば、例えば、図１（ａ）に示すデジタルカメラ１１０、図１（ｂ）に示すデジタルカムコーダ１２０等である。

図１（ａ）において、デジタルカメラ１１０は、第１の被写体を撮像する第１の撮像部１１１と、前記第１の被写体の被写体を撮像している撮影者の顔を前記第２の被写体として撮像する第２の撮像部１１２を有する。

また、デジタルカメラ１１０は、撮像を指示するボタン１１３、撮像した画像、被写体のライブビュー等を表示する表示部１１４を有する。

尚、第１の撮像部１１１と第２の撮像部１１２とは、それぞれ、レンズ、光電変換素子、電気回路等で構成され、ボタン１１３に対して所定の操作を行うと、互いに連動して動作する。また、互いに連動するとは、一方の撮像部による撮像に応答して、他方の撮像部による撮像が行われることをいう。

また、撮影者が表示部１１４に表示されたライブビューを見ながらボタン１１３に対して所定の操作を行うことを想定していることから、第２の撮像部１１２は、表示部１１４付近に表示部１１４と同じ向きで配置されていることが好ましい。

図１（ｂ）は、デジタルカムコーダ１２０の各要素について説明する図である。本図において、デジタルカメラ１１０の各要素と同様の機能を有する要素については、同符号を付しその説明を省略する。

図２は、本発明に係る情報処理装置の機能構成を示す機能ブロック図である。本図において、図１に示した各要素については、同符号を付しその説明を省略する。

本図において、情報処理装置は、更に、制御部２００、第１の一時記憶部２０１、第２の一時記憶部２０２、画像処理部２０３、記憶部２０４、顔画像データベース２０５を有する。

制御部２００は、ＣＰＵ（中央演算装置）、ＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）等によって構成され、ＲＯＭに格納されたプログラムをＲＡＭに展開し、展開されたプログラムをＣＰＵが実行することによりその機能を実現する。

尚、制御部２００は、ＣＰＵが実行するプログラムに従って、上述した各部を制御する。

一時記憶部２０１は撮像部１１１が撮像した画像を一時的に保持し、一時記憶部２０２は撮像部１１２が撮像した画像を一時的に保持するＲＡＭ等である。

画像処理部２０３は、時記憶部２０１、２０２が一時的に保持している画像を、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）等のフォーマットに変換する。尚、画像処理部２０３は、制御部２００と同様に、ＣＰＵ等によって構成される。

また、画像処理部２０３は、撮像部１１１が撮像した画像に相当する画像データに、撮像部１１２が撮像した画像に相当する画像データをメタデータとして関連付ける。

また、画像処理部２０３は、顔画像データベース２０４が保持する顔の種類を特定するための画像データを用いて、撮像部１１２が撮像した画像に相当する画像データ中の被写体（撮影者）の種類を特定する。

尚、被写体の種類を特定する処理とは、まず、周知の顔認識アルゴリズム等を適用する。具体的には、顔を表す画像データに対してウエーブレット変換を行ない、輪郭や、特徴点を抽出する処理をいう。そして次に、抽出された輪郭や、特徴点を、あらかじめ登録してある複数の顔データの輪郭や、特徴点と照合（比較）する処理をいう。

また、画像処理部２０３は、撮像部１１１が撮像した画像に相当する画像データと撮像部１１２が撮像した画像に相当する画像データとを関連付けたデータを、所定の被写体（撮影者）の種類に属するデータとして、記憶部２０４に記憶させる。

記憶部２０４は、撮像部１１２が撮像した画像に相当する画像データをメタデータとして関連付けたデータを記憶部２０４に記憶する不揮発性メモリである。

尚、本実施形態では、撮影者の種類を特定する処理と、その他の処理とを１つの装置内で実行する例を説明したが、本発明は、撮影者の種類を特定する処理と、その他の処理とを互いに連携して動作する別々の装置で実行してもよい。

図３は、撮影者の種類毎に画像データを分類して、記憶部２０４に記憶させる処理を示すフローチャートである。

まず、ステップＳ３０１において、画像処理部２０３は、撮像部１１１が撮像した画像に相当する画像データの１つを指定する。尚、当該画像データには、撮像部１１２が撮像した画像に相当する画像データがメタデータとして関連付けられているものとする。

次に、ステップＳ３０２において、画像処理部２０３は、指定された画像データのメタデータである第２の撮像部が撮像した画像に相当する画像データを取得する。

次に、ステップＳ３０３において、画像処理部２０３は、ステップＳ３０２で取得した画像データから抽出した特徴点と、画像データベース２０４に登録された画像データの特徴点とを比較する。

尚、特徴点を比較する処理とは、周知の顔認識、表情認識アルゴリズム等を用いて、例えば、画像データベース２０４に登録された画像データうち、取得した画像データとの一致度が最も高い画像データを抽出し、その一致度をしめす一致指数を決定する処理をいう。

また、表情認識アルゴリズムを利用する際に用いる特徴点とは、例えば、まぶたの開閉度、眉毛の上下、口唇の開閉度等である。

次に、ステップＳ３０４において、画像処理部２０３は、一致指数が、閾値Ｖｔｈ１より高いか否か判断し、画像データベース２０４に登録された画像データうち、一致指数が閾値Ｖｔｈ１より高くなる画像データがあれば、ステップＳ３０５の処理を実行する。

一方、ステップＳ３０４において、画像データベース２０４に登録された画像データうち、一致指数が閾値Ｖｔｈ１より高くなる画像データがなければ、ステップＳ３０６の処理を実行する。

ステップＳ３０５において、画像処理部２０３は、一致指数が閾値Ｖｔｈ１より高くなる画像データに対応するフォルダを指定する。

尚、一致指数が閾値Ｖｔｈ１より高くなる画像データに対応するフォルダとは、撮影者の顔と一致する顔の種類に対応するフォルダに相当する。

ステップＳ３０６において、画像処理部２０３は、一致指数が、閾値Ｖｔｈ２より高いか否か判断し、画像データベース２０４に登録された画像データうち、一致指数が閾値Ｖｔｈ２より高くなる画像データがあれば、ステップＳ３０７の処理を実行する。

一方、ステップＳ３０６において、画像データベース２０４に登録された画像データうち、一致指数が閾値Ｖｔｈ２より高くなる画像データがなければ、ステップＳ３０８の処理を実行する。尚、閾値Ｖｔｈ２は閾値Ｖｔｈ１よりも小さい値とする。

ステップＳ３０７において、画像処理部２０３は、一致指数が閾値Ｖｔｈ２より高くなる画像データに対応するフォルダを指定する。

尚、一致指数が閾値Ｖｔｈ２より高くなる画像データに対応するフォルダとは、撮影者の顔と類似する顔の種類に対応するフォルダに相当する。

尚、ここで類似とは、例えば、同一人物であって、表情が異なること、異なる人物であって、表情がほぼ同じであることをいう。

ステップＳ３０８において、画像処理部２０３は、画像データベース２０４に登録された画像データと一致または類似する画像データでない画像データを分類するフォルダを指定する。

尚、ステップＳ３０８で指定するフォルダとは、例えば、撮影者が不明であることを示すフォルダ、撮影日付を示すフォルダ等であるものとする。

ステップＳ３０９において、画像処理部２０３は、記憶部２０５等にアクセスし、指定したフォルダが存在するか否か判断し、指定したフォルダが存在する場合、ステップＳ３１０の処理を実行する。

一方、指定したフォルダが存在しない場合、ステップＳ３１１において、制御部２００は、指定したフォルダを作成する。

ステップＳ３１０において、制御部２００、画像処理部２０３等は、指定したフォルダに、ステップＳ３０１で指定した画像データを格納する。

尚、フォルダを指定した後、ステップＳ３０１で指定した画像データに対して、読み書きなどの属性を設定してもよい。

このような構成とすることで、例えば、画像データベース２０４に図４（ａ）（ｂ）の画像データが登録されていた場合、図４（ｃ）から（ｇ）の画像データをメタデータとして有する画像データは、それぞれ、図５（ａ）のように分類される。

尚、図５（ａ）のフォルダ５１１、５１２は、撮影者の顔の種類別のフォルダであり、フォルダ５１４、５１５は、撮影者の表情の種類別のフォルダとする。

また、フォルダ５１３は、画像データベース２０４に登録された画像データと一致または類似する画像データでない画像データを分類するフォルダである。従って、図４（ｆ）（ｇ）をメタデータとして有する画像データは、当該フォルダ５１３に分類される。

また、画像データベース２０４に表情を示す画像データが登録されていた場合、図４（ｃ）から（ｉ）の画像データをメタデータとして有する画像データは、例えば、図５（ｂ）のフォルダ５２１から５２４のような表情毎に分類するフォルダにそれぞれ分類される。

また更に、図５（ｂ）のフォルダ５２５から５２８のような顔（人物）毎に分類するサブフォルダにそれぞれ分類してもよい。

また、サングラスなどを掛けて撮影したような場合を想定して、「所定の撮影者の顔似」等のフォルダ（類似フォルダ）をサブフォルダとして設定してもよい。

以上のような構成とすることで、効率良く、被写体の画像データを、当該被写体を撮像した撮影者の顔毎に分類することが可能となる。また、効率良く、被写体の画像データを、当該被写体を撮像した撮影者の表情毎に分類することが可能となる。

即ち、撮影者の顔を指標として、所望の被写体の画像データを効率良く検索することが可能となる。

また、被写体の撮影者しか、当該被写体の画像データにアクセスできないように設定することも容易となり、１つのデジタルカメラの使用者（撮影者）が複数いる場合であっても、被写体の画像データを撮影者別にセキュアに管理することが可能となる。

（第２の実施形態）
第１の実施形態においては、各画像データの読み出し、書き換え、実行等の権限は、固定であった。しかし、例えば、撮影者の顔画像データの判定パターンを複数定義しておくことによって、被写体の画像データの読み出し、書き換え、実行等の権限を切替えることも可能である。

即ち、例えば、片目をつぶった（ウインク）状態の撮影者の顔画像データを判定した場合、被写体の画像データの読み出し、書き換え、実行等の権限を、撮影者以外は書き換え禁止とすることが可能である。

このようにすることによって、被写体を撮像した撮影者の表情を用いて、当該被写体の画像データに効率良く読み出し、書き換え、実行等の権限を設定することが可能となる。

尚、判定パターンについては、撮影者の種類（人物）を特定することなく、ウインクの状態であることを特定するものであってもよい。

また、判定パターンは、ウインクに限られるものではなく、笑顔等の表情、Ｖサイン等であってもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

人物を特定する顔画像データを保持する保持手段と、
第１の被写体を撮像する第１の撮像手段と、
前記第１の撮像手段による前記第１の被写体の撮像に応答して、前記第１の被写体を撮像している撮影者の顔を第２の被写体として撮像する第２の撮像手段と、
前記第２の被写体の画像データと、前記人物を特定する顔画像データとに基づいて、前記第２の被写体に相当する人物を特定する特定手段と、
前記第１の被写体の画像データを、特定された前記人物に属する画像データとして記憶手段に記憶させる制御手段とを有し、
前記特定手段は、更に、前記撮影者の顔の画像データと、表情を特定する顔画像データとに基づいて、前記第２の被写体の表情を特定し、前記第２の被写体の予め定められた表情が前記特定手段によって特定された場合、前記制御手段は、前記第１の被写体の画像データの読み出しおよび書き換えのうち少なくとも一方の権限を撮影者以外禁止として設定することを特徴とする情報処理装置。
前記制御手段は、前記第１の被写体の画像データを、特定された前記人物に対応するフォルダに属する画像データとして前記記憶手段に記憶させることを特徴とする請求項１に記載の情報処理装置。
前記制御手段は、前記第１の被写体の画像データを、特定された前記人物および特定された前記表情に属する画像データとして前記記憶手段に記憶させることを特徴とする請求項１に記載の情報処理装置。
前記制御手段は、前記第１の被写体の画像データを、特定された前記人物および特定された前記表情に対応するフォルダに属する画像データとして前記記憶手段に記憶させることを特徴とする請求項３に記載の情報処理装置。
前記特定手段は、前記第２の被写体の画像データ、前記表情を特定する顔画像データのまぶたの開閉度を比較して、前記第２の被写体の表情を特定することを特徴とする請求項３または請求項４に記載の情報処理装置。
前記特定手段は、前記第２の被写体の画像データ、前記表情を特定する顔画像データの眉毛の上下を比較して、前記第２の被写体の表情を特定することを特徴とする請求項３または請求項４に記載の情報処理装置。
前記特定手段は、前記第２の被写体の画像データ、前記表情を特定する顔画像データの口唇の開閉度を比較して、前記第２の被写体の表情を特定することを特徴とする請求項３または請求項４に記載の情報処理装置。
画像データを記憶手段に記憶させる情報処理装置の動作方法であって、
人物を特定する顔画像データを保持する保持工程と、
第１の被写体を撮像する第１の撮像工程と、
前記第１の撮像工程による前記第１の被写体の撮像に応答して、前記第１の被写体を撮像している撮影者の顔を第２の被写体として撮像する第２の撮像工程と、
前記第２の被写体の画像データと、前記人物を特定する顔画像データとに基づいて、前記第２の被写体に相当する人物を特定する特定工程と、
前記第１の被写体の画像データを、特定された前記人物に属する画像データとして記憶手段に記憶させる制御工程とを有し、
前記特定工程において、更に、前記撮影者の顔の画像データと、表情を特定する顔画像データとに基づいて、前記第２の被写体の予め定められた表情が特定された場合、前記制御工程において、前記第１の被写体の画像データの読み出しおよび書き換えのうち少なくとも一方の権限を撮影者以外禁止として設定することを特徴とする動作方法。
請求項８に記載の動作方法をコンピュータに実行させるためのプログラム。