JP4816717B2 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

画像処理装置、撮像装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP4816717B2
JP4816717B2 JP2008312971A JP2008312971A JP4816717B2 JP 4816717 B2 JP4816717 B2 JP 4816717B2 JP 2008312971 A JP2008312971 A JP 2008312971A JP 2008312971 A JP2008312971 A JP 2008312971A JP 4816717 B2 JP4816717 B2 JP 4816717B2
Authority
JP
Japan
Prior art keywords
person
image
depth value
unit
persons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008312971A
Other languages
English (en)
Other versions
JP2010140069A (ja
Inventor
由吾 森田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008312971A priority Critical patent/JP4816717B2/ja
Priority to US12/590,441 priority patent/US8503735B2/en
Priority to CN200910259001.7A priority patent/CN101751574B/zh
Publication of JP2010140069A publication Critical patent/JP2010140069A/ja
Application granted granted Critical
Publication of JP4816717B2 publication Critical patent/JP4816717B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理装置に関し、特に、画像等のコンテンツについて画像解析を行う画像処理装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
近年、人物等の被写体を撮像して画像や動画等のコンテンツを記録するデジタルスチルカメラやデジタルビデオカメラ等の撮像装置が普及している。また、このように記録されたコンテンツを整理するための検索技術や、閲覧するための表示技術が多数提案されている。
例えば、各コンテンツが記録された位置に関する位置情報を用いて、複数のコンテンツを複数のグループに分類し、この分類結果に基づいて各コンテンツを表示させるコンテンツ管理装置が提案されている。例えば、各コンテンツに対応する位置情報に基づいて各コンテンツを二分木のリーフに対応させた二分木構造データを作成し、この二分木構造データにおけるノードの中からグループ化条件を満たすノードを抽出する。そして、この抽出されたノードに属するコンテンツを1つのグループとして決定し、この決定されたグループに基づいて各コンテンツを分類するコンテンツ管理装置が提案されている(例えば、特許文献1参照。)。
特開2008−250605号公報(図3)
上述の従来技術によれば、各コンテンツに対応する位置情報を用いて、各コンテンツを分類することができるため、ユーザの好みに応じてコンテンツを表示させることができる。しかしながら、ユーザの好みは多種多様であるため、コンテンツが記録された位置とは無関係に、ユーザの好みを反映させてコンテンツを利用したい場合も想定される。
例えば、近年では、コンテンツに含まれる人物の顔を検出するとともに、この検出された顔が特定人物の顔であるか否かを識別する個人識別が可能な画像処理装置が提案されている。そこで、その個人顔識別結果を用いて、コンテンツを表示することができれば、ユーザの好みに応じた表示を行うことができると考えられる。例えば、その個人顔識別結果を用いて、ユーザ指定による特定人物が含まれるコンテンツを優先的に表示させることにより、ユーザの好みに応じた人物が含まれるコンテンツを優先的に表示させることができる。
しかしながら、例えば、ユーザ指定による特定人物が含まれていないコンテンツであっても、特定人物に関係が深い人物が含まれる可能性がある。このような特定人物に関係が深い人物が含まれている場合には、これらの人物を見ることにより、特定人物の人間関係を楽しむことができ、そのコンテンツの閲覧をさらに楽しくすることができると考えられる。
本発明はこのような状況に鑑みてなされたものであり、ユーザの好みに応じたコンテンツを容易に利用することを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第1の側面は、複数のコンテンツのうちの何れかのコンテンツに含まれる1人の人物を特定人物として上記特定人物以外の人物を対象人物とし、上記特定人物が含まれる上記コンテンツにおける上記対象人物または上記対象人物以外の第3の人物の登場頻度と、上記特定人物が含まれない上記コンテンツにおける上記対象人物および上記第3の人物の登場頻度とに基づいて上記特定人物および上記対象人物の関係の深さの度合いを示す関係深度値を上記対象人物毎に算出する関係深度値算出部と、上記特定人物に関する上記対象人物の優先順位を上記算出された関係深度値に基づいて上記対象人物毎に決定する優先順位決定部と、上記決定された優先順位単位で上記対象人物が表示されるように上記複数のコンテンツの表示順序を決定して当該決定された表示順序に基づいて上記複数のコンテンツを表示部に表示させ、当該表示対象となるコンテンツに含まれる人物のうち上記対象人物には上記関係深度値の大きさを表す表示情報を上記対象人物毎に関連付けて当該コンテンツを表示させる表示制御部とを具備する画像処理装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、特定人物が含まれるコンテンツにおける対象人物または第3の人物の登場頻度と、特定人物が含まれないコンテンツにおける対象人物および第3の人物の登場頻度とに基づいて、特定人物および対象人物に関する関係深度値を対象人物毎に算出し、この算出された関係深度値に基づいて、特定人物に関する対象人物の優先順位を対象人物毎に決定し、この決定された優先順位単位で対象人物が表示されるように複数のコンテンツの表示順序を決定し、この決定された表示順序に基づいて複数のコンテンツを表示させ、表示対象となるコンテンツに含まれる人物のうち対象人物には関係深度値の大きさを表す表示情報を対象人物毎に関連付けて表示対象のコンテンツを表示させるという作用をもたらす。
また、この第1の側面において、上記関係深度値算出部は、上記複数のコンテンツに含まれる人物のうち同一コンテンツに同時に含まれる2人の人物の登場頻度に基づいて上記複数のコンテンツに含まれる各人物間の評価値を算出し、上記特定人物および上記対象人物に関する上記評価値と上記特定人物および上記第3の人物に関する上記評価値と上記対象人物および上記第3の人物に関する上記評価値とに基づいて上記関係深度値を算出するようにしてもよい。これにより、複数のコンテンツに含まれる人物のうち、同一コンテンツに同時に含まれる2人の人物の登場頻度に基づいて、複数のコンテンツに含まれる各人物間の評価値を算出し、特定人物および対象人物に関する評価値と、特定人物および第3の人物に関する評価値と、対象人物および第3の人物に関する評価値とに基づいて関係深度値を算出するという作用をもたらす。
また、この第1の側面において、上記関係深度値算出部は、上記特定人物および上記対象人物に関する上記評価値に基づいて第1の関係深度値を算出し、上記第3の人物および上記特定人物に関する上記評価値と上記対象人物および上記第3の人物に関する上記評価値とに基づいて第2の関係深度値を算出し、上記優先順位決定部は、上記算出された第1の関係深度値および第2の関係深度値に基づいて上記優先順位を決定するようにしてもよい。これにより、特定人物および対象人物に関する評価値に基づいて第1の関係深度値を算出し、第3の人物および特定人物に関する評価値と、対象人物および第3の人物に関する評価値とに基づいて第2の関係深度値を算出し、この第1の関係深度値および第2の関係深度値に基づいて優先順位を決定するという作用をもたらす。
また、この第1の側面において、上記優先順位決定部は、上記算出された第1の関係深度値および第2の関係深度値のそれぞれに重み付けをした値に基づいて上記関係深度値を算出するようにしてもよい。これにより、算出された第1の関係深度値および第2の関係深度値のそれぞれに重み付けをした値に基づいて関係深度値を算出するという作用をもたらす。
また、この第1の側面において、上記表示制御部は、上記表示対象となるコンテンツに含まれる人物のうち上記対象人物の顔画像を当該コンテンツから抽出し、新たな特定人物を指定するための画像として当該抽出された顔画像を当該コンテンツとともに上記表示部に表示させ、上記表示部に顔画像が表示されている人物のうちから上記新たな特定人物を指定する指定操作を受け付ける操作受付部をさらに具備し、上記関係深度値算出部は、上記指定された新たな特定人物に係る上記関係深度値を算出し、上記優先順位決定部は、上記指定された新たな特定人物に係る上記優先順位を決定するようにしてもよい。これにより、表示対象となるコンテンツに含まれる人物のうち対象人物の顔画像をそのコンテンツから抽出し、新たな特定人物を指定するための画像としてその抽出された顔画像をそのコンテンツとともに表示させ、顔画像が表示されている人物のうちから新たな特定人物を指定する指定操作を受け付けると、その指定された新たな特定人物に係る関係深度値を算出し、その指定された新たな特定人物に係る優先順位を決定するという作用をもたらす。
また、この第1の側面において、上記関係深度値算出部は、上記複数のコンテンツに含まれる人物のうち同一コンテンツに同時に含まれる2人の人物の登場頻度および当該同一コンテンツに同時に含まれる人物の数に基づいて上記複数のコンテンツに含まれる各人物間の評価値を算出し、上記特定人物および上記対象人物に関する上記評価値と上記特定人物および上記第3の人物に関する上記評価値と上記対象人物および上記第3の人物に関する上記評価値とに基づいて上記関係深度値を算出するようにしてもよい。これにより、複数のコンテンツに含まれる人物のうち、同一コンテンツに同時に含まれる2人の人物の登場頻度と、その同一コンテンツに同時に含まれる人物の数とに基づいて、複数のコンテンツに含まれる各人物間の評価値を算出し、特定人物および対象人物に関する評価値と、特定人物および第3の人物に関する評価値と、対象人物および第3の人物に関する評価値とに基づいて関係深度値を算出するという作用をもたらす。
また、この第1の側面において、上記関係深度値算出部は、上記複数のコンテンツに含まれる人物のうち同一コンテンツに同時に含まれる2人の人物の登場頻度および当該同一コンテンツに同時に含まれる各人物間の距離に基づいて上記複数のコンテンツに含まれる各人物間の評価値を算出し、上記特定人物および上記対象人物に関する上記評価値と上記特定人物および上記第3の人物に関する上記評価値と上記対象人物および上記第3の人物に関する上記評価値とに基づいて上記関係深度値を算出するようにしてもよい。これにより、複数のコンテンツに含まれる人物のうち、同一コンテンツに同時に含まれる2人の人物の登場頻度と、その同一コンテンツに同時に含まれる各人物間の距離とに基づいて、複数のコンテンツに含まれる各人物間の評価値を算出し、特定人物および対象人物に関する評価値と、特定人物および第3の人物に関する評価値と、対象人物および第3の人物に関する評価値とに基づいて関係深度値を算出するという作用をもたらす。
また、この第1の側面において、上記コンテンツは動画を構成する所定区間内の複数のフレームであり、上記関係深度値算出部は、上記動画に含まれる人物のうち同一区間に含まれる2人の人物の登場頻度および当該同一区間内で2人の人物が同一フレームに同時に含まれる期間に基づいて上記動画に含まれる各人物間の評価値を算出し、上記特定人物および上記対象人物に関する上記評価値と上記特定人物および上記第3の人物に関する上記評価値と上記対象人物および上記第3の人物に関する上記評価値とに基づいて上記関係深度値を算出するようにしてもよい。これにより、動画に含まれる人物のうち、同一区間に含まれる2人の人物の登場頻度と、その同一区間内で2人の人物が同一フレームに同時に含まれる期間に基づいて、動画に含まれる各人物間の評価値を算出し、特定人物および対象人物に関する評価値と、特定人物および第3の人物に関する評価値と、対象人物および第3の人物に関する評価値とに基づいて関係深度値を算出するという作用をもたらす。
また、本発明の第2の側面は、人物の顔を識別するための識別情報を記憶する識別情報記憶部と、上記識別情報が記憶されている人物のうち1人の人物を特定人物として指定する指定操作を受け付ける操作受付部と、複数のコンテンツを入力するコンテンツ入力部と、上記入力されたコンテンツに含まれる顔を検出する顔検出部と、上記識別情報に基づいて上記検出された顔を識別する顔識別部と、上記識別結果に基づいて上記複数のコンテンツに含まれる人物を特定して上記特定人物以外の人物を対象人物とし、上記特定人物が含まれる上記コンテンツにおける上記対象人物または上記対象人物以外の第3の人物の登場頻度と、上記特定人物が含まれない上記コンテンツにおける上記対象人物および上記第3の人物の登場頻度とに基づいて上記特定人物および上記対象人物の関係の深さの度合いを示す関係深度値を上記対象人物毎に算出する関係深度値算出部と、上記特定人物に関する上記対象人物の優先順位を上記算出された関係深度値に基づいて上記対象人物毎に決定する優先順位決定部と、上記決定された優先順位単位で上記対象人物が表示されるように上記入力されたコンテンツの表示順序を決定して当該決定された表示順序に基づいて上記入力されたコンテンツを表示部に表示させ、当該表示対象となるコンテンツに含まれる人物のうち上記対象人物には上記関係深度値の大きさを表す表示情報を上記対象人物毎に関連付けて当該コンテンツを表示させる表示制御部とを具備する画像処理装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、入力されたコンテンツに含まれる顔を検出し、この検出された顔を識別し、この識別結果に基づいて複数のコンテンツに含まれる人物を特定し、特定人物が含まれるコンテンツにおける対象人物または第3の人物の登場頻度と、特定人物が含まれないコンテンツにおける対象人物および第3の人物の登場頻度とに基づいて、特定人物および対象人物に関する関係深度値を対象人物毎に算出し、この算出された関係深度値に基づいて特定人物に関する対象人物の優先順位を対象人物毎に決定し、この決定された優先順位単位で対象人物が表示されるように入力コンテンツの表示順序を決定し、この決定された表示順序に基づいて入力コンテンツを表示させ、表示対象となるコンテンツに含まれる人物のうち対象人物には関係深度値の大きさを表す表示情報を対象人物毎に関連付けて表示対象のコンテンツを表示させるという作用をもたらす。
また、本発明の第3の側面は、被写体を撮像して画像を生成する撮像部と、上記生成された画像のうちの何れかの画像に含まれる1人の人物を特定人物として上記特定人物以外の人物を対象人物とし、上記特定人物が含まれる上記画像における上記対象人物または上記対象人物以外の第3の人物の登場頻度と、上記特定人物が含まれない上記画像における上記対象人物および上記第3の人物の登場頻度とに基づいて上記特定人物および上記対象人物の関係の深さの度合いを示す関係深度値を上記対象人物毎に算出する関係深度値算出部と、上記特定人物に関する上記対象人物の優先順位を上記算出された関係深度値に基づいて上記対象人物毎に決定する優先順位決定部と、上記決定された優先順位に基づいて上記撮像部による画像の生成に用いられる撮像パラメータを設定する撮像制御部と、上記決定された優先順位単位で上記対象人物が表示されるように上記生成された画像の表示順序を決定して当該決定された表示順序に基づいて上記生成された画像を表示部に表示させ、当該表示対象となる画像に含まれる人物のうち上記対象人物には上記関係深度値の大きさを表す表示情報を上記対象人物毎に関連付けて当該画像を表示させる表示制御部とを具備する撮像装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、特定人物が含まれる画像における対象人物または第3の人物の登場頻度と、特定人物が含まれない画像における対象人物および第3の人物の登場頻度とに基づいて、特定人物および対象人物に関する関係深度値を対象人物毎に算出し、この算出された関係深度値に基づいて、特定人物に関する対象人物の優先順位を対象人物毎に決定し、この決定された優先順位に基づいて撮像パラメータを設定し、その決定された優先順位単位で対象人物が表示されるようにその生成された画像の表示順序を決定し、この決定された表示順序に基づいてその生成された画像を表示させ、表示対象となる画像に含まれる人物のうち対象人物には関係深度値の大きさを表す表示情報を対象人物毎に関連付けて表示対象の画像を表示させるという作用をもたらす。

本発明によれば、ユーザの好みに応じたコンテンツを容易に利用することができるという優れた効果を奏し得る。
以下、本発明を実施するための最良の形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(優先順位の決定制御:特定人物に関する関係深度値を算出し、この関係深度値に基づいて優先順位を決定する例)
2.第2の実施の形態(優先順位の決定制御:顔間の距離または画像に含まれる人数等を考慮して関係深度値を算出する例)
3.第3の実施の形態(優先順位の決定制御:動画に同時に含まれる期間を考慮して関係深度値を算出する例)
4.第4の実施の形態(優先順位に基づく撮像制御:優先順位を用いて撮像パラメータを決定する例)
<1.第1の実施の形態>
[画像処理装置の構成例]
図1は、本発明の第1の実施の形態における画像処理装置100の機能構成例を示すブロック図である。画像処理装置100は、画像入力部110と、顔検出部120と、顔識別部130と、記録制御部140と、関係深度値算出部150と、優先順位決定部160と、優先順位保持部161とを備える。また、画像処理装置100は、表示制御部170と、表示部180と、操作受付部190と、顔識別結果記憶部200と、画像記憶部210と、登録人物情報記憶部220とを備える。画像処理装置100は、例えば、デジタルスチルカメラ等の撮像装置により記録された画像について、画像解析処理により特徴量を抽出し、この抽出された特徴量を用いて各種画像処理を施すことが可能なパーソナルコンピュータによって実現することができる。
画像入力部110は、デジタルスチルカメラ等の撮像装置により記録された画像(画像データ)を入力するものであり、入力された画像を顔検出部120、顔識別部130および記録制御部140に出力する。なお、画像入力部110は、特許請求の範囲に記載のコンテンツ入力部の一例である。
顔検出部120は、画像入力部110から出力された画像に含まれる人物の顔を検出するものであり、検出された顔に関する顔検出情報を顔識別部130に出力する。なお、1つの画像から複数の顔が検出された場合には、検出された各顔に関する顔検出情報が顔識別部130に出力される。ここで、顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法(例えば、特開2004−133637参照。)、画像に含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法等を用いることができる。また、顔検出情報には、検出された顔の画像上における位置およびサイズが含まれる。検出された顔の画像上における位置は、例えば、画像上における顔を含む顔領域(例えば、矩形状)の中心位置とし、検出された顔の画像上におけるサイズは、例えば、画像上における顔領域の水平方向および垂直方向の長さとすることができる。
顔識別部130は、登録人物情報記憶部220に記憶されている特徴量223(図2に示す)を用いて、顔検出部120により検出された顔が登録人物の顔であるか否かを識別するものである。そして、この顔識別結果を、識別対象となった画像および顔検出情報に関連付けて記録制御部140に出力する。具体的には、顔識別部130は、顔検出部120から出力された顔検出情報に基づいて、画像入力部110から出力された画像から、顔検出部120により検出された顔を含む矩形状の顔画像を取り出す。そして、この取り出された顔画像における特徴量を抽出し、抽出された特徴量と、登録人物情報記憶部220に記憶されている特徴量223とを比較することにより、顔検出部120により検出された顔が登録人物の顔であるか否かを識別する。
ここで、特徴量は、画像から検出された顔が登録人物の顔に該当するか否かを識別するために用いられる識別情報であり、例えば、顔を構成する目や鼻、口、眉等の各部の位置関係や形状を認識するための顔画像の特徴や特性を示すデータである。この特徴量は、例えば、色や輝度等の値に基づいて抽出される。また、顔識別結果として、例えば、識別された登録人物の顔に対応する登録人物の顔識別情報(例えば、図2に示す識別番号221)が記録制御部140に出力される。
この顔識別方法として、例えば、比較対象となる顔画像から抽出された特徴量と、登録人物の顔に関する特徴量とを比較することにより、これらの特徴量の類似度を算出する。そして、この算出された類似度が閾値を超えた場合に、その顔画像に含まれる顔が登録人物の顔であると判定する識別方法を用いることができる。また、顔識別方法として、例えば、特徴量として特徴ベクトルを用いて識別処理を行う識別方法を用いることができる(例えば、特開2008−129830号参照。)。
ここで、顔識別部130は、登録人物情報記憶部220に記憶されている特徴量の中に、顔検出部120により検出された顔に対応する特徴量が存在しない場合には、その顔の識別を行うことができない。そこで、顔検出部120により検出された顔の識別を行うことができない場合には、その顔に対応する特徴量が新たな登録人物に関する特徴量として登録人物情報記憶部220に記憶される。すなわち、顔識別部130は、検出された顔の識別を行うことができない場合には、その顔に対応する特徴量を記録制御部140に出力し、記録制御部140は、その特徴量を新たな登録人物に関する特徴量として登録人物情報記憶部220に記憶させる。この場合に、顔識別部130は、その顔に対応する顔画像を記録制御部140に出力し、記録制御部140は、その顔画像を特徴量に関連付けて新たな登録人物に関する登録顔画像として登録人物情報記憶部220に記憶させる。
記録制御部140は、顔識別結果記憶部200、画像記憶部210および登録人物情報記憶部220に対する記録制御を行うものである。具体的には、記録制御部140は、画像入力部110から出力された画像を画像記憶部210に記録させるとともに、この画像に関連付けて顔識別部130から出力された顔識別結果を顔識別結果記憶部200に記録させる。また、記録制御部140は、検出された顔の識別を行うことができない場合には、その顔に対応する特徴量および顔画像を新たな登録人物に関する特徴量および登録顔画像として登録人物情報記憶部220に記録させる。
顔識別結果記憶部200は、記録制御部140の制御に基づいて、顔識別部130から出力された顔識別結果を、識別対象となった画像に関連付けて記憶するものであり、記憶されている顔識別結果を関係深度値算出部150に供給する。なお、顔識別結果記憶部200については、図4を参照して詳細に説明する。
画像記憶部210は、記録制御部140の制御に基づいて、画像入力部110から出力された画像を記憶するものであり、記憶されている画像を表示制御部170に供給する。
登録人物情報記憶部220は、記録制御部140の制御に基づいて、登録人物に関する情報(登録人物情報)を記憶するものであり、記憶されている登録人物情報を顔識別部130または表示制御部170に供給する。ここで、登録人物は、画像処理装置100に登録されている人物であり、登録人物情報は、画像処理装置100に登録されている人物に関する情報である。また、本発明の実施の形態では、登録人物情報記憶部220に登録人物情報が記録されている人物を登録人物とし、この登録人物のうちでユーザにより指定された人物を特定人物と称して説明する。なお、登録人物情報記憶部220については、図2を参照して詳細に説明する。また、登録人物情報記憶部220は、特許請求の範囲に記載の識別情報記憶部の一例である。
関係深度値算出部150は、顔識別結果記憶部200に記憶されている顔識別結果に基づいて、画像記憶部210に記憶されている各画像に含まれる特定人物と他の人物との関係の深さの度合いを示す関係深度値を算出するものである。そして、算出された関係深度値を優先順位決定部160に出力する。具体的には、関係深度値算出部150は、登録人物情報記憶部220に登録人物情報が記憶されている人物のうち、一人の人物を指定する指定操作が操作受付部190により受け付けられた場合には、その指定された人物(特定人物)に関する関係深度値を算出する。この場合に、関係深度値算出部150は、特定人物が含まれる画像における人物間の関係と、特定人物が含まれない画像における人物間の関係とに基づいて関係深度値を算出する。例えば、特定人物が含まれる画像における第2の人物または第3の人物の登場頻度と、特定人物が含まれない画像における第2の人物および第3の人物の登場頻度とに基づいて特定人物および第2の人物に関する関係深度値が算出される。すなわち、関係深度値算出部150は、画像記憶部210に記憶されている画像に含まれる人物のうち、同一画像に同時に含まれる2人の人物の登場頻度を集計し、この集計結果に基づいて各人物間の評価値を算出する。そして、特定人物および第2の人物に関する評価値に基づいて第2の人物に対する第0次関係深度値を算出する。また、特定人物および第3の人物に関する評価値と、第2の人物および第3の人物に関する評価値とに基づいて、第2の人物に対する第1次関係深度値を算出する。なお、この関係深度値の算出については、図5および図6を参照して詳細に説明する。
優先順位決定部160は、関係深度値算出部150から出力された関係深度値に基づいて、登録人物情報記憶部220に登録人物情報が記憶されている複数の人物について、優先順位を決定するものである。そして、決定された優先順位を優先順位保持部161に出力して保持させる。この優先順位の決定については、図5および図6を参照して詳細に説明する。
優先順位保持部161は、優先順位決定部160から出力された優先順位を保持するものであり、保持されている優先順位を表示制御部170に供給する。
表示制御部170は、操作受付部190により受け付けられた操作内容に基づいて、画像記憶部210および登録人物情報記憶部220に記憶されている各画像を表示部180に表示させるものである。例えば、表示制御部170は、登録人物の顔の一覧を表示させる指示操作が、操作受付部190により受け付けられた場合には、登録人物情報記憶部220に記憶されている登録顔画像(図2に示す)を取得する。そして、この取得された登録顔画像の一覧を表示部180に表示させる。また、例えば、表示制御部170は、表示部180に一覧表示されている登録顔画像のうちから、1つの登録顔画像を指定する指定操作が操作受付部190により受け付けられた場合には、優先順位保持部161に保持されている優先順位を取得する。そして、画像記憶部210に記憶されている複数の画像を取得し、これらの各画像を優先順位保持部161から取得された優先順位に基づいて表示部180に順次表示させる。これらの表示例については、図7および図8を参照して詳細に説明する。なお、表示制御部170は、特許請求の範囲に記載の出力制御部の一例である。
表示部180は、表示制御部170の制御に基づいて、画像等の各画像を表示するものである。表示部180は、例えば、LCD(Liquid Crystal Display:液晶ディスプレイ)により実現することができる。
操作受付部190は、ユーザにより操作された操作内容を受け付ける操作受付部であり、受け付けられた操作内容に応じた信号を関係深度値算出部150または表示制御部170に出力する。なお、操作受付部190の少なくとも一部と表示部180とをタッチパネルとして一体で構成するようにしてもよい。
図2は、本発明の第1の実施の形態における登録人物情報記憶部220に記憶されている各情報を模式的に示す図である。登録人物情報記憶部220には、識別番号221と、登録名称222と、特徴量223と、登録顔画像224とが関連付けて記憶されている。なお、図2では、人物A乃至Iの9人の登録人物情報が登録人物情報記憶部220に記憶されている場合を例にして示す。
識別番号221は、登録人物情報記憶部220に登録人物情報が記憶されている各人物を識別するための識別情報であり、例えば、記憶された順番に「#1」、「#2」等が付与され、記憶される。
登録名称222は、登録人物情報記憶部220に登録人物情報が記憶されている各人物に付された名称である。例えば、登録人物情報記憶部220に特徴量および顔画像が記憶された登録人物の名称がユーザにより入力されると、この入力された名称が、登録名称222として記憶される。図2では、これらの名称を省略して、「A」乃至「I」で示す。
特徴量223は、登録人物情報記憶部220に登録人物情報が記憶されている各人物に関する特徴量である。なお、図2では、特徴量223の内容を省略して示す。
登録顔画像224は、登録人物情報記憶部220に登録人物情報が記憶されている各人物に関する顔画像である。なお、図2では、登録顔画像224に格納されている顔画像の画像データを図形化した画像として示し、この画像内に、各人物を識別するための符号(「A」乃至「I」)を付す。
図3は、本発明の第1の実施の形態における画像記憶部210に記憶されている画像を模式的に示す図である。図3に示す画像301乃至318は、デジタルスチルカメラ等の撮像装置により記録された静止画であり、画像入力部110から入力されて画像記憶部210に記憶されている画像である。また、画像301乃至318には、一人または複数人の人物が含まれているものとする。なお、図3では、画像301乃至318に含まれる人物を識別するため、各人物の体の中心部分に符号(「A」乃至「I」)を付して示す。すなわち、同一の符号が付されている人物は、同一人物であるものとする。例えば、画像301は、左側から、人物E、人物A、人物Gが並んで記録された画像である。また、画像302は、左側から、人物C、人物Dが並んで記録された画像である。また、図3では、画像301乃至318を時系列に並べて示す。すなわち、時間軸において、画像301が一番古い画像であり、画像318が一番新しい画像であるものとする。
ここで、例えば、デジタルスチルカメラを所有するユーザが団体旅行に行った場合には、そのデジタルスチルカメラを用いて各地の名所等で記念撮影を行うことが想定される。この記念撮影では、各地の名所等を背景として、例えば、画像305のように、一人のみの人物が含まれる画像や、他の画像のように、複数の人物が含まれる画像が記録されることが多い。また、複数の人物を被写体として記念撮影を行う場合には、仲のよい者同士で一緒に撮影を行うことが多い。すなわち、同一画像に一緒に写っている人物同士は人間関係が深い可能性が高いと考えることができる。そこで、本発明の第1の実施の形態では、同一画像に含まれる人物同士の人間関係の深さに着目し、この人間関係を数値化することによりその人物間の直接的または間接的な人間関係の深さを推定する。また、この推定に基づいて、特定人物に関する他の人物の優先順位を決定する。
ここで、図2に示す登録人物情報記憶部220には、人物A乃至Iのそれぞれを識別するための登録人物情報が記憶されている。例えば、画像301乃至318が画像入力部110から順次入力されると、顔検出部120が、画像301乃至318について、人物A乃至Iの顔を順次検出する。続いて、顔識別部130が、登録人物情報記憶部220に記憶されている人物A乃至Iの特徴量を用いて、検出された各顔について人物A乃至Iの各顔を識別し、この顔識別結果が、顔識別結果記憶部200に順次記録される。この顔識別結果については、図4を参照して詳細に説明する。
図4は、本発明の第1の実施の形態における顔識別結果記憶部200に記憶されている内容を概略的に示す図である。顔識別結果記憶部200には、画像入力部110から入力された画像と、この画像において検出された登録人物との関係が顔識別結果として記憶される。図4に示す例では、人物A乃至Iのそれぞれを識別するための登録人物情報が登録人物情報記憶部220に記憶されている場合に、図3に示す画像301乃至318が入力された場合における記憶内容を示す。なお、図4では、画像301乃至318を示す識別情報をP301乃至P318とし、人物A乃至Iを示す識別情報をA乃至Iとして示す。また、図4では、画像301乃至318において、登録人物の顔が検出された場合には、その人物欄に「○」を付し、登録人物の顔が検出されていない場合には、その人物欄に「−」を付す。例えば、画像301には人物A、EおよびGが含まれているため、P301のA、EおよびGには「○」が付され、その他には「−」が付される。
このように、顔識別結果記憶部200には、画像入力部110から入力された各画像に関連付けられて、各画像において検出された登録人物に関する顔識別結果が記憶されている。この顔識別結果記憶部200に記憶されている顔識別結果を用いて関係深度値が算出される。以下では、関係深度値の算出方法について図面を参照して詳細に説明する。
[優先順位の決定例]
図5は、本発明の第1の実施の形態における顔識別結果記憶部200に記憶されている内容に基づいて作成される人間関係表および人間関係図を示す図である。図5に示す人間関係表330および人間関係図340により表される数値は、関係深度値算出部150により算出される。図5(a)には、画像310乃至318に含まれる人物A乃至Iの関係を数値で表した人間関係表330を示す。図5(b)には、人物A乃至Iを表す白抜き丸を二次元上に配置して、人物A乃至Iの関係を二次元的に表した人間関係図340を示す。図5に示す例では、同一画像に複数の人物が含まれている場合に、この同一画像に含まれる複数の人物のうち、各2人の関係について「1」を加算する例を示す。例えば、画像301のように、同一画像に3人の人物A、E、Gが含まれている場合には、人物AおよびEの関係、人物EおよびGの関係、人物GおよびAの関係のそれぞれについて「1」が加算される。また、画像302のように、同一画像に2人の人物C、Dが含まれている場合には、人物CおよびDの関係について「1」が加算される。このように、同一画像に含まれる複数の人物の関係について「1」を順次加算することにより、画像310乃至318に含まれる人物A乃至Iの人物間の関係を数値(評価値)で表すことができる。例えば、人物AおよびCが一緒に含まれている画像は、画像312および317のみである。このため、人間関係表330の人物AおよびCの関係を示す欄には「2(1+1)」が格納される。また、例えば、人物AおよびBが一緒に含まれている画像は、画像310乃至318に存在しない。このため、人間関係表330の人物AおよびBの関係を示す欄には「0」が格納される。また、他の人物同士の関係についても同様に計算され、人間関係表330の2人の人物の関係を示す欄に格納される。
また、図5(b)に示すように、図5(a)に示す人間関係表330の内容を二次元的な人間関係図として表すことができる。図5(b)に示す人間関係図では、人物A乃至Iを白抜きの丸で示し、この丸内に各人物の識別情報(A乃至I)を付して説明する。例えば、同一画像に複数の人物が含まれている場合には、この複数の人物に含まれる2人の人物に対応する白抜き丸を直線で結び、この直線で結ばれた2人の人物について算出された評価値を直線に付して示す。例えば、直線で結ばれている2人の人物は、一緒に写っている画像が少なくとも1枚存在するため、比較的深い関係であると推定される。また、直線では直接結ばれていないが、一人または数人を介して間接的に結ばれる2人の人物についても、比較的深い関係であると推定される。
例えば、人物Bは、人物CおよびEと直線で直接結ばれているため、人物CおよびEと比較的深い関係であると推定される。また、人物Bは、人物A、D、Gとは、直線で直接結ばれていないが、一人の人物(人物CまたはE)を介して間接的に結ばれている。このため、人物Bは、人物A、D、Gともそれなりに深い関係であると推定される。さらに、人物Bは、人物FおよびHとは、直線で直接結ばれていないが、少なくとも二人の人物(人物A、C、D、EまたはG)を介して間接的に結ばれている。このため、人物Bは、人物F、Hともそれなりに深い関係であると推定される。しかし、人物Bは、人物Iとは、直線的または間接的に結ばれていない。このため、人物Bは、人物Iとは深い関係ではないと推定される。このように、顔識別結果記憶部200に記憶されている内容に基づいて作成される人間関係を用いて、登録人物の人間関係を示す関係深度値を人物毎に算出することができる。
図6は、本発明の第1の実施の形態における顔識別結果記憶部200に記憶されている内容に基づいて作成される関係深度値およびこれに基づいて決定される優先順位の一例を示す図である。図6(a)には、関係深度値の一例として、人物Aに関する関係深度値の一覧表350を示す。この一覧表350に示す人物毎の関係深度値は、関係深度値算出部150により算出される。一覧表350には、人物351と、第0次関係深度値352と、第1次関係深度値353とを関連付けて示す。
人物351は、算出対象となる人物(特定人物)以外の人物である。ここで、図6(a)では、特定人物を人物Aとする例を示すため、人物351には人物B乃至Iを示す。なお、特定人物の指定については、図8を参照して詳細に説明する。
第0次関係深度値352は、同一の画像に特定人物とともに含まれる人物との関係(直接関係)に基づいて、特定人物について算出される関係深度値である。図6(a)に示す例では、人物Aと人物B乃至Iとの直接関係に基づいて算出された関係深度値を示す。具体的には、図5(a)に示す人間関係表330における人物Aの各欄(1行目の各欄)に格納されている各値である。
第1次関係深度値353は、同一の画像に特定人物と同時には含まれないが、複数の画像において特定人物以外の第3の人物を介して関係付けられる第2の人物との関係(間接関係)に基づいて算出される関係深度値である。図6(a)に示す例では、人物Aと人物B乃至Iとの間接関係に基づいて算出された関係深度値を示す。具体的には、人物Aと他の人物(第2の人物)とに関する第1次関係深度値を算出する場合には、人物Aおよび第2の人物以外の第3の人物を介して間接的に結び付けられた評価値を加算することにより算出される。例えば、人物Aおよび人物B以外の第3の人物を介して、人物Aおよび人物Bが間接的に結び付けられる場合は、図5(b)に示すように、人物Cを介す場合、または、人物Eを介す場合である。そこで、人物Cを介して人物Aおよび人物Bが間接的に結び付けられる場合における人物Aおよび人物Cについて算出された評価値(2)と、人物Cおよび人物Bについて算出された評価値(1)とが乗算され、人物C経由の乗算値が算出される(2)。同様に、人物Eを介して人物Aおよび人物Bが間接的に結び付けられる場合における人物Aおよび人物Eについて算出された評価値(5)と、人物Eおよび人物Bについて算出された評価値(2)とが乗算され、人物E経由の乗算値が算出される(10)。続いて、人物C経由の乗算値(2)と、人物E経由の乗算値(10)とが加算され、人物Aおよび人物Bに関する第1次関係深度値(2+10)が算出される。
このように、関係深度値算出部150により算出された第0次関係深度値および第1次関係深度値を用いて、優先順位決定部160が人物Aに関する優先順序を決定する。この優先順序の決定方法として、例えば、図6(b)に示すように、第0次関係深度値に基づいて順位を決定し、第0次関係深度値が同じ値の場合には、これらの順位についてのみ第1次関係深度値を用いて優先順位を決定する決定方法を用いることができる。
図6(b)には、図6(a)に示す人物Aに関する関係深度値表の一覧表350に記載の各値に基づいて決定された人物Aに関する優先順位の一覧表360を示す。図6(b)に示すように、人物CおよびF、人物DおよびH、人物BおよびIのように、第0次関係深度値が同じ値の場合がある。このように、第0次関係深度値が同じ値となる複数の人物については、例えば、第1次関係深度値に基づいて優先順位を決定する。また、例えば、第0次関係深度値および第1次関係深度値に関する重み係数を用いて関係深度値を算出し、この関係深度値に基づいて順位を決定するようにしてもよい。具体的には、第0次関係深度値をS0とし、第0次関係深度値に関する重み係数をαとする。また、第1次関係深度値をS1とし、第1次関係深度値に関する重み係数をβとする。そして、これらの重み係数α、βを用いて関係深度値S(=αS0+βS1)を人物B乃至I毎に算出する。このように算出された関係深度値Sに基づいて優先順位を決定することができる。ここで、重み係数α、βは、例えば、α>βを満たす値である。また、これらの重み係数をユーザによる操作入力により変更可能とするようにしてもよい。
このように、優先順位決定部160が、第0次関係深度値および第1次関係深度値に基づいて優先順位を決定し、この決定された優先順位を優先順位保持部161に保持させる。この優先順位保持部161に保持された優先順位に基づいて、表示制御部170が、例えば、画像301乃至318の表示順序を変更して表示部180に表示させることができる。
なお、この例では、第0次関係深度値および第1次関係深度値を算出し、これらの値に基づいて優先順位を決定する例を示した。しかしながら、例えば、複数の画像において特定人物以外の2人の人物(第2および第3の人物)を介して関係付けられる第4の人物との関係に基づいて第2次関係深度値を算出し、第0乃至2次関係深度値に基づいて優先順位を決定するようにしてもよい。また、複数の画像において特定人物以外のm人(m≧3)以上の人物を介して関係付けられる人物との関係に基づいて第n関係深度値を算出し、第0乃至n次関係深度値に基づいて優先順位を決定するようにしてもよい。なお、対象となる画像の数や登録人数が多くなるに応じて計算量が膨大になる。また、nの値が大きくなるに応じて、第n関係深度値の意味合いも薄れてくることがある。このため、第n関係深度値の算出については適切な段階で終了することが望ましい。例えば、第n関係深度値の値が同一となる人物がいなくなった段階で終了することができる。
[画像の表示例]
図7は、本発明の第1の実施の形態における画像記憶部210に記憶されている画像301乃至318を表示部180に表示させる際における表示順序の一例を示す図である。図7では、図3に時系列で並べて示す画像301乃至318を優先順位に基づいて並び直した例を示す。例えば、画像記憶部210に記憶されている画像301乃至318について、図6(b)に示す優先順位が1位の人物Eが含まれている画像を表示順序の前側に並べる。図7では、人物Eが含まれている画像群を画像群371とし、画像群371に含まれる各画像における人物Eの顔および体部分を太線で示す。画像群371内においては、例えば、人物Aが含まれている画像を表示順序の前側に並べ、人物Aが含まれておらず人物A以外の人物が含まれている画像を表示順序の後側に並べることができる。例えば、人物Aが含まれている画像が複数存在する場合には、時間軸において前側の画像を表示順序の前側に並べる。同様に、人物Aが含まれておらず人物A以外の人物が含まれている画像が複数存在する場合には、時間軸において前側の画像を表示順序の前側に並べる。同様に、図6(b)に示す優先順位が2位の人物Gが含まれている画像群を画像群372とする。ここで、人物Gが含まれる画像301、313、315については、画像群371に含まれているため、画像306のみが画像群372に含まれることになる。また、同様に、図6(b)に示す優先順位が3位の人物Cが含まれている画像群を画像群373とする。また、他の画像についても優先順位に基づいて並べることができる。
図8は、本発明の第1の実施の形態における表示部180に表示される表示画面例を示す図である。図8(a)には、登録顔画像を指定するための顔画像指定画面380を示す。図8(b)には、指定された登録顔画像の人物を特定人物として決定された優先順序に基づいて各画像を表示させる表示画面390を示す。
図8(a)に示す顔画像指定画面380は、例えば、登録人物情報記憶部220に記憶されている登録顔画像の一覧を表示して、所望の人物を指定するための画面である。顔画像指定画面380には、登録人物情報記憶部220に記憶されている登録顔画像のうちの1または複数の登録顔画像と、左ボタン386および右ボタン387と、表示ボタン388と、戻るボタン389とが設けられている。登録人物情報記憶部220に記憶されている登録顔画像として、例えば、複数の人物のうち、人物A乃至Dに対応する登録顔画像381乃至384が表示される。なお、図8(a)では、各登録顔画像に含まれる顔の真中部分に、対応する人物を表す文字を付す。例えば、登録顔画像381は人物Aに対応する顔画像であるため、登録顔画像381に含まれる顔の真中部分にAの文字を付す。また、左ボタン386および右ボタン387の何れかについて、カーソル385を用いて押下操作をすることにより、登録顔画像381乃至384を左右に移動させ、人物A乃至D以外の人物に対応する登録顔画像を表示させることができる。また、表示されている登録顔画像381乃至384の何れかを指定する指定操作が、カーソル385を用いて行われた場合には、指定された登録顔画像の周りにマーカが付される。図8(a)では、登録顔画像381の周りに破線のマーカを付す場合を示す。
このように、一覧表示されている登録顔画像のうちの何れかが指定された状態で、表示ボタン388を押下する押下操作が、カーソル385を用いて行われた場合には、指定された登録顔画像に対応する人物に関する関係深度値が算出される。そして、算出された関係深度値に基づいて、指定された登録顔画像に対応する人物(特定人物)に関する優先順位が決定され、この優先順位に基づいて、例えば、図8(b)に示すように、画像記憶部210に記憶されている画像が表示される。なお、戻るボタン389が押下された場合には、表示部180の表示状態が、顔画像指定画面380の直前の表示画面に変更される。
図8(b)に示す表示画面390は、顔画像指定画面380において指定された登録顔画像に対応する特定人物に関する優先順位に基づいて、画像記憶部210に記憶されている画像を表示するための画面である。表示画面390には、画像記憶部210に記憶されている画像を表示する表示領域391と、顔画像指定画面380において指定された登録顔画像を表示する指定顔画像領域392と、左ボタン395および右ボタン396とが設けられている。また、表示画面390には、左ボタン393および右ボタン394と、新たに表示ボタン397と、戻るボタン398と、登録人物情報記憶部220に記憶されている登録顔画像のうちの1または複数の登録顔画像を表示する顔画像領域399とが設けられている。顔画像領域399には、例えば、直前に表示されていた顔画像指定画面380に含まれる登録顔画像382乃至384が表示される。
例えば、指定顔画像領域392には、顔画像指定画面380において指定された登録顔画像381が表示される。また、表示領域391には、画像記憶部210に記憶されている画像が、指定顔画像領域392に表示されている登録顔画像に対応する特定人物に関する優先順位に基づいて順次表示される。また、例えば、左ボタン395および右ボタン396の何れかについて、カーソル385を用いて押下操作をすることにより、表示領域391に表示されている画像を優先順位に基づいて左右に移動させることができる。また、顔画像領域399に一覧表示されている登録顔画像のうちの何れかを新たに指定し、新たに表示ボタン397を押下する押下操作が、カーソル385を用いて行われた場合には、新たに指定された登録顔画像に対応する特定人物に関する関係深度値が算出される。そして、新たに指定された登録顔画像に関する優先順位に基づいて、画像記憶部210に記憶されている画像が表示される。なお、戻るボタン398が押下された場合には、表示部180の表示状態が、直前に表示されていた顔画像指定画面380に変更される。
なお、図8(b)に示す例では、画像記憶部210に記憶されている画像を1つずつ表示する例を示すが、例えば、優先順位により決定される画像群に含まれる複数の画像を画像群毎に表示するようにしてもよい。また、表示制御部170は、画像記憶部210に記憶されている画像を優先順位に基づいて表示領域391に表示するとともに、登録人物情報記憶部220に記憶されている登録顔画像を優先順位に従って指定顔画像領域392に表示させるようにしてもよい。
また、例えば、多量の画像を画像入力部110に順次入力し、これらの画像に含まれる人物に関する登録人物情報を登録人物情報記憶部220に順次記録する。そして、登録人物情報記憶部220に記録された登録人物情報の登録名称222(図2に示す)をユーザが手動で入力する際に、各登録顔画像を優先順位に表示させて、優先順位の高い順に登録名称を入力することができる。これにより、効率的な登録人物情報の登録作業を行うことができる。
[画像処理装置の動作例]
次に、本発明の第1の実施の形態における画像処理装置100の動作について図面を参照して説明する。
図9は、本発明の第1の実施の形態における画像処理装置100による顔識別結果記録処理の処理手順を示すフローチャートである。
最初に、画像入力部110が画像を入力する(ステップS901)。続いて、顔検出部120が、入力された画像について顔検出処理を行う(ステップS902)。続いて、顔検出部120により顔が検出されたか否かが判断され(ステップS903)、顔が検出されていなければ、ステップS908に進む。一方、顔検出部120により顔が検出された場合には(ステップS903)、顔識別部130が、検出された顔について顔識別処理を行う(ステップS904)。
続いて、検出された顔のうちで、識別を行うことができない顔が存在するか否かが判断され(ステップS905)、識別を行うことができない顔が存在しなければ、ステップS907に進む。一方、識別を行うことができない顔が存在する場合には(ステップS905)、記録制御部140が、その顔に対応する特徴量および顔画像を新たな登録人物に関する登録人物情報として登録人物情報記憶部220に記録させる(ステップS906)。続いて、記録制御部140が、検出された顔について識別された顔識別結果を、画像に関連付けて顔識別結果記憶部200に記録させる(ステップS907)。画像入力部110からの画像入力が終了したか否かが判断され(ステップS908)、画像入力が終了した場合には、顔検出結果記録処理の動作を終了する。一方、画像入力部110からの画像入力が終了していない場合には(ステップS908)、ステップS901に戻る。
図10は、本発明の第1の実施の形態における画像処理装置100による画像表示処理の処理手順を示すフローチャートである。
最初に、登録人物情報記憶部220に記憶されている登録顔画像を表示する指示操作が操作受付部190により受け付けられたか否かが判断される(ステップS911)。その指示操作が受け付けられていない場合には(ステップS911)、その指示操作が受け付けられるまで監視を継続する。その指示操作が受け付けられた場合には(ステップS911)、表示制御部170が、登録人物情報記憶部220に記憶されている各登録顔画像を取得し、取得された各登録顔画像の一覧を表示部180に表示させる(ステップS912)。
続いて、表示部180に表示されている登録顔画像の一覧のうちで、1つの登録顔画像を指定する指定操作が操作受付部190により受け付けられたか否かが判断される(ステップS913)。登録顔画像を指定する指定操作が受け付けられた場合には(ステップS913)、関係深度値算出部150が、表示対象となる画像に関連付けて顔識別結果記憶部200に記憶されている顔識別結果を取得する(ステップS914)。なお、表示対象となる画像は、画像記憶部210に記憶されている各画像である。続いて、関係深度値算出部150が、取得された顔識別結果に基づいて、表示対象となる各画像に含まれる人物間の評価値を算出する(ステップS915)。続いて、変数iが「0」に初期化され(ステップS916)、関係深度値算出部150が、算出された各評価値に基づいて、第i次関係深度値を算出する(ステップS917)。
続いて、変数iが、定数N以上であるか否かが判断される(ステップS918)。変数iが、定数N未満である場合には(ステップS918)、変数iに「1」が加算され(ステップS919)、ステップS917に戻る。例えば、定数Nとして、1を用いることができる。一方、変数iが定数N以上である場合には(ステップS920)、優先順位決定部160が、算出された第0乃至i次関係深度値に基づいて、特定人物に関する優先順位を決定する(ステップS920)。そして、この優先順位が優先順位保持部161に保持される(ステップS921)。続いて、表示制御部170が、優先順位保持部161に保持された優先順位に基づいて、表示対象となる各画像の表示順序を決定する(ステップS922)。続いて、表示制御部170が、決定された表示順序に基づいて、表示対象となる各画像を表示部180に表示させる(ステップS923)。
また、登録顔画像を指定する指定操作が受け付けられない場合には(ステップS913)、表示制御部170が、表示対象となる各画像の記録時刻に基づいて、表示対象となる各画像の表示順序を決定する(ステップS924)。なお、ステップS915乃至S919は、特許請求の範囲に記載の関係深度値算出手順の一例である。また、ステップS920は、特許請求の範囲に記載の優先順位決定手順の一例である。
このように、本発明の第1の実施の形態によれば、同一画像に含まれる人物間に関する評価値を用いて優先順位を決定することができる。具体的には、同一画像に含まれる人物間に関する評価値を用いて第0乃至i次関係深度値を算出し、この第0乃至i次関係深度値に基づいて、優先順位を決定する。このように、直接的な人間関係に基づいて算出される第0次関係深度値と、間接的な人間関係に基づいて算出される第i次関係深度値とを用いて優先順位を決定することができる。これにより、同一画像に特定人物と一緒に写っていない人物についても、第i次関係深度値の算出対象となるため、特定人物に関する人間関係を、興味のある形で表現することができる。
<2.第2の実施の形態>
[画像処理装置の構成例]
本発明の第2の実施の形態では、同一画像に含まれる人物の数または人物間の距離を考慮して関係深度値を算出する例について図面を参照して詳細に説明する。
図11は、本発明の第2の実施の形態における画像処理装置500の機能構成例を示すブロック図である。画像処理装置500は、記録制御部510と、顔情報記憶部520と、顔間距離算出部530と、関係深度値算出部540と、優先順位決定部550と、優先順位保持部551とを備える。なお、他の機能構成については、図1に示す画像処理装置100と略同一であるため、画像処理装置100の符号と同一の符号を付して、機能が異なるものを中心にして説明し、他の説明を省略する。
記録制御部510は、顔情報記憶部520、画像記憶部210および登録人物情報記憶部220に対する記録制御を行うものである。具体的には、記録制御部510は、画像入力部110から出力された画像を画像記憶部210に記録させるとともに、この画像に関連付けて顔識別部130から出力された顔識別結果および顔検出情報を顔情報記憶部520に記録させる。
顔情報記憶部520は、記録制御部510の制御に基づいて、顔識別部130から出力された顔識別結果および顔検出情報を、識別対象となった画像に関連付けて記憶するものである。そして、記憶されている顔識別結果および顔検出情報(顔情報)を顔間距離算出部530に供給し、記憶されている顔識別結果を関係深度値算出部540に供給する。なお、顔情報記憶部520については、図13を参照して詳細に説明する。
顔間距離算出部530は、顔情報記憶部520に記憶されている顔検出情報に基づいて、画像記憶部210に記憶されている各画像に含まれる人物の顔間の距離を算出するものである。そして、算出された顔間の距離を顔識別結果に関連付けて関係深度値算出部540に出力する。なお、この顔間の距離の算出については、図18を参照して詳細に説明する。
関係深度値算出部540は、顔情報記憶部520に記憶されている顔識別結果および顔検出情報に基づいて関係深度値を算出するものであり、算出された関係深度値を優先順位決定部550に出力する。具体的には、関係深度値算出部540は、画像記憶部210に記憶されている画像に含まれる人物のうち、同一画像に同時に含まれる2人の人物の登場頻度と、その同一画像に同時に含まれる人物の数とに基づいて各人物間の評価値を算出する。また、関係深度値算出部540は、画像記憶部210に記憶されている画像に含まれる人物のうち、同一画像に同時に含まれる2人の人物の登場頻度と、その同一画像に同時に含まれる各人物間の距離とに基づいて各人物間の評価値を算出する。そして、特定人物および第2の人物に関する評価値に基づいて第2の人物に対する第0次関係深度値を算出する。また、特定人物および第3の人物に関する評価値と、第2の人物および第3の人物に関する評価値とに基づいて、第2の人物に対する第1次関係深度値を算出する。これらの算出対象となる関係深度値は、例えば、ユーザによる操作受付部190からの操作入力により選択される。なお、同一画像に含まれる人物の数を考慮した関係深度値の算出については、図16および図17を参照して詳細に説明する。また、同一画像に含まれる人物間の距離を考慮した関係深度値の算出については、図18乃至図21を参照して詳細に説明する。
優先順位決定部550は、関係深度値算出部540から出力された関係深度値に基づいて、登録人物情報記憶部220に登録人物情報が記憶されている複数の人物について、優先順位を決定するものである。そして、決定された優先順位を優先順位保持部551に出力して保持させる。なお、この優先順位の決定は、決定の対象となる関係深度値が異なる以外の点は、本発明の第1の実施の形態と同様である。また、この優先順位の決定については、図16乃至図21を参照して詳細に説明する。
優先順位保持部551は、優先順位決定部550から出力された優先順位を保持するものであり、保持されている優先順位を表示制御部170に供給する。
図12は、本発明の第2の実施の形態における画像記憶部210に記憶されている画像を模式的に示す図である。図12に示す画像601乃至603は、デジタルスチルカメラ等の撮像装置により記録された静止画であり、画像入力部110から入力されて画像記憶部210に記憶されている画像である。また、画像601乃至603には、複数人の人物が含まれているものとする。なお、図12では、画像601乃至603に含まれる人物を識別するため、各人物の体の中心部分に符号「A」乃至「D」を付して示す。すなわち、同一の符号が付されている人物は、同一人物であるものとする。また、図12では、画像601乃至603を時系列に並べて示す。すなわち、時間軸において、画像601が一番古い画像であり、画像603が一番新しい画像であるものとする。
図13は、本発明の第2の実施の形態における顔情報記憶部520に記憶されている内容を概略的に示す図である。顔情報記憶部520には、画像入力部110から入力された画像と、この画像において検出された登録人物との関係とともに、検出された登録人物の顔検出情報が記憶される。図13に示す例では、人物A乃至Dのそれぞれを識別するための登録人物情報が登録人物情報記憶部220に記憶されている場合に、図12に示す画像601乃至603が入力された場合における記憶内容を示す。なお、図13では、画像601乃至603を示す識別情報をP601乃至P603とし、人物A乃至Dを示す識別情報をA乃至Dとして示す。例えば、画像601乃至603において、登録人物の顔が検出された場合には、その人物に関連付けて顔検出情報(顔の画像上における位置およびサイズ)が格納される。なお、図13では、登録人物の顔が検出されていない場合には、その対応する欄に「−」を付す。例えば、画像601には人物A、BおよびDが含まれているため、P601のA、BおよびDには、A、BおよびDについて検出された検出顔情報が格納される。例えば、P601のAについて検出された検出顔情報として、顔の画像上における位置(X11,Y11)と、顔の画像上におけるサイズ(H11,W11)とが格納される。
このように、顔情報記憶部520には、画像入力部110から入力された画像に関連付けられて、画像において検出された人物に関する顔識別結果および顔検出情報が記憶されている。この顔情報記憶部520に記憶されている顔識別結果および顔検出情報を用いて関係深度値が算出される。以下では、関係深度値の算出方法について図面を参照して詳細に説明する。
[優先順位の決定例]
図14は、本発明の第2の実施の形態における顔情報記憶部520に記憶されている内容に基づいて作成される人間関係表および人間関係図を示す図である。図14(a)には、画像601乃至603に含まれる人物A乃至Dの関係を数値で表した人間関係表610を示す。図14(b)には、人物A乃至Dを表す白抜き丸を二次元上に配置して、人物A乃至Dの関係を二次元的に表した人間関係図620を示す。なお、図14に示す人間関係表610および人間関係図620は、図5に示す人間関係表330および人間関係図340と同様に作成されるものであるため、ここでの詳細な説明を省略する。
図15は、本発明の第2の実施の形態における顔情報記憶部520に記憶されている内容に基づいて作成される関係深度値およびこれに基づいて決定される優先順位の一例を示す図である。図15(a)には、関係深度値の一例として、人物Aに関する関係深度値の一覧表630を示す。一覧表630には、人物および画像と、第0次関係深度値631と、第1次関係深度値632とを関連付けて示す。なお、図15(a)に示す一覧表630は、画像601乃至603に関する内容と、各値に対する合計とを追加した以外の点は、図6(a)に示す一覧表350と同様であるため、ここでの詳細な説明を省略する。なお、第0次関係深度値631の括弧内に示す数値は、合計に対して各人物が占める割合である。
図15(b)には、図15(a)に示す人物Aに関する関係深度値表の一覧表630に記載の各値に基づいて決定された人物Aに関する優先順位の一覧表640を示す。このように、本発明の第1の実施の形態と同様に優先順位を決定することができる。ここで、例えば、人物Aが含まれる画像601乃至603について、人物A以外に3人(人物B乃至D)が含まれる画像603と、人物A以外に1人(人物C)のみが含まれる画像602とを比較する。この場合には、多人数で撮影された画像603に含まれる3人(人物B乃至D)と人物Aとの関係よりも、いわゆる2ショットで撮影された画像602に含まれる人物Cおよび人物Aの関係が深い可能性が高いと考えられる。
また、同一画像に含まれる複数の人物間の距離が近ければ、この距離が近い人物間の人間関係も深い可能性が高いとも考えられる。例えば、図12(a)に示す画像601に含まれる人物Aおよび人物Bと、人物Aおよび人物Dとの関係を考える。画像601では、人物Aおよび人物Bの距離よりも、人物Aおよび人物Dの距離が近い。このため、人物Aとの距離が近い人物Dが、人物Aとの距離が遠い人物Bよりも人物Aとの人間関係が深い可能性が高いと考えられる。そこで、以下では、同一画像に含まれる人物間の特徴を考慮して、関係深度値を算出する例について説明する。この人物間の特徴として、同一画像に含まれる人物の数、同一画像に含まれる人物間の距離を考慮する例を示す。
[同一画像に含まれる人物の数を考慮した優先順位の決定例]
図16は、本発明の第2の実施の形態における顔情報記憶部520に記憶されている内容に基づいて作成される人間関係表および人間関係図を示す図である。図16に示す人間関係表650および人間関係図660により表される数値は、関係深度値算出部540により算出される。図16(a)には、画像601乃至603に含まれる人物A乃至Dの関係を数値で表した人間関係表650を示す。図16(b)には、人物A乃至Dを表す白抜き丸を二次元上に配置して、人物A乃至Dの関係を二次元的に表した人間関係図660を示す。図16に示す例では、同一画像に複数の人物が含まれている場合に、この同一画像に含まれる複数の人物のうち、各2人の関係についてその複数の人物の数を考慮した値を加算する例を示す。具体的には、同一画像に含まれる人物の数をnとする場合に、1/(n−1)を算出し、1/(n−1)を各人物間に関する関係を表す数値とする。
例えば、画像601のように、同一画像に3人の人物A、B、Dが含まれている場合には、人物AおよびBの関係、人物BおよびDの関係、人物DおよびAの関係のそれぞれについて1/2が加算される。また、画像602のように、同一画像に2人の人物A、Cが含まれている場合には、人物AおよびCの関係について1が加算される。また、画像603のように、同一画像に4人の人物A乃至Dが含まれている場合には、人物A乃至Dのそれぞれの関係について1/3が加算される。このように、同一画像に含まれる複数の人物の関係について、同一画像に含まれる人物の数を考慮した値を順次加算することにより、画像601乃至603に含まれる人物A乃至Dの人物間の関係を数値(評価値)で表すことができる。
例えば、人物AおよびBが一緒に含まれている画像は、画像601および603であり、画像601について算出された各人物間に関する関係を表す数値は1/2であり、画像603について算出された各人物間に関する関係を表す数値は1/3である。このため、人間関係表650の人物AおよびBの関係を示す欄には「5/6」が格納される。また、例えば、人物BおよびCが一緒に含まれている画像は、画像603のみであり、画像603について算出された各人物間に関する関係を表す数値は1/3である。このため、人間関係表650の人物BおよびCの関係を示す欄には「1/3」が格納される。また、他の人物同士の関係についても同様に計算され、人間関係表650の2人の人物の関係を示す欄に格納される。なお、図16(a)では、各人物間に関する関係を表す各数値の合計値(評価値)の右側のカッコ内に、加算対象となる各数値を付す。
また、図16(b)に示すように、図16(a)に示す人間関係表650の内容を二次元的な人間関係図として表すことができる。図16(b)に示す人間関係図660では、人物A乃至Dを白抜きの丸で示し、この丸内に各人物の識別情報(A乃至D)を付して説明する。なお、直線で結ばれた2人の人物について算出された数値が異なる以外の点は、図5(b)に示す人間関係図340の関係と同様であるため、ここでの詳細な説明を省略する。ここで、人間関係図660と、図14(b)に示す人間関係図620とを比較すると、直線で結ばれた2人の人物について算出された数値が異なっていることがある。例えば、人間関係図620において、人物AおよびBの関係と、人物AおよびCの関係とのそれぞれについて算出された評価値は2である。これに対して、人間関係図660において、人物AおよびBの関係について算出された評価値は5/6であるが、人物AおよびCの関係について算出された評価値は4/3である。すなわち、同一画像に含まれる人物の数を考慮した場合には、人物AおよびCの関係が、人物AおよびBの関係よりも深い関係であると推定される。
図17は、本発明の第2の実施の形態における顔情報記憶部520に記憶されている内容に基づいて作成される関係深度値およびこれに基づいて決定される優先順位の一例を示す図である。図17(a)には、関係深度値の一例として、人物Aに関する関係深度値の一覧表670を示す。一覧表670には、人物および画像と、第0次関係深度値671と、第1次関係深度値672とを関連付けて示す。この一覧表670に示す人物毎の関係深度値は、関係深度値算出部540により算出される。なお、図17(a)に示す一覧表670は、直線で結ばれた2人の人物について算出された数値が異なる以外の点は、図15(a)に示す一覧表630と同様であるため、ここでの詳細な説明を省略する。
図17(b)には、図17(a)に示す人物Aに関する関係深度値表の一覧表670に記載の各値に基づいて決定された人物Aに関する優先順位の一覧表680を示す。この一覧表680に示す優先順位は、優先順位決定部550により決定される。なお、図17(b)に示す一覧表680は、第0次関係深度値683および第1次関係深度値684の内容およびこれに基づいて決定される順位が異なる以外の点は、図15(b)に示す一覧表640と同様であるため、ここでの詳細な説明を省略する。
ここで、一覧表680と、図15(b)に示す一覧表640とを比較すると、同一画像を対象としているにもかかわらず、優先順位が異なっている。例えば、一覧表640では、優先順位の1位が人物Bであるのに対し、一覧表680では、優先順位の1位が人物Cである。また、人物Cについては、一覧表640では優先順位が3位であるのに対し、一覧表680では優先順位が1位である。すなわち、多人数で撮影された画像603に含まれる3人(人物B乃至D)と人物Aとの関係よりも、いわゆる2ショットで撮影された画像601に含まれる人物Cおよび人物Aの関係が重視された優先順位を決定することができる。また、例えば、本発明の第1の実施の形態と同様に、第0次関係深度値および第1次関係深度値に関する重み係数を用いて関係深度値を算出し、この関係深度値に基づいて順位を決定するようにしてもよい。
[同一画像に含まれる人物間の距離を考慮した優先順位の決定例]
図18は、本発明の第2の実施の形態における画像記憶部210に記憶されている画像を模式的に示す図である。図18に示す画像700および710は、図12に示す画像601および603を拡大表示したものである。ここで、図13に示す顔情報記憶部520には、顔検出部120により検出された顔に関する顔検出情報(顔の画像上における位置およびサイズ)が記憶されている。このため、画像記憶部210に記憶されている画像に含まれる各顔の位置および大きさを特定することができる。この各顔の位置を用いて、顔間距離算出部530が、画像に含まれる2人の人物間の距離を算出する。
顔間距離算出部530が、画像記憶部210に記憶されている画像に含まれる2人の人物間の距離を算出する場合には、この画像に含まれる2人の人物に関連付けて顔情報記憶部520に記憶されている顔検出情報(顔の画像上における位置)を取得する。続いて、顔間距離算出部530が、取得された顔検出情報を用いて、2人の人物間の距離を算出する。例えば、図18(a)に示す画像700に含まれる人物AおよびB間の距離を算出する場合には、顔間距離算出部530が、顔情報記憶部520から、画像P601の人物AおよびBに格納されている顔検出情報を取得する。この顔検出情報は、顔の画像上における位置((X11,Y11)および(X12,Y12))である。続いて、顔間距離算出部530が、取得された顔検出情報を用いて、人物AおよびB間の距離(√((X11−X12)+(Y11−Y12)))を算出する。例えば、図18(a)に示すように、人物AおよびB間の距離として、人物Aの顔の中心位置O11と、人物Bの顔の中心位置O12との間の距離K1が算出される。同様に、人物AおよびD間の距離として、人物Aの顔の中心位置O11と、人物Dの顔の中心位置O13との間の距離K2が算出される。また、人物BおよびD間の距離として、人物Bの顔の中心位置O12と、人物Dの顔の中心位置O13との間の距離K3が算出される。なお、図18(a)では、顔情報記憶部520に記憶されている顔検出情報(顔の画像上における位置およびサイズ)により特定される人物A乃至Cの各顔の領域を顔領域701乃至703として示す。また、同様に、例えば、図18(b)に示すように、人物A乃至Dに関する人物間の距離として、距離K4乃至K9が算出される。なお、図18(b)では、人物A乃至Dの各顔の領域を顔領域711乃至714として示す。このように画像毎に算出された各人物間の距離を、顔間距離算出部530が、各人物の識別情報に関連付けて関係深度値算出部540に出力する。
図19は、本発明の第2の実施の形態における顔情報記憶部520に記憶されている内容に基づいて作成される人間関係表を示す図である。図19に示す人間関係表690により表される数値(評価値)は、関係深度値算出部540により算出される。人間関係表690は、画像601乃至603に含まれる人物A乃至Dの人物間の関係を数値で表したものである。図19に示す例では、同一画像に複数の人物が含まれている場合に、この同一画像に含まれる複数の人物のうち、各2人の関係についてその人物間の距離を考慮した値を加算する例を示す。ここで、画像に含まれる複数の人物間の距離については、基準となる人物(基準人物)と、他の人物(対象人物)との相対的な関係により決定される。このため、人間関係表690は、図14および図16に示す人間関係表とは異なり、基準人物と対象人物との関係を示す表となる。
具体的には、同一画像に含まれる人物の数をnとする。このn人の人物のうちの基準人物以外の対象人物について、顔間距離算出部530により算出された人物間の距離の順位をm位とする。この人物間の距離の順位がm位の人物に関する関係を表す数値を算出する場合には、各人物間に関する関係を表す数値として、2(n−m)/(n(n−1))を算出する。
例えば、同一画像に3人の人物A、B、Dが含まれている画像601について、基準人物を人物Aとし、対象人物を人物BおよびDとする。この場合に、顔間距離算出部530により算出された人物AおよびD間の距離の順位を1位とし、人物AおよびB間の距離の順位を2位とする。この場合には、基準人物Aおよび対象人物B間に関する関係を表す数値として、1/3を算出する。同様に、基準人物Aおよび対象人物D間に関する関係を表す数値として、2/3を算出する。一方、例えば、画像601について、基準人物を人物Bとし、対象人物を人物AおよびDとする。この場合に、顔間距離算出部530により算出された人物AおよびB間の距離の順位を1位とし、人物BおよびD間の距離の順位を2位とする。この場合には、基準人物Bおよび対象人物A間に関する関係を表す数値として、2/3が算出される。同様に、基準人物Bおよび対象人物D間に関する関係を表す数値として、1/3が算出される。このように、同一画像に含まれる各人物を基準人物とした場合における数値を順次算出し、これらの値を複数の画像について基準人物毎に加算する。このように、同一画像に含まれる複数の人物の関係について、同一画像に含まれる人物間の距離を考慮した値を順次加算することにより、画像601乃至603に含まれる人物A乃至Dの関係を数値で表すことができる。
例えば、人物AおよびBが一緒に含まれている画像601について、基準人物を人物Aとし、対象人物を人物Bとした場合に算出された人物AおよびB間に関する関係を表す数値は1/3である。また、人物AおよびBが一緒に含まれている画像603について、基準人物を人物Aとし、対象人物を人物Bとした場合に算出された人物AおよびB間に関する関係を表す数値は1/2である。このため、人間関係表690の基準人物Aに対する対象人物Bの関係を示す欄には「5/6」が格納される。
ここで、例えば、人物BおよびCが一緒に含まれている画像603について、基準人物をBとする場合には、人物Cは人物Aよりも遠い位置に存在する。このため、基準人物Bに対する対象人物Cの相対的な関係は、人物Aよりも浅い関係であると推定される。これに対して、基準人物をCとする場合には、人物Bは他の人物AおよびDよりも近い位置に存在する。このため、基準人物Cに対する対象人物Bの相対的な関係は、最も深い関係であると推定される。このような関係が成立するため、例えば、人物BおよびCが一緒に含まれている画像603について、基準人物を人物Bとし、対象人物を人物Cとした場合に算出された人物BおよびC間に関する関係を表す数値は1/3である。一方、画像603について、基準人物を人物Cとし、対象人物を人物Bとした場合に算出された人物BおよびC間に関する関係を表す数値は1/2である。また、他の人物同士の関係についても同様に計算され、人間関係表690の2人の人物の関係を示す欄に格納される。
図20は、本発明の第2の実施の形態における顔情報記憶部520に記憶されている内容に基づいて作成される人間関係図を示す図である。図20に示す人間関係図691乃至694により表される数値(評価値)は、関係深度値算出部540により算出される。図20に示す人間関係図691乃至694は、人物A乃至Dを表す白抜き丸を二次元上に配置して、図19に示す人間関係表690の内容を基準人物毎に二次元的に表したものである。すなわち、図20(a)に示す人間関係図691は、基準人物をAとし、対象人物をB乃至Dとする場合における人間関係図であり、図20(b)に示す人間関係図692は、基準人物をBとし、対象人物をA、C、Dとする場合における人間関係図である。また、図20(c)に示す人間関係図693は、基準人物をCとし、対象人物をA、B、Dとする場合における人間関係図であり、図20(d)に示す人間関係図694は、基準人物をDとし、対象人物をA乃至Cとする場合における人間関係図である。なお、図20では、基準人物を表す白抜き丸を太線で示す。例えば、図20(a)に示す人間関係図691では、基準人物Aと対象人物B乃至Dとを直線で結び、基準人物Aに対する対象人物B乃至Dについて算出された評価値(図19に示す基準人物Aの各欄(1行目の各欄)の値)を直線に付して示す。
ここで、画像に含まれる複数の人物間の距離については、基準人物に対する対象人物の相対的な関係により決定される。このため、人間関係図691乃至694は、図14(b)および図16(b)に示す人間関係図とは異なり、基準人物に対する対象人物の相対的な関係を示す表となる。例えば、図20(a)に示す人間関係図691では、人物AおよびBの関係について算出された評価値は5/6である。これに対して、図20(b)に示す人間関係図692では、人物AおよびBの関係について算出された評価値は7/6である。このように人物間の距離を考慮する場合には、直線で結ばれた2人の人物について算出された評価値が異なることがある。
図21は、本発明の第2の実施の形態における顔情報記憶部520に記憶されている内容と、顔間距離算出部530により算出された人物間の距離とに基づいて作成される関係深度値およびこれに基づいて決定される優先順位の一例を示す図である。図21(a)には、関係深度値の一例として、人物Aに関する関係深度値の一覧表700を示す。一覧表700には、人物および画像と、第0次関係深度値671と、第1次関係深度値672とを関連付けて示す。この一覧表700に示す人物毎の関係深度値は、関係深度値算出部540により算出される。なお、図21(a)に示す一覧表700は、直線で結ばれた2人の人物について算出された数値が異なる以外の点は、図15(a)に示す一覧表630と略同様である。このため、一覧表630と異なる点を中心に説明し、他の詳細な説明を省略する。
第0次関係深度値701は、同一の画像に特定人物とともに含まれる人物との関係(直接関係)に基づいて、特定人物について算出される関係深度値である。図21(a)に示す例では、特定人物Aと人物B乃至Dとの直接関係に基づいて算出された関係深度値を示す。具体的には、図19に示す人間関係表690における人物Aの各欄(1行目の各欄)に格納されている各値である。
第1次関係深度値702は、同一の画像に特定人物と同時には含まれないが、複数の画像において特定人物以外の第3の人物を介して関係付けられる第2の人物との関係(間接関係)に基づいて算出される関係深度値である。図21(a)に示す例では、人物Aと人物B乃至Dとの間接関係に基づいて算出された関係深度値を示す。具体的には、人物Aと他の人物(第2の人物)とに関する第1次関係深度値を算出する場合には、人物Aおよび第2の人物以外の第3の人物を介して間接的に結び付けられた評価値を加算することにより算出される。例えば、人物Aおよび人物B以外の第3の人物を介して、人物Aおよび人物Bが間接的に結び付けられる場合は、図20(c)、(d)に示すように、人物Cを介す場合、または、人物Dを介す場合である。そこで、人物Cを介して人物AおよびBが間接的に結び付けられる場合における人物AおよびCに関する評価値(7/6:図20(a)に示す)と、人物CおよびBに関する評価値(1/2:図20(c)に示す)とが乗算される。この乗算により、人物C経由の乗算値が算出される(7/12)。同様に、人物Dを介して人物AおよびBが間接的に結び付けられる場合における人物AおよびDに関する評価値(1:図20(a)に示す)と、人物DおよびBに関する評価値(2/3:図20(d)に示す)とが乗算される。この乗算により、人物D経由の乗算値が算出される(2/3)。続いて、人物C経由の乗算値(7/12)と、人物D経由の乗算値(2/3)とが加算され、人物Aおよび人物Bに関する第1次関係深度値(11/12)が算出される。また、他の人物同士の関係についても同様に計算される。
図21(b)には、図21(a)に示す人物Aに関する関係深度値表の一覧表700に記載の各値に基づいて決定された人物Aに関する優先順位の一覧表710を示す。この一覧表710に示す優先順位は、優先順位決定部550により決定される。なお、図21(b)に示す一覧表710は、第0次関係深度値713および第1次関係深度値714の内容およびこれに基づいて決定される順位が異なる以外の点は、図15(b)に示す一覧表640と同様であるため、ここでの詳細な説明を省略する。
ここで、一覧表710と、図15(b)に示す一覧表640と、図17(b)に示す一覧表680とを比較すると、同一画像を対象としているにもかかわらず、優先順位が異なっている。例えば、一覧表680では、優先順位の2位および3位の値が同一であるのに対し、一覧表710では、全ての優先順位の値が異なる。例えば、一覧表640では、優先順位の1位が人物Bであるのに対し、一覧表680および710では、優先順位の1位が人物Cである。また、一覧表680では、人物BおよびDの優先順位がともに2位であるのに対し、一覧表710では、人物Dの優先順位が2位であり、人物Bの優先順位が3位である。すなわち、同一画像に含まれる人物の数とともに、人物間の距離が重視して優先順位を決定することができる。このように、同一画像における相対的な位置関係に基づいて関係深度値を算出することにより、さらにユーザの好みに応じた優先順位を決定することができる。また、例えば、本発明の第1の実施の形態と同様に、第0次関係深度値および第1次関係深度値に関する重み係数を用いて関係深度値を算出し、この関係深度値に基づいて順位を決定するようにしてもよい。
また、以上では、直接または間接により関連付けられるか否かに基づく優先順位の決定、人物の数を考慮した優先順位の決定、人物間の距離を考慮した優先順位の決定について説明した。これらの何れかにより優先順位を決定するかの選択を、例えば、ユーザの好みに応じて、操作受付部190からの操作入力により行うようにしてもよい。また、これらの関係深度値をそれぞれ算出し、各関係深度値に関する重み係数を用いて、新たな関係深度値を算出し、この新たな関係深度値に基づいて順位を決定するようにしてもよい。
図22は、本発明の第2の実施の形態における表示部180に表示される表示画面例を示す図である。図22(a)には、指定された登録顔画像の人物を特定人物として決定された優先順序に基づいて各画像を表示させる表示画面720を示す。この表示画面720は、例えば、図8(a)に示す顔画像指定画面380において、登録顔画像の指定操作が行われた後に表示される画面である。すなわち、顔画像指定画面380において指定された登録顔画像に対応する特定人物に関する優先順位に基づいて、画像記憶部210に記憶されている画像が表示画面720に表示される。
表示画面720には、画像記憶部210に記憶されている画像を表示する表示領域721と、左ボタン722および右ボタン723と、戻るボタン725とが設けられている。左ボタン722および右ボタン723と、戻るボタン725とについては、図8(b)に示す左ボタン395および右ボタン396、戻るボタン398と同様であるため、ここでの説明を省略する。
表示領域721には、画像記憶部210に記憶されている画像が、指定された登録顔画像に対応する特定人物に関する優先順位に基づいて順次表示される。また、表示領域721内の指定顔画像領域726には、指定された登録顔画像(特定人物の登録顔画像)が表示される。さらに、表示領域721に表示されている画像に含まれる特定人物以外の他の人物には、特定人物について算出された関係深度値に関するスコア727乃至729が表示される。図22(a)に示す例では、特定人物をAとする場合を示すため、表示領域721に表示されている画像に含まれる人物A以外の人物B乃至Dに関連付けて、スコア727乃至729が表示される。このスコア727乃至729は、例えば、人物毎に算出された第0次関係深度値の合計を100%とする場合における各人物の割合とすることができる。例えば、図21(a)に示す一覧表700の第0次関係深度値701の括弧内の値をスコア727乃至729として表示することができる。また、優先順位の算出に用いられた第0乃至i次関係深度値の各値に関連する数値(または、これらの数値の大きさを表す表示情報)を人物毎に表示するようにしてもよい。これにより、現在表示されている画像に含まれる各人物が、特定人物とどの程度の関係深さがあるかを数値等で容易に把握することができる。
図22(b)には、指定された登録顔画像の人物を特定人物として決定された優先順序に基づいて各画像を表示させる表示画面730を示す。この表示画面730は、図8(b)に示す表示画面390の変形例であり、表示領域391に表示されている画像に含まれる人物の顔を表示する登場顔画像領域731を設けた点が表示画面390とは異なる。また、他については、図8(b)に示す表示画面390と略同一であるため、表示画面390の符号と同一の符号を付して、異なる点を中心にして説明し、他の説明を省略する。
登場顔画像領域731には、表示領域391に表示されている画像に含まれる特定人物以外の人物の顔画像が表示される。図22(b)に示す例では、表示領域391に表示されている画像には、特定人物Aと、他の人物EおよびGが含まれる。このため、登場顔画像領域731には、人物EおよびGの顔を含む顔画像が表示される。この顔画像は、例えば、人物EおよびGに関連付けて顔情報記憶部520に記憶されている顔検出情報(顔の画像上における位置)を用いて、表示領域391に表示されている画像から取り出され、表示される。また、登場顔画像領域731に一覧表示されている顔画像のうちの何れかを新たに指定し、新たに表示ボタン397を押下する押下操作がカーソル385を用いて行われた場合には、指定された顔画像に対応する特定人物に関する関係深度値が算出される。そして、算出された関係深度値に基づいて優先順位が決定され、画像記憶部210に記憶されている画像が表示される。
このように、顔画像領域399に登録顔画像を一覧表示するとともに、現在の表示画像に含まれる特定人物以外の人物の顔画像を登場顔画像領域731に一覧表示する。これにより、ユーザが特定人物を指定する際の選択対象を広げることができる。
ここで、例えば、静止画のスライドショーをする場合に、決定された優先順位に基づいて顔のクローズアップ等のエフェクトをかけるようにしてもよい。例えば、優先順位の最も高い顔のクローズアップ等のエフェクトをかけることができる。また、優先順位の最も高い人物のペアにフォーカスしたエフェクトをかけるようにしてもよい。
[画像処理装置の動作例]
次に、本発明の第2の実施の形態における画像処理装置500の動作について図面を参照して説明する。
図23は、本発明の第2の実施の形態における画像処理装置500による画像表示処理の処理手順を示すフローチャートである。この画像表示処理は、図10に示す画像表示処理の変形例であり、図10に示す処理と同一の処理については同一の符号を付して説明を省略する。また、この処理手順では、同一画像に含まれる人物の数を考慮して優先順位を決定する例を示す。
登録顔画像を指定する指定操作が受け付けられた場合には(ステップS913)、関係深度値算出部540が、表示対象となる画像に関連付けて顔情報記憶部520に記憶されている顔情報を取得する(ステップS931)。続いて、関係深度値算出部540が、取得された顔情報に基づいて、表示対象となる各画像に含まれる人物間の評価値を算出する(ステップS932)。この評価値は、同一画像に含まれる人物の数を考慮して算出される。
図24は、本発明の第2の実施の形態における画像処理装置500による画像表示処理の処理手順を示すフローチャートである。この画像表示処理は、図10に示す画像表示処理の変形例であり、図10に示す処理と同一の処理については同一の符号を付して説明を省略する。また、この処理手順では、同一画像に含まれる人物間の距離を考慮して優先順位を決定する例を示す。
登録顔画像を指定する指定操作が受け付けられた場合には(ステップS913)、顔間距離算出部530および関係深度値算出部540が、表示対象となる画像に関連付けて顔情報記憶部520に記憶されている顔情報を取得する(ステップS933)。続いて、顔間距離算出部530が、取得された顔情報に基づいて、表示対象となる各画像に含まれる人物間の距離を算出する(ステップS934)。続いて、関係深度値算出部540が、取得された顔情報と、顔間距離算出部530により算出された人物間の距離とに基づいて、表示対象となる各画像に含まれる人物間の評価値を算出する(ステップS935)。この評価値は、同一画像に含まれる人物間の距離を考慮して算出される。また、関係深度値算出部540が、指定された登録顔画像に対応する特定人物に関する各評価値に基づいて、第i次関係深度値を算出する(ステップS936)。
<3.第3の実施の形態>
[画像処理装置の構成例]
本発明の第3の実施の形態では、動画に含まれる人物を考慮して関係深度値を算出する例について図面を参照して詳細に説明する。
図25は、本発明の第3の実施の形態における画像処理装置800の機能構成例を示すブロック図である。画像処理装置800は、動画入力部801と、顔検出部802と、顔識別部803と、記録制御部804と、関係深度値算出部805と、優先順位決定部806と、優先順位保持部807とを備える。また、画像処理装置800は、表示制御部808と、動画記憶部809と、顔識別結果記憶部810と、同時撮像期間算出部531とを備える。なお、他の機能構成については、図1に示す画像処理装置100と略同一であるため、画像処理装置100の符号と同一の符号を付して、機能が異なるものを中心にして説明し、他の説明を省略する。画像処理装置800は、例えば、デジタルビデオカメラ等の撮像装置により記録された動画について、画像解析処理により特徴量を抽出し、この抽出された特徴量を用いて各種画像処理を施すことが可能なパーソナルコンピュータによって実現することができる。
動画入力部801は、デジタルビデオカメラ等の撮像装置により記録された動画(ビデオデータ)を入力するものであり、入力された動画を顔検出部802、顔識別部803および記録制御部804に出力する。
顔検出部802は、動画入力部801から出力された動画に含まれる人物の顔を検出するものであり、検出された顔に関する顔検出情報を顔識別部803に出力する。具体的には、顔検出部802は、動画入力部801から出力された動画を構成する画像(フレーム)に含まれる人物の顔をフレーム毎に検出する。なお、顔検出部802は、動画に含まれる人物の顔を検出する点が異なるが、他の点は図1に示す顔検出部120と略同一であるため、他の説明を省略する。
顔識別部803は、登録人物情報記憶部220に記憶されている特徴量223(図2に示す)を用いて、顔検出部802により検出された顔が登録人物の顔であるか否かを識別するものである。そして、この顔識別結果を、識別対象となった画像(フレーム)および顔検出情報に関連付けて記録制御部804に出力する。なお、顔識別部803は、動画に含まれる人物の顔を識別する点が異なるが、他の点は図1に示す顔識別部130と略同一であるため、他の説明を省略する。
記録制御部804は、顔識別結果記憶部810、動画記憶部809および登録人物情報記憶部220に対する記録制御を行うものである。具体的には、記録制御部804は、動画入力部801から出力された動画を動画記憶部809に記録させるとともに、この動画を構成する各画像に関連付けて顔識別部803から出力された顔識別結果を顔識別結果記憶部810に記録させる。
顔識別結果記憶部810は、記録制御部804の制御に基づいて、顔識別部803から出力された顔識別結果を、識別対象となった画像に関連付けて記憶するものである。そして、記憶されている顔識別結果を同時撮像期間算出部531および関係深度値算出部805に供給する。なお、顔識別結果記憶部810については、図26を参照して詳細に説明する。
動画記憶部809は、記録制御部804の制御に基づいて、動画入力部801から出力された動画を記憶するものであり、記憶されている動画を表示制御部808に供給する。
同時撮像期間算出部531は、顔識別結果記憶部810に記憶されている顔識別結果に基づいて、動画記憶部809に記憶されている各動画に含まれる2人の人物の顔が同一フレームに同時に含まれる期間を算出するものである。そして、算出された期間を、算出の対象となる動画の一区間および登録人物情報に関連付けて関係深度値算出部805に出力する。同時撮像期間算出部531は、例えば、同一チャプタにおいて、基準人物の顔と、他の人物の顔とが同一フレームに同時に含まれる期間を、他の人物毎に算出する。なお、この期間の算出については、図26を参照して詳細に説明する。
関係深度値算出部805は、顔識別結果記憶部810に記憶されている顔識別結果に基づいて関係深度値を算出するものであり、算出された関係深度値を優先順位決定部806に出力する。具体的には、関係深度値算出部805は、動画記憶部809に記憶されている動画に含まれる人物のうち所定区間に含まれる2人の人物の登場頻度と、その所定区間内に2人の人物が同一フレームに同時に含まれる期間とに基づいて、各人物間の評価値を算出する。そして、特定人物および第2の人物に関する評価値に基づいて第2の人物に対する第0次関係深度値を算出する。また、特定人物および第3の人物に関する評価値と、第2の人物および第3の人物に関する評価値とに基づいて、第2の人物に対する第1次関係深度値を算出する。なお、関係深度値の算出については、図26を参照して詳細に説明する。
優先順位決定部806は、関係深度値算出部805から出力された関係深度値に基づいて、登録人物情報記憶部220に登録人物情報が記憶されている複数の人物について、優先順位を決定するものである。そして、決定された優先順位を優先順位保持部807に出力して保持させる。
優先順位保持部807は、優先順位決定部806から出力された優先順位を保持するものであり、保持されている優先順位を表示制御部808に供給する。
表示制御部808は、操作受付部190により受け付けられた操作内容に基づいて、動画記憶部809に記憶されている各動画を表示部180に表示させるものである。例えば、表示制御部808は、表示部180に一覧表示されている登録顔画像のうちから、1つの登録顔画像を指定する指定操作が操作受付部190により受け付けられた場合には、優先順位保持部807に保持されている優先順位を取得する。そして、動画記憶部809に記憶されている1または複数の動画を取得し、これらの各動画を優先順位保持部807から取得された優先順位に基づいて表示部180に順次再生させる。この優先順位に基づく動画再生は、例えば、動画単位で行うようにしてもよく、チャプタ単位で行うようにしてもよい。また、優先順位に基づいて、動画またはチャプタを表す代表画像を順次表示させ、この代表画像の選択により動画再生を行うようにしてもよい。
[優先順位の決定例]
図26は、本発明の第3の実施の形態における動画記憶部809に記憶されている動画と、顔識別結果記憶部810に記憶されている内容との関係を概略的に示す図である。図26(a)には、動画記憶部809に記憶されている動画(#1)818を模式的に示す。ここで、動画(#1)818を構成する各チャプタ(いわゆる、動画の区切り)のうち、先頭のチャプタをチャプタ(#10)819として示す。また、チャプタ(#10)819には、フレーム#11乃至#18が含まれるものとする。
図26(b)には、動画入力部801から入力された動画を構成する画像と、この画像において検出された登録人物との関係が顔識別結果として記憶される顔識別結果記憶部810を示す。図26(b)に示す例では、人物A乃至Dのそれぞれを識別するための登録人物情報が登録人物情報記憶部220に記憶されている場合における記憶内容を示す。
顔識別結果記憶部810には、動画ID811と、チャプタ番号812と、フレーム番号813と、人物814乃至817とが関連付けて記憶されている。
動画ID811は、動画記憶部809に記憶されている各動画を識別するための識別情報であり、例えば、記憶された順番に「#1」、「#2」等が付与され、記憶される。
チャプタ番号812は、動画記憶部809に記憶されている動画を構成するチャプタを識別するための識別情報である。例えば、動画ID811「#1」の動画に含まれる先頭のチャプタ(#10)819について「#10」が付与され、記憶される。
フレーム番号813は、動画記憶部809に記憶されている動画を構成するフレームを識別するための識別情報である。例えば、動画ID811「#1」の動画に含まれる各フレームに「#11」乃至「#18」が付与され、記憶される。
登録人物814乃至816は、登録人物情報記憶部220に登録人物情報が記憶されている各人物を示す識別情報である。図26(b)に示す例では、人物A乃至Dのそれぞれを示す識別情報を「A」乃至「D」として示す。
ここで、図26(b)に示す例では、動画(#1)818において、登録人物の顔が検出された場合には、顔が検出されたフレームに対応する人物欄に「○」を付し、登録人物の顔が検出されていない場合には、その人物欄に「−」を付す。例えば、人物Dが含まれているフレーム#11の場合には、フレーム番号813「#11」に対応するDには「○」が付され、A、BおよびCには「−」が付される。また、人物A、BおよびDが含まれているフレーム#14の場合には、フレーム番号813「#14」に対応するA、BおよびDには「○」が付され、Cには「−」が付される。なお、連続するフレーム間では、各フレームに登場する人物の変動は少ないと想定されるが、図26(b)では、説明の容易のため、変動が大きい場合を例にして示す。
このように、顔識別結果記憶部810には、動画入力部801から入力された動画を構成する各画像に関連付けられて、各画像において検出された登録人物に関する顔識別結果が記憶されている。この顔識別結果記憶部810に記憶されている顔識別結果を用いて関係深度値が算出される。
ここで、動画を撮影する場合には、撮像装置の撮像範囲を水平方向等に移動させながら記録することが想定される。このため、同一空間に複数の人物が存在する場合でも、その同一空間に存在する各人物が同一フレームに同時に含まれない区間が存在することが想定される。このように、同一フレームに同時に含まれない区間が存在する場合でも、一定区間内のフレームの何れかに含まれる人物同士は関連性が深いと考えることができる。例えば、チャプタ番号812「#10」を構成するフレーム#11乃至#18の何れかに含まれる人物A、B、Dの人物間については、本発明の第1の実施の形態で示した直接関係があるものとする。また、フレーム#11乃至#18の何れにも含まれない人物Cと、人物A、B、Dとの人物間については直接関係がないものとする。そして、本発明の第1の実施の形態と同様に、1つの静止画を単位とする場合における直接関係の代わりに、一定区間(例えば、チャプタ)を単位とする場合における直接関係に基づいて、各動画について評価値を算出する。この算出された評価値に基づいて、本発明の第1の実施の形態と同様に、第0乃至i次関係深度値を算出することができる。すなわち、動画の場合には、フレーム毎の直接関係ではなく、一定区間に含まれる複数のフレームを単位として、関係深度値を算出することができる。
しかしながら、例えば、本発明の第2の実施の形態で示したように、人間関係が深い人物同士は、同一空間内でも近くに存在することが多いと想定される。例えば、同一チャプタに含まれる各フレームのうち、人間関係が深く距離が近い人物同士は、同時に含まれるフレームの数が多い(同一フレームに同時に写っている時間が長い)と想定される。そこで、以下では、同一区間に含まれる各フレームのうち、同一フレームに同時に含まれる期間を考慮して、関係深度値を算出する例について説明する。
ここで、図26(b)に示す顔識別結果記憶部810には、顔検出部802により検出された顔に関する顔識別結果が記憶されている。このため、動画記憶部809に記憶されている動画に含まれる顔をフレーム毎に特定することができる。そこで、同時撮像期間算出部531は、顔識別結果記憶部810に記憶されている顔識別結果を用いて、2人の人物について同一フレームに含まれる期間(同時撮像区間)をチャプタ毎に算出する。すなわち、同時撮像期間算出部531は、同一チャプタに含まれる2人の人物について同時撮像区間を順次算出する。
例えば、人物AおよびBについて、チャプタ番号812「#10」に対応するチャプタの同時撮像区間を算出する場合には、同時撮像期間算出部531が、チャプタ番号812「#10」に対応するフレーム#11乃至#18の顔識別結果を取得する。続いて、同時撮像期間算出部531が、取得された顔識別結果を用いて、人物AおよびBが同一フレームに含まれる期間を算出する。図26(b)に示すように、人物AおよびBが同一フレームに含まれる期間は、フレーム#14および#15の期間であるため、チャプタ番号812「#10」において人物AおよびBに関する同時撮像区間として、2フレームが算出される。このように算出された各人物間の同時撮像区間を、同時撮像期間算出部531が、各人物の識別情報およびチャプタ番号に関連付けて関係深度値算出部805に出力する。
続いて、関係深度値算出部805は、同時撮像区間に長さに応じて、関係深度値を算出する。この関係深度値は、本発明の第2の実施の形態で示した人物間の距離を考慮した関係深度値と同様に算出することができる。例えば、同一チャプタに含まれる人物の数をnとする。このn人の人物のうちの基準人物以外の人物(対象人物)について、同時撮像期間算出部531により算出された各人物間の同時撮像区間の長さの順位をm位とする。この人物間の同時撮像区間の順位がm位の人物に関する関係を表す数値を算出する場合には、各人物間に関する関係を表す数値として、2(n−m)/(n(n−1))を算出する。
このように、同一チャプタに含まれる各人物を基準人物とした場合における数値を算出し、これらの値を複数のチャプタについて基準人物毎に加算する。このように、同一チャプタに含まれる複数の人物の関係について、同一チャプタに含まれる人物間の距離を考慮した値を順次加算することにより、動画(#1)818に含まれる人物A乃至Dの関係を数値(評価値)で表すことができる。また、複数の動画についても同様に算出することができる。
[画像処理装置の動作例]
次に、本発明の第3の実施の形態における画像処理装置800の動作について図面を参照して説明する。
図27は、本発明の第3の実施の形態における画像処理装置800による画像表示処理の処理手順を示すフローチャートである。この画像表示処理は、図24に示す画像表示処理の変形例であり、図24に示す処理と同一の処理については同一の符号を付して説明を省略する。また、この処理手順では、同一チャプタに含まれる人物間の同時撮像区間を考慮して優先順位を決定する例を示す。
登録顔画像を指定する指定操作が受け付けられた場合には(ステップS913)、同時撮像期間算出部531および関係深度値算出部805が、表示対象となる動画に関連付けて顔識別結果記憶部810に記憶されている顔識別結果を取得する(ステップS941)。続いて、同時撮像期間算出部531が、取得された顔識別結果に基づいて、各チャプタに含まれる人物間の同時撮像区間を算出する(ステップS942)。続いて、関係深度値算出部805が、取得された顔識別結果と、同時撮像期間算出部531により算出された人物間の同時撮像区間とに基づいて、表示対象となる各動画に含まれる人物間の評価値を算出する(ステップS943)。この評価値は、同一チャプタに含まれる人物間の同時撮像区間を考慮して算出される。

また、表示制御部808が、優先順位保持部807に保持された優先順位に基づいて、表示対象となる各動画の表示順序を決定する(ステップS945)。続いて、表示制御部808が、決定された表示順序に基づいて、表示対象となる各動画を表示部180に表示させる(ステップS946)。
また、登録顔画像を指定する指定操作が受け付けられない場合には(ステップS913)、表示制御部170が、表示対象となる各動画の記録時刻に基づいて、表示対象となる各動画の表示順序を決定する(ステップS947)。
<4.第4の実施の形態>
[撮像装置の機能構成例]
本発明の第1乃至3の実施の形態では、関係深度値を用いて算出された優先順位を用いてコンテンツの表示制御を行う例について説明した。本発明の第4の実施の形態では、関係深度値を用いて算出された優先順位を用いて撮像制御を行う例について説明する。
図28は、本発明の第4の実施の形態における撮像装置850の機能構成例を示すブロック図である。撮像装置850は、本発明の第1の実施の形態における画像処理装置100の一部を変形したものであり、画像入力部110の代わりに撮像部851および撮像制御部852を設けたものである。なお、優先順位保持部161に保持されている優先順位を撮像部851の撮像制御に用いる点以外の構成は、画像処理装置100と同一である。このため、画像処理装置100の機能構成と同一のものについては同一の符号を付して、これらの構成についての説明を省略する。撮像装置850は撮像部851および撮像制御部852を備える。なお、撮像装置850は、例えば、被写体を撮像して撮像画像等のコンテンツを生成することが可能なデジタルスチルカメラやデジタルビデオカメラ等の撮像装置によって実現することができる。
撮像部851は、撮像素子(図示せず)と、この撮像素子の出力信号を処理して撮像画像(画像データ)を生成する信号処理部(図示せず)とを備える。すなわち、撮像部851において、レンズ(図示せず)を介して入射された被写体の光学像が撮像素子の撮像面に結像され、この状態で撮像素子が撮像動作を行い、信号処理部が撮像信号に対して信号処理を行うことにより、撮像画像が生成される。この撮像画像の生成に用いられるカメラパラメータ(撮像パラメータ)は、撮像制御部852により決定される。また、生成された撮像画像が顔検出部120、顔識別部130、記録制御部140および撮像制御部852に出力される。
撮像制御部852は、撮像部851により生成された撮像画像を順次評価して、シャッター速度、露出、ホワイトバランス等のカメラパラメータを決定し、この決定されたカメラパラメータを用いて撮像部851を制御するものである。また、撮像制御部852は、優先順位保持部161に保持されている優先順位に基づいて、カメラパラメータを決定する。例えば、撮像部851により生成された撮像画像に複数の顔が含まれている場合には、それらのうちで最も優先順位の高い顔に最適なカメラパラメータが決定される。この場合に、顔識別部130から出力された顔識別結果および顔検出情報に基づいて、撮像画像に含まれる優先順位の高い顔が特定される。
例えば、撮像装置850の所有者を特定人物として指定しておく。そして、この所有者が撮像装置850により複数の人物を記録する場合には、過去に記録された画像に含まれる人物間の人間関係に基づいて、所有者に関係の深い人物を綺麗にするように撮像パラメータを設定することができる。例えば、優先順位保持部161に保持されている優先順位のうち、優先順位の最も高い顔を基準にして撮像制御が行われる。例えば、撮像画像における優先順位の最も高い顔の位置をAFエリア(距測エリア)として設定してオートフォーカス制御を行う。また、優先順位の最も高い顔について最適な撮影条件となるように、ホワイトバランス、カラーバランス、露出等のオート制御を行う。
また、モニタリングモードにおいて撮像画像を表示する際に、優先順位保持部161に保持されている優先順位に基づいて表示制御を行うようにしてもよい。例えば、図22(a)に示すように、特定人物について算出された関係深度値に関するスコアを撮像画像に含まれる人物毎に表示するようにしてもよい。これにより、例えば、撮影者に身近な人を優先的に綺麗に撮像することができる。また、撮影の際に基準とすべき人物を容易に認識することができる。
なお、本発明の第4の実施の形態では、本発明の第1の実施の形態で示した直接または間接により関連付けられるか否かに基づいて決定された優先順位に基づいて撮像制御を行う例を示した。しかし、本発明の第2および3の実施の形態で示した人物の数を考慮した優先順位、人物間の距離を考慮した優先順位、同時撮像区間の長さを考慮した優先順位に基づいて撮像制御を行うようにしてもよい。また、これらの何れかの優先順位を使用するかの選択を、例えば、ユーザの好みに応じて、操作受付部190からの操作入力により行うようにしてもよい。また、これらの関係深度値をそれぞれ算出し、各関係深度値に関する重み係数を用いて、新たな関係深度値を算出し、この新たな関係深度値に基づいて決定された優先順位を用いるようにしてもよい。
また、本発明の実施の形態では、コンテンツに含まれる人物を顔識別部により識別して特定する例を示したが、他の装置により生成された画像について、この画像に埋め込まれたメタデータ等を用いて人物を識別するようにしてもよい。
以上で示したように、本発明の実施の形態によれば、コンテンツに含まれる特定人物と他の人物との直接関係および間接関係を考慮して、優先順位を決定することができる。すなわち、同じコンテンツに一緒に写っている人物同士は関係が深い可能性が高く、また、共通の人物と関係が深い人物同士も関係が深い可能性が高いことを利用して、優先順位を決定することができる。このため、例えば、その特定人物が同時に写っていない画像に含まれる人物についても、間接的な関係が深いと推定される場合には、その特定人物が優先的に表示される可能性がある。このため、その特定人物が、思いがけない人物との関係の深さを発見することができる。また、間接的な人間関係を考慮することにより、特定人物の友人との交際や、自分が写っていないが友人が写っている面白い画像を発見することができる。また、これらの優先順位を用いてコンテンツの整理を行うことができる。これにより、今までと異なった観点からのコンテンツ整理を容易に行うことができる。また、各人物に関する関係深度値に対応する情報を表示することにより、コンテンツに含まれる複数の人物の人間関係を容易に把握することができる。すなわち、あいまいで定量的に評価しにくい人物間の関係の深さを数値化等により表現することができる。これらにより、所有者等の嗜好に合わせた人物のコンテンツ出力、または、所有者等が注目する人物に着目した人物のコンテンツ出力を構築することができる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。
本発明の第1の実施の形態における画像処理装置100の機能構成例を示すブロック図である。 本発明の第1の実施の形態における登録人物情報記憶部220に記憶されている各情報を模式的に示す図である。 本発明の第1の実施の形態における画像記憶部210に記憶されている画像を模式的に示す図である。 本発明の第1の実施の形態における顔識別結果記憶部200に記憶されている内容を概略的に示す図である。 本発明の第1の実施の形態における顔識別結果記憶部200に記憶されている内容に基づいて作成される人間関係表および人間関係図を示す図である。 本発明の第1の実施の形態における顔識別結果記憶部200に記憶されている内容に基づいて作成される関係深度値およびこれに基づいて決定される優先順位の一例を示す図である。 本発明の第1の実施の形態における画像記憶部210に記憶されている画像301乃至318を表示部180に表示させる際における表示順序の一例を示す図である。 本発明の第1の実施の形態における表示部180に表示される表示画面例を示す図である。 本発明の第1の実施の形態における画像処理装置100による顔識別結果記録処理の処理手順を示すフローチャートである。 本発明の第1の実施の形態における画像処理装置100による画像表示処理の処理手順を示すフローチャートである。 本発明の第2の実施の形態における画像処理装置500の機能構成例を示すブロック図である。 本発明の第2の実施の形態における画像記憶部210に記憶されている画像を模式的に示す図である。 本発明の第2の実施の形態における顔情報記憶部520に記憶されている内容を概略的に示す図である。 本発明の第2の実施の形態における顔情報記憶部520に記憶されている内容に基づいて作成される人間関係表および人間関係図を示す図である。 本発明の第2の実施の形態における顔情報記憶部520に記憶されている内容に基づいて作成される関係深度値およびこれに基づいて決定される優先順位の一例を示す図である。 本発明の第2の実施の形態における顔情報記憶部520に記憶されている内容に基づいて作成される人間関係表および人間関係図を示す図である。 本発明の第2の実施の形態における顔情報記憶部520に記憶されている内容に基づいて作成される関係深度値およびこれに基づいて決定される優先順位の一例を示す図である。 本発明の第2の実施の形態における画像記憶部210に記憶されている画像を模式的に示す図である。 本発明の第2の実施の形態における顔情報記憶部520に記憶されている内容に基づいて作成される人間関係表を示す図である。 本発明の第2の実施の形態における顔情報記憶部520に記憶されている内容に基づいて作成される人間関係図を示す図である。 本発明の第2の実施の形態における顔情報記憶部520に記憶されている内容と、顔間距離算出部530により算出された人物間の距離とに基づいて作成される関係深度値およびこれに基づいて決定される優先順位の一例を示す図である。 本発明の第2の実施の形態における表示部180に表示される表示画面例を示す図である。 本発明の第2の実施の形態における画像処理装置500による画像表示処理の処理手順を示すフローチャートである。 本発明の第2の実施の形態における画像処理装置500による画像表示処理の処理手順を示すフローチャートである。 本発明の第3の実施の形態における画像処理装置800の機能構成例を示すブロック図である。 本発明の第3の実施の形態における動画記憶部809に記憶されている動画と、顔識別結果記憶部810に記憶されている内容との関係を概略的に示す図である。 本発明の第3の実施の形態における画像処理装置800による画像表示処理の処理手順を示すフローチャートである。 本発明の第4の実施の形態における撮像装置850の機能構成例を示すブロック図である。
符号の説明
100、500、800 画像処理装置
110 画像入力部
120、802 顔検出部
130、803 顔識別部
140、510、804 記録制御部
150、540、805 関係深度値算出部
160、550、806 優先順位決定部
161、551、807 優先順位保持部
170、808 表示制御部
180 表示部
190 操作受付部
200 顔識別結果記憶部
210 画像記憶部
220 登録人物情報記憶部
520 顔情報記憶部
530 顔間距離算出部
531 同時撮像期間算出部
801 動画入力部
809 動画記憶部
850 撮像装置
851 撮像部
852 撮像制御部

Claims (12)

  1. 複数のコンテンツのうちの何れかのコンテンツに含まれる1人の人物を特定人物として前記特定人物以外の人物を対象人物とし、前記特定人物が含まれる前記コンテンツにおける前記対象人物または前記対象人物以外の第3の人物の登場頻度と、前記特定人物が含まれない前記コンテンツにおける前記対象人物および前記第3の人物の登場頻度とに基づいて前記特定人物および前記対象人物の関係の深さの度合いを示す関係深度値を前記対象人物毎に算出する関係深度値算出部と、
    前記特定人物に関する前記対象人物の優先順位を前記算出された関係深度値に基づいて前記対象人物毎に決定する優先順位決定部と、
    前記決定された優先順位単位で前記対象人物が表示されるように前記複数のコンテンツの表示順序を決定して当該決定された表示順序に基づいて前記複数のコンテンツを表示部に表示させ、当該表示対象となるコンテンツに含まれる人物のうち前記対象人物には前記関係深度値の大きさを表す表示情報を前記対象人物毎に関連付けて当該コンテンツを表示させる表示制御部と
    を具備する画像処理装置。
  2. 前記関係深度値算出部は、前記複数のコンテンツに含まれる人物のうち同一コンテンツに同時に含まれる2人の人物の登場頻度に基づいて前記複数のコンテンツに含まれる各人物間の評価値を算出し、前記特定人物および前記対象人物に関する前記評価値と前記特定人物および前記第3の人物に関する前記評価値と前記対象人物および前記第3の人物に関する前記評価値とに基づいて前記関係深度値を算出する請求項1記載の画像処理装置。
  3. 前記関係深度値算出部は、前記特定人物および前記対象人物に関する前記評価値に基づいて第1の関係深度値を算出し、前記第3の人物および前記特定人物に関する前記評価値と前記対象人物および前記第3の人物に関する前記評価値とに基づいて第2の関係深度値を算出し、
    前記優先順位決定部は、前記算出された第1の関係深度値および第2の関係深度値に基づいて前記優先順位を決定する
    請求項2記載の画像処理装置。
  4. 前記優先順位決定部は、前記算出された第1の関係深度値および第2の関係深度値のそれぞれに重み付けをした値に基づいて前記関係深度値を算出する請求項3記載の画像処理装置。
  5. 前記表示制御部は、前記表示対象となるコンテンツに含まれる人物のうち前記対象人物の顔画像を当該コンテンツから抽出し、新たな特定人物を指定するための画像として当該抽出された顔画像を当該コンテンツとともに前記表示部に表示させ、
    前記表示部に顔画像が表示されている人物のうちから前記新たな特定人物を指定する指定操作を受け付ける操作受付部をさらに具備し、
    前記関係深度値算出部は、前記指定された新たな特定人物に係る前記関係深度値を算出し、
    前記優先順位決定部は、前記指定された新たな特定人物に係る前記優先順位を決定する
    請求項1記載の画像処理装置。
  6. 前記関係深度値算出部は、前記複数のコンテンツに含まれる人物のうち同一コンテンツに同時に含まれる2人の人物の登場頻度および当該同一コンテンツに同時に含まれる人物の数に基づいて前記複数のコンテンツに含まれる各人物間の評価値を算出し、前記特定人物および前記対象人物に関する前記評価値と前記特定人物および前記第3の人物に関する前記評価値と前記対象人物および前記第3の人物に関する前記評価値とに基づいて前記関係深度値を算出する請求項1記載の画像処理装置。
  7. 前記関係深度値算出部は、前記複数のコンテンツに含まれる人物のうち同一コンテンツに同時に含まれる2人の人物の登場頻度および当該同一コンテンツに同時に含まれる各人物間の距離に基づいて前記複数のコンテンツに含まれる各人物間の評価値を算出し、前記特定人物および前記対象人物に関する前記評価値と前記特定人物および前記第3の人物に関する前記評価値と前記対象人物および前記第3の人物に関する前記評価値とに基づいて前記関係深度値を算出する請求項1記載の画像処理装置。
  8. 前記コンテンツは動画を構成する所定区間内の複数のフレームであり、
    前記関係深度値算出部は、前記動画に含まれる人物のうち同一区間に含まれる2人の人物の登場頻度および当該同一区間内で2人の人物が同一フレームに同時に含まれる期間に基づいて前記動画に含まれる各人物間の評価値を算出し、前記特定人物および前記対象人物に関する前記評価値と前記特定人物および前記第3の人物に関する前記評価値と前記対象人物および前記第3の人物に関する前記評価値とに基づいて前記関係深度値を算出する請求項1記載の画像処理装置。
  9. 人物の顔を識別するための識別情報を記憶する識別情報記憶部と、
    前記識別情報が記憶されている人物のうち1人の人物を特定人物として指定する指定操作を受け付ける操作受付部と、
    複数のコンテンツを入力するコンテンツ入力部と、
    前記入力されたコンテンツに含まれる顔を検出する顔検出部と、
    前記識別情報に基づいて前記検出された顔を識別する顔識別部と、
    前記識別結果に基づいて前記複数のコンテンツに含まれる人物を特定して前記特定人物以外の人物を対象人物とし、前記特定人物が含まれる前記コンテンツにおける前記対象人物または前記対象人物以外の第3の人物の登場頻度と、前記特定人物が含まれない前記コンテンツにおける前記対象人物および前記第3の人物の登場頻度とに基づいて前記特定人物および前記対象人物の関係の深さの度合いを示す関係深度値を前記対象人物毎に算出する関係深度値算出部と、
    前記特定人物に関する前記対象人物の優先順位を前記算出された関係深度値に基づいて前記対象人物毎に決定する優先順位決定部と、
    前記決定された優先順位単位で前記対象人物が表示されるように前記入力されたコンテンツの表示順序を決定して当該決定された表示順序に基づいて前記入力されたコンテンツを表示部に表示させ、当該表示対象となるコンテンツに含まれる人物のうち前記対象人物には前記関係深度値の大きさを表す表示情報を前記対象人物毎に関連付けて当該コンテンツを表示させる表示制御部と
    を具備する画像処理装置。
  10. 被写体を撮像して画像を生成する撮像部と、
    前記生成された画像のうちの何れかの画像に含まれる1人の人物を特定人物として前記特定人物以外の人物を対象人物とし、前記特定人物が含まれる前記画像における前記対象人物または前記対象人物以外の第3の人物の登場頻度と、前記特定人物が含まれない前記画像における前記対象人物および前記第3の人物の登場頻度とに基づいて前記特定人物および前記対象人物の関係の深さの度合いを示す関係深度値を前記対象人物毎に算出する関係深度値算出部と、
    前記特定人物に関する前記対象人物の優先順位を前記算出された関係深度値に基づいて前記対象人物毎に決定する優先順位決定部と、
    前記決定された優先順位に基づいて前記撮像部による画像の生成に用いられる撮像パラメータを設定する撮像制御部と、
    前記決定された優先順位単位で前記対象人物が表示されるように前記生成された画像の表示順序を決定して当該決定された表示順序に基づいて前記生成された画像を表示部に表示させ、当該表示対象となる画像に含まれる人物のうち前記対象人物には前記関係深度値の大きさを表す表示情報を前記対象人物毎に関連付けて当該画像を表示させる表示制御部と
    を具備する撮像装置。
  11. 関係深度値算出部が、複数のコンテンツのうちの何れかのコンテンツに含まれる1人の人物を特定人物として前記特定人物以外の人物を対象人物とし、前記特定人物が含まれる前記コンテンツにおける前記対象人物または前記対象人物以外の第3の人物の登場頻度と、前記特定人物が含まれない前記コンテンツにおける前記対象人物および前記第3の人物の登場頻度とに基づいて前記特定人物および前記対象人物の関係の深さの度合いを示す関係深度値を前記対象人物毎に算出する関係深度値算出手順と、
    優先順位決定部が、前記特定人物に関する前記対象人物の優先順位を前記算出された関係深度値に基づいて前記対象人物毎に決定する優先順位決定手順と、
    表示制御部が、前記決定された優先順位単位で前記対象人物が表示されるように前記複数のコンテンツの表示順序を決定して当該決定された表示順序に基づいて前記複数のコンテンツを表示部に表示させ、当該表示対象となるコンテンツに含まれる人物のうち前記対象人物には前記関係深度値の大きさを表す表示情報を前記対象人物毎に関連付けて当該コンテンツを表示させる表示制御手順と
    を具備する画像処理方法。
  12. 複数のコンテンツのうちの何れかのコンテンツに含まれる1人の人物を特定人物として前記特定人物以外の人物を対象人物とし、前記特定人物が含まれる前記コンテンツにおける前記対象人物または前記対象人物以外の第3の人物の登場頻度と、前記特定人物が含まれない前記コンテンツにおける前記対象人物および前記第3の人物の登場頻度とに基づいて前記特定人物および前記対象人物の関係の深さの度合いを示す関係深度値を前記対象人物毎に算出する関係深度値算出手順と、
    前記特定人物に関する前記対象人物の優先順位を前記算出された関係深度値に基づいて前記対象人物毎に決定する優先順位決定手順と、
    前記決定された優先順位単位で前記対象人物が表示されるように前記複数のコンテンツの表示順序を決定して当該決定された表示順序に基づいて前記複数のコンテンツを表示部に表示させ、当該表示対象となるコンテンツに含まれる人物のうち前記対象人物には前記関係深度値の大きさを表す表示情報を前記対象人物毎に関連付けて当該コンテンツを表示させる表示制御手順と
    をコンピュータに実行させるプログラム。
JP2008312971A 2008-12-09 2008-12-09 画像処理装置、撮像装置、画像処理方法およびプログラム Expired - Fee Related JP4816717B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008312971A JP4816717B2 (ja) 2008-12-09 2008-12-09 画像処理装置、撮像装置、画像処理方法およびプログラム
US12/590,441 US8503735B2 (en) 2008-12-09 2009-11-06 Image processing to perform grouping based on depth-of-relationship values
CN200910259001.7A CN101751574B (zh) 2008-12-09 2009-12-09 图像处理设备、成像装置和成像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008312971A JP4816717B2 (ja) 2008-12-09 2008-12-09 画像処理装置、撮像装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2010140069A JP2010140069A (ja) 2010-06-24
JP4816717B2 true JP4816717B2 (ja) 2011-11-16

Family

ID=42231104

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008312971A Expired - Fee Related JP4816717B2 (ja) 2008-12-09 2008-12-09 画像処理装置、撮像装置、画像処理方法およびプログラム

Country Status (3)

Country Link
US (1) US8503735B2 (ja)
JP (1) JP4816717B2 (ja)
CN (1) CN101751574B (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5294818B2 (ja) * 2008-12-08 2013-09-18 キヤノン株式会社 情報処理装置及び情報処理方法
EP2553657A4 (en) * 2010-04-02 2015-04-15 Nokia Corp METHODS AND APPARATUS FOR FACIAL DETECTION
JP2011244368A (ja) * 2010-05-21 2011-12-01 Hitachi Consumer Electronics Co Ltd 記録方法
US8649573B1 (en) * 2010-06-14 2014-02-11 Adobe Systems Incorporated Method and apparatus for summarizing video data
JP5750253B2 (ja) * 2010-09-28 2015-07-15 任天堂株式会社 画像生成プログラム、撮像装置、撮像システム、及び画像生成方法
US9389774B2 (en) 2010-12-01 2016-07-12 Sony Corporation Display processing apparatus for performing image magnification based on face detection
US8606776B2 (en) * 2011-02-18 2013-12-10 Google Inc. Affinity based ranked for search and display
US8625860B2 (en) * 2011-04-01 2014-01-07 Intel Corporation Adaptive face recognition using online learning
CN102918535B (zh) * 2011-04-01 2017-02-15 松下电器(美国)知识产权公司 内容处理装置、内容处理方法、内容处理程序以及集成电路
US9355329B2 (en) * 2011-05-09 2016-05-31 Catherine G. McVey Image analysis for determining characteristics of pairs of individuals
US9552637B2 (en) 2011-05-09 2017-01-24 Catherine G. McVey Image analysis for determining characteristics of groups of individuals
CA2872841C (en) 2011-05-09 2019-08-06 Catherine Grace Mcvey Image analysis for determining characteristics of animals and humans
JP2012256105A (ja) * 2011-06-07 2012-12-27 Sony Corp 表示装置、オブジェクト表示方法、及びプログラム
IL216058B (en) * 2011-10-31 2019-08-29 Verint Systems Ltd A system and method for analyzing relationships by image processing
US9087273B2 (en) * 2011-11-15 2015-07-21 Facebook, Inc. Facial recognition using social networking information
JP5834950B2 (ja) * 2012-01-24 2015-12-24 富士通株式会社 写真系列の類似度算出装置、方法、及びプログラム
US9036069B2 (en) * 2012-02-06 2015-05-19 Qualcomm Incorporated Method and apparatus for unattended image capture
JP6021366B2 (ja) * 2012-03-12 2016-11-09 キヤノン株式会社 情報処理システム、情報処理システムの制御方法、情報処理装置、コンピュータプログラム。
WO2013136792A1 (ja) * 2012-03-15 2013-09-19 パナソニック株式会社 コンテンツ処理装置、コンテンツ処理方法およびプログラム
JP2014026596A (ja) * 2012-07-30 2014-02-06 Canon Inc 画像処理装置、その制御方法、および制御プログラム
WO2014142301A1 (ja) * 2013-03-15 2014-09-18 日本電気株式会社 情報提供システム、サーバ装置、動画表示装置、情報提供方法、およびプログラム
JP6097632B2 (ja) * 2013-05-10 2017-03-15 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
EP2808828B1 (en) * 2013-05-31 2020-08-05 Omron Corporation Image matching method, image matching device, model template generation method, model template generation device, and program
US9489564B2 (en) 2013-07-11 2016-11-08 Google Technology Holdings LLC Method and apparatus for prioritizing image quality of a particular subject within an image
JP6218696B2 (ja) * 2014-07-31 2017-10-25 キヤノン株式会社 画像表示装置、画像表示方法、およびプログラム
US10417271B2 (en) 2014-11-25 2019-09-17 International Business Machines Corporation Media content search based on a relationship type and a relationship strength
CN107430782B (zh) * 2015-04-23 2021-06-04 奥斯坦多科技公司 用于利用深度信息的全视差压缩光场合成的方法
JP2017010251A (ja) * 2015-06-22 2017-01-12 富士フイルム株式会社 画像抽出装置、画像抽出方法、プログラムおよび記録媒体
JP6440604B2 (ja) * 2015-09-29 2018-12-19 富士フイルム株式会社 被写体評価システム,被写体評価方法,被写体評価プログラムおよびそのプログラムを格納した記録媒体
US10282598B2 (en) 2017-03-07 2019-05-07 Bank Of America Corporation Performing image analysis for dynamic personnel identification based on a combination of biometric features
KR101972331B1 (ko) * 2017-08-29 2019-04-25 키튼플래닛 주식회사 영상 얼라인먼트 방법 및 그 장치
CN107943935B (zh) * 2017-11-23 2021-02-02 北京天广汇通科技有限公司 数据的处理方法、装置和计算机可读存储介质
JP2019185384A (ja) * 2018-04-10 2019-10-24 キヤノン株式会社 画像認証装置、画像認証方法、コンピュータプログラムおよび記憶媒体
JP7012628B2 (ja) 2018-09-28 2022-01-28 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP7111662B2 (ja) * 2019-07-18 2022-08-02 富士フイルム株式会社 画像解析装置、画像解析方法、コンピュータプログラム、及び記録媒体
JP7267227B2 (ja) * 2020-03-27 2023-05-01 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム
JP7220861B1 (ja) 2022-04-20 2023-02-13 株式会社エクサウィザーズ 情報処理方法、情報処理装置及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4549481B2 (ja) * 2000-03-09 2010-09-22 オリンパス株式会社 ピント合わせ装置
JP2002259730A (ja) * 2001-02-28 2002-09-13 Fuji Xerox Co Ltd 情報提供システム及び方法
JP2002333652A (ja) * 2001-05-10 2002-11-22 Oki Electric Ind Co Ltd 撮影装置及び再生装置
JP2004133637A (ja) 2002-10-09 2004-04-30 Sony Corp 顔検出装置、顔検出方法及びプログラム、並びにロボット装置
JP4490214B2 (ja) * 2004-09-10 2010-06-23 富士フイルム株式会社 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
JP2006079460A (ja) * 2004-09-10 2006-03-23 Fuji Photo Film Co Ltd 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
JP2006081021A (ja) * 2004-09-10 2006-03-23 Fuji Photo Film Co Ltd 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
JP2006155095A (ja) * 2004-11-26 2006-06-15 Fuji Photo Film Co Ltd 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
JP4720167B2 (ja) * 2004-12-03 2011-07-13 株式会社ニコン 電子カメラおよびプログラム
JP2006236216A (ja) * 2005-02-28 2006-09-07 Fuji Photo Film Co Ltd 人物認識システム、人物認識方法、及び人物認識プログラム
JP2007041964A (ja) * 2005-08-04 2007-02-15 Matsushita Electric Ind Co Ltd 画像処理装置
CN101115140B (zh) * 2006-07-25 2010-09-29 富士胶片株式会社 图像摄取系统
JP5136819B2 (ja) * 2006-09-14 2013-02-06 カシオ計算機株式会社 画像分類装置、画像分類方法及びプログラム
US8315463B2 (en) * 2006-11-14 2012-11-20 Eastman Kodak Company User interface for face recognition
JP4305672B2 (ja) * 2006-11-21 2009-07-29 ソニー株式会社 個人識別装置、個人識別方法、識別用辞書データの更新方法および識別用辞書データの更新プログラム
JP4412342B2 (ja) 2007-03-30 2010-02-10 ソニー株式会社 コンテンツ管理装置、画像表示装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラム

Also Published As

Publication number Publication date
US8503735B2 (en) 2013-08-06
JP2010140069A (ja) 2010-06-24
CN101751574B (zh) 2014-04-16
CN101751574A (zh) 2010-06-23
US20100142762A1 (en) 2010-06-10

Similar Documents

Publication Publication Date Title
JP4816717B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US9626551B2 (en) Collation apparatus and method for the same, and image searching apparatus and method for the same
CN102857686B (zh) 图像处理装置,控制图像处理装置的方法
JP5128880B2 (ja) 画像取扱装置
KR101346539B1 (ko) 얼굴들을 상관시킴으로써 디지털 이미지들을 구조화하기
JP4924742B2 (ja) 画像処理装置及び方法、並びにプログラム
KR20090045870A (ko) 촬상 장치, 그 제어 방법 및 프로그램
JP4535164B2 (ja) 撮像装置、画像処理装置、これらにおける画像解析方法およびプログラム
CN105027553B (zh) 图像处理装置、图像处理方法以及存储图像处理程序的存储介质
JP2012198781A (ja) 情報処理装置、情報処理方法およびプログラム
JP6369470B2 (ja) 情報処理システム
CN101262561B (zh) 成像设备及其控制方法
JP2011109428A (ja) 情報処理装置、情報処理方法、およびプログラム
JP4710978B2 (ja) 対象物検出装置、撮像装置、対象物検出方法およびプログラム
JP6529314B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2010160758A (ja) 対象物検出装置、学習装置、対象物検出方法およびプログラム
US20140211046A1 (en) Apparatus and Method for Processing Digital Image
JP5918996B2 (ja) 被写体認識装置および辞書データ登録方法
JP2011176386A (ja) 撮像装置、画像表示装置及び画像表示プログラム
JP2011085966A (ja) 情報処理装置、情報処理方法およびプログラム
JP2018029270A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
JP6410427B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN104935807B (zh) 摄像装置、摄像方法以及计算机可读取的记录介质
JP6006841B2 (ja) 画像取扱装置、画像取扱方法、およびプログラム
JP5778314B2 (ja) サーバーおよび画像取扱方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101022

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110322

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110609

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110815

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees