JP7012628B2 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents
画像処理装置、画像処理方法、プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP7012628B2 JP7012628B2 JP2018184842A JP2018184842A JP7012628B2 JP 7012628 B2 JP7012628 B2 JP 7012628B2 JP 2018184842 A JP2018184842 A JP 2018184842A JP 2018184842 A JP2018184842 A JP 2018184842A JP 7012628 B2 JP7012628 B2 JP 7012628B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- persons
- group
- image
- occurrence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
本発明の第2の目的は、上記第1の目的に加えて、グループ毎に、画像群に含まれる画像を分類することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
画像群に写っている複数の人物を判別する人物判別部と、
画像群に含まれる画像毎に、人物判別部による複数の人物の判別結果に基づいて、複数の人物のうちの2以上の人物が画像に写っている場合に、2以上の人物が画像において共起関係にあることを表す共起関係情報を記憶する共起関係記憶部と、
複数の人物のうちの2人の人物の順列毎に、画像における共起関係情報の全てに基づいて、2人の人物の画像群における共起関係の強さを表す共起スコアを算出する共起スコア算出部と、
2人の人物の順列の画像群における共起スコアの全てに基づいて、複数の人物のうちの少なくとも一部の人物をグループに分類する人物分類部と、を備える、画像処理装置を提供する。
複数の人物に含まれる人物毎に、人物と人物以外の各人物とからなる2人の人物の順列の画像群における共起スコアの全てを加算することにより人物の共起スコアの総合値を算出し、
人物毎に、人物と人物以外の各人物とからなる2人の人物の順列の画像群における共起スコアの各々を人物の共起スコアの総合値で割ることにより規格化し、
人物と人物以外の各人物とからなる2人の人物の順列の規格化された共起スコアの全てに基づいて、複数の人物をグループに分類することが好ましい。
人物毎に、人物と人物以外の各人物とからなる第1の2人の人物の2通りの順列の規格化された共起スコアと第1しきい値とを比較し、
第1の2人の人物の2通りの順列の規格化された共起スコアと第1しきい値とを比較する毎に、第1の2人の人物の2通りの順列の少なくとも一方の規格化された共起スコアが第1しきい値以上である場合、第1の2人の人物を同じグループに分類し、第1の2人の人物の2通りの順列の両方の規格化された共起スコアが第1しきい値未満である場合、第1の2人の人物を異なるグループに分類し、さらに、第1の2人の人物を既存のグループに分類できるか否かを確認し、
第1の2人の人物を既存のグループに分類できるか否かを確認する場合、
第1の2人の人物に含まれる人物毎に、人物と既存のグループに属する各人物とからなる第2の2人の人物の2通りの順列の規格化された共起スコアと第1しきい値とを比較し、
全ての第2の2人の人物の2通りの順列の少なくとも一方の規格化された共起スコアが第1しきい値以上である場合に、第2の2人の人物および既存のグループに属する人物を同じグループに分類し、全ての第2の2人の人物の中に、2通りの順列の両方の規格化された共起スコアが第1しきい値未満である第2の2人の人物が存在する場合に、第2の2人の人物を既存のグループに属する人物とは異なるグループに分類することが好ましい。
共起スコアの最大値が大きい人物の順に、人物毎に、人物と人物以外の各人物とからなる第1の2人の人物の2通りの順列の規格化された共起スコアと第1しきい値とを比較し、
全ての第2の2人の人物について、第2の2人の人物の2通りの順列の少なくとも一方の規格化された共起スコアが第1しきい値以上である場合に、既存のグループを第1グループとし、第2の2人の人物を、第1グループに属する人物を包含する第2グループに分類することが好ましい。
第1しきい値は、ユーザの指示に応じて設定されることが好ましい。
人物分類部は、ユーザの指示に応じて第1しきい値が変更された場合に、変更された第1しきい値に基づいて、複数の人物のうちの少なくとも一部の人物をグループに分類し、
人物表示部は、変更された第1しきい値に基づいて分類されたグループ毎に、グループに属する人物を表示することが好ましい。
第2しきい値は、ユーザの指示に応じて設定されることが好ましい。
人物分類部は、ユーザの指示に応じて第2しきい値が変更された場合に、変更された第2しきい値に基づいて組み合わせの2人の人物をレベルに分類し、
人物表示部は、変更された第2しきい値に基づいて分類されたレベル毎に、レベルに属する人物を表示することが好ましい。
複数の人物の中から、一定の条件を満たす1以上の人物を特定人物として特定する人物特定部と、
グループ毎に、グループに属する1以上の人物が写っている画像の中から、特定人物が写っている画像なのか否かに基づいて一部の画像を選択する画像選択部と、を備えることが好ましい。
人物特定部は、ユーザの指示によって指定された人物を特定人物として特定することが好ましい。
人物判別部が、画像群に写っている複数の人物を判別するステップと、
共起関係記憶部が、画像群に含まれる画像毎に、人物判別部による複数の人物の判別結果に基づいて、複数の人物のうちの2以上の人物が画像に写っている場合に、2以上の人物が画像において共起関係にあることを表す共起関係情報を記憶するステップと、
共起スコア算出部が、複数の人物のうちの2人の人物の順列毎に、画像における共起関係情報の全てに基づいて、2人の人物の画像群における共起関係の強さを表す共起スコアを算出するステップと、
人物分類部が、2人の人物の順列の画像群における共起スコアの全てに基づいて、複数の人物のうちの少なくとも一部の人物をグループに分類するステップと、を含む、画像処理方法を提供する。
複数の人物に含まれる人物毎に、人物と人物以外の各人物とからなる2人の人物の順列の画像群における共起スコアの全てを加算することにより人物の共起スコアの総合値を算出するステップと、
人物毎に、人物と人物以外の各人物とからなる2人の人物の順列の画像群における共起スコアの各々を人物の共起スコアの総合値で割ることにより規格化するステップと、
人物と人物以外の各人物とからなる2人の人物の順列の規格化された共起スコアの全てに基づいて、複数の人物をグループに分類するステップと、を含むことが好ましい。
人物毎に、人物と人物以外の各人物とからなる第1の2人の人物の2通りの順列の規格化された共起スコアと第1しきい値とを比較するステップと、
第1の2人の人物の2通りの順列の規格化された共起スコアと第1しきい値とを比較する毎に、第1の2人の人物の2通りの順列の少なくとも一方の規格化された共起スコアが第1しきい値以上である場合、第1の2人の人物を同じグループに分類し、第1の2人の人物の2通りの順列の両方の規格化された共起スコアが第1しきい値未満である場合、第1の2人の人物を異なるグループに分類し、さらに、第1の2人の人物を既存のグループに分類できるか否かを確認するステップと、を含み、
第1の2人の人物を既存のグループに分類できるか否かを確認する場合、
第1の2人の人物に含まれる人物毎に、人物と既存のグループに属する各人物とからなる第2の2人の人物の2通りの順列の規格化された共起スコアと第1しきい値とを比較するステップと、
全ての第2の2人の人物の2通りの順列の少なくとも一方の規格化された共起スコアが第1しきい値以上である場合に、第2の2人の人物および既存のグループに属する人物を同じグループに分類し、全ての第2の2人の人物の中に、2通りの順列の両方の規格化された共起スコアが第1しきい値未満である第2の2人の人物が存在する場合に、第2の2人の人物を既存のグループに属する人物とは異なるグループに分類するステップと、を含むことが好ましい。
各々のグループについて、グループに属する2人の人物の組み合わせ毎に、組み合わせの2人の人物の2通りの順列の規格化された共起スコアに基づいて、組み合わせの2人の人物をレベルに分類することが好ましい。
組み合わせの2人の人物の2通りの順列のうちの少なくとも一方の順列の規格化された共起スコアが第1しきい値以上である場合に、組み合わせの2人の人物の2通りの順列のうちの一方の順列の規格化された共起スコアと他方の順列の規格化された共起スコアとの差と、第2しきい値とを比較した結果、差が第2しきい値以上である場合に、組み合わせの2人の人物を異なるレベルに分類し、差が第2しきい値未満である場合に、組み合わせの2人の人物を同じレベルに分類することが好ましい。
人物特定部が、複数の人物の中から、一定の条件を満たす1以上の人物を特定人物として特定するステップと、
画像選択部が、グループ毎に、グループに属する1以上の人物が写っている画像の中から、特定人物が写っている画像なのか否かに基づいて一部の画像を選択するステップと、を含むことが好ましい。
画像群に写っている複数の人物を判別する人物判別部と、
画像群に含まれる画像毎に、人物判別部による複数の人物の判別結果に基づいて、複数の人物のうちの2以上の人物が画像に写っている場合に、2以上の人物が画像において共起関係にあることを表す共起関係情報を記憶する共起関係記憶部と、
複数の人物のうちの2人の人物の順列毎に、画像における共起関係情報の全てに基づいて、2人の人物の画像群における共起関係の強さを表す共起スコアを算出する共起スコア算出部と、
2人の人物の順列の画像群における共起スコアの全てに基づいて、複数の人物のうちの少なくとも一部の人物をグループに分類する人物分類部と、を備え、
共起関係記憶部はメモリであり、画像群受付部、人物判別部、共起スコア算出部および人物分類部は、ハードウェア、または、プログラムを実行するプロセッサである画像処理装置を提供する。
第1しきい値は、ユーザの指示に応じて設定され、
指示受付部は、ハードウェア、または、プログラムを実行するプロセッサであるのが好ましい。
人物分類部は、ユーザの指示に応じて第1しきい値が変更された場合に、変更された第1しきい値に基づいて、複数の人物のうちの少なくとも一部の人物をグループに分類し、
人物表示部は、変更された第1しきい値に基づいて分類されたグループ毎に、グループに属する人物を表示し、
人物表示部は、ハードウェア、または、プログラムを実行するプロセッサであるのが好ましい。
第2しきい値は、ユーザの指示に応じて設定され、
指示受付部は、ハードウェア、または、プログラムを実行するプロセッサであるのが好ましい。
人物分類部は、ユーザの指示に応じて第2しきい値が変更された場合に、変更された第2しきい値に基づいて組み合わせの2人の人物をレベルに分類し、
人物表示部は、変更された第2しきい値に基づいて分類されたレベル毎に、レベルに属する人物を表示し、
人物表示部は、ハードウェア、または、プログラムを実行するプロセッサであるのが好ましい。
複数の人物の中から、一定の条件を満たす1以上の人物を特定人物として特定する人物特定部と、
グループ毎に、グループに属する1以上の人物が写っている画像の中から、特定人物が写っている画像なのか否かに基づいて一部の画像を選択する画像選択部と、を備え、
画像特定部、人物特定部、および画像選択部は、ハードウェア、または、プログラムを実行するプロセッサであるのが好ましい。
人物特定部は、ユーザの指示によって指定された人物を特定人物として特定し、
指示受付部は、ハードウェア、または、プログラムを実行するプロセッサであるのが好ましい。
この場合、人物Aと各人物B~Zとからなる2人の人物の順列A×B、A×C、…、A×Zの共起スコアSAB、SAC、…、SAZの最大値SAmaxを求める。以下同様にして、人物B~Zについても共起スコアの最大値SBmax~SZmaxを求める。
これにより、複数の人物の共起スコアの最大値が大きい順に横方向にソートされ、かつ、人物毎に、その人物以外の人物の画像群の共起スコアが大きい順に縦方向にソートされて縦25×横26の行列ができる。
なお、人間にとっての理解を容易にするためにソートすることが望ましいが、本発明においてソートすることは必須ではない。
つまり、人物A~Zについて各人物を総当たりして、各々の第1の2人の人物の2通りの順列の規格化された共起スコアと第1しきい値とを比較する。
その結果、第2の2人の人物C,Bの2通りの順列の規格化された共起スコアが第1しきい値以上である場合に、第2の2人の人物C,Bおよび既存のグループに属する人物A,Bを同じグループに分類する。つまり、人物A,B,Cを同じグループに分類する。一方、第2の2人の人物C,Bの2通りの順列の両方の規格化された共起スコアが第1しきい値未満である場合に、第2の2人の人物C,Bを既存のグループに属する人物A,Bとは異なるグループに分類する。つまり、人物A,Cを人物A,Bとは異なるグループに分類する。
一方、差が第2しきい値未満である場合に、この2人の人物を同じレベルに分類する。
つまり、2人の人物は同じグループに属しているが、同じレベルに属しているとは限らず、異なるレベルに属している場合もある。
このグループに属する人物A、Bの組み合わせについて、人物A、Bの2通りの順列A×BおよびB×Aのうちの少なくとも一方の順列の規格化された共起スコアが第1しきい値以上である場合に、人物A、Bの2通りの順列A×BおよびB×Aのうちの一方の順列A×Bの規格化された共起スコアと他方の順列B×Aの規格化された共起スコアとの差と、第2しきい値とを比較する。
レベル毎に分類された画像は、グループの場合と同じように、そのレベルに属する人物の間で共有される画像であり、例えばその画像のプリントおよびフォトアルバム等をレベルに属する各人物に送付するために使用することができる。
なお、説明の都合上、各画像のシーンの名称を記載しているが、本発明の画像処理装置は、各画像のシーンの名称を理解しているわけではない。また、説明の都合上、人物に「新郎」、「新婦」等、結婚式における役柄について記載しているが、本発明の画像処理装置は、各人物の役柄を理解しているわけではない。しかし、画像に写っている人物の顔を顔認識により認識して、画像に写っている人物を判別することはできる。
その結果、人物A~Nは、図5に示すように、人物A、B、D、G、Hのグループ、人物A、C、D、G、Hのグループ、人物A、E、F、I、Jのグループ、人物A、B、K、Lのグループおよび人物A、B、M、Nのグループを含む、5つのグループに分類される。
表11の最上行の左側から2~11列目には、各人物の名称が示されている。各人物の名称はA~Jであり、人物の総数は10人である。
表11の下側から2行目の左側から2~11列目には、画像群における各人物の登場回数が示され、表11の末行の左側から2~11列目には、画像1枚当たりの各人物の登場回数が示されている。例えば、画像群における人物Aの登場回数は3回であり、画像1枚当たりの人物Aの登場回数は、3/10=0.3回である。
表12の最上行の左側から2~11列目には、人物Aと各人物A~Nとの順列A×A、A×B、A×C、A×D、A×E、A×F、A×G、A×H、A×I、A×Jの名称が示されている。
表12の左側から3列目の末行には、人物Aと人物Bとの順列A×Bの画像群における共起スコアが示されている。人物Aと人物Bとの順列A×Bの画像群における共起スコアは、0.5+0+0+0+1+0+0+0+0.5+0=2となる。
表13の末行の左側から2~11列目には、画像群において、各人物が写っている画像の枚数が示されている。例えば、画像群において、人物Aが写っている画像の枚数は、表11の左側から2列目の下側から2行目にも示されているように、3枚である。
その結果、人物A~Jは、図6に示すように、人物A、Bのグループ、人物C、D、Eのグループ、人物F、Gのグループ、人物G、Hのグループ、および人物H、I、Jのグループを含む、5つのグループに分類される。
人物CおよびDには、人物CおよびDが同じレベルであることから、「人物CまたはDが写っている画像」は全て送付する。人物Eには、「人物Eが写っている画像」は全て送付する。そして、人物C、DおよびEは同じグループであるため、中心人物度が低い人物Eのみが写っており中心人物度が高い人物CおよびDが写っていない画像は、中心人物度が高い人物CおよびDに送付される。一方、中心人物度が高い人物CおよびDのみが写っており中心人物度が低い人物Eが写っていない画像は、中心人物度が低い人物Eには送付されない。
12 画像群受付部
14 人物判別部
16 共起関係記憶部
18 共起スコア算出部
20 人物分類部
22 指示受付部
24 人物表示部
26 画像特定部
28 人物特定部
30 画像選択部
Claims (35)
- 画像群の入力を受け付ける画像群受付部と、
前記画像群に写っている複数の人物を判別する人物判別部と、
前記画像群に含まれる画像毎に、前記人物判別部による前記複数の人物の判別結果に基づいて、前記複数の人物のうちの2以上の人物が前記画像に写っている場合に、前記2以上の人物が前記画像において共起関係にあることを表す共起関係情報を記憶する共起関係記憶部と、
前記複数の人物のうちの2人の人物の順列毎に、前記画像における共起関係情報の全てに基づいて、前記2人の人物の前記画像群における共起関係の強さを表す共起スコアを算出する共起スコア算出部と、
前記2人の人物の順列の前記画像群における共起スコアの全てに基づいて、前記複数の人物のうちの少なくとも一部の人物をグループに分類する人物分類部と、を備える、画像処理装置。 - 前記共起関係記憶部は、前記画像毎に、前記共起関係情報として、前記複数の人物の各々が前記画像に写っているか否かを表すフラグを記憶する、請求項1に記載の画像処理装置。
- 前記共起スコア算出部は、前記画像毎に、nを2以上の整数として、前記2人の人物を含むn人の人物が前記画像に写っている場合に、前記2人の人物の順列の前記画像における共起スコアを1/(n-1)により算出し、前記2人の人物が前記画像に写っていない場合に、前記2人の人物の順列の前記画像における共起スコアを0とし、前記2人の人物の順列の前記画像における共起スコアの全てを加算することにより、前記2人の人物の順列の前記画像群における共起スコアを算出する、請求項1または2に記載の画像処理装置。
- 前記人物分類部は、
前記複数の人物に含まれる人物毎に、前記人物と前記人物以外の各人物とからなる前記2人の人物の順列の前記画像群における共起スコアの全てを加算することにより前記人物の共起スコアの総合値を算出し、
前記人物毎に、前記人物と前記人物以外の各人物とからなる前記2人の人物の順列の前記画像群における共起スコアの各々を前記人物の共起スコアの総合値で割ることにより規格化し、
前記人物と前記人物以外の各人物とからなる前記2人の人物の順列の前記規格化された共起スコアの全てに基づいて、前記複数の人物をグループに分類する、請求項1ないし3のいずれか一項に記載の画像処理装置。 - 前記人物分類部は、
前記人物毎に、前記人物と前記人物以外の各人物とからなる第1の前記2人の人物の2通りの順列の前記規格化された共起スコアと第1しきい値とを比較し、
前記第1の2人の人物の2通りの順列の前記規格化された共起スコアと前記第1しきい値とを比較する毎に、前記第1の2人の人物の2通りの順列の少なくとも一方の前記規格化された共起スコアが前記第1しきい値以上である場合、前記第1の2人の人物を同じグループに分類し、前記第1の2人の人物の2通りの順列の両方の前記規格化された共起スコアが前記第1しきい値未満である場合、前記第1の2人の人物を異なるグループに分類し、さらに、前記第1の2人の人物を既存のグループに分類できるか否かを確認し、
前記第1の2人の人物を前記既存のグループに分類できるか否かを確認する場合、
前記第1の2人の人物に含まれる人物毎に、前記人物と前記既存のグループに属する各人物とからなる第2の前記2人の人物の2通りの順列の前記規格化された共起スコアと前記第1しきい値とを比較し、
全ての前記第2の2人の人物の2通りの順列の少なくとも一方の前記規格化された共起スコアが前記第1しきい値以上である場合に、前記第2の2人の人物および前記既存のグループに属する人物を同じグループに分類し、前記全ての第2の2人の人物の中に、前記2通りの順列の両方の前記規格化された共起スコアが前記第1しきい値未満である第2の2人の人物が存在する場合に、前記第2の2人の人物を前記既存のグループに属する人物とは異なるグループに分類する、請求項4に記載の画像処理装置。 - 前記人物分類部は、
前記共起スコアの最大値が大きい人物の順に、前記人物毎に、前記人物と前記人物以外の各人物とからなる第1の前記2人の人物の2通りの順列の前記規格化された共起スコアと第1しきい値とを比較し、
前記全ての第2の2人の人物について、前記第2の2人の人物の2通りの順列の少なくとも一方の前記規格化された共起スコアが前記第1しきい値以上である場合に、前記既存のグループを第1グループとし、前記第2の2人の人物を、前記第1グループに属する人物を包含する第2グループに分類する、請求項5に記載の画像処理装置。 - 前記人物分類部は、前記既存のグループを前記第1グループとし、前記第2の2人の人物を、前記第1グループに属する人物を包含する前記第2グループに分類することを2回以上繰り返す、請求項6に記載の画像処理装置。
- 前記人物分類部は、各々の前記グループについて、前記グループに属する前記2人の人物の組み合わせ毎に、前記組み合わせの2人の人物の2通りの順列の前記規格化された共起スコアに基づいて、前記組み合わせの2人の人物をレベルに分類する、請求項5ないし7のいずれか一項に記載の画像処理装置。
- 前記人物分類部は、前記組み合わせの2人の人物の2通りの順列のうちの少なくとも一方の順列の前記規格化された共起スコアが前記第1しきい値以上である場合に、前記組み合わせの2人の人物の2通りの順列のうちの一方の順列の前記規格化された共起スコアと他方の順列の前記規格化された共起スコアとの差と、第2しきい値とを比較した結果、前記差が前記第2しきい値以上である場合に、前記組み合わせの2人の人物を異なるレベルに分類し、前記差が前記第2しきい値未満である場合に、前記組み合わせの2人の人物を同じレベルに分類する、請求項8に記載の画像処理装置。
- 前記第1しきい値として、前記画像処理装置において単一の固定値が設定されている、請求項5ないし9のいずれか一項に記載の画像処理装置。
- さらに、ユーザの指示を受け付ける指示受付部を備え、
前記第1しきい値は、前記ユーザの指示に応じて設定される、請求項5ないし9のいずれか一項に記載の画像処理装置。 - 前記指示受付部は、前記第1しきい値を入力するためのボックスを備える、請求項11に記載の画像処理装置。
- 前記指示受付部はスライダバーを備え、前記スライダバーを移動させることにより、前記第1しきい値が変更される、請求項11に記載の画像処理装置。
- さらに、前記グループ毎に、前記グループに属する人物を表示する人物表示部を備え、
前記人物分類部は、前記ユーザの指示に応じて前記第1しきい値が変更された場合に、前記変更された第1しきい値に基づいて、前記複数の人物のうちの少なくとも一部の人物をグループに分類し、
前記人物表示部は、前記変更された第1しきい値に基づいて分類されたグループ毎に、グループに属する人物を表示する、請求項11ないし13のいずれか一項に記載の画像処理装置。 - 前記第1しきい値は、1/{(前記画像群に写っている人物の総数+前記画像群における画像1枚当たりの人物の登場回数)/2-1}により算出される、請求項5ないし9のいずれか一項に記載の画像処理装置。
- 前記第2しきい値として、前記画像処理装置において単一の固定値が設定されている、請求項9に記載の画像処理装置。
- さらに、ユーザの指示を受け付ける指示受付部を備え、
前記第2しきい値は、前記ユーザの指示に応じて設定される、請求項9に記載の画像処理装置。 - 前記指示受付部は、前記第2しきい値を入力するためのボックスを備える、請求項17に記載の画像処理装置。
- 前記指示受付部はスライダバーを備え、前記スライダバーを移動させることにより、前記第2しきい値が変更される、請求項17に記載の画像処理装置。
- さらに、前記レベル毎に、前記レベルに属する人物を表示する人物表示部を備え、
前記人物分類部は、前記ユーザの指示に応じて前記第2しきい値が変更された場合に、前記変更された第2しきい値に基づいて前記組み合わせの2人の人物をレベルに分類し、
前記人物表示部は、前記変更された第2しきい値に基づいて分類されたレベル毎に、レベルに属する人物を表示する、請求項17ないし19のいずれか一項に記載の画像処理装置。 - 前記第2しきい値は、1/{(前記画像群に写っている人物の総数+前記画像群における画像1枚当たりの人物の登場回数)/2-1}により算出される、請求項9に記載の画像処理装置。
- さらに、前記グループ毎に、前記画像群の中から、前記グループに属する1以上の人物が写っている画像を特定する画像特定部と、
前記複数の人物の中から、一定の条件を満たす1以上の人物を特定人物として特定する人物特定部と、
前記グループ毎に、前記グループに属する1以上の人物が写っている画像の中から、前記特定人物が写っている画像なのか否かに基づいて一部の画像を選択する画像選択部と、を備える、請求項1ないし21のいずれか一項に記載の画像処理装置。 - 前記人物分類部により、第1グループに属する人物を包含する第2グループが形成された場合、前記人物特定部は、前記第1グループに属する人物が、前記第2グループにおける前記特定人物であると特定する、請求項22に記載の画像処理装置。
- さらに、ユーザの指示を受け付ける指示受付部を備え、
前記人物特定部は、前記ユーザの指示によって指定された人物を前記特定人物として特定する、請求項22に記載の画像処理装置。 - 前記人物特定部は、前記画像群における登場回数が最も多い人物を中心人物として、前記中心人物から前記画像群における登場回数が多い順に1以上の人物を前記特定人物として特定する、請求項22に記載の画像処理装置。
- 前記画像選択部は、前記グループに属する1以上の人物が写っている画像の中から、前記特定人物の少なくとも1人と前記グループに属する前記特定人物以外の少なくとも1人の人物とが一緒に写っている画像と、前記グループに属する前記特定人物以外の少なくとも1人の人物が写っている画像と、前記特定人物の少なくとも1人が写っている画像および前記特定人物の少なくとも1人と前記グループに属さない少なくとも1人の人物とが一緒に写っている画像のうちの一定の条件を満たす一部の画像と、を選択する、請求項22ないし25のいずれか一項に記載の画像処理装置。
- 前記画像選択部は、前記一部の画像として、最も画質がよい画像から画質がよい順に1以上の画像を選択する、請求項26に記載の画像処理装置。
- 画像群受付部が、画像群の入力を受け付けるステップと、
人物判別部が、前記画像群に写っている複数の人物を判別するステップと、
共起関係記憶部が、前記画像群に含まれる画像毎に、前記人物判別部による前記複数の人物の判別結果に基づいて、前記複数の人物のうちの2以上の人物が前記画像に写っている場合に、前記2以上の人物が前記画像において共起関係にあることを表す共起関係情報を記憶するステップと、
共起スコア算出部が、前記複数の人物のうちの2人の人物の順列毎に、前記画像における共起関係情報の全てに基づいて、前記2人の人物の前記画像群における共起関係の強さを表す共起スコアを算出するステップと、
人物分類部が、前記2人の人物の順列の前記画像群における共起スコアの全てに基づいて、前記複数の人物のうちの少なくとも一部の人物をグループに分類するステップと、を含む、画像処理方法。 - 前記グループに分類するステップは、
前記複数の人物に含まれる人物毎に、前記人物と前記人物以外の各人物とからなる前記2人の人物の順列の前記画像群における共起スコアの全てを加算することにより前記人物の共起スコアの総合値を算出するステップと、
前記人物毎に、前記人物と前記人物以外の各人物とからなる前記2人の人物の順列の前記画像群における共起スコアの各々を前記人物の共起スコアの総合値で割ることにより規格化するステップと、
前記人物と前記人物以外の各人物とからなる前記2人の人物の順列の前記規格化された共起スコアの全てに基づいて、前記複数の人物をグループに分類するステップと、を含む、請求項28に記載の画像処理方法。 - 前記グループに分類するステップは、
前記人物毎に、前記人物と前記人物以外の各人物とからなる第1の前記2人の人物の2通りの順列の前記規格化された共起スコアと第1しきい値とを比較するステップと、
前記第1の2人の人物の2通りの順列の前記規格化された共起スコアと前記第1しきい値とを比較する毎に、前記第1の2人の人物の2通りの順列の少なくとも一方の前記規格化された共起スコアが前記第1しきい値以上である場合、前記第1の2人の人物を同じグループに分類し、前記第1の2人の人物の2通りの順列の両方の前記規格化された共起スコアが前記第1しきい値未満である場合、前記第1の2人の人物を異なるグループに分類し、さらに、前記第1の2人の人物を既存のグループに分類できるか否かを確認するステップと、を含み、
前記第1の2人の人物を前記既存のグループに分類できるか否かを確認する場合、
前記第1の2人の人物に含まれる人物毎に、前記人物と前記既存のグループに属する各人物とからなる第2の前記2人の人物の2通りの順列の前記規格化された共起スコアと前記第1しきい値とを比較するステップと、
全ての前記第2の2人の人物の2通りの順列の少なくとも一方の前記規格化された共起スコアが前記第1しきい値以上である場合に、前記第2の2人の人物および前記既存のグループに属する人物を同じグループに分類し、前記全ての第2の2人の人物の中に、前記2通りの順列の両方の前記規格化された共起スコアが前記第1しきい値未満である第2の2人の人物が存在する場合に、前記第2の2人の人物を前記既存のグループに属する人物とは異なるグループに分類するステップと、を含む、請求項29に記載の画像処理方法。 - 前記グループに分類するステップは、
各々の前記グループについて、前記グループに属する前記2人の人物の組み合わせ毎に、前記組み合わせの2人の人物の2通りの順列の前記規格化された共起スコアに基づいて、前記組み合わせの2人の人物をレベルに分類する、請求項30に記載の画像処理方法。 - 前記グループに分類するステップは、
前記組み合わせの2人の人物の2通りの順列のうちの少なくとも一方の順列の前記規格化された共起スコアが前記第1しきい値以上である場合に、前記組み合わせの2人の人物の2通りの順列のうちの一方の順列の前記規格化された共起スコアと他方の順列の前記規格化された共起スコアとの差と、第2しきい値とを比較した結果、前記差が前記第2しきい値以上である場合に、前記組み合わせの2人の人物を異なるレベルに分類し、前記差が前記第2しきい値未満である場合に、前記組み合わせの2人の人物を同じレベルに分類する、請求項31に記載の画像処理方法。 - さらに、画像特定部が、前記グループ毎に、前記画像群の中から、前記グループに属する1以上の人物が写っている画像を特定するステップと、
人物特定部が、前記複数の人物の中から、一定の条件を満たす1以上の人物を特定人物として特定するステップと、
画像選択部が、前記グループ毎に、前記グループに属する1以上の人物が写っている画像の中から、前記特定人物が写っている画像なのか否かに基づいて一部の画像を選択するステップと、を含む、請求項28ないし32のいずれか一項に記載の画像処理方法。 - 請求項28ないし33のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
- 請求項28ないし33のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018184842A JP7012628B2 (ja) | 2018-09-28 | 2018-09-28 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
US16/564,253 US11170206B2 (en) | 2018-09-28 | 2019-09-09 | Image processing device, image processing method, program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018184842A JP7012628B2 (ja) | 2018-09-28 | 2018-09-28 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020052982A JP2020052982A (ja) | 2020-04-02 |
JP7012628B2 true JP7012628B2 (ja) | 2022-01-28 |
Family
ID=69945840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018184842A Active JP7012628B2 (ja) | 2018-09-28 | 2018-09-28 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11170206B2 (ja) |
JP (1) | JP7012628B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11501476B2 (en) | 2019-02-28 | 2022-11-15 | Canon Kabushiki Kaisha | Image processing apparatus, control method, and storage medium |
JP7336209B2 (ja) * | 2019-02-28 | 2023-08-31 | キヤノン株式会社 | 画像処理装置、制御方法、及びプログラム |
JP7336211B2 (ja) | 2019-02-28 | 2023-08-31 | キヤノン株式会社 | 画像処理装置、制御方法、及びプログラム |
EP3907650A1 (en) * | 2020-05-07 | 2021-11-10 | IDEMIA Identity & Security Germany AG | Method to identify affiliates in video data |
US11762896B2 (en) * | 2020-11-16 | 2023-09-19 | International Business Machines Corporation | Relationship discovery and quantification |
US12056707B2 (en) * | 2020-11-30 | 2024-08-06 | International Business Machines Corporation | Applying machine learning to learn relationship weightage in risk networks |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010140069A (ja) | 2008-12-09 | 2010-06-24 | Sony Corp | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP2012079354A (ja) | 2012-01-26 | 2012-04-19 | Casio Comput Co Ltd | 画像表示制御装置、画像表示制御方法及びプログラム |
US20160019413A1 (en) | 2009-02-17 | 2016-01-21 | Ikorongo Technology, Llc. | Display Device Content Selection Through Viewer Identification And Affinity Prediction |
JP2017037412A (ja) | 2015-08-07 | 2017-02-16 | キヤノン株式会社 | 画像処理装置およびその制御方法、並びにプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4333481B2 (ja) | 2004-05-28 | 2009-09-16 | 株式会社ニコン | 画像分類装置、画像分類プログラム、および電子カメラ |
JP4490214B2 (ja) | 2004-09-10 | 2010-06-23 | 富士フイルム株式会社 | 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム |
-
2018
- 2018-09-28 JP JP2018184842A patent/JP7012628B2/ja active Active
-
2019
- 2019-09-09 US US16/564,253 patent/US11170206B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010140069A (ja) | 2008-12-09 | 2010-06-24 | Sony Corp | 画像処理装置、撮像装置、画像処理方法およびプログラム |
US20160019413A1 (en) | 2009-02-17 | 2016-01-21 | Ikorongo Technology, Llc. | Display Device Content Selection Through Viewer Identification And Affinity Prediction |
JP2012079354A (ja) | 2012-01-26 | 2012-04-19 | Casio Comput Co Ltd | 画像表示制御装置、画像表示制御方法及びプログラム |
JP2017037412A (ja) | 2015-08-07 | 2017-02-16 | キヤノン株式会社 | 画像処理装置およびその制御方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020052982A (ja) | 2020-04-02 |
US11170206B2 (en) | 2021-11-09 |
US20200104576A1 (en) | 2020-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7012628B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
US11477268B2 (en) | Sharing digital media assets for presentation within an online social network | |
US9367757B2 (en) | Content extracting device, content extracting method and program | |
US9972113B2 (en) | Computer-readable recording medium having stored therein album producing program, album producing method, and album producing device for generating an album using captured images | |
JP5908849B2 (ja) | 画像評価装置、画像評価方法、プログラム、集積回路 | |
US10459968B2 (en) | Image processing system and image processing method | |
JP6009481B2 (ja) | 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体 | |
JP6719206B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6533481B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
JP2016119508A (ja) | 方法、システム及びプログラム | |
US10074039B2 (en) | Image processing apparatus, method of controlling the same, and non-transitory computer-readable storage medium that extract person groups to which a person belongs based on a correlation | |
JPWO2019230275A1 (ja) | 画像処理装置,画像処理方法,画像処理プログラムおよびそのプログラムを格納した記録媒体 | |
JP2024079797A (ja) | 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体 | |
JP2016057901A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
JP6533713B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
JP2020140557A (ja) | 画像処理装置、制御方法、及びプログラム | |
CN103425724A (zh) | 信息处理设备和方法、计算机程序以及图像显示设备 | |
US20140340425A1 (en) | Display control apparatus, control method of display control apparatus, and storage medium | |
JP2020140555A (ja) | 画像処理装置、制御方法、及びプログラム | |
JP6197063B2 (ja) | 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体 | |
US10860876B2 (en) | Image presentation system, image presentation method, program, and recording medium | |
JP6502280B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
JP2019220204A (ja) | 画像抽出装置、画像抽出方法、プログラムおよび記録媒体 | |
US20240357203A1 (en) | Image processing device, operation method of image processing device, and operation program of image processing device | |
CN118550878A (zh) | 一种基于图像处理的摄像机图片管理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200722 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7012628 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |