JP6071288B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6071288B2 JP6071288B2 JP2012153671A JP2012153671A JP6071288B2 JP 6071288 B2 JP6071288 B2 JP 6071288B2 JP 2012153671 A JP2012153671 A JP 2012153671A JP 2012153671 A JP2012153671 A JP 2012153671A JP 6071288 B2 JP6071288 B2 JP 6071288B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- group
- dictionary
- feature amount
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Description
以下では、入力画像群を用いて自動でレイアウト出力物を生成するために、本発明における好適な第1実施形態について説明する。これはあくまで実施の1つの形態を例として示したものであり、本発明は以下の実施形態に限定されるものではない。
なお、個人認識処理は、主に、顔の中に存在する眼や口といった器官の特徴量抽出と、それらの関係性の類似度を比較することにより実行される。個人認識処理は、例えば、特許第3469031号等に開示されているので、ここでの詳細な説明は省略する。
Similarity[l]=100×stMinInterval[l]/MaxMinInterval
すなわち、上記Similarity[l]は、最小撮影時間間隔が大きいほど100に近づき、小さいほど0に近づく値となっているため、画像類似度評価値として有効である。
ColorVariance[l]=100×tmpColorVariance[l]/MaxColorVariance
上記ColorVariance[l]は、ページ内に配置された画像の平均色相のバラつきが大きいほど100に近づき、小さいほど0に近づく値となる。したがって、色合いのばらつき度評価値として用いることができる。
FaceVariance[l]=100×tmpFaceVariance[l]/MaxFaceVariance
上記FaceVariance[l]は、紙面上に配置された顔サイズのバラつきが大きいほど100に近づき、小さいほど0に近づく値となる。したがって、顔サイズのバラつき度評価値として用いることができる。
本実施形態では、顔辞書の更新処理以外は実施形態1と同様であるので、重複する説明は省略する。
図24は、UI表示上は一つの人物ID(=father)でありながら、人物IDが複数の辞書IDに紐付けられている顔辞書構成を示している。図24は、ID3に紐づいたsonの顔特徴量群2504のうち顔特徴量2503は、実際はfatherの顔特徴量である場合を示している。すなわち、顔特徴量2503は、fatherが誤ってsonと認識されている。
本実施形態では、顔辞書の更新処理以外は実施形態1と同様であるので、重複する説明は省略する。本実施形態では、図23などで示した顔辞書の構成について、それぞれの辞書IDに登録できる顔特徴量の個数に制限がある場合について説明する。
本実施形態では、顔辞書の更新処理以外は実施形態3と同様であるので、重複する説明は省略する。
本実施形態では、顔辞書の更新処理以外は実施形態3と同様であるので、重複する説明は省略する。
以上、本発明の各実施形態を説明したが、本発明の基本的構成は上述したものに限定されるものではない。以上説明した実施例は本発明の効果を得るための一手段であり、類似の別手法を用いたり、異なるパラメータを用いたとしても、本発明と同等の効果が得られる場合は、本発明の範疇に含まれることは言うまでもない。
Claims (17)
- 画像データから抽出したオブジェクトの特徴量を、類似する特徴量毎に特徴量グループに分類して辞書において管理する管理手段と、
前記管理手段で管理されている特徴量グループの特徴量と、画像データから抽出したオブジェクトの特徴量との類似度判定を行う判定手段と、
複数のオブジェクト画像を、前記管理手段により管理されている複数の特徴量グループに対応する複数のオブジェクトグループに分類して表示部に表示させる表示制御手段と、
前記表示制御手段による表示に対するユーザの指示に応じて、オブジェクトグループに対して同一のオブジェクトを特定するためのオブジェクト情報を設定する設定手段と、
前記表示制御手段による表示に対するユーザの指示に応じて、前記表示制御手段による表示において1つのオブジェクトグループに含まれている複数のオブジェクト画像のうちのユーザにより個別に指定されたオブジェクト画像に対応するオブジェクト情報を修正する修正手段と、
前記修正手段によりオブジェクト情報の修正が行われる場合、前記辞書において、前記修正が行われたオブジェクト画像のオブジェクトの特徴量の属する特徴量グループを変更する変更手段と、
を備え、
前記設定手段により複数のオブジェクトグループに対して同一の第1のオブジェクト情報が設定される場合、前記辞書において、当該複数のオブジェクトグループに対応する複数の特徴量グループは結合されず、
前記第1のオブジェクト情報とは異なる第2のオブジェクト情報が設定されているオブジェクトグループに含まれているオブジェクト画像がユーザにより個別に指定され、前記修正手段による修正により、当該指定されたオブジェクト画像に当該第1のオブジェクト情報が設定される場合、前記変更手段は、前記辞書において、当該オブジェクト画像のオブジェクトの特徴量を、当該第1のオブジェクト情報が設定されているオブジェクトグループに対応する特徴量グループに追加することを特徴とする画像処理装置。 - 前記変更手段は、前記辞書において、前記修正手段による修正が行われたオブジェクト画像のオブジェクトの特徴量を、前記修正の前に属していたオブジェクトグループに対応する特徴量グループから削除することにより、前記辞書においてオブジェクトの特徴量の属するグループを変更することを特徴とする請求項1に記載の画像処理装置。
- 前記変更手段は、前記辞書において、前記修正手段による修正が行われたオブジェクト画像のオブジェクト特徴量を、前記修正の前に属していたオブジェクトグループに対応する特徴量グループから削除して、当該修正の後に属するオブジェクトグループに対応する特徴量グループに登録することにより、前記辞書においてオブジェクトの特徴量の属するグループを変更することを特徴とする請求項2に記載の画像処理装置。
- 前記変更手段は、前記第2のオブジェクト情報が設定されているオブジェクトグループに含まれているオブジェクト画像がユーザにより個別に指定され、前記修正手段による修正により、当該指定されたオブジェクト画像に当該第1のオブジェクト情報が設定される場合、当該オブジェクト画像のオブジェクトの特徴量を、当該第1のオブジェクト情報が設定されている前記複数のオブジェクトグループに対応する前記複数の特徴量グループのいずれかに追加することを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
- 前記変更手段は、前記指定されたオブジェクト画像のオブジェクトの特徴量を、前記第1のオブジェクト情報が設定されている前記複数のオブジェクトグループに対応する前記複数の特徴量グループのうち前記指定されたオブジェクト画像のオブジェクトの特徴量との類似度が高いグループに追加することを特徴とする請求項4に記載の画像処理装置。
- 前記変更手段は、前記辞書において管理される特徴量グループに属する特徴量と、前記修正手段による修正が行われたオブジェクト画像のオブジェクトの特徴量との類似度が所定の基準以下であるとき、前記修正が行われたオブジェクト画像のオブジェクトの特徴量が属する新たなグループを設けることを特徴とする請求項1〜5のいずれか1項に記載の画像処理装置。
- 前記管理手段は、各特徴量グループに属する特徴量の数に上限を設けており、
前記画像処理装置は、前記修正手段による修正の後に前記修正が行われたオブジェクト画像が対応する所定の特徴量グループに属する特徴量と、前記修正手段による修正が行われた前記オブジェクト画像の特徴量との類似度に基づいて、前記所定の特徴量グループに属する特徴量の入れ替えを行うか否かを判定する第2の判定手段を備えることを特徴とする請求項1〜6のいずれか1項に記載の画像処理装置。 - 複数の画像をテンプレートに配置したレイアウトを生成する生成手段と、
前記生成手段により生成されたレイアウトを前記表示部に表示させる第2の表示制御手段と、
を備え、
前記生成手段は、画像データから抽出したオブジェクトに対する前記判定手段による類似度判定により当該オブジェクトに対して特定された特徴量グループに対応するオブジェクトグループに基づき、前記画像データに対応する画像をテンプレートへの配置候補として選定することを特徴とする請求項1〜7のいずれか1項に記載の画像処理装置。 - 前記設定手段により複数のオブジェクトグループに対して同一の第1のオブジェクト情報が設定される場合、当該複数のオブジェクトグループが結合され、前記辞書において当該複数のオブジェクトグループに対応する複数の特徴量グループは結合されず、当該複数の特徴量グループがそれぞれ当該結合された1つのオブジェクトグループに関連付けられることを特徴とする請求項8に記載の画像処理装置。
- 前記受信手段が修正指示を受信した場合、前記判定手段は、前記修正手段による修正が行われたオブジェクト画像のオブジェクトの特徴量が前記修正の前に属していた特徴量グループに設定する類似度の判定基準を、前記修正の前よりも高くすることを特徴とする請求項1〜9のいずれか1項に記載の画像処理装置。
- 前記オブジェクトは、人物を含むことを特徴とする請求項1〜10のいずれか1項に記載の画像処理装置。
- 前記オブジェクトの特徴量は、人物の顔の特徴量であることを特徴とする請求項11に記載の画像処理装置。
- 前記オブジェクト情報は、人物の名前または続柄であることを特徴とする請求項11または12に記載の画像処理装置。
- 前記オブジェクトは、建物を含むことを特徴とする請求項1〜10のいずれか1項に記載の画像処理装置。
- 前記設定手段により複数のオブジェクトグループに対して同一の第1のオブジェクト情報が設定される場合、前記辞書において、当該複数のオブジェクトグループに対応する複数の特徴量グループは結合されず、前記表示制御手段は、前記複数のオブジェクトグループを同一のグループとして表示させることを特徴とする請求項1〜14のいずれか1項に記載の画像処理装置。
- 画像データから抽出したオブジェクトの特徴量を、類似する特徴量毎に特徴量グループに分類して辞書において管理する管理工程と、
複数のオブジェクト画像を、前記管理工程において管理されている複数の特徴量グループに対応する複数のオブジェクトグループに分類して表示部に表示させる表示工程と、
前記表示工程における表示に対するユーザの指示に応じて、オブジェクトグループに対して同一のオブジェクトを特定するためのオブジェクト情報を設定する設定工程と、
前記表示工程における表示に対するユーザの指示に応じて、前記表示工程における表示において1つのオブジェクトグループに含まれている複数のオブジェクト画像のうちのユーザにより個別に指定されたオブジェクト画像に対応するオブジェクト情報を修正する修正工程と、
前記修正工程においてオブジェクト情報の修正が行われる場合、前記辞書において、前記修正が行われたオブジェクト画像のオブジェクトの特徴量の属する特徴量グループを変更する変更工程と、
を備え、
前記管理工程で管理されている特徴量グループは、画像データから抽出したオブジェクトの特徴量との類似度判定に用いられ、
前記設定工程において複数のオブジェクトグループに対して同一の第1のオブジェクト情報が設定される場合、前記辞書において、当該複数のオブジェクトグループに対応する複数の特徴量グループは結合されず、
前記第1のオブジェクト情報とは異なる第2のオブジェクト情報が設定されているオブジェクトグループに含まれているオブジェクト画像がユーザにより個別に指定され、前記修正工程における修正により、当該指定されたオブジェクト画像に当該第1のオブジェクト情報が設定される場合、前記変更工程では、前記辞書において、当該オブジェクト画像のオブジェクトの特徴量を、当該第1のオブジェクト情報が設定されているオブジェクトグループに対応する特徴量グループに追加することを特徴とする画像処理方法。 - 請求項1〜15のいずれか1項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012153671A JP6071288B2 (ja) | 2012-07-09 | 2012-07-09 | 画像処理装置、画像処理方法、及びプログラム |
US13/934,865 US9563823B2 (en) | 2012-07-09 | 2013-07-03 | Apparatus and method for managing an object extracted from image data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012153671A JP6071288B2 (ja) | 2012-07-09 | 2012-07-09 | 画像処理装置、画像処理方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014016786A JP2014016786A (ja) | 2014-01-30 |
JP2014016786A5 JP2014016786A5 (ja) | 2015-09-10 |
JP6071288B2 true JP6071288B2 (ja) | 2017-02-01 |
Family
ID=49878577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012153671A Active JP6071288B2 (ja) | 2012-07-09 | 2012-07-09 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9563823B2 (ja) |
JP (1) | JP6071288B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015116971A1 (en) * | 2014-01-31 | 2015-08-06 | Heller Noah Raymond | Determination of aesthetic preferences based on user history |
WO2016006090A1 (ja) * | 2014-07-10 | 2016-01-14 | 株式会社東芝 | 電子機器、方法及びプログラム |
JP2017220112A (ja) * | 2016-06-09 | 2017-12-14 | キヤノン株式会社 | データ管理システム、制御方法、およびプログラム |
US10169649B2 (en) * | 2016-07-28 | 2019-01-01 | International Business Machines Corporation | Smart image filtering method with domain rules application |
JP6942464B2 (ja) * | 2016-12-09 | 2021-09-29 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP6873678B2 (ja) | 2016-12-09 | 2021-05-19 | キヤノン株式会社 | 画像処理装置、制御方法、及びプログラム |
JP6862164B2 (ja) * | 2016-12-09 | 2021-04-21 | キヤノン株式会社 | プログラム、画像処理装置、および画像処理方法 |
JP6885896B2 (ja) * | 2017-04-10 | 2021-06-16 | 富士フイルム株式会社 | 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム |
JP6517298B2 (ja) * | 2017-10-10 | 2019-05-22 | 株式会社Cygames | 対象物取得確認のためのシステム、サーバ、プログラム及び方法 |
CN110097606B (zh) * | 2018-01-29 | 2023-07-07 | 微软技术许可有限责任公司 | 面部合成 |
JP7161522B2 (ja) * | 2018-03-29 | 2022-10-26 | 株式会社スカイシーカー | 動物生息調査方法、動物生息調査システム、および動物生息調査装置 |
WO2020047466A1 (en) * | 2018-08-30 | 2020-03-05 | The Government Of The United States Of America, As Represented By Thesecretary Of The Navy | Human-assisted machine learning through geometric manipulation and refinement |
JPWO2021193271A1 (ja) * | 2020-03-23 | 2021-09-30 | ||
JP7419142B2 (ja) * | 2020-04-01 | 2024-01-22 | 株式会社東芝 | 表示制御装置、表示制御方法及びプログラム |
CN112036514B (zh) * | 2020-11-04 | 2021-07-13 | 腾讯科技(深圳)有限公司 | 一种图像分类方法、装置、服务器及计算机可读存储介质 |
US20240087289A1 (en) * | 2021-05-25 | 2024-03-14 | Nec Corporation | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2541688B2 (ja) | 1990-05-21 | 1996-10-09 | 日産自動車株式会社 | 眼位置検出装置 |
JP2973676B2 (ja) | 1992-01-23 | 1999-11-08 | 松下電器産業株式会社 | 顔画像特徴点抽出装置 |
JP3557659B2 (ja) | 1994-08-22 | 2004-08-25 | コニカミノルタホールディングス株式会社 | 顔抽出方法 |
JPH0877334A (ja) | 1994-09-09 | 1996-03-22 | Konica Corp | 顔画像の特徴点自動抽出方法 |
JP3469031B2 (ja) | 1997-02-18 | 2003-11-25 | 株式会社東芝 | 顔画像登録装置及びその方法 |
JPH1153525A (ja) | 1997-08-06 | 1999-02-26 | Matsushita Electric Ind Co Ltd | 顔器官検出装置及び媒体 |
JPH11143992A (ja) * | 1997-11-07 | 1999-05-28 | Hitachi Ltd | 情報処理装置 |
JP3549013B2 (ja) | 1998-03-05 | 2004-08-04 | 日本電信電話株式会社 | 目の位置検出方法、目の位置検出装置および目の位置検出プログラムを記録した記録媒体 |
JP2000105829A (ja) | 1998-09-29 | 2000-04-11 | Matsushita Electric Ind Co Ltd | 顔パーツ検出方法及びその装置 |
JP2000132688A (ja) | 1998-10-29 | 2000-05-12 | Matsushita Electric Ind Co Ltd | 顔パーツ検出方法及びその装置 |
JP2000235648A (ja) | 1999-02-17 | 2000-08-29 | Fujitsu Ltd | 目の抽出装置および瞬き検出装置 |
JP3428512B2 (ja) * | 1999-07-14 | 2003-07-22 | 日本電気株式会社 | 文字認識装置およびコンピュータ可読記録媒体 |
JP2001216515A (ja) | 2000-02-01 | 2001-08-10 | Matsushita Electric Ind Co Ltd | 人物の顔の検出方法およびその装置 |
US6965684B2 (en) | 2000-09-15 | 2005-11-15 | Canon Kabushiki Kaisha | Image processing methods and apparatus for detecting human eyes, human face, and other objects in an image |
US6895103B2 (en) | 2001-06-19 | 2005-05-17 | Eastman Kodak Company | Method for automatically locating eyes in an image |
KR100438841B1 (ko) * | 2002-04-23 | 2004-07-05 | 삼성전자주식회사 | 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템 |
JP4305079B2 (ja) * | 2003-07-30 | 2009-07-29 | セイコーエプソン株式会社 | 画像管理装置 |
JP4762731B2 (ja) * | 2005-10-18 | 2011-08-31 | 富士フイルム株式会社 | アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム |
JP2009211488A (ja) * | 2008-03-05 | 2009-09-17 | Mitsubishi Electric Corp | 認証装置 |
CN101990667B (zh) * | 2008-04-02 | 2013-08-28 | 谷歌公司 | 将自动人脸识别合并入数字图像集中的方法和装置 |
JP5743384B2 (ja) | 2009-04-14 | 2015-07-01 | キヤノン株式会社 | 画像処理装置及び画像処理方法とコンピュータプログラム |
JP5424712B2 (ja) | 2009-05-21 | 2014-02-26 | キヤノン株式会社 | 画像処理装置及びその制御方法とプログラム |
JP5503921B2 (ja) * | 2009-08-21 | 2014-05-28 | ソニーモバイルコミュニケーションズ, エービー | 情報端末、情報端末の情報制御方法及び情報制御プログラム |
JP2011170492A (ja) * | 2010-02-17 | 2011-09-01 | Panasonic Corp | 画像登録装置及び登録方法 |
US8863183B2 (en) * | 2010-04-09 | 2014-10-14 | Cyber Ai Entertainment Inc. | Server system for real-time moving image collection, recognition, classification, processing, and delivery |
JP5485254B2 (ja) * | 2011-12-19 | 2014-05-07 | 富士フイルム株式会社 | 画像整理装置および方法ならびにプログラム |
-
2012
- 2012-07-09 JP JP2012153671A patent/JP6071288B2/ja active Active
-
2013
- 2013-07-03 US US13/934,865 patent/US9563823B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9563823B2 (en) | 2017-02-07 |
JP2014016786A (ja) | 2014-01-30 |
US20140010464A1 (en) | 2014-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6071288B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6012310B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6071287B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6045232B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5956860B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
US10013395B2 (en) | Apparatus, control method thereof, and storage medium that determine a layout image from a generated plurality of layout images by evaluating selected target images | |
US9275270B2 (en) | Information processing apparatus and control method thereof | |
US9436706B2 (en) | Image processing apparatus, image processing method, and storage medium for laying out images | |
JP5981789B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6016489B2 (ja) | 画像処理装置、画像処理装置の制御方法、プログラム | |
JP6012309B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2014016785A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6261206B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6031278B2 (ja) | 情報処理装置及びその制御方法及びプログラム | |
JP6222900B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6282065B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US9509870B2 (en) | Image processing apparatus, image processing method, and storage medium enabling layout varations | |
JP6797871B2 (ja) | プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150709 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150727 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161227 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6071288 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |