JP5214043B2 - 画像処理装置およびプログラム - Google Patents
画像処理装置およびプログラム Download PDFInfo
- Publication number
- JP5214043B2 JP5214043B2 JP2012024257A JP2012024257A JP5214043B2 JP 5214043 B2 JP5214043 B2 JP 5214043B2 JP 2012024257 A JP2012024257 A JP 2012024257A JP 2012024257 A JP2012024257 A JP 2012024257A JP 5214043 B2 JP5214043 B2 JP 5214043B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- search
- images
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Description
例えば、撮影時間で管理している画像をソートして、カレンダーとリンクさせることで簡単に撮影時間による画像の検索を行えるUI(User Interface)を提供しているものがある。
しかしながら、画像の枚数が増えてくると、様々な文字列のキーワードを画像に付加していくことはユーザの負担が大きくなり、なかなか画像を簡単に分類できるようなキーワードの付加ができなくなる。
例えば、図10に示すような画像1001を検索して見つけたい場合を想定する。予め画像1001には”Aさん”、”Bさん”というキーワードがTag情報1002として付加されている。しかし、その他の画像1003にも同じキーワードがTag情報1004として付加されている。
しかし、実際には、画像1001は、この画像に向かって左側にAさん、右側にBさんが同じ大きさで写っている画像であるのに対し、画像1003は、二人の配置と顔の大きさが異なっている画像である。
このようにキーワードで画像を検索するには、統一的なキーワードを付加すること、および、より詳細な構図情報を付加することが求められる。このようなことを一般のユーザが定常的に行うことは困難である。
特許文献1では、ユーザが描画した画像の特徴量を求めて、その特徴量と類似度の高い画像を検索結果として表示する方法が開示されている。この方法は、ユーザが検索条件をイラストとして入力できるので、キーワードよりも、検索のための高い表現能力を与えることが可能である。
また、特許文献2では、円形、三角形、四角形といった単純な図形を入力し、画像中の被写体との一致度を求めることで画像検索を行う方法が開示されている。
デジタルカメラなどの撮影機器で撮影された画像は、図10に示したように、横撮りの画像1001や縦撮り1003の画像が混在している。特に縦撮り1003の場合、ユーザが撮影機器を時計回りに90°回転させて撮影した場合と、反時計回りに90°回転させて撮影した場合とがある。
つまり、二人が並んでいる画像を検索する場合に限定された画像の縦横アスペクト比のまま検索条件を入力しても、画像1001、1003’を同時に検索することはできない。また画像1003’を回転して上下左右を合わせた後で保存して画像1003とした場合でも、これら3枚の画像を検索することができない。
図1に、本発明の一実施形態である画像検索装置のブロック図を示す。
ここでは、画像検索装置としてPCを使用すると想定して説明するが、PC以外の単体または複数の汎用コンピュータや専用装置を使用することもできる。また、以下では、画像を検索する条件として、写真の主要な被写体の1つである人物、特に顔を検索条件とする画像検索に関して説明する。
ROM(Read Only Memory)103は読み込み専用の不揮発性メモリであり、BIOS(Basic Input/Output System)と呼ばれるプログラムが格納されている。BIOSは画像検索装置が起動したときに最初に実行されるプログラムであり、2次記憶装置105、出力装置107、入力装置109などの周辺機器を制御するものである。
RAM(Random Access Memory)104は、高速の読み/書き可能な記憶領域を提供する。
入力装置109には、キーボード、マウスといったユーザの意志に基づく指示を画像検索装置に入力するものがある。さらに、デジタルカメラや、USBメモリといった記憶装置などを接続することで、画像データを転送することも可能である。
本実施形態の画像検索装置による画像検索機能を、アプリケーションのGUIの一機能として提供する場合について説明する。従って、ユーザの指示がマウスやキーボードなどの入力装置109から入力されるため、インタラクティブな動作となる。図2に示した処理フローは、ユーザが画像を検索する際のフローの一例であるが、実際にはインタラクティブな動作となるためフローの途中から最初に戻るなど指示が行われても良い。ここでは説明を簡単にするために、典型的な操作フローについてのみ説明する。
画像一覧UI 303は、フォルダー選択UI 302で選択された保管場所にある画像データの一覧を表示している。選択画像一覧UI 304は、ユーザが選択した画像、またはユーザの指定によって検索された画像のみを表示する領域である。
検索を行わずに次の処理対象にしたい画像をポインティングUI 306で選択すると、選択された画像が選択画像一覧UI 304に表示される。例えばImage1 305を選択した場合、Image1 305が選択画像一覧UI 304に表示される。このとき、内部的にはImage1 305が次の処理の対象画像としてリストに登録される。表示はしていないが、フォルダー内の画像を全選択するボタンを用意することも可能である。また、異なるフォルダーを指定して、その中にある画像を追加して選択できる。
ここでは、画像を検索する際に注目する主要被写体を、人物の顔として説明を続ける。人物の顔は、写真で最も撮影頻度の高い被写体である。従って、画像を検索する際にも、人物が画像中に存在するか?何人存在するか?画像のどこに存在するか?は、非常に有効な検索条件となる。
検索ダイアログ401では顔数402と顔位置403を指定することが可能になっている。顔数402のチェックボックスがチェックされていると、画像中に存在する顔の数を指定することができる。ここで最大顔数、最小顔数を入力することで、
最小顔数 ≦ 画像中の顔数 ≦ 最大顔数
となる条件を設定することができる。
顔位置入力領域408の中は、400に示すような座標系が規定されている{を採用している}。この座標系では、画面に向かって、原点が中止点(x,y) = (0,0)、上辺y = −100、下辺y = 100、左辺x = −100、右辺x = 100となる。
すべての指定を終えたらOKボタン406を選択することで、条件が確定しS03へ進む。また、Cancelボタン407を選択すると、検索条件の指定を止めてS01に戻ることも可能である。
さらに、特開平8−63597号公報では、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算し、マッチング度が最も高いテンプレートを選択する。そして、最も高かったマッチング度があらかじめ定められた閾値以上であれば、選択されたテンプレート内の領域を顔候補領域としている。このようにして、上記テンプレートを用いるこことで、目の位置を検出することが可能であるとしている。
図6は横長の画像の例であり、図7は縦長の画像の例である。それぞれ2次元で表現され、604,704に示す方向にX,Yの座標軸をもつ。座標系601,701は検索ダイアログ401の座標系である。座標系601,701は、中心を原点とし、x,y共に−100から100間の値を取れる。
座標系602,702で表現される任意の点P(x,y)が、相対的に同じ位置にある座標系603,703上での点P’(x’,y’)で表される。このときの変換式は、xが式(1)、yが式(2)で示される。
次に、S05では、S02で指定された検索条件と、S04で変換された顔の座標から求められる情報との類似度を計算する。検索条件は、画像中に存在する顔の個数(顔数402で指定された値)と顔アイコン409の座表値(顔位置403で指定)である。ここで、顔アイコン409は複数指定されていても良い。
上述した第1の実施形態では、アスペクト比が異なる撮影画像から注目被写体を含む撮影画像の検索を行う場合で、アスペクト比の固定された顔位置入力領域408に顔アイコン409を配置することで検索条件を入力できる実施形態を説明した。しかし、画像のX,Y軸を、顔位置入力領域408のアスペクト比にそれぞれあわせる方法を採用しているために、X,Y軸での拡大、縮小率が異なってしまう。したがって一致するのは、中心点のみしかなく、その他の領域は必ずずれてしまう。
変換後の座標系802では、画像の横、または縦の画素数の少ない方(短辺方向)が、第1の実施形態と同じ変換が行われる。図8では、縦の画素数が横の画素数よりも少ないため、Y軸の座標が式(2)で変換される。
また、前述した実施形態の機能は、コンピュータが、読み出したプログラムを実行することによって実現される。また、このプログラムの実行とは、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行う場合も含まれる。
102…ブリッジ部
103…ROM
104…RAM
105…2次記憶装置
106…表示制御部
107…表示装置
108…I/O制御部
109…入力装置
301…画像検索UI
302…フォルダー選択UI
303…画像一覧UI
304…選択画像一覧UI
305…画像
306,410,504…ポインティングUI
306…検索メニュー
307…検索ボタン
401…検索ダイアログ
402…顔数入力
403…顔位入力
404…追加ボタン
405…削除ボタン
406…OKボタン
407…Cancelボタン
408…顔位置入力領域
409,501,503…顔アイコン
Claims (10)
- 個人とリンクした複数の顔画像から、顔画像を指定する指定手段と、
顔位置入力領域内における前記指定された顔画像の位置を指定する位置指定手段と、
検索対象画像に含まれる画像中の顔の位置と前記位置指定手段によって指定された顔画像の位置に従い、前記検索対象画像に前記指定された顔画像と類似する画像が存在するか判定する判定手段と、
前記判定手段により存在すると判定された画像を表示装置に表示させる処理手段と
を有することを特徴とする画像処理装置。 - 前記検索対象画像は選択されたフォルダの複数の画像であり、前記判定手段は前記複数の画像に対して前記判定を行うことを特徴とする請求項1に記載の画像処理装置。
- 前記判定の結果、類似度の高い順に画像は前記表示装置に表示されることを特徴とする請求項1に記載の画像処理装置。
- 前記指定された顔画像の傾きを調整する調整手段をさらに有することを特徴とする請求項1に記載の画像処理装置。
- 検索条件として、さらに画像中に存在する顔数を指定する顔数指定手段をさらに有し、
前記判定手段は前記検索対象画像に前記指定された顔数が存在するか判定することを特徴とする請求項1に記載の画像処理装置。 - コンピュータを、
個人とリンクした複数の顔画像から、顔画像を指定する指定手段、
顔位置入力領域内における前記指定された顔画像の位置を指定する位置指定手段、
検索対象画像に含まれる画像中の顔の位置と前記位置指定手段によって指定された顔画像の位置に従い、前記検索対象画像に前記指定された顔画像と類似する画像が存在するか判定する判定手段、
前記判定手段により存在すると判定された画像を表示装置に表示させる処理手段
として機能させるためのプログラム。 - 前記検索対象画像は選択されたフォルダの複数の画像であり、前記判定手段は前記複数の画像に対して前記判定を行うことを特徴とする請求項6に記載のプログラム。
- 前記判定の結果、類似度の高い順に画像は前記表示装置に表示されることを特徴とする請求項6に記載のプログラム。
- コンピュータをさらに、
前記指定された顔画像の傾きを調整する調整手段として機能させることを特徴とする請求項6に記載のプログラム。 - コンピュータをさらに、
検索条件として、さらに画像中に存在する顔数を指定する顔数指定手段として機能させ、
前記判定手段は前記検索対象画像に前記指定された顔数が存在するか判定することを特徴とする請求項6に記載のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012024257A JP5214043B2 (ja) | 2012-02-07 | 2012-02-07 | 画像処理装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012024257A JP5214043B2 (ja) | 2012-02-07 | 2012-02-07 | 画像処理装置およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007123665A Division JP4928346B2 (ja) | 2007-05-08 | 2007-05-08 | 画像検索装置および画像検索方法ならびにそのプログラムおよび記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012099147A JP2012099147A (ja) | 2012-05-24 |
JP5214043B2 true JP5214043B2 (ja) | 2013-06-19 |
Family
ID=46390908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012024257A Expired - Fee Related JP5214043B2 (ja) | 2012-02-07 | 2012-02-07 | 画像処理装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5214043B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6857586B2 (ja) * | 2017-10-02 | 2021-04-14 | 富士フイルム株式会社 | 画像抽出装置,画像抽出方法および画像抽出プログラムならびにそのプログラムを格納した記録媒体 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4277534B2 (ja) * | 2003-02-12 | 2009-06-10 | オムロン株式会社 | 画像編集装置および画像編集方法 |
JP2004318603A (ja) * | 2003-04-17 | 2004-11-11 | Nippon Telegr & Teleph Corp <Ntt> | 画像検索方法、自分撮り推定装置および方法、並びに自分撮り推定プログラム |
JP2006085266A (ja) * | 2004-09-14 | 2006-03-30 | Nec Personal Products Co Ltd | デジタルピクチャ配布システム、デジタルピクチャ配布方法 |
JP2006107289A (ja) * | 2004-10-07 | 2006-04-20 | Seiko Epson Corp | 画像ファイル管理装置、画像ファイル管理方法および画像ファイル管理プログラム |
JP4638274B2 (ja) * | 2005-05-10 | 2011-02-23 | 富士フイルム株式会社 | 画像選択方法、画像選択装置、プログラム、およびプリント注文受付機 |
-
2012
- 2012-02-07 JP JP2012024257A patent/JP5214043B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012099147A (ja) | 2012-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11113523B2 (en) | Method for recognizing a specific object inside an image and electronic device thereof | |
US10796405B2 (en) | Image processing apparatus and method, and non-transitory computer-readable storage medium storing program | |
US10958796B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5403838B2 (ja) | 顔を相関させることによるデジタル画像の編成 | |
US9554030B2 (en) | Mobile device image acquisition using objects of interest recognition | |
JP4928346B2 (ja) | 画像検索装置および画像検索方法ならびにそのプログラムおよび記憶媒体 | |
EP3334142B1 (en) | Program, image processing apparatus, and image processing method | |
JP5525757B2 (ja) | 画像処理装置、電子機器、及びプログラム | |
JP2011008752A (ja) | ドキュメント操作システム、ドキュメント操作方法およびそのためのプログラム | |
US11037265B2 (en) | Information processing method, information processing apparatus, and storage medium | |
JPWO2009125596A1 (ja) | 画像処理装置、方法、および記憶媒体 | |
US8526741B2 (en) | Apparatus and method for processing image | |
US20130051678A1 (en) | Systems and Methods for Performing Facial Detection | |
JP2016212784A (ja) | 画像処理装置、画像処理方法 | |
US9760582B2 (en) | Information processing apparatus and information processing method | |
JP5214043B2 (ja) | 画像処理装置およびプログラム | |
EP3128733B1 (en) | Information processing method, information processing apparatus, and program | |
JP4552088B2 (ja) | 画像ファイル管理方法及びその装置 | |
JP5739239B2 (ja) | 撮影支援システム及び撮像装置 | |
WO2019080257A1 (zh) | 电子装置、车祸现场全景图像展示方法和存储介质 | |
JP5932107B2 (ja) | 画像処理サーバ及び撮像装置 | |
US20180189602A1 (en) | Method of and system for determining and selecting media representing event diversity | |
CN113273167A (zh) | 多区域图像扫描 | |
JP5651975B2 (ja) | 画像閲覧装置およびカメラ | |
JP2006004157A (ja) | 画像検索プログラム、画像検索方法、画像検索装置及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121113 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130226 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5214043 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160308 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |