JP6197063B2 - 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体 - Google Patents
画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP6197063B2 JP6197063B2 JP2016068871A JP2016068871A JP6197063B2 JP 6197063 B2 JP6197063 B2 JP 6197063B2 JP 2016068871 A JP2016068871 A JP 2016068871A JP 2016068871 A JP2016068871 A JP 2016068871A JP 6197063 B2 JP6197063 B2 JP 6197063B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- image
- main character
- unit
- important
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 101
- 238000007726 management method Methods 0.000 claims description 41
- 238000009966 trimming Methods 0.000 claims description 34
- 238000001514 detection method Methods 0.000 claims description 23
- 238000013523 data management Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Landscapes
- Editing Of Facsimile Originals (AREA)
- Collating Specific Patterns (AREA)
- Processing Or Creating Images (AREA)
Description
また、特許文献2には、映像のフレーム画像から人物の顔画像を検出し、全ての顔画像を比較して、人物毎の顔画像にグループ化することで、最も出現頻度が高い人物を主人公として推定する画像分類装置の発明が開示されている。
例えば、子供を中心(主人公)とした家族のフォトブックを作成しようとした場合、父親や祖父母は重要人物であるが、父親は撮影者であることが多く母親に比べて登場回数の少ない傾向にある。また、例えば、子供と一緒に暮らしていない祖父母等も登場回数が少ないと考えられる。そのため、特許文献1の画像出力装置、または特許文献2の画像分類装置を利用してフォトブックを作成すると、登場回数の少ない父親や祖父母の写っていないフォトブックが作成されてしまうという問題があった。
ここで、人物領域、主人公領域および重要人物領域は、それぞれ、人物フレーム、主人公フレームおよび重要人物フレームであり、第1の所定の表示および第2の所定の表示は、それぞれ、第1のチェックボックスにおけるチェックおよび第2のチェックボックスにおけるチェックであることが好ましい。
ここで、人物領域、主人公領域および重要人物領域は、それぞれ、人物フレーム、主人公フレームおよび重要人物フレームであり、第1の所定の表示および第2の所定の表示は、それぞれ、第1のチェックボックスにおけるチェックおよび第2のチェックボックスにおけるチェックであることが好ましい。
図1は、本発明の実施の形態1に係る画像処理装置の全体構成を示すブロック図である。図1の画像処理装置は、画像データ取得部1、画像データ取得部1より順次接続される人物特定部2、主人公決定部3、重要人物判定部4、優先度設定部5および画像レイアウト決定部6、画像レイアウト決定部6に接続される出力部7および表示制御部8、表示制御部8に接続される表示部9を備える。また、上述の画像データ取得部1、人物特定部2、主人公決定部3、重要人物判定部4、優先度設定部5、画像レイアウト決定部6、出力部7および表示制御部8のそれぞれに接続する制御部10と、制御部10に接続する操作部11および格納部12を備える。
顔画像分類部23は、顔特徴量算出部22で算出された顔特徴量に基づいて同一人物判定処理を行って顔画像データを人物ごとに分類するものであり、また、同一人物判定処理としては、例えば、複数の顔特徴量からそれぞれのモデルデータを生成し、モデルデータ同士の差分に基づいて同一人物判定を行う方法、種々の公知の同一人物判定方法を利用することができる。複数の画像データに対して、顔画像の検出から同一人物判定処理に基づく顔画像データの分類までの一連の処理を行うことで、複数の画像データに基づく複数の画像に写る複数の人物をそれぞれ特定することができる。
画像レイアウト決定部6は、優先度設定部5において決定された画像データの優先度に基づいて画像のレイアウトを行うものである。例えば、フォトブック等の画像商材のテンプレートには、画像の配置領域(画像配置領域)に対して予め順番が付けられており、画像レイアウト決定部6は、画像データの優先度とテンプレートの画像配置領域の順番とに基づいて画像のレイアウトを決定する。
格納部12は、上述の複数の画像データ、複数の顔画像データ、およびこれらの画像データに関連する情報、複数の画像データに含まれる人物の情報(主人公および重要人物の情報を含む)等を記憶するものであり、例えば、HDDやSSD等の記録媒体によって構成されてもよくまた、HDDやSSD等の記録媒体を含む画像サーバ等によって構成されてもよい。
ステップS1として、画像データ取得部1は、外部の格納装置等と接続して、外部の格納装置等から複数の画像データを取得する。取得された複数の画像データは、人物特定部2へ出力される。
続くステップS3では、顔特徴量算出部22は、顔画像データに基づく顔画像から、目、鼻、口、輪郭等の顔パーツを検出し、顔パーツの配置、形状、大きさ、およびこれらの関係等に基づいて顔特徴量を算出する。
ステップS4では、顔画像分類部23は、顔特徴量算出部22で算出された複数の顔画像データに対応する複数の顔特徴量に基づいてそれぞれのモデルデータを生成し、モデルデータ同士を比較することでそれぞれの顔画像データを顔画像群として分類し、1つの顔画像群を1人の人物として、これら画像群に対応する人物の情報を登場人物の情報として出力する。なお、モデルデータとしては、例えば、顔特徴量である顔パーツの位置関係に基づくベクトル量等が挙げられる。
また、顔画像31の下に記載の「a.jpg」との記載は、顔画像を検出した元画像データのファイル名を説明のために記載したものであり、実際には、上述のとおり、顔画像データは、元画像データのファイル名等を含む元画像データの情報をメタ情報として有する。なお、顔画像31以外の各顔画像についても、顔画像31の場合と同様に、説明のために、各顔画像の下に元画像データのファイル名を記載している。
ステップS5では、主人公決定部3は、人物特定部2から出力された登場人物の情報に基づいて主人公を決定する。ここで、登場人物の情報とは、顔画像分類部23によって分類された顔画像群の情報(特定された人物の情報)のみならず、それぞれの顔画像群の有する顔画像(顔画像データ)の数、顔画像データの有するメタ情報などを含むものである。
主人公の決定方法としては様々な方法が挙げられるが、主人公決定部3は、例えば、顔画像群における顔画像の数が最も多い人物(顔画像検出部21による顔画像の検出数が最も多い人物)を、つまり、複数の画像データにおいて、登場回数が最も多い人物を主人公として決定する。なお、図3の「人物1」〜「人物N」は、顔画像の数の多い順に並べられたものである。よって、主人公決定部3は、顔画像の数の最も多い人物1を主人公として決定する。
なお、主人公は必ず一人である必要はなく、主人公決定部3は、例えば、登場回数の多い順に2人を主人公とするなど、複数人の主人公を決定することもできる。例えば、2人兄弟を含む家族写真を中心とした複数の画像データから主人公を決定する場合、兄弟2人を主人公として決定してもよい。
ステップS6では、重要人物判定部4は、上述の人物特定部2から出力された登場人物の情報と上述の主人公決定部3において決定された主人公とに基づいて、主人公と関連性の高い人物を重要人物として判定する。
重要人物の判定方法としては様々な方法が考えられるが、重要人物判定部4は、例えば、主人公と共に写る画像データの多い人物を重要人物として判定する。図3に示すように、主人公の写る画像データが、「a.jpg」、「b.jpg」、「c.jpg」、「d.jpg」、「e.jpg」、「f.jpg」、「g.jpg」であり、「人物2」の写る画像データが、「b.jpg」、「c.jpg」、「d.jpg」、「f.jpg」、「g.jpg」、「h.jpg」である場合、「人物2」は、「b.jpg」、「c.jpg」、「d.jpg」、「f.jpg」の4つの画像データにおいて主人公と共に写っており、「人物2」〜「人物N」の中で最も多い。
このように、重要人物判定部4は、主人公(「人物1」)を除く全ての人物、つまり、「人物2」〜「人物N」に対して、主人公と共に写る画像データの数を算出し、主人公と共に写る画像データの数が最も多い人物を重要人物として判定する。この場合、重要人物判定部4は、主人公と共に写る画像データの数の最も多い「人物2」を「重要人物」として判定する。
次に、図4に示すフローチャートに基づいて、図1の画像処理装置における画像レイアウトの動作(画像レイアウト方法)を説明する。図4のフローチャートは、図2に示したフローチャートの続きである。また、ここでは、作成する画像商材をフォトブックとし、フォトブックの所定のページに対して画像レイアウトを行う場合を例として説明する。
ステップS7として、優先度設定部5は、上述の重要人物判定部4において判定された重要人物と、上述の主人公決定部3において決定された主人公とに基づいて複数の画像データの優先度を設定する。
優先度の設定は、画像における主人公および重要人物の有無、画像における主人公および重要人物の配置、画像における主人公および重要人物の顔の大きさ、画像における人物の登場人数(主人公および重要人物を含む)等を総合的に判断した上で、例えば、5段階で設定される。
図5(A)に示すように、主人公(顔画像が二重丸で囲まれた人物。以下、画像では同様に主人公を示す)および重要人物(顔画像が丸で囲まれた人物。以下、画像では同様に重要人物を示す)が画像の中央付近に大きく写っている画像データは、例えば、「優先度5」と、優先度が最も高く設定される。また、図5(B)に示すように、主人公および重要人物が一緒に写っており、主人公および重要人物以外の他の人物(顔画像が破線の丸で囲まれた人物。以下、画像では同様に他の人物を示す)も写っているが、他の人物が主人公および重要人物の近くに写っている画像データは、図5(A)の次に優先度が高くなるように、例えば、「優先度4」と設定される。また、図5(C)に示すように、主人公および重要人物が一緒に写っており、他の人物が背景に写っている画像データは、図5(B)の次に優先度が高くなるように、例えば、「優先度3」と設定される。また、主人公のみが写っている画像データまたは重要人物のみが写っている画像データは、図5(C)よりも優先度が低くなるように、例えば、「優先度2」と設定される。また、図5(D)に示すように、主人公および重要人物が写っていない画像データは、優先度が最も低くなるように、例えば、「優先度1」と設定される。
なお、図6は、フォトブックの見開きページのテンプレートの一例を示す模式図である。テンプレートには、優先度に応じた画像配置領域が設定されている。図6では、原則として画像が大きく表示される画像配置領域から順に、1番〜7番の配置の順番が設定されている。
画像レイアウト決定部6は、例えば、複数の候補画像データを優先度の高い順に並べて、図6に示した画像の配置1〜7の順に上述の候補画像がレイアウトされるように、画像レイアウトを決定する。決定された画像レイアウトは、表示制御部8を介して表示部9に表示され、また、ユーザの指示に基づいて対応する画像データとともに画像レイアウトのデータ(画像レイアウトデータ)として出力部7より外部に出力される。
また、図8は、図1の画像処理装置における画像データ管理画面の一例を示す模式図である。図1の画像処理装置では、複数の画像データは所定の基準によって画像群(管理画像群)ごとにまとめられ、管理画面上で、画像群を示す所定の管理イメージ(例えば、ブロック画像等によって表示される。例えば、図8に示すように、撮影日時に基づいて複数の画像群にまとめられ、ブロック(管理イメージ)32〜34等によって表示される。なお、上述の所定の基準とは、例えば、画像データ撮影日時、画像データの撮影位置、画像データのカテゴリなどが挙げられる。なお、ブロック32〜34内の撮影日時の横の矩形画像は、ブロックに対応する画像群の画像(のサムネイル画像)の一例を示すものである。
また、制御部10は、本発明に係る画像データ管理部を構成し、例えば、所定の画像群に分類される画像データの中に、主人公および重要人物が写る画像データが存在する場合には、表示制御部8を制御してその画像群に対応するブロックを強調表示してもよい。図8では、撮影日時が、「12/12(日付)」の画像群と「12/24(日付)」の画像群の中に主人公および重要人物が写る画像データが存在するため、ブロック32〜34のうち、「12/12(日付)」の画像群に対応するブロック32と「12/24(日付)」の画像群に対応するブロック34とが強調表示される。また、図8では、複数の画像データを画像群に分類する基準として「日付」が選択されているため、「日付」のブロック35も同様に強調表示される。なお、強調表示の方法としては、色の変更、点滅、太枠または太字にする等、種々の公知の方法を利用することができる。なお、「日付」としては、上述の例(日単位)に限定されず、時間単位、週単位、月単位、年単位等に基づいて分類することができる。
また、図9は、図1の画像処理装置における主人公および重要人物管理画面の一例を示す模式図である。図9の主人公および重要人物管理画面では、同一人物判定処理によって特定された登場人物を、それぞれ画面横方向に延びるフレーム(フレーム36〜40)によって表し、主人公であるか否かを画面縦方向に延びるフレーム41内のチェックボックスによって表し、また、重要人物であるか否かを同じく画面縦方向に延びるフレーム42内のチェックボックスによって表している。フレーム36とフレーム41との交差位置にある主人公のチェックボックスにチェックが入っているため、フレーム36に対応する人物が主人公であり、また、フレーム37とフレーム42との交差位置にある重要人物のチェックボックスにチェックが入っているため、フレーム37に対応する人物が重要人物であると分かる。なお、フレーム36〜フレーム40内の数字は、フレームに対応する人物の写る画像データの数を表し、また、フレーム36〜フレーム40内の数字の横の矩形画像は、フレームに対応する人物の顔画像(のサムネイル画像)の一例を表すものである。
ユーザは、操作部11を操作して制御部10(本発明の人物変更部)を介して主人公および重要人物管理画面を変更することで、主人公または重要人物を変更することができる。
具体的には、ユーザは、操作部11を介して制御部10を操作して、フレーム41内のチェックボックスを変更することで、つまり、チェックを付けたり外したりすることで主人公を変更し、また、フレーム42内のチェックボックスを変更することで重要人物を変更する。
また、ユーザによって重要人物が変更された場合、制御部10は、優先度設定部5を制御して変更された重要人物に基づいて複数の画像データの優先度を設定し直す。また、同様に、制御部10は、画像レイアウト決定部6を制御して、設定し直された優先度に基づいて画像レイアウトを再度決定する。
また、本発明に係る画像処理装置は、フォトブック等の画像商材に対して画像データのレイアウトを行う際に、よりユーザの満足度の高いフォトブックを作成するために自動でトリミングを行ってもよい。
図10は、本発明の実施の形態2に係る画像処理装置の全体構成を示すブロック図である。
また、画像処理装置の動作についても画像トリミング部13の動作を主に説明し、画像トリミング部13以外の動作の説明を省略する。
画像トリミング部13は、画像レイアウト決定部によって決定された画像配置領域に、所定の画像(以下、配置画像)を配置する際、配置画像が画像配置領域の形状に対応するように配置画像に所定のトリミング処理を行うものである。
図11に示すように、配置画像に主人公および重要人物が写っており、主人公および重要人物の近くにその他の人物が写っていない場合は、パターン1として、主人公および重要人物が中心に配置されるように配置画像に対してトリミング処理を行う。また、配置画像に主人公および重要人物が写っており、主人公および重要人物の近くにその他の人物が写っている場合は、パターン2として、主人公および重要人物の他に、その他の人物も含まれるように配置画像に対してトリミング処理を行う。また、配置画像に主人公および重要人物が写っていない場合は、パターン3として、全ての人物が含まれるように配置画像に対してトリミングを行う。なお、図11に示したトリミング処理のパターンは一例であって、これに限定される必要はなく、例えば、主人公のみまたは重要人物のみが大きく写る配置画像に対しては、主人公または重要人物が大きく表示されるようにトリミング処理を行ってもよい。
上述のとおり、画像トリミング部13は、配置画像の内容に応じて配置画像のトリミング処理を行うことで、配置画像をより魅力的な画像とすることができ、また、より魅力的が画像レイアウトを行うことができる。
例えば、図12に示すように、主人公および重要人物が配置画像左下に写り、その他の人物が配置画像右上に写る場合には、配置画像における主人公の顔画像の位置、重要人物の顔画像の位置、およびその他の人物の顔画像の位置が分かっているため、主人公および重要人物が隠れることがないように、配置画像の上に別の配置画像を重ねて配置してもよい。その他の人物は別の配置画像が重ねられたことで隠れるが、主人公および重要人物は、別の配置画像によって隠れることが無いため、ユーザの満足度の高い画像レイアウトを行うことができる。
また、重要人物の判定処理は、上述の例に限定されず、例えば、主人公と共に写る画像データの数だけでなく、主人公と共に写る画像において、特定の人物の顔画像と主人公の顔画像との間の距離(顔画像間距離)を算出し、例えば、顔画像間距離の平均値に基づいて重要人物を判定してもよい。なお、上述の顔画像間距離は、元画像に対する顔画像の大きさによって変わるため、主人公の顔画像を所定のサイズにした場合を基準として顔画像間距離を算出する。上述のとおり、主人公の顔画像を所定のサイズに揃えたうえで画像間距離を算出することで、顔画像の大きさの異なる様々な画像データ間に共通して画像間距離を取り扱うことができる。また、上述の例では、画像間距離の平均値としているが、平均値に限定されず、例えば、画像間距離の最小値や最頻値を基準としてもよい。
また、上述のとおり、画像データまたは顔画像データは、メタ情報を有するが、メタ情報はこれら画像データまたは顔画像データに付帯して記憶される必要はなく、画像データまたは顔画像データに紐づけられ、画像データまたは顔画像データと別に、画像データまたは顔画像データからアクセス可能に格納されてもよい。
また、上述の実施の形態では、複数の画像データの中から画像商材にレイアウトを行うための複数の候補画像データを抽出しているが、複数の画像データが少ない場合は、候補画像データの抽出処理を行わず、複数の画像データ全体を複数の候補画像データとしてもよい。
したがって、本発明は、上述の重要人物判定プログラムまたは上述の画像レイアウトプログラムを記憶したコンピュータ読み取り可能なメモリもしくは記録媒体であってもよい。
Claims (24)
- 複数の画像データを取得する画像データ取得部と、
前記画像データ取得部によって取得されたそれぞれの画像データから顔画像を検出する顔画像検出部と、
前記顔画像検出部において検出された複数の前記顔画像に基づいて同一人物判定処理を行って、前記複数の顔画像を同一人物の顔画像からなる画像群に分類することで各画像群に対応する人物をそれぞれ特定する人物特定部と、
前記人物特定部によって特定された人物のうち、少なくとも一人の人物を主人公として決定する主人公決定部と、
前記主人公決定部において決定された前記主人公に基づいて、前記人物特定部によって特定された前記主人公以外の人物のうち前記主人公と関連性の高い少なくとも一人の人物を重要人物として判定する重要人物判定部と、
前記人物特定部によって特定された人物のうち、いずれの人物が主人公および重要人物であるかを管理する人物管理画面を表示部に表示させる表示制御部と、
ユーザの指示に基づいて前記主人公および前記重要人物のうちの少なくとも一方を変更する人物変更部とを備え、
前記表示制御部は、前記人物管理画面において、
前記人物特定部によって特定されたそれぞれの人物に対応し、かつ、前記人物管理画面の横方向および縦方向のうちの一方向に延びる各々の人物領域を前記人物管理画面の横方向および縦方向のうちの他方向に配列し、
前記他方向に延びる主人公領域および重要人物領域を前記一方向に配列し、
前記特定された人物が主人公であるか否かを、前記一方向に延びる各々の人物領域と、前記他方向に延びる主人公領域との交点において第1の所定の表示が存在するか否かにより示し、
前記特定された人物が重要人物であるか否かを、前記他方向に延びる重要人物領域と、前記一方向に延びる各々の人物領域との交点において第2の所定の表示が存在するか否かにより示し、
前記人物変更部は、
前記各々の人物領域と前記主人公領域との交点において前記ユーザの指示に基づいて付与された前記第1の所定の表示が存在する場合に、前記第1の所定の表示が存在する少なくとも一人の人物を前記主人公として受け付ける主人公受付部と、
前記主人公変更受付部によって受け付けられた少なくとも一人の人物を前記主人公に変更する主人公変更部と、
前記各々の人物領域と前記重要人物領域との交点において前記ユーザの指示に基づいて付与された前記第2の所定の表示が存在する場合に、前記第2の所定の表示が存在する少なくとも一人の人物を前記重要人物として受け付ける重要人物変更受付部と、
前記重要人物変更受付部によって受け付けられた少なくとも一人の人物を前記重要人物に変更する重要人物変更部とを備える、画像処理装置。 - 前記人物領域、前記主人公領域および前記重要人物領域は、それぞれ、人物フレーム、主人公フレームおよび重要人物フレームであり、
前記第1の所定の表示および前記第2の所定の表示は、それぞれ、第1のチェックボックスにおけるチェックおよび第2のチェックボックスにおけるチェックである、請求項1に記載の画像処理装置。 - 前記主人公決定部は、前記顔画像の検出数が最も多い人物を主人公として決定することを特徴とする請求項1または2に記載の画像処理装置。
- 前記重要人物判定部は、前記人物特定部によって特定された前記主人公以外の人物のうち、前記主人公と共に写る前記画像データの数に基づいて前記重要人物を判定することを特徴とする請求項1〜3のいずれか一項に記載の画像処理装置。
- 前記顔画像検出部は、前記顔画像の検出とともに、前記画像データにおける前記顔画像の位置情報を検出し、
前記重要人物判定部は、前記顔画像検出部において検出された、同一の画像に写る前記主人公の前記位置情報と前記主人公以外の人物の前記位置情報とに基づいて前記顔画像の間の距離を算出し、前記顔画像の間の距離に基づいて前記重要人物を判定することを特徴とする請求項1〜4のいずれか一項に記載の画像処理装置。 - 前記画像データは、メタ情報として撮影日時情報および撮影位置情報の少なくとも一方を有し、
前記重要人物判定部は、前記主人公の写る画像データの前記撮影日時情報と前記主人公以外の人物の写る画像データの前記撮影日時情報との差分、および前記主人公の写る画像データの前記撮影位置情報と前記主人公以外の人物の写る画像データの前記撮影位置情報との差分の少なくとも一方に基づいて前記重要人物を判定することを特徴とする請求項1〜4のいずれか一項に記載の画像処理装置。 - 前記複数の画像データを格納する格納部と、
前記格納部に格納された前記複数の画像データを分類し、所定の管理画像群として管理する画像データ管理部と、
前記所定の管理画像群を表す管理イメージを表示する表示部とを更に備え、
前記画像データ管理部は、前記所定の管理画像群の中に前記主人公および前記重要人物の少なくとも一方が含まれる画像データが存在する場合に、前記表示部の表示される前記管理イメージを強調表示することを特徴とする請求項1〜6のいずれか一項に記載の画像処理装置。 - 前記主人公決定部において決定された前記主人公と前記重要人物判定部において判定された前記重要人物とに基づいて前記画像データの優先度を設定する優先度設定部と、
前記優先度設定部において設定された前記優先度に基づいて前記画像データのレイアウトを決定する画像レイアウト決定部と、
前記画像レイアウト決定部によって決定された前記レイアウトで前記複数の画像データを出力する出力部とを更に備えることを特徴とする請求項1〜7のいずれか一項に記載の画像処理装置。 - 前記優先度設定部は、前記主人公および前記重要人物の有無、前記主人公および前記重要人物の配置、ならびに前記主人公および前記重要人物とその他の人物との位置関係の少なくとも一つに基づいて前記優先度を設定することを特徴とする請求項8に記載の画像処理装置。
- 前記優先度設定部は、前記人物変更部によって変更された前記主人公または前記重要人物に基づいて、前記優先度を変更し、
前記画像レイアウト決定部は、変更された前記優先度に基づいて前記画像データのレイアウトを変更することを特徴とする請求項8または9に記載の画像処理装置。 - 前記レイアウトに応じて前記画像データに基づく画像にトリミング処理を施す画像トリミング部を更に備え、
前記画像トリミング部は、前記主人公および前記重要人物の有無、前記主人公および前記重要人物の配置、ならびに前記主人公および前記重要人物とその他の人物との位置関係の少なくとも一つに基づいて前記トリミング処理を行うことを特徴とする請求項8〜10のいずれか一項に記載の画像処理装置。 - 複数の画像データから顔画像を検出し、
検出された複数の前記顔画像に基づいて同一人物判定処理を行って、前記複数の顔画像を同一人物の顔画像からなる画像群に分類することで各画像群に対応する人物をそれぞれ特定し、
特定された前記人物のうち、少なくとも一人の人物を主人公として決定し、
決定された前記主人公に基づいて、前記主人公以外の人物のうち前記主人公と関連性の高い少なくとも一人の人物を重要人物として判定し、
前記特定された人物のうち、いずれの人物が主人公および重要人物であるかを管理する人物管理画面を表示部に表示させ、
ユーザの指示に基づいて前記主人公および前記重要人物のうちの少なくとも一方を変更し、
前記人物管理画面を表示部に表示させる手順は、前記人物管理画面において、
前記特定されたそれぞれの人物に対応し、かつ、前記人物管理画面の横方向および縦方向のうちの一方向に延びる各々の人物領域を前記人物管理画面の横方向および縦方向のうちの他方向に配列し、
前記他方向に延びる主人公領域および重要人物領域を前記一方向に配列し、
前記特定された人物が主人公であるか否かを、前記一方向に延びる各々の人物領域と、前記他方向に延びる主人公領域との交点において第1の所定の表示が存在するか否かにより示し、
前記特定された人物が重要人物であるか否かを、前記他方向に延びる重要人物領域と、前記一方向に延びる各々の人物領域との交点において第2の所定の表示が存在するか否かにより示し、
前記主人公および前記重要人物のうちの少なくとも一方を変更する手順は、
前記各々の人物領域と前記主人公領域との交点において前記ユーザの指示に基づいて付与された前記第1の所定の表示が存在する場合に、前記第1の所定の表示が存在する少なくとも一人の人物を前記主人公として受け付け、
前記受け付けられた少なくとも一人の人物を前記主人公に変更し、
前記各々の人物領域と前記重要人物領域との交点において前記ユーザの指示に基づいて付与された前記第2の所定の表示が存在する場合に、前記第2の所定の表示が存在する少なくとも一人の人物を前記重要人物として受け付け、
前記受け付けられた少なくとも一人の人物を前記重要人物に変更する、重要人物判定方法。 - 前記人物領域、前記主人公領域および前記重要人物領域は、それぞれ、人物フレーム、主人公フレームおよび重要人物フレームであり、
前記第1の所定の表示および前記第2の所定の表示は、それぞれ、第1のチェックボックスにおけるチェックおよび第2のチェックボックスにおけるチェックである、請求項12に記載の重要人物判定方法。 - 前記少なくとも一人の人物を主人公として決定する手順は、前記顔画像の検出数が最も多い人物を主人公として決定することを特徴とする請求項12または13に記載の重要人物判定方法。
- 前記少なくとも一人の人物を重要人物として判定する手順は、前記主人公以外の人物のうち、前記主人公と共に写る前記画像データの数に基づいて前記重要人物を判定することを特徴とする請求項12〜14のいずれか一項に記載の重要人物判定方法。
- 前記顔画像を検出する手順は、前記顔画像の検出とともに、前記画像データにおける前記顔画像の位置情報を検出し、
前記少なくとも一人の人物を重要人物として判定する手順は、同一の画像に写る前記主人公の前記位置情報と前記主人公以外の人物の前記位置情報とに基づいて前記顔画像の間の距離を算出し、前記顔画像の間の距離に基づいて前記重要人物を判定することを特徴とする請求項12〜15のいずれか一項に記載の重要人物判定方法。 - 前記画像データは、メタ情報として撮影日時情報および撮影位置情報の少なくとも一方を有し、
前記少なくとも一人の人物を重要人物として判定する手順は、前記主人公の写る画像データの前記撮影日時情報と前記主人公以外の人物の写る画像データの前記撮影日時情報との差分、および前記主人公の写る画像データの前記撮影位置情報と前記主人公以外の人物の写る画像データの前記撮影位置情報との差分の少なくとも一方に基づいて前記重要人物を判定する請求項12〜15のいずれか一項に記載の重要人物判定方法。 - 請求項12〜17のいずれか一項に記載の重要人物判定方法の各手順を実行し、
前記主人公と前記重要人物とに基づいて前記画像データの優先度を設定し、
前記優先度に基づいて前記画像データのレイアウトを決定することを特徴とする画像レイアウト方法。 - 前記優先度を設定する手順は、前記主人公および前記重要人物の有無、前記主人公および前記重要人物の配置、ならびに前記主人公および前記重要人物とその他の人物との位置関係の少なくとも一つに基づいて前記優先度を決定することを特徴とする請求項18に記載の画像レイアウト方法。
- 前記優先度を設定する手順は、前記ユーザの指示に基づいて前記主人公または前記重要人物が変更された場合に、変更された前記主人公または前記重要人物に基づいて、前記優先度を変更し、
前記レイアウトを決定する手順は、変更された前記優先度に基づいて前記画像データの前記レイアウトを変更することを特徴とする請求項18または19に記載の画像レイアウト方法。 - 前記レイアウトと、記主人公および前記重要人物の有無、前記主人公および前記重要人物の配置、ならびに前記主人公および前記重要人物とその他の人物との位置関係の少なくとも一つに基づいて、前記画像データに基づく画像にトリミング処理を行うことを特徴とする請求項18〜20のいずれか一項に記載の画像レイアウト方法。
- コンピュータに、請求項12〜17のいずれか1項に記載の重要人物判定方法の各手順を実行させるためのプログラム。
- コンピュータに、請求項18〜21のいずれか1項に記載の画像レイアウト方法の各手順を実行させるためのプログラム。
- 請求項22または請求項23に記載のプログラムが記録されたコンピュータ読取可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016068871A JP6197063B2 (ja) | 2016-03-30 | 2016-03-30 | 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016068871A JP6197063B2 (ja) | 2016-03-30 | 2016-03-30 | 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014047574A Division JP6009481B2 (ja) | 2014-03-11 | 2014-03-11 | 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016149149A JP2016149149A (ja) | 2016-08-18 |
JP6197063B2 true JP6197063B2 (ja) | 2017-09-13 |
Family
ID=56691713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016068871A Active JP6197063B2 (ja) | 2016-03-30 | 2016-03-30 | 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6197063B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7025828B2 (ja) | 2018-02-12 | 2022-02-25 | 株式会社ノリタケカンパニーリミテド | 液体霧化装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6891059B2 (ja) * | 2017-07-03 | 2021-06-18 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
JP7187986B2 (ja) * | 2018-10-31 | 2022-12-13 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4490214B2 (ja) * | 2004-09-10 | 2010-06-23 | 富士フイルム株式会社 | 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム |
JP2006259932A (ja) * | 2005-03-15 | 2006-09-28 | Fuji Photo Film Co Ltd | アルバム作成装置、アルバム作成方法、及びプログラム |
JP4945486B2 (ja) * | 2008-03-18 | 2012-06-06 | 富士フイルム株式会社 | 画像重要度判定装置、アルバム自動レイアウト装置、プログラム、画像重要度判定方法およびアルバム自動レイアウト方法 |
JP6012308B2 (ja) * | 2012-07-09 | 2016-10-25 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
2016
- 2016-03-30 JP JP2016068871A patent/JP6197063B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7025828B2 (ja) | 2018-02-12 | 2022-02-25 | 株式会社ノリタケカンパニーリミテド | 液体霧化装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2016149149A (ja) | 2016-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6009481B2 (ja) | 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体 | |
JP7111632B2 (ja) | 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体 | |
JP5686673B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20190327367A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP7286392B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6071289B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6012310B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20170286807A1 (en) | Image processing apparatus, image processing method, and recording medium | |
JP7286393B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN108228114A (zh) | 控制方法和存储介质 | |
JP7463473B2 (ja) | 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体 | |
CN106454064A (zh) | 图像处理装置以及图像处理方法 | |
CN108234814A (zh) | 控制方法和存储介质 | |
JP7336211B2 (ja) | 画像処理装置、制御方法、及びプログラム | |
JP2007317077A (ja) | 画像分類装置および方法ならびにプログラム | |
JP6197063B2 (ja) | 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体 | |
JP7336209B2 (ja) | 画像処理装置、制御方法、及びプログラム | |
US9509870B2 (en) | Image processing apparatus, image processing method, and storage medium enabling layout varations | |
JP6410427B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7451242B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2021149195A (ja) | プログラム、画像処理方法、及び画像処理装置 | |
JP7336210B2 (ja) | 画像処理装置、制御方法、及びプログラム | |
JP7336212B2 (ja) | 画像処理装置、制御方法、及びプログラム | |
US11978133B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2007122112A (ja) | 重要度設定装置および方法並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160705 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160705 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170626 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170821 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6197063 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |