JP7463473B2 - 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体 - Google Patents

画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体 Download PDF

Info

Publication number
JP7463473B2
JP7463473B2 JP2022171263A JP2022171263A JP7463473B2 JP 7463473 B2 JP7463473 B2 JP 7463473B2 JP 2022171263 A JP2022171263 A JP 2022171263A JP 2022171263 A JP2022171263 A JP 2022171263A JP 7463473 B2 JP7463473 B2 JP 7463473B2
Authority
JP
Japan
Prior art keywords
image
images
extracted
candidate
candidates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022171263A
Other languages
English (en)
Other versions
JP2023001178A (ja
Inventor
幸典 野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JP2023001178A publication Critical patent/JP2023001178A/ja
Application granted granted Critical
Publication of JP7463473B2 publication Critical patent/JP7463473B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/30Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Description

この発明は,画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体に関する。
卒業式や運動会などのイベントにおいて,多数の子供たちを撮影し,アルバムなどが作成されている。このために,学校で撮影されるすべての写真や生徒の作品等を一元的に管理し,閲覧,注文が可能なスクールフォト管理サーバなどが考えられている(特許文献1)。また,アルバムを作成するに際して,特定の個人が撮影されている写真画像が極端に多
くなったり少なくなったりしないようすることも考えられている。このために,一覧画像の中から画像を選択し,選択された画像の中から人物を抽出し,抽出した人物の登場回数のカウントを行い,登場回数が5回を超えた場合に警告表示を行っている。警告表示が行われるとユーザは選択された画像のうち,削除する画像を選択する(特許文献2)。さらに,ユーザが公開または非公開の設定を行わなくても,所定のルールにしたがって公開または非公開を自動的に決定できる画像公開装置も考えられている(特許文献3)。さらに,複数の被写体をバランスよく撮影することも考えられている(特許文献4)。
特開2014-102715号公報 特開2010-57073号公報 特開2013-191035号公報 特許第5616819号
元気の良い子供や目立つ子供はたくさんの写真に写る一方で,引っ込み思案な子供や大人しい子供はあまり写真に写らない。特許文献1に記載のものにおいて,そのような状態において写真を販売すると保護者から不平等であるとの苦情を受ける可能性がある。特許文献2に記載のものでは,選択した画像の中から削除する画像を選択するときに,どの画像を選択すればいいのか判断に迷うことがある。特許文献3に記載のものは,画像解析結果にもとづいて画像の公開,非公開を決定しており,特定の人物が多くなったり少なくなったりすることがある。さらに,特許文献4に記載のものは,撮影時において複数の被写体をバランスよく撮影するにすぎない。
この発明は,公開される画像においてそれぞれの人物が写っている枚数をできるだけ均一化するために,どの画像を選択すればよいかをアシストすることを目的とする。
この発明による画像候補決定装置は,複数の画像を受け付けて,同一人物が含まれている1以上の画像をグループ化する画像グルーピング手段,および総合画像評価値と,同一人物が含まれている画像の抽出枚数の制限値と,にもとづいて,画像グルーピング手段によってグループ化された画像の中から抽出画像候補または非抽出画像候補を決定する画像候補決定手段を備えていることを特徴とする。
なおここでグルーピング手段とは,画像候補決定装置が,同一人物が含まれている1以上の画像を認識できるようにすることができればいかなる手段でもよい。例えば,あるフォルダに格納することであってもよいし,あるフラグを立てることであってもよい。
また,この発明による画像候補決定装置は,複数の画像を受け付けて,同一人物が含まれている1以上の画像をグループ化し,総合画像評価値と,同一人物が含まれている画像の抽出枚数の制限値と,にもとづいて,グループ化された画像の中から抽出画像候補または非抽出画像候補を決定するプロセッサを備えていてもよい。
この発明は,画像候補決定装置に適した画像候補決定方法も提供している。すなわち,この方法は,画像グルーピング手段が,複数の画像を受け付けて,同一人物が含まれている1以上の画像をグループ化し,画像候補決定手段が,総合画像評価値と,同一人物が含まれている画像の抽出枚数の制限値と,にもとづいて,画像グルーピング手段によってグループ化された画像の中から抽出画像候補または非抽出画像候補を決定することを特徴と
する。
この発明は,画像候補決定装置のコンピュータを制御するコンピュータが読み取り可能なプログラムおよびそのプログラムを格納した記録媒体も提供している。
画像候補決定手段によって決定した抽出画像候補または非抽出画像候補を表示画面に表示させる画像候補表示制御手段をさらに備えてもよい。
総合画像評価値は,たとえば,画像に写っている人物ごとに算出される人物画像評価値に基づいて算出される。
人物画像評価値は,たとえば,少なくとも顔に関する評価値に基づき算出される。この場合,複数の画像のそれぞれの画像から顔の画像部分を抽出する顔画像部分抽出手段をさらに備え,画像グルーピング手段は,顔画像部分抽出手段によって抽出された顔の画像部分を,同一人物の顔の画像部分ごとにグループ化し,画像候補決定手段は,たとえば,総合画像評価値と,同一人物が含まれている画像の抽出枚数の制限値と,にもとづいて,画像グルーピング手段によってグループ化された画像の中から抽出画像候補または非抽出画像候補を決定する。
同一人物が含まれている画像の枚数が少ないほど人物画像評価値を大きくする補正係数を用いて人物画像評価値を補正する補正手段をさらに備えてもよい。
画像候補表示制御手段の制御により表示された抽出画像候補の中から抽出画像または非抽出画像を決定する,あるいは画像候補表示制御手段の制御により表示された非抽出画像候補の中から非抽出画像または抽出画像を決定する画像決定手段をさらに備えてもよい。
画像決定手段によって決定された抽出画像および非抽出画像のそれぞれの枚数を,画像に含まれる人物ごとに報知する報知手段をさらに備えてもよい。
複数の画像が,画像に含まれる人物ごとにあらかじめ抽出画像または非抽出画像と規定されている場合には,画像決定手段によって抽出画像または非抽出画像と決定されたことに応じて,抽出画像および非抽出画像のそれぞれの枚数を,画像に含まれる人物ごとに更新して報知する報知手段をさらに備えてもよい。
画像候補決定手段によって決定される一の非抽出画像候補が非抽出画像とされる,あるいは一の抽出画像候補が抽出画像とされることに応じて,特定の人物が含まれている画像の抽出枚数が制限値から外れる場合に,一の非抽出画像候補または一の抽出画像候補を非抽出画像候補または抽出画像候補から外す画像候補停止手段をさらに備えてもよい。
画像グルーピング手段は,たとえば,大人については非同一人物を同一人物とみなして画像ごとにグループ化する。
画像に含まれる人数が多いほど低い人物画像評価値を算出する第1の評価値算出手段をさらに備えてもよい。
画像候補決定手段は,たとえば,総合画像評価値と,同一人物が含まれている画像の抽出枚数の制限値と,にもとづいて,同一人物が含まれている画像の抽出枚数が制限値内に収まるように,画像グルーピング手段によってグループ化された画像の中から抽出画像候補または非抽出画像候補を決定してもよい。
画像グルーピング手段によってグループ化された1以上の画像に含まれている同一人物の数が閾値以下である人物を検出する人物検出手段,および人物検出手段において検出された人物の撮影指示を行う撮影指示手段をさらに備えてもよい。
この発明によると,複数の画像が受け付けられ,同一人物が含まれている1以上の画像がグループ化される。総合画像評価値と,同一人物が含まれている画像の抽出枚数の制限値(制限値とは上限値,下限値などをいう)と,にもとづいて,グループ化された画像の中から抽出画像候補(抽出画像候補とは画像の中からユーザが抽出するのに適した画像の候補をいう)または非抽出画像候補(非抽出画像候補とは画像の中からユーザが抽出しないのに適した画像の候補をいう)が決定される。抽出画像候補または非抽出画像候補が決定されるので,ユーザは,どの画像を抽出すると好ましいか,あるいはどの画像を抽出しないことが好ましいかが分かる。このため,ユーザは,抽出すると好ましいと考えられる画像の中から抽出する画像を指定したり,抽出すると好ましくないと考えられる画像の中から抽出しない画像を指定したりできる。
画像候補決定装置の電気的構成を示すブロック図である。 画像候補決定装置の処理手順を示すフローチャートである。 画像候補決定装置の処理手順を示すフローチャートである。 画像候補決定装置の処理手順を示すフローチャートである。 画像候補決定装置の処理手順を示すフローチャートである。 画像候補決定装置の処理手順を示すフローチャートである。 画像候補決定装置の処理手順を示すフローチャートである。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 抽出枚数入力ウインドウの一例である。 撮影指示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像表示ウインドウの一例である。 画像の一例である。 画像表示ウインドウの一例である。
図1は,この発明の実施例を示し,画像候補決定装置1の電気的構成を示すブロック図である。
画像候補決定装置1の全体の動作は,CPU(Central Processing Unit)2によって統
括される。
画像候補決定装置1には,画像その他の情報を表示画面に表示する表示装置3およびインターネットその他のネットワークに接続して画像候補決定装置1以外の装置等と通信する通信装置4が含まれている。また,画像候補決定装置1には,ハードディスク5,ハードディスク5にアクセスするハードディスク・ドライブ6,データ等を記憶するメモリ7,コマンド等を入力するキーボード8およびマウス9も含まれている。さらに,画像候補決定装置1には,コンパクト・ディスク11にアクセスするコンパクト・ディスク・ドライブ10ならびにメモリ・カード13へのデータの書き込みおよびメモリ・カード13に記録されているデータの読み取りを行うメモリ・カード・リーダ・ライタ12も含まれている。
後述する画像候補決定装置1の動作プログラムは,インターネットを介して通信装置4において受信される。受信された動作プログラムが画像候補決定装置1にインストールされる。動作プログラムはインターネットなどのようなネットワークを介して画像候補決定装置1に受信されて画像候補決定装置1にインストールされずに,コンパクト・ディスク11などの可搬型記録媒体に記録され,その可搬型記録媒体から読み取られてもよい。その場合には,可搬型記録媒体から読み取られた動作プログラムが画像候補決定装置1にインストールされる。動作プログラムは,画像候補決定装置1のコンピュータ(CPU2)が読み取り可能であることは言うまでもない。
図2から図7は,画像候補決定装置1の処理手順を示すフローチャートである。
この実施例は,人物を含む画像を多数撮像して画像を公開する場合に,特定人物の画像が多くなったり,少なくなったりするような不均衡をできるだけ解消する。
この実施例においては,画像候補決定装置1のユーザによって撮影対象となる人物の氏名が画像候補決定装置1に登録されている。次に述べる実施例では,幼稚園の卒園式における画像を多数撮像する。この実施例では,撮影対象となる園児の氏名がユーザ(例えば,幼稚園の教諭)によって画像候補決定装置1にあらかじめ登録されている。
複数の画像を表す画像データが格納されているメモリ・カード13が画像候補決定装置1に装填されると,メモリ・カード13に格納されている複数の画像を表す画像データがメモリ・カード・リーダ・ライタ12によって読み取られる(図2ステップ21)。読み取られた画像データによって表される画像に含まれる顔の画像部分がCPU2(顔画像部分抽出手段)によって抽出される(図2ステップ22)。また,抽出された顔の画像部分にもとづいて,CPU2(画像グルーピング手段)によって同一人物が含まれている1以上の画像がグループ化される(図2ステップ23)。同じ画像が異なるグループに属するようにしてもよいし,同じ画像は一つのグループのみに属するようにしてもよい。また,抽出された顔の画像部分についてもCPU2(画像グルーピング手段)によって同一人物の顔の画像部分ごとにグループ化される(図2ステップ24)。
表示装置3の表示画面には,図8に示す画像表示ウインドウ80が表示される。画像表示ウインドウ80には,画像管理タブ91,顔分類タブ101および公開設定タブ102が含まれており,最初は,画像管理タブ91がクリックされている状態である。画像表示ウインドウ80には,メモリ・カード13から読み取られた画像データによって表される多数の画像(サムネイル画像)が画像表示領域90に一覧で表示されている(図3ステップ25)。
図8を参照して,画像表示ウインドウ80には,「編集」の文字列81が表示されており,この「編集」の文字列81の下にイベント管理領域82が形成されている。このイベント管理領域82には,「幼稚園」という文字列の下に「卒園式」という文字列が表示されている。イベント管理領域82の下には,「イベント追加」の文字列が表示されているイベント追加ボタン83および「イベント削除」の文字列が表示されているイベント削除ボタン84が形成されている。
イベント管理領域82には,すでに「卒園式」というイベントが生成されており,メモリ・カード13から読み取られた画像データによって表される画像が,「卒園式」というイベントとして管理されることとなる。具体的には,「幼稚園」という文字列がクリックされた後に,イベント追加ボタン83がクリックされると,画像表示ウインドウ80上にイベント入力ウインドウが現れ,そのイベント入力ウインドウを用いてユーザが新たなイベントを入力する。その時に「卒園式」という文字列をユーザがキーボード8を用いて入力すると,「幼稚園」という文字列の下に「卒園式」という文字列が表示されることとなる。
「卒園式」という文字列がクリックされた状態で,画像表示領域90に,メモリ・カード13から読み取られた画像データによって表される画像がドラッグ・アンド・ドロップされることにより,「卒園式」というイベントによってドラッグ・アンド・ドロップされた画像が管理されることとなる(この状態が図8に示す状態である)。図8においては「イベント管理領域82に表示されている「卒園式」の文字列の右側に「360」という数字が括弧内に表示されており,360枚の画像が「卒園式」のイベントの画像として管理されていることとなる。イベント管理領域82に表示されている文字列がクリックされた後にイベント削除ボタン84がクリックされると,クリックされている文字列によって特定されるイベントおよびそのイベントによって管理される画像が削除される。
画像管理タブ91の下には左矢印ボタン92および右矢印ボタン93が形成されている。右矢印ボタン93の右側には指定された画像を特定する画像特定番号94が表示されている。この画像特定番号94によって表される数字が指定されている画像を表している。図8に示す例では,画像特定番号94には,「11/360」の文字列が表示されているから,「卒園式」のイベントとして管理されている360枚の画像のうち11枚目の画像が指定されていることを示している。画像特定番号94は分数によって表されており,分母がイベントによって管理されている枚数を示し,分子が指定されている画像を番号順で特定している。左矢印ボタン92が1回クリックされると画像特定番号94の分子が一つ減り,右矢印ボタン93が1回クリックされると画像特定番号94の分子が一つ増える。好ましくは,画像特定番号94によって特定される画像を枠で囲むなどをして特定されている画像がユーザにわかるようにするとよい。
画像特定番号94の右には,「リスト表示」の文字列95が表示されている。「リスト表示」の文字列95の左側のチェック・ボックスにチェックが入っていると(初期状態ではチェックが入っている)図8に示すように画像表示領域90に複数の画像が一覧で表示される。「リスト表示」の文字列95の左側のチェック・ボックスが外されると画像特定番号94によって特定される一つの画像が画像表示領域90に表示される(図9参照)。
画像表示領域90に表示されている複数の画像のそれぞれの画像の下には,公開ステータスと画像ファイル名とが表示されている。この実施例では,公開ステータスとして「公開」,「非公開」および「保留」の3種類がある。公開ステータスのうち「公開」は画像を公開する状態を示し,公開ステータスのうち「非公開」は画像を非公開とする状態を示し,公開ステータスのうち「保留」は「公開」または「非公開」のいずれも決まっていない状態を示す。たとえば,ユーザは,「公開」の画像のみを用いてアルバムを制作したり,「公開」の画像のみをプリントしたりする。
画像表示領域90の右端部には,上矢印ボタン97,スライド・バー98および下矢印ボタン99が形成されている。上矢印ボタン97がクリックされる,あるいはスライド・バー98が上方向にドラッグされることにより画像表示領域90が上方向にスクロールされ,下矢印ボタン99がクリックされる,あるいはスライド・バー98が下方向にドラッグされることにより画像表示領域90が下方向にスクロールされる。
画像表示領域90に表示されている画像のうち,いずれかの画像がクリックされると(図3ステップ26でYES),クリックされた画像の公開ステータスが,クリックに応じて変えられる(図3ステップ27)。初期状態では,すべての画像の公開ステータスは「保留」とされており,公開ステータスが「保留」とされている画像が1回クリックされると公開ステータスは「公開」となり,公開ステータスが「公開」となった画像が,さらに1回クリックされると公開ステータスは「非公開」となる。公開ステータスが「非公開」となった画像が,さらに1回クリックされると公開ステータスは「保留」となる。このように画像がクリックされるごとに公開ステータスが順に変わる。もっとも,公開ステータスから「保留」を無くし,「公開」と「非公開」としてもよい。その場合には,初期状態ではすべての画像の公開ステータスは「公開」または「非公開」とされ(画像に含まれる人物ごとにあらかじめ抽出画像または非抽出画像と規定され),画像のクリックに応じて(抽出画像または非抽出画像との決定)公開ステータスが「公開」または「非公開」に切り替わる。
左矢印ボタン92または右矢印ボタン93がクリックされると(図3ステップ28でYES),左矢印ボタン92がクリックされた場合には画像特定番号94の分子が一つ減り,右矢印ボタン93がクリックされた場合には画像特定番号94の分子が一つ増えて,画像の指定が変わる(図3ステップ29)。
リスト表示の文字列95のチェック・ボックスのチェックが外されると(図3ステップ30でYES),画像特定番号94によって特定される画像が画像表示領域90に拡大表示される(図3ステップ31)。
図9は,画像表示領域90に画像が拡大表示されている様子を示している。
図9において,図8に示す構成と同一の構成については同一符号を付して説明を省略する。
「リスト表示」の文字列95の右側には「顔情報表示」の文字列96が表示されている。「顔情報表示」の文字列96の左側にもチェック・ボックスが形成されている。
図9に示す例は,図8において画像特定番号94には「11/360」の文字列が表示されていた場合に「リスト表示」の文字列95のチェック・ボックスのチェックが外されたものとする。すると,図9に示す画像表示領域90には,「11/360」の文字列によって特定される画像ファイル名「0011.jpg」の画像が拡大されて表示されることとなる。画像表示領域90に拡大表示されている画像の下には公開ステータス(保留)と画像ファイル名(0011.jpg)とが表示されている。
「顔情報表示」の文字列96の左側のチェック・ボックスがチェックされると(図3ステップ32でYES),画像表示領域90に表示されている画像に含まれている顔画像部分を囲む顔枠が表示される(図3ステップ33)。この顔枠の表示は,すでに行われている顔画像部分の抽出処理(図2ステップ22)にもとづいて行われる。画像候補決定装置1のユーザ(この場合は幼稚園の教諭)によって対象となる被写体(この場合は園児)の氏名が入力されており,詳しくは後述するように(図11,図12などを参照),どの顔の画像が誰なのかがユーザによって特定される。ユーザによって特定された氏名の顔と同一人物の顔の画像が画像候補決定装置1において見つけられ,見つけられた顔の画像についても氏名と関連付けられる(たとえば,画像ファイルのヘッダに,その顔の氏名が顔の位置の情報に対応して格納される)。このようなユーザの処理により,顔の画像と氏名との関連付けがすでに行われている場合には,顔枠に対応して,その顔の人物の氏名も表示される。
図10は,顔情報表示の文字列96の左側のチェック・ボックスがチェックされ,画像表示領域90に表示されている画像に含まれている顔の画像部分が顔枠により囲まれている様子を示している。
顔枠F1,F4,F3およびF2によって囲まれている顔は,それぞれ「佐藤太郎」,「田中次郎」,「伊藤花子」および「鈴木春子」という氏名の人物(園児)であり,それぞれの顔枠F1,F4,F3およびF2の近く(上部)にそれぞれの氏名が表示されている。顔枠Fによって囲まれている顔は,ユーザによって氏名と関連づけがされていない(未分類)ため氏名が表示されていない。顔情報表示の文字列96の左側のチェック・ボックスがチェックされることにより,画像に含まれている人物の氏名が表示され,画像に含まれている人物の氏名をユーザが確認できる。
顔情報表示の文字列96の左側のチェック・ボックスのチェックが外されると(図3ステップ34でYES),図10に示すように画像に含まれる顔が枠により囲まれており,氏名が関連づけられている顔については氏名が表示されている状態から,図9に示すように氏名が消去された状態に戻される(図3ステップ35)。
ユーザによって顔分類タブ101がクリックされると(図3ステップ36でYES),画像表示ウインドウ80には,図11に示すように顔の画像部分が一覧で表示される(図4ステップ38)。また,ユーザによって公開設定タブ102がクリックされると(図3ステップ37でYES),画像表示ウインドウ80は,図13に示すように画像の公開,非公開を設定する公開/非公開設定画像を表示する(図5ステップ49)。
ユーザによって顔分類タブ101がクリックされたた場合,表示装置3の表示画面には図11に示す画像表示ウインドウ80が表示される。図11において,図8から図10に示す構成と同一の構成については同一符号を付して説明を省略する。
画像表示領域90には,図2ステップ22の処理において抽出された顔の画像部分が一覧で表示される。顔の画像部分は,その顔の画像部分が含まれている画像のファイル名順で画像表示領域90に表示されるが,必ずしもそうでなくともよい。
画像表示領域90の左側には被写体リスト領域110が形成されている。被写体リスト領域110には,上述のようにユーザによってあらかじめ画像候補決定装置1に登録されている氏名が一覧で表示されている。また,その氏名に対応して,その氏名の人物が写っている画像の枚数も表示されている。被写体リスト領域110に表示されている氏名はユーザが選択(クリック)できる。
画像表示領域90の上部には,「顔分類」の文字列が表示されている顔分類ボタン111,「選択園児表示」の文字列112,「非選択園児表示」の文字列113および「未分類顔表示」の文字列114が表示されている。「選択園児表示」の文字列112,「非選択園児表示」の文字列113および「未分類顔表示」の文字列114のそれぞれの左側にはチェック・ボックスが形成されている。
顔分類ボタン111がクリックされると,同一人物の顔の画像部分がまとまって(隣接するように)画像表示領域90に表示される。「選択園児表示」の文字列112の左側のチェック・ボックスがチェックされると,被写体リスト領域110に表示されている氏名のうち,選択されている氏名の人物の顔画像が画像表示領域90に表示される。たとえば,被写体リスト領域110に表示されている氏名のうち「佐藤太郎」が選択されている状態で「選択園児表示」の文字列112の左側のチェック・ボックスがチェックされると,画像表示領域90には「佐藤太郎」の顔画像が表示される。
「非選択園児表示」の文字列113の左側のチェック・ボックスがチェックされると,被写体リスト領域110に表示されている氏名のうち,選択されている氏名以外の人物の顔画像が画像表示領域90に表示される。たとえば,被写体リスト領域110に表示されている氏名のうち「佐藤太郎」が選択されている状態で「非選択園児表示」の文字列113の左側のチェック・ボックスがチェックされると,画像表示領域90には「佐藤太郎」以外の顔画像が表示される。「未分類顔表示」の文字列114の左側のチェック・ボックスがチェックされると,未分類(上述したようにユーザによって氏名と顔の画像とが関連づけられていない)の人物の顔画像が画像表示領域90に表示される。
顔分類タブ101がクリックされ,画像表示領域90に表示されている顔の画像部分が表示されると,その顔に氏名を関連づけることができる。顔の画像部分が含まれる画像を表す画像ファイルのヘッダに顔の画像部分の位置情報と関連付けられて氏名の情報が格納されることにより顔と氏名との関連付けが行われる。画像表示領域90に表示されている顔の画像部分のうち,氏名と関連付けられていない顔の画像部分については,その顔の画像部分が含まれている画像のファイル名のみが表示される。氏名と関連付けられている顔の画像部分については,その顔の画像部分が含まれて類画像のファイル名と氏名とが表示される。
画像表示領域90に表示されている顔の画像部分に氏名を関連付ける場合には,被写体リスト領域110に表示されている氏名のうち,いずれかの氏名がユーザによってクリックされ(図4ステップ39でYES),その氏名の顔の画像部分がユーザによってクリックされる(図4ステップ40でYES)。すると,上述したようにその顔の画像部分を含む画像ファイルのヘッダに顔の画像部分の位置情報とともに氏名情報が格納される。クリックされた顔の画像部分の上部に,その顔画像部分を含む画像のファイル名とともに選択された氏名が表示されるようになる(図4ステップ41)。
つづいて,氏名が関連付けられた第1画像評価値がCPU2によって算出される(図4ステップ42,第1画像評価値が本発明における人物画像評価値に相当する)。この第1画像評価値は,関連付けられた氏名の人物にとっての評価値である。ある画像に二人の人物が含まれている場合に,同じ画像であっても,一方の人物についての第1画像評価値と,他方の人物についての第1画像評価値とは異なる。
第1画像評価値は,画像に含まれる人数,画像に含まれる顔のサイズなどの評価パラメータにしたがって算出される。表1は,画像に含まれる人数による人数得点テーブルの一例である。
Figure 0007463473000001
画像に含まれる人物の人数が少なすぎず,多すぎないほど,バランスよい画像であり画像に含まれている人物が適度に目立っていると考えられ,その人物にとっての画像の価値は高いと考えられる。このために,画像に含まれる人数が5人程度であれば人数得点が高くなり,画像に含まれる人数が少なくなったり,多くなったりすると人数得点が低くなるようにCPU2(第1の画像評価値算出手段)によって算出される。もっとも,画像に含まれる人数が少ないほど人数得点を高くし,画像に含まれる人数が多いほど得点を高くしてもよい。
表2は画像に含まれる顔のサイズによる顔サイズ得点テーブルの一例である。表2において顔のサイズは画像に対する顔のサイズを示している。たとえば,顔のサイズが「1/15」とあるのは,顔のサイズが画像のサイズに対して1/15であることを示している。サイズは顔を矩形の枠により囲んだ場合に,画像の横の画素数と顔の画像部分の横の画素数とを利用してもよいし,画像の縦の画素数と顔の画像部分の縦の画素数とを利用してもよいし,画像全体の領域の画素数と顔の領域の画素数とを利用してもよい。
Figure 0007463473000002
画像に含まれる人物の顔のサイズが大きすぎても小さすぎても,画像のバランスが良くないので,適度な比率(ここでは1/6)のときに,顔サイズ得点が一番高くなり,その比率より離れるほど顔サイズ得点が低くなるように設定されている。
評価パラメータは,画像に含まれる人数,画像に含まれる顔のサイズなどのほかに,画像に含まれる顔の画像部分のピントの程度,画像に含まれる顔の中の目の開き具合,画像に含まれる顔の表情などから算出される表情得点も利用され,顔得点が算出される。顔の画像部分のピントが合っている顔ほど,表情得点は高くなり,目がきちんと開いているほど,表情得点は高くなり,顔の表情が笑顔であるほど,表情得点は高くなるように,評価パラメータに対応して表情得点が設定されている。
この実施例では,人数得点,顔サイズ得点,および表情得点の和により,第1画像評価値の素点が算出される。
この他に,1枚の画像全体の画質が良い(例えばピントが合っている)ほど,得点が高くなる,画質得点を定義して素点の算出に用いてもよい。
さらに,この実施例では,特定の人物が写っている画像の枚数に応じて第1画像評価値が補正される。このために,特定の人物が写っている画像の枚数が少ないほど,その人物にとっての第1画像評価値は高く,特定の人物が写っている画像の枚数が多いほど,その人物にとっての第1画像評価値は低くなるように重み付けが行われる。
表3は,重み付けテーブルの一例である。表3において最大値は,公開する画像の中で同一人物が写っている画像の最大値であり,たとえば「6」である。
Figure 0007463473000003
人物ごとの第1画像評価値が画像ごとに算出されることとなる。
表4は,「佐藤太郎」の画像ごとの第1画像評価値を示している。
Figure 0007463473000004
表4には,画像ファイル名「0022.jpg」,「0019.jpg」,「0021.jpg」,「0013.jpg」,「0020.jpg」および「0018.jpg」の6枚の画像について,「佐藤太郎」からとらえた第1画像評価値が示されている。「佐藤太郎」は,これらの6枚の画像に写っていることとなる。「佐藤太郎」にとって,たとえば,ファイル名「0022.jpg」の第1画像評価値の素点は「40」であり,他の第1画像評価値の素点も示されている。これらの素点が正規化され,かつ正規化された素点に重み付けされた点数が,「佐藤太郎」についてのそれぞれの第1画像評価値である。「佐藤太郎」は,6枚の画像(重み付けテーブルに規定されている最大値と同じ枚数の画像)に写っているので,重み付け係数は最大値の「×1」となり,重み付け係数による補正後の第1画像評価値が正規化された素点と同じとなる。もちろん,重み付け係数が「×1」でなければ重み付け係数による補正後の第1画像評価値と正規化された素点とは異なることとなる。このように,同一人物が含まれている画像の枚数が少ないほど第1画像評価値を大きくし,同一人物が含まれている画像の枚数が多いほど第1画像評価値を小さくする重み付け係数(補正係数)を用いて第1画像評価値をCPU2(補正手段)によって補正することが好ましい。
「佐藤太郎」だけでなく,他の氏名をもつ人物についても,人物にとっての画像評価値が画像ごとに算出される。
表5は,「佐藤太郎」が写っている6枚の画像について,それらの6枚の画像に含まれている人物にとっての第1画像評価値を示し,かつ,1枚の画像についての総合的な画像評価値である第2画像評価値を示している(第2画像評価値が本発明の総合画像評価値に相当する)。
Figure 0007463473000005
画像ファイル名「0022.jpg」の画像には「佐藤太郎」のほかに「鈴木春子」が含まれており,画像ファイル名「0019.jpg」の画像には「佐藤太郎」のほかに「伊藤花子」が含まれており,画像ファイル名「0021.jpg」の画像には「佐藤太郎」のほかに「鈴木春子」および「田中次郎」が含まれており,画像ファイル名「0013.jpg」の画像には「佐藤太郎」のほかに「伊藤花子」が含まれており,画像ファイル名「0020.jpg」の画像には「佐藤太郎」のほかに「鈴木春子」,「伊藤花子」,「田中次郎」および「渡辺一郎」が含まれており,画像ファイル名「0018.jpg」の画像には「佐藤太郎」のほかに「渡辺一郎」が含まれていることが分かる。
たとえば,画像ファイル名「0022.jpg」の画像の第1画像評価値は「佐藤太郎」にとっては「20」であるが,「鈴木春子」にとっては「200」であり,画像ファイル名「0022.jpg」の画像の総合的な画像評価値である第2画像評価値は,「佐藤太郎」にとっての第1画像評価値である「20」と「鈴木春子」にとっての第1画像評価値である「200」との和である,「220」となる。他の画像についても同様に,画像ファイル名「0019.jpg」の画像の第2画像評価値は「62.5」,画像ファイル名「0021.jpg」の画像の第2画像評価値は「367」,画像ファイル名「0013.jpg」の画像の第2画像評価値は「63」,画像ファイル名「0020.jpg」の画像の第2画像評価値は「1023」,画像ファイル名「0018.jpg」の画像の第2画像評価値は「414.5」であることが分かる。これらのことから,これらの6枚の画像のうち,第2画像評価値が最も高い画像ファイル名「0020.jpg」の画像が,画像としての重要度が最も高く,第2画像評価値が最も低い画像ファイル名「0019.jpg」の画像が,画像としての重要度が最も低いことが分かる。このように,画像に含まれる人物ごとに異なる第1画像評価値を画像ごとに加算し,加算して得られる総和をCPU2(第2の画像評価値算出手段)によって算出し,その総和を第2画像評価値とすることが好ましい。なお,第2画像評価値は,画像に写っている人物ごとに算出される第1画像評価値に基づいて,第1画像評価値が高くなるほど第2画像評価値が高くなるような算出方法であればいかなる方法であってもよく,重み付けをした上で第1画像評価値を総和して算出してもよい。たとえば,全園児参加の行事における画像群について,今後の撮影機会の多少を考慮して,学年が上である園児ほど重く(したがって学年が下である園児ほど軽く)第1画像評価値に重み付けを行った上で,総和をとって第2画像評価値を算出することとしてもよい。
この実施例では,これらの6枚の画像のうち,非公開の画像を決定する場合には,第2画像評価値の低い画像の順に非公開画像候補(非抽出画像候補)と決定し,公開の画像を決定する場合には第2画像評価値の高い画像の順に公開画像候補(抽出画像候補)と決定する。画像が公開または非公開に変わった場合には,改めて第1画像評価値および第2画像評価値が算出される。
上述の実施例において,画像に複数の顔の画像部分が含まれている場合,それらの顔の画像部分の評価値の和を算出し,算出した和を総合画像評価値としてもよい。たとえば,表5を参照して画像ファイル名「0022.jpg」の画像に「佐藤太郎」の氏名をもつ顔の画像部分が含まれ,その顔の画像部分の評価値が「20」であったとする。また,その画像ファイル名「0022.jpg」の画像に「鈴木春子」の氏名をもつ顔の画像部分が含まれ,その顔の画像部分の評価値が「200」であったとする。それらの顔の画像部分の評価値の和を算出し,得られた評価値の和「220」を総合画像評価値とすることができる。
左矢印ボタン92または右矢印ボタン93の矢印ボタンがクリックされると(図4ステップ43でYES),これらの左矢印ボタン92または右矢印ボタン93のクリックに応じて,画像の指定が変わる(図4ステップ44)。画像特定番号94の数字も変わる。
顔分類ボタン111がクリックされると(図4ステップ45でYES),図12に示すように顔の画像部分が同一人物ごとに分類して表示される(図4ステップ46)。
図12を参照して,顔画像グループG1には,画像ファイル名「0021.jpg」の画像に含まれる顔の画像部分,画像ファイル名「0019.jpg」の画像に含まれる顔の画像部分,画像ファイル名「0020.jpg」の画像に含まれる顔の画像部分,画像ファイル名「0018.jpg」の画像に含まれる顔の画像部分が含まれている。顔画像グループG1には,画像ファイル名「0022.jpg」の画像に含まれる顔の画像部分および画像ファイル名「0013.jpg」の画像に含まれる顔の画像部分も含まれているが,図12では見えない。顔画像グループG1は,「佐藤太郎」の顔画像部分が含まれていることとなる。
また,顔画像グループG2には,画像ファイル名「0027.jpg」の画像に含まれる顔の画像部分,画像ファイル名「0014.jpg」の画像に含まれる顔の画像部分および画像ファイル名「0028.jpg」の画像に含まれる顔の画像部分が含まれている。顔画像グループG2に含まれている顔の画像部分も同一人物を表している。同様に,顔画像グループG3には,画像ファイル名「0027.jpg」の画像に含まれる顔の画像部分および画像ファイル名「0014.jpg」の画像に含まれる顔の画像部分が含まれている。顔画像グループG3に含まれている顔の画像部分も同一人物を表している。
図12に示す状態の画像表示ウインドウ80においても,図11に示す状態の画像表示ウインドウ80と同様に,被写体リスト領域110に表示されている氏名がクリックされた後に(図4ステップ39でYES),顔の画像部分がクリックされると(図4ステップ40),クリックされた顔の画像部分と氏名とが関連づけられる(図4ステップ41)。また,図12に示すように顔画像グループに分類されている場合には,被写体リスト領域110に表示されている氏名がクリックされた後に(図4ステップ39でYES),いずれかの顔画像グループに含まれている顔の画像部分またはいずれかの顔画像グループの領域内であって顔の画像部分以外の領域がクリックされたことにより,クリックされた部分を含む顔画像グループに含まれるすべての顔の画像部分と氏名とが関連づけられてもよい。顔画像グループに含まれるすべての顔の画像部分について氏名との関連付けが比較的簡単にできるようになる。
また,画像管理タブ91がクリックされると(図4ステップ47でYES),図3に示す処理に移行する。さらに,公開設定タブ102がクリックされると(図4ステップ48でYES),画像表示ウインドウ80には図13に示すような公開/非公開設定画像が表示される(図5ステップ49)。
図13において,図8から図12に示す構成と同一の構成については同一符号を付して説明を省略する。
画像表示領域90には,公開設定タブ102がクリックされる前に画像特定番号94によって特定されていた画像が表示される。図13においては,画像ファイル名「0022.jpg」の画像が画像特定番号によって特定されていたものとする。画像表示領域90には,画像ファイル名「0022.jpg」の画像が表示されている。画像ファイル名「0022.jpg」の画像には,「佐藤太郎」と「鈴木春子」が含まれている。「佐藤太郎」の顔は顔枠F1により囲まれており,その顔枠F1の上部に「佐藤太郎」の氏名が表示されている。「鈴木春子」の顔は顔枠F2により囲まれており,その顔枠F2の上部に「鈴木春子」の氏名が表示されている。
画像表示領域90の左側には公開/非公開情報表示領域120が形成されている。公開/非公開情報表示領域120には,被写体の氏名が表示されている。被写体の氏名の左側にはチェック・ボックス121-126,129などが形成されている。チェック・ボックス129の右側には人物名として「教諭・保護者」と表示されている。幼稚園の卒園式の場合,園児が主役であり,教諭や保護者は脇役であることが多いため,人物ごとに分けずに同一人物として扱っているからである。このように,教諭や保護者のような大人については,同一人物とみなして画像ごとにCPU2(画像グルーピング手段)によってグループ化してもよい。もちろん,教諭および保護者を同一人物として扱わずに人物ごとに分けて扱ってもよい。画像表示領域90に表示されている画像に含まれている人物(氏名が表示されている人物)に対応する氏名のチェック・ボックスがチェックされている。図13に示す例では,画像表示領域90に表示されている画像には「佐藤太郎」と「鈴木春子」とが含まれており,「佐藤太郎」の氏名の左側のチェック・ボックス121と「鈴木春子」の氏名の左側のチェック・ボックス122とがチェックされている。
また,被写体の氏名の右側には,その被写体が含まれている画像のうち「非公開」に設定されている状態の枚数(非抽出画像の枚数),「保留」の状態の枚数,「公開」に設定されている状態の枚数(抽出画像の枚数)が人物ごとにCPU2(表示制御手段)の制御のもとに表示装置3(報知手段)に表示されている画像表示ウインドウ80の被写体リスト領域110に表示されている。
画像表示領域90に表示されている画像がクリックされると(図5ステップ50でYES),図3ステップ27の処理と同様にクリックに応じてクリックされた画像の公開ステータスが変わる(図5ステップ51)。画像の公開ステータスが「保留」の状態で画像が一回クリックされると公開ステータスは「公開」となる。公開/非公開情報表示領域120の「佐藤太郎」および「鈴木春子」のそれぞれの氏名の「公開」の枚数が「0」から「1」に変更される。また,「佐藤太郎」の氏名の「保留」の枚数が「6」から「5」となり,「鈴木春子」の氏名の「保留」の枚数が「3」から「2」となる。画像がさらに一回クリックされると,公開ステータスは「非公開」となる。公開/非公開情報表示領域120の「佐藤太郎」および「鈴木春子」のそれぞれの氏名の「公開」の枚数が「1」から「0」に戻され,かつそれぞれの「非公開」の枚数が「0」から「1」に変更される。
公開ステータスに「保留」が含まれていず,「非公開」と「公開」との二種類の場合には,画像表示領域90に表示されている画像が一回クリックされるごとに,公開ステータスが「非公開」と「公開」との間で切り替わり,公開/非公開情報表示領域120に表示されている「非公開」の画像の枚数と「公開」の画像の枚数とが,画像に含まれる人物ごとにCPU2によって更新されて,表示装置3(報知手段)に表示されている画像表示ウインドウ80の公開/非公開情報表示領域120に表示(報知)される。
左矢印ボタン92または右矢印ボタン93のいずれかの矢印ボタンがクリックされると(図5ステップ52でYES),画像特定番号94が減少したり,増加したりして画像の指定が変わる(図5ステップ53)。図13においては,「佐藤太郎」が含まれている6枚の画像のうちの1枚が画像表示ウインドウ80に表示されており,画像特定番号94は「1/6」となっている。これは,図12に示す画像表示ウインドウ80に含まれる被写体リスト領域110において「佐藤太郎」が選択されている状態で公開設定タブ102がクリックされたからである。画像表示領域90に表示されている画像には「佐藤太郎」と「鈴木春子」とが含まれている。「佐藤太郎」の顔は顔枠F1によって囲まれており,その顔枠F1の上部に「佐藤太郎」という氏名が表示されている。同様に「鈴木春子」の顔は顔枠F2によって囲まれており,その顔枠F2の上部に「鈴木春子」という氏名が表示されている。
図13に示す画像表示ウインドウ80が表示されている状態で右矢印ボタン93がクリックされると,表示装置3の表示画面には図14に示す画像表示ウインドウ80が表示される。
図14を参照して,画像表示領域90に表示されている画像には,「佐藤太郎」と「伊藤花子」との他に氏名が決定されていない(図11,図12などを用いて顔の画像部分と氏名とが関連づけられていない)人物とが含まれている。「佐藤太郎」の顔は顔枠F1によって囲まれており,その顔枠F1の上部に「佐藤太郎」という氏名が表示されている。同様に「伊藤花子」の顔は顔枠F3によって囲まれており,その顔枠F3の上部に「伊藤花子」という氏名が表示されている。氏名が決定されていない未分類の人物の顔は顔枠Fによって囲まれている。未分類の顔枠Fの上部には顔の画像部分と氏名とが関連づけられていないことが分かるように「未分類」の文字列が表示されている。また,「佐藤太郎」が含まれている6枚の画像のうちの2枚目の画像であることが分かるように,画像特定番号94が「1/6」から「2/6」に変わっている。
図14に示す画像表示ウインドウ80が表示されている状態で右矢印ボタン93がクリックされると,表示装置3の表示画面には図15に示す画像表示ウインドウ80が表示される。
図15を参照して,画像表示領域90に表示されている画像には,「佐藤太郎」と「鈴木春子」と「田中次郎」との他に氏名が決定されていない(図11,図12などを用いて顔の画像部分と氏名とが関連づけられていない)人物とが含まれている。「佐藤太郎」の顔は顔枠F1によって囲まれており,その顔枠F1の上部に「佐藤太郎」という氏名が表示されている。同様に「鈴木春子」の顔は顔枠F2によって囲まれており,その顔枠F2の上部に「鈴木春子」という氏名が表示されており,「田中次郎」の顔は顔枠F4によって囲まれており,その顔枠F4の上部に「田中次郎」という氏名が表示されている。氏名が決定されていない未分類の人物の顔は顔枠Fによって囲まれている。未分類の顔枠Fの上部には「未分類」の文字列が表示されている。また,「佐藤太郎」が含まれている6枚の画像のうちの3枚目の画像であることが分かるように,画像特定番号94が「2/6」から「3/6」に変わっている。
図15に示す画像表示ウインドウ80が表示されている状態で右矢印ボタン93がクリックされると,表示装置3の表示画面には図16に示す画像表示ウインドウ80が表示される。
図16を参照して,画像表示領域90に表示されている画像には,「佐藤太郎」と「伊藤花子」との他に氏名が決定されていない(図11,図12などを用いて顔の画像部分と氏名とが関連づけられていない)人物とが含まれている。「佐藤太郎」の顔は顔枠F1によって囲まれており,その顔枠F1の上部に「佐藤太郎」という氏名が表示されている。同様に「伊藤花子」の顔は顔枠F3によって囲まれており,氏名が決定されていない未分類の人物の顔は顔枠Fによって囲まれている。未分類の顔枠Fの上部には「未分類」の文字列が表示されている。また,「佐藤太郎」が含まれている6枚の画像のうちの4枚目の画像であることが分かるように,画像特定番号94が「3/6」から「4/6」に変わっている。
図16に示す画像表示ウインドウ80が表示されている状態で右矢印ボタン93がクリックされると,表示装置3の表示画面には図17に示す画像表示ウインドウ80が表示される。
図17を参照して,画像表示領域90に表示されている画像には,「佐藤太郎」,「鈴木春子」,「伊藤花子」,「田中次郎」および「渡辺一郎」との他に氏名が決定されていない(図11,図12などを用いて顔の画像部分と氏名とが関連づけられていない)人物とが含まれている。「佐藤太郎」の顔は顔枠F1によって囲まれており,その顔枠F1の上部に「佐藤太郎」という氏名が表示されている。同様に「鈴木春子」の顔は顔枠F2によって囲まれており,「伊藤花子」の顔は顔枠F3によって囲まれており,「田中次郎」の顔は顔枠F4によって囲まれており,「渡辺一郎」の顔は顔枠F5によって囲まれている。氏名が決定されていない未分類の人物の顔は顔枠Fによって囲まれており,未分類の顔枠Fの上部には「未分類」の文字列が表示されている。また,「佐藤太郎」が含まれている6枚の画像のうちの5枚目の画像であることが分かるように,画像特定番号94が「4/6」から「5/6」に変わっている。
図17に示す画像表示ウインドウ80が表示されている状態で右矢印ボタン93がクリックされると,表示装置3の表示画面には図18に示す画像表示ウインドウ80が表示される。
図18を参照して,画像表示領域90に表示されている画像には,「佐藤太郎」,「渡辺一郎」および大人または保護者が含まれている。また,画像表示領域90に表示されている画像には,氏名が決定されていない(図11,図12などを用いて顔の画像部分と氏名とが関連づけられていない)人物も含まれている。「佐藤太郎」の顔は顔枠F1によって囲まれており,その顔枠F1の上部に「佐藤太郎」という氏名が表示されている。同様に「渡辺一郎」の顔は顔枠F5によって囲まれており,大人または保護者の顔は顔枠F6によって囲まれている。氏名が決定されていない未分類の人物の顔は顔枠Fによって囲まれており,未分類の顔枠Fの上部には「未分類」の文字列が表示されている。また,「佐藤太郎」が含まれている6枚の画像のうちの6枚目の画像であることが分かるように,画像特定番号94が「5/6」から「6/6」に変わっている。
図18に示す画像表示ウインドウ80が表示されている状態で,左矢印ボタン92がクリックされると,クリックされるごとに右矢印ボタン93がクリックされる前に表示されていた画像が画像表示ウインドウ80の画像表示領域90に表示されることとなる。
図13から図18に示すように右矢印ボタン93または左矢印ボタン92がクリックされるごとに「佐藤太郎」の氏名を含む人物を順番に画像表示領域90に表示させることができる。図13から図18に示す画像表示ウインドウ80の画像表示領域90に表示されているいずれの画像においても画像がクリックされるごとに公開ステータスが「公開」,「非公開」または「保留」に順に変わり,画像表示領域90に表示されている画像を公開とするか非公開とするかをユーザが指定できる。「佐藤太郎」の氏名を含む人物が含まれていない画像についても同様に画像を公開とするか非公開とするかをユーザが指定できる。
たとえば,図13から図18に示すように公開設定タブ102がクリックされている状態で,被写体リスト領域110に表示されている氏名がクリックされると(選択されると),クリックされた氏名の人物が含まれている画像が画像表示領域90に表示される。たとえば,被写体リスト領域110に表示されている氏名のうち「鈴木春子」がクリックされると,「鈴木春子」が含まれている画像のうち1枚目の画像が画像表示領域90に表示される。「鈴木春子」が含まれている画像(「鈴木春子」の氏名と画像との関連付けが行われている画像)は,3枚であるから(被写体リスト領域110の「鈴木春子」の氏名に対応して表示されている非公開の画像の数,保留の画像の数および公開の画像の数の合計が3であるから3枚となる),画像表示領域90に「鈴木春子」の画像が表示されている状態で右矢印ボタン93をクリックすると,それらの3枚の画像が順に画像表示領域90に表示される。
枚数入力ボタン130がクリックされると(図5ステップ54でYES),画像表示ウインドウ80が表示されている状態で(画像表示ウインドウ80が一時的に消えてもよい)表示装置3の表示画面には,図19に示す抽出枚数入力ウインドウ140が表示される(図5ステップ55)。
図19を参照して,抽出枚数入力ウインドウ140は,同一人物が含まれている画像について公開する最低枚数と最高枚数(公開する画像の最低枚数と最高枚数とが画像の抽出枚数の制限値である)を入力するものである。抽出枚数入力ウインドウ140には「抽出枚数を入力して下さい。」との文字列が表示されており,最低枚数入力領域141および最高枚数入力領域142が形成されている。最低枚数入力領域141をクリックすることにより最低枚数入力領域141に,同一人物が含まれている画像について公開する最低枚数をキーボード8から入力でき,最高枚数入力領域142をクリックすることにより最高枚数入力領域142に,同一人物が含まれている画像について公開する画像の最高枚数をキーボード8から入力できる。抽出枚数入力ウインドウ140の右下には「決定」の文字列が表示されている決定ボタン143が形成されている。
最低枚数入力領域141に最低枚数が入力され,最高枚数入力領域142に最高枚数が入力され(最低枚数または最高枚数のいずれかを入力してもよい)(図5ステップ56),かつ決定ボタン143がクリックされると(図5ステップ57でYES),入力された抽出枚数(最低抽出枚数,最高抽出枚数)がメモリ7に記憶される(図5ステップ58)。抽出枚数入力ウインドウ140は表示装置3の表示画面から消える。
同一人物が含まれており,かつ公開とされている画像の枚数が,入力された最高枚数よりも多い画像があるかどうかがCPU2によって確認される(図6ステップ61)。入力された最高枚数よりも多い画像がある場合には(図6ステップ61でYES),その同一人物が含まれている画像について第1画像評価値および第2画像評価値がCPU2によって算出され(図6ステップ62),同一人物が含まれている画像の最高枚数内(制限値内)に収まるように,公開とされている画像の中から非公開画像候補がCPU2(画像候補決定手段)によって決定される(図6ステップ63)。
たとえば,「佐藤太郎」が含まれている画像が,ファイル名「0022.jpg」,「0019.jpg」,「0021.jpg」,「0013.jpg」,「0020.jpg」および「0018.jpg」をもつ6枚の画像であるとする。すると,それらの6枚の第2画像評価値はたとえば,表5に示した値となる。また,入力された最高枚数が5枚であったとする。すると,非公開画像候補として6枚の画像のうち,1枚がCPU2によって決定される。表5からわかるように6枚の画像の第2画像評価値のうち,最も第2画像評価値が低い画像は「0019.jpg」の画像ファイル名をもつ画像であるから,その「0019.jpg」の画像ファイル名をもつ画像が非公開画像としてCPU2(画像候補決定手段)によって決定される。このようにして,第2画像評価値と同一人物が含まれている画像の抽出枚数の制限値と,にもとづいて,グループ化された画像の中から非公開画像候補(非抽出画像候補)が決定される。
逆に,6枚の画像の第2画像評価値のうち,第2画像評価値の高い順に5枚の画像を公開画像候補(抽出画像候補)としてCPU2(画像候補決定手段)によって決定してもよい。たとえば,「0019.jpg」の画像ファイル名をもつ画像を非公開とすることを推奨します,という文字列を含むウインドウを,その「0019.jpg」の画像ファイル名をもつ画像(非抽出画像候補)とともにCPU2(画像候補表示制御手段)の制御のもとに表示画面に表示させるとよい。逆に,ファイル名「0022.jpg」,「0019.jpg」,「0021.jpg」,「0013.jpg」,「0020.jpg」および「0018.jpg」をもつ6枚の画像のうち,画像ファイル名「0019.jpg」以外の画像ファイル名をもつ画像(抽出画像候補)を,「公開することを推奨します。」という文字列とともにCPU2(画像候補表示制御手段)の制御のもとに表示画面に表示させてもよい。ユーザは,左矢印ボタン92または右矢印ボタン93をクリックすることにより,図14に示すように画像ファイル名「0019.jpg」を持つ画像が画像表示領域90に表示されている画像表示ウインドウ80が表示装置3の表示画面に表示させられる。
ユーザは,画像表示領域90に表示されている画像を確認して,その画像を非公開とする場合には,画像をクリックすることにより公開ステータスをCPU2(画像決定手段)によって非公開と決定する。これにより非公開画像が指定されたこととなる(図6ステップ64でYES,ステップ65)。終了指令が与えられなければ(ステップ66でNO),ステップ61からの処理が繰り返される。
上述の実施例では,非公開画像候補を決定しているが,非公開画像候補を決定する代わりに,公開画像候補を決定するようにしてもよい。たとえば,画像ファイル名「0022.jpg」,「0021.jpg」,「0013.jpg」,「0020.jpg」および「0018.jpg」の画像を公開画像候補としてもよい。公開画像候補の中から公開する画像を決定する場合には,その画像をクリックすることにより公開ステータスをCPU2(画像決定手段)によって公開と決定する。
また,非公開画像候補または公開画像候補を決定する場合において,その決定された非公開画像候補が非公開画像とされる,あるいは,その決定された公開画像候補が公開画像とされることに応じて,特定の人物が含まれる画像の抽出枚数が最高枚数を超える,あるいは最低枚数未満となってしまう場合(決定される一の非抽出画像候補が非抽出画像とされる,あるいは一の抽出画像候補が抽出画像とされることに応じて,特定の人物が含まれている画像の抽出枚数が制限値から外れる場合)には,そのような画像について非公開画像候補(非抽出画像候補)または公開画像候補(抽出画像候補)から外すようにCPU2(画像候補停止手段)によって制御されることが好ましい。たとえば,表5において,上述のように画像ファイル名「0019.jpg」の画像が非公開画像として決定されると,特定の人物(例えば,「伊藤花子」)の公開画像の枚数が最低枚数未満となってしまう場合には,画像ファイル名「0019.jpg」の画像を非公開画像候補とは決定しないで,他の画像を非公開画像候補と決定したり,画像ファイル名「0019.jpg」の画像を公開画像候補と決定したりすることが好ましい。
プログラムの終了指令が画像候補決定装置1に与えられなければ(図6ステップ66でNO),図6ステップ61の処理から繰り返される。公開とされている画像であって同一人物が含まれている画像の数が最高枚数よりも多いような画像が,まだあれば(図6ステップ61でYES),そのような画像についての画像評価値が再び算出される(図6ステップ62)。
公開とされている画像であって同一人物が含まれている画像の数が最高枚数よりも多いような画像が無ければ(図6ステップ61でNO),処理は終了する。
上述の実施例では,行事が終わった後において,公開のために使用できる画像群が確定している状態を想定している。しかしながら,行事の最中にリアルタイムで上記の処理を行い,写っている画像の数が少ない人物を撮影するようにしてもよい。この場合,図6のステップ61の処理において,入力された最高枚数よりも多い画像が無い場合には(ステップ61でNO),図7に示すステップ67の処理に移行する。
図7に示すステップ67の処理においては,公開とされている画像であって同一人物が含まれている画像の数が最低枚数よりも少ない画像があるかどうかが確認される(図7ステップ67)。最低枚数よりも少ない画像があると(図7ステップ67でYES),表示装置3の表示画面には図20に示す撮影指示ウインドウ150が表示される(図7ステップ68)。
すなわち,グループ化された1以上の画像に含まれている同一人物の数が閾値以下である人物がCPU2(人物検出手段)によって検出され,その人物について撮影指示がCPU2(撮影指示手段)によって撮影指示が行われることとなる。
図20を参照して,撮影指示ウインドウ150は,写っている画像の数が最低枚数よりも少ない人物の撮影をユーザに促すものである。
撮影指示ウインドウ150には,写っている画像の数が不足している人物の氏名をユーザに知らせるために「〇〇さんの画像が足りません」(〇〇には画像の数が不足している人物の氏名が入る)の文字列および不足枚数をユーザに知らせるために「あと1枚から5枚撮影してください」(不足枚数は状況に応じて変わるが好ましくは撮影後の枚数が,上述のように入力された最低枚数以上であり最高枚数以下とする)の文字列が表されている。撮影指示ウインドウ150の右下には「確認」の文字が表示されている確認ボタン151が形成されている。ユーザは,誰の画像がどのくらいの枚数が足りないかを確認すると,確認ボタン151をクリックする。すると,撮影指示ウインドウ150は表示装置3の表示画面から消える。
最低撮影枚数よりも少ない画像がなければ(図7ステップ67でNO),図20に示す撮影指示ウインドウ150の表示はスキップされる。
画像候補決定装置1にプログラムの終了指令が与えられれば(図7ステップ69でYES),プログラムは終了し(図7ステップ69でYES),プログラムの終了指令が与えられなければ(図7ステップ69でNO),図6ステップ61からの処理が繰り返される。もっとも,終了指令が与えられない場合には(図6ステップ66でNOまたは図7ステップ69でNO),図5ステップ49の処理に戻ってもよい。
公開/非公開設定画像が表示されている場合に(図5ステップ49),画像管理タブ91がクリックされると(図5ステップ59でYES),図3ステップ25からの処理が行われる。また,公開/非公開設定画像が表示されている場合に(図5ステップ49),顔分類タブ101がクリックされると(図5ステップ60でYES),図4ステップ38からの処理が行われる。
上述の実施例において,図6ステップ66におけるプログラムの終了の判断処理および図7におけるプログラムの終了の判断処理が行われる場合に画像候補決定プログラムが終了するが,他の処理においても画像候補決定装置1に終了指令が与えられると,その終了指令が割り込むことにより画像候補決定プログラムが終了する。
また,上述の実施例においては,メモリ・カード13に格納されている複数の画像を表す画像データをメモリ・カード・リーダ・ライタ12によって読み取っているが,画像候補決定装置1とは別のデータベース・サーバに複数の画像を表す画像データを格納しておき,そのデータベース・サーバと画像候補決定装置1とが通信することにより,データベース・サーバから送信される画像データによって表される画像を,上述のように画像候補決定装置1の表示装置3の表示画面に表示してもよい。
さらに,上述の実施例においては,メモリ・カード13に記録されている画像データを読み取っているが,画像候補決定装置1の通信装置4が無線通信手段によりディジタル・カメラ(図示略)と通信可能であれば,ディジタル・カメラを用いて撮影した画像を表す画像データを,ディジタル・カメラから画像候補決定装置1に送信し,上述した処理が行われるようにしてもよい。同様に,スマートフォンにおいて撮影した画像を表す画像データを,スマートフォンから画像候補決定装置1の通信装置4に送信し,上述した処理が行われるようにしてもよい。ディジタル・カメラ,スマートフォンにより撮影した画像を表す画像データをリアルタイムで画像候補決定装置1に送信し,撮影しながら上述の処理を行うこともできるし,すべての撮影が終了した後にディジタル・カメラ,スマートフォンにより撮影した画像を表す画像データを画像候補決定装置1に送信するようにしてもよい。
さらに,上述の実施例においては,第1画像評価値の素点を算出する際に,顔サイズ得点や表情得点などの顔に関する評価値と人数得点や画質得点など顔以外に関する評価値とを利用しているが,顔に関する評価値のみを利用して第1画像評価値の素点としてもよいし,顔以外に関する評価値のみを利用して第1画像評価値の素点としてもよい。
さらに,上述の実施例においては,顔の画像部分をユーザが見ながら顔の画像部分と氏名とを関連づけているが,あらかじめ顔の画像と,その顔の人物の氏名とを関連付けておき,氏名に関連付けられた顔の画像と比較することにより自動的にだれの顔か自動的に決定して顔の画像部分と氏名とを関連づけるようにしてもよい。さらに,上述の実施例では,顔の画像部分を利用して氏名を関連づけているが,顔の画像部分ではなく,人物が名札を付けている場合には,その名札をユーザが確認して顔の画像部分と氏名とを関連づけてもよいし,名札に記載の氏名を自動的に解析して顔の画像部分と氏名とを関連づけてもよい。
図21から図26は,変形例を示している。
図21から図23は,画像表示ウインドウ80の一例である。図21から図23は,図11などの画像表示ウインドウ80に対応しており,同一の構成については同一符号を付して説明を省略する。図21から図23に示される画像表示ウインドウ80では,同一人物の複数の顔画像と氏名とを一括で関連付ける。
ユーザは,一括で氏名を関連付けしようとする画像を,マウス9を用いて選択する。具体的には,カーソル171を,マウス9を用いて一括で氏名を関連付けしようとする顔画像上をドラッグする。すると,選択された画像の枠が太枠172となる。図21においては,画像表示領域90に三行で表示されている画像のうち,二行目(中央の行)の3つの画像が選択されたものとする。
つづいて,選択された顔画像の氏名が被写体リスト領域110に表示されている名前の中からユーザによって選択される。ここでは,選択された顔画像の氏名は「田中次郎」であったとし,「田中次郎」が選択されたものとする。すると,選択された「田中次郎」の名前の周りの色が変わる。
図22は,選択された「田中次郎」の名前の周りが変わった様子を示している。図22においては,「田中次郎」の名前の周りがハッチング173により示されており,選択された「田中次郎」の名前の周りが変化している。また,選択された「田中次郎」の代表的な顔画像175(あらかじめ登録されている)が被写体リスト領域110の上に表示される。ユーザは,代表的な顔画像175と画像表示領域90に表示されている顔画像のうち選択された顔画像とを比較することにより,同一人物かどうかを確認できる。つづいて,選択した「田中次郎」の名前の上にカーソル171を移動させ,選択された顔画像上にドラッグする。すると,カーソル171が,選択した「田中次郎」の名前を表す氏名表示領域174に一時的に変化する。その後,図23に示すように,選択された画像のそれぞれに,氏名表示領域176が表示される。
図21から図23においては,被写体リスト領域110に表示されている名前のうち,公開が禁止されている人物の名前に禁止マーク170が付されている。禁止マーク170を見ることにより,誤って公開してしまうことが未然に防止できる。
さらに,図21から図23において,顔画像として認識されているが,顔が横向き過ぎたり,顔の画像がボケていたりする画像については,「横向き過ぎ」,「ボケ過ぎ」,「公開に不適」などのフラグを画像に付与してもよい。公開する画像として選択する場合に,そのようなフラグを参照して公開するか非公開するか判断できるようになる。
さらに,図21から図23の画像表示領域90に表示される画像は,被写体の登場回数が多いほど上方向に表示され,かつ撮影時刻が早いほど左側側に表示されるように,登場回数順,撮影順に表示してもよい。
図24は,画像表示ウインドウ80の他の一例である。図24において図8等に示す構成と同一の構成については同一符号を付して説明を省略する。
イベント管理領域82には,「卒業式」というイベントの下層に「卒園証書授与」のサブイベントと「園長先生の言葉」のサブイベントとが生成されている。「卒園式」というイベントとして管理されている画像が,「卒園証書授与」,「園長先生の言葉」などのサブイベントとして管理される。また,イベント追加ボタン83の右側に「サブイベント追加」の文字列が形成されているサブイベント追加ボタン85が形成されている。
たとえば,「卒園式」という文字列がクリックされた後に,サブイベント追加ボタン85がクリックされると画像表示ウインドウ80上にサブイベント入力ウインドウが現れ,そのサブイベント入力ウインドウを用いてユーザが新たなサブイベントを入力する。その時に「卒園証書授与」という文字列をユーザがキーボード8を用いて入力すると,「卒園式」という文字列の下に「卒園証書授与」という文字列が表示されることとなる。同様にして,「卒園式」という文字列の下に「園長先生の言葉」という文字列が表示される。
「卒園証書授与」という文字列がクリックされた状態で,画像表示領域90に,「卒園式」のイベントとして管理されている画像がドラッグ・アンド・ドロップされることにより,「卒園証書授与」というイベントによってドラッグ・アンド・ドロップされた画像が管理されることとなる。イベント管理領域82に表示されているサブイベントを示す文字列がクリックされた後にイベント削除ボタン84がクリックされると,クリックされている文字列によって特定されるサブイベントおよびそのサブイベントによって管理される画像が削除される。
図24に示す画像表示ウインドウ80においては公開設定タブ102がクリックされており,画像表示領域90には「卒園式」という名称のイベントにより管理されている多数の画像165が表示されている。
画像表示領域90の右上には,表示切替プルダウン160が形成されている。表示切替プルダウン160は,画像表示領域90に表示される画像を,その撮影時間などに区切って表示するときに利用される。プルダウン・ボタン161がクリックされることにより,「1時間区切り」,「2時間区切り」などの複数の時間,日にち表示切替メニューが現われ,その中から表示の区切りがユーザによって選択される。表示切替プルダウン160によって指定された表示区切りにしたがって,画像表示領域90に画像が表示される。
表示切替プルダウン160によって1時間区切りが選択されたものとする。すると,画像表示領域90は,1時間ごとに領域が区切られる。図24においては,第1の画像表示領域90Aと第2の画像表示領域90Bが現われている。第1の画像表示領域90Aと第2の画像表示領域90Bとは破線によって区切られているが,他の方法により区切られていてもよい。これらの画像表示領域90Aおよび90B以外の領域もスライド・バー98を動かすことにより,画像表示領域90に現れる。
第1の画像表示領域90Aの左上には,第1の画像表示領域90Aに表示される表示時間163が表示されている。図24においては,表示時間163として「11:00」の文字が表示されている。表示区切りは1時間区切りであるから,第1の画像表示領域90Aには,イベント管理領域82に表示されているイベント等により管理されている画像のうち,11時台に撮影された画像が表示される。
表示時間163の左側にはチェック・ボックス162が形成されており,第1の画像表示領域90Aに表示されている画像165の右上にもチェック・ボックス164が形成されている。いずれのチェック・ボックス162および164も画像の公開を指定する。表示時間163の左側に形成されているチェック・ボックス162がチェックされると,その表示時間163によって特定される画像165(第1の画像表示領域90Aに表示されているすべての画像165)の右上に形成されているチェック・ボックス164がチェックされ,それらの画像165の公開が指定される。画像165の右上に形成されているチェック・ボックス164がチェックされると,そのチェックされた画像の公開が指定される。画像165の右上に形成されているチェック・ボックス164のチェックが外されると,その画像は非公開となる。チェック・ボックス164がチェックされると,その画像165の周りは太枠166によって囲まれる。チェック・ボックス164がチェックされた画像とチェックされていない画像とが分かりやすくなるためであり,枠の色を変えてもよい。
第2の画像表示領域90Bの表示時間163には「12:00」の文字列が表示されており,第2の画像表示領域90Bには12時台に撮影された画像165が表示される。表示時間163の左側にチェック・ボックス162が形成され,画像165の右上にもチェック・ボックス164が形成されている。これらのチェック・ボックス162または164をチェックすることにより,チェックされた画像が公開されるのは,第1の画像表示領域90Aに表示されている画像について説明したのと同様である。
図25は,画像表示ウインドウ80の他の一例である。図25においても図8などと同一の構成については同一符号を付して説明を省略する。
図25に示す画像表示ウインドウ80の画像表示領域90に表示されている画像にも右上にチェック・ボックス195が形成されており,これらのチェック・ボックス195をチェックすることにより対応する画像が公開に設定される。チェック・ボックス195がチェックされている画像は太枠196により囲まれている。チェック・ボックス195がチェックされなければ非公開である。
画像表示領域90の左側の上には,最低公開枚数設定領域180が形成されている。最低公開枚数設定領域180は,公開される画像の最低枚数を設定するものである。最低公開枚数設定領域180の右側には上矢印ボタン181および下矢印ボタン182が形成されている。上矢印ボタン181がクリックされるごとに最低公開枚数設定領域180に表示される数字が1つずつ増え,下矢印ボタン182がクリックされるごとに最低公開枚数設定領域180に表示される数字が1つずつ減る。
画像表示領域90の左側には,公開枚数表示領域190が形成されている。公開枚数表示領域190は,公開される画像の枚数を公開される画像に含まれる人物の氏名に対応して表示するものである。
公開枚数表示領域190には,画像に含まれる被写体の名前(たとえば,佐藤太郎),公開枚数(たとえば,6)および被写体の代表的な顔画像194が表示されている。また,公開枚数表示領域190には,最低公開枚数設定領域180において設定された最低公開枚数の目安となるマーク191およびライン193も表示されている。さらに,被写体の名前ごとに公開枚数が棒グラフ(ハッチングで示す)192によって示されている。公開枚数が少ないほど棒グラフ192の長さが短く,公開枚数が多いほど棒グラフ192の長さが長い。棒グラフ192が右に伸びるほど公開枚数が多いことを示す。棒グラフ192の右端がライン193を超えていなければ,その棒グラフ192よって示される被写体の公開枚数は最低公開枚数に達していず,棒グラフ192の右端がライン193と合致すると,その棒グラフ192によって示される被写体の公開枚数は最低公開枚数と一致し,棒グラフ192の右端がライン193を超えると,その棒グラフ192によって示される被写体の公開枚数は最低公開枚数を超えていることとなる。棒グラフ192の右端がライン193を超えているかどうかを確認することにより,最低公開枚数以上の画像を公開するように設定したかどうかを被写体ごとに確認できる。
さらに,最低公開枚数に足りていない画像に対応する被写体の名前にはユーザに注意を喚起するためにマーク197が表示される。マーク197を見ることにより,最低公開枚数に達するように公開する画像を選択するようになる。最低公開枚数に足りていない画像に対応する被写体の名前の色と最低公開枚数に足りている画像に対応する被写体の名前の色とを変えるようにしてもよい。さらに,公開枚数表示領域190に表示される氏名に対応して禁止マーク170も表示されている。非公開の被写体が含まれる画像を誤って公開対象に設定してしまうことが未然に防止できる。
図26は,チェック・ボックス195がチェック等されることにより公開対象に設定された画像の一例である。
公開対象に設定された画像の中に,非公開の被写体198が含まれていたものとする。そのような場合には,非公開の被写体198を画像からトリミングする。公開される画像からは非公開の被写体198が除かれることとなる。
図27は,画像表示ウインドウ80の他の一例である。
画像表示領域90には,画像200が表示されている。この画像200には,被写体201,202および203の3人が含まれている。画像200に,被写体201,202および203が含まれていれば,それぞれの被写体201,202および203の顔画像が認識され,被写体201,202および203に対応して顔画像が検出されるはずである。しかしながら,被写体の人数分に対応する顔画像が検出されないことがある。たとえば,被写体201の顔画像が検出されて顔枠F1が表示され,被写体203の顔画像が検出されて顔枠F3が表示されたが,被写体202の顔画像が表示されない場合がある。
画像200の上には被写体検出人数210が表示されている。画像200から検出された被写体の人数として2人が表示されている。画像の下には画像200から検出された人数が合っているかの確認メッセージ211が表示されている。ユーザは,確認メッセージを見ることにより,検出されていない顔が画像200に含まれていることが分かる。たとえば,検出されていない顔の被写体202の名前に対応する名前を,たとえば,公開/非公開情報表示領域120に表示されている名前の中から選択し,対応する顔をクリックすることにより,選択された名前(氏名)と画像200とが関連づけられる。
上述の処理を実行する処理部には,ソフトウエアを実行して各種の処理部として機能するCPU2のほかに,FPGA(field-programmable gate array)などのように製造後に回路構成を変更可能なプログラマブル・ロジック・ディバイス,ASIC(application specific integrated circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は,これらの各種のプロセッサのうちの1つで構成されてもよいし,同種または異種の2つ以上のプロセッサの組合せ(たとえば,複数のFPGA,CPUとFPGAの組合せ)で構成されてもよい。複数の処理部を1つのプロセッサで構成する例としては,第1に,クライアント・コンピュータやサーバなどのコンピュータに代表されるように,1つ以上のCPUとソフトウエアの組合せで1つのプロセッサを構成し,このプロセッサが複数の処理部として機能する形態がある。第2に,システム・オン・チップなどに代表されるように,複数の処理部を含むシステム全体の機能を1つのIC(integrated circuit)チップで実現するプロセッサを使用する形態がある。このように,各種の処理部は,ハードウエア的な構造として各種のプロセッサを1つ以上用いて構成される。
さらに,これらの各種のプロセッサのハードウエア的な構造は,より具体的には,半導体素子などの回路素子を組合せた電気回路である。
画像候補決定装置はパーソナル・コンピュータによって構成されてもよいし,スマートフォン,タブレット装置のようないわゆるスマート・デバイスによって構成されてもよいし,フィーチャーフォンのような携帯電話によって構成されてもよい。
1:画像候補決定装置,2:CPU,3:表示装置,4:通信装置,5:ハードディスク,6:ハードディスク・ドライブ,7:メモリ,8:キーボード,9:マウス,10:コンパクト・ディスク・ドライブ,11:コンパクト・ディスク,12:メモリ・カード・リーダ・ライタ,13:メモリ・カード,80:画像表示ウインドウ,81:文字列,82:イベント管理領域,83:イベント追加ボタン,84:イベント削除ボタン,90:画像表示領域,91:画像管理タブ,92:左矢印ボタン,93:右矢印ボタン,94:画像特定番号,95:文字列,96:文字列,97:上矢印ボタン,98:スライド・バー,99:下矢印ボタン,101:顔分類タブ,102:公開設定タブ,110:被写体リスト領域,111:顔分類ボタン,112:文字列,113:文字列,114:文字列,120:公開/非公開情報表示領域,121-126:チェック・ボックス,129:チェック・ボックス,130:枚数入力ボタン,140:抽出枚数入力ウインドウ,141:最低枚数入力領域,142:最高枚数入力領域,143:決定ボタン,150:撮影指示ウインドウ,151:確認ボタン,160:表示切替プルダウン,161:プルダウン・ボタン,162:チェック・ボックス,163:表示時間,164:チェック・ボックス,165:画像,166:太枠,170:禁止マーク,171:カーソル,172:太枠,173:ハッチング,174:氏名表示領域,175:顔画像,176:氏名表示領域,180:最低公開枚数設定領域,181:上矢印ボタン,182:下矢印ボタン,190:公開枚数表示領域,191:マーク,192:棒グラフ,193:ライン,194:顔画像,195:チェック・ボックス,196:太枠,197:マーク,198:被写体,200 :画像,201-203 :被写体,210:被写体検出人数,211:確認メッセージ,F:顔枠,F1-F6:顔枠,G1-G3:顔画像グループ

Claims (10)

  1. 複数の画像を受け付けて,同一人物が含まれている1以上の画像をグループ化する画像グルーピング手段,
    総合画像評価値にもとづいて,上記画像グルーピング手段によってグループ化された画像の中から抽出画像候補または非抽出画像候補を決定する画像候補決定手段,
    上記画像候補決定手段によって決定した抽出画像候補または非抽出画像候補を表示画面に表示させる画像候補表示制御手段,
    上記画像候補表示制御手段の制御により表示された抽出画像候補の中から抽出画像または非抽出画像を決定する,あるいは上記画像候補表示制御手段の制御により表示された非抽出画像候補の中から非抽出画像または抽出画像を決定する画像決定手段,および
    上記画像決定手段によって決定された抽出画像および非抽出画像のそれぞれの枚数を,画像に含まれる人物ごとに報知する報知手段,
    を備えた画像候補決定装置。
  2. 画像に含まれる人物ごとにあらかじめ抽出画像または非抽出画像と規定されている複数の画像を受け付けて,同一人物が含まれている1以上の画像をグループ化する画像グルーピング手段,
    総合画像評価値にもとづいて,上記画像グルーピング手段によってグループ化された画像の中から抽出画像候補または非抽出画像候補を決定する画像候補決定手段,
    上記画像候補決定手段によって決定した抽出画像候補または非抽出画像候補を表示画面に表示させる画像候補表示制御手段,
    上記画像候補表示制御手段の制御により表示された抽出画像候補の中から抽出画像または非抽出画像を決定する,あるいは上記画像候補表示制御手段の制御により表示された非抽出画像候補の中から非抽出画像または抽出画像を決定する画像決定手段,および
    上記画像決定手段によって抽出画像または非抽出画像と決定されたことに応じて,抽出画像および非抽出画像のそれぞれの枚数を,画像に含まれる人物ごとに更新して報知する報知手段,
    を備えた画像候補決定装置。
  3. 複数の画像を受け付けて,同一人物が含まれている1以上の画像をグループ化する画像グルーピング手段,
    総合画像評価値にもとづいて,上記画像グルーピング手段によってグループ化された画像の中から抽出画像候補または非抽出画像候補を決定する画像候補決定手段を備え,
    上記画像グルーピング手段は,
    大人については非同一人物を同一人物とみなして画像ごとにグループ化する,
    画像候補決定装置。
  4. 画像グルーピング手段が,複数の画像を受け付けて,同一人物が含まれている1以上の画像をグループ化し,
    画像候補決定手段が,総合画像評価値にもとづいて,上記画像グルーピング手段によってグループ化された画像の中から抽出画像候補または非抽出画像候補を決定し,
    画像候補表示制御手段が,上記画像候補決定手段によって決定した抽出画像候補または非抽出画像候補を表示画面に表示させ,
    画像決定手段が,上記画像候補表示制御手段の制御により表示された抽出画像候補の中から抽出画像または非抽出画像を決定し,あるいは上記画像候補表示制御手段の制御により表示された非抽出画像候補の中から非抽出画像または抽出画像を決定し,
    報知手段が,上記画像決定手段によって決定された抽出画像および非抽出画像のそれぞれの枚数を,画像に含まれる人物ごとに報知する,
    画像候補決定方法。
  5. 画像グルーピング手段が,画像に含まれる人物ごとにあらかじめ抽出画像または非抽出画像と規定されている複数の画像を受け付けて,同一人物が含まれている1以上の画像をグループ化し,
    画像候補決定手段が,総合画像評価値にもとづいて,上記画像グルーピング手段によってグループ化された画像の中から抽出画像候補または非抽出画像候補を決定し,
    画像候補表示制御手段が,上記画像候補決定手段によって決定した抽出画像候補または非抽出画像候補を表示画面に表示させ,
    画像決定手段が,上記画像候補表示制御手段の制御により表示された抽出画像候補の中から抽出画像または非抽出画像を決定し,あるいは上記画像候補表示制御手段の制御により表示された非抽出画像候補の中から非抽出画像または抽出画像を決定し,
    報知手段が,上記画像決定手段によって抽出画像または非抽出画像と決定されたことに応じて,抽出画像および非抽出画像のそれぞれの枚数を,画像に含まれる人物ごとに更新して報知する,
    画像候補決定方法。
  6. 画像グルーピング手段が,複数の画像を受け付けて,同一人物が含まれている1以上の画像をグループ化し,
    画像候補決定手段が,総合画像評価値にもとづいて,上記画像グルーピング手段によってグループ化された画像の中から抽出画像候補または非抽出画像候補を決定する画像候補決定方法であって,
    上記画像グルーピング手段は,
    大人については非同一人物を同一人物とみなして画像ごとにグループ化する,
    画像候補決定方法。
  7. 画像候補決定装置のコンピュータを制御し,かつ上記コンピュータが読み取り可能なプログラムであって,
    複数の画像を受け付けて,同一人物が含まれている1以上の画像をグループ化させ,
    総合画像評価値にもとづいて,グループ化された画像の中から抽出画像候補または非抽出画像候補を決定させ,
    決定した抽出画像候補または非抽出画像候補を表示画面に表示させ,
    表示された抽出画像候補の中から抽出画像または非抽出画像を決定させ,あるいは表示された非抽出画像候補の中から非抽出画像または抽出画像を決定させ,
    決定された抽出画像および非抽出画像のそれぞれの枚数を,画像に含まれる人物ごとに報知させるように画像候補決定装置のコンピュータを制御するプログラム。
  8. 画像候補決定装置のコンピュータを制御し,かつ上記コンピュータが読み取り可能なプログラムであって,
    画像に含まれる人物ごとにあらかじめ抽出画像または非抽出画像と規定されている複数の画像を受け付けて,同一人物が含まれている1以上の画像をグループ化させ,
    総合画像評価値にもとづいて,グループ化された画像の中から抽出画像候補または非抽出画像候補を決定させ,
    決定した抽出画像候補または非抽出画像候補を表示画面に表示させ,
    表示された抽出画像候補の中から抽出画像または非抽出画像を決定させ,あるいは表示された非抽出画像候補の中から非抽出画像または抽出画像を決定させ,
    抽出画像または非抽出画像と決定されたことに応じて,抽出画像および非抽出画像のそれぞれの枚数を,画像に含まれる人物ごとに更新して報知させるように画像候補決定装置のコンピュータを制御するプログラム。
  9. 画像候補決定装置のコンピュータを制御し,かつ上記コンピュータが読み取り可能なプログラムであって,
    複数の画像を受け付けて,同一人物が含まれている1以上の画像をグループ化させ,
    総合画像評価値にもとづいて,グループ化された画像の中から抽出画像候補または非抽出画像候補を決定させ,
    大人については非同一人物を同一人物とみなして画像ごとにグループ化させるように画像候補決定装置のコンピュータを制御するプログラム。
  10. 請求項からのうち,いずれか一項に記載のプログラムを格納した記録媒体。
JP2022171263A 2017-10-02 2022-10-26 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体 Active JP7463473B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2017192890 2017-10-02
JP2017192890 2017-10-02
JP2018073377 2018-04-05
JP2018073377 2018-04-05
JP2019546580A JP6956196B2 (ja) 2017-10-02 2018-09-03 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
JP2021163450A JP7167283B2 (ja) 2017-10-02 2021-10-04 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021163450A Division JP7167283B2 (ja) 2017-10-02 2021-10-04 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体

Publications (2)

Publication Number Publication Date
JP2023001178A JP2023001178A (ja) 2023-01-04
JP7463473B2 true JP7463473B2 (ja) 2024-04-08

Family

ID=65994228

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019546580A Active JP6956196B2 (ja) 2017-10-02 2018-09-03 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
JP2021163450A Active JP7167283B2 (ja) 2017-10-02 2021-10-04 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
JP2022171263A Active JP7463473B2 (ja) 2017-10-02 2022-10-26 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2019546580A Active JP6956196B2 (ja) 2017-10-02 2018-09-03 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
JP2021163450A Active JP7167283B2 (ja) 2017-10-02 2021-10-04 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体

Country Status (5)

Country Link
US (1) US11062122B2 (ja)
EP (1) EP3693920A4 (ja)
JP (3) JP6956196B2 (ja)
CN (1) CN111164642A (ja)
WO (1) WO2019069606A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019069606A1 (ja) * 2017-10-02 2019-04-11 富士フイルム株式会社 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
JP7111632B2 (ja) * 2019-01-18 2022-08-02 富士フイルム株式会社 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
US11792188B2 (en) * 2020-08-05 2023-10-17 Bank Of America Corporation Application for confirming multi-person authentication
CN112714258A (zh) * 2020-12-30 2021-04-27 广州极飞科技有限公司 待拍摄对象的状态调整方法、装置及拍摄设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012023501A (ja) 2010-07-13 2012-02-02 Canon Inc 撮像装置、撮影補助システム、撮影補助方法、画像データ解析方法およびプログラム
JP2014109864A (ja) 2012-11-30 2014-06-12 Canon Marketing Japan Inc 情報処理装置、情報処理システム、その制御方法、及びプログラム
JP2017067945A (ja) 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS52148920A (en) 1976-06-04 1977-12-10 Asahi Chemical Ind Composite plate that ensure excellent workability
JP2010057073A (ja) 2008-08-29 2010-03-11 Noritsu Koki Co Ltd アルバム作成装置及びアルバム作成プログラム
JP2010146201A (ja) * 2008-12-17 2010-07-01 Noritsu Koki Co Ltd 画像処理装置、画像形成装置、画像処理方法及び画像処理プログラム
JP5616819B2 (ja) 2010-03-10 2014-10-29 富士フイルム株式会社 撮影アシスト方法、そのプログラム、その記録媒体、撮影装置および撮影システム
JP5744431B2 (ja) * 2010-07-16 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
JP2013191035A (ja) 2012-03-14 2013-09-26 Fujifilm Corp 画像公開装置、画像公開方法、画像公開システム、および、プログラム
EP2919198B1 (en) * 2012-11-09 2018-11-14 Sony Corporation Image processing device, image processing method, and program
JP2014102715A (ja) 2012-11-21 2014-06-05 Dainippon Printing Co Ltd スクールフォト管理サーバ、スクールフォト管理システム、スクールフォト管理方法、プログラム、及び記録媒体
JP6606374B2 (ja) * 2015-08-07 2019-11-13 キヤノン株式会社 画像処理装置および方法およびプログラム
JP6723909B2 (ja) * 2016-12-09 2020-07-15 キヤノン株式会社 画像処理方法、画像処理装置、及びプログラム
WO2019069606A1 (ja) * 2017-10-02 2019-04-11 富士フイルム株式会社 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
US10748038B1 (en) * 2019-03-31 2020-08-18 Cortica Ltd. Efficient calculation of a robust signature of a media unit
JP7111632B2 (ja) * 2019-01-18 2022-08-02 富士フイルム株式会社 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012023501A (ja) 2010-07-13 2012-02-02 Canon Inc 撮像装置、撮影補助システム、撮影補助方法、画像データ解析方法およびプログラム
JP2014109864A (ja) 2012-11-30 2014-06-12 Canon Marketing Japan Inc 情報処理装置、情報処理システム、その制御方法、及びプログラム
JP2017067945A (ja) 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体

Also Published As

Publication number Publication date
EP3693920A4 (en) 2020-12-02
CN111164642A (zh) 2020-05-15
US11062122B2 (en) 2021-07-13
JP6956196B2 (ja) 2021-11-02
JPWO2019069606A1 (ja) 2020-10-15
EP3693920A1 (en) 2020-08-12
JP2022008833A (ja) 2022-01-14
US20200257887A1 (en) 2020-08-13
WO2019069606A1 (ja) 2019-04-11
JP7167283B2 (ja) 2022-11-08
JP2023001178A (ja) 2023-01-04

Similar Documents

Publication Publication Date Title
JP7111632B2 (ja) 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
JP7463473B2 (ja) 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
JP6009481B2 (ja) 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体
WO2015107640A1 (ja) アルバム作成プログラム、アルバム作成方法およびアルバム作成装置
US20200279422A1 (en) Apparatus, method and medium
US20170039748A1 (en) Image processing apparatus and image processing method
JPWO2010041377A1 (ja) 代表画像表示装置及び代表画像選択方法
US20200279423A1 (en) Apparatus, method and medium
JP5859471B2 (ja) 電子アルバム作成装置および電子アルバムの製造方法
US9405494B2 (en) Apparatus and method for outputting layout data according to timing information, and storage medium
JP6149015B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP7336211B2 (ja) 画像処理装置、制御方法、及びプログラム
JP6318102B2 (ja) 画像表示制御装置,画像表示制御方法,および画像表示制御プログラムならびにそのプログラムを格納した記録媒体
JP7336209B2 (ja) 画像処理装置、制御方法、及びプログラム
US20170039453A1 (en) Image processing apparatus, method of controlling the same, and non-transitory computer-readable medium
JP6197063B2 (ja) 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体
JP2017037417A (ja) 画像処理装置および方法およびプログラム
JP6700806B2 (ja) プログラム、情報処理装置および制御方法
JP2020046825A (ja) 画像表示制御装置、画像表示制御方法、プログラムおよび記録媒体
JP7188478B2 (ja) 検索装置、検索方法、およびプログラム
JP7336210B2 (ja) 画像処理装置、制御方法、及びプログラム
JP7336212B2 (ja) 画像処理装置、制御方法、及びプログラム
JP2024061688A (ja) 情報処理装置、方法、プログラム、およびシステム
JP2019160004A (ja) 画像判別装置,画像判別方法ならびに画像判別装置のプログラムおよびそのプログラムを格納した記録媒体
JP2016143337A (ja) 画像分類装置,画像分類方法,ならびに画像分類装置のコンピュータを制御するプログラムおよびそのプログラムを格納した記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221114

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240327

R150 Certificate of patent or registration of utility model

Ref document number: 7463473

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150