JP6587995B2 - 画像表示制御システム,画像表示制御方法および画像表示制御プログラム - Google Patents

画像表示制御システム,画像表示制御方法および画像表示制御プログラム Download PDF

Info

Publication number
JP6587995B2
JP6587995B2 JP2016181641A JP2016181641A JP6587995B2 JP 6587995 B2 JP6587995 B2 JP 6587995B2 JP 2016181641 A JP2016181641 A JP 2016181641A JP 2016181641 A JP2016181641 A JP 2016181641A JP 6587995 B2 JP6587995 B2 JP 6587995B2
Authority
JP
Japan
Prior art keywords
subject
image
evaluation value
type
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016181641A
Other languages
English (en)
Other versions
JP2018046497A (ja
Inventor
徹也 松本
徹也 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2016181641A priority Critical patent/JP6587995B2/ja
Priority to US15/676,262 priority patent/US10402683B2/en
Publication of JP2018046497A publication Critical patent/JP2018046497A/ja
Application granted granted Critical
Publication of JP6587995B2 publication Critical patent/JP6587995B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38Outdoor scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

この発明は,画像表示制御システム,画像表示制御方法および画像表示制御プログラムに関する。
多数の画像からユーザが画像を選択して,ユーザによって選択された画像を用いてアルバムを作成することが実現されている。多数の画像の中から所望の画像をユーザが選択するのは面倒であるため,画像評価アルゴリズムにしたがってコンピュータが画像を評価し,評価の高い画像を推奨画像としてユーザに提示し,その提示された推奨画像の中から所望の画像をユーザが選択することが行われている。画像評価は,画像の明度,彩度などの画像全体について行われたり(特許文献1,2),画像内の領域別について行われたりしている(特許文献3)。また,画像を一覧表示して各画像に総合点を付与するものもある(特許文献4)。
特開2002-279421号公報 特開2001-169311号公報 特開2012-22353号公報 特許第5449460号
しかしながら,特許文献1-4のように,画像全体または一部の領域の明度,彩度などにより,画像を一律に評価した場合には,その画像に含まれている特定の被写体についての評価は行われない。ユーザが特定の被写体に興味がある場合であっても,その興味のある被写体が高い評価となるような画像を探し出すことができない。
この発明は,画像に含まれる被写体について評価が高い画像をユーザに知らせることができるようにすることを目的とする。
この発明による画像表示制御システムは,画像に含まれる複数の被写体のうち,被写体の種類ごとに被写体を検出する被写体検出手段,被写体の種類ごとに異なる評価基準を用いて,被写体検出手段によって検出された被写体の評価値を算出する評価値算出手段,および評価値算出手段によって算出された評価値がしきい値以上の被写体が存在する場合に,強調して画像を表示させる画像表示制御手段を備えていることを特徴とする。強調して画像を表示させるとは,しきい値以上の評価値の被写体が存在する画像を,しきい値以上評価値の被写体が存在しない画像に比べて強調して表示することをいう。たとえば,画像を明るくする,逆に暗くする,画像の回りを特定の枠が囲む,画像の枠を特定の色とする,画像内または画像の近くにマークを付与する,マークの数を増加または減少させる,マークの色を変える,画像を白黒にするまたはカラーにするなど,算出された評価値が,しきい値以上の被写体が存在する画像を,算出された評価値が,しきい値以上の被写体が存在しない画像に比べて強調させて表示させればよい(区別できればよい)。
この発明は,画像表示制御システムに適した画像表示制御方法も提供している。すなわち,被写体検出手段が,画像に含まれる複数の被写体のうち,被写体の種類ごとに被写体を検出し,評価値算出手段が,被写体の種類ごとに異なる評価基準を用いて,被写体検出手段によって検出された被写体の評価値を算出し,画像表示制御手段が,評価値算出手段によって算出された評価値がしきい値以上の被写体が存在する場合に,強調して画像を表示させる。
この発明は,画像表示制御方法を実現するための画像表示システムのコンピュータを制御するコンピュータが読み取り可能なプログラムおよびそのプログラムを格納した記録媒体も提供している。
画像表示制御手段は,たとえば,評価値算出手段によって算出された評価値がしきい値以上の被写体が存在する場合に,被写体の種類ごとに異なる表示態様によって画像を表示させる。
画像は複数の画像に含まれており,複数の画像のテーマを決定するテーマ決定手段をさらに備えてもよい。この場合,評価値算出手段は,たとえば,テーマ決定手段によって決定したテーマに関連付けられた種類の被写体については,テーマ決定手段によって決定したテーマに関連付けられた種類以外の被写体よりも高い評価値となる評価基準を用いて,被写体検出手段によって検出された被写体の評価値を算出する。
被写体の種類としては,人物および非人物を含む。
評価値算出手段は,たとえば,人物の被写体と非人物の被写体とで異なる評価基準を用いて,被写体検出手段によって検出された被写体の評価値を算出する。
評価値算出手段は,画像に人物の被写体が含まれている場合には人物の被写体の評価値基準を用いて人物の被写体の評価値を算出し,画像に人物の被写体が含まれていない場合には非人物の被写体の評価基準を用いて非人物の被写体の評価値を算出するものでもよい。
画像表示制御手段は,たとえば,記評価値算出手段によって算出された評価値がしきい値以上の人物の被写体と評価値算出手段によって算出された評価値がしきい値以上の非人物の被写体とで異なる表示態様によって画像を表示する。
評価値算出手段は,非人物の被写体を,被写体の種類ごとに分類した場合に,分類された被写体ごとに異なる評価基準を用いて,被写体検出手段によって検出された被写体の評価値を算出してもよい。
非人物の被写体を,被写体の種類ごとに分類する場合に,被写体の分類方法を設定する分類方法設定手段をさらに備えてもよい。
画像表示制御手段は,分類された非人物の被写体の種類ごとに異なる表示態様によって画像を表示させてもよい。
評価基準を変更する評価基準変更手段をさらに備えてもよい。
被写体の種類を指定する種類指定手段をさらに備えてもよい。この場合,画像表示制御手段は,たとえば,種類指定手段によって指定された種類の被写体を含む画像については,強調を停止して画像を表示させる。
画像は複数の画像に含まれている場合には,被写体検出手段は,複数の画像に含まれる画像について被写体の種類ごとに被写体を検出し,被写体検出手段によって検出された被写体の種類ごとに出現頻度を算出する出現頻度算出手段をさらに備えてもよい。この場合,評価値算出手段は,出現頻度算出手段によって算出された出現頻度のしきい値より高い場合に,出現頻度がしきい値よりも低い場合に比べて評価値を上げて被写体の評価値を算出することが好ましい。
テーマ決定手段は,たとえば,複数の画像にもとづいて,生成されるアルバムのテーマを決定するようにしてもよい。
複数の画像の中から人物の被写体が含まれている画像を指定する指定手段,および指定手段によって指定された画像に含まれている人物に関連する非人物の被写体を含む画像を複数の画像の中から抽出する抽出手段をさらに備えてもよい。この場合,評価値算出手段は,たとえば,被写体の種類ごとに異なる評価基準を用いて,抽出手段によって抽出された画像に含まれる非人物の被写体の評価値を算出する。
抽出手段によって抽出された画像の中から,画像を選択する選択手段をさらに備えてもよい。この場合,画像表示制御手段は,たとえば,指定手段によって指定された画像と,選択手段によって選択された画像とを同一領域に表示させる。
この発明によると,画像に含まれる複数の被写体のうち,被写体の種類ごとに被写体が検出される。被写体の種類ごとに異なる評価基準を用いて被写体の評価値が算出され,算出された被写体の評価値がしきい値以上の被写体が存在する場合には,強調して画像が表示される。画像全体についての評価値を算出するのではなく,画像に含まれる被写体についての評価値が算出されるので,被写体について評価が高い画像がユーザに分かる。また,算出された評価値がしきい値以上の被写体が存在する場合に強調して画像が表示されるので,その強調表示により評価値の高い被写体が含まれていることが分かる。
画像表示制御システムのブロック図である。 画像表示制御システムの処理手順を示すフローチャートである。 画像の一例である。 画像表示制御システムの処理手順を示すフローチャートである。 画像表示制御システムの処理手順を示すフローチャートである。 テーマ・テーブルの一例である。 画像一覧表示ウインドウの一例である。 画像表示制御システムの処理手順を示すフローチャートである。 画像の一例である。 画像表示制御システムの処理手順の一部を示すフローチャートである。 画像表示制御システムの処理手順を示すフローチャートである。 画像表示制御システムの処理手順を示すフローチャートである。 画像表示制御システムの処理手順を示すフローチャートである。 出現頻度テーブルの一例である。 画像表示制御システムの処理手順を示すフローチャートである。 画像表示制御システムの処理手順を示すフローチャートである。 画像選択ウインドウの一例である。 関連画像一覧表示ウインドウの一例である。
図1は,この発明の実施例を示すもので,画像表示制御システム1の電気的構成を示すブロック図である。
画像表示制御システム1の全体の動作は,CPU(Central Processing Unit)2によって統括される。
画像表示制御システム1には,画像表示制御システム1にコマンド等を与えるための入力装置としてキーボード3およびマウス4が含まれている。これらのキーボード3およびマウス4からのコマンド等は,入力制御装置5を介してCPU2に与えられる。また,画像表示制御システム1には,データ等を一時的に記憶するメモリ8,ハードディスク7およびハードディスク7にアクセスするためのハードディスク・ドライブ6ならびに表示装置10および表示装置10を制御するための表示制御装置9が含まれている。
画像表示制御システム1には,さらに,メモリ・カード12にアクセスするためのメモリ・カード・リーダ・ライタ11,CD-ROM(Compact Disc Read Only Memory)14にアクセスするためのCD-ROMドライブ13およびインターネットなどのネットワークと接続するための通信装置15が含まれている。
後述する動作を制御するプログラムが格納されているCD-ROM14(記録媒体)がCD-ROMドライブ13によって読み取られ,その読み取られたプログラムが画像表示制御システム1にインストールされる。そのようなプログラムは,CD-ROM14以外のメモリ・カード12のような可搬型記録媒体に格納されていてもよいし,画像表示制御システム1にあらかじめインストールされていてもよい。また,インターネットなどのネットワークを介して通信装置15によってプログラムが受信され,受信されたプログラムが画像表示制御システム1にインストールされるようにしてもよい。
図1に示す画像表示制御システム1には,表示装置10が含まれているが,必ずしも画像表示制御システム1に表示装置10が含まれていなくともよい。画像表示制御システム1に接続可能な表示装置を画像表示制御システム1に接続し,そのような表示装置を画像表示制御システム1によって制御してもよい。
図2は,画像表示制御システム1の処理手順を示すフローチャートである。
図2に示す処理手順は,画像に含まれる被写体のうち,被写体の種類ごとに異なる評価基準を用いて,被写体の評価値を算出し,算出された評価値がしきい値以上の被写体が存在する画像については,しきい値以上の被写体が存在しない画像よりも強調して表示するものである。
画像ファイルが格納されているメモリ・カード12が画像表示制御システム1に装填され,そのメモリ・カード12から画像ファイルがメモリ・カード・リーダ・ライタ11によって読み取られる。読み取られた画像ファイルによって表される画像に含まれる(複数の)被写体が,被写体の種類ごとに,CPU2(被写体検出手段)によって検出される(ステップ21)。
図3は,メモリ・カード12から読み取られた画像ファイルによって表される画像30の一例である。
画像30には,花31,飲み物33ならびに料理32,34および35が含まれている。CPU2による画像30に含まれる被写体の検出処理により,これらの花31,飲み物33ならびに料理32,34および35が検出される。検出された花31,飲み物33ならびに料理32,34および35には,それぞれ枠が表示されているか,枠は表示されなくともよい。被写体の検出処理は,パターン・マッチングを利用できるのはいうまでもない。また,検出する被写体の種類についての概念は,ユーザによってどのように決めてもよい。たとえば,料理32として検出された被写体がサラダであったとしたら,料理32よりも下位概念のサラダとしてもよいし,料理34として検出された被写体がスープであったとしたら,料理34よりも下位概念のスープとしてもよいし,料理35として検出された被写体がステーキであったとしたら,料理35よりも下位概念のステーキとしてもよいし,肉としてもよい。同様に,花31として検出された被写体を特定の花の種類として被写体を検出してもよい。さらに,飲み物33として検出された被写体がワインであったとしたら,飲み物33よりも下位概念のワインとしてもよい。同様に,飲み物33を料理としてもよい。
図2に戻って,画像30から花31,飲み物33ならびに料理32,34および35の被写体が被写体の種類ごとに検出されると,被写体の種類ごとに異なる評価基準を用いて,被写体の評価値がCPU2(評価値算出手段)によって算出される(ステップ22)。これにより,花31は,花の評価基準を用いて評価値が算出され,飲み物33は,飲み物の評価基準を用いて評価値が算出され,料理32,34および35は,料理の評価基準を用いて評価値が算出される。評価観点は,被写体の種類ごとに異なるので,被写体の種類ごとに被写体に適した評価基準を用いて被写体を評価できるようになる。たとえば,被写体の種類が花であれば,合焦の程度よりも色の鮮やかさを優先して,色が鮮やかな花や,背景がぼけて花自体の焦点が合っているような花についての評価を高くする。被写体の種類が飲み物であれば,よりおいしく見えるように,グラスについている水滴が鮮やかに写っている飲み物,飲み物全体が写っているように斜め上からのアングルで撮影された飲み物などについての評価を高くする。被写体の種類が料理であれば,料理がよりおいしく見えるように,蛍光灯下での撮影であれば蛍光灯の影響を排除して,より自然光に近い色合いで撮影されている料理についての評価を高くする。このように,被写体の種類ごとに異なる評価基準があらかじめ定められており,その評価基準にしたがって被写体の種類ごとに評価値がCPU2によって算出される。
被写体の種類ごとに評価値が算出されると,算出された評価値が,しきい値以上の被写体が存在するかどうかがCPU2によって判断される(ステップ23)。被写体の種類ごとに評価基準が異なるためしきい値も被写体の種類ごとに異なるが,被写体の種類に関係なく同一のしきい値でもよい。
算出された評価値が,しきい値以上の被写体が存在する画像については(ステップ23でYES),表示制御装置9によって,その画像が強調して表示させられる(ステップ24)。
たとえば,画像30に含まれる花31,飲み物33ならびに料理32,34および35について算出されたそれぞれの評価値のうち,少なくとも一つの評価値がしきい値以上であれば画像30自体が強調して表示させられる。もっとも,画像30自体を強調せずに,評価値がしきい値以上であった被写体そのものを,評価値がしきい値未満であった被写体に比べて強調してもよい。
この実施例では,画像30に含まれる花31,飲み物33ならびに料理32,34および35のうち,花31および飲み物33についてのそれぞれの評価値がしきい値以上であったとする。花31の近くにエクスクラメーション・マーク36が付与され,飲み物33の近くに星のマーク37が付与されることにより,画像30が強調して表示されている。花31および飲み物33についてのそれぞれの評価値がしきい値以上であった場合でも,何等かのマーク(一つでも複数でもよいし,複数の場合には被写体の種類に応じて異なるマークでも,被写体の種類にかかわらず同じマークでもよい)が画像30内または近くに表示されるようにして,画像30が強調して表示されてもよい。また,マークを付与せずに,花31および飲み物33を,料理32,34および35に比較して強調して表示させてもよいし,画像30自体を強調して表示させてもよい。
さらに,図3に示す例では,花31についてはエクスクラメーション・マーク36が付与され,飲み物33については星のマーク37が付与されているが,このように,算出された評価値が,しきい値以上の被写体が存在する場合に,被写体の種類ごとに異なる表示態様によって画像30を表示させるようにしてもよい。また,評価値がしきい値以上の被写体である花31については,料理32,34および35のように他の被写体と比較して明るさを明るくし,評価値がしきい値以上の被写体である飲み物33については枠で囲むことにより,異なる表示態様により画像30を強調して表示してもよいし,花31と飲み物33のいずれも明るさを相対的に明るくして画像30を強調して表示してもよい。
算出された評価値が,しきい値以上の被写体が画像に存在しない場合には(ステップ23でNO),表示制御装置9によって画像の強調を停止して画像が表示させられる(ステップ25)。
上述の実施例では,1枚の画像30について説明したが,複数の画像であっても同様にして画像を強調して表示させることができる。いずれにしても,算出された評価値が,しきい値以上の被写体が存在する画像を,算出された評価値がしきい値以上の被写体が存在しない画像に比較して強調して表示させればよい。
図4から図7は,他の実施例を示すもので,複数の画像が扱われる場合の一例を示している。
図4および図5は,画像表示制御システム1の処理手順を示すフローチャートである。
この実施例では,ユーザがあるテーマに沿って撮影して複数の画像が得られたことを前提としているが,必ずしもそのような場合でなくともよい。たとえば,ユーザが旅行に行った場合に旅行先で撮影する場合,ユーザが結婚式に出席した場合に結婚式場で撮影する場合などにおける,旅行,結婚式などがテーマである。ユーザがそのテーマを意図して撮影してもよいし,意図しないで撮影してもよい。
ユーザによって,複数の画像が保存されている画像の保存場所が指定される(ステップ41)。たとえば,ユーザが旅行などに行き,その旅行先で撮影された複数の画像を表す画像ファイルがメモリ・カード12に保存されている場合には,メモリ・カード12が保存場所としてユーザによって指定される。画像の保存場所は,メモリ・カード12に限らず,他の記録媒体でもよいし,インターネットを介してアクセスできるサーバ上の記憶領域でもよい。たとえば,表示装置10の表示画面上に複数の保存場所を表示し,キーボード3またはマウス4を用いて保存場所を指定することとなろう。
つづいて,指定された保存場所に保存されている複数の画像のテーマが決定される(ステップ42)。テーマの決定は,CPU2(テーマ決定手段)により行われてもよいし,ユーザがキーボード3(テーマ決定手段)またはマウス4(テーマ決定手段)から入力してもよい。CPU2により複数の画像のテーマが決定される場合には,たとえば,複数の画像のそれぞれの画像が解析され,その解析された画像に含まれている被写体にもとづいて行われる。山,川,海,湖,神社,お寺など風景の一部と考えられる被写体を含む画像が多い場合には,旅行がテーマと決定され,ウエディング・ドレス,指輪,ブーケなどを被写体として含む画像が多い場合には,結婚式がテーマと決定される。
保存場所に保存されている複数の画像からアルバム(電子アルバムを含む)が生成される場合には,生成されるアルバムのテーマが複数の画像から決定されてもよい。アルバムのテーマにふさわしく,後述のように評価値の高い被写体が見つけられる。
テーマが決定されると,上述したのと同様に,複数の画像のそれぞれの画像に含まれる被写体が,被写体の種類ごとにCPU2によって検出される(ステップ43)。つづいて,決定したテーマに関連付けられた種類の被写体については,決定したテーマに関連付けられた種類以外の被写体よりも高い評価値となる評価基準を用いて,検出された被写体の評価値がCPU2によって算出される(ステップ44)。
図6は,メモリ8に記憶されているテーマ・テーブルの一例である。
テーマ・テーブルは,テーマに対応した被写体の種類をテーマごとに格納するものである。たとえば,旅行のテーマには,山,湖,神社,花,料理などが,そのテーマに沿った被写体の種類としてテーマ・テーブルに格納されている。結婚式のテーマには,ドレス,指輪,ブーケ,料理などが,そのテーマに沿った被写体の種類としてテーマ・テーブルに格納されており,入学式のテーマには,ランドセル,校門などが,そのテーマに沿った被写体の種類としてテーマ・テーブルに格納されている。
たとえば,複数の画像のテーマが旅行と決定されると,そのテーマに関連づけられて記憶されている山,湖などの種類の被写体については,そのテーマに関連付けられて記憶されていない種類の被写体に比べて高い評価値となるように,被写体の種類ごとに異なる評価基準を用いて被写体の評価値が算出される(ステップ44)。相対的に評価値が高くなればよいので,評価値が算出された後に,テーマに関連付けられた種類の被写体の評価値については,補正して評価値を高くするようにしてもよい。
つづいて,上述したのと同様に,算出された評価値がしきい値以上の被写体が画像に存在するかどうかがCPU2によって判断される(ステップ45)。算出された評価値がしきい値以上の被写体が画像に存在する場合には(ステップ45でYES),その画像が強調して表示され(ステップ46),算出された評価値がしきい値以上の評価値が画像に存在しない場合には(ステップ45でNO),画像の強調が停止させられて表示させられる(ステップ47)。
複数の画像のすべての画像についての処理が終了していなければ(ステップ48でNO),次の画像ファイルがメモリ・カード12から読み取られ,ステップ43以降の処理が繰り返される。複数の画像についての処理が終了すると(ステップ48でYES),図4および図5の処理が終了する。
図7は,図4および図5に示す処理にもとづいて表示される表示画面の一例である。
表示装置10の表示画面上には画像一覧表示ウインドウ50が表示されている。
画像一覧表示ウインドウ50には,ユーザによって指定された保存場所(この例では,メモリ・カード12)に格納されている複数の画像ファイルによって表される複数の画像のサムネイル画像51から5n,61から6n,71から7n(サムネイル画像でなくともよい)が表示されている。画像一覧表示ウインドウ50に,ユーザによって指定された保存場所に保存されている総ての画像ファイルによって表される画像のサムネイル画像が表示されてもよいし,一部のサムネイル画像が表示されてもよい。一部のサムネイル画像が表示される場合には,スクロールされることにより,表示されていないサムネイル画像も表示されることなる。
これらの複数の画像のサムネイル画像51から5n,61から6n,71から7nのうち,サムネイル画像52に含まれている花については評価値がしきい値以上であり,エクスクラメーション・マーク38がサムネイル画像52に付与されることによりサムネイル画像52が強調されている(このように,画像ファイルによって表される画像自体でなく,サムネイル画像が強調されてもよい)。同様に,サムネイル画像62に含まれている建物については評価値がしきい値以上であり,クローバー・マーク39がサムネイル画像62に付与されることによりサムネイル画像62が強調されている。サムネイル画像72は,図3に示した画像30のサムネイル画像72であり,花にエクスクラメーション・マーク36が付与され,かつ飲み物に星のマーク37が付与されることによりサムネイル画像72が強調されている。
図8および図9は,他の実施例を示すもので,被写体の種類として画像に人物が含まれている場合の一例である。
図8は,画像表示制御システム1の処理手順を示すフローチャートである
上述したように,CPU2によって,画像に含まれる被写体が被写体の種類ごとに検出される(ステップ81)。
すると,画像に人物の被写体が含まれているかどうかがCPU2によって判断される(ステップ82)。
人物の被写体が含まれている場合には(ステップ82でYES),その人物については人物の被写体の評価基準を用いて被写体の評価値が算出される(ステップ83)。人物が含まれている画像に人物以外の被写体が含まれている場合には,人物以外の被写体の種類に対応した評価基準を用いて被写体の評価値が算出される。もっとも,画像に人物が含まれている場合には,人物についての評価を優先するために,人物以外の被写体については評価値の算出を停止してもよい。
画像に人物の被写体が含まれていない場合には(ステップ82でNO),非人物の被写体の評価基準を用いて,非人物の被写体の評価値がCPU2によって算出される(ステップ84)。人物以外の被写体については,被写体の種類にかかわらず,非人物の被写体の評価基準を共通に用いて非人物の評価値を算出してもよいし,非人物の被写体についても被写体の種類ごとに異なる評価基準を用いて評価値を算出するようにしてもよい。
つづいて,上述したように,算出された評価値がしきい値以上の被写体が存在するかどうかがCPU2において判断される(ステップ85)。被写体が人物の場合の評価値のしきい値と被写体が非人物の場合の評価値のしきい値とが異なるようにしてもよいし,同じとしてもよい。
算出された評価値がしきい値以上の被写体が存在する場合には(ステップ85でYES),そのような被写体が存在する画像が強調される(ステップ86)。算出された評価値がしきい値以上の被写体が存在しない場合には(ステップ85でNO),強調が停止させられて画像が表示させられる(ステップ87)。
図9は,画像の一例である。
画像90には,雲91,山92,人物93および花94が含まれており,これらの雲91,山92,人物93および花94がCPU2によって検出される。上述のように,人物93については,人物の評価基準を用いてCPU2によって評価値が算出される。人物の評価基準は,明度が適正か,合焦しているかなどのほかに,たとえば,笑顔であれば評価を高くしたり,画像の中心に近ければ評価を高くしたり,顔がきちんと見えていたり,目がきちんと開いていたりすると評価を高くしたりする。図9に示す例では,人物93の評価値はしきい値以上と判断され,人物93の近くにハート・マーク95が付与されており,このハート・マーク95により画像90が強調されている。
人物以外の雲91,山92および花94については,非人物の評価基準により一律に評価値が算出されている。もっとも,非人物の被写体を,被写体の種類ごとに分類した場合に,分類された被写体の種類ごとに異なる評価基準を用いて,検出された被写体の評価値を算出するようにしてもよい。すなわち,非人物の被写体の種類ごとに異なる評価基準により雲91,山92および花94についての評価値が算出されてもよい。花94の評価値はしきい値以上のために,花94の近くにエクスクラメーション・マーク96が付与されている。
ユーザは,ハート・マーク95を見ることにより人物93の評価が高いことを知り,エクスクラメーション・マーク96を見ることにより花94の評価が高いことを知る。このように,算出された評価値がしきい値以上の人物93の被写体と,算出された評価値がしきい値以上の非人物である花94の被写体と,で異なる表示態様によって画像90を表示するようにしてもよい。上述のように,画像90に人物93が含まれている場合には,人物93の評価を優先し,人物93以外の非人物の被写体については評価値の算出を停止してもよい。また,人物93の評価が高いことを示すハート・マーク95は,人物93の近くに付与せずに画像90内のいずれかの場所または画像90の近くに表示するようにしてもよい。さらに,人物93の評価値がしきい値以上の場合でもハート・マーク95を表示せずに画像90の明度を明るくしたり,枠で囲んだりして画像90を強調してもよい。さらに,人物93自体の明度を明るくしたり,枠で囲んだりすることにより,画像90を強調してもよい。
このように,被写体の種類には,人物および非人物を含み,人物の被写体と非人物の被写体とで異なる評価基準を用いて,検出された被写体の評価値を算出するようにしてもよい。さらに,上述のように,画像に人物の被写体が含まれている場合には人物の被写体の評価基準を用いて人物の被写体の評価値を算出し,画像に人物の被写体が含まれていない場合には非人物の被写体の評価基準を用いて非人物の被写体の評価値を算出するようにしてもよい。
図10は,他の実施例を示すもので,画像表示制御システム1の処理手順の一部を示すフローチャートである。
この実施例では,被写体の種類の分類方法がユーザによって設定できる。被写体の種類の分類方法は,たとえば,人物と非人物との分類,人物と非人物とに分類し,かつ非人物については被写体の種類に応じた分類などがある。ユーザは,キーボード3(分類方法設定手段)を用いて,被写体の分類方法を設定する(ステップ101)。
被写体の分類方法が設定されると,画像に含まれる被写体が,分類された被写体の種類ごとにCPU2によって検出される(ステップ102)。その後は,図8のステップ82の処理と同様に,画像に人物の被写体が含まれているかどうかの判断がCPU2によって行われる(ステップ103)。人物の被写体が含まれていれば(ステップ103でYES),図8のステップ83の処理に移行し,人物の被写体が含まれていなければ(ステップ103でNO),図8ステップ84の処理に移行する。
この場合も,図9に示したように,しきい値以上の評価値をもつ人物の被写体と非人物の被写体とで,異なる表示態様で画像を表示させるようにしてもよいし,分類された非人物の被写体の種類ごとに異なる表示態様によって画像を表示させるようにしてもよい。
図11は,他の実施例を示すもので,画像表示制御システム1の処理手順を示すフローチャートの一例である。
画像に含まれる被写体が,CPU2によって被写体の種類ごとに検出される(ステップ111)。検出された被写体の種類が表示装置10の表示画面上に表示され,その種類を見ながら,ユーザは,被写体の種類ごとに評価基準を変更する(ステップ112)。たとえば,ユーザが興味の無い種類の被写体は評価値が低くなるように評価基準を変更し,ユーザが興味のある種類の被写体は評価値が高くなるように評価基準を変更する。評価基準の変更は,たとえば,キーボード3(評価基準変更手段)を用いて行われる。被写体の種類が表示装置10の表示画面上に表示されないで,被写体の種類ごとに評価基準を変更するようにしてもよいし,被写体の種類ごとの検出が行われる前に被写体の種類ごとに評価基準を変更するようにしてもよい。たとえば,係数を用いて評価値の算出が行われる場合には,その係数を変更することにより評価基準を変更するようにしてもよいし,被写体の種類ごとにしきい値を変えることにより評価基準を変更してもよい。また,被写体を種類ごとに分類する分類方法を設定し(図10ステップ101),設定した分類方法にしたがって分類される被写体の種類ごとに評価基準を変更してもよい。
その後は,図2のステップ22以降と同様に,被写体の種類ごとに異なる評価基準を用いて,被写体の評価値がCPU2によって算出され(ステップ113),算出された評価値がしきい値以上の被写体が画像に存在する場合には(ステップ114でYES),画像が強調して表示される(ステップ115)。算出された評価値がしきい値以上の被写体が存在しない場合には(ステップ114でNO),強調が停止させられて画像が表示される(ステップ116)。
図12は,さらに他の実施例を示すもので,画像表示制御システム1の処理手順を示すフローチャートである。図12において,図11に示す処理と同一の処理については同一符号を付して説明を省略する。
上述のように,画像に含まれる被写体が,被写体の種類ごとにCPU2によって検出される(ステップ111)。ユーザによって,被写体の評価値がしきい値以上となっても画像を強調して表示することを停止するように,被写体の種類がユーザによってキーボード3(種類指定手段)を用いて指定される(ステップ112A)。被写体の種類が表示装置10の表示画面上に表示され,表示された被写体の種類の中から,被写体の評価値がしきい値以上となっても画像を強調して表示することを停止するような被写体の種類を指定してもよい。また,画像に含まれる被写体が,被写体の種類ごとに検出される前に,被写体の評価値がしきい値以上となっても画像を強調して表示することを停止するように,被写体の種類を指定してもよい。
被写体の種類ごとに異なる評価基準を用いて,被写体の評価値が算出されると(ステップ113),算出された評価値がしきい値以上の被写体が画像に存在する場合には(ステップ114でYES),評価値がしきい値以上の被写体が,強調して画像を表示することが停止する被写体の種類かどうかがCPU2によって判断される(ステップ117)。評価値がしきい値以上の被写体が,強調して画像を表示することが停止する被写体の種類であれば(ステップ117でYES),強調を停止して画像が表示させられる(ステップ116)。評価値がしきい値以上の被写体が,強調して画像を表示することが停止する被写体の種類でなければ(ステップ117でNO),強調して画像が表示させられる(ステップ115)。
図13は,他の実施例を示すもので,画像表示制御システム1の処理手順を示すフローチャートの一例である。
図4のステップ41と同様に,複数の画像が保存されている保存場所がユーザによって指定され,(ステップ121)。指定された保存場所に保存されている複数の画像のそれぞれに含まれる被写体が,被写体の種類ごとにCPU2によって検出される(ステップ122)。
つづいて,複数の画像に含まれている被写体の出現頻度が,CPU2(出現頻度算出手段)によって被写体の種類ごとに算出される(ステップ123)。
図14は,出現頻度テーブルの一例である。
出現頻度テーブルは,検出された被写体の種類ごとに出現頻度および補正係数を格納するものである。出現頻度は,複数の画像の中に出現した被写体の個数である。補正係数は,算出された被写体の評価値を補正するものである。補正係数は,出現頻度がしきい値(出現頻度のしきい値)よりも高い場合に,出現頻度がしきい値よりも低い場合に比べて被写体の評価値を上げるように補正するものである。出現頻度が高い被写体は,撮影者が重要と考えていると捉えてよいために,そのような被写体の評価値が上げられる。たとえば,被写体の種類が山の場合には,出現頻度は123/Nであり(但し,Nは複数の画像の枚数),N枚の複数の画像の中に被写体としての山が123個出現したことを表している。被写体としての山の補正係数は,k1であり,この補正係数を用いて,算出された評価値が補正される。
図13に戻って,検出された被写体の種類ごとに異なる評価基準を用いて,被写体の評価値がCPU2によって算出され(ステップ124),算出された評価値が,その評価値に対応する出現頻度に応じてCPU2によって補正される(ステップ125)。
補正された評価値が,しきい値以上の被写体が存在する画像であれば(ステップ126でYES),強調した画像が表示させられる(ステップ127)。補正された評価値が,しきい値以上の被写体が画像に存在しなければ(ステップ126でNO),強調が停止させられて画像が表示させられる(ステップ128)。
上述の実施例では,評価値を算出した後に補正することにより,出現頻度がしきい値より高い場合に,出現頻度がしきい値より低い場合に比べて評価値を上げて評価値が算出されていることとなるが,出現頻度がしきい値より高い場合に,出現頻度がしきい値より低い場合に比べて評価値が上がる評価基準を用いて評価値を算出するようにしてもよい。
図15から図18は,さらに他の実施例を示すものである。
この実施例は,人物が含まれている画像をユーザが指定し,その画像の回りに,人物に関連する非人物の画像を表示するものである。
図15および図16は,画像表示制御システム1の処理手順を示すフローチャートである。
複数の画像が保存されている保存場所がユーザによって指定され(ステップ131),その指定された保存場所に保存されている複数の画像のうち,人物が含まれている画像がCPU2によって保存場所から抽出される(ステップ132)。人物が含まれている画像が表示制御装置9によって表示装置10の表示画面上に一覧で表示される(ステップ133)。ユーザは,一覧で表示されている,人物が含まれている複数の画像の中から所望の画像を,マウス4(指定手段)を用いて指定する(ステップ134)。マウス4ではなく,キーボード3(指定手段)その他を用いて所望の画像を指定してもよい。
人物が含まれている画像がユーザによって指定されると,指定された画像に含まれている人物に関連する非人物の被写体を含む画像が,指定された保存場所に保存されている複数の画像の中からCPU2(抽出手段)によって抽出される(ステップ135)。指定された画像に含まれている人物に関連する非人物の被写体かどうかは,複数の画像のうち,指定された画像に含まれている人物と一緒に撮影されている画像に含まれている割合が高い非人物の被写体が,その非人物の被写体と判断される。また,非人物の被写体のみが,ほぼ画像の中心にあるような非人物の被写体も,指定された画像に含まれている人物に関連する非人物の被写体と判断されてもよい。さらに,指定された画像の撮影日時に近い画像のうち,非人物の被写体のみが存在するような画像に含まれている非人物の被写体も,指定された画像に含まれている人物に関連する非人物の被写体と判断されてもよい。
指定された画像に含まれている人物に関連する非人物の被写体を含む画像は,人物の被写体が含まれずに非人物の被写体のみが含まれていることが好ましいが,人物の被写体が含まれていてもよい。また,指定された画像に含まれている人物に関連する非人物の被写体を表す画像のみを画像から切り出してもよい。また,指定された画像に含まれている人物に関連する非人物の被写体を含む画像に人物の被写体が含まれている場合には,指定された画像に含まれている人物と同一人物であることが好ましいが,指定された画像に含まれている人物と同一人物でなくともよい。同一人物であるかどうかは,CPU2による顔のマッチング処理を用いることにより判断できる。指定された画像に含まれている人物に関連する非人物の被写体をユーザが入力または指定してもよい。
すると,指定された画像および抽出された画像が表示装置10の表示画面に表示される(ステップ136)。
図17は,表示装置10の表示画面に表示される画像選択ウインドウ150の一例である。
画像選択ウインドウ150には,指定画像表示領域151および抽出画像表示領域152が含まれている。指定画像表示領域151には,上述のように,ユーザによって指定された画像153が表示されている。抽出画像表示領域152には,上述のようにして抽出された非人物を含む画像161から16nが表示されている。抽出された画像のすべてが抽出画像表示領域152に表示されない場合には,キーボード3からスクロール指令が与えられることにより,抽出されたが表示されていなかった画像が抽出画像表示領域152に現れる。このようにして,指定された画像と,抽出された画像とが,画像選択ウインドウ150に表示させられる。
図16を参照して,抽出された画像161から16nなどについて,非人物の被写体の評価基準を用いて,非人物の被写体の評価値がCPU2によって算出される(ステップ137)。非人物の被写体の評価基準は,すべての非人物について共通のものでもよいし,非人物の種類ごとに異なるものでもよい。また,非人物の種類をいくつかのグループに分け,グループごとに異なる評価基準を用いて,非人物の被写体の評価値が算出されるようにしてもよい。
算出された評価値がしきい値以上の非人物の被写体が存在するかどうかがCPU2によって判断される(ステップ138)。非人物の被写体の評価基準がすべての非人物について共通の場合,しきい値を共通としてもよいが,非人物の種類に応じてしきい値を変えてもよい。非人物の被写体の評価基準が非人物の種類ごとに異なる場合には,非人物の種類ごとにしきい値も変わることとなるが,非人物の種類にかかわらず共通のしきい値が用いられてもよい。
算出された評価値がしきい値以上の非人物の被写体を含む画像に(ステップ138でYES),マークが付与されることにより,そのような被写体を含まない画像と比較して強調して,指定された画像153とともに表示される(ステップ139)。たとえば,抽出された画像161には,非人物として飲み物の被写体が含まれており,この飲み物の被写体の評価値はしきい値以上であったとする。画像161にダイヤのマーク171が表示される。さらに,抽出された画像16nには,非人物として指輪の被写体が含まれており,この指輪の被写体の評価値はしきい値以上であったとする。画像16nに黒丸のマーク172が表示される。もちろん,評価値がしきい値以上の被写体を含む画像が強調されればよいので,マークを表示せずに,明度を明るくしたり,画像を枠で囲んだりして画像が強調されてもよい。
算出された評価値がしきい値以上の非人物の被写体を含まない画像については(ステップ138でNO),画像へのマークの付与は行われずに,画像が表示される(ステップ140)。非人物の被写体を含む画像の強調した表示が停止されて,指定された画像153とともに表示させられることとなる(ステップ140)。
ユーザは,抽出画像表示領域152に表示されている画像161から16nなどを見て,それらの画像161から16nなどに表示されているマークを参考にして,所望の画像(非人物画像)をマウス4(選択手段)またはキーボード3(選択手段)により選択する(ステップ141)。選択後に,画像切替指令がキーボード3から画像表示制御システム1に与えられると,表示装置10の表示画面には,図18に示す関連画像一覧表示ウインドウ160が表示される。
図18を参照して,関連画像一覧表示ウインドウ160のほぼ中央には,ユーザによって指定された画像153が表示されている。指定された画像153の回りを囲むように,抽出された画像161から16nなどの中から選択された画像161,162,163,164および16nが表示されている。画像161にはダイヤのマーク171が表示されており,画像16nには黒丸のマーク172が表示されているが,これらのダイヤのマーク171および黒丸のマーク172は関連画像一覧表示ウインドウ160においては表示されなくともよい。もちろん,これらのダイヤのマーク171および黒丸のマーク172の表示の他の方法により,評価値がしきい値以上の被写体を含む画像161および16nを他の画像と比較して強調して表示してもよい。このようにして,指定された画像153と,選択された画像161,162,163,164および16nとが,関連画像一覧表示ウインドウ160(同一領域)に表示される。
図18においては,指定された画像153の回りに,選択された画像161,162,163,164および16nが表示されているが,関連画像一覧表示ウインドウ160内に,これらの画像153,161,162,163,164および16nが表示されればよいので,図17に示す画像選択ウインドウ150のように,指定された画像153の下に選択された画像161,162,163,164および16nが表示されるようにしてもよい。
このようにして生成された関連画像一覧表示ウインドウ160を1枚の用紙に印刷したり,アルバムの中の1ページとしてアルバム(電子アルバム)を生成したり,アルバムを印刷したりできる。
1 画像表示制御システム,2 CPU,3 キーボード,4 マウス,5 入力制御装置,6 ハードディスク・ドライブ,7 ハードディスク,8 メモリ,9 表示制御装置,10 表示装置,11 メモリ・カード・リーダ・ライタ,12 メモリ・カード,13 CD-ROMドライブ,14 CD-ROM,15 通信装置,30 画像,31 花,32 料理,33 飲み物 34 料理,35 料理,36 エクスクラメーション・マーク,37 星のマーク,38 エクスクラメーション・マーク,39 クローバー・マーク,50 画像一覧表示ウインドウ,51 サムネイル画像,52 サムネイル画像,62 サムネイル画像,72 サムネイル画像,90 画像,91 雲,92 山,93 人物,94 花,95 ハートのマーク,96 エクスクラメーション・マーク,150 画像選択ウインドウ,151 指定画像表示領域,152 抽出画像表示領域,153 画像,160 関連画像一覧表示ウインドウ,161 画像,162 画像,163 画像,164 画像,16n 画像,171 ダイヤのマーク,172 黒丸のマーク

Claims (26)

  1. 画像に含まれる複数の被写体のうち,被写体の種類ごとに被写体を検出する被写体検出手段,
    被写体の種類ごとに異なる評価基準を用いて,上記被写体検出手段によって検出された被写体の評価値を算出する評価値算出手段,および
    上記評価値算出手段によって算出された評価値がしきい値以上の被写体が存在する場合に,強調して上記画像を表示させる画像表示制御手段,
    を備えた画像表示制御システムであって,
    上記画像は複数の画像に含まれており,上記複数の画像のテーマを決定するテーマ決定手段をさらに備え,
    上記評価値算出手段は,
    上記テーマ決定手段によって決定したテーマに関連付けられた種類の被写体については,上記テーマ決定手段によって決定したテーマに関連付けられた種類以外の被写体よりも高い評価値となる評価基準を用いて,上記被写体検出手段によって検出された被写体の評価値を算出する,
    画像表示制御システム。
  2. 上記画像表示制御手段は,
    上記評価値算出手段によって算出された評価値がしきい値以上の被写体が存在する場合に,被写体の種類ごとに異なる表示態様によって上記画像を表示させる,
    請求項1に記載の画像表示制御システム。
  3. 上記評価基準を変更する評価基準変更手段,
    をさらに備えた請求項1に記載の画像表示制御システム。
  4. 上記テーマ決定手段は,
    上記複数の画像にもとづいて,生成されるアルバムのテーマを決定する,
    請求項に記載の画像表示制御システム。
  5. 画像に含まれる複数の被写体のうち,被写体の種類ごとに被写体を検出する被写体検出手段,
    被写体の種類ごとに異なる評価基準を用いて,上記被写体検出手段によって検出された被写体の評価値を算出する評価値算出手段,および
    上記評価値算出手段によって算出された評価値がしきい値以上の被写体が存在する場合に,強調して上記画像を表示させる画像表示制御手段,
    を備え,
    上記被写体の種類として,人物および非人物を含む,
    画像表示制御システム。
  6. 上記評価値算出手段は,
    人物の被写体と非人物の被写体とで異なる評価基準を用いて,上記被写体検出手段によって検出された被写体の評価値を算出する,
    請求項に記載の画像表示制御システム。
  7. 上記評価値算出手段は,
    上記画像に人物の被写体が含まれている場合には人物の被写体の評価値基準を用いて人物の被写体の評価値を算出し,上記画像に人物の被写体が含まれていない場合には非人物の被写体の評価基準を用いて非人物の被写体の評価値を算出する,
    請求項に記載の画像表示制御システム。
  8. 上記画像表示制御手段は,
    上記評価値算出手段によって算出された評価値がしきい値以上の人物の被写体と上記評価値算出手段によって算出された評価値がしきい値以上の非人物の被写体とで異なる表示態様によって上記画像を表示する,
    請求項またはに記載の画像表示制御システム。
  9. 上記評価値算出手段は,
    非人物の被写体を,被写体の種類ごとに分類した場合に,分類された被写体ごとに異なる評価基準を用いて,上記被写体検出手段によって検出された被写体の評価値を算出する,
    請求項に記載の画像表示制御システム。
  10. 非人物の被写体を,被写体の種類ごとに分類する場合に,被写体の分類方法を設定する分類方法設定手段,
    をさらに備えた請求項に記載の画像表示制御システム。
  11. 上記画像表示制御手段は,
    分類された非人物の被写体の種類ごとに異なる表示態様によって上記画像を表示させる,
    請求項または10に記載の画像表示制御システム。
  12. 画像に含まれる複数の被写体のうち,被写体の種類ごとに被写体を検出する被写体検出手段,
    被写体の種類ごとに異なる評価基準を用いて,上記被写体検出手段によって検出された被写体の評価値を算出する評価値算出手段
    上記評価値算出手段によって算出された評価値がしきい値以上の被写体が存在する場合に,強調して上記画像を表示させる画像表示制御手段,および
    被写体の種類を指定する種類指定手段を備え,
    上記画像表示制御手段は,
    上記種類指定手段によって指定された種類の被写体を含む画像については,上記強調を停止して上記画像を表示させる,
    画像表示制御システム。
  13. 画像に含まれる複数の被写体のうち,被写体の種類ごとに被写体を検出する被写体検出手段,
    被写体の種類ごとに異なる評価基準を用いて,上記被写体検出手段によって検出された被写体の評価値を算出する評価値算出手段,および
    上記評価値算出手段によって算出された評価値がしきい値以上の被写体が存在する場合に,強調して上記画像を表示させる画像表示制御手段,
    を備えた画像表示制御システムであって,
    上記画像は複数の画像に含まれており,
    上記被写体検出手段は,
    上記複数の画像に含まれる上記画像について被写体の種類ごとに被写体を検出し,
    上記被写体検出手段によって検出された被写体の種類ごとに出現頻度を算出する出現頻度算出手段をさらに備え,
    上記評価値算出手段は,上記出現頻度算出手段によって算出された出現頻度のしきい値より高い場合に,出現頻度がしきい値よりも低い場合に比べて評価値を上げて被写体の評価値を算出する,
    画像表示制御システム。
  14. 画像に含まれる複数の被写体のうち,被写体の種類ごとに被写体を検出する被写体検出手段,
    被写体の種類ごとに異なる評価基準を用いて,上記被写体検出手段によって検出された被写体の評価値を算出する評価値算出手段
    上記評価値算出手段によって算出された評価値がしきい値以上の被写体が存在する場合に,強調して上記画像を表示させる画像表示制御手段,
    複数の画像の中から人物の被写体が含まれている画像を指定する指定手段,および
    上記指定手段によって指定された画像に含まれている人物に関連する非人物の被写体を含む画像を上記複数の画像の中から抽出する抽出手段を備え,
    上記評価値算出手段は,
    被写体の種類ごとに異なる評価基準を用いて,上記抽出手段によって抽出された画像に含まれる非人物の被写体の評価値を算出する,
    画像表示制御システム。
  15. 上記抽出手段によって抽出された画像の中から,画像を選択する選択手段をさらに備え,
    上記画像表示制御手段は,
    上記指定手段によって指定された画像と,上記選択手段によって選択された画像とを同一領域に表示させる,
    請求項14に記載の画像表示制御システム。
  16. 被写体検出手段が,画像に含まれる複数の被写体のうち,被写体の種類ごとに被写体を検出し,
    評価値算出手段が,被写体の種類ごとに異なる評価基準を用いて,上記被写体検出手段によって検出された被写体の評価値を算出し,
    画像表示制御手段が,上記評価値算出手段によって算出された評価値がしきい値以上の被写体が存在する場合に,強調して上記画像を表示させ,
    上記画像は複数の画像に含まれており,
    テーマ決定手段が,上記複数の画像のテーマを決定し,
    上記評価値算出手段は,
    上記テーマ決定手段によって決定したテーマに関連付けられた種類の被写体については,上記テーマ決定手段によって決定したテーマに関連付けられた種類以外の被写体よりも高い評価値となる評価基準を用いて,上記被写体検出手段によって検出された被写体の評価値を算出する,
    画像表示制御方法。
  17. 被写体検出手段が,画像に含まれる複数の被写体のうち,被写体の種類ごとに被写体を検出し,
    評価値算出手段が,被写体の種類ごとに異なる評価基準を用いて,上記被写体検出手段によって検出された被写体の評価値を算出し,
    画像表示制御手段が,上記評価値算出手段によって算出された評価値がしきい値以上の被写体が存在する場合に,強調して上記画像を表示させ
    上記被写体の種類として,人物および非人物を含む,
    画像表示制御方法。
  18. 被写体検出手段が,画像に含まれる複数の被写体のうち,被写体の種類ごとに被写体を検出し,
    評価値算出手段が,被写体の種類ごとに異なる評価基準を用いて,上記被写体検出手段によって検出された被写体の評価値を算出し,
    画像表示制御手段が,上記評価値算出手段によって算出された評価値がしきい値以上の被写体が存在する場合に,強調して上記画像を表示させ
    種類指定手段が,被写体の種類を指定し,
    上記画像表示制御手段は,
    上記種類指定手段によって指定された種類の被写体を含む画像については,上記強調を停止して上記画像を表示させる,
    画像表示制御方法。
  19. 被写体検出手段が,画像に含まれる複数の被写体のうち,被写体の種類ごとに被写体を検出し,
    評価値算出手段が,被写体の種類ごとに異なる評価基準を用いて,上記被写体検出手段によって検出された被写体の評価値を算出し,
    画像表示制御手段が,上記評価値算出手段によって算出された評価値がしきい値以上の被写体が存在する場合に,強調して上記画像を表示させ
    上記画像は複数の画像に含まれており,
    上記被写体検出手段は,
    上記複数の画像に含まれる上記画像について被写体の種類ごとに被写体を検出し,
    出現頻度算出手段が,上記被写体検出手段によって検出された被写体の種類ごとに出現頻度を算出し,
    上記評価値算出手段は,上記出現頻度算出手段によって算出された出現頻度のしきい値より高い場合に,出現頻度がしきい値よりも低い場合に比べて評価値を上げて被写体の評価値を算出する,
    画像表示制御方法。
  20. 被写体検出手段が,画像に含まれる複数の被写体のうち,被写体の種類ごとに被写体を検出し,
    評価値算出手段が,被写体の種類ごとに異なる評価基準を用いて,上記被写体検出手段によって検出された被写体の評価値を算出し,
    画像表示制御手段が,上記評価値算出手段によって算出された評価値がしきい値以上の被写体が存在する場合に,強調して上記画像を表示させ
    指定手段が,複数の画像の中から人物の被写体が含まれている画像を指定し,
    抽出手段が,上記指定手段によって指定された画像に含まれている人物に関連する非人物の被写体を含む画像を上記複数の画像の中から抽出し,
    上記評価値算出手段は,
    被写体の種類ごとに異なる評価基準を用いて,上記抽出手段によって抽出された画像に含まれる非人物の被写体の評価値を算出する,
    画像表示制御方法。
  21. 画像表示制御システムのコンピュータを制御するコンピュータが読み取り可能なプログラムであって,
    画像に含まれる複数の被写体のうち,被写体の種類ごとに被写体を検出させ,
    被写体の種類ごとに異なる評価基準を用いて,検出された被写体の評価値を算出させ,
    算出された評価値がしきい値以上の被写体が存在する場合に,強調して上記画像を表示させ,
    上記画像は複数の画像に含まれており,上記複数の画像のテーマを決定させ,
    決定したテーマに関連付けられた種類の被写体については,決定したテーマに関連付けられた種類以外の被写体よりも高い評価値となる評価基準を用いて,検出された被写体の評価値を算出させるように画像表示制御システムのコンピュータを制御するプログラム。
  22. 画像に含まれる複数の被写体のうち,被写体の種類ごとに被写体を検出させ,
    被写体の種類ごとに異なる評価基準を用いて,検出された被写体の評価値を算出させ,
    算出された評価値がしきい値以上の被写体が存在する場合に,強調して上記画像を表示させるように画像表示制御システムのコンピュータを制御するコンピュータが読み取り可能なプログラムであって,
    上記被写体の種類として,人物および非人物を含む,画像表示制御システムのコンピュータを制御するプログラム。
  23. 画像表示制御システムのコンピュータを制御するコンピュータが読み取り可能なプログラムであって,
    画像に含まれる複数の被写体のうち,被写体の種類ごとに被写体を検出させ,
    被写体の種類ごとに異なる評価基準を用いて,検出された被写体の評価値を算出させ,
    算出された評価値がしきい値以上の被写体が存在する場合に,強調して上記画像を表示させ
    被写体の種類を指定させ,指定された種類の被写体を含む画像については,上記強調を停止して上記画像を表示させるように画像表示制御システムのコンピュータを制御するプログラム。
  24. 画像表示制御システムのコンピュータを制御するコンピュータが読み取り可能なプログラムであって,
    画像に含まれる複数の被写体のうち,被写体の種類ごとに被写体を検出させ,
    被写体の種類ごとに異なる評価基準を用いて,検出された被写体の評価値を算出させ,
    算出された評価値がしきい値以上の被写体が存在する場合に,強調して上記画像を表示させ
    上記画像は複数の画像に含まれており,上記複数の画像に含まれる上記画像について被写体の種類ごとに被写体を検出させ,
    検出された被写体の種類ごとに出現頻度を算出させ,
    算出された出現頻度のしきい値より高い場合に,出現頻度がしきい値よりも低い場合に比べて評価値を上げて被写体の評価値を算出させるように画像表示制御システムのコンピュータを制御するプログラム。
  25. 画像表示制御システムのコンピュータを制御するコンピュータが読み取り可能なプログラムであって,
    画像に含まれる複数の被写体のうち,被写体の種類ごとに被写体を検出させ,
    被写体の種類ごとに異なる評価基準を用いて,検出された被写体の評価値を算出させ,
    算出された評価値がしきい値以上の被写体が存在する場合に,強調して上記画像を表示させ
    複数の画像の中から人物の被写体が含まれている画像を指定させ,
    指定された画像に含まれている人物に関連する非人物の被写体を含む画像を上記複数の画像の中から抽出させ,
    被写体の種類ごとに異なる評価基準を用いて,抽出された画像に含まれる非人物の被写体の評価値を算出させるように画像表示制御システムのコンピュータを制御するプログラム。
  26. 請求項21から25のうちいずれか一項に記載のプログラムを格納した記録媒体。
JP2016181641A 2016-09-16 2016-09-16 画像表示制御システム,画像表示制御方法および画像表示制御プログラム Active JP6587995B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016181641A JP6587995B2 (ja) 2016-09-16 2016-09-16 画像表示制御システム,画像表示制御方法および画像表示制御プログラム
US15/676,262 US10402683B2 (en) 2016-09-16 2017-08-14 Image display control system, image display control method, and image display control program for calculating evaluation values of detected objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016181641A JP6587995B2 (ja) 2016-09-16 2016-09-16 画像表示制御システム,画像表示制御方法および画像表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2018046497A JP2018046497A (ja) 2018-03-22
JP6587995B2 true JP6587995B2 (ja) 2019-10-09

Family

ID=61617471

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016181641A Active JP6587995B2 (ja) 2016-09-16 2016-09-16 画像表示制御システム,画像表示制御方法および画像表示制御プログラム

Country Status (2)

Country Link
US (1) US10402683B2 (ja)
JP (1) JP6587995B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6587995B2 (ja) * 2016-09-16 2019-10-09 富士フイルム株式会社 画像表示制御システム,画像表示制御方法および画像表示制御プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001169311A (ja) 1999-12-10 2001-06-22 Toko Inc 画像比較装置
JP2002279421A (ja) 2001-03-21 2002-09-27 Fuji Photo Film Co Ltd 画像評価装置および方法
US20050067529A1 (en) * 2001-09-14 2005-03-31 Advanced Telecommunications Research Institute International Program to be executed on a computer to determine arrangement of a plurality of objects and program to be executed on a computer to determine cargo arrangement for transporting cargo to cosmic space
EP1780651A1 (en) * 2005-10-25 2007-05-02 Bracco Imaging, S.P.A. Method and system for automatic processing and evaluation of images, particularly diagnostic images
JP4507281B2 (ja) 2006-03-30 2010-07-21 富士フイルム株式会社 画像表示装置、撮像装置および画像表示方法
JP4197019B2 (ja) * 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置
US8116520B2 (en) * 2007-06-20 2012-02-14 Microsemi Corporation System and method for overlaying computer generated highlights in a display of millimeter wave imagery
WO2009092168A1 (en) * 2008-01-22 2009-07-30 Magna International Inc. Use of a single camera for multiple driver assistance services, park aid, hitch aid and liftgate protection
JP5389592B2 (ja) * 2009-09-30 2014-01-15 富士フイルム株式会社 特定被写体検出方法及び装置
JP5416663B2 (ja) 2010-07-12 2014-02-12 日本放送協会 画像評価装置および画像評価プログラム
JP5507693B2 (ja) * 2010-08-24 2014-05-28 富士フイルム株式会社 撮像装置およびその動作制御方法
JP5449460B2 (ja) 2011-06-28 2014-03-19 富士フイルム株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2013065110A (ja) 2011-09-15 2013-04-11 Omron Corp 検出装置、該検出装置を備えた表示制御装置および撮影制御装置、物体検出方法、制御プログラム、ならびに、記録媒体
DE102013002283A1 (de) * 2013-02-08 2014-08-14 Volkswagen Ag Verfahren und Vorrichtung zum Vorwärtseinparken eines Kraftfahrzeugs in eine Querparklücke
DE102013225773A1 (de) * 2013-12-12 2015-06-18 Robert Bosch Gmbh Rückraumüberwachungsystem und Verfahren zur Rückraumüberwachung eines Fahrzeugs
JP6604019B2 (ja) * 2015-04-14 2019-11-13 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
JP6587995B2 (ja) * 2016-09-16 2019-10-09 富士フイルム株式会社 画像表示制御システム,画像表示制御方法および画像表示制御プログラム

Also Published As

Publication number Publication date
US10402683B2 (en) 2019-09-03
JP2018046497A (ja) 2018-03-22
US20180082148A1 (en) 2018-03-22

Similar Documents

Publication Publication Date Title
US20190325627A1 (en) Image processing apparatus, image processing method and storage medium
KR102157494B1 (ko) 제어방법 및 기억매체
US11570312B2 (en) Image processing apparatus, image processing method, and storage medium to select an image to be arranged in an added page in an album
JP6711937B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US10506110B2 (en) Image processing apparatus, control method, and storage medium
US20170169585A1 (en) Method and system for setting interface element colors
US11627227B2 (en) Image processing apparatus, image processing method, and storage medium
JP5556262B2 (ja) 画像属性判別装置、属性判別支援装置、画像属性判別方法、属性判別支援装置の制御方法、および、制御プログラム
US20100182501A1 (en) Information processing apparatus, information processing method, and program
JP6719206B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5943845B2 (ja) 画像対画像関連物結合方法
US9299177B2 (en) Apparatus, method and non-transitory computer-readable medium using layout similarity
WO2014056112A1 (en) Intelligent video thumbnail selection and generation
US10331953B2 (en) Image processing apparatus
US10460494B2 (en) Control method and storage medium
JP6587995B2 (ja) 画像表示制御システム,画像表示制御方法および画像表示制御プログラム
JP7027101B2 (ja) 情報処理装置、制御方法、及びプログラム
US20060257023A1 (en) Method and system for image border color selection
JP6636406B2 (ja) 画像抽出システム,画像抽出方法およびそのプログラム
JP2018055534A (ja) 画像抽出システム,画像抽出方法およびそのプログラム
KR20150100113A (ko) 영상 처리 장치 및 이의 영상 처리 방법
WO2017100341A1 (en) Methods and system for setting interface element colors
US20200092429A1 (en) Image processing apparatus, image processing method, program, and recording medium
JP2017059156A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN108089783A (zh) 一种隐藏菜单项的显示方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190911

R150 Certificate of patent or registration of utility model

Ref document number: 6587995

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250