JP4111198B2 - 画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法 - Google Patents

画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法 Download PDF

Info

Publication number
JP4111198B2
JP4111198B2 JP2005048618A JP2005048618A JP4111198B2 JP 4111198 B2 JP4111198 B2 JP 4111198B2 JP 2005048618 A JP2005048618 A JP 2005048618A JP 2005048618 A JP2005048618 A JP 2005048618A JP 4111198 B2 JP4111198 B2 JP 4111198B2
Authority
JP
Japan
Prior art keywords
feature information
image
search
attention
search key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005048618A
Other languages
English (en)
Other versions
JP2006048633A (ja
Inventor
直樹 萱原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2005048618A priority Critical patent/JP4111198B2/ja
Priority to US11/168,056 priority patent/US7409110B2/en
Publication of JP2006048633A publication Critical patent/JP2006048633A/ja
Application granted granted Critical
Publication of JP4111198B2 publication Critical patent/JP4111198B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • G06F40/106Display of layout of documents; Previewing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、画像を検索するシステムおよびプログラム、並びに方法に係り、特に、要求される注目度を満足しつつ、レイアウト要素の数や量に応じてレイアウトを行うのに好適な画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法に関する。
ポスターやカタログなどのレイアウト作業においては、イラスト、カット、写真または画像など人の注目を引くレイアウト要素(以下、アイキャッチ要素という。)を効果的に配置し、レイアウト結果に注意を促す仕掛けをすることが多い。
しかしながら、デザイナが想定する注目度を確保するために、あるアイキャッチ要素を選択したところ、掲載したいレイアウト要素が多いため、レイアウト領域においてそのアイキャッチ要素を配置するのに十分な領域が確保できない場合があり、その場合、そのアイキャッチ要素を縮小して配置するか、他のアイキャッチ要素を選択しなければならない。逆に、掲載したいレイアウト要素が少ないため、レイアウト領域にそのアイキャッチ要素を配置してもなお空白領域が生じる場合があり、その場合、そのアイキャッチ要素を拡大して配置するか、他のアイキャッチ要素を選択しなければならない。アイキャッチ要素を拡大・縮小した場合は、注目度が変化する可能性があるため、想定した注目度を得ることが難しい。また、他のアイキャッチ要素を選択する場合は、想定した注目度と同等の注目度が得られる他のアイキャッチ要素を適切に選択することが難しいため、同様に、想定した注目度を得ることが難しい。
このように、レイアウト作業においては、要求される注目度を満足しつつ、レイアウト要素の数や量に応じてレイアウトを行うことが望まれている。
従来、レイアウト作業を支援する技術としては、例えば、特許文献1に開示されている画像デザイン支援装置があった。
特許文献1記載の発明は、画像解析部およびコラージュ画像作成部を有して構成されている。デザイナは、画像登録データベース(以下、データベースのことを単にDBと略記する。)のなかから、類似印象画像群(自分がデザインしようとする画像と類似した印象を有する画像)および対比印象画像群(自分がデザインしようとする画像と反対の印象を有する画像)を選択する。各画像が選択されると、画像解析部により、選択された各画像の明度平均、明暗のバランス、色度平均、寒色暖色のバランス、彩度平均などの視覚特徴情報が算出される。そして、コラージュ画像作成部により、類似印象画像群と対比印象画像群の視覚特徴情報の平均値の差が大きい視覚的特徴が2つ選択され、類似印象画像群および対比印象画像群のそれぞれの画像が2次元のグラフとして表示部に表示される。
これにより、デザイン知識を持たない一般のデザイナに対して、画像をデザインする際の明確かつ詳細な指針が与えられ、一般のデザイナが意図を効果的に伝える印象を持つように画像全体をデザインすることができる。
なお、画像の注目度に応じて画像処理を行う技術としては、例えば、特許文献2に開示されている画像圧縮方法があった。
特許文献2記載の発明は、画像の注目度等の重要度に基づいてクラスタ内の画像を格付けすることによって画像の圧縮を自動的に変更する。格付け処理は、各画像および画像の内容の1つ以上の特徴と関連した1つ以上の量を計算する。1つ以上の特徴には画像の内容が含まれる。特許文献2記載の発明は、1人以上の観察者の意見に基づいて訓練された推論アルゴリズムを用いてこの量を処理し、格付けを作成するためこの量が画像に適用し、格付けに基づいて画像を可変的に圧縮する。格付けが低い画像は格付けが高い画像よりも圧縮量が多い。
特開平10−188023号公報 特開2003−153007号公報
特許文献1記載の発明にあっては、類似印象画像群と対比印象画像群の視覚特徴情報の平均値の差が大きい視覚的特徴を2つ選択し、類似印象画像群および対比印象画像群のそれぞれの画像を表示するようになっているため、デザイン知識を持たない一般のデザイナであっても、自己のイメージに近い画像を選択・収集したり、逆に反対のイメージを有する画像を選択・収集したりすることが容易となる。
しかしながら、アイキャッチ要素を配置する十分な領域が確保できない場合や、アイキャッチ要素を配置してもなお空白領域が生じる場合、特許文献1記載の発明では、デザイナが想定した注目度を得るための支援にはならない。したがって、要求される注目度を満足しつつ、レイアウト要素の数や量に応じてレイアウトを行うことが難しいという問題がある。
なお、特許文献2記載の発明にあっては、画像の注目度に基づいてクラスタ内の画像を格付けすることによって画像を圧縮する技術であり、画像のレイアウトとは対象とする技術分野および技術的課題が異なるため、上記問題を解決することはまったくできない。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、要求される注目度を満足しつつ、レイアウト要素の数や量に応じてレイアウトを行うのに好適な画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法を提供することを目的としている。
本発明者等は、鋭意検討を重ねた結果、同じ大きさの画像なら、風景の画像よりは人物の画像、人物の画像よりは顔の画像の方が注目度が大きく、また、同じ内容の画像なら、小さい画像よりも大きい画像の方が注目度が大きいという経験則に着目し、画像の注目度、大きさおよび内容には一定の依存関係があることを見出した。そして、そのような依存関係を利用すれば、画像の注目度を維持したまま内容や大きさの異なる画像を選択したり、画像の大きさを維持したまま注目度や内容の異なる画像を選択したり、画像の内容を維持したまま注目度や大きさの異なる画像を選択したりすることができることを導き出した。
〔形態1〕 上記目的を達成するために、形態1の画像検索システムは、
検索キーをもとに、複数の検索対象画像のなかから前記検索キーに適合する画像を検索する画像検索システムであって、
前記各検索対象画像を、画像の意味的特徴情報、画像の物理的特徴情報、および画像を注目する度合いを示す注目度特徴情報のうち第1特徴情報および第2特徴情報と対応付けて記憶する検索対象画像記憶手段と、
前記第1特徴情報および前記第2特徴情報を前記検索キーとして入力する検索キー入力手段と、
前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうちいずれか2つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち当該2つの特徴情報以外の残りの特徴情報を求める特徴情報変換手段と、
前記検索キー入力手段で入力した第1特徴情報および第2特徴情報をもとに、前記特徴情報変換手段を利用して、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち前記第1特徴情報および前記第2特徴情報以外の第3特徴情報が一致または近似する検索対象画像を前記検索対象画像記憶手段のなかから検索する画像検索手段とを備えることを特徴とする。
このような構成であれば、検索キー入力手段により、第1特徴情報および第2特徴情報が検索キーとして入力されると、画像検索手段により、入力された第1特徴情報および第2特徴情報をもとに、特徴情報変換手段を利用して、第3特徴情報が一致または近似する検索対象画像が検索対象画像記憶手段のなかから検索される。すなわち、特徴情報変換手段により、入力された第1特徴情報および第2特徴情報に基づいて第3特徴情報が得られるので、得られた第3特徴情報と一致または近似する検索対象画像が検索対象画像記憶手段のなかから検索される。
これにより、ある画像の第1特徴情報および第2特徴情報を検索キーとして入力すれば、その画像の第3特徴情報を維持したまま第1特徴情報または第2特徴情報の異なる画像を得ることができる。例えば、画像の注目度を維持したまま内容や大きさの異なる画像を選択したり、画像の大きさを維持したまま注目度や内容の異なる画像を選択したり、画像の内容を維持したまま注目度や大きさの異なる画像を選択したりすることができる。したがって、従来に比して、要求される注目度を満足しつつ、レイアウト要素の数や量に応じてレイアウトを行うのが容易となるという効果が得られる。
ここで、画像検索手段は、特徴情報変換手段を利用して検索対象画像を検索するようになっていればどのような構成であってもよく、例えば、少なくとも次の2つの構成が含まれる。第1の構成としては、検索キー入力手段で入力した第1特徴情報および第2特徴情報に基づいて特徴情報変換手段により第3特徴情報を求め、得られた第3特徴情報に基づいて特徴情報変換手段により第1特徴情報および第2特徴情報の範囲を決定し、決定した第1特徴情報および第2特徴情報の範囲に属しまたはその範囲に近似する検索対象画像を検索する。第2の構成としては、検索キー入力手段で入力した第1特徴情報および第2特徴情報に基づいて特徴情報変換手段により第3特徴情報を求め、各検索対象画像ごとに、その検索対象画像に対応する第1特徴情報および第2特徴情報に基づいて第3特徴情報を求め、検索キーにより得られた第3特徴情報と同一または近似する第3特徴情報に対応する検索対象画像を検索する。
また、特徴情報変換手段は、2つの特徴情報に基づいて残りの特徴情報を求めるようになっていればどのような構成であってもよく、例えば、意味的特徴情報、物理的特徴情報および注目度特徴情報の対応関係を規定した特徴情報変換辞書に基づいて求めるようになっていてもよいし、意味的特徴情報、物理的特徴情報および注目度特徴情報の対応関係を規定した関係式により求めるようになっていてもよい。
また、第1特徴情報は、意味的特徴情報、物理的特徴情報および注目度特徴情報のうちいずれか1つである。第2特徴情報は、意味的特徴情報、物理的特徴情報および注目度特徴情報のうち第1特徴情報を除くいずれか1つである。第3特徴情報は、意味的特徴情報、物理的特徴情報および注目度特徴情報のうち第1特徴情報および第2特徴情報以外のものである。以下、形態6の画像検索プログラム、形態11の記憶媒体、並びに形態16および17の画像検索方法において同じである。
また、意味的特徴情報は、1次元の要素から構成することもできるし、多次元の要素から構成することもできる。このことは、物理的特徴情報および注目度特徴情報についても同様である。以下、形態6の画像検索プログラム、形態11の記憶媒体、並びに形態16および17の画像検索方法において同じである。
また、検索対象画像記憶手段は、検索対象画像をあらゆる手段でかつあらゆる時期に記憶するものであり、検索対象画像をあらかじめ記憶してあるものであってもよいし、検索対象画像をあらかじめ記憶することなく、本システムの動作時に外部からの入力等によって検索対象画像を記憶するようになっていてもよい。このことは、意味的特徴情報、物理的特徴情報または注目度特徴情報を検索対象画像記憶手段に記憶する場合についても同様である。
また、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。
〔形態2〕 さらに、形態2の画像検索システムは、形態1の画像検索システムにおいて、
前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報の対応関係を規定した特徴情報変換辞書を記憶する特徴情報変換辞書記憶手段を備え、
前記特徴情報変換手段は、与えられた前記2つの特徴情報に基づいて、前記特徴情報変換辞書から前記残りの特徴情報を検索するようになっていることを特徴とする。
このような構成であれば、特徴情報変換手段により、与えられた2つの特徴情報に基づいて、特徴情報変換辞書から残りの特徴情報が検索される。
意味的特徴情報、物理的特徴情報および注目度特徴情報の対応関係は、人の主観に依存する要素があるため、それを関係式により規定するのは困難であると考えられる。したがって、関係式により求める場合に比して、与えられた2つの特徴情報に基づいて残りの特徴情報を比較的適切に求めることができるという効果が得られる。
ここで、特徴情報変換辞書記憶手段は、特徴情報変換辞書をあらゆる手段でかつあらゆる時期に記憶するものであり、特徴情報変換辞書をあらかじめ記憶してあるものであってもよいし、特徴情報変換辞書をあらかじめ記憶することなく、本システムの動作時に外部からの入力等によって特徴情報変換辞書を記憶するようになっていてもよい。
〔形態3〕 さらに、形態3の画像検索システムは、形態1および2のいずれか1の画像検索システムにおいて、
前記第1特徴情報または前記第2特徴情報を第2の前記検索キーとして入力する第2検索キー入力手段を備え、
前記画像検索手段は、前記検索キー入力手段で入力した第1特徴情報および第2特徴情報に基づいて前記特徴情報変換手段により前記第3特徴情報を求め、得られた第3特徴情報および前記第2検索キー入力手段で入力した第1特徴情報または第2特徴情報に基づいて前記特徴情報変換手段により前記第2特徴情報または前記第1特徴情報を求め、得られた第2特徴情報または第1特徴情報、および前記第2検索キー入力手段で入力した第1特徴情報または第2特徴情報に一致または近似する検索対象画像を前記検索対象画像記憶手段のなかから検索するようになっていることを特徴とする。
このような構成であれば、第2検索キー入力手段により、第1特徴情報または第2特徴情報が第2の検索キーとして入力されると、画像検索手段により、検索キー入力手段で入力された第1特徴情報および第2特徴情報に基づいて特徴情報変換手段により第3特徴情報が求められ、得られた第3特徴情報および第2検索キー入力手段で入力された第1特徴情報または第2特徴情報に基づいて特徴情報変換手段により第2特徴情報または第1特徴情報が求められる。そして、得られた第2特徴情報または第1特徴情報、および第2検索キー入力手段で入力された第1特徴情報または第2特徴情報に一致または近似する検索対象画像が検索対象画像記憶手段のなかから検索される。
これにより、ある画像の第1特徴情報および第2特徴情報を検索キーとして入力し、その第1特徴情報または第2特徴情報について変更後の値を第2の検索キーとして入力すれば、その画像の第3特徴情報を維持したまま変更後の第1特徴情報または第2特徴情報に一致または近似する画像を得ることができるという効果が得られる。
〔形態4〕 さらに、形態4の画像検索システムは、形態1ないし3のいずれか1の画像検索システムにおいて、
前記第1特徴情報および前記第2特徴情報は、前記意味的特徴情報および前記物理的特徴情報であり、
前記第3特徴情報は、前記注目度特徴情報であることを特徴とする。
このような構成であれば、検索キー入力手段により、意味的特徴情報および物理的特徴情報が検索キーとして入力されると、画像検索手段により、入力された意味的特徴情報および物理的特徴情報をもとに、特徴情報変換手段を利用して、注目度特徴情報が一致または近似する検索対象画像が検索対象画像記憶手段のなかから検索される。すなわち、特徴情報変換手段により、入力された意味的特徴情報および物理的特徴情報に基づいて注目度特徴情報が得られるので、得られた注目度特徴情報と一致または近似する検索対象画像が検索対象画像記憶手段のなかから検索される。
これにより、ある画像の意味的特徴情報および物理的特徴情報を検索キーとして入力すれば、その画像の注目度特徴情報を維持したまま意味的特徴情報または物理的特徴情報の異なる画像を得ることができるという効果が得られる。
〔形態5〕 さらに、形態5の画像検索システムは、形態1ないし4のいずれか1の画像検索システムにおいて、
前記意味的特徴情報は、画像の内容に応じて付与された分類属性であり、
前記物理的特徴情報は、画像の大きさまたは画像に施された配色に関する情報であることを特徴とする。
このような構成であれば、画像の注目度を維持したまま分類属性や大きさ・配色の異なる画像を選択したり、画像の大きさ・配色を維持したまま注目度や分類属性の異なる画像を選択したり、画像の分類属性を維持したまま注目度や大きさ・配色の異なる画像を選択したりすることができる。
〔形態6〕 一方、上記目的を達成するために、形態6の画像検索プログラムは、
検索キーをもとに、複数の検索対象画像のなかから前記検索キーに適合する画像を検索する画像検索プログラムであって、
画像の意味的特徴情報、画像の物理的特徴情報、および画像を注目する度合いを示す注目度特徴情報のうち第1特徴情報および第2特徴情報を前記検索キーとして入力する検索キー入力ステップと、
前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうちいずれか2つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち当該2つの特徴情報以外の残りの特徴情報を求める特徴情報変換ステップと、
前記検索キー入力ステップで入力した第1特徴情報および第2特徴情報をもとに、前記特徴情報変換ステップを行って、前記各検索対象画像を前記第1特徴情報および前記第2特徴情報と対応付けて記憶した検索対象画像記憶手段のなかから、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち前記第1特徴情報および前記第2特徴情報以外の第3特徴情報が一致または近似する検索対象画像を検索する画像検索ステップとからなる処理をコンピュータに実行させるためのプログラムであることを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態1の画像検索システムと同等の作用および効果が得られる。
ここで、画像検索ステップは、特徴情報変換ステップを行って検索対象画像を検索すればどのような形態であってもよく、例えば、少なくとも次の2つの形態が含まれる。第1の形態としては、検索キー入力ステップで入力した第1特徴情報および第2特徴情報に基づいて特徴情報変換ステップにより第3特徴情報を求め、得られた第3特徴情報に基づいて特徴情報変換ステップにより第1特徴情報および第2特徴情報の範囲を決定し、決定した第1特徴情報および第2特徴情報の範囲に属しまたはその範囲に近似する検索対象画像を検索する。第2の形態としては、検索キー入力ステップで入力した第1特徴情報および第2特徴情報に基づいて特徴情報変換ステップにより第3特徴情報を求め、各検索対象画像ごとに、その検索対象画像に対応する第1特徴情報および第2特徴情報に基づいて第3特徴情報を求め、検索キーにより得られた第3特徴情報と同一または近似する第3特徴情報に対応する検索対象画像を検索する。以下、形態11の記憶媒体、並びに形態16および17の画像検索方法において同じである。
また、特徴情報変換ステップは、2つの特徴情報に基づいて残りの特徴情報を求めればどのような形態であってもよく、例えば、意味的特徴情報、物理的特徴情報および注目度特徴情報の対応関係を規定した特徴情報変換辞書に基づいて求めてもよいし、意味的特徴情報、物理的特徴情報および注目度特徴情報の対応関係を規定した関係式により求めてもよい。以下、形態11の記憶媒体、並びに形態16および17の画像検索方法において同じである。
〔形態7〕 さらに、形態7の画像検索プログラムは、形態6の画像検索プログラムにおいて、
前記特徴情報変換ステップは、与えられた前記2つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報の対応関係を規定した特徴情報変換辞書から前記残りの特徴情報を検索することを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態2の画像検索システムと同等の作用および効果が得られる。
〔形態8〕 さらに、形態8の画像検索プログラムは、形態6および7のいずれか1の画像検索プログラムにおいて、
前記第1特徴情報または前記第2特徴情報を第2の前記検索キーとして入力する第2検索キー入力ステップからなる処理をコンピュータに実行させるためのプログラムを含み、
前記画像検索ステップは、前記検索キー入力ステップで入力した第1特徴情報および第2特徴情報に基づいて前記特徴情報変換ステップにより前記第3特徴情報を求め、得られた第3特徴情報および前記第2検索キー入力ステップで入力した第1特徴情報または第2特徴情報に基づいて前記特徴情報変換ステップにより前記第2特徴情報または前記第1特徴情報を求め、得られた第2特徴情報または第1特徴情報、および前記第2検索キー入力ステップで入力した第1特徴情報または第2特徴情報に一致または近似する検索対象画像を前記検索対象画像記憶手段のなかから検索することを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態3の画像検索システムと同等の作用および効果が得られる。
〔形態9〕 さらに、形態9の画像検索プログラムは、形態6ないし8のいずれか1の画像検索プログラムにおいて、
前記第1特徴情報および前記第2特徴情報は、前記意味的特徴情報および前記物理的特徴情報であり、
前記第3特徴情報は、前記注目度特徴情報であることを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態4の画像検索システムと同等の作用および効果が得られる。
〔形態10〕 さらに、形態10の画像検索プログラムは、形態6ないし9のいずれか1の画像検索プログラムにおいて、
前記意味的特徴情報は、画像の内容に応じて付与された分類属性であり、
前記物理的特徴情報は、画像の大きさまたは画像に施された配色に関する情報であることを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態5の画像検索システムと同等の作用および効果が得られる。
〔形態11〕 一方、上記目的を達成するために、形態11の記憶媒体は、
検索キーをもとに、複数の検索対象画像のなかから前記検索キーに適合する画像を検索する画像検索プログラムを記憶したコンピュータ読取可能な記憶媒体であって、
画像の意味的特徴情報、画像の物理的特徴情報、および画像を注目する度合いを示す注目度特徴情報のうち第1特徴情報および第2特徴情報を前記検索キーとして入力する検索キー入力ステップと、
前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうちいずれか2つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち当該2つの特徴情報以外の残りの特徴情報を求める特徴情報変換ステップと、
前記検索キー入力ステップで入力した第1特徴情報および第2特徴情報をもとに、前記特徴情報変換ステップを行って、前記各検索対象画像を前記第1特徴情報および前記第2特徴情報と対応付けて記憶した検索対象画像記憶手段のなかから、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち前記第1特徴情報および前記第2特徴情報以外の第3特徴情報が一致または近似する検索対象画像を検索する画像検索ステップとからなる処理をコンピュータに実行させるためのプログラムを記憶したことを特徴とする。
このような構成であれば、コンピュータによって記憶媒体からプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態1の画像検索システムと同等の作用および効果が得られる。
〔形態12〕 さらに、形態12の記憶媒体は、形態11の記憶媒体において、
前記特徴情報変換ステップは、与えられた前記2つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報の対応関係を規定した特徴情報変換辞書から前記残りの特徴情報を検索することを特徴とする。
このような構成であれば、コンピュータによって記憶媒体からプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態2の画像検索システムと同等の作用および効果が得られる。
〔形態13〕 さらに、形態13の記憶媒体は、形態11および12のいずれか1の記憶媒体において、
前記第1特徴情報または前記第2特徴情報を第2の前記検索キーとして入力する第2検索キー入力ステップからなる処理をコンピュータに実行させるためのプログラムを記憶し、
前記画像検索ステップは、前記検索キー入力ステップで入力した第1特徴情報および第2特徴情報に基づいて前記特徴情報変換ステップにより前記第3特徴情報を求め、得られた第3特徴情報および前記第2検索キー入力ステップで入力した第1特徴情報または第2特徴情報に基づいて前記特徴情報変換ステップにより前記第2特徴情報または前記第1特徴情報を求め、得られた第2特徴情報または第1特徴情報、および前記第2検索キー入力ステップで入力した第1特徴情報または第2特徴情報に一致または近似する検索対象画像を前記検索対象画像記憶手段のなかから検索することを特徴とする。
このような構成であれば、コンピュータによって記憶媒体からプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態3の画像検索システムと同等の作用および効果が得られる。
〔形態14〕 さらに、形態14の記憶媒体は、形態11ないし13のいずれか1の記憶媒体において、
前記第1特徴情報および前記第2特徴情報は、前記意味的特徴情報および前記物理的特徴情報であり、
前記第3特徴情報は、前記注目度特徴情報であることを特徴とする。
このような構成であれば、コンピュータによって記憶媒体からプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態4の画像検索システムと同等の作用および効果が得られる。
〔形態15〕 さらに、形態15の記憶媒体は、形態11ないし14のいずれか1の記憶媒体において、
前記意味的特徴情報は、画像の内容に応じて付与された分類属性であり、
前記物理的特徴情報は、画像の大きさまたは画像に施された配色に関する情報であることを特徴とする。
このような構成であれば、コンピュータによって記憶媒体からプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態5の画像検索システムと同等の作用および効果が得られる。
〔形態16〕 一方、上記目的を達成するために、形態16の画像検索方法は、
検索キーをもとに、複数の検索対象画像のなかから前記検索キーに適合する画像を検索する画像検索方法であって、
画像の意味的特徴情報、画像の物理的特徴情報、および画像を注目する度合いを示す注目度特徴情報のうち第1特徴情報および第2特徴情報を前記検索キーとして入力する検索キー入力ステップと、
前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうちいずれか2つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち当該2つの特徴情報以外の残りの特徴情報を求める特徴情報変換ステップと、
前記検索キー入力ステップで入力した第1特徴情報および第2特徴情報をもとに、前記特徴情報変換ステップを行って、前記各検索対象画像を前記第1特徴情報および前記第2特徴情報と対応付けて記憶した検索対象画像記憶手段のなかから、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち前記第1特徴情報および前記第2特徴情報以外の第3特徴情報が一致または近似する検索対象画像を検索する画像検索ステップとを含むことを特徴とする。
これにより、形態1の画像検索システムと同等の効果が得られる。
〔形態17〕 さらに、形態17の画像検索方法は、
検索キーをもとに、複数の検索対象画像のなかから前記検索キーに適合する画像を検索する画像検索方法であって、
入力手段が、画像の意味的特徴情報、画像の物理的特徴情報、および画像を注目する度合いを示す注目度特徴情報のうち第1特徴情報および第2特徴情報を前記検索キーとして入力する検索キー入力ステップと、
演算手段が、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうちいずれか2つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち当該2つの特徴情報以外の残りの特徴情報を求める特徴情報変換ステップと、
前記演算手段が、前記検索キー入力ステップで入力した第1特徴情報および第2特徴情報をもとに、前記特徴情報変換ステップを行って、前記各検索対象画像を前記第1特徴情報および前記第2特徴情報と対応付けて記憶した検索対象画像記憶手段のなかから、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち前記第1特徴情報および前記第2特徴情報以外の第3特徴情報が一致または近似する検索対象画像を検索する画像検索ステップとを含むことを特徴とする。
これにより、形態1の画像検索システムと同等の効果が得られる。
〔形態18〕 さらに、形態18の画像検索方法は、形態16および17のいずれか1の画像検索方法において、
前記特徴情報変換ステップは、与えられた前記2つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報の対応関係を規定した特徴情報変換辞書から前記残りの特徴情報を検索することを特徴とする。
これにより、形態2の画像検索システムと同等の効果が得られる。
〔形態19〕 さらに、形態19の画像検索方法は、形態16ないし18のいずれか1の画像検索方法において、
前記第1特徴情報または前記第2特徴情報を第2の前記検索キーとして入力する第2検索キー入力ステップを含み、
前記画像検索ステップは、前記検索キー入力ステップで入力した第1特徴情報および第2特徴情報に基づいて前記特徴情報変換ステップにより前記第3特徴情報を求め、得られた第3特徴情報および前記第2検索キー入力ステップで入力した第1特徴情報または第2特徴情報に基づいて前記特徴情報変換ステップにより前記第2特徴情報または前記第1特徴情報を求め、得られた第2特徴情報または第1特徴情報、および前記第2検索キー入力ステップで入力した第1特徴情報または第2特徴情報に一致または近似する検索対象画像を前記検索対象画像記憶手段のなかから検索することを特徴とする。
これにより、形態3の画像検索システムと同等の効果が得られる。
〔形態20〕 さらに、形態20の画像検索方法は、形態16ないし19のいずれか1の画像検索方法において、
前記第1特徴情報および前記第2特徴情報は、前記意味的特徴情報および前記物理的特徴情報であり、
前記第3特徴情報は、前記注目度特徴情報であることを特徴とする。
これにより、形態4の画像検索システムと同等の効果が得られる。
〔形態21〕 さらに、形態21の画像検索方法は、形態16ないし20のいずれか1の画像検索方法において、
前記意味的特徴情報は、画像の内容に応じて付与された分類属性であり、
前記物理的特徴情報は、画像の大きさまたは画像に施された配色に関する情報であることを特徴とする。
これにより、形態5の画像検索システムと同等の効果が得られる。
以下、本発明の実施の形態を図面を参照しながら説明する。図1ないし図9は、本発明に係る画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法の実施の形態を示す図である。
本実施の形態は、本発明に係る画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法を、画像やテキスト等のレイアウト要素を所定のレイアウト領域に配置するレイアウト作業において、レイアウト領域に配置された画像をその注目度を維持しながら内容や大きさの異なる他の画像に変更する場合について適用したものである。
まず、本発明を適用するレイアウト装置100の機能概要を図1を参照しながら説明する。
図1は、レイアウト装置100の機能概要を示す機能ブロック図である。
レイアウト装置100は、図1に示すように、アイキャッチ要素となる画像を分類属性および大きさと対応付けて登録した画像登録DB10と、レイアウトに関する操作や指示を入力する入力部12と、入力部12の入力に基づいて画像登録DB10の画像または他のレイアウト要素をレイアウト領域に配置するレイアウト部14と、レイアウト部14のレイアウト結果を印刷する印刷部16とを有して構成されている。
レイアウト装置100は、さらに、画像の分類属性、画像の大きさおよび画像を注目する度合いを示す注目度特徴情報の対応関係を規定した特徴情報変換辞書を登録した特徴情報変換辞書登録DB18と、特徴情報変換辞書を用いて分類属性、大きさおよび注目度特徴情報を相互に変換する特徴情報変換部20と、レイアウト部14からの変更要求に係る画像の分類属性および大きさ、並びに変更後の大きさを検索キーとして入力する検索キー入力部22と、検索キー入力部22で入力した検索キーをもとに画像登録DB10のなかから画像を検索する画像検索部24とを有して構成されている。
特徴情報変換部20は、分類属性、大きさおよび注目度特徴情報のうちいずれか2つの特徴情報が与えられたときは、与えられた2つの特徴情報に基づいて、特徴情報変換辞書から残りの特徴情報を検索する。
画像検索部24は、検索キー入力部22で入力した分類属性および大きさに基づいて特徴情報変換部20により注目度特徴情報を求め、得られた注目度特徴情報および検索キー入力部22で入力した変更後の大きさに基づいて特徴情報変換部20により分類属性を求め、得られた分類属性および入力した変更後の大きさに一致または近似する画像を画像登録DB10のなかから検索する。
次に、レイアウト装置100の構成を図2ないし図6を参照しながら説明する。
図2は、レイアウト装置100のハードウェア構成を示すブロック図である。
レイアウト装置100は、図2に示すように、制御プログラムに基づいて演算およびシステム全体を制御するCPU50と、所定領域にあらかじめCPU50の制御プログラム等を格納しているROM52と、ROM52等から読み出したデータやCPU50の演算過程で必要な演算結果を格納するためのRAM54と、外部装置に対してデータの入出力を媒介するI/F58とで構成されており、これらは、データを転送するための信号線であるバス59で相互にかつデータ授受可能に接続されている。
I/F58には、外部装置として、画像登録DB10と、特徴情報変換辞書登録DB18と、ヒューマンインターフェースとしてデータの入力が可能なキーボードやマウス等からなる入力装置60と、画像信号に基づいて画面を表示する表示装置62と、印刷データに基づいて印刷を行う印刷装置64とが接続されている。
次に、画像登録DB10のデータ構造を図3を参照しながら詳細に説明する。
画像登録DB10は、アイキャッチ要素となる複数の画像と、各画像ごとに分類属性および大きさを登録した画像特徴情報登録テーブル400とを登録している。
図3は、画像特徴情報登録テーブル400のデータ構造を示す図である。
画像特徴情報登録テーブル400には、図3に示すように、各画像ごとに1つのレコードが登録されている。各レコードは、画像のファイル名を登録したフィールド402と、画像の分類属性を登録したフィールド404と、画像の大きさを登録したフィールド406とを含んで構成されている。分類属性としては、例えば、「顔」、「人物」、「動物」および「風景」のいずれか1つを登録する。
図3の例では、第1段目のレコードには、ファイル名として「image01.jpg」が、分類属性として「顔」が、大きさとして「40(200×200)」がそれぞれ登録されている。これは、ファイル名「image01.jpg」の画像は、人物の顔を示す顔画像であり、大きさが40[kpixel]であることを示している。
次に、特徴情報変換辞書登録DB18のデータ構造を図4および図5を参照しながら詳細に説明する。
特徴情報変換辞書登録DB18は、分類属性、大きさおよび注目度特徴情報の対応関係を規定した特徴情報変換辞書を登録している。特徴情報変換辞書には、分類属性と大きさが変化したときに注目度特徴情報がどのように変化するかを感性評価実験により評価し、その評価結果に基づいて、大きさおよび注目度特徴情報をそれぞれY軸およびX軸に割り当ててなる2次元画像特徴情報空間を分類属性によって区分した情報が記憶されている。
感性評価実験の手順を簡単に説明する。なお、本実施の形態の感性評価実験は、分類属性間の間隔尺度を得る一例であって、他の感性評価実験で得られた評価結果を用いることもできる。
(1)分類属性の付いた画像を複数用意する。
本実施の形態では、説明の簡略化のため、分類属性は、「顔」、「人物」、「動物」および「風景」の4種類とし、それらが写っている画像を評価対象画像として複数(各種類につき100個程度)用意する。
(2)評価方法としては、複数の評価対象画像のなかから無作為に選択しかつ無作為に大きさを変更した2つの画像を被験者(40人程度)に提示し、注目する方の画像を被験者に選択してもらうという一対比較法を採用した。なお、提示した2つの画像のうちどちらの画像を最初に見たかを被験者に聞き取る方法でもよいが、アイカメラを用いて被験者の視線の動きを観察することによって主観的な判断の入る余地を少なくすると、より客観的な評価結果が得られる。
(3)各分類属性と大きさの組み合わせについて、選択回数を集計し、その集計結果から、注目しやすさの確率値を注目度特徴情報として求める。
分類属性が「顔」の画像は、多少のばらつきがあるものの、他の分類属性の画像より注目されやすいため選択回数が多くなり、結果的に注目度特徴情報が大きくなる。分類属性が「風景」の画像は、逆に、他の分類属性の画像より注目されにくいため選択回数が少なくなり、結果的に注目度特徴情報が小さくなる。
図4は、画像の分類属性、大きさおよび注目度特徴情報の対応関係を示す概念図である。
感性評価実験で得られた評価結果は、概念的には、図4に示すように、上記2次元画像特徴情報空間において分離直線で各分類属性の区分を分離することにより、分類属性、大きさおよび注目度特徴情報の対応関係が示されている。本実施の形態では、画像特徴情報空間を2次元平面で表した例であるが、画像特徴情報空間は、分類属性、大きさまたは注目度特徴情報のいずれかが多次元の要素から構成される場合などは、3次元以上であってもよい。また、図4の分離直線は、一次関数に限らず、2次以上の関数や曲線等であってもよい。また、画像特徴情報空間を3次元以上の空間として構成する場合は、分離境界が平面や曲面で表現されることもあり得る。
特徴情報変換辞書は、このような感性評価実験に基づいて構成される。
図5は、特徴情報変換辞書のデータ構造を示す図である。
特徴情報変換辞書は、図5に示すように、Xmax×Ymax個のデータを格納可能なテーブルF[Xmax][Ymax]を作成し、テーブルF[][]の2次元マトリクスを図4の画像特徴情報空間に対応させて各座標の分類属性をテーブルF[0〜Xmax−1][0〜Ymax−1]に格納して構成される。
例えば、テーブルF[0][0]は、大きさおよび注目度特徴情報がいずれも「0」の画像に対応し、分類属性として「風景」を格納している。また、テーブルF[Xmax−1][Ymax−1]は、大きさが「500」および注目度特徴情報が「1」の画像に対応し、分類属性として「顔」を格納している。
一方、図2に戻り、CPU50は、マイクロプロセッシングユニット等からなり、ROM52の所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図6のフローチャートに示す画像検索処理を実行するようになっている。
図6は、画像検索処理を示すフローチャートである。
画像検索処理は、レイアウト部14からの変更要求に応じて、レイアウト領域に配置された画像をその注目度を維持しながら内容や大きさの異なる他の画像に変更する処理であって、CPU50において実行されると、図6に示すように、まず、ステップS100に移行するようになっている。
ステップS100では、レイアウト部14からの変更要求を入力したか否かを判定し、変更要求を入力したと判定したとき(Yes)は、ステップS102に移行するが、そうでないと判定したとき(No)は、変更要求を入力するまでステップS100で待機する。
ステップS102では、レイアウト領域に配置されている画像のなかから変更対象となる画像の指定を入力装置60またはレイアウト部14から入力し、ステップS104に移行して、指定された画像(以下、指定画像という。)に対応する分類属性および大きさを画像特徴情報登録テーブル400から読み出し、ステップS106に移行して、変更後の画像の大きさを入力装置60またはレイアウト部14から入力する。
次いで、ステップS108に移行して、読み出した分類属性および大きさに基づいて、特徴情報変換辞書から注目度特徴情報を検索する。まず、図5の特徴情報変換辞書を参照すると、読み出した大きさに相当するY座標線上において、読み出した分類属性と同一の分類属性となるX座標の範囲を決定することができる。そして、注目度特徴情報は、例えば、決定したX座標の範囲の中点として求める。例えば、分類属性が「動物」、大きさが「400」である場合は、X座標の範囲を「0.3」〜「0.5」として決定することができ、注目度特徴情報は、その中点、すなわち「0.4」として求まる。
次いで、ステップS110に移行して、ステップS108で得られた注目度特徴情報および入力した変更後の大きさに基づいて、特徴情報変換辞書から分類属性を検索する。まず、図5の特徴情報変換辞書を参照すると、分類属性は、得られた注目度特徴情報に相当するX座標と、入力した変更後の大きさに相当するY座標により特定される分類属性として求めることができる。例えば、注目度特徴情報が「0.4」、変更後の大きさが「50」である場合は、分類属性は、「動物」として求まる。
次いで、ステップS112に移行して、画像特徴情報登録テーブル400を参照して、ステップS110で得られた分類属性および入力した変更後の大きさに対応する画像を画像登録DB10のなかから検索し、ステップS114に移行して、指定画像を、索出した画像に変更し、一連の処理を終了して元の処理に復帰させる。
次に、本実施の形態の動作を図7ないし図9を参照しながら説明する。
図7は、レイアウトに使用するレイアウトテンプレートの構成を示す図である。
レイアウト部14では、レイアウトテンプレートを用いて画像登録DB10の画像または他のレイアウト要素をレイアウトする。レイアウトテンプレートは、図7に示すように、1または複数の情報格納枠をレイアウト領域に配置したレイアウトを規定したものである。レイアウトテンプレートとしては、例えば、特開2002−297571号公報に開示されているレイアウト定義ファイルを利用することができる。
図7の例では、レイアウト領域600には、タイトルを格納するためのタイトル格納枠602と、画像を格納するための画像格納枠604と、テキストを格納するためのテキスト格納枠606とが配置されている。
図8は、画像格納枠604に画像を格納した場合を説明するための図である。
ユーザは、まず、図8に示すように、レイアウト部14により、例えば、ファイル名「image06.jpg」の画像を画像登録DB10から読み出し、読み出した画像を画像格納枠604に格納する。この画像は、分類属性が「動物」、大きさが490[kpixel]である。
次に、ユーザは、レイアウト部14により、あるテキストをテキスト格納枠606に格納したところ、格納したテキストの文章量が大きくテキスト格納枠606に格納しきれないため、テキスト格納枠606のサイズを大きくする。
図9は、画像格納枠604の画像を変更する場合を説明するための図である。
この場合、図9に示すように、画像格納枠604とテキスト格納枠606が重なり合うため、ユーザは、レイアウト部14により、画像格納枠604のサイズを小さくする。その結果、画像格納枠604の大きさが10[kpixel]となったとする。また、ユーザは、画像が小さくなると、要求される注目度を満足することができないため、レイアウト部14により、ファイル名「image06.jpg」の画像を変更すべき変更要求を入力する。
レイアウト装置100では、変更要求が入力されると、ステップS102を経て、レイアウト領域600に配置されている画像のなかから変更対象となる画像の指定が入力される。ここでは、ファイル名「image06.jpg」の画像の指定が入力される。画像が指定されると、ステップS104を経て、指定画像に対応する分類属性および大きさが画像特徴情報登録テーブル400から読み出される。
次いで、ステップS106を経て、変更後の画像の大きさが入力される。ここでは、画像格納枠604の大きさが10[kpixel]となっているので、10[kpixel]が入力される。
次いで、ステップS108を経て、読み出された分類属性および大きさに基づいて、特徴情報変換辞書から注目度特徴情報が検索される。指定画像は、分類属性が「動物」、大きさが490[kpixel]であるので、図5の特徴情報変換辞書を参照すると、X座標の範囲を「0.3」〜「0.6」として決定することができ、注目度特徴情報は、その中点、すなわち「0.45」として求まる。
次いで、ステップS110を経て、得られた注目度特徴情報および入力された変更後の大きさに基づいて、特徴情報変換辞書から分類属性が検索される。得られた注目度特徴情報が「0.45」、変更後の大きさが「10」であるので、図5の特徴情報変換辞書を参照すると、分類属性は、「人物」として求まる。
次いで、ステップS112を経て、得られた分類属性および入力された変更後の大きさに対応する画像が画像登録DB10のなかから検索される。得られた分類属性が「人物」、変更後の大きさが「10」であるので、図4の画像特徴情報登録テーブル400を参照すると、ファイル名「image02.jpg」の画像が該当するので、この画像が索出される。なお、該当の画像が存在しない場合は、得られた分類属性および入力された変更後の大きさに最も近似する分類属性および大きさに対応する画像が画像登録DB10のなかから検索される。
そして、ステップS114を経て、指定画像が、索出された画像に変更される。その結果、画像格納枠604には、図9に示すように、ファイル名「image06.jpg」の画像に代えて、ファイル名「image02.jpg」の画像が格納されている。
このようにして、本実施の形態では、分類属性および大きさを第1検索キーとして入力し、変更後の大きさを第2検索キーとして入力し、第1検索キーに基づいて特徴情報変換部20により注目度特徴情報を求め、得られた注目度特徴情報および第2検索キーに基づいて特徴情報変換部20により分類属性を求め、得られた分類属性および第2検索キーと一致する画像を画像登録DB10のなかから検索するようになっている。
これにより、画像の注目度を維持したまま変更後の大きさに一致または近似する画像を得ることができるので、従来に比して、要求される注目度を満足しつつ、レイアウト要素の数や量に応じてレイアウトを行うのが容易となる。
さらに、本実施の形態では、与えられた2つの特徴情報に基づいて、特徴情報変換辞書から残りの特徴情報を検索するようになっている。
分類属性、大きさおよび注目度特徴情報の対応関係は、人の主観に依存する要素があるため、それを関係式により規定するのは困難であると考えられる。したがって、関係式により求める場合に比して、与えられた2つの特徴情報に基づいて残りの特徴情報を比較的適切に求めることができる。
上記実施の形態において、画像登録DB10は、形態1、3、6、8、11、13、16、17または19の検索対象画像記憶手段に対応し、CPU50は、形態17の演算手段に対応し、入力装置60は、形態17の入力手段に対応し、特徴情報変換辞書登録DB18は、形態2の特徴情報変換辞書記憶手段に対応している。また、検索キー入力部22およびステップS104,S106は、形態1若しくは3の検索キー入力手段、または形態3の第2検索キー入力手段に対応し、ステップS104,S106は、形態6、8、11、13、16、17若しくは19の検索キー入力ステップ、または形態8、13若しくは19の第2検索キー入力ステップに対応している。
また、上記実施の形態において、特徴情報変換部20およびステップS108,S110は、形態1ないし3の特徴情報変換手段に対応し、ステップS108,S110は、形態6ないし8、11ないし13、16ないし19の特徴情報変換ステップに対応し、画像検索部24およびステップS112は、形態1または3の画像検索手段に対応している。また、ステップS112は、形態6、8、11、13、16、17または19の画像検索ステップに対応し、分類属性は、形態1、2、4ないし7、9ないし12、14ないし18、20若しくは21の意味的特徴情報、または形態1、3、4、6、8、9、11、13、14、16、17、19若しくは20の第1特徴情報に対応している。
また、上記実施の形態において、大きさは、形態1、2、4ないし7、9ないし12、14ないし18、20若しくは21の物理的特徴情報、または形態1、3、4、6、8、9、11、13、14、16、17、19若しくは20の第2特徴情報に対応し、注目度特徴情報は、形態1、3、4、6、8、9、11、13、14、16、17、19または20の第3特徴情報に対応している。
なお、上記実施の形態においては、分類属性および大きさを第1検索キーとして入力し、変更後の大きさを第2検索キーとして入力し、第1検索キーに基づいて特徴情報変換部20により注目度特徴情報を求め、得られた注目度特徴情報および第2検索キーに基づいて特徴情報変換部20により分類属性を求め、得られた分類属性および第2検索キーと一致する画像を画像登録DB10のなかから検索するように構成したが、これに限らず、次の8つの構成を提案することができる。
第1の構成としては、分類属性および大きさと対応付けて各画像を画像登録DB10に登録しておき、分類属性および大きさを第1検索キーとして入力し、変更後の分類属性を第2検索キーとして入力し、第1検索キーに基づいて特徴情報変換部20により注目度特徴情報を求め、得られた注目度特徴情報および第2検索キーに基づいて特徴情報変換部20により大きさを求め、得られた大きさおよび第2検索キーと一致または近似する画像を画像登録DB10のなかから検索する。
これにより、画像の注目度を維持したまま変更後の分類属性に一致または近似する画像を得ることができる。
第2の構成としては、分類属性および注目度特徴情報と対応付けて各画像を画像登録DB10に登録しておき、分類属性および注目度特徴情報を第1検索キーとして入力し、変更後の分類属性を第2検索キーとして入力し、第1検索キーに基づいて特徴情報変換部20により大きさを求め、得られた大きさおよび第2検索キーに基づいて特徴情報変換部20により注目度特徴情報を求め、得られた注目度特徴情報および第2検索キーと一致または近似する画像を画像登録DB10のなかから検索する。
これにより、画像の大きさを維持したまま変更後の分類属性に一致または近似する画像を得ることができる。例えば、注目度をできるだけ大きくするという要求があるが、アイキャッチ要素の大きさが制限されている場合に有利である。
第3の構成としては、分類属性および注目度特徴情報と対応付けて各画像を画像登録DB10に登録しておき、分類属性および注目度特徴情報を第1検索キーとして入力し、変更後の注目度特徴情報を第2検索キーとして入力し、第1検索キーに基づいて特徴情報変換部20により大きさを求め、得られた大きさおよび第2検索キーに基づいて特徴情報変換部20により分類属性を求め、得られた分類属性および第2検索キーと一致または近似する画像を画像登録DB10のなかから検索する。
これにより、画像の大きさを維持したまま変更後の注目度特徴情報に一致または近似する画像を得ることができる。例えば、注目度をできるだけ大きくするという要求があるが、アイキャッチ要素の大きさが制限されている場合に有利である。
第4の構成としては、大きさおよび注目度特徴情報と対応付けて各画像を画像登録DB10に登録しておき、大きさおよび注目度特徴情報を第1検索キーとして入力し、変更後の大きさを第2検索キーとして入力し、第1検索キーに基づいて特徴情報変換部20により分類属性を求め、得られた分類属性および第2検索キーに基づいて特徴情報変換部20により注目度特徴情報を求め、得られた注目度特徴情報および第2検索キーと一致または近似する画像を画像登録DB10のなかから検索する。
これにより、画像の分類属性を維持したまま変更後の大きさに一致または近似する画像を得ることができる。例えば、注目度をできるだけ大きくするという要求があるが、アイキャッチ要素の分類属性が制限されている場合に有利である。
第5の構成としては、大きさおよび注目度特徴情報と対応付けて各画像を画像登録DB10に登録しておき、大きさおよび注目度特徴情報を第1検索キーとして入力し、変更後の注目度特徴情報を第2検索キーとして入力し、第1検索キーに基づいて特徴情報変換部20により分類属性を求め、得られた分類属性および第2検索キーに基づいて特徴情報変換部20により大きさを求め、得られた大きさおよび第2検索キーと一致または近似する画像を画像登録DB10のなかから検索する。
これにより、画像の分類属性を維持したまま変更後の注目度特徴情報に一致または近似する画像を得ることができる。例えば、注目度をできるだけ大きくするという要求があるが、アイキャッチ要素の分類属性が制限されている場合に有利である。
第6の構成としては、分類属性、大きさおよび注目度特徴情報と対応付けて各画像を画像登録DB10に登録しておき、画像を検索キーとして入力し、検索キーの注目度特徴情報を算出し、算出した注目度特徴情報と一致または近似する画像を画像登録DB10のなかから検索する。
これにより、画像の注目度を維持したまま分類属性や大きさの異なる画像を得ることができる。
第7の構成としては、分類属性、大きさおよび注目度特徴情報と対応付けて各画像を画像登録DB10に登録しておき、画像を検索キーとして入力し、検索キーの分類属性を入力し、入力した分類属性と一致または近似する画像を画像登録DB10のなかから検索する。
これにより、画像の分類属性を維持したまま大きさや注目度の異なる画像を得ることができる。
第8の構成としては、分類属性、大きさおよび注目度特徴情報と対応付けて各画像を画像登録DB10に登録しておき、画像を検索キーとして入力し、検索キーの大きさを算出し、算出した大きさと一致または近似する画像を画像登録DB10のなかから検索する。
これにより、画像の大きさを維持したまま分類属性や注目度の異なる画像を得ることができる。
また、上記実施の形態においては、変更後の大きさを第2検索キーとして入力するように構成したが、これに限らず、第2検索キーを入力しない構成とすることもできる。この場合、例えば、第1検索キーとして入力した分類属性および大きさに基づいて特徴情報変換部20により注目度特徴情報を求め、得られた注目度特徴情報に基づいて特徴情報変換部20により分類属性および大きさの範囲を決定し、決定した分類属性および大きさの範囲に属しまたはその範囲に近似する画像を画像登録DB10のなかから検索する。このような構成は、上記第1ないし第5の構成についても同様に適用することができる。
また、上記実施の形態においては、画像登録DB10および特徴情報変換辞書登録DB18をレイアウト装置100の外部装置として設けたが、これに限らず、画像登録DB10または特徴情報変換辞書登録DB18をネットワーク上の任意の端末に設け、レイアウト装置100とそれら端末とをネットワークで接続し、レイアウト装置100がそれら端末のDB10,18を利用するように構成することもできる。
また、上記実施の形態においては、レイアウト装置100を一体の装置として構成したが、これに限らず、複数の装置をネットワークで接続したネットワークシステムとして構成することもできる。例えば、ホスト端末とレイアウト処理サーバで構成した場合は、次のような構成を提案することができる。
ホスト端末は、入力部12を有し、入力部12の入力情報をレイアウトサーバに送信する。
レイアウト処理サーバは、画像登録DB10、レイアウト部14、印刷部16、特徴情報変換辞書登録DB18、特徴情報変換部20、検索キー入力部22および画像検索部24を有し、ホスト端末から入力情報を受信し、受信した入力情報をレイアウト部14に出力する。
また、上記実施の形態においては、検索により該当の画像が1つだけ索出された場合を説明したが、検索により該当の画像が複数索出された場合、または、該当の画像のほか近似する画像を索出した場合は、それらを一覧として表示し、ユーザに選択させ、指定画像を、ユーザが選択した画像に変更するように構成することもできる。
また、上記実施の形態において、図6のフローチャートに示す処理を実行するにあたっては、ROM52にあらかじめ格納されている制御プログラムを実行する場合について説明したが、これに限らず、図10に示すように、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをRAM54に読み込んで実行するようにしてもよい。
図10は、記憶媒体およびそのデータ構造を示す図である。
ここで、記憶媒体とは、RAM、ROM等の半導体記憶媒体、FD、HD等の磁気記憶型記憶媒体、CD、CDV、LD、DVD等の光学的読取方式記憶媒体、MO等の磁気記憶型/光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
また、上記実施の形態においては、本発明に係る画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法を、画像やテキスト等のレイアウト要素を所定のレイアウト領域に配置するレイアウト作業において、レイアウト領域に配置された画像をその注目度を維持しながら内容や大きさの異なる他の画像に変更する場合について適用したが、これに限らず、本発明の主旨を逸脱しない範囲で他の場合にも適用可能である。
レイアウト装置100の機能概要を示す機能ブロック図である。 レイアウト装置100のハードウェア構成を示すブロック図である。 画像特徴情報登録テーブル400のデータ構造を示す図である。 画像の分類属性、大きさおよび注目度特徴情報の対応関係を示す概念図である。 特徴情報変換辞書のデータ構造を示す図である。 画像検索処理を示すフローチャートである。 レイアウトに使用するレイアウトテンプレートの構成を示す図である。 画像格納枠604に画像を格納した場合を説明するための図である。 画像格納枠604の画像を変更する場合を説明するための図である。 記憶媒体およびそのデータ構造を示す図である。
符号の説明
100…レイアウト装置, 10…画像登録DB, 12…入力部, 14…レイアウト部, 16…印刷部, 18…特徴情報変換辞書登録DB, 20…特徴情報変換部, 22…検索キー入力部, 24…画像検索部, 50…CPU, 52…ROM, 54…RAM, 58…I/F, 59…バス, 60…入力装置, 62…表示装置, 64…印刷装置, 400…画像特徴情報登録テーブル, 600…レイアウト領域, 602…タイトル格納枠, 604…画像格納枠, 606…テキスト格納枠

Claims (9)

  1. 検索キーをもとに、複数の検索対象画像のなかから前記検索キーに適合する画像を検索する画像検索システムであって、
    前記各検索対象画像を、画像の意味的特徴情報、画像の物理的特徴情報、および画像を注目する度合いを示す注目度特徴情報のうち第1特徴情報および第2特徴情報と対応付けて記憶する検索対象画像記憶手段と、
    前記第1特徴情報および前記第2特徴情報を前記検索キーとして入力する検索キー入力手段と、
    前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうちいずれか2つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち当該2つの特徴情報以外の残りの特徴情報を求める特徴情報変換手段と、
    前記検索キー入力手段で入力した第1特徴情報および第2特徴情報をもとに、前記特徴情報変換手段を利用して、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち前記第1特徴情報および前記第2特徴情報以外の第3特徴情報が一致または近似する検索対象画像を前記検索対象画像記憶手段のなかから検索する画像検索手段とを備えることを特徴とする画像検索システム。
  2. 請求項1において、
    前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報の対応関係を規定した特徴情報変換辞書を記憶する特徴情報変換辞書記憶手段を備え、
    前記特徴情報変換手段は、与えられた前記2つの特徴情報に基づいて、前記特徴情報変換辞書から前記残りの特徴情報を検索するようになっていることを特徴とする画像検索システム。
  3. 請求項1および2のいずれか1項において、
    前記第1特徴情報または前記第2特徴情報を第2の前記検索キーとして入力する第2検索キー入力手段を備え、
    前記画像検索手段は、前記検索キー入力手段で入力した第1特徴情報および第2特徴情報に基づいて前記特徴情報変換手段により前記第3特徴情報を求め、得られた第3特徴情報および前記第2検索キー入力手段で入力した第1特徴情報または第2特徴情報に基づいて前記特徴情報変換手段により前記第2特徴情報または前記第1特徴情報を求め、得られた第2特徴情報または第1特徴情報、および前記第2検索キー入力手段で入力した第1特徴情報または第2特徴情報に一致または近似する検索対象画像を前記検索対象画像記憶手段のなかから検索するようになっていることを特徴とする画像検索システム。
  4. 請求項1ないし3のいずれか1項において、
    前記第1特徴情報および前記第2特徴情報は、前記意味的特徴情報および前記物理的特徴情報であり、
    前記第3特徴情報は、前記注目度特徴情報であることを特徴とする画像検索システム。
  5. 請求項1ないし4のいずれか1項において、
    前記意味的特徴情報は、画像の内容に応じて付与された分類属性であり、
    前記物理的特徴情報は、画像の大きさまたは画像に施された配色に関する情報であることを特徴とする画像検索システム。
  6. 検索キーをもとに、複数の検索対象画像のなかから前記検索キーに適合する画像を検索する画像検索プログラムであって、
    画像の意味的特徴情報、画像の物理的特徴情報、および画像を注目する度合いを示す注目度特徴情報のうち第1特徴情報および第2特徴情報を前記検索キーとして入力する検索キー入力ステップと、
    前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうちいずれか2つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち当該2つの特徴情報以外の残りの特徴情報を求める特徴情報変換ステップと、
    前記検索キー入力ステップで入力した第1特徴情報および第2特徴情報をもとに、前記特徴情報変換ステップを行って、前記各検索対象画像を前記第1特徴情報および前記第2特徴情報と対応付けて記憶した検索対象画像記憶手段のなかから、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち前記第1特徴情報および前記第2特徴情報以外の第3特徴情報が一致または近似する検索対象画像を検索する画像検索ステップとからなる処理をコンピュータに実行させるためのプログラムであることを特徴とする画像検索プログラム。
  7. 検索キーをもとに、複数の検索対象画像のなかから前記検索キーに適合する画像を検索する画像検索プログラムを記憶したコンピュータ読取可能な記憶媒体であって、
    画像の意味的特徴情報、画像の物理的特徴情報、および画像を注目する度合いを示す注目度特徴情報のうち第1特徴情報および第2特徴情報を前記検索キーとして入力する検索キー入力ステップと、
    前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうちいずれか2つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち当該2つの特徴情報以外の残りの特徴情報を求める特徴情報変換ステップと、
    前記検索キー入力ステップで入力した第1特徴情報および第2特徴情報をもとに、前記特徴情報変換ステップを行って、前記各検索対象画像を前記第1特徴情報および前記第2特徴情報と対応付けて記憶した検索対象画像記憶手段のなかから、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち前記第1特徴情報および前記第2特徴情報以外の第3特徴情報が一致または近似する検索対象画像を検索する画像検索ステップとからなる処理をコンピュータに実行させるためのプログラムを記憶したことを特徴とする記憶媒体。
  8. 検索キーをもとに、複数の検索対象画像のなかから前記検索キーに適合する画像を検索する画像検索方法であって、
    画像の意味的特徴情報、画像の物理的特徴情報、および画像を注目する度合いを示す注目度特徴情報のうち第1特徴情報および第2特徴情報を前記検索キーとして入力する検索キー入力ステップと、
    前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうちいずれか2つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち当該2つの特徴情報以外の残りの特徴情報を求める特徴情報変換ステップと、
    前記検索キー入力ステップで入力した第1特徴情報および第2特徴情報をもとに、前記特徴情報変換ステップを行って、前記各検索対象画像を前記第1特徴情報および前記第2特徴情報と対応付けて記憶した検索対象画像記憶手段のなかから、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち前記第1特徴情報および前記第2特徴情報以外の第3特徴情報が一致または近似する検索対象画像を検索する画像検索ステップとを含むことを特徴とする画像検索方法。
  9. 検索キーをもとに、複数の検索対象画像のなかから前記検索キーに適合する画像を検索する画像検索方法であって、
    入力手段が、画像の意味的特徴情報、画像の物理的特徴情報、および画像を注目する度合いを示す注目度特徴情報のうち第1特徴情報および第2特徴情報を前記検索キーとして入力する検索キー入力ステップと、
    演算手段が、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうちいずれか2つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち当該2つの特徴情報以外の残りの特徴情報を求める特徴情報変換ステップと、
    前記演算手段が、前記検索キー入力ステップで入力した第1特徴情報および第2特徴情報をもとに、前記特徴情報変換ステップを行って、前記各検索対象画像を前記第1特徴情報および前記第2特徴情報と対応付けて記憶した検索対象画像記憶手段のなかから、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち前記第1特徴情報および前記第2特徴情報以外の第3特徴情報が一致または近似する検索対象画像を検索する画像検索ステップとを含むことを特徴とする画像検索方法。
JP2005048618A 2004-06-29 2005-02-24 画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法 Expired - Fee Related JP4111198B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005048618A JP4111198B2 (ja) 2004-06-29 2005-02-24 画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法
US11/168,056 US7409110B2 (en) 2004-06-29 2005-06-28 Image retrieval system, image retrieval program and storage medium and image retrieval method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004191365 2004-06-29
JP2005048618A JP4111198B2 (ja) 2004-06-29 2005-02-24 画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005235258A Division JP2006048711A (ja) 2004-06-29 2005-08-15 画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法

Publications (2)

Publication Number Publication Date
JP2006048633A JP2006048633A (ja) 2006-02-16
JP4111198B2 true JP4111198B2 (ja) 2008-07-02

Family

ID=35505824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005048618A Expired - Fee Related JP4111198B2 (ja) 2004-06-29 2005-02-24 画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法

Country Status (2)

Country Link
US (1) US7409110B2 (ja)
JP (1) JP4111198B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891960B2 (en) 2000-08-12 2005-05-10 Facet Technology System for road sign sheeting classification
US7590310B2 (en) 2004-05-05 2009-09-15 Facet Technology Corp. Methods and apparatus for automated true object-based image analysis and retrieval
US7451041B2 (en) 2005-05-06 2008-11-11 Facet Technology Corporation Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route
KR20070102346A (ko) * 2006-04-13 2007-10-18 삼성전자주식회사 디바이스의 XHTML-Print 데이터 생성 방법 및장치
ES2306616B1 (es) 2008-02-12 2009-07-24 Fundacion Cidaut Procedimiento de determinacion de la luminancia de señales de trafico y dispositivo para su realizacion.
JP4643735B1 (ja) * 2009-08-31 2011-03-02 株式会社東芝 電子機器及び映像処理方法
US8823743B2 (en) * 2009-10-02 2014-09-02 Sony Corporation Image processing device and method, and program
KR101044320B1 (ko) * 2010-10-14 2011-06-29 주식회사 네오패드 가상 키입력수단의 배경화면 컨텐츠 제공 방법 및 시스템
CN103870569B (zh) * 2014-03-13 2017-05-10 北方信息控制集团有限公司 一种基于内容的彩色动物图像检索方法与系统
US10302697B2 (en) * 2015-11-19 2019-05-28 International Business Machines Corporation Automated scan chain diagnostics using emission
US20200193225A1 (en) * 2017-04-28 2020-06-18 Toyota Motor Europe System and method for detecting objects in a digital image, and system and method for rescoring object detections

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3729222B2 (ja) 1996-12-24 2005-12-21 富士ゼロックス株式会社 画像デザイン支援装置
US6832006B2 (en) 2001-07-23 2004-12-14 Eastman Kodak Company System and method for controlling image compression based on image emphasis

Also Published As

Publication number Publication date
US20050286806A1 (en) 2005-12-29
JP2006048633A (ja) 2006-02-16
US7409110B2 (en) 2008-08-05

Similar Documents

Publication Publication Date Title
JP4111198B2 (ja) 画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法
JP5309155B2 (ja) イメージ検索における対話型概念学習
JP4340367B2 (ja) 画像分類装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
US7953679B2 (en) Scalable indexing for layout based document retrieval and ranking
JP5033580B2 (ja) 画像処理装置及び画像処理方法
JP5956860B2 (ja) 画像処理装置、画像処理方法、プログラム
JP5229744B2 (ja) 画像分類装置および画像分類プログラム
CN101755267B (zh) 组成平衡和颜色驱动的内容检索
US8660378B2 (en) Image evaluating device for calculating an importance degree of an object and an image, and an image evaluating method, program, and integrated circuit for performing the same
EP1443428A2 (en) Image retrieving device, method for adding keywords in image retrieving device, and computer program therefor
US8731308B2 (en) Interactive image selection method
JP4388301B2 (ja) 画像検索装置、画像検索方法、画像検索プログラム及びそのプログラムを記録した記録媒体
US20180089228A1 (en) Interactive image selection method
JP2010504593A (ja) 分類手法を用いて画像からドミナントカラーを抽出する方法
JP6282065B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20110052074A1 (en) Image database creation device, image retrieval device, image database creation method and image retrieval method
US20080244384A1 (en) Image retrieval apparatus, method for retrieving image, and control program for image retrieval apparatus
JP2018073429A (ja) 検索装置、検索方法および検索プログラム
JP2009134735A (ja) 画像分類装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2011039944A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP4556739B2 (ja) 画像管理装置、画像管理方法、および画像管理プログラム
JP2004240887A (ja) 検索情報表示システム及び検索キーワード情報表示方法及び検索キーワード情報表示プログラム
JP2006048711A (ja) 画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法
JP2004192555A (ja) 情報管理方法、情報管理装置及び情報管理プログラム
JP2000048041A (ja) データ検索システム及びこれに用いる装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080331

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110418

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110418

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees