JP6387026B2 - 書籍探索装置、方法及びプログラム - Google Patents
書籍探索装置、方法及びプログラム Download PDFInfo
- Publication number
- JP6387026B2 JP6387026B2 JP2016006889A JP2016006889A JP6387026B2 JP 6387026 B2 JP6387026 B2 JP 6387026B2 JP 2016006889 A JP2016006889 A JP 2016006889A JP 2016006889 A JP2016006889 A JP 2016006889A JP 6387026 B2 JP6387026 B2 JP 6387026B2
- Authority
- JP
- Japan
- Prior art keywords
- image feature
- image
- book
- books
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
この発明の一態様による書籍探索装置は、書籍の代表画像を、少なくともその書籍を構成する複数のページの中の絵及び文字が含まれる画像として、検索対象となる書籍の代表画像から複数の画像特徴量を抽出する第一画像特徴量抽出部と、複数の書籍のそれぞれの代表画像に対応する複数の画像特徴量を記憶する画像特徴量記憶部と、抽出された検索対象となる書籍の代表画像に対応する複数の画像特徴量と、画像特徴量記憶部から読み込んだ複数の書籍の代表画像に対応する複数の画像特徴量とを用いて、検索対象となる書籍の代表画像と類似性が高い代表画像を有する1個以上の書籍を複数の書籍の中から探索する探索部と、を備えており、複数の画像特徴量にそれぞれ複数の重みが対応付けられているとして、複数の重みのそれぞれが入力される重み設定部を更に含み、複数の画像特徴量のうち2以上の画像特徴量は、色合いを表す画像特徴量のグループ、形状を表す画像特徴量のグループ、レイアウトを表す画像特徴量のグループ及び書き込み度合いを表す画像特徴量のグループのいずれかに属しており、グループの中の少なくとも2個のグループは、当該グループに属する画像特徴量を1以上含み、重み設定部は、属する画像特徴量を含むグループのいずれかを重視する旨の情報が入力された場合には、入力されたグループに属する画像特徴量に対応づけられた重みを、入力されたグループ以外のグループに属する画像特徴量に対応する重みよりも大きい、予め定められた値となるように一括して設定するものであり、探索部は、入力されたグループに属する画像特徴量の類似性に対する影響が大きい探索を行う。
以下、図面を参照して、書籍探索装置及び方法の一実施形態について説明する。書籍探索装置は、図1に示すように、第一画像特徴量抽出部1、画像特徴量記憶部2、探索部3、第二画像特徴量抽出部4、代表画像記憶部5、重み設定部6及び探索書籍表示装置である7を例えば備えている。書籍探索装置の各部が、図2の各ステップの処理を行うことにより、書籍探索方法が実現される。
第一画像特徴量抽出部1には、検索のキーとなる書籍の代表画像が入力される。この検索のキーとなる書籍のことを、「検索対象となる書籍」とも呼ぶことにする。
色合いを表す画像特徴量のグループに属する画像特徴量は、例えばカラーヒストグラム(color histogram)である。カラーヒストグラムは、RGB, RGBA, sRGB, AdobeRGB等の加法混合系の色空間におけるカラーヒストグラムであってもよいし、CMYK,CMK等の減法混合系の色空間におけるカラーヒストグラムであってもよい。もちろん、カラーヒストグラムは、HSV,HLS等の他の色空間におけるカラーヒストグラムであってもよい。また、代表画像を減色加工により例えばグレースケール等の減色された色体系にした上で、その減色された色体系におけるカラーヒストグラムが用いられてもよい。
レイアウトを表す画像特徴量のグループに属する画像特徴量は、例えばキャニー法等のエッジ検出により検出されたエッジピクセルの分布である。エッジピクセルを検出することができれば、例えば参考文献1に記載されたエッジ検出法等の、キャニー法以外の他の既存のエッジ検出法によりエッジ検出が行われてもよい。
形状を表す画像特徴量のグループに属する画像特徴量は、例えばSIFT,ORB,SURF等の処理により検出される特徴点である。
書き込み度合いを表す画像特徴量のグループに属する画像特徴量は、例えばキャニー法等のエッジ検出により検出されたエッジピクセルの数を総ピクセル数で割った値である。この値のことを「エッジ率」と呼ぶことにする。エッジピクセルを検出することができれば、例えば参考文献1に記載されたエッジ検出法等の、キャニー法以外の他の既存のエッジ検出法によりエッジ検出が行われてもよい。
代表画像記憶部5には、複数の書籍のそれぞれの代表画像が記憶されている。これらの複数の書籍が、検索の被対象となる書籍の集合である。すなわち、これらの複数の書籍の中から、検索対象となる書籍と似ている書籍が探索される。
第二画像特徴量抽出部4は、代表画像記憶部5から読み込んだ複数の書籍のそれぞれの代表画像から複数の画像特徴量を抽出して、それらの抽出された複数の画像特徴量を複数の書籍のそれぞれの代表画像に対応する複数の画像特徴量として画像特徴量記憶部2に記憶させる(ステップS2)。
画像特徴量記憶部2には、複数の書籍のそれぞれの代表画像に対応する複数の画像特徴量が記憶されている。
重み設定部6には、ユーザーにより選択された複数の重みが入力される。重み設定部6により入力された複数の重みは、それぞれ複数の画像特徴量に対応付けられる。重み設定部6で設定された重みは、探索部3に出力される。
探索部3には、第一画像特徴量抽出部1で抽出された検索対象となる書籍の代表画像に対応する複数の画像特徴量と、画像特徴量記憶部2から読み込んだ複数の書籍の代表画像に対応する複数の画像特徴量とが入力される。
まず、探索部3は、複数の画像特徴量のそれぞれごとに、検索対象となる書籍の代表画像と類似性が高い代表画像を有する上位N個の書籍を検索する処理を行う(ステップS31)。Nは所定の正の整数である。探索部3は、例えば所定のグラフ検索アルゴリズムを用いて、複数の画像特徴量のそれぞれごとに、検索対象となる書籍の代表画像と類似性が高い代表画像を有する上位N個の書籍を表すグラフを検索結果として得る。
〔参考文献3〕Aoyama Kazuo, 外3名, "Fast approximate similarity search based on degree-reduced neighborhood graphs", Proceedings of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2011.
色合いを表す画像特徴量のグループに属する画像特徴量であるカラーヒストグラムの類似度としては、例えばBhattacharyya coefficient,Hellinger distance, Hkullback-Leibler divergence等の距離尺度を用いることができる。もちろん、カラーヒストグラムの類似度を比較できれば類似度として他の距離尺度を用いてもよい。なお、2個のカラーヒストグラムを表すベクトルをそれぞれCHA=(cha1, cha2,…,cha192), CHB=(chb1, chb2,…,chb192)とすると、Bhattacharyya coefficient BC(CHA, CHB)は、BC(CHA, CHB)=Σk=1 192(chak×chbk)(1/2)と定義することができる。
レイアウトを表す画像特徴量のグループに属する画像特徴量として、エッジピクセルの分布が用いられたとする。
書き込み度合いを表す画像特徴量のグループに属する画像特徴量として、エッジ率が用いられたとする。
形状を表す画像特徴量のグループに属する画像特徴量として、SIFT,ORB,SURF等の処理により検出される特徴点が用いられたとする。
探索部3は、複数の画像特徴量のそれぞれごとに得られた検索結果を、複数の画像特徴量にそれぞれ対応付けられている複数の重みを用いて統合する(ステップS32)。
結合された仮探索結果グラフの頂点iと頂点jとを結ぶエッジウェイトを例えばΣm=1 M F(wm, wm(i,j))とする。
探索部3は、統合された検索結果により定まる、検索対象となる書籍の代表画像と類似性が高い代表画像を有する上位N個の書籍についての情報を出力する(ステップS33)。
探索書籍表示装置である表示部7は、CRT、液晶ディスプレイ、有機ELディスプレイ等の表示装置である。
書籍探索装置又は探索書籍表示装置における各処理をコンピュータによって実現する場合、書籍探索装置又は探索書籍表示装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、その各処理がコンピュータ上で実現される。
重みを用いない場合には、重み設定部6は書籍探索装置に設けられなくてもよい。
2 画像特徴量記憶部
3 探索部
4 第二画像特徴量抽出部
5 代表画像記憶部
6 重み設定部
7 表示部
Claims (14)
- 書籍の代表画像を、少なくともその書籍を構成する複数のページの中の絵及び文字が含まれる画像として、
検索対象となる書籍の代表画像から複数の画像特徴量を抽出する第一画像特徴量抽出部と、
複数の書籍のそれぞれの代表画像に対応する複数の画像特徴量を記憶する画像特徴量記憶部と、
上記抽出された上記検索対象となる書籍の代表画像に対応する複数の画像特徴量と、上記画像特徴量記憶部から読み込んだ上記複数の書籍の代表画像に対応する複数の画像特徴量とを用いて、上記検索対象となる書籍の代表画像と類似性が高い代表画像を有する1個以上の書籍を上記複数の書籍の中から探索する探索部と、
を含む書籍探索装置であって、
上記書籍は絵本であり、上記書籍の代表画像は上記書籍の表紙の画像であり、
上記複数の画像特徴量にそれぞれ複数の重みが対応付けられているとして、上記複数の重みのそれぞれが入力される重み設定部を更に含み、
上記複数の画像特徴量のうち2以上の画像特徴量は、色合いを表す画像特徴量のグループ、形状を表す画像特徴量のグループ、レイアウトを表す画像特徴量のグループ及び書き込み度合いを表す画像特徴量のグループのいずれかに属しており、
上記グループの中の少なくとも2個のグループは、当該グループに属する上記画像特徴量を1以上含み、
上記重み設定部は、属する上記画像特徴量を含む上記グループのいずれかを重視する旨の情報が入力された場合には、上記入力されたグループに属する画像特徴量に対応づけられた重みを、上記入力されたグループ以外のグループに属する画像特徴量に対応する重みよりも大きい、予め定められた値となるように一括して設定するものであり、
上記探索部は、上記入力されたグループに属する画像特徴量の上記類似性に対する影響が大きい探索を行う、
書籍探索装置。 - 書籍の代表画像を、少なくともその書籍を構成する複数のページの中の絵及び文字が含まれる画像として、
検索対象となる書籍の代表画像から複数の画像特徴量を抽出する第一画像特徴量抽出部と、
複数の書籍のそれぞれの代表画像に対応する複数の画像特徴量を記憶する画像特徴量記憶部と、
上記抽出された上記検索対象となる書籍の代表画像に対応する複数の画像特徴量と、上記画像特徴量記憶部から読み込んだ上記複数の書籍の代表画像に対応する複数の画像特徴量とを用いて、上記検索対象となる書籍の代表画像と類似性が高い代表画像を有する1個以上の書籍を上記複数の書籍の中から探索する探索部と、
を含む書籍探索装置であって、
上記複数の画像特徴量にそれぞれ複数の重みが対応付けられているとして、上記複数の重みのそれぞれが入力される重み設定部を更に含み、
上記複数の画像特徴量のうち2以上の画像特徴量は、色合いを表す画像特徴量のグループ、形状を表す画像特徴量のグループ、レイアウトを表す画像特徴量のグループ及び書き込み度合いを表す画像特徴量のグループのいずれかに属しており、
上記グループの中の少なくとも2個のグループは、当該グループに属する上記画像特徴量を1以上含み、
上記重み設定部は、属する上記画像特徴量を含む上記グループのいずれかを重視する旨の情報が入力された場合には、上記入力されたグループに属する画像特徴量に対応づけられた重みを、上記入力されたグループ以外のグループに属する画像特徴量に対応する重みよりも大きい、予め定められた値となるように一括して設定するものであり、
上記探索部は、上記入力されたグループに属する画像特徴量の上記類似性に対する影響が大きい探索を行う、
書籍探索装置。 - 請求項1又は2の書籍探索装置であって、
上記グループの全グループに画像特徴量のいずれか1つ以上が属している、
書籍探索装置。 - 請求項1から3の何れかの書籍探索装置であって、
上記色合いを表す画像特徴量のグループには、カラーヒストグラムが含まれ、
上記形状を表す画像特徴量のグループには、画像中の位置、方向、その点周囲の輝度情報に基づく記述を属性として有する特徴点が含まれ、
上記レイアウトを表す画像特徴量のグループには、エッジの分布または特徴点の分布が含まれ、
上記書き込み度合いを表す画像特徴量のグループには、エッジピクセルの数を画像全体の総ピクセル数で割った値であるエッジ率又は特徴点の個数が含まれている、
書籍探索装置。 - 請求項1から3の何れかの書籍探索装置であって、
上記複数の書籍のそれぞれの代表画像が記憶されている代表画像記憶部と、
上記代表画像記憶部から読み込んだ複数の書籍のそれぞれの代表画像から複数の画像特徴量を抽出して、それらの抽出された複数の画像特徴量を上記複数の書籍のそれぞれの代表画像に対応する複数の画像特徴量として上記画像特徴量記憶部に記憶させる第二画像特徴量抽出部と、
を更に含む書籍探索装置。 - 請求項1から5の何れかの書籍探索装置であって、
上記複数の画像特徴量のそれぞれは、上記代表画像を分割した領域ごとに抽出される、
書籍探索装置。 - 請求項6の書籍探索装置であって、
上記複数の画像特徴量のそれぞれは、上記代表画像を縦方向に分割した領域ごと、又は、上記代表画像を横方向に分割した領域ごとに抽出される、
書籍探索装置。 - 請求項6の書籍探索装置であって、
上記複数の画像特徴量のそれぞれは、上記代表画像を同心円状に分割した領域ごとに抽出される、
書籍探索装置。 - 請求項1から8の何れかの書籍探索装置であって、
上記複数の重みはそれぞれ棒グラフの複数の領域に対応付けられており、
上記重み設定部は、上記複数の領域の境界を表す線を移動させることで、上記複数の領域にそれぞれ対応する複数の重みを変更可能である、
書籍探索装置。 - 請求項1から8の何れかの書籍探索装置であって、
上記複数の重みはそれぞれ円グラフの複数の領域に対応付けられており、
上記重み設定部は、上記複数の領域の境界を表す点を移動させることで、上記複数の領域にそれぞれ対応する複数の重みを変更可能である、
書籍探索装置。 - 請求項2の書籍探索装置であって、
上記書籍の代表画像は、その書籍の表紙の画像である、
書籍探索装置。 - 書籍の代表画像を、少なくともその書籍を構成する複数のページの中の絵及び文字が含まれる画像として、
第一画像特徴量抽出部が、検索対象となる書籍の代表画像から複数の画像特徴量を抽出する第一画像特徴量抽出ステップと、
探索部が、上記抽出された上記検索対象となる書籍の代表画像に対応する複数の画像特徴量と、複数の書籍のそれぞれの代表画像に対応する複数の画像特徴量を記憶する画像特徴量記憶部から読み込んだ上記複数の書籍の代表画像に対応する複数の画像特徴量とを用いて、上記検索対象となる書籍の代表画像と類似性が高い代表画像を有する1個以上の書
籍を上記複数の書籍の中から探索する探索ステップと、
を含む書籍探索方法であって、
上記書籍は絵本であり、上記書籍の代表画像は上記書籍の表紙の画像であり、
重み設定部が、上記複数の画像特徴量にそれぞれ複数の重みが対応付けられているとして、上記複数の重みのそれぞれの入力を付ける重み設定ステップを更に含み、
上記複数の画像特徴量のうち2以上の画像特徴量は、色合いを表す画像特徴量のグループ、形状を表す画像特徴量のグループ、レイアウトを表す画像特徴量のグループ及び書き込み度合いを表す画像特徴量のグループのいずれかに属しており、
上記グループの中の少なくとも2個のグループは、当該グループに属する上記画像特徴量を1以上含み、
上記重み設定ステップは、属する上記画像特徴量を含む上記グループのいずれかを重視する旨の情報が入力された場合には、上記入力されたグループに属する画像特徴量に対応づけられた重みを、上記入力されたグループ以外のグループに属する画像特徴量に対応する重みよりも大きい、予め定められた値となるように一括して設定するものであり、
上記探索ステップは、上記入力されたグループに属する画像特徴量の上記類似性に対する影響が大きい探索を行う、
書籍探索方法。 - 書籍の代表画像を、少なくともその書籍を構成する複数のページの中の絵及び文字が含まれる画像として、
第一画像特徴量抽出部が、検索対象となる書籍の代表画像から複数の画像特徴量を抽出する第一画像特徴量抽出ステップと、
探索部が、上記抽出された上記検索対象となる書籍の代表画像に対応する複数の画像特徴量と、複数の書籍のそれぞれの代表画像に対応する複数の画像特徴量を記憶する画像特徴量記憶部から読み込んだ上記複数の書籍の代表画像に対応する複数の画像特徴量とを用いて、上記検索対象となる書籍の代表画像と類似性が高い代表画像を有する1個以上の書
籍を上記複数の書籍の中から探索する探索ステップと、
を含む書籍探索方法であって、
重み設定部が、上記複数の画像特徴量にそれぞれ複数の重みが対応付けられているとして、上記複数の重みのそれぞれの入力を付ける重み設定ステップを更に含み、
上記複数の画像特徴量のうち2以上の画像特徴量は、色合いを表す画像特徴量のグループ、形状を表す画像特徴量のグループ、レイアウトを表す画像特徴量のグループ及び書き込み度合いを表す画像特徴量のグループのいずれかに属しており、
上記グループの中の少なくとも2個のグループは、当該グループに属する上記画像特徴量を1以上含み、
上記重み設定ステップは、属する上記画像特徴量を含む上記グループのいずれかを重視する旨の情報が入力された場合には、上記入力されたグループに属する画像特徴量に対応づけられた重みを、上記入力されたグループ以外のグループに属する画像特徴量に対応する重みよりも大きい、予め定められた値となるように一括して設定するものであり、
上記探索ステップは、上記入力されたグループに属する画像特徴量の上記類似性に対する影響が大きい探索を行う、
書籍探索方法。 - 請求項1から11の何れかの書籍探索装置の各部としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016006889A JP6387026B2 (ja) | 2016-01-18 | 2016-01-18 | 書籍探索装置、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016006889A JP6387026B2 (ja) | 2016-01-18 | 2016-01-18 | 書籍探索装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017129901A JP2017129901A (ja) | 2017-07-27 |
JP6387026B2 true JP6387026B2 (ja) | 2018-09-05 |
Family
ID=59394782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016006889A Active JP6387026B2 (ja) | 2016-01-18 | 2016-01-18 | 書籍探索装置、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6387026B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7158870B2 (ja) * | 2018-03-14 | 2022-10-24 | ヤフー株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
JP6980273B2 (ja) * | 2018-03-19 | 2021-12-15 | 学校法人 関西大学 | 画像生成装置、及び端末装置 |
JP7110742B2 (ja) | 2018-06-12 | 2022-08-02 | 日本電信電話株式会社 | 書籍検索インタフェース装置、書籍検索方法、およびプログラム |
JP7147670B2 (ja) * | 2019-04-10 | 2022-10-05 | 日本電信電話株式会社 | 書籍検索装置、書籍検索用データベース生成装置、書籍検索方法、書籍検索用データベース生成方法、およびプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010231277A (ja) * | 2009-03-25 | 2010-10-14 | Fuji Xerox Co Ltd | 画像処理装置、記憶制御装置及びプログラム |
JP6035173B2 (ja) * | 2013-03-14 | 2016-11-30 | 株式会社デンソーアイティーラボラトリ | 画像検索システム及び画像検索方法 |
-
2016
- 2016-01-18 JP JP2016006889A patent/JP6387026B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017129901A (ja) | 2017-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9990377B1 (en) | Content based systems and methods for conducting spectrum color based image search | |
Chary et al. | Feature extraction methods for color image similarity | |
Tao et al. | Skyfinder: attribute-based sky image search | |
JP6387026B2 (ja) | 書籍探索装置、方法及びプログラム | |
JP2002288219A (ja) | 情報検索システムおよび方法 | |
Soleimanizadeh et al. | Recognition of partially occluded objects based on the three different color spaces (RGB, YCbCr, HSV) | |
GB2569833A (en) | Shape-based graphics search | |
CN103995864B (zh) | 一种图像检索方法和装置 | |
Niu et al. | Image retargeting quality assessment based on registration confidence measure and noticeability-based pooling | |
Zhao et al. | Learning best views of 3D shapes from sketch contour | |
Bhardwaj et al. | Palette power: Enabling visual search through colors | |
JP6387028B2 (ja) | 探索書籍表示装置、方法及びプログラム | |
Yu et al. | A novel deep CNN method based on aesthetic rule for user preferential images recommendation | |
CN105338335B (zh) | 一种立体图像显著图提取方法 | |
KR20110019117A (ko) | 시멘틱 기반의 이미지 검색 방법 | |
Pal et al. | How do warm colors affect visual attention? | |
JP6387027B2 (ja) | 書籍探索装置、方法及びプログラム | |
Muselet et al. | Combining color and spatial information for object recognition across illumination changes | |
KR101142163B1 (ko) | 시멘틱 기반의 이미지 검색 방법 | |
Zhang et al. | Content-based image retrieval using multiple features | |
Varish et al. | A content based image retrieval using color and texture features | |
Xue et al. | Investigation of the role of aesthetics in differentiating between photographs taken by amateur and professional photographers | |
JP6031566B1 (ja) | 特徴抽出装置、画像検索装置、方法、及びプログラム | |
JP2014067129A (ja) | スケール毎の特徴量と色分布との関係を考慮した色変換処理プログラム、装置及び方法 | |
JP6336827B2 (ja) | 画像検索装置、画像検索方法および検索システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170726 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180522 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180807 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180810 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6387026 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |