JP5259876B2 - 情報処理装置、情報処理方法、情報処理プログラムを記録した記録媒体 - Google Patents
情報処理装置、情報処理方法、情報処理プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP5259876B2 JP5259876B2 JP2012501908A JP2012501908A JP5259876B2 JP 5259876 B2 JP5259876 B2 JP 5259876B2 JP 2012501908 A JP2012501908 A JP 2012501908A JP 2012501908 A JP2012501908 A JP 2012501908A JP 5259876 B2 JP5259876 B2 JP 5259876B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- character string
- image
- search
- keyword
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
- G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
- G06V30/287—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
Description
また、文字列認識手段は、文字列領域抽出手段によって抽出された文字列領域に含まれる文字列を構成する各文字について、画像から文字認識を行って複数の文字候補を特定すると共に文字認識の際に特定された各文字候補に関して文字認識の正確性を評価し、情報処理装置は、文字列認識手段によって特定された複数の文字候補を文字毎に当該文字候補の特定元である画像に対応付けて記憶すると共に文字列認識手段によって評価された正確性を示す情報に基づいて文字候補を記憶する文字候補記憶手段を更に備え、検索手段は、キーワード入力手段によって入力されたキーワードを構成する各文字が、当該キーワードの順に文字候補記憶手段によって記憶された文字列を構成する複数の文字候補の何れかに一致するか否かを検索し、キーワードを構成する各文字が、文字候補記憶手段によって記憶された複数の文字候補の何れかに一致した場合、正確性を示す情報から当該一致に関しての信頼性を評価し、視覚的特徴量と当該信頼性とを重み付けして足し合わせることでスコア値を算出する。
また、文字列認識手段は、文字列領域抽出手段によって抽出された文字列領域に含まれる文字列を構成する各文字について、画像から文字認識を行って複数の文字候補を特定すると共に文字認識の際に特定された各文字候補に関して文字認識の正確性を評価し、情報処理装置は、文字列認識手段によって特定された複数の当該文字候補の何れかを組み合わせた文字列を当該文字候補の特定元である画像に対応付けて記憶すると共に文字列認識手段によって評価された正確性を示す情報に基づいて文字列を記憶する文字候補記憶手段を更に備え、検索手段は、キーワード入力手段によって入力されたキーワードを構成する各文字が、当該キーワードの順に文字候補記憶手段によって記憶された文字列の何れかに一致するか否かを検索し、キーワードを構成する各文字が、文字候補記憶手段によって記憶された文字列の何れかに一致した場合、正確性を示す情報から当該一致に関しての信頼性を評価し、視覚的特徴量と当該信頼性とを重み付けして足し合わせることでスコア値を算出する。
また、本発明に係る情報処理方法は、検索対象の画像を格納する画像データベースを備える情報処理装置による情報処理方法であって、画像データベースに格納された画像における文字列が含まれる文字列領域を抽出する文字列領域抽出ステップと、文字列領域抽出ステップにおいて抽出された文字列領域に含まれる文字列を構成する各文字について、画像から文字認識を行って複数の文字候補を特定すると共に文字認識の際に特定された各文字候補に関して文字認識の正確性を評価する文字列認識ステップと、文字列認識ステップにおいて特定された複数の当該文字候補の何れかを組み合わせた文字列を当該文字候補の特定元である画像に対応付けて記憶すると共に文字列認識ステップにおいて評価された正確性を示す情報に基づいて文字列を記憶する文字候補記憶ステップと、文字列領域抽出ステップにおいて抽出された文字列領域の画像から、文字列を構成する文字の大きさ、色、形状及び装飾、並びに文字色と背景色とのコントラストの少なくとも何れか一つ以上の文字を視覚的に目立たせる要素に基づく当該文字列の視覚的特徴量を算出して記憶する視覚的特徴量算出ステップと、検索用のキーワードを入力する検索キーワード入力ステップと、キーワード入力ステップにおいて入力されたキーワードを構成する各文字が、当該キーワードの順に文字候補記憶ステップにおいて記憶された文字列の何れかに一致するか否かを検索し、キーワードを構成する各文字が、文字候補記憶ステップにおいて記憶された文字列の何れかに一致した場合、正確性を示す情報から当該一致に関しての信頼性を評価し、当該キーワードの各文字が当該キーワードの順に一致した当該文字列が認識された文字列領域の視覚的特徴量と当該信頼性とを重み付けして足し合わせることで、当該文字列が含まれる画像のスコア値を算出する検索ステップと、検索ステップにおける検索結果を、検索ステップにおいて算出されたスコア値に応じてソートして出力する出力ステップと、を含むことを特徴とする。
また、本発明に係る記録媒体は、一つ以上のコンピュータを、検索対象の画像を格納する画像データベースと、画像データベースに格納された画像における文字列が含まれる文字列領域を抽出する文字列領域抽出手段と、文字列領域抽出手段によって抽出された文字列領域に含まれる文字列を構成する各文字について、画像から文字認識を行って複数の文字候補を特定すると共に文字認識の際に特定された各文字候補に関して文字認識の正確性を評価する文字列認識手段と、文字列認識手段によって特定された複数の当該文字候補の何れかを組み合わせた文字列を当該文字候補の特定元である画像に対応付けて記憶すると共に文字列認識手段によって評価された正確性を示す情報に基づいて文字列を記憶する文字候補記憶手段と、文字列領域抽出手段によって抽出された文字列領域の画像から、文字列を構成する文字の大きさ、色、形状及び装飾、並びに文字色と背景色とのコントラストの少なくとも何れか一つ以上の文字を視覚的に目立たせる要素に基づく当該文字列の視覚的特徴量を算出して記憶する視覚的特徴量算出手段と、検索用のキーワードを入力する検索キーワード入力手段と、キーワード入力手段によって入力されたキーワードを構成する各文字が、当該キーワードの順に文字候補記憶手段によって記憶された文字列の何れかに一致するか否かを検索し、キーワードを構成する各文字が、文字候補記憶手段によって記憶された文字列の何れかに一致した場合、正確性を示す情報から当該一致に関しての信頼性を評価し、当該キーワードの各文字が当該キーワードの順に一致した当該文字列が認識された文字列領域の視覚的特徴量と当該信頼性とを重み付けして足し合わせることで、当該文字列が含まれる画像のスコア値を算出する検索手段と、検索手段による検索結果を、検索手段によって算出されたスコア値に応じてソートして出力する出力手段と、して機能させる情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。
L=0.298912R+0.586611G+0.114478B (1)
視覚的特徴量算出部16は、文字色の明度Lと背景色の明度Lとの差の絶対値を求める。続いて、視覚的特徴量算出部16は、図4の表に従い、得られた文字サイズと明度差とから文字列の視覚的特徴量を算出する。図4に示す表では、視覚的特徴量は、low、medium及びhigh等と定性的な標記となっているが、それらを定量的な値に変換してもよい。視覚的特徴量算出部16は、算出した文字列の視覚的特徴量を示す情報を検索部18に出力する。
similarity(t)=Keyword(t).length/totalscore(t) (2)
上記の式において、Keyword(t).lengthはキーワードtの長さ(文字数)、totalscore(t)は一致(マッチ)した文字候補の順位の合計とする。なお、第1候補のみでキーワードに一致した文字列の文字認識信頼度は、1.0となる。
termscore(t,m)=(1−α)・similarity(t,m)+α・saliency(t,m) (3)
ここで、αは視覚的特徴量と文字認識信頼度との重みを示す値である。αは、0〜1の値であり予め設定した値である。α、similarity及びsaliencyとの間には相関関係があり、これにより更に精度のよい検索結果が得られる。検索の用い方、目的によってαのつけ方、つまりsimilarityとsaliencyとにどのように重みを付けるべきかを決めることが望ましい。α=0とした場合には、文字認識信頼度similarityのみが反映されたスコアとなり視覚的特徴量saliencyが考慮されない。一方、α=1とした場合には、視覚的特徴量saliencyのみが反映されたスコアとなり文字認識信頼度similarityが考慮されない。αを1に近づけるほど文字が合っているか否かという観点では結果が悪くなる。また、画像内のm番目の文字列とは、文字列領域抽出部13によって抽出された複数の文字列領域に係る文字列のうちのどの文字列かを示すものである。mは、1から文字列領域抽出部13によって抽出された文字列領域の数までの値のうちの何れかの値をとる。
idf(t)=log(A/(S+1))+1 (5)
但し、上記のようなケースを想定していない場合等については、ハッシュ値を用いた情報の格納や出力を必ずしも行う必要はない。
Recall=T/S (8)
Precision=T/(T+E) (9)
F=(2・Recall・Precision) (10)
画像数:567,667枚
インデックスサイズ(GB):2.2(N=1)、2.8(N=5)、3.6(N=10)、4.4(N=15)、5.2(N=20)、6.0(N=25)、30(N=6.8)
Claims (12)
- 検索対象の画像を格納する画像データベースと、
前記画像データベースに格納された画像における文字列が含まれる文字列領域を抽出する文字列領域抽出手段と、
前記文字列領域抽出手段によって抽出された文字列領域に含まれる文字列を構成する各文字について、前記画像から文字認識を行って複数の文字候補を特定すると共に前記文字認識の際に特定された各文字候補に関して文字認識の正確性を評価する文字列認識手段と、
前記文字列認識手段によって特定された複数の文字候補を文字毎に当該文字候補の特定元である画像に対応付けて記憶すると共に前記文字列認識手段によって評価された前記正確性を示す情報に基づいて前記文字候補を記憶する文字候補記憶手段と、
前記文字列領域抽出手段によって抽出された文字列領域の画像から、前記文字列を構成する文字の大きさ、色、形状及び装飾、並びに文字色と背景色とのコントラストの少なくとも何れか一つ以上の前記文字を視覚的に目立たせる要素に基づく当該文字列の視覚的特徴量を算出して記憶する視覚的特徴量算出手段と、
検索用のキーワードを入力する検索キーワード入力手段と、
前記キーワード入力手段によって入力されたキーワードを構成する各文字が、当該キーワードの順に前記文字候補記憶手段によって記憶された前記文字列を構成する前記複数の文字候補の何れかに一致するか否かを検索し、前記キーワードを構成する各文字が、前記文字候補記憶手段によって記憶された前記複数の文字候補の何れかに一致した場合、前記正確性を示す情報から当該一致に関しての信頼性を評価し、当該キーワードの各文字が当該キーワードの順に一致した当該文字列の文字候補が認識された前記文字列領域の前記視覚的特徴量と当該信頼性とを重み付けして足し合わせることで、当該文字列が含まれる画像のスコア値を算出する検索手段と、
前記検索手段による検索結果を、前記検索手段によって算出されたスコア値に応じてソートして出力する出力手段と、
を備える情報処理装置。 - 検索対象の画像を格納する画像データベースと、
前記画像データベースに格納された画像における文字列が含まれる文字列領域を抽出する文字列領域抽出手段と、
前記文字列領域抽出手段によって抽出された文字列領域に含まれる文字列を構成する各文字について、前記画像から文字認識を行って複数の文字候補を特定すると共に前記文字認識の際に特定された各文字候補に関して文字認識の正確性を評価する文字列認識手段と、
前記文字列認識手段によって特定された複数の当該文字候補の何れかを組み合わせた文字列を当該文字候補の特定元である画像に対応付けて記憶すると共に前記文字列認識手段によって評価された前記正確性を示す情報に基づいて文字列を記憶する文字候補記憶手段と、
前記文字列領域抽出手段によって抽出された文字列領域の画像から、前記文字列を構成する文字の大きさ、色、形状及び装飾、並びに文字色と背景色とのコントラストの少なくとも何れか一つ以上の前記文字を視覚的に目立たせる要素に基づく当該文字列の視覚的特徴量を算出して記憶する視覚的特徴量算出手段と、
検索用のキーワードを入力する検索キーワード入力手段と、
前記キーワード入力手段によって入力されたキーワードを構成する各文字が、当該キーワードの順に前記文字候補記憶手段によって記憶された文字列の何れかに一致するか否かを検索し、前記キーワードを構成する各文字が、前記文字候補記憶手段によって記憶された文字列の何れかに一致した場合、前記正確性を示す情報から当該一致に関しての信頼性を評価し、当該キーワードの各文字が当該キーワードの順に一致した当該文字列が認識された前記文字列領域の前記視覚的特徴量と当該信頼性とを重み付けして足し合わせることで、当該文字列が含まれる画像のスコア値を算出する検索手段と、
前記検索手段による検索結果を、前記検索手段によって算出されたスコア値に応じてソートして出力する出力手段と、
を備える情報処理装置。 - 前記視覚的特徴量算出手段は、前記文字列を構成する文字毎の視覚的特徴量を算出して記憶することを特徴とする請求項1又は2に記載の情報処理装置。
- 前記視覚的特徴量算出手段は、前記文字列領域の文字列を構成するとされた画素の明度と、前記文字列領域の背景を構成するとされた画素の明度との差に基づいて前記視覚的特徴量を算出することを特徴とする請求項1〜3の何れか一項に記載の情報処理装置。
- 前記視覚的特徴量算出手段は、前記文字列領域の文字列を構成するとされた画素の明度を当該画素の中で最も多い色の画素の明度とし、前記文字列領域の背景を構成するとされた画素の明度を当該画素の中で最も多い色の画素の明度とすることを特徴とする請求項4に記載の情報処理装置。
- 前記検索手段は、前記キーワード入力手段によって入力された複数の前記キーワードに対して前記スコア値を算出する、
ことを特徴とする請求項1〜5の何れか一項に記載の情報処理装置。 - 前記検索手段は、前記画像データベースに格納された画像に対する、前記キーワードを含む画像の割合に基づいて、前記スコア値を算出することを特徴とする請求項1〜6の何れか一項に記載の情報処理装置。
- 前記画像データベースは、同一の画像を複数含まないように検索対象の画像を格納すると共に、当該画像から得られるハッシュ値と当該画像が利用されているWebページの箇所を示す情報とを対応付けて格納し、
前記出力手段は、前記検索手段による検索によって得られたと共に同一の画像を複数含まない画像を示す情報と、前記画像データベースに当該画像のハッシュ値に対応付けられて格納されている当該画像が利用されている箇所を示す情報とを出力する、
ことを特徴とする請求項1〜7の何れか一項に記載の情報処理装置。 - 検索対象の画像を格納する画像データベースを備える情報処理装置による情報処理方法であって、
前記画像データベースに格納された画像における文字列が含まれる文字列領域を抽出する文字列領域抽出ステップと、
前記文字列領域抽出ステップにおいて抽出された文字列領域に含まれる文字列を構成する各文字について、前記画像から文字認識を行って複数の文字候補を特定すると共に前記文字認識の際に特定された各文字候補に関して文字認識の正確性を評価する文字列認識ステップと、
前記文字列認識ステップにおいて特定された複数の文字候補を文字毎に当該文字候補の特定元である画像に対応付けて記憶すると共に前記文字列認識ステップにおいて評価された前記正確性を示す情報に基づいて前記文字候補を記憶する文字候補記憶ステップと、
前記文字列領域抽出ステップにおいて抽出された文字列領域の画像から、前記文字列を構成する文字の大きさ、色、形状及び装飾、並びに文字色と背景色とのコントラストの少なくとも何れか一つ以上の前記文字を視覚的に目立たせる要素に基づく当該文字列の視覚的特徴量を算出して記憶する視覚的特徴量算出ステップと、
検索用のキーワードを入力する検索キーワード入力ステップと、
前記キーワード入力ステップにおいて入力されたキーワードを構成する各文字が、当該キーワードの順に前記文字候補記憶ステップにおいて記憶された前記文字列を構成する前記複数の文字候補の何れかに一致するか否かを検索し、前記キーワードを構成する各文字が、前記文字候補記憶ステップにおいて記憶された前記複数の文字候補の何れかに一致した場合、前記正確性を示す情報から当該一致に関しての信頼性を評価し、当該キーワードの各文字が当該キーワードの順に一致した当該文字列の文字候補が認識された前記文字列領域の前記視覚的特徴量と当該信頼性とを重み付けして足し合わせることで、当該文字列が含まれる画像のスコア値を算出する検索ステップと、
前記検索ステップにおける検索結果を、前記検索ステップにおいて算出されたスコア値に応じてソートして出力する出力ステップと、
を含む情報処理方法。 - 検索対象の画像を格納する画像データベースを備える情報処理装置による情報処理方法であって、
前記画像データベースに格納された画像における文字列が含まれる文字列領域を抽出する文字列領域抽出ステップと、
前記文字列領域抽出ステップにおいて抽出された文字列領域に含まれる文字列を構成する各文字について、前記画像から文字認識を行って複数の文字候補を特定すると共に前記文字認識の際に特定された各文字候補に関して文字認識の正確性を評価する文字列認識ステップと、
前記文字列認識ステップにおいて特定された複数の当該文字候補の何れかを組み合わせた文字列を当該文字候補の特定元である画像に対応付けて記憶すると共に前記文字列認識ステップにおいて評価された前記正確性を示す情報に基づいて文字列を記憶する文字候補記憶ステップと、
前記文字列領域抽出ステップにおいて抽出された文字列領域の画像から、前記文字列を構成する文字の大きさ、色、形状及び装飾、並びに文字色と背景色とのコントラストの少なくとも何れか一つ以上の前記文字を視覚的に目立たせる要素に基づく当該文字列の視覚的特徴量を算出して記憶する視覚的特徴量算出ステップと、
検索用のキーワードを入力する検索キーワード入力ステップと、
前記キーワード入力ステップにおいて入力されたキーワードを構成する各文字が、当該キーワードの順に前記文字候補記憶ステップにおいて記憶された文字列の何れかに一致するか否かを検索し、前記キーワードを構成する各文字が、前記文字候補記憶ステップにおいて記憶された文字列の何れかに一致した場合、前記正確性を示す情報から当該一致に関しての信頼性を評価し、当該キーワードの各文字が当該キーワードの順に一致した当該文字列が認識された前記文字列領域の前記視覚的特徴量と当該信頼性とを重み付けして足し合わせることで、当該文字列が含まれる画像のスコア値を算出する検索ステップと、
前記検索ステップにおける検索結果を、前記検索ステップにおいて算出されたスコア値に応じてソートして出力する出力ステップと、
を含む情報処理方法。 - 一つ以上のコンピュータを、
検索対象の画像を格納する画像データベースと、
前記画像データベースに格納された画像における文字列が含まれる文字列領域を抽出する文字列領域抽出手段と、
前記文字列領域抽出手段によって抽出された文字列領域に含まれる文字列を構成する各文字について、前記画像から文字認識を行って複数の文字候補を特定すると共に前記文字認識の際に特定された各文字候補に関して文字認識の正確性を評価する文字列認識手段と、
前記文字列認識手段によって特定された複数の文字候補を文字毎に当該文字候補の特定元である画像に対応付けて記憶すると共に前記文字列認識手段によって評価された前記正確性を示す情報に基づいて前記文字候補を記憶する文字候補記憶手段と、
前記文字列領域抽出手段によって抽出された文字列領域の画像から、前記文字列を構成する文字の大きさ、色、形状及び装飾、並びに文字色と背景色とのコントラストの少なくとも何れか一つ以上の前記文字を視覚的に目立たせる要素に基づく当該文字列の視覚的特徴量を算出して記憶する視覚的特徴量算出手段と、
検索用のキーワードを入力する検索キーワード入力手段と、
前記キーワード入力手段によって入力されたキーワードを構成する各文字が、当該キーワードの順に前記文字候補記憶手段によって記憶された前記文字列を構成する前記複数の文字候補の何れかに一致するか否かを検索し、前記キーワードを構成する各文字が、前記文字候補記憶手段によって記憶された前記複数の文字候補の何れかに一致した場合、前記正確性を示す情報から当該一致に関しての信頼性を評価し、当該キーワードの各文字が当該キーワードの順に一致した当該文字列の文字候補が認識された前記文字列領域の前記視覚的特徴量と当該信頼性とを重み付けして足し合わせることで、当該文字列が含まれる画像のスコア値を算出する検索手段と、
前記検索手段による検索結果を、前記検索手段によって算出されたスコア値に応じてソートして出力する出力手段と、
して機能させる情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体。 - 一つ以上のコンピュータを、
検索対象の画像を格納する画像データベースと、
前記画像データベースに格納された画像における文字列が含まれる文字列領域を抽出する文字列領域抽出手段と、
前記文字列領域抽出手段によって抽出された文字列領域に含まれる文字列を構成する各文字について、前記画像から文字認識を行って複数の文字候補を特定すると共に前記文字認識の際に特定された各文字候補に関して文字認識の正確性を評価する文字列認識手段と、
前記文字列認識手段によって特定された複数の当該文字候補の何れかを組み合わせた文字列を当該文字候補の特定元である画像に対応付けて記憶すると共に前記文字列認識手段によって評価された前記正確性を示す情報に基づいて文字列を記憶する文字候補記憶手段と、
前記文字列領域抽出手段によって抽出された文字列領域の画像から、前記文字列を構成する文字の大きさ、色、形状及び装飾、並びに文字色と背景色とのコントラストの少なくとも何れか一つ以上の前記文字を視覚的に目立たせる要素に基づく当該文字列の視覚的特徴量を算出して記憶する視覚的特徴量算出手段と、
検索用のキーワードを入力する検索キーワード入力手段と、
前記キーワード入力手段によって入力されたキーワードを構成する各文字が、当該キーワードの順に前記文字候補記憶手段によって記憶された文字列の何れかに一致するか否かを検索し、前記キーワードを構成する各文字が、前記文字候補記憶手段によって記憶された文字列の何れかに一致した場合、前記正確性を示す情報から当該一致に関しての信頼性を評価し、当該キーワードの各文字が当該キーワードの順に一致した当該文字列が認識された前記文字列領域の前記視覚的特徴量と当該信頼性とを重み付けして足し合わせることで、当該文字列が含まれる画像のスコア値を算出する検索手段と、
前記検索手段による検索結果を、前記検索手段によって算出されたスコア値に応じてソートして出力する出力手段と、
して機能させる情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012501908A JP5259876B2 (ja) | 2010-02-26 | 2011-02-28 | 情報処理装置、情報処理方法、情報処理プログラムを記録した記録媒体 |
Applications Claiming Priority (12)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010043468 | 2010-02-26 | ||
JP2010043469 | 2010-02-26 | ||
JP2010043469 | 2010-02-26 | ||
JP2010043468 | 2010-02-26 | ||
JP2010194410 | 2010-08-31 | ||
JP2010194422 | 2010-08-31 | ||
JP2010194410 | 2010-08-31 | ||
JP2010194431 | 2010-08-31 | ||
JP2010194431 | 2010-08-31 | ||
JP2010194422 | 2010-08-31 | ||
JP2012501908A JP5259876B2 (ja) | 2010-02-26 | 2011-02-28 | 情報処理装置、情報処理方法、情報処理プログラムを記録した記録媒体 |
PCT/JP2011/054528 WO2011105608A1 (ja) | 2010-02-26 | 2011-02-28 | 情報処理装置、情報処理方法、情報処理プログラムを記録した記録媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012225214A Division JP2013041602A (ja) | 2010-02-26 | 2012-10-10 | 情報処理装置、情報処理方法、情報処理プログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2011105608A1 JPWO2011105608A1 (ja) | 2013-06-20 |
JP5259876B2 true JP5259876B2 (ja) | 2013-08-07 |
Family
ID=44507001
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012501908A Active JP5259876B2 (ja) | 2010-02-26 | 2011-02-28 | 情報処理装置、情報処理方法、情報処理プログラムを記録した記録媒体 |
JP2011042642A Active JP5647916B2 (ja) | 2010-02-26 | 2011-02-28 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP2012501907A Active JP5075291B2 (ja) | 2010-02-26 | 2011-02-28 | 情報処理装置、情報処理方法、情報処理プログラムを記録した記録媒体 |
JP2012225214A Withdrawn JP2013041602A (ja) | 2010-02-26 | 2012-10-10 | 情報処理装置、情報処理方法、情報処理プログラムを記録した記録媒体 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011042642A Active JP5647916B2 (ja) | 2010-02-26 | 2011-02-28 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP2012501907A Active JP5075291B2 (ja) | 2010-02-26 | 2011-02-28 | 情報処理装置、情報処理方法、情報処理プログラムを記録した記録媒体 |
JP2012225214A Withdrawn JP2013041602A (ja) | 2010-02-26 | 2012-10-10 | 情報処理装置、情報処理方法、情報処理プログラムを記録した記録媒体 |
Country Status (5)
Country | Link |
---|---|
US (2) | US8949267B2 (ja) |
EP (2) | EP2541441A4 (ja) |
JP (4) | JP5259876B2 (ja) |
CN (2) | CN102763104B (ja) |
WO (2) | WO2011105608A1 (ja) |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7030863B2 (en) | 2000-05-26 | 2006-04-18 | America Online, Incorporated | Virtual keyboard system with automatic correction |
US7286115B2 (en) | 2000-05-26 | 2007-10-23 | Tegic Communications, Inc. | Directional input system with automatic correction |
US8201087B2 (en) * | 2007-02-01 | 2012-06-12 | Tegic Communications, Inc. | Spell-check for a keyboard system with automatic correction |
WO2013021889A1 (ja) * | 2011-08-05 | 2013-02-14 | 楽天株式会社 | 色名決定装置、色名決定方法、情報記録媒体、ならびに、プログラム |
KR102007840B1 (ko) * | 2012-04-13 | 2019-08-06 | 엘지전자 주식회사 | 이미지 검색 방법 및 이를 위한 디지털 디바이스 |
US9576042B2 (en) * | 2012-08-01 | 2017-02-21 | Google Inc. | Categorizing search terms |
JP5831420B2 (ja) * | 2012-09-28 | 2015-12-09 | オムロン株式会社 | 画像処理装置および画像処理方法 |
JP2014078168A (ja) * | 2012-10-11 | 2014-05-01 | Fuji Xerox Co Ltd | 文字認識装置及びプログラム |
WO2014117384A1 (en) * | 2013-02-01 | 2014-08-07 | Intel Corporation | Techniques for image-based search using touch controls |
US9910887B2 (en) * | 2013-04-25 | 2018-03-06 | Facebook, Inc. | Variable search query vertical access |
CN105518675A (zh) * | 2013-07-09 | 2016-04-20 | 柳仲夏 | 提供符号图像搜索服务的方法及用于该方法的符号图像搜索服务器 |
CN104298982B (zh) * | 2013-07-16 | 2019-03-08 | 深圳市腾讯计算机系统有限公司 | 一种文字识别方法及装置 |
CN104462109B (zh) * | 2013-09-17 | 2018-10-26 | 阿尔派株式会社 | 检索装置及检索方法 |
CN103823858A (zh) * | 2014-02-21 | 2014-05-28 | 联想(北京)有限公司 | 信息处理方法及信息处理装置 |
US10152540B2 (en) * | 2014-10-10 | 2018-12-11 | Qualcomm Incorporated | Linking thumbnail of image to web page |
US11120004B2 (en) | 2014-11-25 | 2021-09-14 | Verizon Media Inc. | Method and system for analyzing a user agent string |
US10025847B2 (en) | 2014-11-25 | 2018-07-17 | Oath Inc. | Method and system for providing a user agent string database |
US11116302B2 (en) * | 2015-06-11 | 2021-09-14 | The Procter & Gamble Company | Apparatus and methods for modifying keratinous surfaces |
KR20170037302A (ko) * | 2015-09-25 | 2017-04-04 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
CN105912739B (zh) * | 2016-07-14 | 2019-03-26 | 湖南琴海数码股份有限公司 | 一种相似图片检索系统及其方法 |
JP2018028714A (ja) * | 2016-08-15 | 2018-02-22 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
US10565255B2 (en) * | 2016-08-24 | 2020-02-18 | Baidu Usa Llc | Method and system for selecting images based on user contextual information in response to search queries |
CN106372225B (zh) * | 2016-09-07 | 2020-05-19 | 知识产权出版社有限责任公司 | 一种基于高价值对比库的信息处理装置及方法 |
US10438083B1 (en) * | 2016-09-27 | 2019-10-08 | Matrox Electronic Systems Ltd. | Method and system for processing candidate strings generated by an optical character recognition process |
JP6804292B2 (ja) * | 2016-12-28 | 2020-12-23 | オムロンヘルスケア株式会社 | 端末装置 |
US11157299B2 (en) * | 2017-08-15 | 2021-10-26 | Citrix Systems, Inc. | Thin provisioning virtual desktop infrastructure virtual machines in cloud environments without thin clone support |
CN107707396B (zh) * | 2017-09-28 | 2020-01-24 | 平安科技(深圳)有限公司 | 一种乱码监控方法、存储介质和服务器 |
JP6506427B1 (ja) * | 2018-01-25 | 2019-04-24 | 株式会社リクルート | 情報処理装置、動画検索方法、生成方法及びプログラム |
JP7160432B2 (ja) * | 2018-04-02 | 2022-10-25 | 日本電気株式会社 | 画像処理装置、画像処理方法、プログラム |
JP7139669B2 (ja) * | 2018-04-17 | 2022-09-21 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
JP7247472B2 (ja) * | 2018-04-19 | 2023-03-29 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
US11755659B2 (en) * | 2018-10-04 | 2023-09-12 | Resonac Corporation | Document search device, document search program, and document search method |
JP2020064390A (ja) * | 2018-10-16 | 2020-04-23 | ファナック株式会社 | データ収集システム及びデータ収集方法 |
JP7383882B2 (ja) * | 2019-01-22 | 2023-11-21 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、及び情報処理プログラム |
CN111027556B (zh) * | 2019-03-11 | 2023-12-22 | 广东小天才科技有限公司 | 一种基于图像预处理的搜题方法及学习设备 |
WO2020194576A1 (ja) * | 2019-03-27 | 2020-10-01 | 三菱電機ビルテクノサービス株式会社 | 設備機器情報収集システム |
CN110399772B (zh) * | 2019-04-15 | 2020-09-08 | 安徽省徽腾智能交通科技有限公司泗县分公司 | 基于环境分析的设备控制系统 |
CN110688995B (zh) * | 2019-09-19 | 2022-11-15 | 浙江善政科技有限公司 | 地图查询的处理方法,计算机可读存储介质和移动终端 |
JP6879529B1 (ja) * | 2020-04-16 | 2021-06-02 | 株式会社クロスドリーム | 商品・役務注文システム、商品・役務注文方法及びそのプログラム |
JP2021193495A (ja) * | 2020-06-08 | 2021-12-23 | コニカミノルタ株式会社 | 検索システム |
CN113626444B (zh) * | 2021-08-26 | 2023-11-28 | 平安国际智慧城市科技股份有限公司 | 基于位图算法的表格查询方法、装置、设备及介质 |
CN114120016B (zh) * | 2022-01-26 | 2022-05-27 | 北京阿丘科技有限公司 | 字符串提取方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10177641A (ja) * | 1996-12-18 | 1998-06-30 | Fuji Xerox Co Ltd | 文書ファイリング装置 |
JP2002007413A (ja) * | 2000-06-20 | 2002-01-11 | Fujitsu Ltd | 画像検索装置 |
JP2004206520A (ja) * | 2002-12-26 | 2004-07-22 | Nec Corp | 文書画像配信システム、文書画像配信装置、端末装置および文書画像配信プログラム |
JP2008288898A (ja) * | 2007-05-17 | 2008-11-27 | Canon Inc | 動画撮像装置及び動画撮像方法 |
JP2009295104A (ja) * | 2008-06-09 | 2009-12-17 | Fujifilm Corp | ウェブサイト検索装置、画像情報収集サーバ、及びウェブサイト検索方法 |
JP2010039533A (ja) * | 2008-07-31 | 2010-02-18 | Fujifilm Corp | 画像ランキング装置、画像ランキング方法及びプログラム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6415307B2 (en) * | 1994-10-24 | 2002-07-02 | P2I Limited | Publication file conversion and display |
JP3230641B2 (ja) * | 1995-05-08 | 2001-11-19 | シャープ株式会社 | 文字列検索装置 |
JP3917349B2 (ja) | 2000-05-30 | 2007-05-23 | 富士通株式会社 | 文字認識結果を利用して情報を検索する検索装置および方法 |
US6944344B2 (en) | 2000-06-06 | 2005-09-13 | Matsushita Electric Industrial Co., Ltd. | Document search and retrieval apparatus, recording medium and program |
JP3669626B2 (ja) | 2000-06-06 | 2005-07-13 | 松下電器産業株式会社 | 検索装置、記録媒体およびプログラム |
US20030177115A1 (en) * | 2003-02-21 | 2003-09-18 | Stern Yonatan P. | System and method for automatic preparation and searching of scanned documents |
JP4349183B2 (ja) * | 2004-04-01 | 2009-10-21 | 富士ゼロックス株式会社 | 画像処理装置および画像処理方法 |
JP4817108B2 (ja) * | 2004-11-05 | 2011-11-16 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
US20090193334A1 (en) * | 2005-05-18 | 2009-07-30 | Exb Asset Management Gmbh | Predictive text input system and method involving two concurrent ranking means |
JP2007058605A (ja) * | 2005-08-24 | 2007-03-08 | Ricoh Co Ltd | 文書管理システム |
US8363939B1 (en) * | 2006-10-06 | 2013-01-29 | Hrl Laboratories, Llc | Visual attention and segmentation system |
JP2008139981A (ja) * | 2006-11-30 | 2008-06-19 | Sharp Corp | 制御装置、端末装置、表示システム、表示方法、プログラムおよびその記録媒体 |
US8094202B2 (en) | 2007-05-17 | 2012-01-10 | Canon Kabushiki Kaisha | Moving image capture apparatus and moving image capture method |
US7940985B2 (en) * | 2007-06-06 | 2011-05-10 | Microsoft Corporation | Salient object detection |
CN101354705B (zh) | 2007-07-23 | 2012-06-13 | 夏普株式会社 | 文档图像处理装置和文档图像处理方法 |
JP2009075908A (ja) * | 2007-09-21 | 2009-04-09 | Sony Corp | ウェブ・ページ閲覧履歴管理システム及びウェブ・ページ閲覧履歴管理方法、並びにコンピュータ・プログラム |
EP2223265A1 (en) * | 2007-11-20 | 2010-09-01 | Lumex As | A method for resolving contradicting output data from an optical character recognition (ocr) system, wherein the output data comprises more than one recognition alternative for an image of a character |
JP2009282883A (ja) | 2008-05-26 | 2009-12-03 | Fujifilm Corp | 画像検索システム、クローリング装置及び画像検索装置 |
US8442813B1 (en) * | 2009-02-05 | 2013-05-14 | Google Inc. | Methods and systems for assessing the quality of automatically generated text |
US8542950B2 (en) * | 2009-06-02 | 2013-09-24 | Yahoo! Inc. | Finding iconic images |
US8811742B2 (en) * | 2009-12-02 | 2014-08-19 | Google Inc. | Identifying matching canonical documents consistent with visual query structural information |
-
2011
- 2011-02-28 WO PCT/JP2011/054528 patent/WO2011105608A1/ja active Application Filing
- 2011-02-28 JP JP2012501908A patent/JP5259876B2/ja active Active
- 2011-02-28 WO PCT/JP2011/054527 patent/WO2011105607A1/ja active Application Filing
- 2011-02-28 CN CN201180010163.2A patent/CN102763104B/zh active Active
- 2011-02-28 EP EP11747562.4A patent/EP2541441A4/en not_active Ceased
- 2011-02-28 US US13/580,880 patent/US8949267B2/en active Active
- 2011-02-28 JP JP2011042642A patent/JP5647916B2/ja active Active
- 2011-02-28 US US13/580,789 patent/US8825670B2/en active Active
- 2011-02-28 CN CN201180010551.0A patent/CN102782680B/zh active Active
- 2011-02-28 JP JP2012501907A patent/JP5075291B2/ja active Active
- 2011-02-28 EP EP11747561.6A patent/EP2541440A4/en not_active Ceased
-
2012
- 2012-10-10 JP JP2012225214A patent/JP2013041602A/ja not_active Withdrawn
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10177641A (ja) * | 1996-12-18 | 1998-06-30 | Fuji Xerox Co Ltd | 文書ファイリング装置 |
JP2002007413A (ja) * | 2000-06-20 | 2002-01-11 | Fujitsu Ltd | 画像検索装置 |
JP2004206520A (ja) * | 2002-12-26 | 2004-07-22 | Nec Corp | 文書画像配信システム、文書画像配信装置、端末装置および文書画像配信プログラム |
JP2008288898A (ja) * | 2007-05-17 | 2008-11-27 | Canon Inc | 動画撮像装置及び動画撮像方法 |
JP2009295104A (ja) * | 2008-06-09 | 2009-12-17 | Fujifilm Corp | ウェブサイト検索装置、画像情報収集サーバ、及びウェブサイト検索方法 |
JP2010039533A (ja) * | 2008-07-31 | 2010-02-18 | Fujifilm Corp | 画像ランキング装置、画像ランキング方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2011105608A1 (ja) | 2013-06-20 |
JP5647916B2 (ja) | 2015-01-07 |
WO2011105608A1 (ja) | 2011-09-01 |
WO2011105607A1 (ja) | 2011-09-01 |
CN102782680B (zh) | 2016-01-20 |
CN102782680A (zh) | 2012-11-14 |
EP2541440A1 (en) | 2013-01-02 |
JP2012073999A (ja) | 2012-04-12 |
US8825670B2 (en) | 2014-09-02 |
JP5075291B2 (ja) | 2012-11-21 |
US20130188872A1 (en) | 2013-07-25 |
CN102763104A (zh) | 2012-10-31 |
JPWO2011105607A1 (ja) | 2013-06-20 |
US20120323901A1 (en) | 2012-12-20 |
EP2541440A4 (en) | 2014-10-15 |
JP2013041602A (ja) | 2013-02-28 |
EP2541441A4 (en) | 2014-10-15 |
US8949267B2 (en) | 2015-02-03 |
EP2541441A1 (en) | 2013-01-02 |
CN102763104B (zh) | 2015-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5259876B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラムを記録した記録媒体 | |
US10534808B2 (en) | Architecture for responding to visual query | |
US9183224B2 (en) | Identifying matching canonical documents in response to a visual query | |
US20140280295A1 (en) | Multi-language information retrieval and advertising | |
JP2016201135A (ja) | ソーシャルネットワークの支援による顔認識 | |
US20110078176A1 (en) | Image search apparatus and method | |
EP4057163B1 (en) | Facilitating use of images as search queries | |
US20060047732A1 (en) | Document processing apparatus for searching documents, control method therefor, program for implementing the method, and storage medium storing the program | |
US20100100383A1 (en) | System and method for searching webpage with voice control | |
US8121970B1 (en) | Method for identifying primary product objects | |
CN111373386A (zh) | 相似度指标值计算装置、相似检索装置及相似度指标值计算用程序 | |
US20090276418A1 (en) | Information processing apparatus, information processing method, information processing program and recording medium | |
JP2016110256A (ja) | 情報処理装置及び情報処理プログラム | |
US20210374189A1 (en) | Document search device, document search program, and document search method | |
KR101440385B1 (ko) | 인디케이터를 이용한 정보 관리 장치 | |
CN111681776A (zh) | 基于医药大数据的医药对象关系分析的方法及系统 | |
US8549008B1 (en) | Determining section information of a digital volume | |
JP3371983B2 (ja) | 不完全文字列と文字列の照合方法および装置 | |
JP5233424B2 (ja) | 検索装置およびプログラム | |
AU2016200659B2 (en) | Architecture for responding to a visual query | |
CN113806491A (zh) | 一种信息处理的方法、装置、设备和介质 | |
JP5610019B2 (ja) | 検索装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130424 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160502 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5259876 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |