JP6379664B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

画像処理装置、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
JP6379664B2
JP6379664B2 JP2014103840A JP2014103840A JP6379664B2 JP 6379664 B2 JP6379664 B2 JP 6379664B2 JP 2014103840 A JP2014103840 A JP 2014103840A JP 2014103840 A JP2014103840 A JP 2014103840A JP 6379664 B2 JP6379664 B2 JP 6379664B2
Authority
JP
Japan
Prior art keywords
image processing
image
input image
attribute information
current input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014103840A
Other languages
English (en)
Other versions
JP2015219790A (ja
Inventor
鈴木　剛
鈴木　　剛
ライフ マシアス
ライフ マシアス
シュルツ クリスチャン
シュルツ クリスチャン
マウス ハイコ
マウス ハイコ
ファン エルスト ルドガー
ファン エルスト ルドガー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2014103840A priority Critical patent/JP6379664B2/ja
Priority to US14/714,713 priority patent/US20150334255A1/en
Publication of JP2015219790A publication Critical patent/JP2015219790A/ja
Application granted granted Critical
Publication of JP6379664B2 publication Critical patent/JP6379664B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00148—Storage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00167—Processing or editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185—Image output
    • H04N1/00188—Printing, e.g. prints or reprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関する。
今日において、パーソナルコンピュータ装置を用いて印刷物を作成するＤＴＰ（Desktop Publishing）が知られている。ＤＴＰにおいては、イラストおよびパーツなどを作成する線画作成ソフトウェア、写真などのパーツを加工する画像処理ソフトウェア、および紙面上における各パーツの配置を調整するレイアウトソフトウェアを用いて印刷物の作成を行う。具体的には、例えばＩｌｌｕｓｔｒａｔoｒ（登録商標）、Ｐｈｏｔｏｓｈｏｐ（登録商標）、ＩｎＤｅｓｉｇｎ（登録商標）などのソフトウェアが用いられ、印刷物が作成される。
特許文献１（特許第３９９８８３４号公報）には、入力された印刷方式データを用いてレイアウトデータメモリ領域からレイアウトデータを選択し、選択手段で選択されたレイアウトデータを用いて製版出力を得るデジタル製版システムが開示されている。
また、特許文献２（特開２００９−１３４５８０号公報）には、文書画像のラスタデータ（論理構造などを持たない画像データ）と文書データとを組み合わせて保持し、入力された文書画像のラスタデータから関連する文書データを特定する文書データベースシステムが開示されている。
ここで、ＤＴＰにおける作業効率および作業結果の品質は、熟練者と初心者との間で大きな差が生じ易い。初心者でも熟練者と同等の作業効率および品質を可能とするために、過去のＤＴＰ処理手順を記録し、次回の作業時に再利用することが考えられる。このような画像処理システムを実現する場合、入力画像、入力画像に所望の画像処理を施して得た出力画像、および画像処理の履歴をそれぞれ関連付けて記憶部に記憶する。そして、記憶部に記憶された全ての画像処理のうち、利用頻度の高い画像処理を、次回の作業時に再利用する。
しかし、このような画像処理システムにおいて、利用頻度の高い画像処理を提示するだけでなく、入力画像に対して最適な画像処理手順を提示できれば、使い勝手の良いシステムとなる。また、入力画像に対する複数の画像処理手順を提示できれば、提示された各画像処理手順を操作者が比較して所望の画像処理手順を選択でき、さらに使い勝手の良いシステムとなる。
特許文献１に開示されているデジタル製版システムの場合、レイアウトには論理構造に関する情報が必要であり、紙面のデザインに対しては適用可能であるが、画像の内部の構造を利用して同様の作業を行うことは困難となる。
また、特許文献２に開示されている文書データベースシステムの場合、入力された画像データが本来持つべき論理構造を、予め保持されたラスタ画像と論理構造の対を見つけることにより取得する手段となり得る。しかし、画像中の領域に与えられた論理構造の要素が、その要素に施すべき画像処理の内容を決めるものではない。また、この要素に施す画像処理を特定するには、ラスタ画像と文書データの関連付けだけでは不十分となる。このため、特許文献２に開示されている文書データベースシステムは、入力画像に施す画像処理を特定困難となる。
本発明は、上述の課題に鑑みてなされたものであり、過去の画像処理手順を有効に利用して使い勝手の良い画像処理機能を提供可能な画像処理装置、画像処理方法、および画像処理プログラムの提供を目的とする。
上述した課題を解決し、目的を達成するために、本発明は、過去の入力画像である過去入力画像、過去入力画像の属性を示す第１属性情報、および処理手順情報を含む画像処理事例を記憶する記憶部と、新たに入力された入力画像である現在入力画像および現在入力画像の属性を示す第２属性情報に対して類似する過去入力画像および第１属性情報を含む画像処理事例を、画像特徴及び画像処理手順から抽出された特徴を含む特徴ベクトルを用いて、記憶部から検索する検索処理部と、検索された画像処理事例のうち、操作者により選択された画像処理事例に含まれる処理手順情報に従った画像処理を、現在入力画像に施して出力画像を生成する画像処理部とを有する。
本発明によれば、過去の画像処理手順を有効に利用して使い勝手の良い画像処理機能を提供できるという効果を奏する。
図１は、実施の形態の画像処理装置の概要を説明するための図である。 図２は、実施の形態の画像処理装置の概要を説明するための他の図である。 図３は、実施の形態の画像処理装置のハードウェア構成図である。 図４は、実施の形態の画像処理装置のソフトウェア構成図である。 図５は、実施の形態の画像処理装置のＤＴＰアプリケーションにおける、操作者による画像処理と操作の手順（ログ）をログファイルに記録する動作の流れを示すフローチャートである。 図６は、ＤＴＰ事例に対するアノテーションを入力するためのユーザインタフェースの一例を示す図である。 図７は、実施の形態の画像処理装置の画像解析処理の流れを示すフローチャートである。 図８は、コントラスト問題抽出処理における、学習段階の動作の流れを示すフローチャートである。 図９は、コントラスト問題抽出処理における、認識段階の動作の流れを示すフローチャートである。 図１０は、ＤＴＰ事例を特徴付ける特徴ベクトルの列構造を示す図である。 図１１は、画像処理要素、画像処理要素に対して付された画像処理要素番号、および画像処理要素の正規化出現頻度の一例を示す図である。 図１２は、操作者がＤＴＰ事例データを選択するためのユーザインタフェースの一例を示す図である。 図１３は、入力画像、入力画像を用いて検索したＤＴＰ事例、および検索したＤＴＰ事例の画像処理手順で処理された出力画像を示す図である。
以下、図面を参照して、本発明を適用した実施の形態となる画像処理装置を詳細に説明する。
（概要）
実施の形態の画像処理装置は、操作者が利用する画像処理プログラムに従って動作し、操作者の画像処理手順の記録と、再利用を行う。画像処理手順は、画像依存性が強いため、現在の入力画像の種類、および補正の目的に応じて再利用するべき手順を持った画像処理事例（ＤＴＰ事例）の検索方法を変える。これにより、画像および操作者の処理の目的に沿った画像処理手順の再利用が可能となる。
具体的には、実施の形態の画像処理装置は、例えば熟練のＤＴＰオペレータが画像に対して施す画像処理を記録し、図１に示すように現在の入力画像である現在入力画像１、過去の入力画像である過去入力画像２〜４、および画像処理手順５〜７の３つを１つのまとまり（ＤＴＰ事例８〜１０）としてリポジトリ１１に記憶する。現在入力画像１が新たに与えられたとき、現在入力画像１の画像情報、またはユーザが付与する付帯情報を用いてリポジトリ１１を検索し、関連するＤＴＰ事例８〜１０を検索してリストアップする。リストアップされたＤＴＰ事例８〜１０にそれぞれ含まれる画像処理手順５〜７を、現在入力画像１に適用することで、処理結果画像１２〜１４を得る。ＤＴＰは、「Desktop Publishing」の略記である。
このように実施の形態の画像処理装置は、現在入力画像１に対して施す画像処理手順５〜７を含むＤＴＰ事例８〜１０を検索する。一例であるが、検索手法としては、図２に示す「事例ベース推論手法（case based reasoning）」を用いている。この場合、実施の形態の画像処理装置は、図２に示す画像の類似性（local low level image features）１５を用いたＤＴＰ事例８〜１０の検索を行う。また、これに加え、図２に示す被写体などの情報である画像コンテンツ情報（Image content Semantics）１６、および領域特徴（image region segmentation）１７を用いたＤＴＰ事例８〜１０の検索を行う。さらに、操作者の補正意図（Enhancement intention）１８などを用いたＤＴＰ事例８〜１０の検索を行う。これにより、実施の形態の画像処理装置は、ＤＴＰ事例を高精度且つ拡張性高く検索可能となっている。
（ハードウェア構成）
図３に示すように、実施の形態の画像処理装置１９は、一般的なパーソナルコンピュータ装置（ＰＣ）を用いることができる。図３に示すＰＣは、ネットワーク２０を介して、例えばスキャナ機能を備えた画像取得装置２１、プリンタ機能を備えた画像出力装置２２、ハードディスクドライブ（ＨＤＤ）、または半導体メモリなどの記憶装置２３と接続される。また、ＰＣは、内部のハードウェア構成として、情報処理を行うためのＣＰＵ２４、情報処理の入出力情報、または途中情報などを保持するためのメモリ２５、永続的記憶装置としての記憶部２６、および他の機器との通信を行う通信インタフェース２７（通信Ｉ／Ｆ）を備える。ＣＰＵ２４〜通信Ｉ／Ｆ２７は、内部のバスライン２８を介して相互に接続されている。
画像処理装置１９が実行する画像処理プログラム（ＤＴＰアプリケーション）は、ＰＣ内部の記憶部２６またはネットワーク上の記憶装置２３に記録され、必要に応じて実行形式でメモリ２５に展開される。次に、記憶装置２３または画像取得装置２１を駆動することで現在入力画像を取得し、画像情報をメモリ２５に展開する。ＣＰＵ２４は、予め定められた手法で、メモリ２５に展開された画像情報を操作し、操作結果をメモリ２５に書き込む。最終的に制御点情報（後述するログ）を出力する場合には、内部の記憶部２６または外部の記憶装置２３に記憶させる。
なお、画像処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、ＣＤ−Ｒ、ＤＶＤ、ブルーレイディスク（登録商標）、半導体メモリなどのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、インターネットなどのネットワーク経由でインストールするかたちで提供してもよい。また、機器内のＲＯＭ等に予め組み込んで提供してもよい。ＤＶＤは、「Digital Versatile Disk」の略記である。
（ソフトウェア構成）
図４に、ＣＰＵ２４により画像処理プログラムが実行されることで実現されるＤＴＰアプリケーションの各機能の機能ブロック図を示す。図４に示すように、ＣＰＵ２４は、画像処理プログラムを実行することで、ユーザインタフェース３１、処理制御部３２、距離尺度計算部３３、画像処理構成部３４、およびシーン認識部３５を実現する。また、ＣＰＵ２４は、画像処理プログラムを実行することで、画像特徴抽出部３６、プリファレンス記録部３７、画像処理記録部３８、画像処理部４１、および表示制御部４２を実現する。
なお、図４に図示している記憶部２６は、ＤＴＰ事例を蓄積するＤＴＰ事例データベース、後述する過去のログを記憶したログデータベース（ログＤＢ）、および複数の画像が記憶された画像コレクションデータベース（画像コレクションＤＢ）となっている。この例では、記憶部２６をＤＴＰ事例データベース、ログＤＢ、および画像コレクションＤＢとしているが、ネットワーク２０を介して接続された記憶装置２３に各ＤＢを記憶してもよい。また、この例では、ユーザインタフェース３１〜表示制御部４２は、ＣＰＵ２４が画像処理プログラムを実行することでソフトウェア的に実現されることとして説明を進めるが、一部または全部をハードウェアで実現してもよい。
ユーザインタフェース３１は、ユーザとのインタラクションを仲介し、ユーザから各処理の制御のための情報を取得する。処理制御部３２は、画像処理を行う画像、画像処理手順、および付帯情報などの記録を行う記録処理部３９を備える。処理制御部３２は、一連の画像処理の流れ、およびメモリ２５上での画像処理を制御する。また、処理制御部３２は、距離尺度計算部３３で計算されたＤＴＰ事例間の類似度を示す距離尺度を用いて、現在入力画像に類似するＤＴＰ事例などを検索する検索処理部４０を備える。画像処理部４１は、操作者により選択されたＤＴＰ事例の画像処理手順に対応する画像処理を、現在入力画像に施すことで出力画像を生成する。表示制御部４２は、検索されたＤＴＰ事例などを、表示部に表示されたユーザインタフェース３１を介して操作者に提示する。
距離尺度計算部３３は、ＤＴＰ事例間の類似度を示す距離を計算する。画像処理構成部３４は、画像処理手順情報を用いて、使用する画像処理を構成する。シーン認識部３５としては、例えば非特許文献１（Reconfigurable Models for Scene Recognition, S. N. Pariziet.al. インターネットＵＲＬ：http://ieeexplore.ieee.org/xpl/login.jsp?reload=true&tp=&arnumber=6248001&url=http%3A%2F%2Fieeexplore.ieee.org%2Fxpls%2Fabs_all.jsp%3Farnumber%3D6248001）に示される方法などを用いることができる。
画像特徴抽出部３６は、ＤＴＰ事例検索のクエリ（命令または問い合わせ）の一部を構成する画像特徴を抽出する。画像特徴抽出部３６は、予め定められたいくつかの画像特徴を、現在入力画像およびＤＴＰ事例に付随した過去入力画像から抽出する。一例ではあるが、画像特徴抽出部３６としては、例えばカラーヒストグラム、コレログラム、またはＳＩＦＴ（Scale Invariant Feature Transform）などを用いて画像特徴を抽出する。利用する画像特徴は、様々な特徴量と構成があり得るが、例えば複数の特徴の識別器（弱識別器）を組み合わせた識別器を対象の画像種類毎に構成し、前段のシーン認識部３５のシーン認識結果に合わせて特徴量の組み合わせを選択することで、より高精度なモデルを構成できる。
プリファレンス記録部３７は、ユーザの選択結果を記録する。画像処理記録部３８は、操作者がＤＴＰアプリケーションで行った処理を記録する。
（実施の形態の動作）
図５のフローチャートに、操作者により用いられた画像処理と操作手順をログファイルに記録するＤＴＰアプリケーションの動作の流れを示す。操作者に用いられた画像処理および操作の手順を示す情報（ログ）は、操作者を特定するユーザＩＤに関連付けされ、タイムスタンプと共に、記憶部２６のログファイルに記録される。
図５のフローチャートにおいて、操作者が所望の画像に対する画像処理操作を開始すると、ＣＰＵ２４は、ステップＳ１において、記憶部２６に記憶されているＤＴＰアプリケーションを読み出す（ロガー起動）。そして、ＣＰＵ２４は、読み出したＤＴＰアプリケーションをメモリ２５に展開する。ＤＴＰアプリケーションが展開されると、処理制御部３２の記録処理部３９が、ステップＳ２において、記憶部２６に記憶されているログデータベース（ログＤＢ）を参照し、処理ログを生成する。
次に、ステップＳ３では、記録処理部３９が、操作者による画像入力操作で指定された現在入力画像を、記憶部２６に記憶されている画像コレクションＤＢから取得して、処理をステップＳ４に進める。ステップＳ４では、処理制御部３２の記録処理部３９が、画像コレクションＤＢから取得した現在入力画像の画像情報を記憶部２６のログファイルに記録する。
ステップＳ５では、図７〜図９のフローチャートを用いて後述する画像解析処理により、現在入力画像を特徴付ける画像プロパティベクトルが生成される。ステップＳ６では、記録処理部３９が、生成された画像プロパティベクトルを記憶部２６のログファイルに記録する（画像プロパティ記録処理）。
ステップＳ７では、記録処理部３９が、操作者によるアノテーション入力操作に対応するアノテーションを、記憶部２６のログファイルに記録する。アノテーションは、テキスト情報の一例となっている。図６は、ＤＴＰアプリケーションにおけるアノテーション付与のためのユーザインタフェース３１の一例である。ＤＴＰアプリケーションにおいては、画像を表示するだけでなく、画像操作に関するオプションなどをボタンまたはウィンドウで表示する。図６の例の場合、アノテーションを入力するためのサブウィンドウ５０をＤＴＰアプリケーションのユーザインタフェース３１上に配置し、アノテーションの入力領域５３に対するアノテーションの入力を促す。例えば、現在入力画像および現在入力画像に施す画像処理についての説明などのアノテーションを、自然言語などを用いて入力可能となっている。また、現在入力画像の解析結果から、現在入力画像に関連する可能性の高いアノテーション項目を、タグレコメンデーション（タグ）領域５４に一覧表示する。操作者は、一覧表示されたアノテーション項目の中から、所望のアノテーション項目を選択操作することで、選択したアノテーションに関連付けられて記憶されている画像処理手順を指定可能となっている。
記録処理部３９は、サブウィンドウ５０上の登録ボタン（Register THIS Case）５２が、操作者により操作されると、アノテーションの入力領域５３に入力されたアノテーション、または、操作者により選択されたアノテーション項目を、記録部２６のログファイルに記録する。
次に、ステップＳ８では、記録処理部３９が、操作者が用いた画像処理を示す画像処理情報を、記憶部２６のログファイルに記録する。また、ステップＳ９では、記録処理部３９が、操作者によるアプリケーション操作の操作手順を示す操作手順情報を、記憶部２６のログファイルに記録する。記録処理部３９は、ステップＳ１０において、操作者による処理の終了操作を検出するまでの間、操作者により、画像処理操作またはアプリケーション操作が行われる毎に、ステップＳ８における画像処理情報の記録動作、またはステップＳ９におけるアプリケーション操作の操作手順情報の記録動作を繰り返し実行する。これにより、記憶部２６のログファイルには、現在入力画像、画像プロパティベクトル、アノテーション、画像処理情報、および操作手順情報がそれぞれ関連付けされてＤＴＰ事例データとして記憶される。
ＣＰＵ２４は、ステップＳ１０において、操作者による処理の終了操作を検出すると、図５のフローチャートの処理を終了する。
次に、図５のフローチャートのステップＳ５における画像解析処理の説明をする。図７が、画像解析処理のフローチャートである。画像解析処理は、図７のフローチャートに示すように、ステップＳ２１におけるコントラスト問題抽出処理、ステップＳ２２における色問題抽出処理、ステップＳ２３におけるシャープネス問題抽出処理、およびステップＳ２４における画像プロパティベクトル生成処理を含んでいる。
すなわち、画像解析処理は、コントラスト問題抽出処理、色問題抽出処理、およびシャープネス問題抽出処理の３つの処理の各出力を統合し、ステップＳ２４で現在入力画像を特徴づける画像プロパティベクトルを生成する。生成された画像プロパティベクトルは、ステップＳ６において、記録処理部３９により、記憶部２６のログファイルに記憶される。
次に、図８のフローチャートに、図７のフローチャートのステップＳ２１におけるコントラスト問題抽出処理の、学習段階における動作の流れを示す。コントラスト問題抽出処理では、現在入力画像がコントラスト補正を必要とする画像であるか否かを判断し、補正すべき場合は、補正量も合わせて計算する。このようなコントラスト問題抽出処理を頑健なモデルとして構成するためには、多数の画像を用いて学習処理を行うことが有効である。しかし、学習処理のためには、入力される訓練画像に対して、それらの画像が高コントラストなのか、低コントラストなのかを教師データとして与える必要があり、これを人手で行うのは大きなリソースを必要とする。
画像処理装置１９の場合、入力される訓練画像に対して自動的に上述の教師データを付与するために、操作者は、大規模な画像コレクションＤＢから、少数の画像データ（学習データ）をランダムに選択する。ＣＰＵ２４は、図８のフローチャートのステップＳ３１およびステップＳ３２において、ランダムに選択された学習データを、これから学習する画像データとして認識する。
次に、操作者は、選択した学習データに対して、高コントラストまたは低コントラストかを示す正解情報を入力操作する。ＣＰＵ２４は、ステップＳ３３〜ステップＳ３６において、低コントラストに分類された画像の平均コントラスト（低平均コントラスト）を検出する。また、ＣＰＵ２４は、ステップＳ３７〜ステップＳ４０において、高コントラストに分類された画像の平均コントラスト（高平均コントラスト）を検出する。そして、ＣＰＵ２４は、ステップＳ４１において、低平均コントラストおよび高平均コントラストから、コントラスト閾値およびコントラスト補正量を計算する。具体的には、低コントラスト画像集合のコントラスト分布の低平均コントラストを「Ｔlow」、高コントラスト画像集合のコントラスト分布の高平均コントラストを「Ｔhigh」とすると、新たな現在入力画像「Ｉ」が与えられたときのコントラスト補正量である「contrast correction（Ｉ）」は、以下の（１）の数式で算出される。
ＣＰＵ２４は、（１）の数式で算出したコントラスト閾値およびコントラスト補正量の計算式をコントラスト抽出モデルとし、ステップＳ４２において、記憶部２６（モデルリポジトリ）に記憶する。ＣＰＵ２４は、ステップＳ４３において、画像コレクション中の全画像に対して、このようなコントラスト抽出モデルの算出処理を施したか否かを判別する。そして、ＣＰＵ２４は、全画像に対してコントラスト抽出モデルの算出処理を施していないものと判別した場合は（ステップＳ４３：Ｎｏ）、処理をステップＳ３１に戻し、再度、操作者により選択された画像に対してコントラスト抽出モデルの算出処理を施す。また、ＣＰＵ２４は、全画像に対してコントラスト抽出モデルの算出処理を施したものと判別した場合は（ステップＳ４３：Ｙｅｓ）、そのまま図８の学習段階のフローチャートの処理を終了する。
次に、上述のコントラスト閾値およびコントラスト補正量の計算式であるコントラスト抽出モデルは、コントラスト問題抽出処理の認識段階で用いられる。図９のフローチャートに、図７のフローチャートのステップＳ２１におけるコントラスト問題抽出処理の認識段階における動作の流れを示す。ＣＰＵ２４は、コントラスト問題抽出処理の認識段階となると、ステップＳ５１およびステップＳ５２において、モデルリポジトリである記憶部２６からコントラスト抽出モデルの読み出しを行う。また、ＣＰＵ２４は、ステップＳ５３〜ステップＳ５５において、操作者により指定された現在入力画像Ｉの平均コントラストＣを算出する。
次に、ＣＰＵ２４は、平均コントラストＣが高平均コントラストＴｈｉｇｈよりも大きな値であるか否かを判別する。平均コントラストＣが高平均コントラストＴｈｉｇｈよりも大きな値であると判別した場合（ステップＳ５６：Ｙｅｓ）、ＣＰＵ２４は、ステップＳ５８に処理を進め、現在入力画像Ｉを高コントラスト画像と認識する。そして、ＣＰＵ２４は、ステップＳ６０において、高コントラスト画像として認識した現在入力画像Ｉのコントラスト補正量を、上述の（１）の数式を用いて算出し、図９の認識段階のフローチャートの処理を終了する。
一方、平均コントラストＣが高平均コントラストＴｈｉｇｈよりも小さな値であると判別した場合（ステップＳ５６：Ｎｏ）、ＣＰＵ２４は、処理をステップＳ５７に進める。ステップＳ５７では、ＣＰＵ２４が、平均コントラストＣが低平均コントラストＴlowよりも小さな値であるか否かを判別する。平均コントラストＣが低平均コントラストＴlowよりも大きな値であると判別した場合（ステップＳ５７：Ｎｏ）、ＣＰＵ２４は、そのまま図９の認識段階のフローチャートの処理を終了する。
これに対して、平均コントラストＣが低平均コントラストＴlowよりも小さな値であると判別した場合（ステップＳ５７：Ｙｅｓ）、ＣＰＵ２４は、ステップＳ５９に処理を進め、現在入力画像Ｉを低コントラスト画像と認識する。そして、ＣＰＵ２４は、ステップＳ６０において、低コントラスト画像として認識した現在入力画像Ｉのコントラスト補正量を、上述の（１）の数式を用いて算出し、図９の認識段階のフローチャートの処理を終了する。
次に、距離尺度計算部３３における、ＤＴＰ事例間の距離（距離尺度）の計算動作を説明する。ＤＴＰ事例は、入力画像、出力画像、入出力画像間の画像処理手順、その他のメタデータ（属性情報）を含む。このため、各ＤＴＰ事例の特徴量である特徴ベクトルＶは、以下の（２）の数式で表すことができる。
この（２）の数式において、「Vinput_image」は、現在入力画像から抽出された画像特徴を示している。また、「Voutput_image」は、出力画像から抽出された画像特徴を示している。また、「Vprocess」は、画像処理手順から抽出された特徴を示している。また、「Vmetadata」は、その他の属性情報から抽出された特徴を示している。これらを単一の特徴ベクトルとして取り扱うために、（２）の数式の右辺の各項の項目は、それぞれに正規化されているものとする。現在入力画像の特徴次元数を「Dinput_image」、出力画像の特徴次元数を「Doutput_image」、画像処理手順の特徴次元数を「Dprocess」、そして属性情報（メタデータ）の特徴次元数を「Dmetadata」とし、これらの４つの特徴次元数の和をＤとすると、各ＤＴＰ事例を特徴付ける特徴ベクトルＶは、図１０に示す列構造で表すことができる。
第１のＤＴＰ事例の特徴ベクトルをＶ１、第２のＤＴＰ事例の特徴ベクトルをＶ２とすると、各事例間の距離Ｄは、Ｖ１とＶ２の内積により、以下の（３）の数式で定義することができる。
また、過去入力画像、出力画像、画像処理手順、および属性情報のいずれか、または、これらの組み合わせに対して特に重み付けをした重み付け距離ＤＷは、以下の（４）の数式で定義することができる。
また、重み係数行列Ｗは、以下の（５）の数式で定義することができる。
ここで、「WDinput_image」は、「Dinput_image」個の対角要素であり、過去入力画像の特徴に対する重み付けを、それ以降のＷについても対応する特徴に対する重みをあらわすものとする。現在入力画像の類似性のみを考慮したＤＴＰ事例間の距離を計算する場合には、「WDinput_imagew」を「１」に、それ以外のＷ項目を「０」にする。その他の場合も同様の方法で、ＤＴＰ事例の特定の特徴のみを利用した距離を算出し、これに基づいた検索を行うことができる。
なお、特徴量は（２）の数式で表されるような特徴ベクトルに限られるものではなく、ＤＴＰ事例の特徴を表す情報であればどのような情報であってもよい。また事例間の距離は、（３）の数式で表される距離尺度に限られるものではなく、事例間の類似度を示す情報であればどのような情報であってもよい。
次に、画像処理装置１９においては、シーン認識部３５において実行される画像のシーン識別処理を、ＤＴＰアプリケーションで合わせて用いている。すなわち、現在入力画像または出力画像のシーン識別結果を、属性情報として用いる。これにより、上述の属性情報を拡充し、シーンに基づいた距離尺度の定義、およびこれを利用したＤＴＰ事例の検索を可能とすることができる。
次に、画像処理装置１９においては、画像処理手順の名称を属性情報として用いている。すなわち、ＤＴＰアプリケーションにおいては、現在入力画像に画像処理を施すことで出力画像を生成する。画像処理装置１９においては、このときに用いる各画像処理要素である、例えばシャープネス、彩度補正、その他の画像処理要素に一意な番号を付している。これにより、ＤＴＰ事例における該画像処理要素の正規化された出現頻度により、特徴ベクトル要素を構成できる。
例えば、図１１は、各画像処理要素、各画像処理要素に対して付された画像処理要素番号、および各画像処理要素の正規化出現頻度の一例である。この図１１に示す例は、アンシャープマスクの画像処理要素に対して「１」の画像処理要素番号が付され、正規化出現頻度は「０．００１」であることを示している。また、彩度補正の画像処理要素に対して「２」の画像処理要素番号が付され、正規化出現頻度は「０．１」であることを示している。また、コントラスト強調の画像処理要素に対して「３」の画像処理要素番号が付され、正規化出現頻度は「０．２」であることを示している。さらに、エッジ強調の画像処理要素に対して「４」の画像処理要素番号が付され、正規化出現頻度は「０．０」であることを示している。すなわち、図１１の例の場合、画像処理特徴ベクトル要素は、「０．００１，０．１，０．２，０．０，…，０．０」となる。
なお、画像処理装置１９においては、特定の画像処理要素が利用されたか否かでＤＴＰ事例を検索する場合、図４の検索処理部４０は、画像処理特徴ベクトル要素の非ゼロ要素を検索する。
次に、画像処理装置１９においては、検索されたＤＴＰ事例間の距離尺度（特徴量）を用いて、検索結果を順位付けして表示する。これは、表示制御部４２が、上述のようにＤＴＰ事例間の距離を定義し、この距離指標に従ってＤＴＰ事例の検索結果を順位付けし、モニタ装置などの表示部に表示されたユーザインタフェース３１を介して表示する。これにより、所望の画像処理手順を選択し易い画像処理装置を、操作者に対して提供することができる。図１２は、検索されたＤＴＰ事例を操作者が選択するためのユーザインタフェース３１の一例である。この図１２に例示するように、ＣＰＵ２４は、上述のようにＤＴＰ事例間の距離を定義し、この距離指標に従ってＤＴＰ事例の検索結果を順位付けし、関連するＤＴＰ事例６１をモニタ装置などの表示部に表示する。
操作者は、距離尺度順（特徴量順）に表示された各ＤＴＰ事例のうち、現在入力画像に対して施すことを希望する画像処理に対応するＤＴＰ事例を選択操作する。操作者によりＤＴＰ事例が選択されると、プリファレンス記録部３７は、選択されたＤＴＰ事例を示す情報を記憶部２６に記憶する。また、画像処理部４１は、操作者により選択されたＤＴＰ事例に含まれる画像処理手順に従った画像処理を、現在入力画像に施して出力画像を生成する。表示制御部は、生成された出力画像を表示部に表示する。これにより、操作者は、自分で選択した画像処理手順に従って画像処理された出力画像を得ることができる。
次に、画像処理装置１９においては、操作者が現在実施している画像処理を検出し、画像処理に関連のあるＤＴＰ事例を、記憶部２６に記憶されているＤＴＰ事例データベースから検索する。そして、ユーザインタフェースを介して、操作者に対して検索結果を提示するようになっている。
すなわち、画像処理装置１９の場合、操作者がＤＴＰアプリケーションで行っている画像処理をＣＰＵ２４が監視している。そして、ＣＰＵ２４は、操作者が選択している画像処理要素を同定する。例えば、現在、操作者が選択している画像処理要素を画像処理要素Ａとすると、検索処理部４０が記憶部２６から画像処理要素Ａを含むＤＴＰ事例を検索する。これにより、画像処理要素Ａを含むＤＴＰ事例を、操作者に対して提示することができる。
次に、画像処理装置１９においては、操作者が画像処理を実行すると、画像処理記録部３８が、現在入力画像、出力画像、処理手順情報、テキストで記述された属性情報を、実施されたＤＴＰ事例として記憶部２６のＤＴＰ事例データベースに登録する。これにより、ＤＴＰ事例データベースには、実際に操作者により実行された画像処理の履歴（ＤＴＰ事例）が蓄積される。蓄積されたＤＴＰ事例は、ＤＴＰ検索に用いられる。これにより、操作者が希望する確立の高い画像処理手順を、操作者に対して提示することができる。
次に、画像処理装置１９の場合、ＤＴＰアプリケーションから独立した独自のインタフェースを持つシステムとしても実装が可能である。例えば、図１３の左上の画像が、操作者に入力された現在入力画像６５とする。検索処理部４０が、現在入力画像６５の類似性に基づいてＤＴＰ事例を検索し、事例間距離の順に検索結果を提示する。図１３の３段目の各画像が事例の入力画像６６、４段目の各画像が事例の出力画像６７である。
そして、各ＤＴＰ事例に付随する画像処理手順を、操作者により入力された現在入力画像６５に対して施したプレビュー画像６８を提示する。図１３の２段目の各画像がプレビュー画像６８である。これにより、操作者は、自分が入力した現在入力画像６５に対して施される画像処理の視覚的効果を、各プレビュー画像６８で確認したうえで、処理手順を選択できる。また、操作者は、検索結果のいずれかを選択することで、選択したＤＴＰ事例に付随する画像処理手順により処理された画像を得ることができる。
なお、検索結果に所望の画像がない場合、操作者は、図１３の現在入力画像６５に隣接して表示された相関曲線（Correlogram）、ヒストグラム（Histgram）、カラー記述子（Color Descriptor）の各検索条件、およびこれらの重み付け値６９を変更して再度検索する。これにより、所望の画像を得易くすることができる。
以上の説明から明らかなように、実施の形態の画像処理装置は、例えば熟練のＤＴＰオペレータが画像に対して施す画像処理を記録し、現在入力画像、出力画像、および画像処理手順の３つを１つのまとまり（ＤＴＰ事例）としてリポジトリ（記憶部２６）に記憶する。新たに現在入力画像が与えられたとき、現在入力画像の画像情報、または操作者が付与する付帯情報を用いてリポジトリを検索し、関連するＤＴＰ事例をリストアップする。リストアップされたＤＴＰ事例にそれぞれ含まれる画像処理手順を、現在入力画像に適用することで、処理結果画像を得る。
また、実施の形態の画像処理装置は、例えば事例ベース推論手法（case based reasoning）などの検索手法により、画像の類似性（local low level image features）を用いたＤＴＰ事例の検索を行う。また、これに加え、被写体などの情報である画像コンテンツ情報（Image content Semantics）、および領域特徴（image region segmentation）を用いたＤＴＰ事例の検索を行う。さらに、操作者の補正意図（Enhancement intention）などを用いたＤＴＰ事例の検索を行う。
これにより、実施の形態の画像処理装置は、過去の画像処理手順から、操作者が希望する可能性の高い画像処理手順を高精度且つ拡張性高く検索できる。このため、過去の画像処理手順を、有効に利用でき、画像処理装置の使い勝手の向上を図ることができる。
上述の実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。実施の形態および実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１ 現在入力画像
２ 過去入力画像
３ 過去入力画像
４ 過去入力画像
５ 画像処理手順
６ 画像処理手順
７ 画像処理手順
８ ＤＴＰ事例
９ ＤＴＰ事例
１０ ＤＴＰ事例
１１ リポジトリ
１２ 処理結果画像
１３ 処理結果画像
１４ 処理結果画像
１９ 画像処理装置
２６ 記憶部
３１ ユーザインタフェース
３２ 処理制御部
３３ 距離尺度計算部
３４ 画像処理構成部
３５ シーン認識部
３６ 画像特徴抽出部
３７ プリファレンス記録部
３８ 画像処理記録部
３９ 記録処理部
４０ 検索処理部
特許第３９９８８３４号公報 特開２００９−１３４５８０号公報
Reconfigurable Models for Scene Recognition, S. N. Parizi et.al. （インターネットＵＲＬ：http://ieeexplore.ieee.org/xpl/login.jsp?reload=true&tp=&arnumber=6248001&url=http%3A%2F%2Fieeexplore.ieee.org%2Fxpls%2Fabs_all.jsp%3Farnumber%3D6248001）

Claims (10)

  1. 過去の入力画像である過去入力画像、前記過去入力画像の属性を示す第１属性情報、および処理手順情報を含む画像処理事例を記憶する記憶部と、
    新たに入力された入力画像である現在入力画像および前記現在入力画像の属性を示す第２属性情報に対して類似する前記過去入力画像および前記第１属性情報を含む前記画像処理事例を、画像特徴及び画像処理手順から抽出された特徴を含む特徴ベクトルを用いて、前記記憶部から検索する検索処理部と、
    検索された前記画像処理事例のうち、操作者により選択された前記画像処理事例に含まれる前記処理手順情報に従った画像処理を、前記現在入力画像に施して出力画像を生成する画像処理部と
    を有する画像処理装置。
  2. 前記第１属性情報および前記第２属性情報は、テキストで記述されること
    を特徴とする請求項１に記載の画像処理装置。
  3. 前記第１属性情報は、前記過去入力画像のシーン識別結果であり、
    前記第２属性情報は、前記現在入力画像のシーン識別結果であること
    を特徴とする請求項１または請求項２に記載の画像処理装置。
  4. 前記第１属性情報は、前記処理手順情報が示す画像処理手順の名称であり、
    前記第２属性情報は、前記現在入力画像に対して指定された画像処理手順の名称であること
    を特徴とする請求項１から請求項３のうち、いずれか一項に記載の画像処理装置。
  5. 前記検索処理部は、操作者の指定により実施中の画像処理に関連のある前記画像処理事例を前記記憶部から検索すること
    を特徴とする請求項１から請求項４のうち、いずれか一項に記載の画像処理装置。
  6. 検索された前記画像処理事例の間の特徴量を用いて、検索された前記画像処理事例を順位付けして表示する表示制御部、をさらに備えたこと
    を特徴とする請求項１から請求項５のうち、いずれか一項に記載の画像処理装置。
  7. 操作者が実施を指定した画像処理に対応する前記現在入力画像、前記第２属性情報、および前記処理手順情報を含む画像処理事例を生成し、前記記憶部に記憶する画像処理記録部、をさらに備えたこと
    を特徴とする請求項１から請求項６のうち、いずれか一項に記載の画像処理装置。
  8. 検索された前記画像処理事例のうち、操作者により選択された前記画像処理事例を前記記憶部に記録するプリファレンス記録部を、さらに有すること
    を特徴とする請求項１から請求項７のうち、いずれか一項に記載の画像処理装置。
  9. 記憶制御部が、過去の入力画像である過去入力画像、前記過去入力画像の属性を示す第１属性情報、および処理手順情報を含む画像処理事例を記憶部に記憶する記憶ステップと、
    検索処理部が、新たに入力された入力画像である現在入力画像および前記現在入力画像の属性を示す第２属性情報に対して類似する前記過去入力画像および前記第１属性情報を含む前記画像処理事例を、画像特徴及び画像処理手順から抽出された特徴を含む特徴ベクトルを用いて、前記記憶部から検索する検索処理ステップと、
    画像処理部が、検索された前記画像処理事例のうち、操作者により選択された前記画像処理事例に含まれる前記処理手順情報に従った画像処理を、前記現在入力画像に施して出力画像を生成する画像処理ステップと
    を有する画像処理方法。
  10. コンピュータを、
    過去の入力画像である過去入力画像、前記過去入力画像の属性を示す第１属性情報、および処理手順情報を含む画像処理事例を記憶部に記憶する記憶制御部と、
    新たに入力された入力画像である現在入力画像および前記現在入力画像の属性を示す第２属性情報に対して類似する前記過去入力画像および前記第１属性情報を含む前記画像処理事例を、画像特徴及び画像処理手順から抽出された特徴を含む特徴ベクトルを用いて、前記記憶部から検索する検索処理部と、
    検索された前記画像処理事例のうち、操作者により選択された前記画像処理事例に含まれる前記処理手順情報に従った画像処理を、前記現在入力画像に施して出力画像を生成する画像処理部として機能させること
    を特徴とする画像処理プログラム。
JP2014103840A 2014-05-19 2014-05-19 画像処理装置、画像処理方法、および画像処理プログラム Active JP6379664B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014103840A JP6379664B2 (ja) 2014-05-19 2014-05-19 画像処理装置、画像処理方法、および画像処理プログラム
US14/714,713 US20150334255A1 (en) 2014-05-19 2015-05-18 Image processing apparatus, image processing method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014103840A JP6379664B2 (ja) 2014-05-19 2014-05-19 画像処理装置、画像処理方法、および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2015219790A JP2015219790A (ja) 2015-12-07
JP6379664B2 true JP6379664B2 (ja) 2018-08-29

Family

ID=54539523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014103840A Active JP6379664B2 (ja) 2014-05-19 2014-05-19 画像処理装置、画像処理方法、および画像処理プログラム

Country Status (2)

Country Link
US (1) US20150334255A1 (ja)
JP (1) JP6379664B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106155611A (zh) * 2015-04-17 2016-11-23 中强光电股份有限公司 影像显示系统及其影像呈现方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6345274B1 (en) * 1998-06-29 2002-02-05 Eastman Kodak Company Method and computer program product for subjective image content similarity-based retrieval
US7912291B2 (en) * 2003-11-10 2011-03-22 Ricoh Co., Ltd Features for retrieval and similarity matching of documents from the JPEG 2000-compressed domain
GB0524572D0 (en) * 2005-12-01 2006-01-11 Univ London Information retrieval
US8027549B2 (en) * 2006-06-12 2011-09-27 D&S Consultants, Inc. System and method for searching a multimedia database using a pictorial language
JP4712635B2 (ja) * 2006-07-27 2011-06-29 富士フイルム株式会社 データ補正方法および装置並びにプログラム
US7840076B2 (en) * 2006-11-22 2010-11-23 Intel Corporation Methods and apparatus for retrieving images from a large collection of images
CN101295305B (zh) * 2007-04-25 2012-10-31 富士通株式会社 图像检索装置
JP2009116691A (ja) * 2007-11-07 2009-05-28 Seiko Epson Corp 画像処理方法、画像処理装置、及びプログラム
CN102105901B (zh) * 2008-06-06 2013-03-06 谷歌公司 注释图像
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
JP5707947B2 (ja) * 2011-01-11 2015-04-30 株式会社リコー 画像処理装置
US9411824B2 (en) * 2012-10-26 2016-08-09 Lida Huang Method and apparatus for image retrieval
US9129192B2 (en) * 2013-12-16 2015-09-08 Adobe Systems Incorporated Semantic object proposal generation and validation

Also Published As

Publication number Publication date
JP2015219790A (ja) 2015-12-07
US20150334255A1 (en) 2015-11-19

Similar Documents

Publication Publication Date Title
US10706276B2 (en) Image processing apparatus, control method therefor, and storage medium
JP4366108B2 (ja) 文書検索装置、文書検索方法及びコンピュータプログラム
US20150278710A1 (en) Machine learning apparatus, machine learning method, and non-transitory computer-readable recording medium
US10055640B2 (en) Classification of feature information into groups based upon similarity, and apparatus, image processing method, and computer-readable storage medium thereof
US20040267734A1 (en) Document search method and apparatus
JP6833620B2 (ja) 画像解析装置、ニューラルネットワーク装置、学習装置、画像解析方法およびプログラム
JP7077265B2 (ja) 文書解析装置、学習装置、文書解析方法および学習方法
CN100511232C (zh) 文档检索装置及方法
JP6379664B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US11694458B2 (en) Image processing apparatus that sets metadata of image data, method of controlling same, and storage medium
JP2019057311A (ja) 帳票情報認識装置および帳票情報認識方法
JP5357711B2 (ja) 文書処理装置
KR101336901B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기록 매체
US20220207900A1 (en) Information processing apparatus, information processing method, and storage medium
JP6337430B2 (ja) 画像処理システム、画像処理方法およびプログラム
JP4518212B2 (ja) 画像処理装置及びプログラム
US11170211B2 (en) Information processing apparatus for extracting portions filled with characters from completed document without user intervention and non-transitory computer readable medium
JP7183623B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2006323580A (ja) 画像処理システム、画像処理方法、プログラム及び記憶媒体
JP2001043316A (ja) 文書画像処理方法、文書画像処理装置及び記録媒体
JP2006004157A (ja) 画像検索プログラム、画像検索方法、画像検索装置及び記録媒体
JP2020126328A5 (ja)
US20230186028A1 (en) Information processing apparatus, information processing method, and storage medium
JP2020047031A (ja) 文書検索装置、文書検索システム及びプログラム
US9367768B2 (en) Image processing device, image processing method, and storage medium computer-readably storing program therefor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180716

R151 Written notification of patent or utility model registration

Ref document number: 6379664

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151