JP7211157B2 - 情報処理装置、関連付け方法および関連付けプログラム - Google Patents

情報処理装置、関連付け方法および関連付けプログラム Download PDF

Info

Publication number
JP7211157B2
JP7211157B2 JP2019034980A JP2019034980A JP7211157B2 JP 7211157 B2 JP7211157 B2 JP 7211157B2 JP 2019034980 A JP2019034980 A JP 2019034980A JP 2019034980 A JP2019034980 A JP 2019034980A JP 7211157 B2 JP7211157 B2 JP 7211157B2
Authority
JP
Japan
Prior art keywords
item
column
item name
columns
association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019034980A
Other languages
English (en)
Other versions
JP2020140410A (ja
Inventor
郁子 高木
志朗 小笠原
幸嗣 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2019034980A priority Critical patent/JP7211157B2/ja
Priority to EP20763375.1A priority patent/EP3910546A4/en
Priority to PCT/JP2020/005631 priority patent/WO2020175163A1/ja
Priority to CN202080016620.8A priority patent/CN113508393A/zh
Priority to US17/433,718 priority patent/US20220165077A1/en
Publication of JP2020140410A publication Critical patent/JP2020140410A/ja
Application granted granted Critical
Publication of JP7211157B2 publication Critical patent/JP7211157B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/412Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/28Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/287Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/42Document-oriented image-based pattern recognition based on the type of document

Description

本発明は、情報処理装置、関連付け方法および関連付けプログラムに関する。
業務において、電子ファイルまたは紙で作成された帳票が様々なシーンで用いられている。ここで帳票とは、電子ファイルまたは紙で作成されたドキュメントやシステム画面のなかでも、複数の項目について、それぞれ、その項目の名前(項目名)と値(項目値)が記載され、かつその関係性が2次元平面上の配置によって表現されているものをいう。
このような帳票は、記載内容の多くが同じであっても帳票の様式を定める組織によって様式が少しずつ異なることが多い。また、業務運用の過程で変更が加えられることも多い。例えば、従来の技術として、帳票の様式を定めた組織の違いや、運用中の改定等により、レイアウトが異なっていても、帳票上に記載された自動的に処理したい項目値の位置を正しく特定し、データを抽出できるようにするために、欄の種別(欄内の記載内容が項目名なのか、項目値なのか)を判別するための情報を予め与えることで、欄が項目名であるかどうかを判別し、その上で、項目名欄と項目値欄の対応関係を認識することで、指定された自動処理対象項目の項目名に対応する項目値欄を、帳票の欄の中から特定できるようにする方法がある。
特開2018-10489号公報
しかしながら、従来の手法では、関連付けた結果が欄の配置変更に対応できない場合があるという課題があった。例えば、従来技術は、項目名が縦と横の両方に配置されている場合に縦と横が入れ替わった場合や、同一の項目値に関連付けられる複数の項目名間の親子関係の順序性が変わった場合に、項目値欄を特定できないという課題あった。
上述した課題を解決し、目的を達成するために、本発明の情報処理装置は、所定の帳票における、所望の項目値欄と関連付けられた項目名欄に対応付けられた項目名のセットを登録する登録部と、前記登録部によって登録された項目名のセットに基づいて、処理対象の帳票に含まれる項目名欄と項目値欄を関連付け、所望の項目値欄を特定する求解部とを有することを特徴とする。
本発明によれば、帳票の欄の配置に変更があった場合であっても、帳票に含まれる項目名欄と項目値欄とを関連付け、所望の項目値欄を特定することができるという効果を奏する。
図1は、第1の実施形態に係る情報処理装置の構成例を示すブロック図である。 図2は、第1の実施形態に係る情報処理装置における帳票処理ツールの論理構成を示すブロック図である。 図3は、相対配置パターンについて説明する図である。 図4は、記載内容・位置データの一例を示す図である。 図5は、欄種別データの一例を示す図である。 図6は、票を分割する処理を説明する図である。 図7は、相対配置パターンのデータ例を示す図である。 図8は、許容される/されない相対配置パターンの一例を示す図である。 図9は、関連付け許容情報の一例を示す図である。 図10は、項目値欄基準での相対配置の判定結果と、項目名欄基準での相対配置の判定結果の両方を総合的に判断する処理例を説明する図である。 図11は、項目値欄基準での相対配置の判定結果と、項目名欄基準での相対配置の判定結果の両方を総合的に判断する処理例を説明する図である。 図12は、相対配置パターンを生成する処理例を説明する図である。 図13は、相対配置パターンを生成する処理例を説明する図である。 図14は、制約条件と評価関数を数式で表現する際に使用する記号について説明するための図である。 図15は、様式登録時における制約条件の一例を示す図である。 図16は、様式登録時における評価関数の一例について説明する図である。 図17は、登録済み様式利用時における制約条件について説明する図である。 図18は、登録済み様式利用時における評価関数の一例を示す図である。 図19は、第1の実施形態に係る情報処理装置による求解例を示す図である。 図20は、項目名欄と項目値欄の関連情報を示す図である。 図21Aは、第1の実施形態に係る情報処理装置における全体的な処理の流れの一例を示すフローチャートである。 図21Bは、第1の実施形態に係る情報処理装置における全体的な処理の流れの一例を示すフローチャートである。 図22は、第1の実施形態に係る情報処理装置の許容相対配置パターン生成部における処理の流れの一例を示すフローチャートである。 図23は、第1の実施形態に係る情報処理装置の記載内容・位置取得部における処理の流れの一例を示すフローチャートである。 図24は、第1の実施形態に係る情報処理装置の記載内容・位置取得部における処理の流れの一例を示すフローチャートである。 図25は、第1の実施形態に係る情報処理装置の記載内容・位置取得部における処理の流れの一例を示すフローチャートである。 図26は、特定プログラムを実行するコンピュータを示す図である。
以下に、本願に係る情報処理装置、関連付け方法および関連付けプログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本願に係る情報処理装置、関連付け方法および関連付けプログラムが限定されるものではない。
[第1の実施形態]
以下の実施の形態では、第1の実施形態に係る情報処理装置10の構成、帳票処理ツール16の論理構成、情報処理装置10の処理の流れを順に説明し、最後に第1の実施形態による効果を説明する。
[情報処理装置の構成]
まず、図1を用いて、本実施形態の情報処理装置10を含むシステムの構成例を説明する。図1は、第1の実施形態に係る情報処理装置の構成例を示すブロック図である。なお、図1に示す構成は一例にすぎず、具体的な構成は特に限定されない。
情報処理装置10は、PC(Personal Computer)やスマートフォン等の装置であって、例えば、帳票の記載内容を機械的に処理する。ここで、帳票とは、例えば、アプリケーションで作成された電子データ、PDFファイル、システム画面の構造データ、画像データ(例えば、電子ファイルやシステム画面を画像データに変換したもの、紙をスキャンして電子化したもの)が対象である。
また、情報処理装置10は、帳票の記載内容を機械的に処理するのに先立ち、許容される相対配置パターンおよび許容されない相対配置パターン(以下、「許容される/されない相対配置パターン」と記載する)を登録する処理を行う。情報処理装置10は、帳票の様式登録の際、および登録済みの様式情報を利用する際は、登録した許容される/されない相対配置パターンを用いて、帳票に含まれる項目名欄と項目値欄との関連付けの可能性を判定する。なお、帳票の欄は矩形でなくてもよく、単純多角形であればよいものとする。また、帳票の欄は罫線で囲われることもあれば、囲われていないこともある。このため、罫線で囲われていない場合には、オブジェクト取得等で取得した矩形を欄として扱うよういしてもよい。
ここで、相対配置パターンについて、図3を用いて説明する。例えば、帳票における欄iの欄jに対する相対配置パターンとは、図3のように、平面を、欄jに外接する最小矩形を中心として、その左上、上、右上、左、右、左下、下、右下、同位の9個の領域に分けた時(以下、これらの領域を、「欄jを中心とする領域群」と呼ぶ)、欄iがどの領域に重なりをもつかを表したものである。欄iが広がる領域は、単一の場合もあるし、複数になる場合もある。ただし、欄は、単純多角形であるため、欄iの広がる領域が複数になる場合には、それらの領域同士は、領域の境界となる辺のうち少なくとも1個以上を共有している。
許容される/されない相対配置パターンについて、例えば、日本国内で用いられる帳票においては、項目名欄iが、項目値欄jの項目名欄であるならば、項目名欄iは、項目値欄jを中心とする領域群のうち、少なくとも左、上のどちらかの領域と重なりを持つ(左、上以外の領域と重なりを持つかどうかは問わない)か、あるいは、同位の領域とのみ重なりを持つことを、仮定できる。言い換えれば、下記(1)~(3)の領域とのみ、重なりをもつ項目名欄iは、項目値欄jの項目名欄とはならない。
・(1)項目値欄jの左上の領域
・(2)項目値欄jの右上、右、右下、下、左下の領域、またはこれらのいくつか、あるいはすべてを結合した領域
・(3)上記(1)、(2)領域と、項目値欄jの同位の領域を結合した領域
許容される/されない相対配置パターンについて、例えば、日本国内で用いられる帳票においては、項目値欄jが、項目名欄iの項目値欄であるならば、項目値欄jは、項目名欄iを中心とする領域群のうち、少なくとも右、下のどちらかの領域と重なりを持つ(右、下以外の領域と重なりを持つかどうかは問わない)か、あるいは、同位の領域とのみ重なりを持つことを、仮定できる。言い換えれば、下記(1)~(3)の領域とのみ、重なりをもつ項目値欄jは、項目名欄iの項目値欄とはならない。
・(1)項目名欄iの右下の領域
・(2)項目名欄iの左下、左、左上、上、右上の領域、またはこれらを結合した領域
・(3)上記(1)、(2)の領域と、項目値欄iの同位の領域を結合した領域
ここでは、許容される相対配置パターン、または許容されない配置パターンを、具体的に列挙することで指定しているが、「領域群のうち、○○領域と××領域の少なくともいずれかと重なりを持てば、許容される。」という許容条件や、非許容条件を表す論理式等により、指定してもよい。
以上は、任意の項目名欄と項目値欄に関する「汎用モデル」である。特定の様式における、特定の項目名をもつ項目名欄と項目値欄について、これとは異なる仮定が必要な場合には、「項目名個別ルール」として、その項目名欄と項目値欄の相対配置パターンについて、許容できるもの、または許容できないものを決めておくようにしてもよい。
情報処理装置10は、操作入力部11a、帳票入力部11b、表示部12、OS(Operating System)13、記憶部14、エディタ15および帳票処理ツール16を有する。なお、これらの構成要素が同一装置上にある場合に限定されず、複数の装置に分散して配置されてもよい。
操作入力部11aは、帳票の様式登録、機械的な処理などの実行命令や、項目名欄と項目値欄の関連情報の修正や編集などツールに対する操作を入力するものであり、キーボードやマウス、タッチパネルなどを備えて構成される。帳票入力部11bは、帳票のデータなどを入力するものであり、カメラ、スキャナなどを備えて構成される。また、表示部12は、各種処理結果を表示するものであり、ディスプレイやタッチパネル、スピーカなどを備えて構成される。
また、情報処理装置10本体は、OS13が実行され、OS13の処理にともない各種パラメータ等を編集するためのエディタ15や帳票を処理するための帳票処理ツール16が起動される。
記憶部14は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク等の記憶装置である。記憶部14は、RAM(Random Access Memory)、フラッシュメモリ、NVSRAM(Non Volatile Static Random Access Memory)等のデータを書き換え可能な半導体メモリであってもよい。記憶部14は、例えば、後述する欄の種別の判別情報を記憶する。
次に、図2の例を用いて、帳票処理ツール16の論理構成について説明する。図2は、第1の実施形態に係る情報処理装置における帳票処理ツールの論理構成を示すブロック図である。図2に例示するように、帳票処理ツール16は、記載内容・位置取得部161、欄の種別判別部162、票分割部163、関連付け許容判定部164、評価関数生成部165、制約条件付与部166、求解部167、登録部168a、修正部168bおよび許容相対配置パターン生成部169を有する。
記載内容・位置取得部161は、帳票のデータを受け付け、帳票における欄の構成領域と欄に含まれる文字列を取得する。そして、記載内容・位置取得部161は、取得した各帳票中の各欄の文字列と各欄の構成領域を示す記載内容・位置データ170aを作業データ蓄積部170に格納する。ここで、記載内容・位置データ170aについて図4を用いて説明する。図4に例示するように、記載内容・位置データ170aは、欄を識別する「欄ID」と、欄に含まれる「文字列」と、文字列を構成する「文字の種類」と、「欄の構成領域」とが対応付けられている。欄の構成領域は、例えば、ベクターデータのように、欄の輪郭線、欄の頂点集合に関する情報であってもよいし、ラスターデータのように、帳票全体を行と列の格子状に並んだセルに分割して、欄がどのセルを含むかどうかの情報であってもよい。
欄の種別判別部162は、帳票の各欄の種別を判別し、判別結果を欄種別データ170bとして作業データ蓄積部170に格納する。なお、帳票の各欄の種別を判別する方法はどのような方法であってもよい。また、欄の種別判別部162は、既知の帳票については、予め設定された欄の種別を判別するための情報を参照して、帳票の各欄の種別を判別するようにしてもよい。また、例えば、欄の種別判別部162は、レイアウトが同一の複数の帳票を取得し、各帳票における同一位置の各欄の記載内容を比較し、各帳票における同一位置の欄の記載内容が同一である場合には、当該欄の種別を項目名と判別し、異なる欄がある場合には、当該欄の種別を項目値と判別するようにしてもよい。
ここで、欄種別データ170bについて図5を用いて説明する。図5に例示するように、欄種別データ170bは、欄を識別する「ID」と欄の種別を示す「種別」とが対応付けられている。図5の例では、種別が「TRUE」である場合には、欄が「項目名」であることを意味し、種別が「FALSE」である場合には、欄が「項目値」であることを意味する。
票分割部163は、項目名欄と項目値欄の関連付けの効率化のために、票を分割する。票分割部163は、例えば、図6に例示するように、罫線で囲われている領域と、囲われていない領域で分割し、各領域における票をそれぞれ一つの票として扱う。そして、票分割部163は、記載内容・位置データ170aのデータを票ごとに分けて票別記載内容・位置データ170cとして作業データ蓄積部170に格納する。なお、票分割部163による処理は省略してもよく、票を分割しない場合には、帳票全体を1つの票として扱い、以後の処理を行う。以降では、特に断りのない限り、分割した場合には分割して得られる各票を、分割しない場合には帳票全体を、単に「帳票」として記載し、区別しない。
関連付け許容判定部164は、処理対象の帳票中の各欄を基準にして他の欄の存在領域の分布パターンである相対配置パターンをそれぞれ求め、該相対配置パターンと、予め設定された「許容される/されない相対配置パターン」のうちのいずれか一つまたは両方と比較し、処理対象の帳票中の項目名欄と項目値欄との関連付く可能性の有無を判定する。つまり、関連付け許容判定部164は、「許容される/されない相対配置パターン」に基づき、各項目値欄と項目名欄とが関連付く可能性があるかどうかを判定する。
具体的には、まず、関連付け許容判定部164は、処理対象の帳票中の各欄を基準にして他の欄の存在領域の分布パターンである相対配置パターンを求め、「相対配置パターン」170dとして作業データ蓄積部170に格納する。ここで、図7の例を用いて、相対配置パターンのデータ例について説明する。図7に例示するように、相対配置パターンは、項目名を識別する「項目名欄ID」と、項目値を識別する「項目値欄ID」と、項目名と項目値のいずれを基準とするかを示す「基準」と、相対配置パターンを識別する「相対配置パターンID」とが対応付けられている。
そして、関連付け許容判定部164は、相対配置パターン保持部171に記憶される許容される/されない相対配置パターン171aを参照し、各欄の相対配置パターンが各項目値欄と項目名欄とが関連付く可能性があるかどうかを判定する。具体的には、項目名欄と項目値欄の各組合せについて、項目名欄を基準とする項目値欄の相対配置パターンが許容されるかどうか、および項目値欄を基準とする項目名欄の相対配置パターンが許容されるかどうかを、許容される/されない相対配置パターン171aを参照して判定し、どちらを基準とした場合にも許容される場合には、関連付く可能性があると判定し、そうでない場合には、関連付く可能性がないと判定する。ここで、図8の例を用いて、許容される/されない相対配置パターンのデータ例について説明する。許容される/されない相対配置パターン171aは、相対配置パターンIDを示す「ID」と、項目名と項目値のいずれを基準とするかを示す「基準」と、左上、上、右上、左、同位、右、左下、下、右下のそれぞれに配置されているかどうか(1/0)を上記の順に2進数で表現した「相対配置パターン」と、許容されるか否かを示す「許容可否」とが対応付けられている。
図7および図8の例を挙げて具体例に説明すると、例えば、関連付け許容判定部164は、図7に例示する相対配置パターンの1行目の、項目名欄ID「1」、項目値欄ID「3」、基準「項目名」について、相対配置パターンIDが「8」であるため、図8の許容される/されない相対配置パターン171aのID「8」に対応する許容可否を参照する。図8の例では、ID「8」に対応する許容可否が「○」であるため、関連付け許容判定部164は、許容されるものと判定する。また、関連付け許容判定部164は、項目名欄ID「1」、項目値欄ID「3」、基準「項目値」について、相対配置パターンIDが「548」であるため、許容される/されない相対配置パターン171aのID「548」に対応する許容可否を参照する。ここで、ID「548」に対応する許容可否も「○」であるため、関連付け許容判定部164は、項目名欄ID「1」の項目名欄と項目値欄ID「3」の項目値欄とは関連付く可能性があると判定し、判定結果を関連付け許容情報170eとして作業データ蓄積部170に格納する。また、もし、ID「548」に対応する許容可否が「×」であれば、関連付け許容判定部164は、項目名欄ID「1」の項目名欄と項目値欄ID「3」の項目値欄とは関連付く可能性がないと判定し、判定結果を関連付け許容情報170eとして作業データ蓄積部170に格納する。
ここで、図9の例を用いて、関連付け許容情報のデータ例について説明する。関連付け許容情報170eは、図9に例示するように、「項目名欄ID」および「項目値欄ID」の組み合わせと許容可能かどうかを示す「許容可能」とが対応付けられている。関連付け許容情報170eにおける許容可能が「1」である場合には、対応する「項目名欄ID」および「項目値欄ID」の組み合わせが関連付く可能性があることを意味する。上記の例のように、関連付け許容判定部164は、項目名欄ID「1」の項目名欄と項目値欄ID「3」の項目値欄とは関連付く可能性があると判定した場合には、関連付け許容情報として、項目名欄ID「1」と項目値欄ID「3」と許容可能「1」とを対応付けて作業データ蓄積部170に格納する。
このように、関連付け許容判定部164は、欄の形状が矩形ではない場合であっても、項目値欄基準での相対配置の判定結果と、項目値名欄基準での相対配置の判定結果の両方を総合的に判断することにより、補完し合い、不要な対応関係の可能性を否定でき、誤って対応付けられる場合を減らすことが可能である。
ここで、図10および図11を用いて、項目値欄基準での相対配置の判定結果と、項目名欄基準での相対配置の判定結果の両方を総合的に判断する処理について説明する。図10および図11は、項目値欄基準での相対配置の判定結果と、項目名欄基準での相対配置の判定結果の両方を総合的に判断する処理例を説明する図である。
例えば、図10に例示するように、関連付け許容判定部164は、項目値欄j基準で相対配置を判定すると、項目名欄iは「同位」の領域内にのみ存在しており、「左」「上」の領域には広がっていないものの、「同位」でよくわからないため、対応関係は否定できないものと判定する。一方、関連付け許容判定部164は、項目名欄i基準で相対配置を判定すると、項目値欄jは「左」「左上」「上」の領域内にのみ存在し、対応関係はあり得ないと判定する。このため、関連付け許容判定部164は、判定結果を総合すると、項目名欄iは、項目値欄jの項目名欄にはなりえないと判断する。
また、例えば、図11に例示するように、関連付け許容判定部164は、項目値欄j基準で相対配置を判定すると、項目名欄iは「右」「右下」「下」の領域内にのみ存在し、対応関係はありえないと判定する。一方、関連付け許容判定部164は、項目名欄i基準で相対配置を判定すると、項目値欄jは「同位」の領域内にのみ存在し、「右」「下」の領域には広がっていないものの、「同位」でよくわからないため、対応関係は否定できないと判定する。このため、関連付け許容判定部164は、判定結果を総合すると、項目名欄iは、項目値欄jの項目名欄にはなりえないと判断する。
ここで、上述した許容される/されない相対配置パターンを具体的に列挙し、そのそれぞれに対して許容される/されない、を指定しておく方法とは別の方法として、様々な様式の項目名欄と項目値欄の関連付けの事例から、相対配置パターンを取得して、それを基に許容する配置パターンを生成することも可能である。例えば、許容相対配置パターン生成部169は、任意の項目名欄と項目値欄が関連付くこと(または関連付かないこと)が既知のときに、その項目名欄と項目値欄の相対配置パターンがいずれかにより、許容する(または許容しない)相対配置パターンを生成する。
許容相対配置パターン生成部169は、所定の様式の帳票における項目名欄と項目値欄との関連付けから、相対配置パターンを取得して、取得した相対配置パターンを基に許容する相対配置パターンのデータを作成する。つまり、許容相対配置パターン生成部169では、項目名欄と項目値欄の関連付けに関する情報を用いて、許容される(あるいは、許容されない)相対配置パターンを生成する。なお、項目名欄と項目値欄の関連付け情報は、人手等で関連付けられた結果が、許容相対配置パターン生成部の入力として与えられるものとする。
ここで、図12および図13の例を用いて、相対配置パターンを生成する処理について説明する。図12および図13は、相対配置パターンを生成する処理例を説明する図である。例えば、図12に例示するように、許容相対配置パターン生成部169は、項目名欄iと項目値欄jとが関連付くことが既知である場合に、項目名欄iを基準とした相対配置パターン「000001000」を許容される相対配置パターンとして生成し、相対配置パターン保持部171に格納する。また許容相対配置パターン生成部169は、項目値欄jを基準とした相対配置パターン「100100100」を許容される相対配置パターンとして生成し、相対配置パターン保持部171に格納する。
また、図13に例示するように、許容相対配置パターン生成部169は、項目名欄iと項目値欄jとが関連付くことが既知である場合に、項目名欄iを基準とした相対配置パターン「000010000」を許容される相対配置パターンとして生成し、相対配置パターン保持部171に格納する。また許容相対配置パターン生成部169は、項目値欄jを基準とした相対配置パターン「110100100」を許容される相対配置パターンとして生成し、相対配置パターン保持部171に格納する。
また、関連付け許容判定部164は、登録済み様式情報利用時、すなわち、様式保持部172で保持されている様式情報を使って処理対象帳票中の項目値欄と項目名欄の関連付けを求める際に、予め設定された許容される分布パターンおよび許容されない分布パターンのうちのいずれか一つまたは両方を項目名別に定義する項目名個別ルールが様式情報として設定されている場合には、該項目名個別ルールに応じて、処理対象の帳票中の項目名欄と項目値欄との関連付く可能性の有無を判定するようにしてもよい。項目名個別ルールとして、例えば、項目名の文字列が「契約ID」の欄は右方向にある項目値欄と関連付くことや、項目名の文字列が「顧客タイプ」の欄は下方向にある項目値と関連付かないこと等が設定されているものとする。
評価関数生成部165は、評価関数で必要な、帳票に応じて決定される係数を求め、評価関数を生成し、適用する評価関数170fとして作業データ蓄積部170に格納する。評価関数は、各項目値欄に対して、項目名欄と項目値欄の関連の度合いを評価する観点を反映した評価項目で構成される。評価関数には、項目値欄と項目名欄の関連付けを求める際の評価項目として、項目値欄と項目名欄の配置上の近さ、欄の幅/高さの差あるいはその割合の小ささ、項目値欄と項目名欄の関連付けの少なさ、といった評価項目のうちのいずれかまたはすべてを用いる。また、登録済み様式情報利用時には、これらの評価項目に加え、様式登録時の帳票中に存在していた項目のうち、処理対象帳票中にも存在する項目の多さ、といった評価項目を用いる。
例えば、帳票は、項目名の情報から項目値の記載内容を理解できる媒体であることを前提とすると、可読性の観点から、項目名欄は項目値欄となるべく距離が近い位置に配置されている可能性が高い。従って、「項目名欄と項目値欄の距離が近いほうが、評価が高い」という、汎用的な評価項目を仮定できる。また、項目名欄と項目値欄の関連は、欄のサイズによっても表現されており、項目名欄の幅と項目値欄の幅が近い、つまり、帳票の縦方向または横方向に欄を射影した際に、重なる範囲が大きいほうが関連性が高い傾向があることから、汎用的な評価項目として「項目名欄の幅と項目値欄の幅の差が小さいほうが評価値が高い」を仮定できる。
また、汎用的な、あるいは項目名個別ルールの許容される相対配置パターンについて、相対配置パターンごとに予め評価項目値を用意しておき、項目名欄と項目値欄の関連付けが未知の帳票の項目名欄と項目値欄の組合せに対し、それらの相対配置パターンに応じてその評価項目値を適用し、評価関数に含めてもよい。相対配置パターンごとに予め用意する評価項目値としては、例えば、項目名欄と項目値欄の関連付けが既知の帳票において、関連付けられる事例が多い相対配置パターンほど高い評価項目値とすることが考えられる。
また、登録済み様式情報利用時には、項目名欄に関連付けられる項目値欄の、相対配置パターンや欄内に記載されている文字の種類と、様式登録時の帳票におけるそれらとの一致度合いに関する評価項目を、評価関数に含めてもよい。
あるいは、後述の制約条件を満たさない場合にペナルティとなる評価項目を含めてもよい。例えば、項目値欄が項目名欄と関連付かない場合も許容しつつも、なるべくそのような項目値欄が残らないように、「項目値欄に項目名欄が1個も割り当てられなければ評価が低い」という評価項目を評価関数に含めてもよい。
あるいは、評価関数生成部165は、登録済み様式情報利用時には、項目が追加された可能性のある場合、すなわち項目名欄、項目値欄が正しく判別できていない欄が含まれている可能性のある場合、各項目名欄に関連付けられる項目値欄の個数と、様式登録時の帳票におけるそれとの一致度合いに関する評価項目を、評価関数に含めてもよい。なお、この場合には、評価関数生成部165は、様式登録時の帳票において各項目名欄に関連付けられる項目値欄の個数を、様式保持部172で保持されている様式情報から算出する。
評価関数生成部165は、項目値欄と項目名欄の関連付けを求める際の評価関数として、上述したような評価項目候補のうち、いずれか一つまたは複数を、予め指定しておいた重みにより重み付けし、関数として生成する。
ここで、図14の例を用いて評価関数と制約条件を数式として表現する際に用いる記号について説明する。図14は、評価関数と制約条件を数式として表現する際に用いる記号について説明するための図である。図14では、「集合と要素」、「定数」、「変数」および「評価関数」についてそれぞれ記号の定義が記載されている。
そして、ここで、図16、図18の例を用いて、評価関数の一例について説明する。図16は、様式登録時における評価関数の一例について説明する図である。図16の(1)式では、xijを変数として、評価値の総和が最小となるように解を求める。また、cijは、図16の(2)式により求められる。
図18は、登録済み様式情報利用時の評価関数の一例について説明する図である。図18の(1)式、その中のcijは、図16と同じである。図18の(2)式は、様式情報から求められる様式登録時の帳票に含まれる項目名セットのうち、処理対象帳票中のいずれの項目値欄とも関連づかない項目名セットの少なさ、すなわち、様式登録時の帳票中に存在していた項目のうち、処理対象帳票中にも存在する項目の多さに関する評価項目を重み付けしたものである。
制約条件付与部166は、所定の制約条件を付与し、適用する制約条件170gとして作業データ蓄積部に格納する。制約条件には、各項目値欄が関連付く項目名欄の組み合わせを仮定したときに、少なくとも満たすべき条件を定義する。なお、様式登録時と、登録済み様式情報利用時とでは、制約条件が異なるものとする。なお、以下に例示する制約条件は、一例であり、その他制約条件を追加で付与してもよい。例えば、一部の項目について、項目名欄と項目値欄が関連付けられること、関連付けられないことが与えられていれば、制約条件に追加で付与してもよい。
例えば、制約条件付与部166は、処理対象の帳票中の項目名欄と項目値欄とが判別できる、様式登録時であれば、制約条件「項目名欄と項目値欄が関連付けられるのは、関連付けが許容される相対配置パターンである場合に限られる」と、制約条件「各項目値欄は、少なくとも1個以上の項目名欄と関連付く」と、制約条件「文字列が同じ項目名欄が複数ある場合、その中で同じ項目値欄と関連付くのは最大1個」と、制約条件「項目値欄同士は、それぞれ関連付く項目名欄に記載されている項目名のセットが互いに異なる」とを付与する。
また、例えば、制約条件付与部166は、処理対象の帳票中の項目値欄の中に、欄の種別を判別できていない欄が含まれている可能性のある、登録済み様式情報利用時であれば、制約条件の付与に先立ち、まず、様式保持部172で保持している様式情報から、様式登録時の帳票の各項目値欄に対し、項目名セットを求める。ここで項目名セットとは、各項目値欄に関連付けられる項目名欄の文字列の集合のことをいう。次に、各項目名セットに対し、処理対象帳票中の項目名欄の中から、項目名セットに含まれる文字列をもつ項目名欄を選び、割り当てることにより、項目名欄セットを作成する。ここで項目名欄セットとは、項目名欄の集合のことをいう。その際、同じ文字列、つまり項目名をもつ項目名欄が処理対象帳票中に複数あり、複数通りの割り当て方が可能であれば、その割り当て方の場合の数だけ、項目名欄セットを列挙する。その上で、制約条件「項目名欄と項目値欄が関連付けられるのは、関連付けが許容される相対配置パターンである場合に限られる」と、制約条件「各項目名欄セットは最大1個の項目値欄と関連付く」と、制約条件「各項目値欄は、最大1個の項目名欄セットと関連付く」と、制約条件「同じ項目名セットに対して生成される項目名欄セットのうち、項目値欄と関連付くのは最大1個」とを付与する。また、登録済みの様式情報に含まれる項目のうち、処理対象として必須の項目が指定されている場合には、それら項目の各項目名セットについて、制約条件「同じ項目名セットから生成される項目名欄セットのうち、項目値欄に関連付くものはちょうど1個」をさらに付与する。
また、制約条件については、図15、図17に例示する。図15は、様式登録時における制約条件の一例を示す図である。図15に例示するように、「各項目値欄は、少なくとも1個以上の項目名欄と関連付く」ことと(図15の(1)式参照)、「項目名欄と項目値欄が関連付けられるのは、関連付けが許容される相対配置パターンである場合に限られる」ことと(図15の(2)式参照)、「文字列が同じ項目名欄が複数ある場合、その中で同じ項目値欄と関連付くのは最大1個」であることと(図15の(3)式参照)、「項目値欄同士は、それぞれ関連付く項目名欄に記載されている項目名のセットが互いに異なる」こと(図15の(4)式参照)が様式登録時の制約条件として付与される。
また、本実施形態では、登録済み様式情報利用時には、項目値欄と項目名欄セットの関連の有無を追加の変数として置き、図17に例示するように、「各項目値欄は、最大1個の項目名欄セットと関連付く」ことと(図17の(1)式参照)、「各項目名欄セットは最大1個の項目値欄と関連付く」ことと「各項目名セットについて、同じ項目名セットから生成される項目名欄セットのうち、項目値欄に関連付くものは最大1個」であることと(図17の(2)式参照)、「項目名欄と項目値欄が関連付けられるのは、関連付けが許容される相対配置パターンである場合に限られる」ことと(図17の(4)式参照)、さらに項目値欄と項目名欄の関連の有無を表す変数と、項目値欄と項目名欄セットの関連の有無を表す変数の間に成立する関係(図17の(5)式参照)が制約条件として付与される。また、様式登録時の帳票の項目のうち、登録済み様式情報利用時において必須の項目がある場合には、「各項目名セットについて、同じ項目名セットから生成される項目名欄セットのうち、項目値欄に関連付くものはちょうど1個」であること(図17の(3)式参照)が追加の制約条件として付与される。
求解部167は、制約条件付与部によって付与された制約条件を満たし、かつ評価関数生成部によって生成された評価関数を最適化するように、処理対象の帳票に含まれる項目名欄と項目値欄との関連付けを特定する。
例えば、求解部167では、項目値欄と項目名欄の関連の有無を変数として置き、制約条件を満たし、かつ評価関数を最小化する解の組み合わせを厳密または近似的に求める、あるいは、この問題を近似した数式で表現し解くことで、項目名欄と項目値欄の関連付けを求める。数式の表現方法は、想定する制約条件と評価関数の意味が変わらなければ、ソルバーの利用有無、使用するソルバーにあわせて更に近似した数式表現に変えてもよい。
求解部167は、例えば、図19に例示するように、項目名欄と項目値欄との関連付けを特定する。図19は、第1の実施形態に係る情報処理装置による求解例を示す図である。図19の例を挙げて具体的に説明すると、例えば、求解部167は、文字列「契約ID」を含む項目名欄と文字列「12345678」を含む項目値欄とが関連付くものとして特定する。そして、求解部167は、項目名欄と項目値欄の関連情報170hを作業データ蓄積部170に格納する。
また、図19に例示するように、例えば、求解部167は、文字列「契約者名義」を含む項目名欄および文字列「フリガナ」を含む項目名欄と、文字列「デンデンタロウ」を含む項目値欄とが関連付くものとして特定する。そして、求解部167は、項目名欄と項目値欄の関連情報170hを作業データ蓄積部170に格納する。
図20に例示するように、項目名欄と項目値欄の関連情報170hは、項目値欄を識別する「項目値欄ID」と、項目名欄を識別する「項目名欄ID」とが対応付けられている。図20は、項目名欄と項目値欄の関連情報を示す図である。
修正部168bは、求解部167によって登録された項目名欄と項目値欄の関連情報170hを修正する。例えば、修正部168bは、ユーザの指示に応じて、作業データ蓄積部170に記憶された項目名欄と項目値欄の関連情報170hを修正する。あるいは、修正部168bでは、ユーザの指示に応じて、項目名個別ルールを追加、変更、削除する。
登録部168aは、作業データ蓄積部170で保持されている、様式登録時の処理対象帳票の項目名欄と項目値欄の関連付けを求めた結果とその過程で作成されたデータの一部を、帳票の様式を識別する識別子に対応付けて、様式情報として登録する。具体的には、登録部168aは、作業データ蓄積部170に記憶された、欄種別データ170bと、票別記載内容・記載位置データ170cと、相対配置パターン170dと、項目名欄と項目値欄の関連情報170hを、様式保持部172にそれぞれ欄種別データ172b、票別記載内容・記載位置データ172d、相対配置パターン172e、項目名欄と項目値欄の関連情報172aとして登録する。また、設定された項目名個別ルール172cを様式保持部172に登録する。
なお、以上の説明では、登録部では、様式情報として、作業データ蓄積部170に記憶された、欄種別データ170bと、票別記載内容・記載位置データ170cと、相対配置パターン170dと、項目名欄と項目値欄の関連情報170hを、様式保持部172に登録し、登録済みの様式情報利用時に、様式保持部172に登録されたこれらのデータから、様式登録時の帳票の各項目値欄に対し、項目名セットを求めるようにしているが、項目名セットは、様式登録時に登録部で求めておき、様式情報の一部として様式保持部172に登録しておき、登録済みの様式情報利用時には、その項目名セットを利用することとしてもよい。
また、以上の説明では、記載内容・位置取得部、欄の種別判定部、票分割部、関連付け許容判定部での処理により得られたデータ、相対配置パターン保持部で保持するデータ、様式保持部で保持するデータを、評価関数生成部、制約条件付与部、求解部から成る機能部でそれぞれ処理することにより、登録部によって登録された項目名のセットに基づいて、処理対象の帳票に含まれる項目名欄と項目値欄との関連付けを特定しているが、これら評価関数生成部、制約条件付与部、求解部を、ひとつの「求解部」としてまとめた構成とすることや、さらにそのまとめた「求解部」において、入力となるデータは同じとしつつ、内部的には制約条件や評価関数を明示的には用いない方法により、登録部によって登録された項目名のセットに基づいて、処理対象の帳票に含まれる項目名欄と項目値欄との関連付けを特定するようにしてもよい。
[情報処理装置の処理手順]
次に、図21Aおよび図21Bを用いて、第1の実施形態に係る情報処理装置10の処理手順の例を説明する。図21Aおよび図21Bは、第1の実施形態に係る情報処理装置における全体的な処理の流れの一例を示すフローチャートである。
図21Aおよび図21Bに示すように、記載内容・位置取得部161が、帳票のデータを受け付け、帳票における欄の構成領域と欄に含まれる文字列を取得し、作業データ蓄積部170に、記載内容・位置データ170aを格納する(ステップS101)。
そして、欄の種別判別部162が、帳票のデータを受け付け、あるいは作業データ蓄積部170で保持されている記載内容・位置データ170aを参照し、帳票の各欄の種別を判別し、作業データ蓄積部170に、欄種別データ170bを格納する(ステップS102)。
続いて、票分割部163が、帳票のデータを受け付け、かつ作業データ蓄積部170で保持されている記載内容・位置データ170aを参照し、帳票を票に分割し、作業データ蓄積部170に、票別記載内容・位置データ170cを格納する(ステップS103)。
そして、関連付け許容判定部164は、分割された票についてすべて後述の処理が済んでいるか判定し(ステップS104)、分割された票がすべて処理済みである場合には(ステップS104肯定)、処理を終了する。また、分割された票がすべて処理済みでない場合には(ステップS104否定)、関連付け許容判定部164が、作業データ蓄積部170で保持されている票別記載内容・位置データ170cから、未処理の票(以下、単に「帳票」と記載)のものを1個選択する(ステップS105)。
続いて、関連付け許容判定部164が、選択された票別記載内容・位置データ170cと欄種別データ170bを参照し、項目名欄と項目値欄の各組合せに対し、互いの相対配置パターンを調べ、作業データ蓄積部170に、相対配置パターン170dを格納する(ステップS106)。
そして、様式登録時の処理である場合には(ステップS107肯定)、関連付け許容判定部164が、作業データ蓄積部170で保持されている相対配置パターン170dと、相対配置パターン保持部171で保持されている許容される/されない相対配置パターン171aを参照し、また、修正部168bから項目名個別ルールを受け付け、帳票内の項目名欄と項目値欄の各組合せに対し、関連付く可能性の有無を判定し、作業データ蓄積部170に、関連付け許容情報170eを格納する(ステップS108)。
そして、評価関数生成部165が、作業データ蓄積部170で保持されている票別記載内容・位置データ170cと欄種別データ170bと相対配置パターン170dを参照し、評価関数を生成し、作業データ蓄積部170に、適用する評価関数170fを格納する(ステップS109)。
続いて、制約条件付与部166が、作業データ蓄積部170で保持されている票別記載内容・位置データ170cと欄種別データ170bと関連付け許容情報170eを参照し、付与する制約条件を列挙し、作業データ蓄積部170に、適用する制約条件170gを格納する(ステップS110)。
その後、求解部167が、作業データ蓄積部170で保持されている適用する評価関数170fと適用する制約条件170gを参照し、制約条件を満たし評価関数を最適化する解を求め、作業データ蓄積部170に、項目名欄と項目値欄の関連情報170hを格納する(ステップS111)。
そして、修正部168bが、作業データ蓄積部170で保持されている票別記載内容・位置データ170cと項目名欄と項目値欄の関連情報170hを参照し、人に提示し、人による修正内容を受け付け、修正内容に応じて、項目名欄と項目値欄の関連情報170hを更新する、または項目名個別ルールを追加・変更・削除する(ステップS112)。
そして、項目名個別ルールの追加・変更・削除がある場合には(ステップS113肯定)、ステップS108の処理に戻る。また、項目名個別ルールの追加・変更・削除がない場合には(ステップS113否定)、登録部168aが、作業データ蓄積部170で保持されている票別記載内容・位置データ170cと欄種別データ170bと相対配置パターン170dと項目名欄と項目値欄の関連情報170hを参照し、また、修正部168bから項目名個別ルールを受け付け、これらを対応づけ、ひとつの様式情報として、様式保持部172に登録する(ステップS114)。
また、ステップS107において、様式登録時でない場合には(ステップS107否定)、関連付け許容判定部164は、様式保持部172で保持されている様式情報をすべて適用済みであるか判定する(ステップS115)。
この結果、様式保持部172で保持されている様式情報をすべて適用済みではないと判定された場合には(ステップS115否定)、関連付け許容判定部164が、様式保持部172で保持されている様式情報から、未適用の様式情報を1個選択する(ステップS116)。
続いて、関連付け許容判定部164が、作業データ蓄積部170で保持されている相対配置パターン170dと、相対配置パターン保持部171で保持されている許容される/されない相対配置パターン171aと、様式情報に含まれる項目名別ルール172cを参照し、帳票内の項目名欄と項目値欄の各組合せに対し、関連付く可能性の有無を判定し、作業データ蓄積部170に、関連付け許容情報170eを格納する(ステップS117)。
続いて、評価関数生成部165が、作業データ蓄積部170で保持されている票別記載内容・位置データ170cと欄種別データ170bと相対配置パターン170dと、様式情報に含まれる票別記載内容・位置データ172d、欄種別データ172b、相対配置パターン172e、項目名欄と項目値欄の関連情報172aを参照し、評価関数を生成し、作業データ蓄積部170に、適用する評価関数170fを格納する(ステップS118)。
そして、制約条件付与部166が、作業データ蓄積部170で保持されている票別記載内容・位置データ170cと欄種別データ170bと関連付け許容情報170eと、様式情報に含まれる票別記載内容・位置データ172d、欄種別データ172b、項目名欄と項目値欄の関連情報172aを参照し、付与する制約条件を列挙し、作業データ蓄積部170に、適用する制約条件を格納する(ステップS119)。
その後、求解部167が、作業データ蓄積部170で保持されている適用する評価関数170fと適用する制約条件170gを参照し、制約条件を満たし評価関数を最適化する解を求め、作業データ蓄積部170に、項目名欄と項目値欄の関連情報を格納する。また、様式情報から求められる項目名セットのうち、項目値欄と関連付けらえた項目名セットの数をカウントする(ステップS120)。
そして、項目値欄と関連付けられた項目名セットの数について、現在選択されている様式情報適用時の方が、これまでで最良の様式情報適用時より大きくない場合には(ステップS121否定)、ステップS115の処理に戻る。また、項目値欄と関連付けられた項目名セットの数について、現在選択されている様式情報適用時の方が、これまでで最良の様式情報適用時より大きい場合には(ステップS121肯定)、現在選択されている様式情報と、項目名欄と項目値欄の関連情報と、項目値欄と関連付けらえた項目名セットの数を、これまでで最良の様式情報適用時のものとして、保持し(ステップS122)、ステップS115の処理に戻る。
また、ステップS115において、様式保持部172で保持されている様式情報をすべて適用済みであると判定された場合には(ステップS115肯定)、これまでで最良の様式情報適用時のものとして保持されている、項目名欄と項目値欄の関連情報を、選択された票における、項目名欄と項目値欄の関連情報とし(ステップS123)、ステップS104に戻る。
次に、図22を用いて、第1の実施形態に係る情報処理装置10の許容される/されない相対配置パターン登録時の処理手順の例を説明する。図22は、図22は、第1の実施形態に係る情報処理装置10の許容相対配置パターン生成部における処理の流れの一例を示すフローチャートである。
図22に示すように、許容相対配置パターン生成部169が、帳票処理ツール外から、票別記載内容・位置データ、欄種別データ、項目名欄と項目値欄の関連情報に相当する入力データを受け付ける(ステップS201)。そして、許容相対配置パターン生成部169が、未処理の関連付けられた項目名欄と項目値欄の組合せがあるか判定し(ステップS202)、組合せがないと判定した場合には(ステップS202否定)、処理を終了する。
また、許容相対配置パターン生成部169が、未処理の関連付けられた項目名欄と項目値欄の組合せがあると判定した場合には(ステップS202肯定)、未処理の関連付けられた項目名欄と項目値欄の組合せを1個選択する(ステップS203)。そして、許容相対配置パターン生成部169が、受け付けた、票別記載内容・位置データを参照し、選択された組合せについて、項目名欄を基準とした項目値欄の相対配置パターンと、項目値欄を基準とした項目名欄の相対配置パターンを調べる(ステップS204)。
続いて、許容相対配置パターン生成部169が、項目名欄を基準とした項目値欄の相対配置パターンと、項目値欄を基準とした項目名欄の相対配置パターンのそれぞれについて、相対配置パターン保持部171で保持されている、許容される/されない相対配置パターン171aの、該当の相対配置パターンの関連付け事例数を1加算する(ステップS205)。
そして、許容相対配置パターン生成部169が、相対配置パターンの関連付け事例数が閾値を超えているか判定し(ステップS206)、相対配置パターンの関連付け事例数が閾値を超えていないと判定した場合には(ステップS206否定)、ステップS202の処理に戻る。
また、許容相対配置パターン生成部169は、相対配置パターンの関連付け事例数が閾値を超えていると判定した場合には(ステップS206肯定)、相対配置パターン保持部171で保持されている、許容される/されない相対配置パターン171aの、該当の相対配置パターンの許容可否を「○」に更新し(ステップS207)、ステップS202の処理に戻る。
次に、図23~図25を用いて、第1の実施形態に係る情報処理装置10の記載内容・位置取得部161による処理手順の例を説明する。図23~図25は、第1の実施形態に係る情報処理装置の記載内容・位置取得部における処理の流れの一例を示すフローチャートである。
まず、図23を用いて、帳票の欄が罫線で囲われている場合の記載内容・位置取得部161による処理を説明する。図23に例示するように、記載内容・位置取得部161は、オブジェクト総数をnと設定し、iの値を「1」と設定し、未探索集合を[1・・・n]と設定する(ステップS301)。そして、記載内容・位置取得部161は、iの値がnの値よりも大きいか判定する(ステップS302)。
この結果、記載内容・位置取得部161は、iの値がnの値よりも大きくない場合には(ステップS302否定)、i番目のオブジェクトの上と左に罫線があるか判定する(ステップS303)。この結果、記載内容・位置取得部161は、i番目のオブジェクトの上と左に罫線がない場合には(ステップS303否定)、ステップS308の処理に進む。また、記載内容・位置取得部161は、i番目のオブジェクトの上と左に罫線がある場合には(ステップS303肯定)、記載内容・位置取得部161は、i番目から罫線を時計回りに周回したオブジェクト集合を取得する(ステップS304)。
そして、記載内容・位置取得部161は、周回したオブジェクトを取得できたか判定する(ステップS305)。この結果、記載内容・位置取得部161は、周回したオブジェクトを取得できなかった場合には(ステップS305否定)、ステップS308の処理に進む。また、記載内容・位置取得部161は、周回したオブジェクトを取得できた場合には(ステップS305肯定)、周回したオブジェクト集合を1つの欄として、文字列や領域の情報を、作業データ蓄積部170に記載内容・位置データ170aとして保存する(ステップS306)。
続いて、記載内容・位置取得部161は、周回したオブジェクト集合を未探索集合から削除し(ステップS307)、iの値に「1」を追加し(ステップS308)、ステップS302の処理に戻る。
ステップS302において、記載内容・位置取得部161は、iの値がnの値よりも大きい場合には(ステップS302肯定)、未探索集合にオブジェクトがないか判定し(ステップS309)、未探索集合にオブジェクトがある場合には(ステップS309否定)、未探索集合から任意のオブジェクトを選択する(ステップS310)。
そして、記載内容・位置取得部161は、オブジェクトを1つの欄として、作業データ蓄積部170に記載内容・位置データ170aを保存し(ステップS311)、未探索集合から、選択したオブジェクトのインデックスを削除し(ステップS312)、ステップS309の処理に戻る。また、記載内容・位置取得部161は、未探索集合にオブジェクトがない場合には(ステップS309肯定)、処理を終了する。
次に、図24を用いて、帳票の欄が罫線で囲われていない場合の記載内容・位置取得部161による処理を説明する。図24に例示するように、記載内容・位置取得部161は、オブジェクト総数をnと設定し、iの値を「1」と設定し、未探索集合を[1・・・n]と設定する(ステップS401)。そして、記載内容・位置取得部161は、未探索集合にオブジェクトがないか判定し(ステップS402)、未探索集合にオブジェクトがある場合には(ステップS402否定)、未探索集合から任意のオブジェクトを選択する(ステップS403)。
そして、記載内容・位置取得部161は、オブジェクトを1つの欄として、作業データ蓄積部170に記載内容・位置データ170aを保存し(ステップS404)、未探索集合から、選択したオブジェクトのインデックスを削除し(ステップS405)、ステップS402の処理に戻る。また、記載内容・位置取得部161は、未探索集合にオブジェクトがない場合には(ステップS402肯定)、処理を終了する。
次に、図25を用いて、帳票が画像データである場合の記載内容・位置取得部161による処理を説明する。記載内容・位置取得部161は、画像から罫線を抽出し(ステップS501)、罫線から画像を分割する(ステップS502)。そして、記載内容・位置取得部161は、画像の総数をnと設定し、iの値を「1」と設定する(ステップS503)。
そして、記載内容・位置取得部161は、iの値がnの値よりも大きいか判定する(ステップS504)。この結果、記載内容・位置取得部161は、iの値がnの値よりも大きくない場合には(ステップS504否定)、画像上の文字を認識し(ステップS505)、認識した文字と画像の領域に関する情報を作業データ蓄積部170に記載内容・位置データ170aとして保存する(ステップS506)。
続いて、記載内容・位置取得部161は、iの値に「1」を追加し(ステップS507)、ステップS504の処理に戻る。また、ステップS504において、記載内容・位置取得部161は、iの値がnの値よりも大きいと判定した場合には(ステップS504肯定)、処理を終了する。
[第1の実施形態の効果]
このように、第1の実施形態に係る情報処理装置10は、様式情報を登録し、登録済み様式情報利用時には、登録した様式情報から求められる項目名のセットに基づいて、処理対象の帳票に含まれる項目名欄と項目値欄との関連付けを特定する。このため、帳票の欄の配置に変更があった場合であっても、帳票に含まれる項目名欄と項目値欄との関連付けを特定すること可能である。
また、第1の実施形態に係る情報処理装置10は、欄の形状や、欄同士が隣接しているかどうかに問わず、欄を基準にした他の欄の存在領域の分布パターン(相対配置パターン)により、項目名欄と項目値欄の関連付く可能性の有無を判断する。このため、情報処理装置10では、従来技術で仮定していた項目名欄や項目値欄の形状やそれらの配置パターンに関する条件を満たさない帳票に対しても、項目名欄と項目値欄の関連付けが可能になる。
例えば、従来技術では、各項目値欄に対して隣接する項目名欄のみとの関連の有無を判断し、かつ2つの項目名欄同士の配置から項目名欄同士の親子関係を判断し、さらに、これらを組み合わせて関連の有無を間接的に決定していたため、項目値欄と隣接しない項目名欄との関連付けが不適切になる場合があった。これに対して、第1の実施形態に係る情報処理装置10は、任意の項目名欄、項目値欄の組合せに関して、関連付く可能性の有無を判断するので、項目値欄と隣接しない項目名欄との関連付けが不適切になる場合をなくすことが可能である。
また、第1の実施形態に係る情報処理装置10は、様式登録時、関連付く可能性のある組合せの中で、各項目値欄がいずれかの項目名欄と対応づく制約条件を付与することにより、様式登録時は、どの項目名欄とも関連付けられない項目値欄が残らず、すべての項目値欄に対して項目名欄が関連付けられるよう、項目名欄と項目値との関連付けを求めることができる。
また、第1の実施形態に係る情報処理装置10は、許容される相対配置パターンを項目名別に指定したうえで、項目名欄と項目値欄の関連付く可能性の有無を判断し、他の制約条件とともに解を探索できるようにすることにより、許容される/されない相対配置パターンが汎用的な項目とは異なる項目であっても、項目名欄と項目値との関連付けを適切に求めることができる。
また、第1の実施形態に係る情報処理装置10は、登録済み様式情報利用時の処理対象帳票に、様式登録時の帳票に存在しない項目が含まれていても、再度様式登録を行うことなく、様式登録時の帳票に存在していた全項目について、項目名欄と項目値との関連付けを求めることができる。
また、第1の実施形態に係る情報処理装置10は、例えば、様式登録時の帳票と、登録済み様式情報利用時の処理対象帳票で、項目名が縦と横の両方に配置されている場合に縦と横が入れ替わった場合や、項目名の親子関係の順序性が変わった場合でも、項目値欄の位置を特定できる。
(システム構成等)
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
また、本実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
(プログラム)
また、上記実施形態において説明した情報処理装置が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、実施形態に係る情報処理装置10が実行する処理をコンピュータが実行可能な言語で記述した関連付けプログラムを作成することもできる。この場合、コンピュータが関連付けプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかる関連付けプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された関連付けプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。
図26は、関連付けプログラムを実行するコンピュータを示す図である。図26に例示するように、コンピュータ1000は、例えば、メモリ1010と、CPU1020と、ハードディスクドライブインタフェース1030と、ディスクドライブインタフェース1040と、シリアルポートインタフェース1050と、ビデオアダプタ1060と、ネットワークインタフェース1070とを有し、これらの各部はバス1080によって接続される。
メモリ1010は、図26に例示するように、ROM(Read Only Memory)1011及びRAM1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、図26に例示するように、ハードディスクドライブ1090に接続される。ディスクドライブインタフェース1040は、図26に例示するように、ディスクドライブ1100に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ1100に挿入される。シリアルポートインタフェース1050は、図26に例示するように、例えばマウス1110、キーボード1120に接続される。ビデオアダプタ1060は、図26に例示するように、例えばディスプレイ1130に接続される。
ここで、図26に例示するように、ハードディスクドライブ1090は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093、プログラムデータ1094を記憶する。すなわち、上記の、関連付けプログラムは、コンピュータ1000によって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブ1090に記憶される。
また、上記実施形態で説明した各種データは、プログラムデータとして、例えばメモリ1010やハードディスクドライブ1090に記憶される。そして、CPU1020が、メモリ1010やハードディスクドライブ1090に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出し、各種処理手順を実行する。
なお、関連付けプログラムに係るプログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1090に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してCPU1020によって読み出されてもよい。あるいは、関連付けプログラムに係るプログラムモジュール1093やプログラムデータ1094は、ネットワーク(LAN(Local Area Network)、WAN(Wide Area Network)等)を介して接続された他のコンピュータに記憶され、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
10 情報処理装置
11a 操作入力部
11b 帳票入力部
12 表示部
13 OS
14 記憶部
15 エディタ
16 帳票処理ツール
161 記載内容・位置取得部
162 欄の種別判別部
163 票分割部
164 関連付け許容判定部
165 評価関数生成部
166 制約条件付与部
167 求解部
168a 登録部
168b 修正部
169 許容相対配置パターン生成部
170 作業データ蓄積部
170a 記載内容・位置データ
170b、172b 欄種別データ
170c、172d 票別記載内容・位置データ
170d、172e 相対配置パターン
170e 関連付け許容情報
170f 適用する評価関数
170g 適用する制約条件
170h、172a 項目名欄と項目値欄の関連情報
171 相対配置パターン保持部
171a 許容される/されない相対配置パターン
172 様式保持部
172c 項目名別ルール

Claims (9)

  1. 所定の帳票における項目値欄と関連付けられた項目名欄に対応付けられた項目名のセットを登録する登録部と、
    前記登録部によって登録された項目名のセットに基づいて、処理対象の帳票に含まれる項目名欄と項目値欄との関連付けを特定する求解部とを
    し、
    前記処理対象の帳票中の項目名欄と項目値欄とが判別できる場合に、項目名欄と項目値欄が関連付けられるのは、欄の相対的な配置関係の観点から関連付けが許容される場合に限られるという制約条件と、各項目値欄は、少なくとも1個以上の項目名欄と関連付くという制約条件と、文字列が同じ項目名欄が複数ある場合、その中で同じ項目値欄と関連付くのは最大1個という制約条件と、項目値欄同士は、それぞれ関連付く項目名欄に記載されている項目名のセットが互いに異なるという制約条件とを付与する制約条件付与部をさらに有し、
    前記求解部は、前記制約条件付与部によって付与された制約条件を満たすように、処理対象の帳票に含まれる項目名欄と項目値欄との関連付けを特定することを特徴とする情報処理装置。
  2. 所定の帳票における項目値欄と関連付けられた項目名欄に対応付けられた項目名のセットを登録する登録部と、
    前記登録部によって登録された項目名のセットに基づいて、処理対象の帳票に含まれる項目名欄と項目値欄との関連付けを特定する求解部とを
    有し、
    あらかじめ項目値欄と項目名欄の関連付けが特定されている帳票の様式情報を用いて別の帳票を処理する場合に、登録されている様式情報で保持されている項目名セットそれぞれについて、処理対象の帳票中の項目名欄セットを生成し、項目名欄と項目値欄が関連付けられるのは、欄の相対的な配置関係の観点から関連付けが許容される場合に限られるという制約条件と、各項目値欄は、最大1個の項目名欄セットと関連付くという制約条件と、各項目名欄セットは最大1個の項目値欄と関連付くという制約条件と、同じ項目名セットに対して生成される項目名欄セットのうち、項目値欄と関連付くのは最大1個という制約条件とを付与する制約条件付与部をさらに有し
    前記求解部は、前記制約条件付与部によって付与された制約条件を満たすように、処理対象の帳票に含まれる項目値欄と項目名欄セットの関連付けと、項目名欄と項目値欄との関連付けを特定することを特徴とする情報処理装置。
  3. 前記処理対象の帳票中の各欄を基準にして他の欄の存在領域の分布パターンをそれぞれ求め、該分布パターンと、予め設定された許容される分布パターンおよび許容されない分布パターンのうちのいずれか一つまたは両方と比較し、前記処理対象の帳票中の項目名欄と項目値欄との関連付く可能性の有無を判定する関連付け許容判定部をさらに有することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記関連付け許容判定部は、予め設定された許容される分布パターンおよび許容されない分布パターンのうちのいずれか一つまたは両方を項目名別に定義する項目名個別ルールが設定されている場合には、該項目名個別ルールに応じて、前記処理対象の帳票中の項目名欄と項目値欄との関連付く可能性の有無を判定することを特徴とする請求項に記載の情報処理装置。
  5. 所定の様式の帳票における項目名欄と項目値欄との関連付けから、相対配置パターンを取得して、取得した相対配置パターンを基に許容する配置パターンのデータを作成する許容相対配置パターン生成部をさらに有することを特徴とする請求項1または2に記載の情報処理装置。
  6. 情報処理装置によって実行される関連付け方法であって、
    所定の帳票における項目値欄と関連付けられた項目名欄に対応付けられた項目名のセットを登録する登録工程と、
    前記登録工程によって登録された項目名のセットに基づいて、処理対象の帳票に含まれる項目名欄と項目値欄との関連付けを特定する求解工程と
    を含み、
    前記処理対象の帳票中の項目名欄と項目値欄とが判別できる場合に、項目名欄と項目値欄が関連付けられるのは、欄の相対的な配置関係の観点から関連付けが許容される場合に限られるという制約条件と、各項目値欄は、少なくとも1個以上の項目名欄と関連付くという制約条件と、文字列が同じ項目名欄が複数ある場合、その中で同じ項目値欄と関連付くのは最大1個という制約条件と、項目値欄同士は、それぞれ関連付く項目名欄に記載されている項目名のセットが互いに異なるという制約条件とを付与する制約条件付与工程をさらに含み、
    前記求解工程は、前記制約条件付与工程によって付与された制約条件を満たすように、処理対象の帳票に含まれる項目名欄と項目値欄との関連付けを特定することを特徴とする関連付け方法。
  7. 情報処理装置によって実行される関連付け方法であって、
    所定の帳票における項目値欄と関連付けられた項目名欄に対応付けられた項目名のセットを登録する登録工程と、
    前記登録工程によって登録された項目名のセットに基づいて、処理対象の帳票に含まれる項目名欄と項目値欄との関連付けを特定する求解工程と
    を含み、
    あらかじめ項目値欄と項目名欄の関連付けが特定されている帳票の様式情報を用いて別の帳票を処理する場合に、登録されている様式情報で保持されている項目名セットそれぞれについて、処理対象の帳票中の項目名欄セットを生成し、項目名欄と項目値欄が関連付けられるのは、欄の相対的な配置関係の観点から関連付けが許容される場合に限られるという制約条件と、各項目値欄は、最大1個の項目名欄セットと関連付くという制約条件と、各項目名欄セットは最大1個の項目値欄と関連付くという制約条件と、同じ項目名セットに対して生成される項目名欄セットのうち、項目値欄と関連付くのは最大1個という制約条件とを付与する制約条件付与工程をさらに含み、
    前記求解工程は、前記制約条件付与工程によって付与された制約条件を満たすように、処理対象の帳票に含まれる項目値欄と項目名欄セットの関連付けと、項目名欄と項目値欄との関連付けを特定することを特徴とする関連付け方法。
  8. 所定の帳票における項目値欄と関連付けられた項目名欄に対応付けられた項目名のセットを登録する登録ステップと、
    前記登録ステップによって登録された項目名のセットに基づいて、処理対象の帳票に含まれる項目名欄と項目値欄との関連付けを特定する求解ステップと
    をコンピュータに実行させ
    前記処理対象の帳票中の項目名欄と項目値欄とが判別できる場合に、項目名欄と項目値欄が関連付けられるのは、欄の相対的な配置関係の観点から関連付けが許容される場合に限られるという制約条件と、各項目値欄は、少なくとも1個以上の項目名欄と関連付くという制約条件と、文字列が同じ項目名欄が複数ある場合、その中で同じ項目値欄と関連付くのは最大1個という制約条件と、項目値欄同士は、それぞれ関連付く項目名欄に記載されている項目名のセットが互いに異なるという制約条件とを付与する制約条件付与ステップをさらにコンピュータに実行させ、
    前記求解ステップは、前記制約条件付与ステップによって付与された制約条件を満たすように、処理対象の帳票に含まれる項目名欄と項目値欄との関連付けを特定することを特徴とする関連付けプログラム。
  9. 所定の帳票における項目値欄と関連付けられた項目名欄に対応付けられた項目名のセットを登録する登録ステップと、
    前記登録ステップによって登録された項目名のセットに基づいて、処理対象の帳票に含まれる項目名欄と項目値欄との関連付けを特定する求解ステップと
    をコンピュータに実行させ、
    あらかじめ項目値欄と項目名欄の関連付けが特定されている帳票の様式情報を用いて別の帳票を処理する場合に、登録されている様式情報で保持されている項目名セットそれぞれについて、処理対象の帳票中の項目名欄セットを生成し、項目名欄と項目値欄が関連付けられるのは、欄の相対的な配置関係の観点から関連付けが許容される場合に限られるという制約条件と、各項目値欄は、最大1個の項目名欄セットと関連付くという制約条件と、各項目名欄セットは最大1個の項目値欄と関連付くという制約条件と、同じ項目名セットに対して生成される項目名欄セットのうち、項目値欄と関連付くのは最大1個という制約条件とを付与する制約条件付与ステップをさらコンピュータに実行させ、
    前記求解ステップは、前記制約条件付与ステップによって付与された制約条件を満たすように、処理対象の帳票に含まれる項目値欄と項目名欄セットの関連付けと、項目名欄と項目値欄との関連付けを特定することを特徴とする関連付けプログラム。
JP2019034980A 2019-02-27 2019-02-27 情報処理装置、関連付け方法および関連付けプログラム Active JP7211157B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019034980A JP7211157B2 (ja) 2019-02-27 2019-02-27 情報処理装置、関連付け方法および関連付けプログラム
EP20763375.1A EP3910546A4 (en) 2019-02-27 2020-02-13 INFORMATION PROCESSING DEVICE, RELATED METHOD AND RELATED PROGRAM
PCT/JP2020/005631 WO2020175163A1 (ja) 2019-02-27 2020-02-13 情報処理装置、関連付け方法および関連付けプログラム
CN202080016620.8A CN113508393A (zh) 2019-02-27 2020-02-13 信息处理装置、关联方法以及关联程序
US17/433,718 US20220165077A1 (en) 2019-02-27 2020-02-13 Information processing device, associating method, and associating program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019034980A JP7211157B2 (ja) 2019-02-27 2019-02-27 情報処理装置、関連付け方法および関連付けプログラム

Publications (2)

Publication Number Publication Date
JP2020140410A JP2020140410A (ja) 2020-09-03
JP7211157B2 true JP7211157B2 (ja) 2023-01-24

Family

ID=72239968

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019034980A Active JP7211157B2 (ja) 2019-02-27 2019-02-27 情報処理装置、関連付け方法および関連付けプログラム

Country Status (5)

Country Link
US (1) US20220165077A1 (ja)
EP (1) EP3910546A4 (ja)
JP (1) JP7211157B2 (ja)
CN (1) CN113508393A (ja)
WO (1) WO2020175163A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170177557A1 (en) 2015-12-21 2017-06-22 Xerox Corporation Relational database for assigning orphan fillable fields of electronic fillable forms with associated captions
JP2018010489A (ja) 2016-07-13 2018-01-18 日本電信電話株式会社 論理関係認識装置、論理関係認識方法および論理関係認識プログラム
WO2019026147A1 (ja) 2017-07-31 2019-02-07 株式会社Pfu 情報処理装置、情報処理システム、制御方法及び制御プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003233516A (ja) * 2002-02-08 2003-08-22 Comax Inc データベース、コンピュータ読取可能なプログラム、データベース管理システム、データベースの新規登録方法、データベースの検索方法、および、データベースの更新登録方法
JP3878518B2 (ja) * 2002-07-08 2007-02-07 松下電器産業株式会社 データ検索装置
JP4973063B2 (ja) * 2006-08-14 2012-07-11 富士通株式会社 表データ処理方法及び装置
JP2008108114A (ja) * 2006-10-26 2008-05-08 Just Syst Corp 文書処理装置および文書処理方法
CN101276412A (zh) * 2007-03-30 2008-10-01 夏普株式会社 信息处理装置、信息处理系统和信息处理方法
JP5556524B2 (ja) * 2010-09-13 2014-07-23 株式会社リコー 帳票処理装置、帳票処理方法、帳票処理プログラム、及びそのプログラムを記録した記録媒体
JP2012194879A (ja) * 2011-03-17 2012-10-11 Pfu Ltd 情報処理装置、情報処理方法及びプログラム
JP6109688B2 (ja) * 2013-09-06 2017-04-05 株式会社東芝 帳票読取装置およびプログラム
CN111767953B (zh) * 2020-06-30 2021-11-26 北京字节跳动网络技术有限公司 用于训练物品编码模型的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170177557A1 (en) 2015-12-21 2017-06-22 Xerox Corporation Relational database for assigning orphan fillable fields of electronic fillable forms with associated captions
JP2018010489A (ja) 2016-07-13 2018-01-18 日本電信電話株式会社 論理関係認識装置、論理関係認識方法および論理関係認識プログラム
WO2019026147A1 (ja) 2017-07-31 2019-02-07 株式会社Pfu 情報処理装置、情報処理システム、制御方法及び制御プログラム

Also Published As

Publication number Publication date
EP3910546A1 (en) 2021-11-17
US20220165077A1 (en) 2022-05-26
JP2020140410A (ja) 2020-09-03
WO2020175163A1 (ja) 2020-09-03
CN113508393A (zh) 2021-10-15
EP3910546A4 (en) 2022-10-05

Similar Documents

Publication Publication Date Title
US10191889B2 (en) Systems, apparatuses and methods for generating a user interface by performing computer vision and optical character recognition on a graphical representation
US8719738B2 (en) High performance design rule checking technique
US8407805B2 (en) Method and system for classifying and redacting segments of electronic documents
US8693790B2 (en) Form template definition method and form template definition apparatus
US8503781B2 (en) Finding text regions from coloured image independent of colours
US8448097B2 (en) High performance DRC checking algorithm for derived layer based rules
US20180232573A1 (en) Information processing apparatus, control method, and storage medium
KR102356909B1 (ko) 인공지능 학습용 데이터의 객체를 지정하고 속성을 설정하는 어노테이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
JP2019204399A (ja) 情報処理装置及びプログラム
CN115240213A (zh) 表格图像识别方法、装置、电子设备及存储介质
US20220101643A1 (en) Information processing device, discerning method, and discerning program
JP2009217562A (ja) 関連文書提示システム及びプログラム
KR102310595B1 (ko) 제안된 정보를 이용하여 객체 속성을 설정할 수 있는 어노테이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
JP7211157B2 (ja) 情報処理装置、関連付け方法および関連付けプログラム
CN112487437A (zh) 一种基于用户界面特征的安卓仿冒应用检测方法及装置
JP4967045B2 (ja) 背景判別装置、方法及びプログラム
CN113449732A (zh) 信息处理装置、图像读取装置、记录介质、信息处理方法
CN110990834A (zh) 一种android恶意软件的静态检测方法、系统及介质
US9437020B2 (en) System and method to check the correct rendering of a font
KR102439429B1 (ko) 객체 추출이 용이한 어노테이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102433002B1 (ko) 다중 바인딩 박스 선택을 통한 어노테이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN109598683A (zh) 影像截取方法、装置及计算机可读存储介质
KR102583247B1 (ko) Bom 리스트 생성 시스템, 방법 및 컴퓨터 프로그램
JP2018055256A (ja) 情報処理装置、情報処理方法及びプログラム
JP2007048061A (ja) 文字処理装置、文字処理方法及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221226

R150 Certificate of patent or registration of utility model

Ref document number: 7211157

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150