JP5640645B2 - 画像処理装置及び画像処理プログラム - Google Patents
画像処理装置及び画像処理プログラム Download PDFInfo
- Publication number
- JP5640645B2 JP5640645B2 JP2010239389A JP2010239389A JP5640645B2 JP 5640645 B2 JP5640645 B2 JP 5640645B2 JP 2010239389 A JP2010239389 A JP 2010239389A JP 2010239389 A JP2010239389 A JP 2010239389A JP 5640645 B2 JP5640645 B2 JP 5640645B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- image
- module
- information
- line element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Description
本発明は、画像処理装置及び画像処理プログラムに関する。
画像から線分を抽出する処理に関する技術がある。
これに関連する技術として、例えば、特許文献１には、２値図面イメージから線分が傾いていたり、途中で多少曲がっていたり、途中で途切れていたりしても、線分を抽出できるようにすることを課題とし、ランデータ抽出手段は２値図面イメージを縦方向及び横方向で走査してランデータ群を抽出し、指示点検出手段は開始指示点及び終了指示点の位置を検出し、ランデータ選択手段は開始指示点、終了指示点間の傾きに応じて縦方向及び横方向のランデータ群の一方を選択し、開始ラン検出手段は選択されたランデータ群からラン長が規定値以下で開始指示点からの距離が最小のランデータを検出して開始ランとし、ラントレース手段は開始ランから終了指示点への方向につながるランデータを終了指示点の位置までトレースして得られたランデータのつながりを線分とすることが開示されている。
これに関連する技術として、例えば、特許文献１には、２値図面イメージから線分が傾いていたり、途中で多少曲がっていたり、途中で途切れていたりしても、線分を抽出できるようにすることを課題とし、ランデータ抽出手段は２値図面イメージを縦方向及び横方向で走査してランデータ群を抽出し、指示点検出手段は開始指示点及び終了指示点の位置を検出し、ランデータ選択手段は開始指示点、終了指示点間の傾きに応じて縦方向及び横方向のランデータ群の一方を選択し、開始ラン検出手段は選択されたランデータ群からラン長が規定値以下で開始指示点からの距離が最小のランデータを検出して開始ランとし、ラントレース手段は開始ランから終了指示点への方向につながるランデータを終了指示点の位置までトレースして得られたランデータのつながりを線分とすることが開示されている。
本発明は、予測値に合致していないと判別された場合の条件の種別に基づいた特徴量によって、線であるか否かを判別するようにした画像処理装置及び画像処理プログラムを提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、線の可能性がある画像に関する情報であって、線を構成し得る矩形の画素塊である線要素を示す情報の集合を受け付ける線情報受付手段と、前記線情報受付手段によって受け付けられた線要素を示す情報に基づいて、対象としている線要素は該線要素の位置において該線要素が線を構成していると予測した場合の線要素の予測値に合致しているか否かを判別する予測判別手段と、前記予測判別手段によって予測値に合致していないと判別された場合に関する前記画像の特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出された特徴量に基づいて、前記画像は線であるか否かを判別する線判別手段とを具備し、前記予測判別手段は、予測値に合致しているか否かを判別するための条件を複数有し、前記特徴量算出手段は、前記予測判別手段によって予測値に合致していないと判別された場合の条件の種別に基づいた特徴量を抽出することを特徴とする画像処理装置である。
請求項１の発明は、線の可能性がある画像に関する情報であって、線を構成し得る矩形の画素塊である線要素を示す情報の集合を受け付ける線情報受付手段と、前記線情報受付手段によって受け付けられた線要素を示す情報に基づいて、対象としている線要素は該線要素の位置において該線要素が線を構成していると予測した場合の線要素の予測値に合致しているか否かを判別する予測判別手段と、前記予測判別手段によって予測値に合致していないと判別された場合に関する前記画像の特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出された特徴量に基づいて、前記画像は線であるか否かを判別する線判別手段とを具備し、前記予測判別手段は、予測値に合致しているか否かを判別するための条件を複数有し、前記特徴量算出手段は、前記予測判別手段によって予測値に合致していないと判別された場合の条件の種別に基づいた特徴量を抽出することを特徴とする画像処理装置である。
請求項２の発明は、画像を受け付ける画像受付手段と、前記画像受付手段によって受け付けられた画像から線の可能性がある画像を抽出し、該線の線要素を示す情報の集合を抽出する線抽出手段とを具備し、前記線情報受付手段は、前記線抽出手段によって抽出された線要素を示す情報の集合を受け付けることを特徴とする請求項１に記載の画像処理装置である。
請求項３の発明は、前記画像受付手段は、文字列を含む画像を受け付け、前記線抽出手段は、前記画像受付手段によって受け付けられた画像から文字列の方向に基づいて、線の可能性がある画像を抽出することを特徴とする請求項２に記載の画像処理装置である。
請求項４の発明は、前記画像受付手段は、枠線を含む画像を受け付け、前記線抽出手段は、前記画像受付手段によって受け付けられた画像から枠線の方向に基づいて、線の可能性がある画像を抽出することを特徴とする請求項２に記載の画像処理装置である。
請求項５の発明は、コンピュータを、線の可能性がある画像に関する情報であって、線を構成し得る矩形の画素塊である線要素を示す情報の集合を受け付ける線情報受付手段と、前記線情報受付手段によって受け付けられた線要素を示す情報に基づいて、対象としている線要素は該線要素の位置において該線要素が線を構成していると予測した場合の線要素の予測値に合致しているか否かを判別する予測判別手段と、前記予測判別手段によって予測値に合致していないと判別された場合に関する前記画像の特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出された特徴量に基づいて、前記画像は線であるか否かを判別する線判別手段として機能させ、前記予測判別手段は、予測値に合致しているか否かを判別するための条件を複数有し、前記特徴量算出手段は、前記予測判別手段によって予測値に合致していないと判別された場合の条件の種別に基づいた特徴量を抽出することを特徴とする画像処理プログラムである。
請求項１の画像処理装置によれば、予測値に合致していないと判別された場合の条件の種別に基づいた特徴量によって、線であるか否かを判別することができる。
請求項２の画像処理装置によれば、線の可能性があるとして抽出された画像のうち、線ではない画像を線であると誤って判断してしまうことを防止することができる。
請求項３の画像処理装置によれば、文字列とともに用いられる線を抽出することができる。
請求項４の画像処理装置によれば、枠線を含む画像からその枠線を抽出することができる。
請求項５の画像処理プログラムによれば、予測値に合致していないと判別された場合の条件の種別に基づいた特徴量によって、線であるか否かを判別することができる。
以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。
図１は、第１の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。
図１は、第１の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。
第１の実施の形態である画像処理装置は、対象とする画像が線であるか否かを判別するものであって、図１の例に示すように、線情報受付モジュール１１０、観測失敗解析モジュール１２０、特徴量算出モジュール１３０、採用判別モジュール１４０を有している。
まず、第１の実施の形態の対象とする画像について説明する。
図２は、対象とする画像の例を示す説明図である。この画像内には、線である画像（パタン）と線でない画像がある。
図３は、図２に例示した画像をスキャナ等で読み取った画像（画素データ）の例を示す説明図である。このとき、スキャナ等での読み取りノイズ、点線、破線、線でないパタン等の影響により、抽出しようとする線は、対象としている画像において、必ずしも、直線とみなせる１つの領域として現れない。具体的には、線に対して、つぶれ、欠け等が発生する。
図２は、対象とする画像の例を示す説明図である。この画像内には、線である画像（パタン）と線でない画像がある。
図３は、図２に例示した画像をスキャナ等で読み取った画像（画素データ）の例を示す説明図である。このとき、スキャナ等での読み取りノイズ、点線、破線、線でないパタン等の影響により、抽出しようとする線は、対象としている画像において、必ずしも、直線とみなせる１つの領域として現れない。具体的には、線に対して、つぶれ、欠け等が発生する。
図４は、線抽出の例を示す説明図である。
線を、線の方向と交差する方向（例えば、直交）に連なる画素ランに対応する領域の集合と捉える。以下では、この領域を線要素とよぶ。
第１の実施の形態は、図４の例に示すように、抽出しようとする線に対応する画素ラン（すなわち、観測された線要素）を検出し、統合するものである。画素ランを統合した結果が線の画像となる。
また、これら画素ランに基づいて、真の線要素（すなわち、修正された線要素）を生成してもよい。例えば、図４では、点線で示した観測線要素４１１〜４２８は画像内の観測された線要素であり、灰色の矩形で示した修正線要素４５１〜４６８は観測線要素４１１等に基づいて修正された線要素である。例えば、観測線要素４１１と修正線要素４５１は同じであるが、観測線要素４１２は下に移動して修正線要素４５２となり、観測線要素４１４は上に移動して修正線要素４５４となり、観測線要素４２２と観測線要素４２５の間に観測された線要素はないが、修正線要素４６３と修正線要素４６４を追加している。
線を、線の方向と交差する方向（例えば、直交）に連なる画素ランに対応する領域の集合と捉える。以下では、この領域を線要素とよぶ。
第１の実施の形態は、図４の例に示すように、抽出しようとする線に対応する画素ラン（すなわち、観測された線要素）を検出し、統合するものである。画素ランを統合した結果が線の画像となる。
また、これら画素ランに基づいて、真の線要素（すなわち、修正された線要素）を生成してもよい。例えば、図４では、点線で示した観測線要素４１１〜４２８は画像内の観測された線要素であり、灰色の矩形で示した修正線要素４５１〜４６８は観測線要素４１１等に基づいて修正された線要素である。例えば、観測線要素４１１と修正線要素４５１は同じであるが、観測線要素４１２は下に移動して修正線要素４５２となり、観測線要素４１４は上に移動して修正線要素４５４となり、観測線要素４２２と観測線要素４２５の間に観測された線要素はないが、修正線要素４６３と修正線要素４６４を追加している。
次に、線要素について説明する。
図５は、受け付けた画像の例を示す説明図である。受け付けた画像５００は、背景画素５１０、パタン画素５２０に分かれ、パタン画素５２０は画素ラン５３０等によって構成されている。この画像５００から水平な線を抽出する例を示す。
図６は、受け付けた画像から抽出した線要素の例を示す説明図である。パタン画素５２０は、線要素６４０等の集合によって構成されている。ここで、線要素とは、線を構成し得る矩形の画素塊、又は前述の画素ランに対応する領域である。「線要素を示す情報」としては、例えば、線要素を描画するための情報があり、具体的には、その線要素を描画する位置、その線要素の大きさである。
図５は、受け付けた画像の例を示す説明図である。受け付けた画像５００は、背景画素５１０、パタン画素５２０に分かれ、パタン画素５２０は画素ラン５３０等によって構成されている。この画像５００から水平な線を抽出する例を示す。
図６は、受け付けた画像から抽出した線要素の例を示す説明図である。パタン画素５２０は、線要素６４０等の集合によって構成されている。ここで、線要素とは、線を構成し得る矩形の画素塊、又は前述の画素ランに対応する領域である。「線要素を示す情報」としては、例えば、線要素を描画するための情報があり、具体的には、その線要素を描画する位置、その線要素の大きさである。
図７は、線要素７１０の例を示す説明図である。ここでの線要素は、線の方向（図７では進行方向）と交差する方向（図７では位置方向）に連なる画素ランに対応する領域の１つである。
ある線が、複数の線要素で構成されているとき、例えば、ｋ番目の線要素は以下の情報を持つ。
ｔｋ ： 線要素の太さ
Ｐｋ ： 線要素の位置
ｔｋは、線要素の形状に関する情報であり、線の方向と交差する方向の長さである、つまり、線の太さに対応する情報である。
Ｐｋは、位置に関する情報であり、水平方向の線であれば、画像上の高さに対応する情報である。
ある線が、複数の線要素で構成されているとき、例えば、ｋ番目の線要素は以下の情報を持つ。
ｔｋ ： 線要素の太さ
Ｐｋ ： 線要素の位置
ｔｋは、線要素の形状に関する情報であり、線の方向と交差する方向の長さである、つまり、線の太さに対応する情報である。
Ｐｋは、位置に関する情報であり、水平方向の線であれば、画像上の高さに対応する情報である。
図７の例にもあるように、実際に画像から観測される線要素は、１画素が最小単位となる。しかし、線要素の持つ情報の最小単位は、必ずしも１画素ではなく、１画素以下の単位であってもよい。例えば、得られた線要素に基づいて、１画素以下の単位で、真の線要素を求めるようにしてもよい。又は、途切れ部分の線要素を補完するといった、修正の処理を含む線抽出のように、観測された線要素がない状態から線要素を生成することをしてもよい。この様子を図８に例示する。
図８は、修正、補完を行った線要素の例を示す説明図である。矩形内を斜線で示した観測線要素８１１〜８２８は画像内の観測された線要素であり、灰色の矩形で示した修正線要素８５１〜８６８は観測線要素８１１等に基づいて修正された線要素である。例えば、観測線要素８２０と観測線要素８２２の間に観測された線要素はないが、修正線要素８６１を追加している。
なお、前述の情報は、必ずしも全て利用しなくてもよい。例えば、後述する線抽出によって線の位置を用いる場合、個々の線要素の位置の情報は不要である。
また、多値画像を扱い、画素の濃度情報を与えてもよい。例えば、色情報が急激に変化する線要素は観測失敗である、と判別してもよい。
なお、前述の情報は、必ずしも全て利用しなくてもよい。例えば、後述する線抽出によって線の位置を用いる場合、個々の線要素の位置の情報は不要である。
また、多値画像を扱い、画素の濃度情報を与えてもよい。例えば、色情報が急激に変化する線要素は観測失敗である、と判別してもよい。
なお、線要素は、図９に例示するように、複数画素にまたがるものであってもよい。例えば、観測線要素は１画素であり、修正線要素は複数画素であってもよい。矩形内を斜線で示した観測線要素８１１〜８２８は画像内の観測された線要素であり、灰色の矩形で示した修正線要素９５１〜９５９は観測線要素８１１等に基づいて修正された線要素である。例えば、観測線要素８１１と観測線要素８１２の組は上に移動して修正線要素９５１となり、観測線要素８２０と観測線要素８２２の間に観測された線要素はないが、修正線要素９５６として生成されている。
線情報受付モジュール１１０は、観測失敗解析モジュール１２０と特徴量算出モジュール１３０に接続しており、線情報１０８を受け付けて、線情報１１２を観測失敗解析モジュール１２０と特徴量算出モジュール１３０に渡す。線情報１０８は、線の可能性がある画像に関する情報であって、線要素を示す情報の集合である。第１の実施の形態は、この線情報１０８が線を構成しているか否かを判別するものである。
観測失敗解析モジュール１２０は、線情報受付モジュール１１０と特徴量算出モジュール１３０に接続しており、線情報１１２の観測成功、失敗の判別を行い、観測失敗情報１２２を特徴量算出モジュール１３０に渡す。観測失敗解析モジュール１２０は、線情報受付モジュール１１０によって受け付けられた線情報１０８に基づいて、対象としている線要素はその線要素の位置においてその線要素が線を構成していると予測した場合の線要素の予測値に合致しているか否かを判別する。なお、対象としている線要素について、その線要素の位置においてその線要素が線を構成していると予測した場合の線要素の予測値に合致しているか否かを判別することを、「観測」ともいう。そして、「観測成功」とは、予測値に合致していると判別した場合をいい、「観測失敗」とは、予測値に合致していないと判別した場合をいう。
また、観測失敗解析モジュール１２０は、観測失敗であれば、失敗の種別もあわせて、観測失敗情報１２２として出力するようにしてもよい。
また、観測失敗解析モジュール１２０は、観測失敗であれば、失敗の種別もあわせて、観測失敗情報１２２として出力するようにしてもよい。
観測失敗解析モジュール１２０が行う処理について詳細に説明する。
観測失敗解析モジュール１２０は、線情報１１２を受け付け、種別のある観測失敗の情報である観測失敗情報１２２を出力する。
図１０に例示するように、進行方向に対して連なる線要素で構成される線を対象とする。このとき、線情報１０８から、以下のような、線の情報を得る。
ｆｔ（ｋ） ： 位置ｋにおける線の太さ
ｆＰ（ｋ） ： 位置ｋにおける線の位置
ｆｔ（ｋ）、ｆＰ（ｋ）は、位置ｋにおける、線要素の理想値とする。
このとき、位置ｋにおける線要素の太さであるｔｋは、必ずしもｆｔ（ｋ）と一致しない。
また同様に、位置ｋにおける線要素の位置であるｐｋは、必ずしもｆＰ（ｋ）と一致しない。
また、位置ｋにおける線要素が存在しない場合がある。
したがって、位置ｋにおける線要素には、以下のような観測失敗の種別がありうる。
Ａ）線要素が存在しない。
Ｂ）ｐｋとｆＰ（ｋ）の差異が、予め定められた閾値よりも大きい。
Ｃ）ｔｋとｆｔ（ｋ）の差異が、予め定められた閾値よりも大きい。
観測失敗解析モジュール１２０は、線情報１１２を受け付け、種別のある観測失敗の情報である観測失敗情報１２２を出力する。
図１０に例示するように、進行方向に対して連なる線要素で構成される線を対象とする。このとき、線情報１０８から、以下のような、線の情報を得る。
ｆｔ（ｋ） ： 位置ｋにおける線の太さ
ｆＰ（ｋ） ： 位置ｋにおける線の位置
ｆｔ（ｋ）、ｆＰ（ｋ）は、位置ｋにおける、線要素の理想値とする。
このとき、位置ｋにおける線要素の太さであるｔｋは、必ずしもｆｔ（ｋ）と一致しない。
また同様に、位置ｋにおける線要素の位置であるｐｋは、必ずしもｆＰ（ｋ）と一致しない。
また、位置ｋにおける線要素が存在しない場合がある。
したがって、位置ｋにおける線要素には、以下のような観測失敗の種別がありうる。
Ａ）線要素が存在しない。
Ｂ）ｐｋとｆＰ（ｋ）の差異が、予め定められた閾値よりも大きい。
Ｃ）ｔｋとｆｔ（ｋ）の差異が、予め定められた閾値よりも大きい。
これらを図１０の例を用いて説明する。灰色の矩形で示したものが線情報１１２で示される線要素（観測された線要素）である。上下の点線で囲まれた領域（線）が線情報１１２に基づいて算出した理想的な線であり、一点鎖線がその線の中央を示している。
線要素のうち、図１０の例では左から３番目の隣（Ａが指し示している位置）には、線要素が存在しない。つまり、観測失敗の（Ａ）の例である。
線要素のうち、図１０の例では左から７番目の線要素（Ｂが指し示している位置）は、上に飛び出しており、ｐｋとｆＰ（ｋ）の差異（値の差分）が、予め定められた閾値よりも大きい。つまり、観測失敗の（Ｂ）の例である。
また、ｔｋとｆｔ（ｋ）の差異（値の差分）の正負の値によって観測失敗の種別が異なる。図１０の例では左から１１番目の線要素（Ｃ−１が指し示している位置）は、理想的な線の線要素と比較して太すぎる。そして、図１０の例では左から１５番目の線要素（Ｃ−２が指し示している位置）は、理想的な線の線要素と比較して細すぎる。
線要素のうち、図１０の例では左から３番目の隣（Ａが指し示している位置）には、線要素が存在しない。つまり、観測失敗の（Ａ）の例である。
線要素のうち、図１０の例では左から７番目の線要素（Ｂが指し示している位置）は、上に飛び出しており、ｐｋとｆＰ（ｋ）の差異（値の差分）が、予め定められた閾値よりも大きい。つまり、観測失敗の（Ｂ）の例である。
また、ｔｋとｆｔ（ｋ）の差異（値の差分）の正負の値によって観測失敗の種別が異なる。図１０の例では左から１１番目の線要素（Ｃ−１が指し示している位置）は、理想的な線の線要素と比較して太すぎる。そして、図１０の例では左から１５番目の線要素（Ｃ−２が指し示している位置）は、理想的な線の線要素と比較して細すぎる。
これらに対応するため、観測失敗解析モジュール１２０は、予測値に合致しているか否かを判別するための条件を複数有している。
条件として、対象としている線要素の隣に線要素があることを条件とする。具体的に、前述のＡ）である。そして、その条件を満たさない場合を第１種の観測失敗とする。
次の条件として、観測された線要素の位置と、予測された線要素の位置とを比較して閾値以内であることを条件とする。具体的に、前述のＢ）である。そして、この差分が閾値以上に大きい場合、第２種の観測失敗とする。
次の条件として、観測された線要素の幅が、予測された線要素の幅と比較して閾値以内であることを条件とする。具体的に、前述のＣ）である。観測された線要素の幅が、予測された線要素の幅に対して閾値以上に大きい場合、第３種の観測失敗とする。そして、観測された線要素の幅が、予測された線要素の幅に対して閾値以上に小さい場合、第４種の観測失敗とする。
なお、前述した閾値は、定数、ｆＰ（ｋ）の定数倍、ｆｔ（ｋ）の定数倍、又は、線要素の分散の定数倍としてもよい。
また、観測失敗解析モジュール１２０は、観測失敗について、Ａ）、Ｂ）、Ｃ）−１、Ｃ）−２のように種別を付加して出力するようにしてもよい。
条件として、対象としている線要素の隣に線要素があることを条件とする。具体的に、前述のＡ）である。そして、その条件を満たさない場合を第１種の観測失敗とする。
次の条件として、観測された線要素の位置と、予測された線要素の位置とを比較して閾値以内であることを条件とする。具体的に、前述のＢ）である。そして、この差分が閾値以上に大きい場合、第２種の観測失敗とする。
次の条件として、観測された線要素の幅が、予測された線要素の幅と比較して閾値以内であることを条件とする。具体的に、前述のＣ）である。観測された線要素の幅が、予測された線要素の幅に対して閾値以上に大きい場合、第３種の観測失敗とする。そして、観測された線要素の幅が、予測された線要素の幅に対して閾値以上に小さい場合、第４種の観測失敗とする。
なお、前述した閾値は、定数、ｆＰ（ｋ）の定数倍、ｆｔ（ｋ）の定数倍、又は、線要素の分散の定数倍としてもよい。
また、観測失敗解析モジュール１２０は、観測失敗について、Ａ）、Ｂ）、Ｃ）−１、Ｃ）−２のように種別を付加して出力するようにしてもよい。
なお、ｆｔ（ｋ）、ｆＰ（ｋ）は、既存の方式で求められる。例えば、ｆｔ（ｋ）は、観測された線情報１１２の平均値、中央値、最頻値として求めればよい。また、同様に、ｆＰ（ｋ）は、観測された線情報１１２の位置から、最小２乗誤差により、関数として求めればよい。
なお、ｆｔ（ｋ）、ｆＰ（ｋ）を求める場合、必ずしも全ての線要素を参照しなくてもよい。例えば、判別しようとする線要素について、付近の線要素を参照すればよい。ここでの付近とは、対象としている線要素から予め定められた距離内にあることをいう。また、明らかに観測失敗である線要素を除外した残りの線要素を参照してもよい。
また、以上の観測失敗の他、線要素の濃度情報を参照した観測失敗の種別を設けてもよい。
なお、ｆｔ（ｋ）、ｆＰ（ｋ）を求める場合、必ずしも全ての線要素を参照しなくてもよい。例えば、判別しようとする線要素について、付近の線要素を参照すればよい。ここでの付近とは、対象としている線要素から予め定められた距離内にあることをいう。また、明らかに観測失敗である線要素を除外した残りの線要素を参照してもよい。
また、以上の観測失敗の他、線要素の濃度情報を参照した観測失敗の種別を設けてもよい。
観測失敗解析モジュール１２０は、２つのモジュールに分かれていてもよい。
１つは、線情報受付モジュール１１０によって受け付けられた線要素に関する情報に基づいて、対象とする線要素の位置からその線要素が線を構成している場合の、対象としている位置における線要素に関する情報の予測値を算出する予測値算出モジュールである。
２つ目は、予測値算出モジュールによって算出された予測値と線情報受付モジュール１１０によって受け付けられた線要素に関する情報は合致しているか否かを判別する予測判別処理モジュールである。
また、観測失敗解析モジュール１２０は、予測値に合致していない場合を種別に分類分けしてもよい。
１つは、線情報受付モジュール１１０によって受け付けられた線要素に関する情報に基づいて、対象とする線要素の位置からその線要素が線を構成している場合の、対象としている位置における線要素に関する情報の予測値を算出する予測値算出モジュールである。
２つ目は、予測値算出モジュールによって算出された予測値と線情報受付モジュール１１０によって受け付けられた線要素に関する情報は合致しているか否かを判別する予測判別処理モジュールである。
また、観測失敗解析モジュール１２０は、予測値に合致していない場合を種別に分類分けしてもよい。
特徴量算出モジュール１３０は、線情報受付モジュール１１０、観測失敗解析モジュール１２０、採用判別モジュール１４０と接続しており、観測失敗情報１２２に対応する線情報１１２の特徴量を算出し、特徴量１３２を採用判別モジュール１４０に渡す。特徴量算出モジュール１３０は、観測失敗解析モジュール１２０によって予測値に合致していないと判別された場合に関する画像の特徴量を算出する。また、特徴量算出モジュール１３０は、観測失敗解析モジュール１２０によって予測値に合致していないと判別された場合の条件の種別に基づいた特徴量を抽出するようにしてもよい。具体的には、予測値に合致していない場合（観測失敗）の発生率を特徴量としてもよい。
特徴量算出モジュール１３０は、線情報１１２、観測失敗情報１２２を参照して、線の特徴量を求める。観測失敗の種別それぞれについて、又は、いくつかの観測失敗の種別をまとめて、その発生率を特徴量として求める。
具体的には、以下のように求める。
まず、数式（１）、数式（２）のように、観測失敗の種別をまとめる。なお、ｎ｛Ｘ｝とは、観測失敗の種別Ｘの発生回数である。なお、観測失敗の種別をまとめ方は、数式（１）、数式（２）に限らない。例えば、ｎ｛Ｃ２｝をｔｈｉｃｋ＿ｓｋｉｐへ加えるようにしてもよい。また、必ずしも、観測失敗の種別をまとめなくてもよい。
具体的には、以下のように求める。
まず、数式（１）、数式（２）のように、観測失敗の種別をまとめる。なお、ｎ｛Ｘ｝とは、観測失敗の種別Ｘの発生回数である。なお、観測失敗の種別をまとめ方は、数式（１）、数式（２）に限らない。例えば、ｎ｛Ｃ２｝をｔｈｉｃｋ＿ｓｋｉｐへ加えるようにしてもよい。また、必ずしも、観測失敗の種別をまとめなくてもよい。
線を構成する線要素の総数をＮとして、観測失敗の種別の発生率である特徴量を、数式（３）、数式（４）のように求める。
ここで、観測失敗の種別を用いないで、数式（３）及び数式（４）とは異なる他の特徴量を求めておいてもよい。例えば、長さ、太さ、位置、傾き、歪み、ｆｔ（ｋ）とｔｋ（すなわち、太さ）の誤差の累積値、又は、ｆＰ（ｋ）とｐｋ（すなわち、位置）の誤差などがある。このとき、観測失敗である線要素を除外して、前述の特徴量を求めてもよい。
採用判別モジュール１４０は、特徴量算出モジュール１３０と接続されており、特徴量１３２に基づいて、線として採用すべきか否かを判別し、採用／不採用１４２を出力する。なお、ここでの出力とは、例えば、メモリーカード等の記憶媒体に記憶すること、他の情報処理装置へ渡すこと等が含まれる。
採用判別モジュール１４０は、特徴量算出モジュール１３０によって算出された特徴量１３２に基づいて、線情報受付モジュール１１０が受け付けた線情報１０８によって構成される画像は線であるか否かを判別する。
採用判別モジュール１４０は、線の特徴量１３２に基づいて、線の採用／不採用１４２の情報を出力する。ここでは、それぞれの特徴量が、予め定められた条件を満たすか否かを判別すればよい。例えば、図１１の例に示す判別処理を行う。なお、θｒａｔｉｏ＿ｂｌａｎｋ＿ｓｋｉｐ、θｒａｔｉｏ＿ｔｈｉｃｋ＿ｓｋｉｐは、予め定められた値である。また、特徴量から判別機を学習により生成してもよい。このとき、他の線の特徴量を利用してもよい。すなわち、本処理は、少なくとも観測失敗の種別に関する線の特徴量を入力とする、２クラス分類機として構成される。
採用判別モジュール１４０は、特徴量算出モジュール１３０によって算出された特徴量１３２に基づいて、線情報受付モジュール１１０が受け付けた線情報１０８によって構成される画像は線であるか否かを判別する。
採用判別モジュール１４０は、線の特徴量１３２に基づいて、線の採用／不採用１４２の情報を出力する。ここでは、それぞれの特徴量が、予め定められた条件を満たすか否かを判別すればよい。例えば、図１１の例に示す判別処理を行う。なお、θｒａｔｉｏ＿ｂｌａｎｋ＿ｓｋｉｐ、θｒａｔｉｏ＿ｔｈｉｃｋ＿ｓｋｉｐは、予め定められた値である。また、特徴量から判別機を学習により生成してもよい。このとき、他の線の特徴量を利用してもよい。すなわち、本処理は、少なくとも観測失敗の種別に関する線の特徴量を入力とする、２クラス分類機として構成される。
図１１は、採用判別モジュール１４０による処理例を示すフローチャートである。
ステップＳ１１０２では、数式（５）が成立する又は数式（６）が成立するか否かを判断し、いずれかが成立すればステップＳ１１０４へ進み、それ以外の場合はステップＳ１１０６へ進む。
ステップＳ１１０４では、「採用」を出力する。
ステップＳ１１０６では、「不採用」を出力する。
ステップＳ１１０２では、数式（５）が成立する又は数式（６）が成立するか否かを判断し、いずれかが成立すればステップＳ１１０４へ進み、それ以外の場合はステップＳ１１０６へ進む。
ステップＳ１１０６では、「不採用」を出力する。
観測失敗の種別について、実線は、ｂｌａｎｋ＿ｓｋｉｐが少ないが、ｔｈｉｃｋ＿ｓｋｉｐが多く、破線は、ｔｈｉｃｋ＿ｓｋｉｐが少ないが、ｂｌａｎｋ＿ｓｋｉｐが多い、という性質がある。また、線でないパタンは、ｔｈｉｃｋ＿ｓｋｉｐ及びｂｌａｎｋ＿ｓｋｉｐの両者が多い、という性質がある。したがって、観測失敗の種別を用いることで、実線、欠けのある線、つぶれのある線、線どうしの交差、線でないパタン等が混在する画像に対する線抽出において、線でないパタンを誤って抽出することなく、線を抽出し得る。
また、観測失敗の発生率が、予め定められた値以下である場合、後段の判別にかかわらず線を採用する、又は、後段の判別の閾値を更新する、という判別を行ってもよい。これらは、抽出した線の観測が成功している場合、線として採用される確率を高めるよう調節することに相当する。
また、観測失敗の発生率が、予め定められた値以下である場合、後段の判別にかかわらず線を採用する、又は、後段の判別の閾値を更新する、という判別を行ってもよい。これらは、抽出した線の観測が成功している場合、線として採用される確率を高めるよう調節することに相当する。
図１２は、第２の実施の形態の構成例についての概念的なモジュール構成図である。
画像受付モジュール１２１０、線抽出モジュール１２２０、観測失敗解析モジュール１２０、特徴量算出モジュール１３０、採用判別モジュール１２４０を有している。なお、第１の実施の形態と同種のモジュールには同一符号を付し重複した説明を省略する。また、同一符号のモジュールであっても、以下に説明するものは、第１の実施の形態の該当するモジュールの働き、機能に付加又は置換するものである。第３の実施の形態の説明以降も同様である。
画像受付モジュール１２１０は、線抽出モジュール１２２０と接続されており、画像１２０８を受け付けて、画像１２１２を線抽出モジュール１２２０へ渡す。
画像受付モジュール１２１０、線抽出モジュール１２２０、観測失敗解析モジュール１２０、特徴量算出モジュール１３０、採用判別モジュール１２４０を有している。なお、第１の実施の形態と同種のモジュールには同一符号を付し重複した説明を省略する。また、同一符号のモジュールであっても、以下に説明するものは、第１の実施の形態の該当するモジュールの働き、機能に付加又は置換するものである。第３の実施の形態の説明以降も同様である。
画像受付モジュール１２１０は、線抽出モジュール１２２０と接続されており、画像１２０８を受け付けて、画像１２１２を線抽出モジュール１２２０へ渡す。
線抽出モジュール１２２０は、画像受付モジュール１２１０、観測失敗解析モジュール１２０、特徴量算出モジュール１３０、採用判別モジュール１２４０と接続されており、画像１２１２から線要素の連なりとして線を抽出し、線情報１２２２を観測失敗解析モジュール１２０、特徴量算出モジュール１３０、採用判別モジュール１２４０に渡し、もし、画像１２１２に線がない場合は、無効信号１２２４を出力する。線抽出モジュール１２２０は、画像受付モジュール１２１０によって受け付けられた画像１２１２から線の可能性がある画像を抽出し、その線の線要素を示す情報の集合である線情報１２２２を抽出する。この線抽出処理は、特許文献１等に記載されている既存の技術を用いてもよい。
観測失敗解析モジュール１２０は、線抽出モジュール１２２０、特徴量算出モジュール１３０と接続されており、線抽出モジュール１２２０によって抽出された線要素を示す情報の集合である線情報１２２２を受け付け、線情報１２２２の観測成功／失敗の判別を行い、観測失敗情報１２２を特徴量算出モジュール１３０に渡す。このとき、観測失敗であれば、失敗の種別もあわせて出力するようにしてもよい。
特徴量算出モジュール１３０は、線抽出モジュール１２２０、観測失敗解析モジュール１２０、採用判別モジュール１２４０と接続しており、線抽出モジュール１２２０によって抽出された線要素を示す情報の集合である線情報１２２２と観測失敗解析モジュール１２０から観測失敗情報１２２を受け付け、観測失敗情報１２２に対応する線情報１２２２の特徴量を算出し、特徴量１３２を採用判別モジュール１２４０に渡す。なお、ここで、他の特徴量を算出してもよい。
採用判別モジュール１２４０は、線抽出モジュール１２２０、特徴量算出モジュール１３０と接続されており、特徴量１３２に基づいて、線として採用すべきか否かを判別し、線／無効信号１２４２を出力する。つまり、採用であれば線であることを示す情報を出力し、不採用であれば無効信号の⊥を出力する。
特徴量算出モジュール１３０は、線抽出モジュール１２２０、観測失敗解析モジュール１２０、採用判別モジュール１２４０と接続しており、線抽出モジュール１２２０によって抽出された線要素を示す情報の集合である線情報１２２２と観測失敗解析モジュール１２０から観測失敗情報１２２を受け付け、観測失敗情報１２２に対応する線情報１２２２の特徴量を算出し、特徴量１３２を採用判別モジュール１２４０に渡す。なお、ここで、他の特徴量を算出してもよい。
採用判別モジュール１２４０は、線抽出モジュール１２２０、特徴量算出モジュール１３０と接続されており、特徴量１３２に基づいて、線として採用すべきか否かを判別し、線／無効信号１２４２を出力する。つまり、採用であれば線であることを示す情報を出力し、不採用であれば無効信号の⊥を出力する。
図１３は、第３の実施の形態の構成例についての概念的なモジュール構成図である。
画像受付モジュール１２１０、線抽出モジュール１３２０、観測失敗解析モジュール１３３０、特徴量算出モジュール１３０、採用判別モジュール１２４０を有している。観測失敗解析モジュール１３３０は、線抽出モジュール１３２０と併合してもよい。すなわち、線抽出において、線要素を統合する過程において、線要素を取得する度に、逐次、観測失敗解析を行えばよい。第２の実施の形態の図１２の例と比較して、改めて観測失敗解析を行う必要がなく、処理速度が改善され得る。また、不要な観測失敗である線要素を除外するため、メモリ効率が改善され得る。
画像受付モジュール１２１０、線抽出モジュール１３２０、観測失敗解析モジュール１３３０、特徴量算出モジュール１３０、採用判別モジュール１２４０を有している。観測失敗解析モジュール１３３０は、線抽出モジュール１３２０と併合してもよい。すなわち、線抽出において、線要素を統合する過程において、線要素を取得する度に、逐次、観測失敗解析を行えばよい。第２の実施の形態の図１２の例と比較して、改めて観測失敗解析を行う必要がなく、処理速度が改善され得る。また、不要な観測失敗である線要素を除外するため、メモリ効率が改善され得る。
画像受付モジュール１２１０は、線抽出モジュール１３２０と接続されており、画像１２０８を受け付けて、画像１２１２を線抽出モジュール１３２０へ渡す。
線抽出モジュール１３２０は、画像受付モジュール１２１０、観測失敗解析モジュール１３３０、特徴量算出モジュール１３０、採用判別モジュール１２４０と接続されている。観測失敗解析モジュール１３３０は、線抽出モジュール１３２０と接続されている。線抽出モジュール１３２０における線要素の統合過程において、画像１２１２から線要素１３２２を取得する度に、逐次、観測失敗解析モジュール１３３０に前述の観測失敗解析処理を行わせる。そして、観測失敗情報１３３２を観測失敗解析モジュール１３３０から受け取る。最終的に、画像１２１２に線がなければ無効信号１３２６を出力し、線の可能性がある画像があれば、線情報、観測失敗情報１３２４を特徴量算出モジュール１３０、採用判別モジュール１２４０に渡す。
特徴量算出モジュール１３０は、線抽出モジュール１３２０、採用判別モジュール１２４０と接続されており、線抽出モジュール１３２０から線情報、観測失敗情報１３２４を受け取って、画像の特徴量を算出する。
採用判別モジュール１２４０は、線抽出モジュール１３２０、特徴量算出モジュール１３０と接続されており、線抽出モジュール１３２０から線情報、観測失敗情報１３２４、特徴量算出モジュール１３０から特徴量１３２を受け取り、線／無効信号１２４２を出力する。
線抽出モジュール１３２０は、画像受付モジュール１２１０、観測失敗解析モジュール１３３０、特徴量算出モジュール１３０、採用判別モジュール１２４０と接続されている。観測失敗解析モジュール１３３０は、線抽出モジュール１３２０と接続されている。線抽出モジュール１３２０における線要素の統合過程において、画像１２１２から線要素１３２２を取得する度に、逐次、観測失敗解析モジュール１３３０に前述の観測失敗解析処理を行わせる。そして、観測失敗情報１３３２を観測失敗解析モジュール１３３０から受け取る。最終的に、画像１２１２に線がなければ無効信号１３２６を出力し、線の可能性がある画像があれば、線情報、観測失敗情報１３２４を特徴量算出モジュール１３０、採用判別モジュール１２４０に渡す。
特徴量算出モジュール１３０は、線抽出モジュール１３２０、採用判別モジュール１２４０と接続されており、線抽出モジュール１３２０から線情報、観測失敗情報１３２４を受け取って、画像の特徴量を算出する。
採用判別モジュール１２４０は、線抽出モジュール１３２０、特徴量算出モジュール１３０と接続されており、線抽出モジュール１３２０から線情報、観測失敗情報１３２４、特徴量算出モジュール１３０から特徴量１３２を受け取り、線／無効信号１２４２を出力する。
図１４は、第４の実施の形態の構成例についての概念的なモジュール構成図である。
画像受付モジュール１４１０、文字列抽出モジュール１４２０、画像処理モジュール１４３０、文字認識モジュール１４４０、出力モジュール１４５０を有している。
画像受付モジュール１４１０は、文字列抽出モジュール１４２０と接続されており、文字列を含む画像を受け付ける。画像内には、下線、取り消し線等が含まれていてもよい。
文字列抽出モジュール１４２０は、画像受付モジュール１４１０、画像処理モジュール１４３０と接続されており、画像受付モジュール１４１０によって受け付けられた画像から文字列を抽出し、その文字列の方向に基づいて、線の可能性がある画像を抽出する。文字列の抽出は、既存の技術を用いてもよい。例えば、縦方向、横方向に黒画素のヒストグラムをとり、その分布から縦書き、横書きの方向を抽出してもよい。その文字列の方向を線の方向として、線の可能性がある画像を抽出する。
画像受付モジュール１４１０、文字列抽出モジュール１４２０、画像処理モジュール１４３０、文字認識モジュール１４４０、出力モジュール１４５０を有している。
画像受付モジュール１４１０は、文字列抽出モジュール１４２０と接続されており、文字列を含む画像を受け付ける。画像内には、下線、取り消し線等が含まれていてもよい。
文字列抽出モジュール１４２０は、画像受付モジュール１４１０、画像処理モジュール１４３０と接続されており、画像受付モジュール１４１０によって受け付けられた画像から文字列を抽出し、その文字列の方向に基づいて、線の可能性がある画像を抽出する。文字列の抽出は、既存の技術を用いてもよい。例えば、縦方向、横方向に黒画素のヒストグラムをとり、その分布から縦書き、横書きの方向を抽出してもよい。その文字列の方向を線の方向として、線の可能性がある画像を抽出する。
画像処理モジュール１４３０は、文字列抽出モジュール１４２０、文字認識モジュール１４４０と接続されており、前述の第１の実施の形態の画像処理装置、第２の実施の形態の画像処理装置、第３の実施の形態の画像処理装置のいずれかが該当する。つまり、文字列抽出モジュール１４２０によって抽出された線の可能性がある画像が線であるか否かを判別する。
文字認識モジュール１４４０は、画像処理モジュール１４３０、出力モジュール１４５０と接続されており、画像処理モジュール１４３０によって画像から線として判別された画像を削除して、文字画像だけとなった画像を文字認識する。
出力モジュール１４５０は、文字認識モジュール１４４０と接続されており、文字認識モジュール１４４０による文字認識結果を出力する。
文字認識モジュール１４４０は、画像処理モジュール１４３０、出力モジュール１４５０と接続されており、画像処理モジュール１４３０によって画像から線として判別された画像を削除して、文字画像だけとなった画像を文字認識する。
出力モジュール１４５０は、文字認識モジュール１４４０と接続されており、文字認識モジュール１４４０による文字認識結果を出力する。
図１５は、第５の実施の形態の構成例についての概念的なモジュール構成図である。
画像受付モジュール１５１０、枠線方向指定モジュール１５２０、画像処理モジュール１５３０、帳票処理モジュール１５４０、出力モジュール１５５０を有している。
画像受付モジュール１５１０は、枠線方向指定モジュール１５２０と接続されており、枠線を含む画像を受け付ける。例えば、帳票の画像を受け付ける。
枠線方向指定モジュール１５２０は、画像受付モジュール１５１０、画像処理モジュール１５３０と接続されており、画像受付モジュール１５１０によって受け付けられた画像から枠線の方向に基づいて、線の可能性がある画像を抽出する。例えば、帳票に主に用いられている垂直方向の線、水平方向の線をそれぞれ抽出するよう指定して、線の可能性がある画像を抽出する。
画像受付モジュール１５１０、枠線方向指定モジュール１５２０、画像処理モジュール１５３０、帳票処理モジュール１５４０、出力モジュール１５５０を有している。
画像受付モジュール１５１０は、枠線方向指定モジュール１５２０と接続されており、枠線を含む画像を受け付ける。例えば、帳票の画像を受け付ける。
枠線方向指定モジュール１５２０は、画像受付モジュール１５１０、画像処理モジュール１５３０と接続されており、画像受付モジュール１５１０によって受け付けられた画像から枠線の方向に基づいて、線の可能性がある画像を抽出する。例えば、帳票に主に用いられている垂直方向の線、水平方向の線をそれぞれ抽出するよう指定して、線の可能性がある画像を抽出する。
画像処理モジュール１５３０は、枠線方向指定モジュール１５２０、帳票処理モジュール１５４０と接続されており、前述の第１の実施の形態の画像処理装置、第２の実施の形態の画像処理装置、第３の実施の形態の画像処理装置のいずれかが該当する。つまり、枠線方向指定モジュール１５２０によって抽出された線の可能性がある画像が線であるか否かを判別する。
帳票処理モジュール１５４０は、画像処理モジュール１５３０、出力モジュール１５５０と接続されており、画像処理モジュール１５３０によって画像から線として判別された線画像の位置から帳票内の欄を判別して、その欄内にある文字画像を文字認識して、欄と文字認識結果を対応付けるようにしてもよい。
出力モジュール１５５０は、帳票処理モジュール１５４０と接続されており、帳票処理モジュール１５４０による帳票処理結果を出力する。
帳票処理モジュール１５４０は、画像処理モジュール１５３０、出力モジュール１５５０と接続されており、画像処理モジュール１５３０によって画像から線として判別された線画像の位置から帳票内の欄を判別して、その欄内にある文字画像を文字認識して、欄と文字認識結果を対応付けるようにしてもよい。
出力モジュール１５５０は、帳票処理モジュール１５４０と接続されており、帳票処理モジュール１５４０による帳票処理結果を出力する。
図１６を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図１６に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部１６１７と、プリンタなどのデータ出力部１６１８を備えたハードウェア構成例を示している。
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１６０１は、前述の実施の形態において説明した各種のモジュール、すなわち、線情報受付モジュール１１０、観測失敗解析モジュール１２０、特徴量算出モジュール１３０、採用判別モジュール１４０、画像受付モジュール１２１０、線抽出モジュール１２２０、採用判別モジュール１２４０、線抽出モジュール１３２０、観測失敗解析モジュール１３３０、文字列抽出モジュール１４２０、画像処理モジュール１４３０、文字認識モジュール１４４０、枠線方向指定モジュール１５２０、画像処理モジュール１５３０、帳票処理モジュール１５４０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１６０２は、ＣＰＵ１６０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６０３は、ＣＰＵ１６０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス１６０４により相互に接続されている。
ホストバス１６０４は、ブリッジ１６０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１６０６に接続されている。
キーボード１６０８、マウス等のポインティングデバイス１６０９は、操作者により操作される入力デバイスである。ディスプレイ１６１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などがあり、各種情報をテキストやイメージ情報として表示する。
ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１６１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ１６０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、対象とする画像、線要素を示す情報、判別結果などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
ドライブ１６１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１６１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１６０７、外部バス１６０６、ブリッジ１６０５、及びホストバス１６０４を介して接続されているＲＡＭ１６０３に供給する。リムーバブル記録媒体１６１３も、ハードディスクと同様のデータ記録領域として利用可能である。
接続ポート１６１４は、外部接続機器１６１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１６１４は、インタフェース１６０７、及び外部バス１６０６、ブリッジ１６０５、ホストバス１６０４等を介してＣＰＵ１６０１等に接続されている。通信部１６１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部１６１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１６１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
なお、図１６に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１６に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１６に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。
なお、前述の各種の実施の形態を組み合わせてもよく（例えば、ある実施の形態内のモジュールを他の実施の形態内に追加する、入れ替えをする等も含む）、また、各モジュールの処理内容として背景技術で説明した技術を採用してもよい。
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
１１０…線情報受付モジュール
１２０…観測失敗解析モジュール
１３０…特徴量算出モジュール
１４０…採用判別モジュール
１２１０…画像受付モジュール
１２２０…線抽出モジュール
１２４０…採用判別モジュール
１３２０…線抽出モジュール
１３３０…観測失敗解析モジュール
１４１０…画像受付モジュール
１４２０…文字列抽出モジュール
１４３０…画像処理モジュール
１４４０…文字認識モジュール
１４５０…出力モジュール
１５１０…画像受付モジュール
１５２０…枠線方向指定モジュール
１５３０…画像処理モジュール
１５４０…帳票処理モジュール
１５５０…出力モジュール
１２０…観測失敗解析モジュール
１３０…特徴量算出モジュール
１４０…採用判別モジュール
１２１０…画像受付モジュール
１２２０…線抽出モジュール
１２４０…採用判別モジュール
１３２０…線抽出モジュール
１３３０…観測失敗解析モジュール
１４１０…画像受付モジュール
１４２０…文字列抽出モジュール
１４３０…画像処理モジュール
１４４０…文字認識モジュール
１４５０…出力モジュール
１５１０…画像受付モジュール
１５２０…枠線方向指定モジュール
１５３０…画像処理モジュール
１５４０…帳票処理モジュール
１５５０…出力モジュール
Claims (5)
- 線の可能性がある画像に関する情報であって、線を構成し得る矩形の画素塊である線要素を示す情報の集合を受け付ける線情報受付手段と、
前記線情報受付手段によって受け付けられた線要素を示す情報に基づいて、対象としている線要素は該線要素の位置において該線要素が線を構成していると予測した場合の線要素の予測値に合致しているか否かを判別する予測判別手段と、
前記予測判別手段によって予測値に合致していないと判別された場合に関する前記画像の特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出された特徴量に基づいて、前記画像は線であるか否かを判別する線判別手段と
を具備し、
前記予測判別手段は、予測値に合致しているか否かを判別するための条件を複数有し、
前記特徴量算出手段は、前記予測判別手段によって予測値に合致していないと判別された場合の条件の種別に基づいた特徴量を抽出する
ことを特徴とする画像処理装置。 - 画像を受け付ける画像受付手段と、
前記画像受付手段によって受け付けられた画像から線の可能性がある画像を抽出し、該線の線要素を示す情報の集合を抽出する線抽出手段と
を具備し、
前記線情報受付手段は、前記線抽出手段によって抽出された線要素を示す情報の集合を受け付ける
ことを特徴とする請求項１に記載の画像処理装置。 - 前記画像受付手段は、文字列を含む画像を受け付け、
前記線抽出手段は、前記画像受付手段によって受け付けられた画像から文字列の方向に基づいて、線の可能性がある画像を抽出する
ことを特徴とする請求項２に記載の画像処理装置。 - 前記画像受付手段は、枠線を含む画像を受け付け、
前記線抽出手段は、前記画像受付手段によって受け付けられた画像から枠線の方向に基づいて、線の可能性がある画像を抽出する
ことを特徴とする請求項２に記載の画像処理装置。 - コンピュータを、
線の可能性がある画像に関する情報であって、線を構成し得る矩形の画素塊である線要素を示す情報の集合を受け付ける線情報受付手段と、
前記線情報受付手段によって受け付けられた線要素を示す情報に基づいて、対象としている線要素は該線要素の位置において該線要素が線を構成していると予測した場合の線要素の予測値に合致しているか否かを判別する予測判別手段と、
前記予測判別手段によって予測値に合致していないと判別された場合に関する前記画像の特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出された特徴量に基づいて、前記画像は線であるか否かを判別する線判別手段
として機能させ、
前記予測判別手段は、予測値に合致しているか否かを判別するための条件を複数有し、
前記特徴量算出手段は、前記予測判別手段によって予測値に合致していないと判別された場合の条件の種別に基づいた特徴量を抽出する
ことを特徴とする画像処理プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010239389A JP5640645B2 (ja) | 2010-10-26 | 2010-10-26 | 画像処理装置及び画像処理プログラム |
| US13/090,807 US8620090B2 (en) | 2010-10-26 | 2011-04-20 | Line determination apparatus, line determination method, and computer-readable medium |
| CN201110165801.XA CN102456139B (zh) | 2010-10-26 | 2011-06-16 | 图像处理设备和图像处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010239389A JP5640645B2 (ja) | 2010-10-26 | 2010-10-26 | 画像処理装置及び画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012093876A JP2012093876A (ja) | 2012-05-17 |
| JP5640645B2 true JP5640645B2 (ja) | 2014-12-17 |
Family
ID=45973075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010239389A Active JP5640645B2 (ja) | 2010-10-26 | 2010-10-26 | 画像処理装置及び画像処理プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8620090B2 (ja) |
| JP (1) | JP5640645B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7326753B2 (ja) | 2019-01-24 | 2023-08-16 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
| CN111783756B (zh) * | 2019-04-03 | 2024-04-16 | 北京市商汤科技开发有限公司 | 文本识别方法及装置、电子设备和存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0535806A (ja) * | 1991-07-29 | 1993-02-12 | Toshiba Corp | 線分解釈方式 |
| US5293429A (en) * | 1991-08-06 | 1994-03-08 | Ricoh Company, Ltd. | System and method for automatically classifying heterogeneous business forms |
| JP2576413B2 (ja) | 1994-06-30 | 1997-01-29 | 日本電気株式会社 | ２値図面イメージの線分抽出方式 |
| JP3689485B2 (ja) * | 1996-05-09 | 2005-08-31 | 株式会社日立製作所 | 帳票認識方法 |
| US6226402B1 (en) * | 1996-12-20 | 2001-05-01 | Fujitsu Limited | Ruled line extracting apparatus for extracting ruled line from normal document image and method thereof |
| JP3904840B2 (ja) * | 2000-08-15 | 2007-04-11 | 富士通株式会社 | 多値画像から罫線を抽出する罫線抽出装置 |
| US6609725B1 (en) * | 2000-09-25 | 2003-08-26 | Let's Go Aero, Inc. | Securing device for receiver hitch assemblies |
| US7583841B2 (en) * | 2005-12-21 | 2009-09-01 | Microsoft Corporation | Table detection in ink notes |
| JP4791295B2 (ja) * | 2006-08-31 | 2011-10-12 | 富士通株式会社 | 罫線抽出プログラム、罫線抽出装置、罫線抽出方法 |
| US8224112B2 (en) * | 2009-06-08 | 2012-07-17 | Xerox Corporation | Fuzzy method to detect thin lines in scanned image |
-
2010
- 2010-10-26 JP JP2010239389A patent/JP5640645B2/ja active Active
-
2011
- 2011-04-20 US US13/090,807 patent/US8620090B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US8620090B2 (en) | 2013-12-31 |
| CN102456139A (zh) | 2012-05-16 |
| JP2012093876A (ja) | 2012-05-17 |
| US20120099797A1 (en) | 2012-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8768052B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium | |
| KR100903595B1 (ko) | 조사 영역 추출 방법 및 화상 처리 장치 | |
| US10643097B2 (en) | Image processing apparatuses and non-transitory computer readable medium | |
| JP5640645B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP5601027B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP5365440B2 (ja) | 画像処理装置及び画像処理プログラム | |
| US8749854B2 (en) | Image processing apparatus, method for performing image processing and computer readable medium | |
| US8805076B2 (en) | Image processing apparatus, image processing method and computer readable medium | |
| JP5489894B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP5742367B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP5251489B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP5724341B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP2017010187A (ja) | 画像処理装置及び画像処理プログラム | |
| JP5821648B2 (ja) | 情報処理装置及び情報処理プログラム | |
| JP5262778B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP2014120832A (ja) | 画像処理装置及び画像処理プログラム | |
| JP2016053797A (ja) | 画像処理装置及び画像処理プログラム | |
| JP5935324B2 (ja) | 情報処理装置及び情報処理プログラム | |
| US9258446B2 (en) | Image processing apparatus | |
| JP6409423B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP6187307B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP6003375B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP4793429B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP5991076B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP6281309B2 (ja) | 画像処理装置及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130917 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140507 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140626 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140930 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141013 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5640645 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |