JP6194408B2 - Cropping apparatus, cropping method, and program - Google Patents
Cropping apparatus, cropping method, and program Download PDFInfo
- Publication number
- JP6194408B2 JP6194408B2 JP2016508436A JP2016508436A JP6194408B2 JP 6194408 B2 JP6194408 B2 JP 6194408B2 JP 2016508436 A JP2016508436 A JP 2016508436A JP 2016508436 A JP2016508436 A JP 2016508436A JP 6194408 B2 JP6194408 B2 JP 6194408B2
- Authority
- JP
- Japan
- Prior art keywords
- edge
- depth
- color
- information
- document
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 74
- 238000012545 processing Methods 0.000 claims description 136
- 230000008569 process Effects 0.000 claims description 49
- 238000000605 extraction Methods 0.000 claims description 17
- 230000010365 information processing Effects 0.000 description 53
- 238000010586 diagram Methods 0.000 description 28
- 238000013507 mapping Methods 0.000 description 25
- 230000006837 decompression Effects 0.000 description 11
- 239000003086 colorant Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
Images
Classifications
-
- G06T3/06—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00795—Reading arrangements
- H04N1/00827—Arrangements for reading an image from an unusual original, e.g. 3-dimensional objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/04—Scanning arrangements
- H04N2201/0402—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
- H04N2201/0434—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207 specially adapted for scanning pages of a book
Description
本発明は、クロッピング装置、クロッピング方法、および、プログラムに関する。 The present invention relates to a cropping device, a cropping method, and a program.
従来、オーバヘッドスキャナ等の画像読取装置において、本などの厚みのある綴じ媒体の画像を取得する場合に、原稿領域に応じてクロッピングする技術が開発されている。 2. Description of the Related Art Conventionally, in an image reading apparatus such as an overhead scanner, when acquiring an image of a binding medium having a thickness such as a book, a technique of cropping according to a document area has been developed.
例えば、直線成分、エッジ成分から輪郭を抽出して、抽出した輪郭に沿ってクロッピングを行う方法が開発されている(特許文献1を参照)。 For example, a method has been developed in which contours are extracted from straight line components and edge components, and cropping is performed along the extracted contours (see Patent Document 1).
また、カメラに関する位置およびカメラ較正パラメータのような既知のシステム配置情報を使用して、イメージから原稿範囲を直接決定する際に、何が文書に属していて何が属していないかを知るために、大きな曲率または奥行きの変化についての調査を用いてデータに適合される一般的な面を解析することによって原稿領域を判定する方法が開発されている(特許文献2を参照)。 Also, to know what belongs to the document and what doesn't belong when determining the document area directly from the image using known system location information such as camera position and camera calibration parameters A method has been developed for determining a document area by analyzing a general surface that is fitted to data using a survey of large curvature or depth changes (see Patent Document 2).
しかしながら、従来のクロッピング方法では、原稿台と原稿の色が同等でエッジが抽出しにくいような場合など、正確にクロッピング対象の原稿領域を判定できず精度が低いという問題点を有していた。 However, the conventional cropping method has a problem that the original document area to be cropped cannot be accurately determined and the accuracy is low, for example, when the colors of the document table and the document are the same and it is difficult to extract the edge.
本発明は、上記問題点に鑑みてなされたもので、原稿台と原稿の色が同等でエッジが抽出しにくいような場合であっても、精度よくクロッピングすることができる、クロッピング装置、クロッピング方法、および、プログラムを提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems. A cropping apparatus and a cropping method capable of performing accurate cropping even when the colors of the document table and the document are the same and it is difficult to extract an edge. And to provide a program.
このような目的を達成するため、本発明に係るクロッピング装置は、原稿の3次元情報を取得する3次元情報取得手段と、3次元情報において、色および深度に基づいて原稿領域を判定して、当該原稿領域に対してクロップ処理を行うクロップ処理手段と、を備える。上記クロップ処理手段は、色情報から色エッジ、および、深度情報から深度エッジを抽出するエッジ抽出手段、を更に備え、上記色エッジおよび上記深度エッジに基づいて上記原稿領域を判定し、上記色エッジと上記深度エッジの対応点間の距離が閾値を超える場合は、画像中心から遠い点を優先して上記原稿領域を判定し、上記色エッジと上記深度エッジの対応点間の距離が閾値を超えない場合は、上記色エッジおよび上記深度エッジのうち、上記色エッジを優先して上記原稿領域を判定する。 In order to achieve such an object, a cropping device according to the present invention determines a document area based on color and depth in a three-dimensional information acquisition unit that acquires three-dimensional information of a document, and the three-dimensional information, Crop processing means for performing crop processing on the document area. The crop processing unit further includes an edge extraction unit that extracts a color edge from color information and a depth edge from depth information, and determines the document region based on the color edge and the depth edge, and the color edge When the distance between the corresponding points of the depth edge exceeds the threshold value, the document area is determined by giving priority to a point far from the center of the image, and the distance between the corresponding points of the color edge and the depth edge exceeds the threshold value. If not, the original region is determined by giving priority to the color edge out of the color edge and the depth edge.
また、本発明に係るクロッピング方法は、原稿の3次元情報を取得する3次元情報取得ステップと、3次元情報において、色情報から色エッジ、および、深度情報から深度エッジを抽出するエッジ抽出ステップと、上記色エッジと上記深度エッジの対応点間の距離が閾値を超える場合は、画像中心から遠い点を優先して原稿領域を判定し、上記色エッジと上記深度エッジの対応点間の距離が閾値を超えない場合は、上記色エッジおよび上記深度エッジのうち、上記色エッジを優先して上記原稿領域を判定してクロップ処理を行うクロップ処理ステップと、を含む。 The cropping method according to the present invention includes a three-dimensional information acquisition step of acquiring three-dimensional information of a document, an edge extraction step of extracting a color edge from color information and a depth edge from depth information in the three-dimensional information, If the distance between the corresponding points of the color edge and the depth edge exceeds the threshold, the document area is determined by giving priority to a point far from the center of the image, and the distance between the corresponding points of the color edge and the depth edge is When the threshold value is not exceeded , a crop processing step of performing crop processing by determining the document area with priority on the color edge out of the color edge and the depth edge is included.
また、本発明に係るプログラムは、原稿の3次元情報を取得する3次元情報取得ステップと、3次元情報において、色情報から色エッジ、および、深度情報から深度エッジを抽出するエッジ抽出ステップと、上記色エッジと上記深度エッジの対応点間の距離が閾値を超える場合は、画像中心から遠い点を優先して原稿領域を判定し、上記色エッジと上記深度エッジの対応点間の距離が閾値を超えない場合は、上記色エッジおよび上記深度エッジのうち、上記色エッジを優先して上記原稿領域を判定してクロップ処理を行うクロップ処理ステップと、をコンピュータに実行させる。 A program according to the present invention includes a three-dimensional information acquisition step for acquiring three-dimensional information of a document, an edge extraction step for extracting a color edge from color information and a depth edge from depth information in the three-dimensional information , If the distance between the corresponding points of the color edge and the depth edge exceeds the threshold, the document area is determined with priority given to a point far from the image center, and the distance between the corresponding points of the color edge and the depth edge is the threshold. If it does not exceed , the computer is caused to execute a crop processing step of performing the crop processing by determining the original region by giving priority to the color edge out of the color edge and the depth edge .
また、本発明に係るコンピュータ読み取り可能な記録媒体は、前記に記載の本発明に係るプログラムを記録する。 The computer-readable recording medium according to the present invention records the program according to the present invention described above.
この発明によれば、原稿台と原稿の色が同等でエッジが抽出しにくいような場合であっても、精度よくクロッピングすることができる。 According to the present invention, even when the colors of the document table and the document are the same and it is difficult to extract the edge, the cropping can be accurately performed.
以下に、本発明に係るクロッピング装置、クロッピング方法、および、プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。特に、本実施形態においては、読み取り対象を雑誌などの原稿として説明することがあるが、これに限られず、新聞紙や、ステープルで綴じられた媒体や、単票を重ねた束等を読み取り対象としてもよい。 Hereinafter, embodiments of a cropping device, a cropping method, and a program according to the present invention will be described in detail with reference to the drawings. In addition, this invention is not limited by this embodiment. In particular, in this embodiment, the reading target may be described as a manuscript such as a magazine. However, the reading target is not limited to this. Newspaper, a medium bound with staples, a stack of single sheets, and the like are read. Also good.
[1.本実施形態の構成]
本実施形態に係る情報処理装置100の構成について図1を参照して説明する。図1は、情報処理装置100の一例を示すハードウェア構成図である。[1. Configuration of this embodiment]
The configuration of the information processing apparatus 100 according to the present embodiment will be described with reference to FIG. FIG. 1 is a hardware configuration diagram illustrating an example of the information processing apparatus 100.
図1に示すように、本実施形態は、クロッピング方法を実行する情報処理装置100と、原稿画像を取得する画像読取装置12を備える。なお、情報処理装置100は、記憶部106および制御部102を備え、画像読取装置12は、パターン光源121および画像読取部122を備える。これら各部は任意の通信路を介して通信可能に接続されている。また、画像読取部122は、リニアセンサとエリアセンサのいずれであってもよく、あるいは2種類のセンサを備えてもよい。なお、本実施の形態において、パターン光源121を原稿に照射して3次元情報を取得する例について説明するが、これに限られず、パターン光源を用いずに、TOF(Time Of Flight)方式にて3次元情報を取得してもよい。
As shown in FIG. 1, this embodiment includes an information processing apparatus 100 that executes a cropping method and an
ここで、図2は、情報処理装置100の一例を示す機能ブロック図である。記憶部106は、各種のデータベースやテーブルやファイルなどを格納する。記憶部106は、ストレージ手段であり、例えばRAM・ROM等のメモリ装置や、ハードディスクのような固定ディスク装置、フレキシブルディスク、光ディスク等を用いることができる。記憶部106には、CPU(Central Processing Unit)に命令を与え各種処理を行うためのコンピュータプログラムが記録されている。ここで、図2は、情報処理装置100の記憶部106の一例を示すブロック図である。
Here, FIG. 2 is a functional block diagram illustrating an example of the information processing apparatus 100. The
図2に示すように、記憶部106は、図示の如く、画像データ一時ファイル106a、3次元ファイル106b、加工画像ファイル106cを備える。
As shown in FIG. 2, the
このうち、画像データ一時ファイル106aは、読取制御部102aによりで読み取られた画像データを一時的に記憶する。 Among these, the image data temporary file 106a temporarily stores the image data read by the reading control unit 102a.
また、3次元ファイル106bは、画像データ一時ファイル106aに格納された画像データに基づいて生成された3次元情報を記憶する。 The three-dimensional file 106b stores three-dimensional information generated based on the image data stored in the image data temporary file 106a.
また、加工画像ファイル106cは、画像データ一時ファイル106aに格納された画像データ、および/または、3次元ファイル106bに格納された3次元情報から、加工または編集された加工画像データを記憶する。
The processed
入出力インターフェース部108は、入力部112および出力部114を、制御部102と接続する。入力部112としては、画像読取装置12等の画像読取手段のほか、マウスやキーボード等を用いることができ、出力部114としては、モニタやディスプレイ等の表示手段や、マイク等の音声出力手段を用いることができる。
The input / output interface unit 108 connects the
制御部102は、情報処理装置100を統括的に制御するCPU等からなる。制御部102は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリを有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。
The
図2に示すように、制御部102は、図示の如く、大別して、読取制御部102aと、3次元情報取得部102bと、クロップ処理部102cと、メッシュ分割部102eと、伸張処理部102fと、色マッピング部102gとを備える。
As shown in FIG. 2, the
読取制御部102aは、入力部112として画像読取装置12を制御して、原稿を含む画像を取得し、画像データ一時ファイル106aに格納する。例えば、読取制御部102aは、パターン光源121からパターン光が照射されるように制御して、画像読取部122を介して、パターン光が照射された原稿の画像を取得してもよい。より具体的には、読取制御部102aは、パターン光源121を制御して、対象物に対して位相パターンを照射し、パターン光源と同期するように、画像読取を実施する。この位相パターンを照射した複数枚の画像が取得されると、後述する、3次元情報取得部102bが3次元形状を復元する。このほか、読取制御部102aは、パターン光を照射することなく、原稿の色情報(RGB情報等)を取得してもよい。すなわち、前者によって、深度情報が取得され、後者によって、色情報が取得されることとなる。
The reading control unit 102a controls the
3次元情報取得部102bは、画像データ一時ファイル106aに格納された、パターン光が照射された原稿を含む画像データに基づいて、深度情報を含む3次元情報を取得し、3次元ファイル106bに格納する。例えば、3次元情報取得部102bは、公知のパターン光投影法に基づいて、3次元情報を取得してもよい。なお、3次元情報取得部102bは、公知のTOF方式に基づいて、3次元情報を取得してもよい。
The three-dimensional
クロップ処理部102cは、3次元情報において原稿領域をクロップ処理する。例えば、クロップ処理部102cは、3次元ファイル106bに格納された3次元情報において、色および深度に基づいて原稿領域を判定し、当該原稿領域に対してクロップ処理を行ってもよい。なお、クロップ処理部102cは、判定した原稿領域の外側の背景領域の深度情報を、伸張処理部102f等による後処理のために取得してもよい。なお、クロップ処理部102cは、クロップ処理した原稿領域の3次元情報を、3次元ファイル106bに格納する。
The
ここで、図2に示すように、本実施形態において、クロップ処理部102cは、画像データ一時ファイル106aに格納された色情報から色エッジ、および、3次元ファイル106bに格納された深度情報から深度エッジを抽出するエッジ抽出部102dを備える。そして、クロップ処理部102cは、エッジ抽出部102dにより抽出された色エッジおよび深度エッジに基づいて原稿領域を判定してもよい。ここで、クロップ処理部102cは、色エッジおよび深度エッジのうち、色エッジを優先して原稿領域を判定してもよい。より具体的には、色エッジおよび深度エッジの対応点間の距離が近い場合、深度よりも見た目の切れ目でクロップを行うため、クロップ処理部102cは、色エッジを優先して原稿領域を判定してもよい。
Here, as shown in FIG. 2, in the present embodiment, the
ここで、エッジ抽出部102dにより抽出された色エッジと深度エッジの対応点間の距離が閾値を超える場合、クロップ処理部102cは、画像中心から遠い点を優先して原稿領域を判定してもよい。換言すれば、色エッジと深度エッジの対応点間の距離が閾値を超える場合、原稿よりも外側で誤検出が起こることはないと考え、原稿欠けを防止してクロッピングの信頼性を上げるために、クロップ処理部102cは、色エッジおよび深度エッジのうち、画像中心から遠い点を優先して原稿領域を判定する。
Here, when the distance between the corresponding points of the color edge and the depth edge extracted by the edge extraction unit 102d exceeds the threshold value, the
クロップ処理部102cは、原稿が綴じられた媒体であるときは、綴じ方向の走査により得られた深度エッジを優先して原稿領域を判定してもよい。すなわち、厚みのある綴じ媒体である場合、自然な紙の浮き上がりなどで立体的な形状の変化が起こるので、綴じ方向に深度エッジが現れやすい。そのため、クロップ処理部102cは、綴じ方向の走査により得られた深度エッジを色エッジよりも優先して原稿領域を判定する。反対に、クロップ処理部102cは、綴じ方向とは垂直方向の走査により得られた色エッジを深度エッジよりも優先して原稿領域を判定してもよい。
When the original is a bound medium, the
メッシュ分割部102eは、3次元情報を矩形メッシュに分割する。本実施形態において、メッシュ分割部102eは、3次元情報を矩形メッシュに分割する場合において、深度に応じて適応的に細かくメッシュ分割する。より具体的には、メッシュ分割部102eは、3次元情報に対して、メッシュ分割した近似平面の誤差が閾値以上ある場合に、当該矩形メッシュを更に複数の矩形にメッシュ分割する処理を繰り返す。これにより、紙の浮きや折り目などに応じて細かくメッシュを設定することができ、特にメッシュ間に折り目などの顕著な変化点が存在する場合は、更に細かくメッシュを設定することができるので、歪み補正の精度が向上する。 The mesh division unit 102e divides the three-dimensional information into rectangular meshes. In the present embodiment, the mesh division unit 102e adaptively finely divides the mesh according to the depth when dividing the three-dimensional information into rectangular meshes. More specifically, the mesh division unit 102e repeats the process of further dividing the rectangular mesh into a plurality of rectangles when the error of the approximate plane obtained by dividing the mesh is greater than or equal to a threshold for the three-dimensional information. This makes it possible to finely set the mesh according to paper floats and creases, especially when there are significant change points such as creases between the meshes. The accuracy of correction is improved.
ここで、メッシュ分割部102eは、3次元情報取得部102bにより取得された原稿領域と背景領域を含む3次元情報を矩形メッシュに分割することに限られず、クロップ処理部102cによりクロップ処理された原稿領域の3次元情報を矩形メッシュに分割してもよい。これにより、原稿領域のみの3次元情報を扱うことができ、演算負荷の軽減や、後述するばねモデルを用いることによる背景領域から悪影響を除去することができる。なお、本実施形態においては、原稿領域のクロップ処理によって、背景領域の3次元情報を除去する例について説明するが、これに限られず、読取制御部102aによる読取を行う際に、透明な原稿台に原稿を載置することによっても原稿領域のみの3次元情報を取得することができる。
Here, the mesh division unit 102e is not limited to dividing the three-dimensional information including the document region and the background region acquired by the three-dimensional
伸張処理部102fは、メッシュ分割部102eにより分割した3次元情報を平面に伸張させる。より具体的には、伸張処理部102fは、メッシュ分割した各領域の3次元頂点間に、ばねモデルを適用した上で、3次元頂点を基準平面に伸張させる。ここで、伸張処理部102fは、3次元情報取得部102bにより取得された3次元情報において、クロップ処理部102cにより原稿領域と判定された領域の外側の背景領域の深度を、基準面の深度として平面に伸張させてもよい。なお、画像読取装置12と原稿台の位置関係が予め固定である場合等においては、伸張処理部102fは、予め設定された所定の深度平面に対して伸張させてもよい。
The
色マッピング部102gは、伸張処理部102fにより伸張された平面データ上に、画像データ一時ファイル106aに記憶された色情報をマッピングする。より具体的には、色マッピング部102gは、画像データ一時ファイル106aに記憶された色情報(RGB情報等)について、伸張前の矩形メッシュ形状から伸張後の矩形メッシュ形状への変形が反映されるように、平面データ上にマッピングする。
The
[2.本実施形態の処理]
上述した構成の情報処理装置100で実行される処理例について、図3〜図21を参照して説明する。なお、以下の実施形態の処理では、クロッピング方法のみならず、原稿歪み補正方法をも実施する例について説明するが、本願発明は、この処理例に限定されるものではなく、クロッピング方法など説明中の一部処理のみを本願発明の対象としてもよいものである。[2. Processing of this embodiment]
An example of processing executed by the information processing apparatus 100 having the above-described configuration will be described with reference to FIGS. In the processing of the following embodiment, an example in which not only the cropping method but also the original distortion correction method is implemented will be described. However, the present invention is not limited to this processing example, and the cropping method and the like are being described. Only a part of the processing may be the subject of the present invention.
[2−1.全体処理(その1)]
本実施形態の情報処理装置100における全体処理の一例について図3を参照して説明する。図3は、画像読取装置12から原稿台までの位置関係が固定である場合の情報処理装置100における全体処理の一例を示すフローチャートである。[2-1. Overall processing (part 1)]
An example of overall processing in the information processing apparatus 100 according to the present embodiment will be described with reference to FIG. FIG. 3 is a flowchart illustrating an example of overall processing in the information processing apparatus 100 when the positional relationship from the
図3に示すように、まず、3次元情報取得部102bは、読取制御部102aの処理により、画像読取装置12を制御して、原稿が載置されていない原稿台の画像を取得することにより、原稿台の深度情報を取得する(ステップSA−1)。なお、この処理は、初回だけ行われる処理であり、画像読取装置12から原稿台までの位置関係が固定であるため、2回目以降は、同じ原稿台の深度を利用する。
As shown in FIG. 3, first, the three-dimensional
つづいて、3次元情報取得部102bは、読取制御部102aの処理により、画像読取装置12を制御して、原稿が載置された原稿台の画像を取得することにより、原稿の色情報と3次元情報(深度情報等)を取得する(ステップSA−2)。なお、この3次元情報には、原稿領域と背景領域の3次元情報が含まれている。
Subsequently, the three-dimensional
そして、クロップ処理部102cは、3次元情報において、色および深度に基づいて原稿領域を判定し、当該原稿領域に対してクロップ処理を行う(ステップSA−3)。これにより、原稿領域のみの3次元情報が得られる。
Then, the
そして、メッシュ分割部102eは、深度に応じて適応的に細かくメッシュ分割することにより、3次元情報を矩形メッシュに分割する(ステップSA−4)。より具体的には、メッシュ分割部102eは、3次元情報に対して、メッシュ分割した近似平面の誤差が閾値以上ある場合に、当該矩形メッシュを更に複数の矩形にメッシュ分割する処理を繰り返すことで、歪みに応じて適応的に細かくメッシュ分割を行う。 Then, the mesh dividing unit 102e divides the three-dimensional information into rectangular meshes by adaptively finely dividing the mesh according to the depth (step SA-4). More specifically, the mesh dividing unit 102e repeats the process of further dividing the rectangular mesh into a plurality of rectangles when the error of the approximate plane obtained by dividing the mesh is greater than or equal to a threshold for the three-dimensional information. Then, mesh division is adaptively finely performed according to the distortion.
そして、伸張処理部102fは、メッシュ分割部102eにより分割した3次元情報を、ステップSA−1で得られた固定の深度の平面に伸張させる(ステップSA−5)。より具体的には、伸張処理部102fは、メッシュ分割した各領域の3次元頂点間に、ばねモデルを適用した上で、3次元頂点を、深度固定の基準平面に伸張させる。
Then, the
そして、色マッピング部102gは、伸張処理部102fにより伸張された平面データ上に、画像データ一時ファイル106aに記憶された色情報をマッピングする(ステップSA−6)。より具体的には、色マッピング部102gは、画像データ一時ファイル106aに記憶された色情報(RGB情報等)について、伸張前の矩形メッシュ形状から伸張後の矩形メッシュ形状への変形が反映されるように、平面データ上にマッピングする。
Then, the
以上が、本実施形態の情報処理装置100における全体処理の一例である。 The above is an example of the overall processing in the information processing apparatus 100 of the present embodiment.
[2−2.全体処理(その2)]
ここで、上述した全体処理の他の例について図4を参照して説明する。図4は、画像読取装置12から原稿台までの位置関係が可変である場合の情報処理装置100における全体処理の一例を示すフローチャートである。[2-2. Overall processing (2)]
Here, another example of the entire process described above will be described with reference to FIG. FIG. 4 is a flowchart illustrating an example of overall processing in the information processing apparatus 100 when the positional relationship from the
図4に示すように、まず、3次元情報取得部102bは、読取制御部102aの処理により、画像読取装置12を制御して、原稿が載置された原稿台の画像を取得することにより、原稿の色情報と3次元情報(深度情報等)を取得する(ステップSB−1)。なお、この3次元情報には、原稿領域と背景領域の3次元情報が含まれている。
As shown in FIG. 4, first, the three-dimensional
そして、クロップ処理部102cは、3次元情報において、色および深度に基づいて原稿領域を判定し、当該原稿領域に対してクロップ処理を行う(ステップSB−2)。これにより、原稿領域のみの3次元情報が得られる。
Then, the
そして、クロップ処理部102cは、原稿領域と判定した外側の領域である背景領域の深度情報を、原稿台の平面の深度情報と推定して取得する(ステップSB−3)。ここで、図5は、原稿と原稿が載置された原稿台の関係を模式的に示した図である。図5に示すように、原稿領域の外側の背景領域は、原稿台の深度を表すことになるので、背景領域の深度情報を、原稿台の深度と推定することができる。
Then, the
そして、メッシュ分割部102eは、深度に応じて適応的に細かくメッシュ分割することにより、3次元情報を矩形メッシュに分割する(ステップSB−4)。より具体的には、メッシュ分割部102eは、3次元情報に対して、メッシュ分割した近似平面の誤差が閾値以上ある場合に、当該矩形メッシュを更に複数の矩形にメッシュ分割する処理を繰り返すことで、歪みに応じて適応的に細かくメッシュ分割を行う。 Then, the mesh dividing unit 102e divides the three-dimensional information into rectangular meshes by adaptively finely dividing the mesh according to the depth (step SB-4). More specifically, the mesh dividing unit 102e repeats the process of further dividing the rectangular mesh into a plurality of rectangles when the error of the approximate plane obtained by dividing the mesh is greater than or equal to a threshold for the three-dimensional information. Then, mesh division is adaptively finely performed according to the distortion.
そして、伸張処理部102fは、メッシュ分割部102eにより分割した3次元情報を、ステップSB−3で推定された原稿台の深度の平面に伸張させる(ステップSB−5)。より具体的には、伸張処理部102fは、メッシュ分割した各領域の3次元頂点間に、ばねモデルを適用した上で、3次元頂点を、推定された原稿台深度の基準平面に伸張させる。
Then, the
そして、色マッピング部102gは、伸張処理部102fにより伸張された平面データ上に、画像データ一時ファイル106aに記憶された色情報をマッピングする(ステップSB−6)。より具体的には、色マッピング部102gは、画像データ一時ファイル106aに記憶された色情報(RGB情報等)について、伸張前の矩形メッシュ形状から伸張後の矩形メッシュ形状への変形が反映されるように、平面データ上にマッピングする。
The
以上が、本実施形態の情報処理装置100における全体処理の一例である。 The above is an example of the overall processing in the information processing apparatus 100 of the present embodiment.
[2−3.クロッピング処理(その1)]
ここで、上述した全体処理における、より具体的なクロッピング処理の例について図6および図7を参照して説明する。図6は、本実施形態の情報処理装置100におけるクロッピング処理の一例を示すフローチャートである。また、図7は、図6におけるクロッピング処理の出力概念図である。[2-3. Cropping process (1)]
Here, a more specific example of the cropping process in the overall process described above will be described with reference to FIGS. FIG. 6 is a flowchart illustrating an example of the cropping process in the information processing apparatus 100 according to the present embodiment. FIG. 7 is an output conceptual diagram of the cropping process in FIG.
図6に示すように、まず、クロップ処理部102cは、エッジ抽出部102dの処理により、画像データ一時ファイル106aに格納された色情報、および、3次元ファイル106bに格納された深度情報から、それぞれ色エッジと深度エッジを抽出する(ステップSC−1)。ここで、図7のMA−1は、抽出前の原稿綴じ媒体を示した図であり、MA−2は、色エッジの抽出例、MA−3は、深度エッジの抽出例を示している。なお、破線は、何らかの原因でエッジが抽出できなかった箇所を表している。また、白抜き線は、色エッジを表しており、一点鎖線は、深度エッジを表している。
As illustrated in FIG. 6, first, the
再び図6に戻り、クロップ処理部102cは、抽出した色エッジと深度エッジの各エッジについて輪郭を検出する(ステップSC−2)。ここで、クロップ処理部102cは、色と深度を用いて、以下のようにクロッピングの信頼性を向上させる。
Returning to FIG. 6 again, the
すなわち、画像全体に対して、以下のSC−3〜SC−8の処理を繰り返し実行する。 That is, the following processes SC-3 to SC-8 are repeatedly performed on the entire image.
繰り返し処理において、クロップ処理部102cは、色と深度の最外の輪郭について対応点を検出する(ステップSC−4)。
In the iterative processing, the
そして、クロップ処理部102cは、色と深度の対応点間の距離が閾値以下であるか否かを判定する(ステップSC−5)。
Then, the
色と深度の対応点間の距離が閾値以下である場合(ステップSC−5,Yes)、クロップ処理部102cは、色エッジの点をクロッピング対象点として、クロッピング対象の原稿領域を判定する(ステップSC−6)。ここで、図7のMA−4は、色エッジと深度エッジを重ね合わせた図である。図7に示すように、水平方向では、色エッジと深度エッジの両方が検出されており、この例では両者間は閾値以下であるので、色エッジがクロッピング対象点として選ばれる。これにより、深度よりも見た目の切れ目でクロップを行うことができる。
When the distance between the corresponding points of color and depth is equal to or smaller than the threshold (step SC-5, Yes), the
一方、色と深度の対応点間の距離が閾値を超える場合(ステップSC−5,No)、クロップ処理部102cは、画像中心から遠い点をクロッピング対象点として、クロッピング対象の原稿領域を判定する(ステップSC−7)。原稿よりも外側で誤検出が起こることはないと考えられるので、これにより、原稿欠けを防止してクロッピングの信頼性を向上させることができる。
On the other hand, when the distance between the corresponding points of color and depth exceeds the threshold value (No at Step SC-5), the
以上の繰り返し処理(ステップSC−3〜SC−8)が画像全体について実行されると、クロップ処理部102cは、判定したクロッピング対象点群を結んだものを、クロッピング対象の原稿領域と判定する(ステップSC−9)。
When the above iterative processing (steps SC-3 to SC-8) is performed on the entire image, the
以上が、本実施形態の情報処理装置100におけるクロッピング処理の一例である。 The above is an example of the cropping process in the information processing apparatus 100 of the present embodiment.
[2−4.クロッピング処理(その2)]
ここで、上述した全体処理におけるクロッピング処理の他の例について図8および図9を参照して説明する。図8は、本実施形態の情報処理装置100におけるクロッピング処理の他の例を示すフローチャートである。また、図9は、図8におけるクロッピング処理の出力概念図である。[2-4. Cropping process (2)]
Here, another example of the cropping process in the overall process described above will be described with reference to FIGS. FIG. 8 is a flowchart illustrating another example of the cropping process in the information processing apparatus 100 according to the present embodiment. 9 is an output conceptual diagram of the cropping process in FIG.
図8に示すように、まず、クロップ処理部102cは、エッジ抽出部102dの処理により、画像データ一時ファイル106aに格納された色情報から水平方向の色エッジを抽出し、3次元ファイル106bに格納された深度情報から垂直方向の深度エッジを抽出する(ステップSD−1)。ここで、図9のMB−1は、エッジ抽出前の原稿綴じ媒体を示した図であり、MB−2は、水平方向の色エッジの抽出例、MB−3は、垂直方向の深度エッジの抽出例を示している。なお、破線は、何らかの原因でエッジが抽出できなかった箇所を表している。
As shown in FIG. 8, first, the
図9において、白抜き線は、水平方向の色エッジを表しており、一点鎖線は、垂直方向の深度エッジを表している。本実施形態のクロッピング処理(その2)では、綴じ媒体が原稿である場合に、その綴じ方向で深度エッジが現れやすいため、垂直方向の深度エッジを検出する。一方、綴じ方向とは垂直な水平方向では、深度エッジが検出しにくいので、色エッジを優先する。 In FIG. 9, white lines represent horizontal color edges, and alternate long and short dash lines represent vertical depth edges. In the cropping process (part 2) of the present embodiment, when the binding medium is a document, a depth edge is likely to appear in the binding direction, and thus a vertical depth edge is detected. On the other hand, in the horizontal direction perpendicular to the binding direction, it is difficult to detect the depth edge, so the color edge is prioritized.
すなわち、図8および図9<MB−3>に示すように、クロップ処理部102cは、抽出した垂直方向の深度エッジから、画像中の最上および最下の連続したエッジT(Top),B(Bottom)を検出する(SD−2)。
That is, as shown in FIG. 8 and FIG. 9 <MB-3>, the
そして、図8および図9<MB−2>に示すように、クロップ処理部102cは、抽出した水平方向の色エッジから、画像中の最左および最右の連続したエッジL(Left),R(Right)を検出する(SD−3)。
Then, as illustrated in FIGS. 8 and 9 <MB-2>, the
そして、クロップ処理部102cは、エッジT,Bの各々の端点と、エッジL,Rとの最短距離が閾値以下であるか否かを判定する(ステップSD−4)。
Then, the
最短距離が閾値以下である場合(ステップSD−4,Yes)、クロップ処理部102cは、図9<MB−4>に示すように、エッジT,BとエッジL,Rを統合して、クロップ対象の原稿領域を判定する(ステップSD−5)。これにより、深度エッジが現れにくい水平方向では、見た目の切れ目でクロップを行うことができる。
When the shortest distance is equal to or smaller than the threshold (step SD-4, Yes), the
一方、最短距離が閾値を超える場合(ステップSD−4,No)、クロップ処理部102cは、図9<MB−5>に示すように、エッジL,Rを使用せずに、深度エッジT,Bの両端点を結んで、クロップ対象の原稿領域を判定する(ステップSD−6)。これにより、深度よりも見た目の切れ目でクロップを行うことができる。これにより、原稿欠けを防止して、信頼性の高いクロップを行うことができる。
On the other hand, when the shortest distance exceeds the threshold (step SD-4, No), the
以上が、本実施形態の情報処理装置100におけるクロッピング処理の他の例である。 The above is another example of the cropping process in the information processing apparatus 100 of the present embodiment.
[2−5.原稿台深度推定処理]
本実施形態の情報処理装置100における原稿台深度推定処理の一例について図10および図11を参照して説明する。図10は、画像読取装置12から原稿台までの位置関係が未知である場合の情報処理装置100における原稿台深度推定処理の一例を示すフローチャートである。また、図11は、原稿台に載置された原稿を模式的に示した図である。[2-5. Document table depth estimation process]
An example of document table depth estimation processing in the information processing apparatus 100 according to the present embodiment will be described with reference to FIGS. 10 and 11. FIG. 10 is a flowchart illustrating an example of document table depth estimation processing in the information processing apparatus 100 when the positional relationship from the
図10に示すように、まず、3次元情報取得部102bは、3次元ファイル106bを参照して、予め原稿台の平面情報が取得されているか否かを判定する(ステップSE−1)。
As shown in FIG. 10, first, the three-dimensional
予め原稿台の平面情報が取得されている場合(ステップSE−1,Yes)、原稿台深度推定処理を終え、一方、原稿台の平面情報が未だ取得されていない場合(ステップSE−1,No)、3次元情報取得部102bは、原稿領域の外側の背景領域に基づいて、原稿台の平面情報を取得する(ステップSE−2)。より具体的には、図11に示すように、3次元情報取得部102bは、クロップ処理部102cにより判定された原稿領域の外側の背景領域の3次元情報から平面ax+by+cz+d=0を求めることにより、原稿台の領域である背景領域の3次元情報から平面近似を行い原稿台の平面情報を取得する。
When the plane information of the document table is acquired in advance (Yes at Step SE-1), the document table depth estimation process is finished, and when the plane information of the document table is not acquired yet (Step SE-1, No). The three-dimensional
以上が、本実施形態の情報処理装置100における原稿台深度推定処理の例である。 The above is an example of document table depth estimation processing in the information processing apparatus 100 of the present embodiment.
[2−6.メッシュ分割処理]
本実施形態の情報処理装置100におけるメッシュ分割処理の一例について図12〜図15を参照して説明する。図12は、情報処理装置100におけるメッシュ分割処理の一例を示すフローチャートである。また、図13および図14は、原稿領域がメッシュ分割される様子を模式的に示した図である。また、図15は、最終的にメッシュ分割された結果を模式的に示す図である。[2-6. Mesh division processing]
An example of mesh division processing in the information processing apparatus 100 according to the present embodiment will be described with reference to FIGS. FIG. 12 is a flowchart illustrating an example of mesh division processing in the information processing apparatus 100. FIGS. 13 and 14 are diagrams schematically showing how the document area is divided into meshes. FIG. 15 is a diagram schematically showing the result of the final mesh division.
図12に示すように、まず、メッシュ分割部102eは、クロップ処理部102cによりクロップ処理された原稿領域の3次元情報に基づく媒体曲面に対して、原稿台平面と垂直する平面で荒く矩形メッシュに分割する(ステップSF−1)。すなわち、図13に示すように、メッシュ分割部102eは、原稿領域の3次元情報を、所定の大きさのメッシュに均等分割してもよい。
As shown in FIG. 12, first, the mesh dividing unit 102e forms a rough rectangular mesh on a plane perpendicular to the platen plane with respect to the medium curved surface based on the three-dimensional information of the document area cropped by the
そして、メッシュ分割部102eは、メッシュ分割した各領域内の3次元ポイント群を平面に近似する(ステップSF−2)。 Then, the mesh division unit 102e approximates the three-dimensional point group in each region obtained by mesh division to a plane (step SF-2).
そして、メッシュ分割部102eは、メッシュ分割した各領域内の3次元ポイントと近似平面との距離(誤差)を計算する(ステップSF−3)。 Then, the mesh dividing unit 102e calculates a distance (error) between the three-dimensional point in each region divided by the mesh and the approximate plane (step SF-3).
近似平面との距離が閾値以上である場合(ステップSF−4,Yes)、メッシュ分割部102eは、メッシュ分割した領域中で距離が一番大きなポイントを検出して、このポイントを通る垂直平面で更に細かい矩形メッシュに分割して、新たな領域を追加する(ステップSF−5)。図14に示すように、最初の6分割メッシュにおいて、上段中央のメッシュの歪み量が大きく平面に近似しようとすると誤差が閾値以上となる場合、メッシュ分割部102eは、1つの矩形メッシュを4つの矩形メッシュに分割する。 When the distance to the approximate plane is equal to or greater than the threshold (Yes at step SF-4), the mesh dividing unit 102e detects the point having the largest distance in the mesh-divided region, and uses the vertical plane passing through this point. It is further divided into fine rectangular meshes, and a new area is added (step SF-5). As shown in FIG. 14, in the first 6-divided mesh, when the amount of distortion of the upper middle mesh is large and the error is greater than or equal to the threshold value, the mesh dividing unit 102e Divide into rectangular meshes.
一方、近似平面との距離が閾値未満である場合(ステップSF−4,No)、当該処理は行わず、次のステップに進む。 On the other hand, when the distance to the approximate plane is less than the threshold (No at Step SF-4), the process is not performed and the process proceeds to the next step.
そして、メッシュ分割部102eは、分割された全てのメッシュ領域についてチェックが終了したか否かを判定する(ステップSF−6)。まだ、判定を行っていないメッシュ領域がある場合は(ステップSF−6,No)、次の領域についてステップSF−2に戻り上述した処理を繰り返す。換言すると、近似平面と実際の3次元情報との距離に差がある場合は、メッシュ領域面積を小さくし、同様の処理を繰り返す。すなわち、深度が急峻に変化する領域は細かくメッシュ化され、ゆるやかな部分は広い範囲でメッシュ化される。 Then, the mesh division unit 102e determines whether or not the check has been completed for all divided mesh regions (step SF-6). If there is a mesh area that has not been determined yet (step SF-6, No), the process returns to step SF-2 for the next area and the above-described processing is repeated. In other words, if there is a difference in the distance between the approximate plane and the actual three-dimensional information, the mesh area is reduced and the same processing is repeated. That is, the region where the depth changes sharply is finely meshed, and the loose portion is meshed in a wide range.
一方、全てのメッシュ領域についてチェックが終了すると(ステップSF−6,Yes)、分割したメッシュ集合を記録して処理を終える(ステップSF−7)。図15に示すように、最終的に分割されたメッシュ領域は、原稿の歪み量に応じて適応的に細かくメッシュ分割が行われる。これにより、紙の浮きや折り目などに応じて細かくメッシュを設定することができ、特にメッシュ間に折り目などの顕著な変化点が存在する場合は、更に細かくメッシュを設定することができるので、歪み補正の精度が向上する。 On the other hand, when the check is completed for all the mesh regions (step SF-6, Yes), the divided mesh set is recorded and the process is finished (step SF-7). As shown in FIG. 15, the finally divided mesh region is adaptively finely divided according to the amount of distortion of the document. This makes it possible to finely set the mesh according to paper floats and creases, especially when there are significant change points such as creases between the meshes. The accuracy of correction is improved.
以上が、本実施形態の情報処理装置100におけるメッシュ分割処理の例である。 The above is an example of the mesh division processing in the information processing apparatus 100 of the present embodiment.
[2−7.伸張処理]
本実施形態の情報処理装置100における伸張処理の一例について図16〜図19を参照して説明する。図16は、本実施形態において適用するばねモデルを模式的に示した図である。図17は、情報処理装置100における伸張処理の一例を示すフローチャートである。また、図18は、伸張前の旧メッシュ集合を示した図であり、図19は、伸張後の新メッシュ集合を示した図である。[2-7. Decompression processing]
An example of decompression processing in the information processing apparatus 100 according to the present embodiment will be described with reference to FIGS. FIG. 16 is a diagram schematically showing a spring model applied in the present embodiment. FIG. 17 is a flowchart illustrating an example of decompression processing in the information processing apparatus 100. FIG. 18 is a diagram showing an old mesh set before expansion, and FIG. 19 is a diagram showing a new mesh set after expansion.
伸張処理を行うにあたって、本実施形態では、ばねモデルを適用する。図16に示すように、3次元頂点をV(X,Y,Z)とおくと、2つの3次元頂点a,b間には、ばね係数K_dのばねがあるかのように収縮・伸張させる(M.S. Brown著” Document restoration using 3D shape: a general deskewing algorithm for arbitrarily warped documents, Computer Vision, 2001”参照)。 In performing the extension process, a spring model is applied in the present embodiment. As shown in FIG. 16, when the three-dimensional vertex is V (X, Y, Z), the two three-dimensional vertices a and b are contracted and expanded as if there is a spring having a spring coefficient K_d. (See MS Brown, "Document restoration using 3D shape: general deskewing algorithm for arbitrarily warped documents, Computer Vision, 2001").
具体的な伸張処理として、図17に示すように、まず、伸張処理部102fは、メッシュ分割部102eにより分割した3次元情報をデモデリングして、3次元頂点を抽出する(ステップSG−1)。
As specific decompression processing, as shown in FIG. 17, first, the
そして、伸張処理部102fは、3次元頂点群の各頂点に作用する力を計算する(ステップSG−2)。より具体的には、伸張処理部102fは、下記の式に基づいて、2つの頂点a,b間の力を計算する。
そして、伸張処理部102fは、計算した3次元頂点間にはたらく力に基づいて、スピードと移動量を更新する(ステップSG−3)。より具体的には、伸張処理部102fは、下記の式に基づいて、2つの頂点a,b間の力から位置ベクトルと移動ベクトルを計算する。
そして、伸張処理部102fは、全ての頂点群が、原稿台平面(所定の深度)に到達したか否かを判定する(ステップSG−4)。
Then, the
全ての頂点群が原稿台平面に到達していない場合(SG−4,No)、伸張処理部102fは、ステップSG−2に処理を戻し、上述した処理を繰り返す。
If all the vertex groups have not reached the document table plane (SG-4, No), the
一方、全ての頂点群が原稿台平面に到達した場合(SG−4,Yes)、伸張処理部102fは、原稿台平面上ですべてのメッシュエッジに対して、現在の伸張後の長さと、伸張前の原長を比較して、頂点の位置を調整する(ステップSG−5)。すなわち、伸張処理部102fは、図18に示す伸張前の原長と、図19に示す伸張後の長さとを比較して、メッシュ領域の頂点位置を調整する。
On the other hand, when all the vertex groups have reached the platen plane (SG-4, Yes), the
そして、伸張処理部102fは、所定の収束条件を満たしたか否かを判定する(ステップSG−6)。所定の収束条件を満たしていない場合は(ステップSG−6,No)、伸張処理部102fは、ステップSG−5に処理を戻し、再調整を行う。
Then, the
所定の収束条件を満たした場合(ステップSG−6,Yes)、伸張処理部102fは、調整を終了して、伸張後の各頂点の新しい座標を新メッシュ集合として取得して処理を終える(ステップSG−7)。
When the predetermined convergence condition is satisfied (step SG-6, Yes), the
以上が、本実施形態の情報処理装置100における伸張処理の例である。 The above is an example of the decompression process in the information processing apparatus 100 of the present embodiment.
[2−8.マッピング処理]
本実施形態の情報処理装置100におけるマッピング処理の一例について図20および図21を参照して説明する。図20は、情報処理装置100におけるマッピング処理の一例を示すフローチャートである。また、図21は、メッシュ集合とRGB画像とのマッピング処理を模式的に示した図である。[2-8. Mapping process]
An example of the mapping process in the information processing apparatus 100 according to the present embodiment will be described with reference to FIGS. FIG. 20 is a flowchart illustrating an example of mapping processing in the information processing apparatus 100. FIG. 21 is a diagram schematically illustrating a mapping process between a mesh set and an RGB image.
図20に示すように、色マッピング部102gは、3次元ファイル106bに記憶された、伸張処理部102fによる伸張前のメッシュ四角頂点の元位置(X,Y,Z)を取得する(ステップSH−1,図21<MC−1>)。
As shown in FIG. 20, the
そして、色マッピング部102gは、画像データ一時ファイル106aに記憶された色情報(RGB画像)を取得して、対応するRGB画像中の位置(u,v)を取得する(ステップSH−2,図21<MC−2>)。
Then, the
そして、色マッピング部102gは、伸張処理部102fにより伸張された後の新メッシュ四角頂点の位置(X´,Y´,Z´)を取得する(ステップSH−3,図21<MC−3>)。
Then, the
そして、色マッピング部102gは、対応するRGB画像中の位置(u´,v´)を取得する(ステップSH−4,図21<MC−4>)。
Then, the
そして、色マッピング部102gは、4つの頂点RGB画像位置(u,v)と(u´,v´)を用いて、透視変換マトリクスを求める(ステップSH−5)。
The
そして、色マッピング部102gは、透視変換マトリクスを用いて、元四角中の各ピクセルの新しいRGB画像座標を求めてRGB情報を指定する(ステップSH−6)。
Then, the
以上の処理により、色マッピング部102gは、歪み補正が行われた2次元RGB画像を取得し、加工画像データとして加工画像ファイル106cに格納する。
Through the above processing, the
以上が、本実施形態の情報処理装置100の色マッピング処理の例である。 The above is an example of the color mapping process of the information processing apparatus 100 of the present embodiment.
[3.本実施形態のまとめ、及び他の実施形態]
以上、本実施形態によれば、情報処理装置100は、原稿の3次元情報を取得し、3次元情報において、色および深度に基づいて原稿領域を判定して、当該原稿領域に対してクロップ処理を行う。これにより、原稿台と原稿の色が同等でエッジが抽出しにくいような場合であっても、精度よくクロッピングすることができる。[3. Summary of this embodiment and other embodiments]
As described above, according to the present embodiment, the information processing apparatus 100 acquires the three-dimensional information of the document, determines the document region based on the color and the depth in the three-dimensional information, and performs the crop processing on the document region. I do. As a result, even when the colors of the document table and the document are the same and it is difficult to extract the edge, the cropping can be accurately performed.
また、本実施形態によれば、色情報から色エッジ、および、深度情報から深度エッジを抽出し、色エッジおよび深度エッジに基づいて原稿領域を判定するので、クロッピングの信頼性を一層向上させることができる。 According to the present embodiment, the color edge is extracted from the color information and the depth edge is extracted from the depth information, and the document area is determined based on the color edge and the depth edge, so that the reliability of cropping can be further improved. Can do.
また、本実施形態によれば、色エッジおよび深度エッジのうち、色エッジを優先して原稿領域を判定するので、見た目上の切れ目に応じて綺麗な原稿領域を取得することができる。 Further, according to the present embodiment, the document area is determined by giving priority to the color edge out of the color edge and the depth edge, so that a beautiful document area can be acquired according to the apparent break.
また、本実施形態によれば、色エッジと深度エッジの対応点間の距離が閾値を超える場合は、画像中心から遠い点を優先して原稿領域を判定するので、原稿欠けを防止することができる。 Further, according to the present embodiment, when the distance between corresponding points of the color edge and the depth edge exceeds the threshold value, the document area is determined by giving priority to a point far from the center of the image, so that document missing can be prevented. it can.
また、本実施形態によれば、原稿が綴じられた媒体であるときは、綴じ方向の走査により得られた深度エッジを優先して上記原稿領域を判定するので、深度エッジが現れやすい方向のエッジを利用して、正確に原稿領域を判定することができる。 According to the present embodiment, when the original is a bound medium, the original area is determined by giving priority to the depth edge obtained by scanning in the binding direction. Can be used to accurately determine the document area.
さらに、本発明は、上述した実施形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。例えば、画像読取部122は、赤外領域以外の波長領域の光を検出してもよい。また、情報処理装置100がスタンドアローンの形態で処理を行う場合を一例に説明したが、情報処理装置100とは別筐体のクライアント端末からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。 Furthermore, the present invention may be implemented in various different embodiments other than the above-described embodiments within the scope of the technical idea described in the claims. For example, the image reading unit 122 may detect light in a wavelength region other than the infrared region. Moreover, although the case where the information processing apparatus 100 performs processing in a stand-alone form has been described as an example, processing is performed in response to a request from a client terminal in a separate casing from the information processing apparatus 100, and the processing result is You may make it return to a client terminal. In addition, among the processes described in the embodiment, all or a part of the processes described as being automatically performed can be manually performed, or all of the processes described as being manually performed can be performed. Alternatively, a part can be automatically performed by a known method. In addition, the processing procedures, control procedures, specific names, information including registration data for each processing, screen examples, and database configuration shown in the above documents and drawings may be arbitrarily changed unless otherwise specified. Can do.
また、情報処理装置100に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、情報処理装置100の各装置が備える処理機能、特に制御部102にて行われる各処理機能については、その全部または任意の一部を、CPU(Central Processing Unit)および当該CPUにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、後述する記録媒体に記録されており、必要に応じて情報処理装置100に機械的に読み取られる。すなわち、ROMまたはHDDなどの記憶部106などには、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、RAMにロードされることによって実行され、CPUと協働して制御部を構成する。また、このコンピュータプログラムは、情報処理装置100に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
In addition, regarding the information processing apparatus 100, each illustrated component is functionally conceptual and does not necessarily need to be physically configured as illustrated. For example, the processing functions provided in each device of the information processing apparatus 100, in particular, the processing functions performed by the
また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、USBメモリ、SDカード、フレキシブルディスク、光磁気ディスク、ROM、EPROM、EEPROM、CD−ROM、MO、DVD、および、Blu−ray(登録商標) Disc等の任意の「可搬用の物理媒体」を含むものとする。また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、OS(Operating System)に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。 In addition, the program according to the present invention may be stored in a computer-readable recording medium, and may be configured as a program product. Here, the “recording medium” means a memory card, USB memory, SD card, flexible disk, magneto-optical disk, ROM, EPROM, EEPROM, CD-ROM, MO, DVD, and Blu-ray (registered trademark). It includes any “portable physical medium” such as Disc. The “program” is a data processing method described in an arbitrary language or description method, and may be in any format such as source code or binary code. The “program” is not necessarily limited to a single configuration, but is distributed in the form of a plurality of modules and libraries, or in cooperation with a separate program represented by an OS (Operating System). Including those that achieve the function. In addition, a well-known structure and procedure can be used about the specific structure for reading a recording medium in each apparatus shown in embodiment, a reading procedure, or the installation procedure after reading.
記憶部106に格納される各種のデータベース等(画像データ一時ファイル106a、3次元ファイル106b、加工画像ファイル106c)は、RAM、ROM等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理に用いる各種のプログラム、テーブル、および、データベース等を格納する。
Various databases and the like (image data temporary file 106a, three-dimensional file 106b, and processed
また、情報処理装置100は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、情報処理装置100は、該情報処理装置に本発明の方法を実現させるソフトウェア(プログラム、データ等を含む)を実装することにより実現してもよい。更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。 The information processing apparatus 100 may be configured as an information processing apparatus such as a known personal computer or workstation, or may be configured by connecting an arbitrary peripheral device to the information processing apparatus. The information processing apparatus 100 may be realized by installing software (including programs, data, and the like) that causes the information processing apparatus to implement the method of the present invention. Furthermore, the specific form of distribution / integration of the devices is not limited to that shown in the figure, and all or a part of them may be functional or physical in arbitrary units according to various additions or according to functional loads. Can be distributed and integrated. That is, the above-described embodiments may be arbitrarily combined and may be selectively implemented.
以上のように、本発明に係るクロッピング装置、クロッピング方法、および、プログラムは、産業上の多くの分野、特にスキャナで読み取った画像を扱う画像処理分野で実施することができ、極めて有用である。 As described above, the cropping apparatus, cropping method, and program according to the present invention can be implemented in many industrial fields, particularly in the image processing field that handles images read by a scanner, and are extremely useful.
12 画像読取装置
121 パターン光源
122 画像読取部
100 情報処理装置
102 制御部
102a 読取制御部
102b 3次元情報取得部
102c クロップ処理部
102d エッジ抽出部
102e メッシュ分割部
102f 伸張処理部
102g 色マッピング部
106 記憶部
106a 画像データ一時ファイル
106b 3次元ファイル
106c 加工画像ファイル
108 入出力インターフェース部
112 入力部
114 出力部DESCRIPTION OF
Claims (4)
3次元情報において、色および深度に基づいて原稿領域を判定して、当該原稿領域に対してクロップ処理を行うクロップ処理手段とを備え、
上記クロップ処理手段は、
色情報から色エッジ、および、深度情報から深度エッジを抽出するエッジ抽出手段、
を更に備え、
上記色エッジおよび上記深度エッジに基づいて上記原稿領域を判定し、
上記色エッジと上記深度エッジの対応点間の距離が閾値を超える場合は、画像中心から遠い点を優先して上記原稿領域を判定し、
上記色エッジと上記深度エッジの対応点間の距離が閾値を超えない場合は、上記色エッジおよび上記深度エッジのうち、上記色エッジを優先して上記原稿領域を判定する
ことを特徴とするクロッピング装置。 3D information acquisition means for acquiring 3D information of a document;
In the three-dimensional information, to determine the document area based on color and depth, and a crop processing means for performing cropping process on the document area,
The crop processing means is:
Edge extraction means for extracting color edges from color information and depth edges from depth information;
Further comprising
Determining the document area based on the color edge and the depth edge;
When the distance between the corresponding points of the color edge and the depth edge exceeds the threshold, the document area is determined by giving priority to a point far from the image center,
When the distance between corresponding points of the color edge and the depth edge does not exceed a threshold value, the document area is determined by giving priority to the color edge out of the color edge and the depth edge.
Cropping and wherein a call.
上記クロップ処理手段は、
原稿が綴じられた媒体であるときは、綴じ方向の走査により得られた深度エッジを優先して上記原稿領域を判定することを特徴とするクロッピング装置。 The cropping device according to claim 1 ,
The crop processing means is:
A cropping apparatus, wherein when the original is a bound medium, the original area is determined by giving priority to a depth edge obtained by scanning in the binding direction.
3次元情報において、色情報から色エッジ、および、深度情報から深度エッジを抽出するエッジ抽出ステップと、
上記色エッジと上記深度エッジの対応点間の距離が閾値を超える場合は、画像中心から遠い点を優先して原稿領域を判定し、上記色エッジと上記深度エッジの対応点間の距離が閾値を超えない場合は、上記色エッジおよび上記深度エッジのうち、上記色エッジを優先して上記原稿領域を判定してクロップ処理を行うクロップ処理ステップと、
を含むことを特徴とするクロッピング方法。 A three-dimensional information acquisition step for acquiring three-dimensional information of the document;
In three-dimensional information, an edge extraction step of extracting a color edge from color information and a depth edge from depth information;
If the distance between the corresponding points of the color edge and the depth edge exceeds the threshold, the document area is determined with priority given to a point far from the image center, and the distance between the corresponding points of the color edge and the depth edge is the threshold. A crop processing step of performing the crop processing by determining the document area with priority on the color edge out of the color edge and the depth edge ;
A cropping method comprising:
3次元情報において、色情報から色エッジ、および、深度情報から深度エッジを抽出するエッジ抽出ステップと、
上記色エッジと上記深度エッジの対応点間の距離が閾値を超える場合は、画像中心から遠い点を優先して原稿領域を判定し、上記色エッジと上記深度エッジの対応点間の距離が閾値を超えない場合は、上記色エッジおよび上記深度エッジのうち、上記色エッジを優先して上記原稿領域を判定してクロップ処理を行うクロップ処理ステップと、
をコンピュータに実行させるためのプログラム。 A three-dimensional information acquisition step for acquiring three-dimensional information of the document;
In three-dimensional information, an edge extraction step of extracting a color edge from color information and a depth edge from depth information;
If the distance between the corresponding points of the color edge and the depth edge exceeds the threshold, the document area is determined with priority given to a point far from the image center, and the distance between the corresponding points of the color edge and the depth edge is the threshold. A crop processing step of performing the crop processing by determining the document area with priority on the color edge out of the color edge and the depth edge ;
A program that causes a computer to execute.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/057914 WO2015141011A1 (en) | 2014-03-20 | 2014-03-20 | Cropping apparatus, cropping method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015141011A1 JPWO2015141011A1 (en) | 2017-04-06 |
JP6194408B2 true JP6194408B2 (en) | 2017-09-06 |
Family
ID=54144011
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016508436A Active JP6194408B2 (en) | 2014-03-20 | 2014-03-20 | Cropping apparatus, cropping method, and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6194408B2 (en) |
WO (1) | WO2015141011A1 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09284491A (en) * | 1996-04-17 | 1997-10-31 | Minolta Co Ltd | Image reader |
JPH1013608A (en) * | 1996-06-26 | 1998-01-16 | Minolta Co Ltd | Image reader |
JP2000078351A (en) * | 1998-08-28 | 2000-03-14 | Minolta Co Ltd | Image reader |
-
2014
- 2014-03-20 JP JP2016508436A patent/JP6194408B2/en active Active
- 2014-03-20 WO PCT/JP2014/057914 patent/WO2015141011A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2015141011A1 (en) | 2015-09-24 |
JPWO2015141011A1 (en) | 2017-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111126125B (en) | Method, device, equipment and readable storage medium for extracting target text in certificate | |
JP4358193B2 (en) | Automatic image cropping method | |
JP3580670B2 (en) | Method for associating input image with reference image, apparatus therefor, and storage medium storing program for implementing the method | |
KR102403964B1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2021192064A (en) | Three-dimensional measuring system and three-dimensional measuring method | |
US20150317784A1 (en) | Image processing apparatus, information processing method, and program | |
US7463772B1 (en) | De-warping of scanned images | |
KR20150037374A (en) | Method, apparatus and computer-readable recording medium for converting document image captured by camera to the scanned document image | |
WO2018185807A1 (en) | Distance information processing device, distance information processing method, and distance information processing program | |
JP6052997B2 (en) | Overhead scanner device, image acquisition method, and program | |
Brown et al. | Restoring 2D content from distorted documents | |
CN110557515A (en) | Image processing apparatus, image processing method, and storage medium | |
CN112424565B (en) | Vehicle-mounted environment recognition device | |
JP2016001864A (en) | Image reading device, image reading method, and program | |
TWI716874B (en) | Image processing apparatus, image processing method, and image processing program | |
JP6194407B2 (en) | Document distortion correction apparatus, document distortion correction method, and program | |
JP6120989B2 (en) | Overhead image reading apparatus, image processing method, and program | |
CN114981845A (en) | Image scanning method and device, equipment and storage medium | |
JP6194408B2 (en) | Cropping apparatus, cropping method, and program | |
JP2003185434A (en) | Photogrammetric system and method and recording medium storing photogrammetric program | |
TW201407535A (en) | Deriving multidimensional histogram from multiple parallel-processed one-dimensional histograms to find histogram characteristics exactly with O(1) complexity for noise reduction and artistic effects in video | |
JP6181779B2 (en) | Overhead scanner device, image acquisition method, and program | |
US9811877B2 (en) | Image processing device selecting arrangement method for generating arranged image data | |
JP6216842B1 (en) | Image processing apparatus, image processing method, program, and system | |
JP6181778B2 (en) | Overhead image reading apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170814 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6194408 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |