JP6749519B1 - 多角形検出装置、多角形検出方法、及び多角形検出プログラム - Google Patents

多角形検出装置、多角形検出方法、及び多角形検出プログラム Download PDF

Info

Publication number
JP6749519B1
JP6749519B1 JP2020508415A JP2020508415A JP6749519B1 JP 6749519 B1 JP6749519 B1 JP 6749519B1 JP 2020508415 A JP2020508415 A JP 2020508415A JP 2020508415 A JP2020508415 A JP 2020508415A JP 6749519 B1 JP6749519 B1 JP 6749519B1
Authority
JP
Japan
Prior art keywords
polygon
line segment
forming
image
ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020508415A
Other languages
English (en)
Other versions
JPWO2020208742A1 (ja
Inventor
永男 蔡
永男 蔡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Application granted granted Critical
Publication of JP6749519B1 publication Critical patent/JP6749519B1/ja
Publication of JPWO2020208742A1 publication Critical patent/JPWO2020208742A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image
    • G06V30/1801Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G06V30/18019Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image
    • G06V30/1801Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G06V30/18076Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image
    • G06V30/184Extraction of features or characteristics of the image by analysing segments intersecting the pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/19007Matching; Proximity measures
    • G06V30/19013Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V30/1902Shifting or otherwise transforming the patterns to accommodate for positional errors
    • G06V30/19027Matching of contours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

画像から基準の多角形に近い多角形を精度良く検出する多角形検出装置、多角形検出方法、及び多角形検出プログラムを提供することを目的とする。多角形検出装置は、所定対象の外観に含まれる基準多角形の辺の長さの比を取得する。多角形検出装置は、所定対象の写真画像を取得する。多角形検出装置は、取得された写真画像から線分を検出する。多角形検出装置は、検出された線分を基に少なくとも一の多角形を形成する。多角形検出装置は、形成された多角形から、形成された多角形の辺の長さの比と、取得された基準多角形の辺の長さの比との類似度合いに基づいて、形成された多角形から、基準多角形に対応する多角形を特定する。

Description

本発明は、写真画像から所定の多角形を検出する方法に関する。
従来、画像から多角形等の図形を検出する技術が知られている。例えば、特許文献1には、画像中に含まれる矩形を検出する方法が開示されている。具体的に、この方法は、画像を複数の投影軸に投影し、それらの投影像から特徴点を検出し、特徴点から矩形の頂点の候補を抽出する。
特開昭62−282388号公報
ところで、所定の対象を撮影して得られた画像から、所定の対象又はその対象の所定箇所を特定したい場合がある。この場合においては、先ず、その対象又はその箇所の形状である基準の多角形に近い多角形を画像から検出することが考えられる。しかしながら、画像から特徴点を抽出する従来の方法では、似たような特徴点が画像中に存在する場合に、候補となる多角形の頂点の組み合わせが膨大となる。そのため、基準多角形に近い多角形を検出することが困難な場合がある。
本発明は、以上の点に鑑みてなされたものであり、その課題の一例は、画像から基準の多角形に近い多角形を精度良く検出する多角形検出装置、多角形検出方法、及び多角形検出プログラムを提供することにある。
上記課題を解決するために、本発明の一の態様は、 所定対象の外観に含まれる基準多角形辺の長さの比を取得する比取得手段と、前記所定対象の写真画像を取得する画像取得手段と、前記取得された写真画像から線分を検出する検出手段と、前記検出された線分を基に少なくとも一の多角形を形成する形成手段であって、前記多角形の形成に用いられる線分を含む直線同士が交差する点を頂点として有する前記多角形を形成する形成手段と、前記形成された多角形で囲まれる領域と、前記多角形の形成に用いられる線分の全てを含む多角形で囲まれる領域との重複度合いに基づいて、前記形成された多角形辺の長さの比と、前記取得された基準多角形辺の長さの比との間の類似度合いを示す値に重み付けし、該重み付けされた値に基づいて、前記形成された多角形から、前記基準多角形に対応する多角形を特定する特定手段と、を備えることを特徴とする多角形検出装置である。
この態様によれば、写真画像から検出された線分を基に形成された多角形を構成する全ての辺間における該辺の長さの比と、基準多角形を構成する全ての辺間における該辺の長さの比との類似度合いに基づいて、基準多角形に対応する多角形が特定される。形成された多角形の中で、基準の多角形に近い多角形は、基準の多角形との間で辺の長さの比の類似度合いが相対的に高い。従って、画像から基準の多角形に近い多角形を精度良く検出することができる。
また、辺の長さの比の類似度合いが重み付けされることによって、所定対象に対する撮影角度に応じて基準多角形に対応する多角形の辺の長さの比が変化しても、基準の多角形に対応する多角形の検出精度を高めることができる。
また、形成された多角形と、形成に用いられる線分の全てを含む多角形との重複度合いに基づいて、類似度合いを示す値が重み付けされる。この重複度合いが高いほど、形成された多角形が所定対象の外観において実存する蓋然性が高い。従って、実存する蓋然性が高い多角形の重みを大きくすることができる。
本発明の別の態様は、前記形成手段は、前記検出された線分のうち相対的に長い線分から、前記多角形の形成に用いる線分を特定することを特徴とする多角形検出装置である。
この態様によれば、写真画像内において、特定したい領域が或る程度以上大きく写っている場合に、基準の多角形に対応する多角形を構成する蓋然性が高い線分を用いて、多角形を形成することができる。
本発明の更に別の態様は、前記検出手段は、前記検出された線分のうち少なくとも幾つかの線分を、前記基準多角形を構成する辺間の関係に基づいて定められた複数のグループに分け、前記形成手段は、前記複数のグループのそれぞれから前記多角形の形成に用いられる線分を特定することを特徴とする多角形検出装置である。
この態様によれば、基準多角形を構成する辺間の関係に基づいて定められた複数のグループそれぞれに含まれる線分を用いて多角形が形成される。従って、基準多角形を構成する辺に対応する線分を用いて多角形を形成することができる。また、多角形の形成に用いられる線分の組み合わせの数を削減することができるので、対応する多角形の検出速度を向上させることができる。
本発明の更に別の態様は、前記検出手段は、前記検出された線分のうち少なくとも幾つかの線分を、該線分の角度に基づいて複数のグループに分け、前記形成手段は、前記複数のグループのそれぞれから前記多角形の形成に用いられる線分を特定することを特徴とする多角形検出装置である。
この態様によれば、基準多角形を構成する辺間の角度に基づいて複数のグループを定めることができる。従って、基準多角形を構成する辺に対応する線分を用いて多角形を形成することができる。
本発明の更に別の態様は、前記基準多角形及び前記形成される多角形は四角形であり、前記検出手段は、前記少なくとも幾つかの線分を、前記少なくとも幾つかの線分のうち所定線分との間の角度が所定値よりも大きい線分のグループと、前記所定線分との間の角度が前記所定値以下である線分のグループとに分けることを特徴とする多角形検出装置である。
この態様によれば、2個のグループそれぞれは、他方のグループの線分と比較して相対的に角度が近い線分を含む。四角形は2組の対辺を有し、各組の対辺の角度は、他方の組の対辺の角度と比較して相対的に近い。従って、適切な四角形を形成することができる。
本発明の更に別の態様は、前記特定手段は、前記形成された多角形のうち、該多角形の構成要素が所定条件を満たす多角形から、前記対応する多角形を特定することを特徴とする多角形検出装置である。
本発明の更に別の態様は、前記所定条件は、前記多角形の全頂点が前記写真画像内に位置することを特徴とする多角形検出装置である。
この態様によれば、多角形の辺で囲まれる領域の全部が写真画像に含まれる多角形から、基準の多角形に対応する多角形が特定される。所定対象において基準の多角形の辺で囲まれる領域の全体が撮影範囲に含まれるように所定対象が撮影された場合、基準の多角形に対応する多角形の検出精度を高めることができる。
本発明の更に別の態様は、前記所定条件は、前記多角形を構成する各辺のそれぞれの少なくとも一部が、該多角形の形成に用いられた線分のうち何れかの線分の少なくとも一部と重複することを特徴とする多角形検出装置である。
この態様によれば、多角形の形成に用いられた各線分が、その多角形の何れかの辺の少なくとも一部を構成する多角形から、基準の多角形に対応する多角形が特定される。従って、所定対象の外観において実存する多角形に対応する蓋然性が高い多角形を、基準の多角形に対応する多角形として特定することができる。
本発明の更に別の態様は、前記形成手段は、前記多角形の形成に用いられる線分を含む直線同士が交差する点を頂点として有する前記多角形を形成し、前記特定手段は、前記形成された多角形の辺と、前記多角形の形成に用いられる線分との重複度合いに基づいて、前記値を重み付けすることを特徴とする多角形検出装置である。
この態様によれば、形成された多角形の辺と、多角形の形成に用いられる線分との重複度合いに基づいて、類似度合いを示す値が重み付けされる。この重複度合いが高いほど、形成された多角形を構成する辺が所定対象の外観において実存する蓋然性が高い。従って、実存する蓋然性が辺で構成される多角形の重みを大きくすることができる。
本発明の更に別の態様は、前記写真画像内において、前記特定された多角形の辺で囲まれる領域の画像に対して所定処理を実行する処理手段を更に備えることを特徴とする多角形検出装置である。
この態様によれば、所定対象において特定したい領域の画像に対して処理を施すことができる。
本発明の更に別の態様は、前記処理手段は、前記特定された多角形の辺で囲まれる領域の画像を、該領域の形状が前記基準多角形と相似するように変換することを特徴とする多角形検出装置である。
この態様によれば、所定対象において特定したい領域の画像の形状を、その領域の本来の形状に戻すことができる。
本発明の更に別の態様は、前記処理手段は、前記特定された多角形の辺で囲まれる領域の画像から、所定種類の情報を認識することを特徴とする多角形検出装置である。
この態様によれば、所定対象において特定したい領域内の情報を、写真画像から認識することができる。
本発明の更に別の態様は、前記所定種類の情報は文字であることを特徴とする多角形検出装置である。
この態様によれば、所定対象において特定したい領域内の文字を、写真画像から認識することができる。
本発明の更に別の態様は、コンピュータにより実行される多角形検出方法において、所定対象の外観に含まれる基準多角形辺の長さの比を取得する比取得ステップと、前記所定対象の写真画像を取得する画像取得ステップと、前記取得された写真画像から線分を検出する検出ステップと、前記検出された線分を基に少なくとも一の多角形を形成する形成ステップであって、前記多角形の形成に用いられる線分を含む直線同士が交差する点を頂点として有する前記多角形を形成する形成ステップと、前記形成された多角形で囲まれる領域と、前記多角形の形成に用いられる線分の全てを含む多角形で囲まれる領域との重複度合いに基づいて、前記形成された多角形辺の長さの比と、前記取得された基準多角形辺の長さの比との間の類似度合いを示す値に重み付けし、該重み付けされた値に基づいて、前記形成された多角形から、前記基準多角形に対応する多角形を特定する特定ステップと、を含むことを特徴とする。
本発明の更に別の態様は、前記画像取得ステップは、前記写真画像をメモリにロードし、前記検出ステップは、前記メモリにロードされた前記写真画像から線分を検出することを特徴とする多角形検出方法である。
本発明の更に別の態様は、コンピュータを、所定対象の外観に含まれる基準多角形辺の長さの比を取得する比取得手段と、前記所定対象の写真画像を取得する画像取得手段と、前記取得された写真画像から線分を検出する検出手段と、前記検出された線分を基に少なくとも一の多角形を形成する形成手段であって、前記多角形の形成に用いられる線分を含む直線同士が交差する点を頂点として有する前記多角形を形成する形成手段と、前記形成された多角形で囲まれる領域と、前記多角形の形成に用いられる線分の全てを含む多角形で囲まれる領域との重複度合いに基づいて、前記形成された多角形辺の長さの比と、前記取得された基準多角形辺の長さの比との間の類似度合いを示す値に重み付けし、該重み付けされた値に基づいて、前記形成された多角形から、前記基準多角形に対応する多角形を特定する特定手段と、として機能させることを特徴とする多角形検出プログラムである。
本発明によれば、画像から基準の多角形に近い多角形を精度良く検出することができる。
一実施形態に係る多角形検出装置1の概要構成の一例を示すブロック図である。 一実施形態に係る多角形検出装置1のシステム制御部11の機能ブロックの一例を示す図である。 運転免許証200の裏面及び備考欄210の一例を示す図である。 写真画像の一例を示す図である。 図4に示す写真画像から検出された線分の例を示す図である。 図5Aに示す線分のうち、相対的に長い線分の例を示す図である。 線分のグループ分けの例を示す図である。 線分の組み合わせの例を示す図である。 形成された仮定多角形の例を示す図である。 仮定多角形の頂点の判定例を示す図である。 仮定多角形の辺の判定例を示す図である。 仮定多角形の辺の長さの比の特定例を示す図である。 仮定多角形と全線分包含多角形との重複度合いの例を示す図である。 辺と線分との重複度合いの例を示す図である。 辺と線分との重複度合いの例を示す図である。 対応多角形の辺で囲まれる領域の画像の処理例を示す図である。 多角形検出装置1のシステム制御部11による多角形検出処理の一例を示すフローチャートである。 一実施例に係るシステムSの概要構成の一例を示す図である。
以下、図面を参照して本発明の実施形態について詳細に説明する。以下に説明する実施形態においては、所定対象が写る写真画像から、所定対象の外観に含まれる基準多角形に形状が近い又は対応する多角形を検出する多角形検出装置に対して本発明を適用した場合の実施形態である。
所定対象は、視覚を通じて認識可能な物体等である。所定対象の種類は特に限定されるものではない。所定対象の例として、各種カード、紙、モニタ等の電化製品、携帯電話機等の端末装置等、様々なものが挙げられる。
所定対象の外観に含まれる基準多角形は、例えば、所定対象から視覚を通じて認識可能な形状であって、所定対象において、写真画像から特定したい領域の本来の形状である。特に凸多角形に対して効果が高い。特定したい領域の種類は特に限定されるものではない。また、基準多角形を構成する辺の数は特に限定されるものではない。基準多角形は、例えば、所定対象自体の形状であってもよいし、所定対象の一面の形状であってもよいし、所定対象の一面内の一部の領域の形状であってもよい。一部の領域の外枠は、例えば面上に印刷され、刻まれ、描かれ、又は記載されている。
基準多角形に形状が近い又は対応する多角形を、対応多角形という。対応多角形は、本来は基準多角形である、写真画像から特定したい領域の画像上での形状である。所定対象を撮影することにより得られた写真画像には、基準多角形が対応多角形として含まれる。所定対象に対する撮影角度によって、写真画像内の対応多角形は、本来の基準多角形の形状から或る程度相違する場合がある。従って、対応多角形は基準多角形と相似したり相似しなかったりする。
本実施形態においては、カード型の身分証明書上の特定領域の外枠を基準多角形とした場合について主として説明する。
[1.多角形検出装置の構成]
先ず、多角形検出装置1の構成について、図1を用いて説明する。図1は、本実施形態に係る多角形検出装置1の概要構成の一例を示すブロック図である。図1に示すように、多角形検出装置1は、システム制御部11と、システムバス12と、入出力インターフェース13と、記憶部14と、通信部15と、入力部16と、表示部17とを備えている。システム制御部11と入出力インターフェース13とは、システムバス12を介して接続されている。多角形検出装置1は、例えばサーバ装置であってもよいし、パーソナルコンピュータであってもよい。
システム制御部11は、CPU(Central Processing Unit)11a、ROM(Read Only Memory)11b、RAM(Random Access Memory)11c等により構成されている。
入出力インターフェース13は、記憶部14〜表示部17とシステム制御部11との間のインターフェース処理を行う。
記憶部14は、例えば、ハードディスクドライブ又はソリッドステートドライブ等により構成されている記憶部14には、例えば、所定対象や基準多角形に関する情報が記憶されている。この情報の例として、所定対象の画像がある。この画像は、基準多角形として、特定したい領域の形状を正確に把握することが可能な画像(例えばスキャナーによって得られた画像)である。また、記憶される情報の例として、基準多角形を構成する辺の長さの比等が挙げられる。記憶部14には、更にオペレーティングシステム、多角形検出用のプログラム等が記憶されている。各種プログラムは、例えば、所定のコンピュータからネットワークを介して取得されるようにしてもよいし、光ディスク、メモリカード、磁気テープ等の記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。
通信部15は、例えばネットワークインターフェースコントローラ等により構成されている。通信部15は、インターネット、LAN(Local Area Network)等の所定のネットワークを介して他のコンピュータと接続し、そのコンピュータとの通信状態を制御する。
入力部16は、オペレータによる操作を受け付け、操作内容に対応する信号をシステム制御部11に出力する。入力部16の例として、キーボード、マウス、タッチパネル等が挙げられる。
表示部17は、例えば、グラフィックコントローラ及びディスプレイ等により構成されている。表示部17は、システム制御部11の制御により、画像、文字等の情報を表示する。ディスプレイのパネルの例として、液晶パネル、有機EL(Light Emitting)パネル等が挙げられる。
[2.多角形検出装置のシステム制御部の機能概要]
次に、図2乃至図14を用いて、システム制御部11の機能概要について説明する。図2は、本実施形態に係る多角形検出装置1のシステム制御部11の機能ブロックの一例を示す図である。システム制御部11は、CPU11aが、記憶部14に記憶されているプログラムに含まれる各種コード等を読み出し実行することにより、図2に示すように、基準比率取得部111、写真画像取得部112、線分検出部113、多角形形成部114,対応多角形特定部115、画像処理部116等として機能する。
基準比率取得部111は、所定対象の外観に含まれる基準多角形の辺の長さの比を取得する。例えば、基準比率取得部111は、記憶部14に予め記憶された、辺の長さの比を示す情報を取得してもよい。或いは、オペレータが入力部16を用いて辺の長さの比を入力してもよい。或いは、基準比率取得部111は、ネットワークを介して他のコンピュータから、辺の長さの比を示す情報を取得してもよい。或いは、基準比率取得部111は、基準多角形として、特定したい領域の形状を正確に把握可能な画像を解析して、所定対象から様々な領域を特定してもよい。基準比率取得部111は、特定された領域のうち、オペレータにより指定された領域の外枠を基準多角形として決定してもよい。基準比率取得部111は、決定した基準多角形から、自動的に辺の長さの比を計算してもよい。
図3は、運転免許証200の裏面及び備考欄210の一例を示す図である。運転免許証200は、所定対象の一例である。運転免許証200の裏面において、備考欄210の形状が基準多角形である。この基準多角形は矩形である。基準比率取得部111は、備考欄210の形状である基準多角形について、例えば長辺の長さRL1と、短辺の長さRL2と、長辺の長さRL3と、及び短辺の長さRL4との比を取得する。
写真画像取得部112は、所定対象の写真画像を取得する。この写真画像には、検出したい対応多角形が含まれているものと推定される。写真画像取得部112は、例えばネットワークを介して他のコンピュータから写真画像を取得してもよい。或いは、多角形検出装置1はデジタルカメラを備え、写真画像取得部112は、このデジタルカメラから写真画像を取得してもよい。或いは、写真画像取得部112は、ドライブ装置を介して記録媒体から写真画像を取得してもよい。写真画像取得部112は、取得した写真画像を、RAM11c等のメモリにロードする。
図4は、写真画像の一例を示す図である。図4に示す写真画像は、例えば或るユーザの運転免許証200を撮影して得られた画像である。この写真画像において、所定対象である運転免許証200は、撮影ポイントから見て奥行き方向に傾いている。そのため、写真内における備考欄210の形状は、図3に示す備考欄210の形状とは厳密には相似しない。また、備考欄210には、ユーザの新しい住所が記されている。
線分検出部113は、写真画像取得部112により取得された写真画像から線分を検出する。例えば、線分検出部113は、エッジ検出を用いて線分を検出してもよい。図5Aは、図4に示す写真画像から検出された線分の例を示す図である。写真画像において、所定対象が大きく写っている場合も小さく写っている場合もある。そこで、線分検出部113は、太さに関係なく線分を検出する。それゆえ、写真画像から人間の視覚では厚みがあると認識される線分について、写真画像取得部112は二重線を検出する場合がある。また、人間の視覚では一本に見える線分について、写真画像取得部112は連なった複数の線分を検出する場合がある。これらの程度の検出誤差は特に問題はない。
線分検出部113は、検出された線分のうち相対的に長い線分のみを、多角形の形成に用いられる線分の候補に決定してもよい。例えば、特定したい領域がはっきり見えるように所定対象が撮影した場合、写真画像内において、特定したい領域が或る程度以上大きく写る。従って、その領域の外枠は、写真画像内で相対的に長い線分で構成されている蓋然性が高い。また、文字を構成する線や細かい模様を構成する線を、多角形の形成に用いられる線分から除外することができる。相対的に短い線分を除外することによって、対応多角形の検出精度を高めることができる。また、多角形の形成元の候補の線分を削減することができるので、処理速度を向上させることができる。線分検出部113は、例えば、検出された線分のうち最長の線分を特定してもよい。そして、線分検出部113は、最長の線分の長さの所定割合未満の長さを有する線分を、多角形の形成に用いられる線分から除外してもよい。図5Bは、図5Aに示す線分のうち、相対的に長い線分の例を示す図である。
線分検出部113は、検出された線分のうち少なくとも幾つかの線分を、基準多角形を構成する辺間の関係に基づいて定められた複数のグループに分けてもよい。基準多角形を構成する各辺が、複数のグループのうち何れかのグループに分類されるように、複数のグループが定められる。基準多角形を構成する辺間の関係は、例えば辺間でなす角度であってもよい。そこで、線分検出部113は、検出された線分の角度に基づいて、検出された線分のうち少なくとも幾つかの線分を複数のグループに分けてもよい。
例えば、基準多角形が四角形の場合、線分検出部113は、少なくとも幾つかの線分を、それらの線分のうち所定線分との間の角度が所定値よりも大きい線分のグループと、所定線分との間の角度が所定値以下である線分のグループとに分けてもよい。これにより、2個のグループそれぞれは、他方のグループの線分と比較して相対的に角度が近い線分を含む。四角形は2組の対辺を有し、各組の対辺の角度は、他方の組の対辺の角度と比較して相対的に近い。凸多角形はこの傾向が強い。特に矩形の場合、対辺の角度は同一であり、頂点で接続される辺間の角度は90度である。そのため、角度と所定値との比較を用いることで、線分を適切に分類することができる。所定線分は、例えば最長の線分であってもよい。所定値は、例えば45度であってもよい。図6は、線分のグループ分けの例を示す図である。図6において、グループ310は、図5Aに示す線分のうち最長の線分との間でなす角度が45度未満である線分のグループである。グループ320は、最長の線分との間でなす角度が45度以上である線分のグループである。少なくとも幾つかの線分は、例えば、前述したように、検出された線分のうち相対的に長い線分である。
多角形形成部114は、線分検出部113により検出された線分を基に少なくとも一の多角形を形成する。形成される多角形を、仮定多角形という。例えば、多角形形成部114は、検出された線分の中から、基準多角形の辺の数に相当する数の線分を特定して、特定された線分で構成される組み合わせを生成する。生成される組み合わせの数は特に限定されない。多角形形成部114は、例えばランダムに線分を特定して、所定数の組み合わせを生成してもよい。多角形形成部114は、線分検出部113により検出された線分のうち、相対的に長い線分から、仮定多角形の形成に用いられる線分を特定してもよい。
線分検出部113により線分が複数のグループに分けられた場合、多角形形成部114は、それら複数のグループのそれぞれから仮定多角形の形成に用いられる線分を特定してもよい。これにより、基準多角形を構成する辺に対応する線分を用いて仮定多角形を形成することができる。また、複数のグループからそれぞれ線分を選択して多角形を形成することで、多角形の形成に用いられる線分の組み合わせの数が削減されるので、仮定多角形形成の処理速度を向上させることができる。例えば、基準多角形が四角形の場合、前述したように線分は2個のグループに分けられる。線分検出部113は、各グループから2個の線分を特定し、4個の線分で構成される組み合わせを生成する。図7は、線分の組み合わせの例を示す図である。例えば、図7に示すように、線分の組み合わせ410、420、430等が生成される。
組み合わせを生成すると、多角形形成部114は、組み合わせから仮定多角形を生成する。例えば、多角形形成部114は、組み合わせを構成する各線分を包含する直線を計算する。多角形形成部114は、互いに異なるグループから特定された線分を包含する直線同士の交点の座標を、仮定多角形の頂点の座標として計算する。図8は、形成された仮定多角形の例を示す図である。例えば、線分の組み合わせ410、420及び430のそれぞれから、仮定多角形411、421及び431が形成される。
多角形形成部114は、形成された仮定多角形のうち、その仮定多角形の構成要素が所定条件を満たす仮定多角形のみを、対応多角形の候補として決定してもよい。構成要素は、例えば頂点又は辺である。
例えば、所定条件は、仮定多角形の全頂点が写真画像内に位置することであってもよい。すなわち、特定したい領域の全体が写真画像内にあることが条件である。特定したい領域全体が写るように所定対象が撮影された場合、写真画像はその領域全体を含む。そのため、この条件を用いることで、特定したい領域の形状ではない多角形を除外することができる。図9は、仮定多角形の頂点の判定例を示す図である。図9に示すように、仮定多角形411及び421それぞれの全頂点は写真画像内に位置する。仮定多角形431の頂点430は、写真画像外に位置する。従って、仮定多角形431は、対応多角形の候補から除外される。
また例えば、所定条件は、仮定多角形を構成する各辺のそれぞれの少なくとも一部が、仮定多角形の形成に用いられた線分のうち何れかの線分の少なくとも一部と重複することであってもよい。何れの線分とも重複しない辺は、所定対象の外観において実存しない蓋然性がある。この条件を用いることで、実存しない辺で構成される仮定多角形を除外することができる。図10は、仮定多角形の辺の判定例を示す図である。図10に示すように、仮定多角形411及び421それぞれの各辺は、仮定多角形の形成に用いられた線分の何れかと重複する。仮定多角形441は、線分の組み合わせ440を用いて形成される。仮定多角形441において、辺442及び443は、組み合わせ440の何れの線分とも重複しない。従って、仮定多角形441は、対応多角形の候補から除外される。
多角形形成部114は、上述した2個の条件全てを用いてもよいし、何れか一方の条件のみを用いてもよい。
対応多角形特定部115は、仮定多角形の辺の長さの比と、基準比率取得部111により取得された基準多角形の辺の長さの比との類似度合いに基づいて、多角形形成部114により形成された仮定多角形から、基準多角形に対応する対応多角形を特定する。形成された仮定多角形の中で、基準多角形に近い仮定多角形は、基準多角形との間で辺の長さの比が一致するか又は辺の長さの比の類似度合いが相対的に高い蓋然性がある。対応多角形特定部115は、仮定多角形の各頂点の座標に基づいて各辺の長さを計算して、仮定多角形の辺の長さの比を計算する。図11は、仮定多角形の辺の長さの比の特定例を示す図である。例えば、仮定多角形411、421等のそれぞれについて、長辺の長さL1と、短辺の長さL2と、長辺の長さL3と短辺の長さL4との比を計算する。対応多角形特定部115は、各仮定多角形について、L1:L2:L3:L4とRL1:RL2:RL3:RL4とを比較する。
対応多角形特定部115は、仮定多角形の辺の長さの比と基準多角形の辺の長さの比との類似度合いを示すスコア等の値を計算してもよい。例えば、対応多角形特定部115は、辺の長さの比をベクトルとみなし、スコアとしてコサイン類似度等を計算してもよい。対応多角形特定部115は、このスコアを用いて、仮定多角形の中で類似度合いが最も高い仮定多角形を、対応多角形として特定してもよい。すなわち、対応多角形は、基準多角形との間で辺の長さの比が一致又は類似する。対応多角形特定部115は、類似度合いが最も高い仮定多角形について、その類似度合いが所定値未満である場合、対応多角形を特定しなくてもよい。対応多角形特定部115は、前述したように、構成要素が所定条件を満たす仮定多角形から対応多角形を特定してもよい。
対応多角形特定部115は、類似度合いを示すスコアに重み付けし、重み付けされたスコアに基づいて、対応多角形を特定してもよい。所定対象に対する撮影角度等によって、写真内の多角形の辺の長さの比は変化する。従って、所定対象の外観において実存しない多角形等、基準多角形に本来対応しない仮定多角形の辺の長さの比が、基準多角形の辺の長さの比と類似する場合がある。このような状況で、対応多角形の検出精度を高めるために重み付けが行われる。
例えば、対応多角形特定部115は、形成された仮定多角形と、その仮定多角形の形成に用いられる線分の全てを含む多角形との重複度合いに基づいて、類似度合いを示すスコアを重み付けしてもよい。仮定多角形の形成に用いられる線分の全てを含む多角形を、全線分包含多角形という。全線分包含多角形は、例えば、仮定多角形の形成に用いられた各線分全体が、その全線分包含多角形の何れかの辺の一部又は全体であるか、或いはその線分が全線分包含多角形内に位置する多角形である。これに加えて、全線分包含多角形は、例えば、その全線分包含多角形の各頂点が、仮定多角形の形成に用いられた線分の何れかの端点又は仮定多角形の何れかの頂点と一致する。仮定多角形と全線分包含多角形との重複度合いが高いほど、その仮定多角形が所定対象の外観において実存する蓋然性が高い。
多角形の重複度合いに応じた重み付けに用いられるウェイトを、ROW(Region Overlap Weight)という。対応多角形特定部115は、例えば、仮定多角形と全線分包含多角形とが重複する領域の面積と、仮定多角形及び全線分包含多角形の少なくとも何れか一方の辺で囲まれる領域の面積との比を、ROWとして計算してもよい。すなわち、仮定多角形と全線分包含多角形との共通部分と、仮定多角形と全線分包含多角形との論理和との比が計算される。対応多角形特定部115は、仮定多角形と全線分包含多角形との重複度合いが高いほど、類似度合いが高くなるように、スコアを重み付けしてもよい。
図12は、仮定多角形と全線分包含多角形との重複度合いの例を示す図である。図12に示すように、線分の組み合わせ410について、全線分包含多角形412が形成される。仮定多角形411と全線分包含多角形412とが重複する領域の面積は、仮定多角形411及び全線分包含多角形412の少なくとも何れか一方の辺で囲まれる領域の面積の約半分である。一方、線分420の組み合わせについて形成された全線分包含多角形422は、仮定多角形421と略一致する。
また例えば、対応多角形特定部115は、形成された仮定多角形の辺と、その仮定多角形の形成に用いられる線分との重複度合いに基づいて、類似度合いを示すスコアを重み付けしてもよい。辺と線分との重複度合いが高いほど、形成された仮定多角形を構成する辺が所定対象の外観において実存する蓋然性が高い。
辺と線分の重複度合いに応じた重み付けに用いられるウェイトを、LOW(Line Overlap Weight)という。対応多角形特定部115は、例えば、仮定多角形を構成する全ての辺のうち、何れかの線分と重複する線の長さを、重複長さとして計算する。また、対応多角形特定部115は、仮定多角形を構成する全ての辺の長さと、仮定多角形の形成に用いられる全線分のうち、仮定多角形を構成する何れの辺とも重複しない線の長さとの合計を計算してもよい。対応多角形特定部115は、重複長さと合計長さとの比を、LOWとして計算してもよい。すなわち、辺と線分との共通部分と、辺と線分との論理和との比が計算される。対応多角形特定部115は、辺と線分との重複度合いが高いほど類似度合いが高くなるように、スコアを重み付けしてもよい。
図13及び図14は、辺と線分との重複度合いの例を示す図である。図13に示すように、線分の組み合わせ410について、仮定多角形411の辺と組み合わせ410を構成する線分との共通部分511が特定される。また、仮定多角形411の辺と組み合わせ410を構成する線分との論理和512が特定される。図14に示すように、線分の組み合わせ420について、仮定多角形421の辺と組み合わせ420を構成する線分との共通部分521が特定される。また、仮定多角形421の辺と組み合わせ420を構成する線分との論理和522が特定される。図13及び図14に示すように、仮定多角形411を構成する線分と組み合わせ410を構成する線分との重複度合いは、仮定多角形421を構成する線分と組み合わせ420を構成する線分との重複度合いよりも低い。
対応多角形特定部115は、ROW及びLOWの両方を重み付けに用いてもよいし、何れか一方を重み付けに用いてもよい。図12〜図14に示す例では、仮定多角形411及び421のうち、仮定多角形421が対応多角形として特定される蓋然性が高い。
画像処理部116は、写真画像取得部112により取得された写真画像において、対応多角形特定部115により特定された対応多角形の辺で囲まれる領域の画像に対して所定処理を実行する。
例えば、画像処理部116は、対応多角形の辺で囲まれる領域の画像を、その画像の形状が基準多角形と相似するように変換してもよい。対応多角形の辺で囲まれる領域の画像の写真画像内での形状は対応多角形である。前述したように、所定対象に対する撮影角度等によっては、対応多角形は基準画像と相似するとは限らない。この変換により、対応多角形の辺で囲まれる領域の形状を本来の形状にすることができる。また、写真画像において対応多角形の辺で囲まれる領域内の情報の外観が、本来の外観となる。画像処理部116は、例えば、対応多角形の辺の長さの比、基準多角形の辺の長さの比、辺間のなす角度等に基づいて、対応多角形の辺で囲まれる領域の画像をアフィン変換する。画像処理部116は、対応多角形の辺で囲まれる領域の画像を回転させてもよい。例えば、水平線と基準多角形の所定辺とのなす角度が基準角度として予め取得される。画像処理部116は、対応多角形を構成する辺のうち、基準多角形の所定辺に対応する辺と水平線とのなす角度が、基準角度と一致するように画像を変換する。
画像処理部116は、対応多角形の辺で囲まれる領域の画像から、所定種類の情報を認識してもよい。所定種類の情報の例として、文字、記号、マーク、模様、絵等が挙げられる。情報認識には、例えば文字認識、画像認識等のパターン認識が用いられてもよい。画像処理部116は、対応多角形の辺で囲まれる領域の画像に対して上述した変換を行い、変換された画像から情報を認識してもよい。これにより、情報の認識精度を高めることができる。
画像処理部116は、変換された画像及び認識された情報の少なくとも何れか一方を出する。例えば、画像処理部116は、画像又は情報を、ネットワークを介して他のコンピュータに送信してもよいし、表示部17に表示させてもよいし、記憶部14に記憶させてもよい。
図15は、対応多角形の辺で囲まれる領域の画像の処理例を示す図である。図15に示すように、写真画像220について、多角形421が、領域210の外枠の形状として特定される。領域210の画像610は、画像620にアフィン変換される。画像620の形状は基準多角形と相似する。また、画像620の角度も調整されている。この画像620から、文字列630が認識される。なお、対応多角形の辺で囲まれる領域の画像に対する処理は、例えば多角形検出装置1以外の装置で行われてもよい。この場合、画像処理部116は不要である。
[3.多角形検出装置の動作]
次に、多角形検出装置1の動作について、図16を用いて説明する。図16は、多角形検出装置1のシステム制御部11による多角形検出処理の一例を示すフローチャートである。多角形検出用のプログラムに含まれるプログラムコードに従って、システム制御部11は多角形検出処理を実行する。
図16に示すように、基準比率取得部111は、基準多角形の辺の長さの比を取得する(ステップS1)。次いで、写真画像取得部112は、対応多角形を検出する写真画像を取得して、RAM11cにロードする(ステップS2)。
次いで、線分検出部113は、RAM11cにロードされた写真画像から線分を検出する(ステップS3)。線分検出部113は、検出された線分のうち、最長の線分を特定する(ステップS4)。線分検出部113は、検出された線分のうち、最長の線分の長さの所定割合未満である長さを有する線分を、仮定多角形の形成に用いられる線分から除外する(ステップS5)。線分検出部113は、最長の線分の長さの所定割合以上である長さを有する線分を、最長の線分との間でなす角度が所定値よりも大きい線分のグループと、所定値以下である線分のグループとに分ける(ステップS6)。
次いで、多角形形成部114は、各グループから2個の線分を選択して、4個の線分を用いて仮定多角形を形成する(ステップS7)。多角形形成部114は、例えば所定数の仮定多角形を形成する。次いで、多角形形成部114は、形成された仮定多角形のうち、少なくとも一つの頂点が写真画像外に位置する仮定多角形を、対応多角形の候補から除外する(ステップS8)。また、多角形形成部114は、形成された仮定多角形のうち、少なくとも一つのが、仮定多角形の形成に用いられた何れの線分とも重複しない仮定多角形を、対応多角形の候補から除外する(ステップS9)。
次いで、対応多角形特定部115は、対応多角形の候補として特定された各仮定多角形の辺の長さの比を計算する(ステップS10)。対応多角形特定部115は、各仮定多角形について、基準多角形との間の辺の長さの比の類似度合いを示すスコアを計算する(ステップS11)。次いで、対応多角形特定部115は、各仮定多角形について、全線分包含多角形を形成し、仮定多角形と全線分包含多角形との重複度合いを示すROWを計算する(ステップS12)。また、対応多角形特定部115は、各仮定多角形について、仮定多角形の辺と、仮定多角形の形成に用いられた線分との重複度合いを示すLOWを計算する(ステップS13)。対応多角形特定部115は、ROW及びLOWを用いて、各仮定多角形のスコアを重み付けする(ステップS14)。対応多角形特定部115は、仮定多角形のうち、重み付けされたスコアにより示される類似度合いが最も高い仮定多角形を、対応多角形として特定する(ステップS15)。
次いで、画像処理部116は、取得された写真画像について、対応多角形の辺で囲まれる領域の画像を、その画像の形状が基準多角形と相似するように変換するとともに、その画像を回転変換させる(ステップS16)。画像処理部116は、変換された画像から情報を認識して、認識された情報を出力する(ステップS17)。この処理を終えると、システム制御部11は、多角形検出処理を終了させる。
以上説明したように、本実施形態によれば、システム制御部11が、所定対象の外観に含まれる基準多角形の辺の長さの比を取得する。また、システム制御部11が、所定対象の写真画像を取得する。また、システム制御部11が、取得された写真画像から線分を検出する。また、システム制御部11が、検出された線分を基に少なくとも一の仮定多角形を形成する。また、システム制御部11が、仮定多角形の辺の長さの比と、基準多角形の辺の長さの比との類似度合いに基づいて、仮定多角形から、基準多角形に対応する多角形を特定する。従って、画像から基準多角形に近い多角形を精度良く検出することができる。
また、システム制御部11が、検出された線分のうち相対的に長い線分から、仮定多角形の形成に用いる線分を特定してもよい。この場合、写真画像内において、特定したい領域が或る程度以上大きく写っている場合に、基準多角形に対応する仮定多角形を構成する蓋然性が高い線分を用いて、仮定多角形を形成することができる。
また、システム制御部11が、検出された線分のうち少なくとも幾つかの線分を、基準多角形を構成する辺間の関係に基づいて定められた複数のグループに分けてもよい。また、システム制御部11が、複数のグループのそれぞれから仮定多角形の形成に用いられる線分を特定してもよい。この場合、基準多角形を構成する辺に対応する線分を用いて仮定多角形を形成することができる。また、仮定多角形の形成に用いられる線分の組み合わせの数を削減することができるので、対応多角形の検出速度を向上させることができる。
また、システム制御部11が、検出された線分のうち少なくとも幾つかの線分を、その線分の角度に基づいて複数のグループに分けてもよい。この場合、基準多角形を構成する辺間の角度に基づいて複数のグループを定めることができる。従って、基準多角形を構成する辺に対応する線分を用いて仮定多角形を形成することができる。
また、基準多角形及び形成される仮定多角形は四角形であってもよい。また、システム制御部11が、少なくとも幾つかの線分を、所定線分との間の角度が所定値よりも大きい線分のグループと、所定線分との間の角度が所定値以下である線分のグループとに分けてもよい。この場合、適切な四角形を形成することができる。
また、システム制御部11が、形成された仮定多角形のうち、その仮定多角形の構成要素が所定条件を満たす仮定多角形から、対応多角形を特定してもよい。ここで、所定条件は、仮定多角形の全頂点が写真画像内に位置することであってもよい。この場合、所定対象において基準多角形の辺で囲まれる領域の全体が撮影範囲に含まれるように所定対象が撮影された場合、基準多角形に対応する多角形の検出精度を高めることができる。
また、所定条件は、仮定多角形を構成する各辺のそれぞれの少なくとも一部が、その仮定多角形の形成に用いられた線分のうち何れかの線分の少なくとも一部と重複することであってもよい。この場合、所定対象の外観において実存する多角形に対応する蓋然性が高い仮定多角形を、基準多角形に対応する多角形として特定することができる。
また、システム制御部11が、準多角形の辺の長さの比と、形成された仮定多角形の辺の長さの比との間の類似度合いを示す値に重み付けし、重み付けされた値に基づいて、対応多角形を特定してもよい。この場合、辺の長さの比の類似度合いが重み付けされることによって、所定対象に対する撮影角度に応じて基準多角形に対応する多角形の辺の長さの比が変化しても、基準多角形に対応する多角形の検出精度を高めることができる。
ここで、システム制御部11が、仮定多角形の形成に用いられる線分を含む直線同士が交差する点を頂点として有する仮定多角形を形成してもよい。また、システム制御部11が、形成された仮定多角形と、仮定多角形の形成に用いられる線分の全てを含む多角形との重複度合いに基づいて、値を重み付けしてもよい。この場合、実存する蓋然性が高い仮定多角形の重みを大きくすることができる。
また、システム制御部11が、形成された仮定多角形の辺と、仮定多角形の形成に用いられる線分との重複度合いに基づいて、値を重み付けしてもよい。この場合、実存する蓋然性が高い辺で構成される仮定多角形の重みを大きくすることができる。
また、システム制御部11が、写真画像内において、特定された対応多角形の辺で囲まれる領域の画像に対して所定処理を実行してもよい。この場合、所定対象において特定したい領域の画像に対して処理を施すことができる。
ここで、システム制御部11が、特定された対応多角形の辺で囲まれる領域の画像を、その領域の形状が基準多角形と相似するように変換してもよい。この場合、所定対象において特定したい領域の画像の形状を、その領域の本来の形状に戻すことができる。
また、システム制御部11が、特定された対応多角形の辺で囲まれる領域の画像から、所定種類の情報を認識してもよい。この場合、所定対象において特定したい領域内の情報を、写真画像から認識することができる。ここで、所定種類の情報は文字であってもよい。
次に、図17を用いて、上述した実施形態の一実施例について説明する。本実施例では、ユーザの本人確認を行うためのサーバ装置として、多角形検出装置1が用いられる。
図17は、本実施例に係るシステムSの概要構成の一例を示す図である。図17に示すように、システムSは、サーバ2と、複数のユーザ端末3と、を含んで構成されている。サーバ2と各ユーザ端末3とは、ネットワークNWを介して、例えば、通信プロトコルにTCP/IP等を用いて相互にデータの送受信が可能になっている。なお、ネットワークNWは、例えばインターネットである。
ユーザ端末3は、例えば所定のサービスに会員登録しようとするユーザに用いられる端末装置である。ユーザ端末3は、例えばデジタルカメラを備え、又はデジタルカメラと接続される。ユーザ端末3の例として、パーソナルコンピュータ、スマートフォン、タブレット式コンピュータ等の携帯情報端末、携帯電話機、PDA(Personal Digital Assistant)等が挙げられる。ユーザは、会員登録のために、氏名、生年月日、住所等の個人情報を、ユーザ端末3に入力する。ユーザ端末3は、入力された情報をサーバ2へ送信する。また、ユーザは、身分証明書を撮影して、第1の写真画像をユーザ端末3からサーバ2へ送信する。ユーザは全ての個人情報が鮮明に写るように撮影を行う。従って、写真画像は、個人情報の各領域の全体を含む蓋然性があり、各領域は写真画像において或る程度以上の大きさを占める。身分証明書は、例えば運転免許証、パスポート等である。更にユーザは、ユーザ自身の顔写真を撮影して、第2の写真画像をユーザ端末3からサーバ2へ送信する。
サーバ2は、多角形検出装置1の構成と同様の構成を有する。サーバ2の記憶部14には、各種身分証明書について、個人情報が印刷され又は記載される1又は複数の領域それぞれについて、その領域の形状としての基準多角形の辺の長さの比を示す情報が記憶されている。また、記憶部14には、各領域から文字列の情報を認識やすいように、その領域を構成する各行の座標を示す情報が記憶されている。更に記憶部14には、各種身分証明書について、顔写真の領域の形状としての基準多角形の辺の長さの比を示す情報が記憶されている。
サーバ2は、ユーザ端末3から受信した第1の写真画像から、基準多角形に対応する多角形を検出する。サーバ2は、第1の写真画像において、検出された対応多角形の辺で囲まれる領域の画像を、その画像の形状が基準多角形と相似するように変換する、更に、サーバ2は、その領域の画像を、基準画像の所定辺の角度と、その所定辺に対応する対応多角形の辺の角度とが一致するように回転させる。サーバ2は、個人情報が記載される領域について変換された画像から、氏名、生年月日、住所等の個人情報を認識する。サーバ2は、認識された個人情報と、ユーザにより入力された個人情報とが一致するか否かを判定する。また、サーバ2は、顔写真の領域について変換された画像から、身分証明書に写る人物の顔の特徴ベクトルを抽出する。サーバ2は、第2の写真画像からも顔の特徴ベクトルを抽出する。サーバ2は、顔の特徴ベクトルを比較することにより、身分証明書に写っている人物と、第2の写真画像に写っている人物とが同一であるか否かを判定する。
1 多角形検出装置
11 システム制御部
12 システムバス
13 入出力インターフェース
14 記憶部
15 通信部
16 入力部
17 表示部
111 基準比率取得部
112 写真画像取得部
113 線分検出部
114 多角形形成部
115 対応多角形特定部
116 画像処理部
2 サーバ
3 ユーザ端末

Claims (16)

  1. 所定対象の外観に含まれる基準多角形辺の長さの比を取得する比取得手段と、
    前記所定対象の写真画像を取得する画像取得手段と、
    前記取得された写真画像から線分を検出する検出手段と、
    前記検出された線分を基に少なくとも一の多角形を形成する形成手段であって、前記多角形の形成に用いられる線分を含む直線同士が交差する点を頂点として有する前記多角形を形成する形成手段と、
    前記形成された多角形で囲まれる領域と、前記多角形の形成に用いられる線分の全てを含む多角形で囲まれる領域との重複度合いに基づいて、前記形成された多角形辺の長さの比と、前記取得された基準多角形辺の長さの比との間の類似度合いを示す値に重み付けし、該重み付けされた値に基づいて、前記形成された多角形から、前記基準多角形に対応する多角形を特定する特定手段と、
    を備えることを特徴とする多角形検出装置。
  2. 前記形成手段は、前記検出された線分のうち相対的に長い線分から、前記多角形の形成に用いる線分を特定することを特徴とする請求項1に記載の多角形検出装置。
  3. 前記検出手段は、前記検出された線分のうち少なくとも幾つかの線分を、前記基準多角形を構成する辺間の関係に基づいて定められた複数のグループに分け、
    前記形成手段は、前記複数のグループのそれぞれから前記多角形の形成に用いられる線分を特定することを特徴とする請求項1又は2に記載の多角形検出装置。
  4. 前記検出手段は、前記検出された線分のうち少なくとも幾つかの線分を、該線分の角度に基づいて複数のグループに分け、
    前記形成手段は、前記複数のグループのそれぞれから前記多角形の形成に用いられる線分を特定することを特徴とする請求項1乃至3の何れか一項に記載の多角形検出装置。
  5. 前記基準多角形及び前記形成される多角形は四角形であり、
    前記検出手段は、前記少なくとも幾つかの線分を、前記少なくとも幾つかの線分のうち所定線分との間の角度が所定値よりも大きい線分のグループと、前記所定線分との間の角度が前記所定値以下である線分のグループとに分けることを特徴とする請求項4に記載の
    多角形検出装置。
  6. 前記特定手段は、前記形成された多角形のうち、該多角形の構成要素が所定条件を満たす多角形から、前記対応する多角形を特定することを特徴とする請求項1乃至5の何れか一項に記載の多角形検出装置。
  7. 前記所定条件は、前記多角形の全頂点が前記写真画像内に位置することを特徴とする請求項6に記載の多角形検出装置。
  8. 前記所定条件は、前記多角形を構成する各辺のそれぞれの少なくとも一部が、該多角形の形成に用いられた線分のうち何れかの線分の少なくとも一部と重複することを特徴とする請求項6又は7に記載の多角形検出装置。
  9. 前記特定手段は、前記形成された多角形の辺と、前記多角形の形成に用いられる線分との重複度合いに基づいて、前記値を重み付けすることを特徴とする請求項1乃至8の何れか一項に記載の多角形検出装置。
  10. 前記写真画像内において、前記特定された多角形の辺で囲まれる領域の画像に対して所定処理を実行する処理手段を更に備えることを特徴とする請求項1乃至9の何れか一項に記載の多角形検出装置。
  11. 前記処理手段は、前記特定された多角形の辺で囲まれる領域の画像を、該領域の形状が前記基準多角形と相似するように変換することを特徴とする請求項10に記載の多角形検出装置。
  12. 前記処理手段は、前記特定された多角形の辺で囲まれる領域の画像から、所定種類の情報を認識することを特徴とする請求項10又は11に記載の多角形検出装置。
  13. 前記所定種類の情報は文字であることを特徴とする請求項12に記載の多角形検出装置。
  14. コンピュータにより実行される多角形検出方法において、
    所定対象の外観に含まれる基準多角形の辺の長さの比を取得する比取得ステップと、
    前記所定対象の写真画像を取得する画像取得ステップと、
    前記取得された写真画像から線分を検出する検出ステップと、
    前記検出された線分を基に少なくとも一の多角形を形成する形成ステップであって、前記多角形の形成に用いられる線分を含む直線同士が交差する点を頂点として有する前記多角形を形成する形成ステップと、
    前記形成された多角形で囲まれる領域と、前記多角形の形成に用いられる線分の全てを含む多角形で囲まれる領域との重複度合いに基づいて、前記形成された多角形の辺の長さの比と、前記取得された基準多角形の辺の長さの比との間の類似度合いを示す値に重み付けし、該重み付けされた値に基づいて、前記形成された多角形から、前記基準多角形に対応する多角形を特定する特定ステップと、
    を含むことを特徴とする多角形検出方法。
  15. 前記画像取得ステップは、前記写真画像をメモリにロードし、
    前記検出ステップは、前記メモリにロードされた前記写真画像から線分を検出することを特徴とする請求項14に記載の多角形検出方法。
  16. コンピュータを、
    所定対象の外観に含まれる基準多角形の辺の長さの比を取得する比取得手段と、
    前記所定対象の写真画像を取得する画像取得手段と、
    前記取得された写真画像から線分を検出する検出手段と、
    前記検出された線分を基に少なくとも一の多角形を形成する形成手段であって、前記多角形の形成に用いられる線分を含む直線同士が交差する点を頂点として有する前記多角形を形成する形成手段と、
    前記形成された多角形で囲まれる領域と、前記多角形の形成に用いられる線分の全てを含む多角形で囲まれる領域との重複度合いに基づいて、前記形成された多角形の辺の長さの比と、前記取得された基準多角形の辺の長さの比との間の類似度合いを示す値に重み付けし、該重み付けされた値に基づいて、前記形成された多角形から、前記基準多角形に対応する多角形を特定する特定手段と、
    として機能させることを特徴とする多角形検出プログラム。
JP2020508415A 2019-04-10 2019-04-10 多角形検出装置、多角形検出方法、及び多角形検出プログラム Active JP6749519B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/015617 WO2020208742A1 (ja) 2019-04-10 2019-04-10 多角形検出装置、多角形検出方法、及び多角形検出プログラム

Publications (2)

Publication Number Publication Date
JP6749519B1 true JP6749519B1 (ja) 2020-09-02
JPWO2020208742A1 JPWO2020208742A1 (ja) 2021-04-30

Family

ID=72240826

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020508415A Active JP6749519B1 (ja) 2019-04-10 2019-04-10 多角形検出装置、多角形検出方法、及び多角形検出プログラム

Country Status (3)

Country Link
US (1) US11557108B2 (ja)
JP (1) JP6749519B1 (ja)
WO (1) WO2020208742A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240257546A1 (en) * 2021-07-28 2024-08-01 Rakuten Group, Inc. Image processing system, image processing method, and program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008117228A (ja) * 2006-11-06 2008-05-22 Nippon Telegr & Teleph Corp <Ntt> 矩形追跡方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
JP2010062722A (ja) * 2008-09-02 2010-03-18 Casio Comput Co Ltd 画像処理装置及びコンピュータプログラム
JP2012114665A (ja) * 2010-11-24 2012-06-14 Nippon Telegr & Teleph Corp <Ntt> 特徴図形付加方法、特徴図形検出方法、特徴図形付加装置、特徴図形検出装置、およびプログラム
JP2012221118A (ja) * 2011-04-06 2012-11-12 Fuji Xerox Co Ltd 画像処理装置及びプログラム
JP2016062123A (ja) * 2014-09-12 2016-04-25 キヤノン株式会社 画像処理装置および画像処理方法
JP2017162218A (ja) * 2016-03-10 2017-09-14 富士通株式会社 管理プログラム、管理装置および管理方法
US20180211107A1 (en) * 2015-06-22 2018-07-26 Photomyne Ltd. System and Method for Detecting Objects in an Image

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0731733B2 (ja) 1986-05-30 1995-04-10 富士通株式会社 矩形検出装置
US8125544B2 (en) * 2008-09-02 2012-02-28 Casio Computer Co., Ltd. Image processing apparatus for extracting quadrangle area in image
US20150042791A1 (en) * 2013-08-09 2015-02-12 Postea, Inc. Apparatus, systems and methods for enrollment of irregular shaped objects
CN107845068B (zh) * 2016-09-18 2021-05-11 富士通株式会社 图像视角变换装置以及方法
JP7030425B2 (ja) * 2017-05-22 2022-03-07 キヤノン株式会社 画像処理装置、画像処理方法、プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008117228A (ja) * 2006-11-06 2008-05-22 Nippon Telegr & Teleph Corp <Ntt> 矩形追跡方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
JP2010062722A (ja) * 2008-09-02 2010-03-18 Casio Comput Co Ltd 画像処理装置及びコンピュータプログラム
JP2012114665A (ja) * 2010-11-24 2012-06-14 Nippon Telegr & Teleph Corp <Ntt> 特徴図形付加方法、特徴図形検出方法、特徴図形付加装置、特徴図形検出装置、およびプログラム
JP2012221118A (ja) * 2011-04-06 2012-11-12 Fuji Xerox Co Ltd 画像処理装置及びプログラム
JP2016062123A (ja) * 2014-09-12 2016-04-25 キヤノン株式会社 画像処理装置および画像処理方法
US20180211107A1 (en) * 2015-06-22 2018-07-26 Photomyne Ltd. System and Method for Detecting Objects in an Image
JP2017162218A (ja) * 2016-03-10 2017-09-14 富士通株式会社 管理プログラム、管理装置および管理方法

Also Published As

Publication number Publication date
US20210142098A1 (en) 2021-05-13
JPWO2020208742A1 (ja) 2021-04-30
US11557108B2 (en) 2023-01-17
WO2020208742A1 (ja) 2020-10-15

Similar Documents

Publication Publication Date Title
JP7564962B2 (ja) 画像処理方法、画像処理装置及び非一時的な記憶媒体
US7376270B2 (en) Detecting human faces and detecting red eyes
US9436883B2 (en) Collaborative text detection and recognition
KR102173123B1 (ko) 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
KR100580626B1 (ko) 얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템
CN103971400A (zh) 一种基于标识码的三维交互的方法和系统
JP2006350704A (ja) 判別器の学習方法、顔判別方法および装置並びにプログラム
KR20190098858A (ko) 딥러닝 기반의 포즈 변화에 강인한 얼굴 인식 방법 및 장치
US8923610B2 (en) Image processing apparatus, image processing method, and computer readable medium
CN110598703B (zh) 一种基于深度神经网络的ocr识别方法及装置
CN110852311A (zh) 一种三维人手关键点定位方法及装置
JP2005242640A (ja) 対象物検出方法および装置並びにプログラム
JP2007108990A (ja) 顔検出方法および装置並びにプログラム
JP6749519B1 (ja) 多角形検出装置、多角形検出方法、及び多角形検出プログラム
CN117911668A (zh) 药品信息识别方法及装置
JP2006293720A (ja) 顔検出装置、顔検出方法、及び顔検出プログラム
CN111274602A (zh) 一种图像特征信息替换方法、装置、设备及介质
JP4550768B2 (ja) 画像検出方法および画像検出装置
CN112541506B (zh) 文本图像的矫正方法及装置、设备和介质
JP6609181B2 (ja) 文字属性推定装置、及び文字属性推定プログラム
JP2024501444A (ja) メディアコンテンツのオーバーレイに適した画像スペースの検出
WO2012044335A1 (en) Recognizing a feature of an image independently of the orientation or scale of the image
AU2014277851A1 (en) Detecting a gap between text columns from text line fragments
JP2001331804A (ja) 画像領域検出装置及び方法
US20240153126A1 (en) Automatic image cropping using a reference feature

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200213

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200213

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200811

R150 Certificate of patent or registration of utility model

Ref document number: 6749519

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250