JP7435191B2

JP7435191B2 - 情報処理装置及び情報処理プログラム

Info

Publication number: JP7435191B2
Application number: JP2020071893A
Authority: JP
Inventors: 祐一河田; 俊太郎本庄
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2020-04-13
Filing date: 2020-04-13
Publication date: 2024-02-21
Anticipated expiration: 2040-04-13
Also published as: JP2021168089A

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

非特許文献１には、画像から棋譜を自動生成するシステムが提案されている。具体的には、非特許文献１では、囲碁盤の画像を取り込み、画像から囲碁盤の部分の画像を抽出して、領域抽出した画像からエッジ検出を行う。そして、２値画像にしてＨｏｕｇｈ変換を用いて直線を検出し、直線の情報から囲碁盤を検出することが記載されている。

林山剛久、柳井啓司、野下浩平、「囲碁対局テレビ番組からの棋譜自動生成システム」、情報処理学会研究報告、日本、２００２年５月９日、３４号、ｐ１６１－１６８

対局中の画像を取得して棋譜を記録するシステムでは、罫線を認識する方法が複数あった。そこで、本発明は、単一の方法で罫線を認識する場合に比べて、処理負荷が低い罫線認識装置及び罫線認識プログラムを提供することを目的とする。

上記目的を達成するために、第１態様に係る情報処理装置は、プロセッサを備え、前記プロセッサは、罫線を有する対象物を含む画像を取得し、前記画像に対して予め定めた特定の処理を行って前記対象物の外枠となる外郭を認識し、認識した前記外郭が予め定めた条件を満たす場合は、前記罫線を認識する第１処理を実行し、認識した前記外郭が前記条件を満たさない場合は、前記第１処理より処理負荷が高い方法で前記罫線を認識する第２処理を実行する処理を行う。

第２態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記プロセッサは、前記特定の処理として前記画像を２値化して前記外郭を認識し、前記第１処理として２値化した２値化画像から罫線を認識する。

第３態様に係る情報処理装置は、第１態様又は第２態様に係る情報処理装置において、前記第２処理は、前記対象物上に配置される配置物の予め定めた中心範囲を通る仮想線と、画像から認識した罫線と、を用いて罫線を認識する。

第４態様に係る情報処理装置は、第３態様に係る情報処理装置において、前記仮想線は、前記配置物の予め定めた中心範囲に対して、予め定めた閾値距離内に存在する、別の前記配置物の前記中心範囲同士を結んだ線である。

第５態様に係る情報処理装置は、第３態様又は第４態様に係る情報処理装置において、前記プロセッサは、前記仮想線と、前記画像から認識した罫線とを用いて、最外罫線を検出し、前記最外罫線と、前記対象物の予め定めた罫線数とを用いて、前記対象物の罫線を認識する。

第６態様に係る情報処理装置は、第３態様又は第４態様に係る情報処理装置において、前記プロセッサは、前記仮想線と、前記画像から認識した罫線とを用いて、最外罫線を検出し、前記最外罫線内の等間隔に存在する交点を検出することで前記対象物の罫線を認識する。

第７態様に係る情報処理装置は、第１態様～第６態様の何れか１の態様に係る情報処理装置において、前記予め定めた条件は、認識した前記外郭の領域が予め定めた矩形である場合に成立する。

第８態様に係る情報処理装置は、第１態様～第７態様の何れか１の態様に係る情報処理装置において、前記プロセッサは、前記画像が前記対象物を任意の俯角から見た画像の場合、真上から見た画像に補正する処理を更に行う。

第９態様に係る情報処理プログラムは、コンピュータに、罫線を有する対象物を含む画像を取得し、前記画像に対して予め定めた特定の処理を行って前記対象物の外枠となる外郭を認識し、認識した前記外郭が予め定めた条件を満たす場合は、前記罫線を認識する第１処理を実行し、認識した前記外郭が前記条件を満たさない場合は、前記第１処理より処理負荷が高い方法で前記罫線を認識する第２処理を実行する処理を実行させる。

第１態様によれば、単一の方法で罫線を認識する場合に比べて、処理負荷が低い罫線認識装置を提供できる。

第２態様によれば、背景色と対象物が類似しない場合に、対象物の罫線を検出することが可能となる。

第３態様によれば、罫線が画像上で直接認識できない状況であっても罫線を正確に認識することが可能となる。

第４態様によれば、対象物上に配置された配置物で隠れた罫線を仮想線として検出することが可能となる。

第５態様によれば、最外罫線及び最外罫線内の他の罫線を認識することが可能となる。

第６態様によれば、最外罫線及び最外罫線内の他の罫線を認識することが可能となる。

第７態様によれば、対象物の外郭の領域が矩形であるか否かで、第１処理と第２処理を切り替えて実行することが可能となる。

第８態様によれば、対象物を斜めから撮影した画像であっても、真上から見た画像に変換することができる。

第９態様によれば、単一の方法で罫線を認識する場合に比べて、処理負荷が低い罫線認識プログラムを提供できる。

本実施形態に係る罫線認識装置の概略構成を示す図である。本実施形態に係る罫線認識装置における情報処理装置の電気系の要部構成を示すブロック図である。本実施形態に係る罫線認識装置における情報処理装置の機能構成を示す機能ブロック図である。矩形検出可能な例、及び矩形検出不可能な例を示す図である。第１罫線検出部の詳細な機能構成の一例を示す機能ブロック図である。斜めから撮影した碁盤の罫線認識手法の一例を示す図である。第２罫線検出部の詳細な機能構成の一例を示す機能ブロック図である。直線検出、最外罫線検出、及び碁盤の罫線検出の一例を示す図である。仮想線の検出の一例を示す図である。本実施形態に係る情報処理装置において、棋譜を生成する際に碁盤の罫線を認識する処理の流れの一例を示すフローチャートである。等間隔または等比間隔の線を特定する手法を帳票認識技術に応用する例を説明するための図である。

以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。図１は、本実施形態に係る罫線認識装置の概略構成を示す図である。

本実施形態に係る罫線認識装置１０は、一例として、対象物としての碁盤１６の罫線を認識して棋譜を生成する例を説明する。

罫線認識装置１０は、碁盤１６を撮影する撮影部１２によって撮影された画像を情報処理装置１４が取得し、情報処理装置１４が、画像から碁盤１６の罫線を認識する処理を行う。なお、情報処理装置１４は、図１では、ノート型のパーソナルコンピュータとして示すが、これに限るものではなく、例えば、カメラを備えたスマートフォン等の携帯端末を適用してもよい。また、撮影部１２は、スマートフォンのカメラを適用してもよい。

続いて、本実施形態に係る情報処理装置１４の電気系の要部構成について説明する。図２は、本実施形態に係る罫線認識装置１０における情報処理装置１４の電気系の要部構成を示すブロック図である。

本実施の形態に係る情報処理装置１４は、図２に示すように、ＣＰＵ（Central Processing Unit）１４Ａ、ＲＯＭ（Read Only Memory）１４Ｂ、ＲＡＭ（Random Access Memory）１４Ｃ、ＨＤＤ（hard disk drive）１４Ｄ、キーボード１４Ｅ、ディスプレイ１４Ｆ、及び通信回線Ｉ／Ｆ（インタフェース）部１４Ｇを備えている。ＣＰＵ１４Ａは、情報処理装置１４の全体の動作を司る。ＲＯＭ１４Ｂは、各種制御プログラムや各種パラメータ等が予め記憶される。ＲＡＭ１４Ｃは、ＣＰＵ１４Ａによる各種プログラムの実行時のワークエリア等として用いられる。ＨＤＤ１４Ｄは、各種のデータやアプリケーション・プログラム等が記憶される。キーボード１４Ｅは各種の情報を入力するために用いられる。ディスプレイ１４Ｆは、各種の情報を表示するために用いられる。通信回線Ｉ／Ｆ部１４Ｇは、ネットワーク等の通信回線に接続可能され、当該通信回線に接続された他の装置と各種データの送受信を行う。以上の情報処理装置１４の各部はシステムバス１４Ｈにより電気的に相互に接続されている。なお、本実施の形態に係る情報処理装置１４では、ＨＤＤ１４Ｄを記憶部として適用しているが、これに限らず、フラッシュメモリ等の他の不揮発性の記憶部を適用してもよい。

以上の構成により、本実施の形態に係る情報処理装置１４は、ＣＰＵ１４Ａにより、ＲＯＭ１４Ｂ、ＲＡＭ１４Ｃ、及びＨＤＤ１４Ｄに対するアクセス、キーボード１４Ｅを介した各種データの取得、ディスプレイ１４Ｆに対する各種情報の表示を各々実行する。また、情報処理装置１４は、ＣＰＵ１４Ａにより、通信回線Ｉ／Ｆ部１４Ｇを介した通信データの送受信の制御を実行する。

ここで、情報処理装置１４のＣＰＵ１４ＡがＲＯＭ１４Ｂに記憶されたプログラムを実行することにより実現される機能構成について説明する。図３は、本実施形態に係る罫線認識装置における情報処理装置１４の機能構成を示す機能ブロック図である。

情報処理装置１４は、画像取得部１８、罫線認識部２０、及び描画表示処理部３０の機能を有する。

画像取得部１８は、撮影部１２が罫線を有する碁盤１６を撮影することによって得られる画像を撮影部１２から取得する。

罫線認識部２０は、画像取得部１８が取得した画像から碁盤１６の罫線を認識する処理を行う。本実施形態では、罫線認識部２０は、罫線を有する対象物としての碁盤１６を含む画像を取得し、画像に対して予め定めた特定の処理を行って対象物の外枠となる外郭を認識し、認識した外郭が予め定めた条件を満たす場合は、罫線を認識する第１処理を実行し、認識した外郭が条件を満たさない場合は、第１処理より処理負荷が高い方法で罫線を認識する第２処理を実行する処理を行う。なお、罫線認識部２０は、画像取得部１８が取得した画像から碁石１７を検出する処理も行ってもよい。

罫線認識部２０は、図３に示すように、２値化処理部２２、矩形検出部２４、第１罫線検出部２６、及び第２罫線検出部２８の機能を有する。

２値化処理部２２は、予め定めた閾値を用いて、画像取得部１８が取得した画像を「０」または「１」の２値に２値化する。

矩形検出部２４は、２値化処理部２２によって２値化された「０」または「１」のどちらかで構成される領域が、予め定めた条件を満たしているか否かを判定する。本実施形態では、碁盤１６の外枠となる外郭に対応する予め定めた矩形が検出されたか否かを判定する。例えば、図４に示す矩形検出可能な例に示す矩形が検出された場合を予め定めた条件を満たす場合とし、図４に示す矩形検出不可能な例に示す領域が検出された場合を予め定めた条件を満たさない場合とする。なお、図４に示す矩形検出可能な例は、閉じた領域が四角形（例えば、境界が４本の直線で構成され、向かい合う線が平行）の例を示す。一方、図４に示す矩形検出不可能な例は、境界が４本の直線で構成されず、向かい合う線が平行でない、閉じていない領域）の例を示す。

第１罫線検出部２６は、矩形検出部２４によって矩形が検出されて予め定めた条件を満たす場合に、画像から碁盤１６の罫線を検出する。本実施形態では、２値化によって矩形の領域が検出できた場合に、そのまま２値化によって把握した領域に基づいて、検出した領域内での最外罫線を特定し、その最外罫線を基準に台形補正を行って、正方形として認識する。そして、特定した最外罫線を基準に、碁盤１６のサイズに合わせて罫線で等分することで、碁盤１６の罫線または交点の位置を特定する。なお、２値化によって、その碁盤１６の領域における交点の位置を記憶しておけば、碁石１７が配置された場合に、その碁石１７の碁盤１６上の座標が特定される。

第１罫線検出部２６は、詳細には、図５に示すように、最外罫線特定部３２、台形補正部３４、及び碁盤罫線特定部３６の機能を有する。

最外罫線特定部３２は、２値化によって把握した領域に基づいて、検出した領域内での最外罫線を特定する。

台形補正部３４は、斜め上から撮影されている場合に、碁盤１６が台形になっているため、真上から撮影した画像となるように補正する台形補正を行う。本実施形態では、台形補正を行うことで、碁盤１６の枡目の台形が正方形に補正される。なお、撮影部１２が、真上から撮影している場合には台形補正部３４は省略する。また、台形補正は省略する形態としてもよい。

碁盤罫線特定部３６は、特定した最外罫線を基準に、ユーザによって予め入力された碁盤１６のサイズ（例えば、９路なら９等分、１３路なら１３等分、１９路なら１９等分）に合わせて罫線で等分することで、碁盤１６の罫線または交点の位置を特定する。

一方、第２罫線検出部２８は、矩形検出部２４によって矩形が検出されず、予め定めた条件を満たさない場合に、第１罫線検出部２６より処理負荷が高い方法で、画像から碁盤１６の罫線を検出する。本実施形態では、２値化によって矩形の領域が検出できなかった場合に、画像について線抽出処理を行う。碁盤１６の罫線以外の様々な線を認識してしまうため、その中から罫線を特定するために、Ｘ軸Ｙ軸方向に走査する。そして、走査線と、検出した線との交点を見つけていき、その交点が、等間隔で連続ｎ個（間隔は植木算方式なため、ｎ＝インプットした碁盤１６のサイズで７路盤なら７個）存在した場合にその等間隔に並んだ交点のうち最も外側にある交点をつないだ線を最外罫線として特定する。ここで、碁盤を真上から撮影した画像の場合は、交点が等間隔で連続ｎ個存在するかを特定すればよいが、碁盤を任意の俯角から撮影した場合は、遠近があるため等比数列を用いて、条件を満たす間隔の交点が連続ｎ個存在するかで特定する（図６を参照）。なお、Ｘ軸及びＹ軸は碁盤１６の枡目状の罫線各々に沿う方向の軸とする。石が置かれた場合は、円形抽出し、円形の概中心座標を通る仮想線を更に用いて罫線を認識する。

第２罫線検出部２８は、詳細には、図７に示すように、直線検出部４０、最外罫線検出部４２、台形補正部４４、円形抽出部４６、仮想線検出部４８、及び碁盤罫線決定部５０の機能を有する。

直線検出部４０は、画像取得部１８が取得した画像内に含まれる直線を全て検出する。例えば、Ｃａｎｎｙ法とＨｏｕｇｈ変換を使って、図８の上段に示すように、画像内の直線を全て検出する。すなわち、Ｃａｎｎｙ法を用いて画像の輪郭部分を抽出する処理を行って、Ｈｏｕｇｈ変換によって直線を検出する処理を行うことで画像内の全ての直線を検出する。なお、図８では、碁盤１６の真上から撮影した画像として示す。

最外罫線検出部４２は、直線検出部４０の検出結果から碁盤１６の罫線のうち最外の罫線を検出する。例えば、図８の中段に示すように、検出した罫線の最も外側の罫線を検出する。具体的には、直線検出部４０では、碁盤１６の罫線以外の様々な線を認識してしまうため、その中から罫線を特定するために、Ｘ軸Ｙ軸方向に走査する。そして、走査線と、検出した線との交点を見つけていき、その交点が、等間隔で連続ｎ個存在した場合にその等間隔に並んだ交点のうち最も外側にある交点をつないだ線を最外罫線として特定する。

台形補正部４４は、図１に示すように、斜め上から撮影されている場合に、碁盤１６が台形になっているため、真上から撮影した画像となるように補正する台形補正を行う。本実施形態では、台形補正を行うことで、碁盤１６の枡目の台形が正方形に補正される。なお、撮影部１２が、真上から撮影している場合には台形補正部４４は省略する。また、台形補正は省略する形態としてもよい。

円形抽出部４６は、画像取得部１８が取得した画像内に円形の物体があるか否かを判断して、円形の物体がある場合は円形抽出を行って碁石１７を検出する。例えば、Ｈｏｕｇｈ変換で、円の半径を変えながら走査して円を抽出する。

仮想線検出部４８は、円形抽出部４６によって抽出された円形物体の予め定めた中心範囲の一例としての中心座標を特定し、予め定めた閾値距離内に存在する、別の円形物体の中心座標同士を仮想線で結ぶことにより仮想線を検出する。本実施形態では、円形物体の中心の、ＸＹ軸方向におけるすぐ隣に、別の円形物体がある場合には、中心同士を仮想線で結ぶロジックとする。さらに具体的にいうと、画像上で１つの碁石１７の中心を通るＸＹ軸の線をつくって、それが、別の円形物体の領域を通ったと判定したら、その碁石１７同士の中心同士を仮想線で結ぶ処理を行う。例えば、図９の点線で示すように、仮想線を検出する。

碁盤罫線決定部５０は、碁盤１６が何路盤であるかを決定して、最外罫線検出部４２によって検出された最外罫線内の枡目の罫線を決定する。碁盤１６が何路盤であるかの決定は、例えば、ユーザに前もって碁盤１６が何路盤かを特定するために罫線数を入力させる形態としてもよい。或いは、ユーザに碁盤１６のサイズを入力させることなしに画像から自動でサイズを検知し、罫線数を決定してもよい。或いは、アプリケーションやサービス毎に予め定められた罫線数を決定してもよい。碁盤１６の罫線の決定方法の一例としては、直線検出部４０によって検出された直線、及び仮想線検出部４８によって検出された仮想線に対して、最外罫線検出部４２によって検出された最外罫線内についてＸＹ軸方向に画像をスキャンして、等間隔、或いは等比間隔に存在する交点を検出することで枡目の罫線を決定してもよい。等間隔に存在する交点を検出する際には、ユーザによって予め入力された罫線数に応じた間隔の交点を検出してもよい。或いは、最外罫線検出部４２によって検出された最外罫線内をユーザによって予め入力された罫線数で等分することにより、図８の下段に示すように、碁盤１６の各罫線を決定してもよい。以下では、後者の例を説明する。なお、円形抽出部４６によって円形物体が抽出された場合、仮想線検出部４８によって検出された仮想線と、直線検出部４０によって検出された直線とを用いて、最外罫線検出部４２が最外罫線を検出して、碁盤罫線決定部５０が碁盤１６の罫線を決定する。罫線を特定した場合に、領域を碁盤の大きさに基づいて等分（例えば、９路盤の場合、特定した最外罫線を基準に９等分）し、交点座標を特定することができる（図６の４、５、６）。

また、罫線を決定し、交点座標を特定した後、碁石の色を認識する処理を行い、描画表示処理部３０は、罫線認識部２０の罫線認識結果から得られる碁盤１６の画像と碁石１７とを描画してディスプレイ１４Ｆに表示する処理を行う。

続いて、上述のように構成された本実施形態に係る情報処理装置１４で行われる具体的な処理について説明する。図１０は、本実施形態に係る情報処理装置１４において、棋譜を生成する際に碁盤１６の罫線を認識する処理の流れの一例を示すフローチャートである。なお、図１０の処理は、碁石１７を検出する処理は省略し、罫線を認識する部分のみを抽出した処理として示す。

ステップ１００では、ＣＰＵ１４Ａが、碁盤１６の画像を取得してステップ１０２へ移行する。すなわち、画像取得部１８が、罫線を有する碁盤１６を撮影することによって得られる画像を撮影部１２から取得する。

ステップ１０２では、ＣＰＵ１４Ａが、取得した画像に対して２値化処理を行ってステップ１０４へ移行する。すなわち、２値化処理部２２が、予め定めた閾値を用いて、画像取得部１８が取得した画像を２値化する。

ステップ１０４では、ＣＰＵ１４Ａが、２値化された画像から矩形を検出してステップ１０６へ移行する。

ステップ１０６では、ＣＰＵ１４Ａが、矩形の検出結果が、予め定めた条件成立であるか否かを判定する。該判定は、矩形検出部２４が、２値化処理部２２によって２値化された「０」または「１」のどちらかで構成される領域が、予め定めた条件を満たしているか否かを判定する。具体的には、碁盤１６の外枠となる外郭に対応する予め定めた矩形が検出されたか否かを判定する。例えば、図４に示す矩形検出可能な例に示す矩形が検出された場合を予め定めた条件成立の場合とし、図４に示す矩形検出不可能な例に示す領域が検出された場合を予め定めた条件不成立の場合とする。該判定が否定された場合にはステップ１０８へ移行し、肯定された場合にはステップ１１４へ移行する。

ステップ１０８では、ＣＰＵ１４Ａが、２値化画像から最外罫線を検出してステップ１１０へ移行する。すなわち、最外罫線特定部３２が、２値化によって把握した領域に基づいて、検出した領域内での最外罫線を特定する。

ステップ１１０では、ＣＰＵ１４Ａが、罫線が検出された画像に対して台形補正を行ってステップ１１２へ移行する。すなわち、台形補正部３４が、図１に示すように、斜め上から撮影されている場合に、碁盤１６が台形になっているため、真上から撮影した画像となるように補正する台形補正を行う。なお、撮影部１２が、真上から撮影している場合には当該ステップ１１０は省略する。

ステップ１１２では、ＣＰＵ１４Ａが、碁盤１６の罫線を特定してステップ１３０へ移行する。すなわち、碁盤罫線特定部３６が、特定した最外罫線を基準に、ユーザによって予め入力された碁盤１６のサイズ（例えば、９路なら９等分、１３路なら１３等分、１９路なら１９等分）に合わせて罫線で等分することで、碁盤１６の罫線または交点の位置を特定する。

一方、ステップ１１４では、ＣＰＵ１４Ａが、取得した画像から直線を検出してステップ１１６へ移行する。すなわち、直線検出部４０が、取得した画像内に含まれる直線を全て検出する。例えば、Ｃａｎｎｙ法を用いて画像の輪郭部分を抽出する処理を行って、Ｈｏｕｇｈ変換によって直線を検出する処理を行うことで、図８の上段に示すように、画像内の全ての直線を検出する。

ステップ１１６では、ＣＰＵ１４Ａが、取得した画像から円形領域の検出を行ってステップ１１８へ移行する。すなわち、円形抽出部４６が、画像取得部１８が取得した画像内に円形の物体があるか否かを判断して、円形の物体がある場合は円形抽出を行って碁石１７を検出する。例えば、Ｈｏｕｇｈ変換で、円の半径を変えながら走査して円を抽出する。

ステップ１１８では、ＣＰＵ１４Ａが、円形領域があるか否かを判定する。該判定は、円形抽出部４６によって円形領域が抽出されたか否かを判定し、該判定が否定された場合にはステップ１２０へ移行し、肯定された場合にはステップ１２２へ移行する。

ステップ１２０では、ＣＰＵ１４Ａが、検出した直線から碁盤１６の枠となる最外罫線を検出してステップ１２６へ移行する。すなわち、最外罫線検出部４２が、図８の中段に示すように、直線検出部４０の検出結果から碁盤１６の罫線のうち最外の罫線を検出する。

一方、ステップ１２２では、ＣＰＵ１４Ａが、仮想線を検出してステップ１２４へ移行する。すなわち、仮想線検出部４８が、円形抽出部４６によって抽出された円形領域の中心座標を特定し、予め定めた閾値距離内（例えば、抽出された円形領域から、罫線方向への上下左右の四方の方向への予め定めた距離内）に存在する、別の円形物体の中心座標同士を仮想線で結ぶことにより、図９の点線で示すような仮想線を検出する。

ステップ１２４では、ＣＰＵ１４Ａが、検出した直線と仮想線を用いて最外罫線を検出してステップ１２６へ移行する。すなわち、最外罫線検出部４２が、直線検出部４０によって検出された直線と、仮想線検出部４８によって検出された仮想線とを用いて、碁盤１６の罫線のうち最外の罫線を検出する。

ステップ１２６では、ＣＰＵ１４Ａが、罫線が検出された画像に対して台形補正を行ってステップ１２８へ移行する。すなわち、台形補正部４４が、図１に示すように、斜め上から撮影されている場合に、碁盤１６が台形になっているため、真上から撮影した画像となるように補正する台形補正を行う。なお、撮影部１２が、真上から撮影している場合には当該ステップ１０６は省略する。

ステップ１２８では、ＣＰＵ１４Ａが、碁盤１６の罫線を決定してステップ１３０へ移行する。すなわち、碁盤罫線決定部５０が、最外罫線内をユーザによって予め入力された罫線数で等分することにより、図８の下段に示すように、碁盤１６の各罫線を決定する。

ステップ１３０では、ＣＰＵ１４Ａが、盤面描画表示を行ってステップ１３２へ移行する。すなわち、描画表示処理部３０が、罫線認識部２０の罫線認識結果から、交点座標を特定し、当該交点の位置に存在する碁石の色の認識結果を描画してディスプレイ１４Ｆに表示する処理を行う。なお、罫線を含む碁盤１６の画像を表示してもよい。

ステップ１３２では、ＣＰＵ１４Ａが、罫線を認識する処理を終了するか否かを判定する。該判定は、例えば、ユーザによって終了を指示する操作がキーボード１４Ｅ等によって行われたか否かを判定する。該判定が否定された場合にはステップ１００に戻って上述の処理を繰り返し、判定が肯定されたところで一連の処理を終了する。

なお、上記の実施形態では、罫線上に碁石１７が配置される碁盤１６の罫線を認識する例を一例として説明したが、罫線の認識は碁盤１６に限定されるものではない。例えば、罫線間に駒が配置される将棋や罫線間に石が配置されるリバーシ等の罫線間に駒や石が配置されて画像上で罫線の少なくとも一部が隠れている部分を含む画像となる他の盤上遊戯の罫線などを認識する形態に適用してもよいし、盤上遊戯に限らず、何らかの線やマークの上に対象物が存在している画像から、隠れた線やマークを認識できる形態（例えば、道路上に、車両が複数台並んだ状態で、上から撮影し、車両の下に隠れた道路上の交通標識や線を特定する技術）に適用してもよい。

また、上記の実施形態では、予め定めた特定の処理として、２値化処理を行って碁盤１６の外枠となる外郭を認識する例を説明したが、特定の処理はこれに限るものではない。例えば、赤外線等を用いて距離を検出して碁盤１６の外郭を検出する処理など他の碁盤１６の外郭となる矩形を検出する方法を適用してもよい。

また、上記の実施形態において、第１罫線検出部２６及び第２罫線検出部２８のそれぞれの罫線検出方法は一例であって、これに限るものではない。例えば、碁盤１６の最外罫線の４角の位置を検出したところで記憶しておいて、４角の位置のずれに応じて各罫線の位置を認識する方法や、罫線の交点を探す方法等を、処理負荷に応じて、第１罫線検出部２６または第２罫線検出部２８に適用してもよい。

また、上記の実施形態では、第１罫線検出部２６に台形補正部３４及び碁盤罫線特定部３６の機能を有し、第２罫線検出部２８に台形補正部４４及び碁盤罫線決定部５０の機能を有する例を説明したが、これに限るものではない。例えば、台形補正を行う機能及び碁盤の罫線を特定・決定する機能の少なくとも一方は、第１罫線検出部２６及び第２罫線検出部２８の機能に含まない形態としてもよい。

また、上記の実施形態では、最外罫線を検出して台形補正を行ってから碁盤１６の罫線を決定する順に処理を行う例を説明したが、処理順はこれに限定されるものではない。例えば、最外罫線を決定して碁盤１６の罫線を決定した後に、最後に台形補正を行う順としてもよい。

また、本実施形態で説明した、碁盤１６の画像をＸ軸、Ｙ軸方向に走査し、等間隔または等比間隔の線を特定する手法は、碁盤１６に限るものではなく、図１１に示すように帳票を認識する技術に応用してもよい。具体的には、帳票は、帳票の種別毎にＸＹ方向の罫線数や罫線間比率が決まっているため、罫線間の距離の比率で帳票の種別を判断してもよい。例えば、真上ではなく、任意の俯角からスマートフォンなどで帳票等を読み取った場合や文字認識がし難い場合であっても、帳票をＸ軸、Ｙ軸方向に走査することで、罫線を特定し、特定された罫線間の距離の比率を特定することで、帳票の種別が特定される。例えば、図１０に示すように、帳票を斜め上から撮影した画像を、Ｘ軸方向に走査すると、縦方向の罫線の間隔が６つ特定され、その間隔の比率が１：４：７：２：６であるとする。その情報をもとに、帳票種別データベースと照合し、当該帳票が、出生届であることが特定される。

また、上記の実施形態において、ＣＰＵをプロセッサの一例として説明したが、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばCPU等）や、専用のプロセッサ（例えばGPU： Graphics Processing Unit、ASIC： Application Specific Integrated Circuit、FPGA： Field Programmable Gate Array、プログラマブル論理デバイス等）を含むものである。

また、上記の実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

また、上記の実施形態に係る情報処理装置１４で行われる処理は、ソフトウエアで行われる処理としてもよいし、ハードウエアで行われる処理としてもよいし、双方を組み合わせた処理としてもよい。また、情報処理装置１４で行われる処理は、プログラムとして記憶媒体に記憶して流通させるようにしてもよい。

また、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。

１０罫線認識装置
１２撮影部
１４情報処理装置
１４ＡＣＰＵ
１６碁盤
１７碁石

Claims

プロセッサを備え、前記プロセッサは、
罫線を有する対象物を含む画像を取得し、
前記画像に対して予め定めた特定の処理を行って前記対象物の外枠となる外郭を認識し、
認識した前記外郭が予め定めた条件を満たす場合は、前記罫線を認識する第１処理を実行し、
認識した前記外郭が前記条件を満たさない場合は、前記第１処理より処理負荷が高い方法で前記罫線を認識する第２処理を実行する処理を行う情報処理装置。
前記プロセッサは、前記特定の処理として前記画像を２値化して前記外郭を認識し、前記第１処理として２値化した２値化画像から罫線を認識する請求項１に記載の情報処理装置。
前記第２処理は、前記対象物上に配置される配置物の予め定めた中心範囲を通る仮想線と、画像から認識した罫線と、を用いて罫線を認識する請求項１又は請求項２に記載の情報処理装置。
前記仮想線は、前記配置物の予め定めた中心範囲に対して、予め定めた閾値距離内に存在する、別の前記配置物の前記中心範囲同士を結んだ線である請求項３に記載の情報処理装置。
前記プロセッサは、前記仮想線と、前記画像から認識した罫線とを用いて、最外罫線を検出し、前記最外罫線と、前記対象物の予め定めた罫線数とを用いて、前記対象物の罫線を認識する請求項３又は請求項４に記載の情報処理装置。
前記プロセッサは、前記仮想線と、前記画像から認識した罫線とを用いて、最外罫線を検出し、前記最外罫線内の等間隔に存在する交点を検出することで前記対象物の罫線を認識する請求項３又は請求項４に記載の情報処理装置。
前記予め定めた条件は、認識した前記外郭の領域が予め定めた矩形である場合に成立する請求項１～６の何れか１項に記載の情報処理装置。
前記プロセッサは、前記画像が前記対象物を任意の俯角から見た画像の場合、真上から見た画像に補正する処理を更に行う請求項１～７の何れか１項に記載の情報処理装置。
コンピュータに、
罫線を有する対象物を含む画像を取得し、
前記画像に対して予め定めた特定の処理を行って前記対象物の外枠となる外郭を認識し、
認識した前記外郭が予め定めた条件を満たす場合は、前記罫線を認識する第１処理を実行し、
認識した前記外郭が前記条件を満たさない場合は、前記第１処理より処理負荷が高い方法で前記罫線を認識する第２処理を実行する処理を実行させるための情報処理プログラム。