JP6798752B2 - 補正画像を生成する方法、ノートブック又はアジェンダの１ページ又は２つの隣接するページに描かれた書込み又は図の選択画像を生成する方法、ｐｃ用のコンピュータプログラム、又は、スマートフォン若しくはタブレットコンピュータ用のモバイルアプリケーション - Google Patents

Description

本開示は、紙支持体に描かれた画像を取り込む方法に関し、より詳細には、歪み画像から補正画像を生成する方法、ノートブック又はアジェンダに描かれた書込み又は図を取り込む方法、スマートフォン、ハードカバーのノートブック、及びハードカバーのアジェンダのための関連するアプリケーションに関する。

紙のノートブック又はアジェンダは、モバイル電子機器の使用がますます増加しているにもかかわらず、メモを取るために依然として広く普及している。モバイル電子機器は物理的なキーボード又はタッチスクリーンに表示される仮想キーボードのいずれかを用いて短いメモを取る際に実用的であるが、手書きメモを記録するため又は図を描くためには紙のノートブックやアジェンダが主に好まれる。これらの手書きのメモ又は図を電子的に送信又は記憶するために、スキャナを用いてデジタルで取得することができ、又はより一般的には、手書きの紙ページの写真をスマートフォンのデジタルカメラで撮影する。スキャナは、スキャンされるべき手書きのページがスキャナのスクリーンに平らに置かれるため、良好な品質のデジタル画像を生成することができるが、スキャナは一般にポータブル装置として使用することができない。

一方、デジタルカメラで撮影された写真は、特にノートブック又はアジェンダの２つの隣接するページが同時に取り込まれる場合には、紙ページの平面に平行な平面にデジタルカメラを配置することは非常に困難であるため、品質が悪い。一般的に言えば、このようにして撮影された写真は、補正すべき厳しい遠近歪みの影響を受ける。

デジタルカメラで撮影した紙シートに描画された物体の遠近歪みを補償する方法が、欧州特許出願ＥＰ１９４７６０５に開示されている。この先行文献において請求項１の前文に記載された開示によれば、この方法は、以下の動作に従って、シートの角に境界マーカを有する紙の矩形のシートの画像を処理する。
全ての境界マーカを囲む最小の矩形を計算する。
幾何学的変換を構築して境界マーカの位置を矩形の対応する位置にマッピングする。
取り込まれた画像を幾何学的変換に変換する。

この従来の方法は、ノートブック又はアジェンダの２つの隣接するページにわたって描かれた図の写真の遠近歪みを補正することはできない。この状況では、２つの隣接するページは、典型的には同じ平面上に存在せず、従来のアルゴリズムは以下のいずれかの理由で不十分である。
２つの隣接するページが一緒に撮影され、２つの隣接するページのナックルラインの周りの遠近歪みが補正されずに残るか、又は
その時に一方のページが撮影され、２つの隣接するページにまたがる手書きのメモ又は図は、単一の写真として撮影されない。

両方のページにまたがる手書きメモ又は図を含むノートブック又はアジェンダの２つの隣接するページの写真の遠近歪みを補正することができるアルゴリズムが依然として必要である。

欧州特許出願ＥＰ１９４７６０５

本発明者らは、ノートブック又はアジェンダの２つの隣接するページを描画する歪みデジタル画像を処理する方法を見出し、各ページは主マーカ及び複数の従属マーカを有し、全てのマーカはページの境界に少なくとも名目アスペクト比を有する矩形の頂点として配置され、ノートブック又はアジェンダの２つの隣接するページが同じ平面にないことに起因する遠近歪みを補正するように構成される。この方法は、単一のページが取り込まれた場合に第１の処理アルゴリズムを実行するか、又は２つの隣接するページを描画する歪みデジタル画像を処理する上記の方法を実行するために、処理されるべき歪みのある写真がノートブック又はアジェンダの単一のページを表すか、又は２つの隣接するページを表すかどうかを区別するようにさらに改良されてもよい。

一実施形態によれば、ノートブック又はアジェンダの１ページ又は２つの隣接するページに描かれた書込み又は図の選択画像を生成する方法が提供され、この方法は、
画像取り込み装置を用いてノートブック又はアジェンダの平面ページ又は２つの隣接する平面ページのいずれかの写真を撮影することにより歪み画像を取り込むステップと、
上記の方法を用いて歪み画像を処理し、補正画像を生成するステップと、
補正画像の中で、マーカに属するピクセル、描かれた書込み又は図に属するピクセル、及びノートブック又はアジェンダのページの未書込み部分に属するピクセルを区別するステップと、
補正画像から、描かれた書込み又は図に属するピクセルを選択するステップと、
を含む。

これらの方法は、ＰＣ、スマートフォン又はタブレットを用いてソフトウェアを介して実施することができる。

この開示によるハードカバーのノートブック及びハードカバーのアジェンダは、ノートブック又はアジェンダの両側を覆うための平面の前面カバー及び平面の背面カバーと、変形可能な背表紙と、ノートブック又はアジェンダが開いているときにノートブック又はアジェンダが開いている箇所の任意の２つの平面の隣接するページが実質的に湾曲することなくノートブック又はアジェンダのカバーを覆って平らになることを許容するように構成されたバインドを用いてカバーに製本された実質的に矩形のページと、を少なくとも備え、隣接するページの各ページは、ページの外側角にある主マーカ及び同じページの他の角に配置された複数の従属マーカを有し、２つの平面の隣接するページの主マーカは、ノートブック又はアジェンダのページのナックルラインの中間ポイントを基準として正反対の角に配置され、各ページの全てのマーカは、第１の名目アスペクト比を有する第１の矩形の頂点としてページの境界に配置され、平面のページの２つの隣接する平面のページのマーカは、第２のアスペクト比を有する第２の矩形を画定する。

一実施形態によれば、主マーカは、正方形の幅と高さよりも小さい相互距離にある、対になった２つの暗い正方形で構成され、従属マーカのそれぞれは、単一の暗い正方形であり、マーカは、明るい背景に配置される。

出願された請求項は、本明細書の不可欠な部分であり、参照により本明細書に組み込まれる。

本開示の一実施形態によるマーカを有するノートブックの２つの隣接するページを概略的に示す図である。 本開示の方法の一実施形態による遠近歪みを補正するために識別された幾何学的ポイントを示す図である。 ノートブックの２つの隣接するページにわたる図の遠近歪みを補正するための「ページの歪みを元に戻す」アルゴリズムの一実施形態のフローチャートである。 ノートブック又はアジェンダの１ページ又は２つの隣接ページに描かれた書込み又は図の選択画像を生成する方法の本開示による一実施形態のフローチャートである。 ノートブック又はアジェンダのページに印刷されたマーカの位置を特定するための本開示によるアルゴリズムの一実施形態のフローチャートである。 ピクセルのクラスタの同じ第２の統計モーメントを有する楕円がどのように決定されるかを概略的に示す図である。

ノートブックの２つの隣接する平面ページを描画する歪み画像から補正画像を生成するための本開示の方法を用いて実施されるアルゴリズムを、２つのページが同じ平面にないことに起因する明らかな遠近歪みを有するノートブックの２つの隣接する平面ページの写真を描画する図１を参照して説明する。

ノートブックの各ページは、限定されない例では、明るい背景に印刷された、対になった２つの暗い正方形（左ページの上部外側角と右ページの下部外側角）で構成された主マーカを有する。任意選択により、対の暗い正方形の中心は、正方形の幅及び高さよりも小さい相互距離にある。主マーカは、典型的には、ノートブックの任意の２つの隣接するページの正反対の外側角に対応して配置され得る。各ページは、複数の従属マーカも有し、限定されない例では、既知の予め設定されたアスペクト比を有する矩形を画定するように、他の角に配置され明るい背景に印刷された単一の暗い正方形である。

図１に示すマーカを検出し、検出したマーカを手書きのメモや図と区別するのを簡単にするために、マーカは暗い正方形で実現される。あまり好ましくない実施形態によれば、各ページの主マーカ及び従属マーカは、例えば、先行文献ＥＰ１９４７６０５のように、異なる形状を有するか、又は異なるシンボルで作られる。それでも、この後者のケースでは、マーカの位置を特定することは難しく、ユーザがマーカから離れて書くように気を付けなければ、描かれた図の一部として間違って認識されやすくなる。

典型的には、ノートブックのページは、手書きメモを作成したり隣接する両方のページにまたがる図を描いたりすることが容易となるように、ノートブックの対のカバーを覆って平らに置くことを可能とするバインドを用いて製本される。一方の手でノートブックを保持し、他方の手でデジタル画像取り込み装置（スマートフォンなど）を保持して、両方のページの写真を撮影すると、２つの隣接するページは同じ平面にはなく、図１のような歪み画像が取り込まれる。

本開示の方法によれば、歪み画像の遠近歪みを補正するために実行される第１の動作は、各ページにおける従属マーカ及び主マーカの位置を特定することである。当業者は、例えばパターン認識アルゴリズムのような、このタスクを達成するための多数の既知の方法が存在することを理解するであろう。

明るい背景に印刷された暗い正方形の位置を特定するために特に設計された革新的なアルゴリズムが以下に開示される。本開示の方法の特に有効な実施形態によれば、マーカの位置を特定する動作は、この革新的なアルゴリズムによって実行される。

隣接する両方のページのマーカが認識されると、本開示の方法に従って、マーカによって決定される特定の基準線が特定される。すなわち、
上部エッジライン３、４；ライン３は、左ページの左上角に配置されたマーカ（以下、左ページの「上部外側マーカ」という）と、左ページの右上角に配置されたマーカ（以下、左ページの「上部内側マーカ」という）とを通過する。ライン４は、右ページの右上角に配置されたマーカ（以下、右ページの「上部外側マーカ」という）と、右ページの左上角に配置されたマーカ（以下、右ページの「上部内側マーカ」という）とを通過する。それぞれの上部外側マーカ及びそれぞれの上部内側マーカを通過する２つの上部エッジラインは、上部クロスポイント７で互いに交差する。
下部エッジライン５、６；ライン５は、左ページの左下角に配置されたマーカ（以下、「下部外側マーカ」という）と、左ページの右下角に配置されたマーカ（以下、左ページの「下部内側マーカ」という）とを通過する。ライン６は、右ページの右下角に配置されたマーカ（以下、右ページの「下部外側マーカ」という）と、右ページの左下角に配置されたマーカ（以下、右ページの「下部内側マーカ」という）とを通過する。それぞれの下部外側マーカ及びそれぞれの下部内側マーカを通過する２つの下部エッジラインは、下部クロスポイント８で互いに交差する。
上部サイドライン１；
下部サイドライン２；
クロスポイント７及び８を通過し、上部ターゲットポイント９及び下部ターゲットポイント１０でそれぞれ上部サイドライン１及び下部サイドライン２と交差するナックルライン。
遠近歪みを補正するためのアルゴリズムがどのように働くかをよりよく理解するために、図１の写真に対応する図２の幾何学的表現を参照する。
Ａ及びＦは、上部外側マーカである。
Ｃ及びＥは、下部外側マーカである。
Ｂは、上部エッジラインＡＢ及びＦＢの上部クロスポイントである。
Ｄは、下部エッジラインＣＤ及びＥＤの下部クロスポイントである。
ＡＦは、上部サイドラインである。
ＣＥは、下部サイドラインである。
ＢＤ（又はＧＨ）は、ナックルラインを特定する。
Ｇは、ナックルラインが上部サイドラインと交差する上部ターゲットポイントである。
Ｈは、ナックルラインが下部サイドラインと交差する下部ターゲットポイントである。
ＡＣ及びＥＦは、それぞれの上部外側マーカ及び下部外側マーカを通過する外側エッジラインである。

取り込まれたページは実質的に平面であるので、外側エッジラインＡＣ及びＥＦは、互いに実質的に平行であり、ナックルラインＢＤに平行であると適正に仮定され得る。

本開示のアルゴリズムの一実施形態によれば、中心固定変換ポイントＯは、ナックルラインＧＨに属するポイントとして決定され、下部クロスポイントＤからの距離ＯＤと下部ターゲットポイントＨからの距離ＯＨとの比は、上部クロスポイントＢからの距離ＯＢと上部ターゲットポイントＧからの距離ＯＧとの比に等しく、ＯＤ／ＯＨ＝ＯＢ／ＯＧとなる。

アルゴリズムは、取り込まれた各ページについて、それぞれの外側エッジラインＡＣ又はＦＥに属するそれぞれの外側固定変換ポイントＸ１又はＸ２を、下部外側マーカＣ又はＥからの距離Ｘ１Ｃ又はＸ２Ｅと上部外側マーカＡ又はＦからの距離Ｘ１Ａ又はＸ２Ｆとの比が下部クロスポイントＤから中心固定変換ポイントＯまでの距離ＯＤと上部クロスポイントＢから中心固定変換ポイントＯまでの距離ＯＢとの比に等しくなるポイントとして決定し、Ｘ１Ｃ／Ｘ１Ａ＝ＯＤ／ＯＢ＝Ｘ２Ｅ／Ｘ２Ｆとなる。アルゴリズムは、中心固定変換ポイントＯとそれぞれの外側固定変換ポイントＸ１又はＸ２とを結ぶそれぞれの固定変換セグメントＯＸ１又はＯＸ２を決定する。

それぞれの固定変換セグメントＯＸ１又はＯＸ２とそれぞれの上部／下部エッジラインとの間に含まれるページ領域にある取り込まれた各ピクセルＰについて、対応する中間ピクセルＰ１が、画像伸長アルゴリズムに従って決定され、画像伸長アルゴリズムは、外側エッジラインＡＣ又はＦＥの全てのポイント、及び、固定変換セグメントＯＸ１又はＯＸ２の全てのポイントを変えずに、ナックルラインを延長して上部／下部クロスポイント（Ｂ又はＤ）を上部／下部ターゲットポイント（Ｇ又はＨ）に移動させ、且つ上部／下部エッジライン（ＡＢ又はＣＤ）を上部／下部サイドライン（ＡＦ又はＣＥ）に変換するように、ページ領域にあるポイントをマッピングする。

一般に、この動作には任意の画像伸長アルゴリズムを使用することができる。本出願人は、優れた結果を提供する特に効果的な画像伸長アルゴリズムを見出し、画像伸長アルゴリズムは、以下のステップを含む。
相対固定ポイントＯ１においてそれぞれの固定変換セグメントＯＸ１と交差し、相対上部／下部ポイントＫ１又はＬ１においてそれぞれの上部／下部エッジラインと交差し、相対上部／下部ターゲットポイントＫ又はＬにおいてそれぞれの上部／下部サイドラインと交差する、取り込まれたピクセルＰを通過するナックルラインに対する平行ラインＫ１Ｏ１を決定するステップと、
対応する中間ピクセルＰ１を、相対固定ポイントＯ１からの距離Ｐ１Ｏ１と相対固定ポイントＯ１から取り込まれたピクセルＰまでの距離ＰＯ１との間の比が、相対固定ポイントＯ１から相対上部／下部ターゲットポイントまでの距離と相対固定ポイントＯ１から相対上部／下部ポイントまでの距離との比と等しく、Ｐ１Ｏ１／ＰＯ１＝ＫＯ１／Ｋ１Ｏ１となるように、決定するステップ。

どのような画像伸長アルゴリズムが使用されても、中間ピクセルＰ１から構成され、底辺が外側ラインＡＣ及びＦＥであり側辺がサイドラインＡＦ及びＣＥである案内台形を有する中間画像が得られる。

最後に、案内台形の底辺を基準として保ちながら予め設定された名目アスペクト比を有する矩形に案内台形を変換するように構成された遠近補正アルゴリズムを用いて、中間画像のピクセルを処理することによって、補正画像の補正ピクセルの位置を決定することにより、元々撮影された歪み画像に対応する補正画像が得られる。

台形を予め設定されたアスペクト比の矩形に変換するように構成された遠近補正アルゴリズムは、当該技術分野において周知である。当業者であれば、同じ動作を実行することができる多数の他の代替アルゴリズムを容易に特定することができるが、一例として、ＡＢＢＹＹ Ｐｒｏｄｕｃｔｉｏｎ ＬＬＣによって開発された台形形状を矩形形状に変換するための遠近補正アルゴリズムについて言及することが可能であり、以下のウェブページに例示されている。
ｈｔｔｐ：／／ｗｗｗ．ａｂｂｙｙ．ｃｏｍ／ｍｏｂｉｌｅ＿ｉｍａｇｉｎｇ＿ｓｄｋ／ｄｅｓｃｒｉｐｔｉｏｎ／＃ｆｕｎｃｔｉｏｎ２６

任意選択により本開示による上記の画像伸長アルゴリズムに含まれる計算を単純化するために、画像伸長アルゴリズムを実行する前に、ナックルライン及び外側エッジラインを垂直方向に向けるために歪み画像を回転させて、次いで画像伸長アルゴリズムを実行した後に逆回転を適用する。この実施形態に従って実行される全てのステップは、図３のフローチャートに要約される。

本開示の方法は、ユーザが「縦向き写真」（単一のページ）を撮影したか、又は「横向き写真」（２つの隣接するページ）を撮影したかどうかを認識して、ノートブック又はアジェンダの２つの隣接するページ又は単一のページの写真を表す歪み画像を管理するために、さらに改善されてもよい。

本開示の方法の一実施形態によれば、各ページは１つの主マーカのみを含むので、補正すべき歪み画像に取り込まれた主マーカの数がカウントされる。２つの主マーカが検出された場合、アルゴリズムは上記のように継続し、そうではなく、歪み画像に１つの主マーカのみが検出された場合、ノートブック又はアジェンダの取り込まれた単一のページの中間画像は、
取り込まれたページに属する従属マーカの主マーカに対する相対的な位置を決定し、取り込まれたページのマーカのうちの２つの上部マーカを結ぶ上部エッジライン、取り込まれたページのマーカのうちの２つの下部マーカを結ぶ下部エッジライン、取り込まれたページのマーカのうちの２つの外側マーカを結ぶ外側エッジライン、取り込まれたページのマーカのうちの２つの内側マーカを結ぶ内側エッジライン、を決定するステップであって、外側エッジラインは、下部外側マーカ及び上部外側マーカのそれぞれに対応して下部エッジライン及び上部エッジラインと交差する、ステップと、
中間画像を歪み画像の取り込まれたピクセルを含む画像として決定し、上部エッジライン、下部エッジライン、外側エッジライン及び内側エッジラインからなる案内台形を決定するステップと、
によって得られる。

最後に、台形形状を矩形形状に変換するための遠近補正アルゴリズムを適用して補正画像を生成する。

補正画像が得られると、未書込み領域又はマーカに属する背景ピクセルをフィルタリングで除去することによって、ノートブック又はアジェンダに作成された書込み又は図の選択画像を生成する（以下、「切り取り」動作という）ことができる。

任意選択として、輝度やコントラストのチューニング、色の調整、ノイズの除去など、選択した書込み又は図の品質を向上させるための他の動作を実行することができる。例えばＡＢＢＹＹ Ｐｒｏｄｕｃｔｉｏｎ ＬＬＣによって開発されたアルゴリズムのような、これらの動作を実行するように構成された多数のアルゴリズムが利用可能であり、以下のウェブページに示されている。
ｈｔｔｐ：／／ｗｗｗ．ａｂｂｙｙ．ｃｏｍ／ｍｏｂｉｌｅ＿ｉｍａｇｉｎｇ＿ｓｄｋ／ｄｅｓｃｒｉｐｔｉｏｎ／

単一の平面ページ又は２つの隣接する平面ページを表し得る歪み画像を補正するための本開示の方法の別の実施形態のフローチャートが図４に示されている。１又は２ページを表す歪み画像から補正画像を生成するアルゴリズムは、フローチャートにおいて「ページの歪みを元に戻す」と呼ばれる。図４によれば、ユーザがマーカの検出を無視することを決定した場合、又はマーカの検出が不可能であった場合、「ページの歪みを元に戻す」アルゴリズムは実行されないことがある。図４のフローチャートで述べた様々な動作を以下に列挙する。

１．１．マーカの検出及び向きの検出 画像のマーカを検索し、ページの向き、すなわち横向き（２ページ）又は縦向き（１ページ）を検出する。本開示に従ってこの動作を実行する特に効果的な方法を以下に詳細に説明する。

１．２．切り取り 背景を切り取ることができるように、背景に対するドキュメントのエッジを決定する。切り取られるべき領域の座標を提供する（四角形の４つの角）。［ｈｔｔｐ：／／ｗｗｗ．ａｂｂｙｙ．ｃｏｍ／ｍｏｂｉｌｅ＿ｉｍａｇｉｎｇ＿ｓｄｋ／ｄｅｓｃｒｉｐｔｉｏｎ／＃ｆｕｎｃｔｉｏｎ１５］

１．３．ページの歪みを元に戻す 結果の画像が平面のページで見開き表示されるように画像を補正する。

１．４．アライメント及び遠近補正及び切り取り

１．４．１．遠近補正 遠近歪みを補正する（台形形状から矩形へ）
［ｈｔｔｐ：／／ｗｗｗ．ａｂｂｙｙ．ｃｏｍ／ｍｏｂｉｌｅ＿ｉｍａｇｉｎｇ＿ｓｄｋ／ｄｅｓｃｒｉｐｔｉｏｎ／＃ｆｕｎｃｔｉｏｎ２６］

１．４．２．アライメント及び切り取り １．２を参照のこと。

１．５．自動コントラスト 輝度及びコントラストの自動チューニング
［ｈｔｔｐ：／／ｗｗｗ．ａｂｂｙｙ．ｃｏｍ／ｍｏｂｉｌｅ＿ｉｍａｇｉｎｇ＿ｓｄｋ／ｄｅｓｃｒｉｐｔｉｏｎ／＃ｆｕｎｃｔｉｏｎ１３］

１．６．カラーフィルタ カラードキュメントを処理するための機能のグループを結合する。動作は、輝度及びコントラストの自動調整、ドキュメントの背景を白くチューニングする、という順序で適用される。
［ｈｔｔｐ：／／ｗｗｗ．ａｂｂｙｙ．ｃｏｍ／ｍｏｂｉｌｅ＿ｉｍａｇｉｎｇ＿ｓｄｋ／ｄｅｓｃｒｉｐｔｉｏｎ／＃ｆｕｎｃｔｉｏｎ６］

１．７．スパイショット ぼやけており、焦点が合っていない、暗い写真を処理するための機能のグループを結合する。動作は、ノイズ除去、輝度の減少、輝度及びコントラストの調整の順序で適用される。
［ｈｔｔｐ：／／ｗｗｗ．ａｂｂｙｙ．ｃｏｍ／ｍｏｂｉｌｅ＿ｉｍａｇｉｎｇ＿ｓｄｋ／ｄｅｓｃｒｉｐｔｉｏｎ／＃ｆｕｎｃｔｉｏｎ９］

主マーカが、対になった２つの暗い正方形で作成され、従属マーカのそれぞれが明るい背景に対して単一の暗い正方形で構成される場合に、歪み画像の全てのマーカの位置を特定するための特に効果的なアルゴリズムについて、以下、図５のフローチャート及び図６に示された楕円を参照して説明する。

このアルゴリズムは、歪み画像に取り込まれたマーカを検出することを意図しており、以下のステップを含む。

１．１．入力画像（すなわち、歪み画像）は、背景に対するマーカのコントラストを最大にするために前処理の対象とすることができる。このステップは、マーカの位置を特定する動作を簡略化するのに役立ち得る。前処理は、例えば、画像ヒストグラムを使用した、適応照明補正及び画像強度補正を含むことができる。適応照明補正は、局所平均強度値を点ごとに計算し、続く画像強度アライメントをこの値に関して実行することによって実行することができる。さらに、画像強度補正は、画像の輝度ヒストグラムを使用して、例えば、画像の輝度ヒストグラムをグレースケールの全範囲にわたって「伸長する」ためのアルゴリズムを用いて実行することができる。
［ｈｔｔｐ：／／ｉｍａｇｅｐｒｏｃｅｓｓｉｎｇｂｌｏｇ．ｃｏｍ／ｈｉｓｔｏｇｒａｍ−ａｄｊｕｓｔｍｅｎｔｓ−ｉｎ−ｍａｔｌａｂ−ｐａｒｔ−ｉ］

１．２．画像２値化、例えば、いわゆる大津の２値化は、連結成分（セグメント）（値０）と背景（値１）とを分離する。このステップは、取り込まれた画像の対応するピクセルの強度を閾値と比較することによって、ピクセルが高輝度又は低輝度のいずれかを有する白黒２値画像を決定することを可能にする。白黒２値画像では、白又は黒のピクセルによって囲まれた黒又は白の連結ピクセルのグループの位置を特定することが可能である。マーカに対応するピクセルの連結されたグループを選択するためには、さらなる処理手順が必要である。

１．３．フィルタリングの第１の段階は、サンプル平均及びサンプル分散など、ピクセルの連結されたグループの組の統計的特性の計算を必要としないステップから構成されていてもよい。ピクセルの連結されたグループ（黒／白ピクセルの連結されたグループへの白／黒ピクセル）における最終的な存在及び穴の数は、いわゆるオイラー数を計算することによって決定され得る（参照により本明細書に組み入れられるＲ． Ｃ． Ｇｏｎｚａｌｅｚ ａｎｄ Ｒ． Ｅ． Ｗｏｏｄｓ （２００２）， Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ， ｐ． ６６１又はｈｔｔｐ：／／ｗｗｗ．ｍａｔｈｗｏｒｋｓ．ｃｏｍ／ｈｅｌｐ／ｉｍａｇｅｓ／ｒｅｆ／ｂｗｅｕｌｅｒ．ｈｔｍｌを参照のこと）。ピクセルの連結されたグループの穴を埋めることで、ピクセルの連結されたグループのそれぞれにおける２値画像の最終的な穴が無くなり、特に明るい背景に印刷された暗い正方形で作成されている場合にマーカの特定を容易にすることが可能となる。
［ｈｔｔｐ：／／ｗｗｗ．ｍａｔｈｗｏｒｋｓ．ｃｏｍ／ｈｅｌｐ／ｉｍａｇｅｓ／ｒｅｆ／ｉｍｆｉｌｌ．ｈｔｍｌ］

１．４．任意選択により、メジアンフィルタリングの手段によって画像の単一点ノイズを除去することが可能である。非常に広い領域にまたがっているためにマーカを明示できないピクセルの連結されたグループを特定するためには、マーカに属するピクセルの連結されたグループの予想される領域に領域が近いピクセルの連結されたグループを残しながら、マーカを構成する暗い正方形の所与の画像サイズに対する予想される領域の値について許容範囲外の領域を有する２値画像のピクセルの連結されたグループを除去することが適切であり得る。

１．５．連結された成分輪郭の第２のモーメントを計算し、同じ第２のモーメントを有する楕円の軸の長さを決定し、半軸の長さの比を計算することによって、延長されたピクセルの連結されたグループの除去（図６参照）を実行することができる。アルゴリズムは、これらの連結成分を除去し、半長軸長さと半短軸長さとの間の比が閾値を超える。
［ｈｔｔｐ：／／ｗｗｗ．ｍａｔｈｗｏｒｋｓ．ｃｏｍ／ｈｅｌｐ／ｉｍａｇｅｓ／ｒｅｆ／ｒｅｇｉｏｎｐｒｏｐｓ．ｈｔｍｌ＃ｂｑｋｆ８ｊｂ］

１．６．任意選択により、マーカを構成する暗い正方形をより迅速に特定するために、閾値手段を用いて、低すぎる程度を有するピクセルの連結されたグループの除去を実行することが可能であり得る。ピクセルの連結されたグループの境界矩形が決定され、ピクセルの連結されたグループの面積と境界矩形の面積との比が計算され得る。この比率は、マーカが暗い正方形で作成されているため、マーカの単位に近いと仮定される。

１．７．フィルタリングの第２の段階は、連結成分の組の統計的特性を使用することができる。連結成分を領域別にフィルタリングする場合には、Ｋ平均法クラスタによって２つのクラスタに分割された連結成分の領域の組が計算される。
［ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｋ−ｍｅａｎｓ＿ｃｌｕｓｔｅｒｉｎｇ］
起こり得る遠近歪みが領域を大きく変更しないので、原画像の全てのマーカは同じクラスタ内に存在すると仮定される。平均が大きいクラスタが選択される。このクラスタに属するピクセルの連結されたグループは、画像に保持される。

１．８．原画像のマーカは平均強度が低い。フィルタリングは、以下の方法で行うことができる。ピクセルの連結された各グループは、初期画像の対応する領域を特定する。領域の平均強度値は、フィルタリングの間に計算される。この値が指定された閾値を超えると、このピクセルの連結されたグループが削除される。このフィルタリングは、この値が閾値よりも小さいピクセルの連結されたグループを残す。典型的には、この閾値は動的に計算することができる。

１．９．原画像の成分近傍強度の平均値による連結成分のフィルタリングは、前のステップと同様に行うことができる。このステップでは、ピクセルの連結されたグループを囲む隣接ピクセルの平均強度が決定される。近傍の平均強度値は、連結成分の輪郭形状によって定義される。マーカは対照的な背景を有すると仮定されるので、ピクセルの各グループの近傍の平均強度は、典型的には動的に計算され得る特定の閾値を上回るはずである。したがって、この閾値よりも小さい平均強度を有するピクセルの連結されたグループは除去される。このステップの最後に、マーカを構成する暗い正方形が特定される。

１．１０．マーカの暗い正方形が特定されると、画像の向きを補正するために、主マーカを従属マーカと区別することができる。主マーカを構成する対の暗い正方形を決定するために、ピクセルの連結されたグループの中心が決定される。ピクセルの２つの連結されたグループは、それらグループ間の距離がピクセルの２つの連結されたグループの平均幅及び平均高さよりも小さい場合、主マーカを形成する。

本開示の方法の出力は、遠近歪みが補正された取り込まれたページの補正画像である。この補正画像は、書込み又は図に属するピクセルのみを含む選択画像を生成し、マーカに属するピクセルとページの未書込み部分（背景）とをフィルタリングで除去する周知の画像処理技術に従って処理することができる。

本開示の方法の様々な実施形態は、コンピュータによって実行されるソフトウェアコードを介して実施することができる。一実施形態によれば、ソフトウェアコードは、スマートフォン又はタブレットコンピュータによって実行可能な「アプリケーション」であり、任意選択により、スマートフォン又はタブレットコンピュータが、補正画像又は選択画像を画像ファイルとして通信ハブ及び／又はクラウドネットワークのサーバに送信することができるように構成することができる。

Claims (10)

1. 主マーカと複数の従属マーカとを有する少なくとも１つの平面ページを描画する歪み画像から補正画像を生成する方法であって、前記ページの境界に配置された前記ページの全ての前記マーカが、第１の名目アスペクト比を有する第１の矩形の頂点を画定し、前記方法は、
   ａ）前記歪み画像の中で、取り込まれた従属マーカ及び取り込まれた主マーカの位置を特定する動作と、
   ｂ）幾何学的変換を決定して、前記歪み画像の取り込まれたピクセルに対応する、前記補正画像の補正されたピクセルの位置をマッピングする動作と、
   ｃ）前記ｂ）の動作で決定された前記位置に前記補正されたピクセルを含む前記補正画像を生成する動作と、を含む方法において、
   前記平面ページの２つの隣接する平面ページの前記マーカは、第２のアスペクト比を有する第２の矩形を画定し、前記歪み画像は、ノートブック又はアジェンダの２つの隣接する平面ページを描画し、前記ｂ）の動作は、
   ｂ３）以下の処理を通じて、前記ノートブック又はアジェンダの前記２つの隣接するページの中間画像を生成するステップであって、前記以下の処理は、
   前記２つの隣接するページの取り込まれた各ページについて、前記取り込まれたページに属する従属マーカの前記主マーカに対する相対位置を決定し、前記取り込まれたページの前記マーカのうちの２つの上部マーカを結ぶ上部エッジライン（ＡＢ；ＦＢ）、前記取り込まれたページの前記マーカのうちの２つの下部マーカを結ぶ下部エッジライン（ＣＤ；ＥＤ）、前記取り込まれたページの前記マーカのうちの２つの外側マーカを結ぶ外側エッジライン（ＡＣ；ＦＥ）、前記２つの隣接するページの前記マーカのうちの２つの上部外側マーカを結ぶ上部サイドライン（ＡＦ）、前記２つの隣接するページの前記マーカのうちの２つの下部外側マーカを結ぶ下部サイドライン（ＣＥ）、前記２つの隣接するページの前記上部エッジライン（ＡＢ；ＦＢ）の間の上部クロスポイント（Ｂ）、前記２つの隣接するページの前記下部エッジライン（ＣＤ；ＥＤ）の間の下部クロスポイント（Ｄ）、前記上部クロスポイント（Ｂ）及び前記下部クロスポイント（Ｄ）を通過する前記２つの隣接するページのナックルライン（ＢＤ）、前記ナックルライン（ＢＤ）と前記上部サイドライン（ＡＦ）との間の交差ポイントとしての上部ターゲットポイント（Ｇ）、前記ナックルライン（ＢＤ）と前記下部サイドライン（ＣＥ）との間の交差ポイントとしての下部ターゲットポイント（Ｈ）、を決定する処理であって、前記外側エッジライン（ＡＣ；ＦＥ）は、下部外側マーカ（Ｃ；Ｅ）及び上部外側マーカ（Ａ；Ｆ）に対応して前記下部エッジライン（ＣＤ；ＥＤ）及び前記上部エッジライン（ＡＢ；ＦＢ）とそれぞれ交差する、処理、
   前記ナックルライン（ＢＤ）に属する中心固定変換ポイント（Ｏ）を、前記下部クロスポイント（Ｄ）からの距離（ＯＤ）と前記下部ターゲットポイント（Ｈ）からの距離（ＯＨ）との比が、前記上部クロスポイント（Ｂ）からの距離（ＯＢ）と前記上部ターゲットポイント（Ｇ）からの距離（ＯＧ）との比に等しくなるポイントとして決定する処理、
   前記２つの隣接するページの取り込まれた各ページについて、それぞれの前記外側エッジライン（ＡＣ；ＦＥ）に属するそれぞれの外側固定変換ポイント（Ｘ１；Ｘ２）を、前記下部外側マーカ（Ｃ；Ｅ）からの距離（Ｘ１Ｃ；Ｘ２Ｅ）と前記上部外側マーカ（Ａ；Ｆ）からの距離（Ｘ１Ａ；Ｘ２Ｆ）との比が、前記下部クロスポイント（Ｄ）から前記中心固定変換ポイント（Ｏ）までの前記距離（ＯＤ）と前記上部クロスポイント（Ｂ）から前記中心固定変換ポイント（Ｏ）までの前記距離（ＯＢ）との比に等しくなるポイントとして決定し、前記中心固定変換ポイント（Ｏ）とそれぞれの前記外側固定変換ポイント（Ｘ１；Ｘ２）とを結ぶそれぞれの固定変換セグメント（ＯＸ１；ＯＸ２）を決定し、それぞれの前記固定変換セグメント（ＯＸ１；ＯＸ２）とそれぞれの前記上部／下部エッジライン（ＡＢ／ＣＤ；ＦＢ／ＥＤ）との間に含まれるページ領域にある取り込まれた各ピクセル（Ｐ）について、対応する中間ピクセル（Ｐ１）を画像伸長アルゴリズムに従って決定する処理であって、前記画像伸長アルゴリズムは、前記外側エッジライン（ＡＣ；ＦＥ）の全てのポイント、及び、前記固定変換セグメント（ＯＸ１；ＯＸ２）の全てのポイントを変えずに、前記ナックルラインを延長して前記上部／下部クロスポイント（Ｂ；Ｄ）を前記上部／下部ターゲットポイント（Ｇ；Ｈ）に移動させ、且つ前記上部／下部エッジライン（ＡＢ；ＣＤ）を前記上部／下部サイドライン（ＡＦ；ＣＥ）に変換するように、前記ページ領域にあるポイントをマッピングする、処理、及び
   前記２つの隣接するページの前記中間ピクセル、並びに、前記上部サイドライン（ＡＦ）、前記下部サイドライン（ＣＥ）、及び前記外側エッジライン（ＡＣ；ＦＥ）から構成される案内四辺形を含む前記中間画像を決定する処理である、当該ステップと、
   ｂ４）前記第２の名目アスペクト比を有する矩形に前記案内四辺形を変換するように構成された遠近補正アルゴリズムを用いて前記中間画像のピクセルを処理し、前記外側エッジラインを基準側として、それに応じて前記四辺形の他のラインの長さを調整することによって、前記補正画像の補正されたピクセルの位置を決定するステップと、
   を経て実行されることを特徴とする方法。
2. 主マーカと複数の従属マーカとを有する少なくとも１つの平面ページを描画する歪み画像から補正画像を生成する方法であって、前記ページの境界に配置された前記ページの全ての前記マーカが、第１の名目アスペクト比を有する第１の矩形の頂点を画定し、前記方法は、
   ａ）前記歪み画像の中で、取り込まれた従属マーカ及び取り込まれた主マーカの位置を特定する動作と、
   ｂ）幾何学的変換を決定して、前記歪み画像の取り込まれたピクセルに対応する、前記補正画像の補正されたピクセルの位置をマッピングする動作と、
   ｃ）前記ｂ）の動作で決定された前記位置に前記補正されたピクセルを含む前記補正画像を生成する動作と、を含む方法において、
   前記平面ページの２つの隣接する平面ページの前記マーカは、第２のアスペクト比を有する第２の矩形を画定し、前記歪み画像は、ノートブック又はアジェンダの単一の平面ページ又は２つの隣接する平面ページを表すことができ、前記ｂ）の動作は、
   ｂ１）前記歪み画像で検出された取り込まれた主マーカの数をカウントするステップと、
   ｂ２）前記歪み画像で１つの主マーカのみが検出された場合、以下の処理を通じて、前記ノートブック又はアジェンダの単一の取り込まれたページの中間画像を決定するステップであって、前記以下の処理は、
   前記取り込まれたページに属する従属マーカの前記主マーカに対する相対位置を決定し、前記取り込まれたページの前記マーカのうちの２つの上部マーカを結ぶ上部エッジライン、前記取り込まれたページの前記マーカのうちの２つの下部マーカを結ぶ下部エッジライン、前記取り込まれたページの前記マーカのうちの２つの外側マーカを結ぶ外側エッジライン、前記取り込まれたページの前記マーカのうちの２つの内側マーカを結ぶ内側エッジライン、を決定する処理であって、前記外側エッジラインは、下部外側マーカ及び上部外側マーカのそれぞれに対応して前記下部エッジライン及び前記上部エッジラインと交差する、処理、及び
   前記歪み画像の取り込まれたピクセル、並びに、前記上部エッジライン、前記下部エッジライン、前記外側エッジライン、及び前記内側エッジラインから構成される案内四辺形を含む前記中間画像を決定する処理である、当該ステップと、
   ｂ３）前記歪み画像で２つの主マーカが検出された場合、以下の処理を通じて、前記ノートブック又はアジェンダの２つの隣接するページの中間画像を生成するステップであって、前記以下の処理は、
   前記２つの隣接するページの取り込まれた各ページについて、前記取り込まれたページに属する従属マーカの前記主マーカに対する相対位置を決定し、前記取り込まれたページの前記マーカのうちの２つの上部マーカを結ぶ上部エッジライン（ＡＢ；ＦＢ）、前記取り込まれたページの前記マーカのうちの２つの下部マーカを結ぶ下部エッジライン（ＣＤ；ＥＤ）、前記取り込まれたページの前記マーカのうちの２つの外側マーカを結ぶ外側エッジライン（ＡＣ；ＦＥ）、前記２つの隣接するページの前記マーカのうちの２つの上部外側マーカを結ぶ上部サイドライン（ＡＦ）、前記２つの隣接するページの前記マーカのうちの２つの下部外側マーカを結ぶ下部サイドライン（ＣＥ）、前記２つの隣接するページの前記上部エッジライン（ＡＢ；ＦＢ）の間の上部クロスポイント（Ｂ）、前記２つの隣接するページの前記下部エッジライン（ＣＤ；ＥＤ）の間の下部クロスポイント（Ｄ）、前記上部クロスポイント（Ｂ）及び前記下部クロスポイント（Ｄ）を通過する前記２つの隣接するページのナックルライン（ＢＤ）、前記ナックルライン（ＢＤ）と前記上部サイドライン（ＡＦ）との間の交差ポイントとしての上部ターゲットポイント（Ｇ）、前記ナックルライン（ＢＤ）と前記下部サイドライン（ＣＥ）との間の交差ポイントとしての下部ターゲットポイント（Ｈ）、を決定する処理であって、前記外側エッジライン（ＡＣ；ＦＥ）は、下部外側マーカ（Ｃ；Ｅ）及び上部外側マーカ（Ａ；Ｆ）に対応して前記下部エッジライン（ＣＤ；ＥＤ）及び前記上部エッジライン（ＡＢ；ＦＢ）とそれぞれ交差する、処理、
   前記ナックルライン（ＢＤ）に属する中心固定変換ポイント（Ｏ）を、前記下部クロスポイント（Ｄ）からの距離（ＯＤ）と前記下部ターゲットポイント（Ｈ）からの距離（ＯＨ）との比が、前記上部クロスポイント（Ｂ）からの距離（ＯＢ）と前記上部ターゲットポイント（Ｇ）からの距離（ＯＧ）との比に等しくなるポイントとして決定する処理、
   前記２つの隣接するページの取り込まれた各ページについて、それぞれの前記外側エッジライン（ＡＣ；ＦＥ）に属するそれぞれの外側固定変換ポイント（Ｘ１；Ｘ２）を、前記下部外側マーカ（Ｃ；Ｅ）からの距離（Ｘ１Ｃ；Ｘ２Ｅ）と前記上部外側マーカ（Ａ；Ｆ）からの距離（Ｘ１Ａ；Ｘ２Ｆ）との比が、前記下部クロスポイント（Ｄ）から前記中心固定変換ポイント（Ｏ）までの前記距離（ＯＤ）と前記上部クロスポイント（Ｂ）から前記中心固定変換ポイント（Ｏ）までの前記距離（ＯＢ）との比に等しくなるポイントとして決定し、前記中心固定変換ポイント（Ｏ）とそれぞれの前記外側固定変換ポイント（Ｘ１；Ｘ２）とを結ぶそれぞれの固定変換セグメント（ＯＸ１；ＯＸ２）を決定し、それぞれの前記固定変換セグメント（ＯＸ１；ＯＸ２）とそれぞれの前記上部／下部エッジライン（ＡＢ／ＣＤ；ＦＢ／ＥＤ）との間に含まれるページ領域にある取り込まれた各ピクセル（Ｐ）について、対応する中間ピクセル（Ｐ１）を画像伸長アルゴリズムに従って決定する処理であって、前記画像伸長アルゴリズムは、前記外側エッジライン（ＡＣ；ＦＥ）の全てのポイント、及び、前記固定変換セグメント（ＯＸ１；ＯＸ２）の全てのポイントを変えずに、前記ナックルラインを延長して前記上部／下部クロスポイント（Ｂ；Ｄ）を前記上部／下部ターゲットポイント（Ｇ；Ｈ）に移動させ、且つ前記上部／下部エッジライン（ＡＢ；ＣＤ）を前記上部／下部サイドライン（ＡＦ；ＣＥ）に変換するように、前記ページ領域にあるポイントをマッピングする、処理、及び
   前記２つの隣接するページの前記中間ピクセル、並びに、前記上部サイドライン（ＡＦ）、前記下部サイドライン（ＣＥ）、及び前記外側エッジライン（ＡＣ；ＦＥ）から構成される案内四辺形を含む前記中間画像を決定する処理である、当該ステップと、
   ｂ４）前記歪み画像が単一の平面ページを表すか２つの隣接する平面ページを表すかに応じて前記第１の名目アスペクト比又は前記第２の名目アスペクト比を有する矩形に前記案内四辺形をそれぞれ変換するように構成された遠近補正アルゴリズムを用いて、前記中間画像のピクセルを処理し、前記外側エッジラインの１つを基準側として、それに応じて前記四辺形の他のラインの長さを調整することによって、前記補正画像の補正されたピクセルの位置を決定するステップと、
   を経て実行されることを特徴とする方法。
3. 前記案内四辺形が実質的に台形であり、台形の底辺が前記外側エッジラインの１つであり、前記画像伸長アルゴリズムが、
   相対固定ポイント（Ｏ１）においてそれぞれの前記固定変換セグメント（ＯＸ１；ＯＸ２）と交差し、相対上部／下部ポイント（Ｋ１；Ｌ１）においてそれぞれの前記上部／下部エッジライン（ＡＢ／ＣＤ；ＦＢ／ＥＤ）と交差し、相対上部／下部ターゲットポイント（Ｋ；Ｌ）においてそれぞれの前記上部／下部サイドライン（ＡＦ；ＣＥ）と交差する、前記取り込まれたピクセル（Ｐ）を通過する前記ナックルラインに対する平行ライン（Ｋ１Ｏ１）を決定するステップと、
   前記相対固定ポイント（Ｏ１）からの距離（Ｐ１Ｏ１）と前記相対固定ポイント（Ｏ１）から前記取り込まれたピクセル（Ｐ）までの距離（ＰＯ１）との間の比が、前記相対固定ポイント（Ｏ１）から前記相対上部／下部ターゲットポイント（Ｋ；Ｌ）までの距離（ＫＯ１）と前記相対固定ポイント（Ｏ１）から前記相対上部／下部ポイント（Ｋ１；Ｌ１）までの距離（Ｋ１Ｏ１）との比と等しくなるように、前記対応する中間ピクセル（Ｐ１）を決定するステップと、
   を含む、請求項１又は２に記載の方法。
4. 前記ナックルラインを垂直方向に向けるために前記歪み画像を回転させるステップをさらに含む、
   請求項１〜３のいずれか一項に記載の方法。
5. 前記主マーカが、正方形の幅及び高さよりも小さい相互距離にある、対になった２つの暗い正方形で構成され、前記従属マーカのそれぞれが、単一の暗い正方形であり、前記マーカが、明るい背景に配置され、前記ａ）の動作が、
   ａ１）前記歪み画像のピクセルの近傍のピクセルの局所平均強度値を点ごとに計算し、対応する前処理されたピクセルを決定するために前記局所平均強度値に関して画像強度アライメントを実行することによって実行される適応照明補正のアルゴリズムを用いて前記歪み画像を前処理するステップと、
   ａ２）前記歪み画像の対応する前処理されたピクセルの強度を閾値と比較することによって、ピクセルが高輝度又は低輝度のいずれかを有する白黒２値画像を決定するステップと、
   ａ３）前記白黒２値画像の連結されたピクセルのグループの位置を特定し、次いで前記白黒２値画像の前記連結されたピクセルのグループにおいて、前記連結されたピクセルの強度に対して反対の値の強度を有する、前記連結されたピクセルに囲まれた最終的なピクセルの位置を特定し、前記連結されたピクセルのグループが穴のない一様に埋められた領域として現れるように充填アルゴリズムを用いて前記反対の値を補正するステップと、
   ａ４）ピクセルの連結されたグループのそれぞれについて、２つの座標軸に沿った２次統計モーメントを決定し、同じ２次統計モーメントを有する対応する楕円の半軸の長さを決定し、次いで、前記楕円のそれぞれについて、楕円の半長軸長さと楕円の半短軸長さとの間の比を第２の閾値と比較し、前記第２の閾値を超えるか又は前記半短軸が第３の閾値よりも小さい対応するグループをフィルタリングで除去し、残りのグループを保持するステップと、
   ａ５）Ｋ平均法クラスタアルゴリズムを用いて、２つのクラスタのピクセルの位置を特定し最大の平均を有するクラスタに属するピクセルを保持するために、ａ４）のステップにおいて保持された前記グループに対応する前記歪み画像のピクセルを処理するステップと、
   ａ６）ａ５）のステップで保持された前記クラスタに属する連結されたピクセルのグループの位置を特定し、各グループの平均強度を第４の閾値と比較し、前記第４の閾値を超えたピクセルのグループをフィルタリングで除去し、前記第４の閾値を超えないピクセルのグループを保持するステップと、
   ａ７）ａ６）のステップで保持された前記連結されたピクセルのグループを囲む輪郭ピクセルの位置を特定し、各グループの前記輪郭ピクセルの平均強度を第５の閾値と比較し、前記第５の閾値を超えないピクセルのグループをフィルタリングで除去し、前記第５の閾値を超えたピクセルのグループを保持するステップであって、前記保持されたグループのピクセルは、前記取り込まれたページの前記マーカの前記暗い正方形に対応する、ステップと、
   ａ８）ａ７）のステップで保持された前記ピクセルのグループを処理し、ピクセルの前記グループのそれぞれの中心の位置を特定し、ピクセルの前記２つのグループの平均幅及び平均高さよりも小さい相互距離のピクセルの２つのグループを決定することによって、前記主マーカを前記従属マーカから区別するステップと、
   を経て実行される、請求項１〜４のいずれか一項に記載の方法。
6. 前記白黒２値画像を決定するステップの前に、ヒストグラム伸長アルゴリズムを用いて前記歪み画像のコントラストを強調するステップを含む、
   請求項５に記載の方法。
7. 前記ａ３）のステップの後且つ前記ａ４）のステップの前に、前記白黒画像のメジアンフィルタリングの手段によって単一点ノイズもフィルタリングで除去する動作、
   前記ａ３）のステップの後且つ前記ａ４）のステップの前に、前記連結されたピクセルのグループのそれぞれの面積も決定し、前記面積が第６の閾値を超える連結されたピクセルのグループをフィルタリングで除去する動作、及び
   前記ａ４）のステップの後且つ前記ａ５）のステップを実行する前に、前記連結されたピクセルのグループのそれぞれについて、囲み矩形、前記囲み矩形の面積、及び考慮する連結されたピクセルのグループの面積を決定し、前記囲み矩形の前記面積と前記考慮する連結されたピクセルのグループの前記面積との比が、約１の予め設定された範囲に含まれない連結されたピクセルのグループをフィルタリングで除去する動作、
   のうちの少なくとも１つの動作をさらに含む、請求項５に記載の方法。
8. ノートブック又はアジェンダの１ページ又は２つの隣接するページに描かれた書込み又は図の選択画像を生成する方法であって、前記ノートブック又はアジェンダは、前記ノートブック又はアジェンダの両側を覆うための平面の前面カバー及び平面の背面カバーと、変形可能な背表紙と、前記ノートブック又はアジェンダが開いているときに前記ノートブック又はアジェンダが開いている箇所の任意の２つの平面の隣接するページが実質的に湾曲することなく前記ノートブック又はアジェンダの前記カバーを覆って平らになるように構成されたバインドを用いて前記カバーに製本された矩形のページと、を少なくとも備え、前記隣接するページの各ページは、前記ページの外側角にある主マーカ及び同じページの他の角に配置された複数の従属マーカを有し、前記２つの平面の隣接するページの前記主マーカは、前記ノートブック又はアジェンダの前記ページのナックルラインの中間ポイントを基準として正反対の角に配置され、各ページの全ての前記マーカは、第１の名目アスペクト比を有する第１の矩形の頂点として前記ページの境界に配置され、前記平面のページの２つの隣接する平面のページの前記マーカは、第２のアスペクト比を有する第２の矩形を画定する、方法において、
   画像取り込み装置を用いてノートブック又はアジェンダの平面ページ又は２つの隣接する平面ページのいずれかの写真を撮影し、歪み画像を取り込むステップと、
   請求項２〜７のいずれか一項に記載の方法を用いて前記歪み画像を処理し、補正画像を生成するステップと、
   前記補正画像の中で、前記マーカに属するピクセル、前記描かれた書込み又は図に属するピクセル、及び前記ノートブック又はアジェンダの前記ページの未書込み部分に属するピクセルを区別するステップと、
   前記補正画像から前記描かれた書込み又は図に属する前記ピクセルを選択することによって前記選択画像を生成するステップと、
   を含む方法。
9. 前記選択画像を生成するステップの前に、ぼやけ補正、焦点外れ補正、輝度及び／又はコントラスト補正、並びにノイズ除去からなる組において選択されたアルゴリズムを用いて前記補正画像を処理するステップをさらに含む、
   請求項８に記載の方法。
10. ＰＣ又はスマートフォン又はタブレットコンピュータによって実行されると、請求項１〜９のいずれか一項に記載の方法ステップを実行するためのソフトウェアコードを備える、ＰＣ用のコンピュータプログラム、又は、スマートフォン若しくはタブレットコンピュータ用のモバイルアプリケーション。

Images