JP2023538857A - 画像トレーニングデータにおけるテキストコンテンツの匿名化 - Google Patents

Abstract

未修正の画像データをロードし、ロードされた画像データによって表される画像内の少なくとも２つの英数字文字を検出し（２４）、検出された英数字文字のうちの１つ以上を選択し（３２）、選択された英数字文字の数が検出された英数字文字の総数よりも小さく、ロードされた画像データの１つ以上の文字部分を除去することによってロードされた画像データを修正し（３３）、各文字部分は、選択された英数字文字の領域に対応し、修正画像データを保存する、画像データを修正するためのコンピュータ実施方法、対応するデータ処理システム、コンピュータプログラム製品およびコンピュータ可読記憶媒体。

Description

本発明は画像データを修正するためのコンピュータ実施方法に関し、より詳細には、本発明が画像データから機密個人情報を除去するためのコンピュータ実施方法に関する。詳細には、本発明は所与の画像データから、理想的には分散可能なトレーニング画像データを生成するためのコンピュータ実施方法に関する。所与の画像データは、機密個人情報を含むことができる。そのようなトレーニング画像データは、コンテンツ認識のためのシステムを改善するために使用することができる。本発明はまた、対応するデータ処理システム、対応するコンピュータプログラム製品、および対応するコンピュータ可読記憶媒体に関する。

特許文献１は、医用画像内の画像データを分析するための方法およびシステムを開示している。この方法の目的は、顔の骨格または頭部の医用画像における顔の特徴または顔の認識を防止することである。この方法は眼、鼻、唇、額線、顎線および耳の特徴を含む機密領域の匿名化に基づいており、これらの領域は自動的に認識される。匿名化は不可逆的に、ノイズによって、または可逆的に、幾何学的変換によって達成される。この方法は、機密性の高いテキストの個人情報を扱わない。加えて、このタイプの匿名化は、画像データをトレーニングに役立たなくする。

特許文献２は、画像コンテンツを匿名化するための装置および方法を開示している。この方法は、処理されていない状態および／または特徴を維持することを明確に求める。匿名化は、画像の特徴または部分を、機械によって生成される一般的であるが現実的に見える画像部分に置き換えることによって達成される。この方法は、テキストの特徴に特に適合されておらず、テキストを含む画像データにこの方法を適用する実行可能な開示はない。さらに、必要とされる機械生成された置換画像部分は、生成が事前のトレーニングを必要とするので、この方法を、トレーニングデータを生成するのに不適切にする。加えて、機械によって生成された一般的な画像部分は、トレーニングの有効性を低下させる。この刊行物は背景技術の部分においてのみ、ぼかしによる匿名化車両登録プレートの従来技術に言及している。これにより、関連する画像部分全体がトレーニングに役立たなくなる。具体的には、それはテキストコンテンツを除去するだけでなく、画像データ内の構造情報（例えば、文書レイアウトに関する）も破壊する。

特許文献３は、コンピュータ可読文書の処理のみに関する。前記コンピュータ可読文書は、以前に登録された機密情報について検索され、その後、認識不能にされる。これは、情報のカテゴリベースの選択を行うことを明示的に意図するものではない。いずれにしても、この刊行物は、画像データにおける文字認識に関心を持たず、または文字認識にも言及していない。

特許文献４は、文字データを匿名化するための１つの可能性として「文字シャッフリング」を開示している。しかしながら、画像データにおけるこれらの文字の先行認識とは関係なく、その結果、文字を表す画像データにはシャッフリングは適用されない。

特許文献５は顔画像へのいかなる接続もなしに、画像データを不明瞭にするための一般的な方法として、ぼかしの可能性を言及している。また、この刊行物は、画像データにおける文字認識と、認識された文字が機密の個人情報を含む可能性との接続を開示または取り扱っていない。

ＥＰ ３ １８８ ０５８ Ａ１ ＥＰ ３ ４５１ ２０９ Ａ１ ＵＳ ２０１４／０１３６９４１ Ａ１ ＥＰ ３ ６１４ ２９１ Ａ１ ＵＳ ２０２０／０２４４６２６ Ａ１

本発明の目的は、例えば、光学文字認識のためのシステムの効果的なトレーニングのために、画像データを依然として使用することができる一方で、含まれている情報から個人をトレースバックすることがより困難または不可能であるように、機密が書かれた（またはテキストの）個人情報を含むトレーニング画像を変換することである。

本発明は画像データを修正するためのコンピュータ実施方法を提案し、この方法は、
未修正の画像データをロードし、
ロードされた前記画像データによって表される画像内の少なくとも２つの英数字文字を検出し、
検出された英数字文字のうちの１つ以上を選択し、
選択される英数字文字の数は検出された英数字文字の総数よりも小さく、
ロードされた前記画像データの１つ以上の文字部分を除去することによって、ロードされた前記画像データを修正し、
各文字部分は、選択された英数字文字の領域に対応し、
修正された前記画像データを保存する。

本発明は、機密が書かれた個人情報の個々の文字がそれ自体、そのような機密情報を表すものではなく、それにもかかわらず、光学文字認識のためのシステムをトレーニングするのに有用であるという認識に基づいている。代わりに、任意の情報を「個人的」に、したがって潜在的に機密にすることに責任を負うコンテキスト（具体的には、先行および／または後続の文字）である。単一の文字の情報内容は、少数の個人グループを除いてトレーサビリティを回避するのに十分に小さい。したがって、機密個人情報を見直すことなく、この情報内容をそのまま残すことができる。開示された方法は、検出された英数字文字の総数よりも少ない数を選択することによって、画像データ内の少なくとも１つの個々の文字を変更しないままにすることを目的とする。結果として、修正された画像データは未修正画像データに適用されるときに、その性能を改善する（すなわち、その認識力を改善または拡張する）ために光学文字認識のためのシステムを効果的にトレーニングするために使用され得、一方、未修正の画像データ自体は、トレーニングを実行するために明らかにされる必要はない。本方法によって提供される修正画像データは機械学習に基づくシステム、特に、深層学習に基づくシステムなどのニューラルネットワークを含むシステムによって容易に使用することができるが、本方法は光学文字認識の任意の特定の実装にかかわらず有用である。例えば、それはまた、エキスパートシステムまたは他のタイプのシステムにフィードバックを提供するために使用され得る。

任意選択で、選択される英数字文字の数は、検出されたすべての英数字文字の１０％より多く、詳細には、３０％より多く、さらに詳細には、５０％より多い。任意選択で、選択される英数字文字の数は、検出されたすべての英数字文字の９０％より少なく、詳細には、７０％より少なく、さらに詳細には、６０％より少ない。例えば、選択された英数字文字の数は、検出された全ての英数字文字の約半分の数であってもよい。

開示される方法は、ロードされた画像データによって表される画像内の２つ以上の英数字文字を含む少なくとも１つの単語を検出し、検出された各単語の検出された英数字文字のうちの１つ以上を選択する、ことを含むことができる。単語を個別に処理し、それぞれから１つ以上の文字を選択することにより、どの単語も偶然にその元の内容を維持しないことが保証される。

このコンテキストにおいて、選択された文字の単語当たりの比率は、各単語の検出された英数字文字の１０％より多く、詳細には３０％より多く、さらに詳細には５０％より多く、および／または９０％より少なく、詳細には７０％より少なく、さらに詳細には６０％より少ない、から任意に選択することによって実施され得る。例えば、開示される方法は、各単語の検出された英数字文字の約半分の数を選択することを含んでもよい。

例えば、画像データによって表される文書のレイアウトを含む、画像データの元の構造のより多くを維持するために、開示される方法は、ロードされた画像データの除去された文字部分のうちの少なくとも１つを、選択されていない英数字文字の領域に対応するロードされた画像データの文字部分と置き換えることによって、ロードされた画像データを修正することを含み得る。このようにして、未修正画像データが書き込まれた部分によって伝達される情報コンテンツは、依然として大幅に破壊される。同時に、修正された画像データは、書き込まれた情報の位置及び分布のような一般的な構造情報を維持する。置換部分は同じ未修正画像データに由来するので、カラー、照明、およびコントラストなどの一般的なイメージング特性は修正画像データ全体にわたって正確に反映される。置換の間、置換部分の寸法は、置換される部分の寸法に調整されてもよい。

開示される方法の別の実施形態によれば、少なくとも１つの単語に属するロードされた画像データの除去された文字部分のうちの少なくとも１つを、除去された文字部分と同じ単語に属する選択されていない英数字文字の領域に対応するロードされた画像データの文字部分に置き換えることによって、ロードされた画像データを修正することを含み得る。このようにして、置換部分は、同じ未修正画像データからだけでなく、同じ単語からも生じることが保証される。これにより、一般的なイメージング特性の正確な再現がさらに改善され、また、置換部分と置換部分との間の同じ単語内で一致する可能性がさらに高い、特定のフォントおよび文字のサイズも改善される。

任意選択で、開示された方法はロードされた画像データの１つ以上の文字部分をシャッフルすることによってロードされた画像データを修正することを含むことができ、各文字部分は、選択されていない英数字文字の領域に対応する。この場合、維持された文字の位置によって伝達される情報も本質的に破壊される。これは、任意の機密情報が修正された画像データから再構成され得る可能性をさらに低下させる。これは、希少な個々の文字が検出され、文字の総数が比較的少ない場合に特に有用である。そのような場合、希少な個々の文字の存在および位置は完全な単語（例えば、名前）を識別するのに十分な情報を伝えることができる。したがって、本開示の範囲内で、上述のシャッフリングステップは特定のタイプの文字の検出時にオンデマンドで実行することができ、任意選択で、検出された文字の総数の下限と組み合わせることができ、その下でシャッフリングがトリガされる。

本方法の任意の実施形態によれば、少なくとも１つの単語に属する英数字文字に対応する文字部分のシャッフリングは、同じ単語内のシャッフリングに限定され得る。

本方法は任意選択で、ロードされた画像データによって表される画像内の少なくとも１つの顔を検出し、ロードされた画像データの１つ以上のポートレート部分を除去することによってロードされた画像データを修正し、各ポートレート部分は検出された顔の領域に対応し、好ましくは少なくとも１つの除去されたポートレート部分を、同じポートレート部分のぼかしたバージョンと置き換えることをさらに含み得る。この例は、書かれた情報および顔情報を含む画像データへの適用に特に有用である。そのような画像データの典型的な例は、パスポートまたはＩＤなどの本人確認書類の画像である。この場合、および同様に、以下に記載される他の場合には、ぼかしパラメータは、関連する部分を不可逆的に、すなわち、回復不可能な状態に変換するように選択される。

このコンテキストでは本方法が少なくとも１つの検出された顔をテンプレートとして使用して、ロードされた画像データによって表される画像内の少なくとも１つの追加の顔を検出し、ロードされた画像データの１つ以上の追加のポートレート部分を除去することによってロードされた画像データを修正することをさらに含むことができ、各追加のポートレート部分は検出された追加の顔の領域に対応し、好ましくは少なくとも１つの追加のポートレート部分を、同じ追加のポートレート部分のぼかしたバージョンと置き換える。追加の顔は例えば、顔のホログラフィックバージョン、例えば識別可能なホログラフィック顔であってもよい。テンプレートとして少なくとも１つの検出された顔を使用することにより、例えば、バージョンの本質的な特徴が欠落しているか、またはバージョンの画像カラーおよび／またはコントラストが著しく低下している場合であっても、未修正画像データにおいて同じ顔の（部分的に表された）バージョンをより確実に検出することが可能になる。

本方法は任意選択的に、ロードされた画像データによって表される画像内の少なくとも１つの書き込み署名を検出し、ロードされた画像データの１つ以上の署名部分を除去することによってロードされた画像データを修正することを含む。各署名部分は検出された書き込み署名の領域に対応し、好ましくは少なくとも１つの除去された署名部分を、同じ署名部分のぼかされたバージョンと置き換える。この例は、署名情報だけでなく、書き込まれた情報を含む画像データへの適用に特に有用である。そのような画像データの典型的な例は、完成したフォームまたは契約などの法的文書の画像である。

本方法は任意選択で、ロードされた画像データによって表される画像内の少なくとも１つの機械可読コードを検出し、ロードされた画像データの１つ以上のコード部分を除去することによってロードされた画像データを修正し、各コード部分が検出された機械可読コードの領域に対応し、好ましくは少なくとも１つの除去されたコード部分を、同じコード部分のぼかされたバージョンと置き換えることをさらに含み得る。この例は、機械可読コードと同様に、書き込まれた情報を含む画像データへの適用に特に有用である。そのような画像データの典型的な例は、送信者および／または受信者の潜在的に機密の個人情報を含む住所ラベルなどの、人間および機械が使用するためのラベルの画像である。

上記の目的を解決するために、本発明は、上記に開示された変形例のうちの１つ以上に従った手段を含むデータ処理システムも提案する。

冒頭で述べた目的を解決するために、本発明はまた、プログラムがコンピュータによって実行されるときに、コンピュータに、上記で開示された変形例のうちの１つ以上による方法を実行させる命令を含むコンピュータプログラム製品を提案する。

最後に、冒頭で述べた目的を解決するために、本発明はコンピュータによって実行されると、コンピュータに、上記で開示した変形例のうちの１つ以上による方法を実行させる命令を含むコンピュータ可読記憶媒体も提案する。

機密個人情報を含む未修正画像を概略的に示す。 本方法による処理後の修正画像を概略的に示す。 本開示による画像データを修正するためのコンピュータ実施方法の概要を概略的に示し、同じ未修正画像を変換し、修正画像データを得るために結合される異なるプロセスを含む。 機密テキスト領域の匿名化を担当する、図２に示されるプロセスのうちの１つを概略的に示す。 顔の匿名化を担当する図２に示されるプロセスのうちの１つを概略的に示す。 署名の匿名化を担当する、図２に示されるプロセスのうちの１つを概略的に示す。 バーコードまたはクイックレスポンス（ＱＲ）コードの匿名化を担当する、図２に示されるプロセスのうちの１つを概略的に示す。 多数の未修正画像を用いた本方法の適用を概略的に示す。 追加の顔を含む機密個人情報を含む未修正画像を概略的に示す。 本方法による処理後である、図８Ａに基づく修正画像を概略的に示す。

図面を参照するが、図面は本開示を例示するためのものであり、本開示を限定するためのものではない。

図１Ａは、個人ＩＤ文書の未修正画像１を示す。個人ＩＤ文書は文書タイプの表示２と、文書シリアル番号３と、名前４と、ポートレート５（すなわち、人の顔の画像、例えば写真）と、署名６と、文書によって識別される人の生年月日７とを含む。文書タイプを除き、この情報はすべて、機密性の高い個人情報である。したがって、画像１を表す画像データを自由に共有または配信することはできない。

ドキュメントの内容に加えて、図１Ａはまた、どの英数字文字が検出され、機密個人情報に関連するかを示す。各英数字文字は、画像の対応する文字部分８、９を含む。文字部分８、９には２つのタイプがあり、選択された文字部分８は破線のボックスとして示され、選択されていない文字部分９は実線のボックスとして示される。

図１Ｂは、以下に詳細に記載される方法に従った改変後の図１Ａと同じ個人ＩＤ文書の修正画像１０を示す。文書タイプの表示２は変更されないままである。文書シリアル番号３、名前４、および生年月日７を含む書き込み情報は、文書シリアル番号１１、名前１２、および生年月日１３の匿名化されたバージョンに置き換えられる。詳細には、選択された文字部分８（図１Ａの破線のボックス）の画像コンテンツが選択されていない文字部分９（図１Ａの実線のボックス）の画像コンテンツのコピーに置き換えられている。ポートレート５および署名６を含む部分は、ポートレート１４および署名１５のぼかしたバージョンに置き換えられる。

図２は、画像データを修正するためのコンピュータ実施方法１６の概略フローチャートを示す。この方法は、未修正画像データ（この例ではスキューおよびチルトを補正するために必要に応じて修正されたＩＤ文書の画像１）をロードし（１７）、未修正画像データを所定の寸法にサイズ変更して、統一された画像サイズを達成し（１８）、サイズ変更後（１９）に返された画像データ１９の１つのコピーを、図３～図６に関連してより詳細に説明される４つの並列処理ブランチ２０～２３の各々に渡す。

図３は、図２の第１のブランチ２０の詳細なフローチャートを示す。第１のブランチ２０における方法ステップは、画像データ１９内の機密テキスト領域を匿名化する。第１のブランチ２０は、検出フェーズ２４と、それに続く匿名化フェーズ２５とを含む。検出フェーズ２４は、以下のステップを含む。画像データ１９によって表される画像内の少なくとも２つの英数字文字を検出する（２６）。少なくとも２つの英数字文字が検出されたとの決定２７に応答して、画像データ１９によって表される画像内の２つ以上の英数字文字を含む少なくとも１つの単語を検出する（２８）。少なくとも１つの単語が検出されたと判定する（２９）。少なくとも２つの英数字文字を検出するために、ロバストな手法、例えば、Ｂａｅｋ、Ｙｏｕｎｇｍｉｎらによる「文字領域認識テキスト検出のための文字領域認識」（ＩＥＥＥコンピュータビジョン及びパターン認識に関する会議抄録、２０１９年）に記載されている「ＣＲＡＦＴ」法を使用することができ、その実施には、ｈｔｔｐｓ://ｇｉｔｈｕｂ.ｃｏｍ/ｃｌｏｖａａｉ/ＣＲＡＦＴ-ｐｙｔｏｒｃｈでアクセスすることができる。ロバスト性を改善するために（すなわち、テキスト領域が検出されないままであることを回避するために）、検出アプローチは、異なる画像スケールに適用され、異なるパラメータを使用して個々の文字を見つけることができる。同じ実装を単語検出にも使用することができる。文字または単語の検出は、典型的には画像内の特定の領域または領域を表す多角形の位置情報をもたらす。例えば、検出された各文字は画像データ内の領域を示す長方形に対応し得、その領域は文字の光学的表現を含む。同じ単語に属する文字は、それぞれの単語に属するすべての文字の長方形を囲む単語長方形（または一般に多角形）によって識別され、表され得る。

匿名化フェーズ２５は検出フェーズ２４に続き、以下のステップを含む。少なくとも１つの単語が検出されたという決定２９に応答して、各単語について３０を繰り返す。その単語に関連する文字を決定する（３１）。その単語に関連する英数字文字の約半分をランダムに選択する（３２）。選択されたすべての英数字文字について、選択された文字と同じ単語に属するすべての選択されていない英数字文字（図１Ａの実線のボックス）から置換英数字文字をランダムに決定し、選択されたそれぞれの英数字文字（図１Ａの破線ボックス）の文字部分内の画像データを、対応する置換英数字文字の文字部分内の画像データと置き換えることによって画像データを修正する（３３）。匿名化された文字位置の集合に、すべての選択された英数字文字の文字部分を付加する（３４）。すべての検出された単語が処理されるまで続ける。匿名化フェーズ２５の後、第１のブランチ２０は、匿名化された文字位置３４の集合と共に修正された画像データを返すステップ３５を含む。第１のブランチ２０から戻ると（３５）、制御フローは図２に続く

任意選択的に（図３には示されていない）、第１のブランチ２０の範囲内で、匿名化フェーズ２５は、以下のステップをさらに含むことができる。各選択されていない英数字文字（図１Ａの実線ボックス）の文字部分内の画像データを、置換された文字部分と同じ検出された単語からのランダムに選択された異なる選択されていない英数字文字の文字部分内の（変更されていない）画像データと置き換えることによって、ロードされた画像データを修正する。すべての選択されていない英数字文字の文字部分を匿名化された文字位置の集合に追加する。これは、さらに、修正された画像データ内に残る、画像データの文字部分の位置の単語内シャッフリングを達成する。

図４は、図２の第２のブランチ２１の詳細なフローチャートを示す。第２のブランチ２１における方法ステップは、画像データ内の顔領域を匿名化する。第２のブランチ２１は、主顔検出フェーズ３６、副顔検出フェーズ３７、および匿名化フェーズ３８を備える。主顔検出フェーズ３６は、以下のステップを含む。画像データ１９によって表される画像内の少なくとも１つの顔を検出する（３９）。少なくとも１つの顔が検出されたと判定する（４０）。副顔検出フェーズ３７は主顔検出フェーズ３６に続き、以下のステップを含む。主顔検出フェーズ３６中に少なくとも１つの顔が検出されたという決定（４０）に応答して、主顔検出フェーズ３６中に検出された少なくとも１つの顔をテンプレートとして使用して、画像データ１９によって表される画像内の任意の（ゼロ以上の）追加の顔を検出する（４１）。

好適な顔検出を実施するために、例えば、ｈｔｔｐｓ://ｇｉｔｈｕｂ.ｃｏｍ/ａｇｅｉｔｇｅｙ/ｆａｃｅ_ｒｅｃｏｇｎｉｔｉｏｎでアクセス可能なライブラリを使用することができ、具体的には、そのライブラリによって提供される畳み込みニューラルネットワーク検出手法（「ｃｎｎ」）を使用することができる。任意選択的に、画像ピラミッド（スケーリング）パラメータは、望ましい（すなわち、ロバストである）検出性能を達成するように調整することができる。さらに、副顔検出はロバスト性を高めるために、画像データ１９の異なるスケールに再び適用されてもよい。テンプレートマッチングのために、ＯｐｅｎＣＶライブラリ（ｈｔｔｐｓ://ＯｐｅｎＣＶ.ｏｒｇ/）によって提供される実施を使用することができる。検出は、検出された各顔および検出された各追加の顔の境界ボックスをもたらす。

匿名化フェーズ３８は、副顔検出フェーズ３７に続き、以下のステップを含む。画像データの１つ以上のポートレート部分を除去することによって画像データ１９を修正する（４３）。各ポートレート部分は検出された顔の領域に対応し、少なくとも１つの除去されたポートレート部分を、同じポートレート部分のぼかしたバージョンに置き換える。ロードされた画像データの任意の追加のポートレート部分を除去することによって画像データを修正する（４４）。各追加のポートレート部分は検出された追加の顔の領域に対応し、任意の追加のポートレート部分を、同じ追加のポートレート部分のぼかしたバージョンに置き換える。言い換えれば、各ポートレート部分および各追加ポートレート部分の境界ボックスは、適切なサイズのフィルタカーネルでぼかされる。匿名化フェーズ３８の後、第２のブランチ２１はポートレート部分および追加のポートレート部分を含む匿名化された顔位置４６の集合と共に、修正された画像データを戻すステップ４５を含む。第２のブランチ２１から戻ると（４５）、制御フローは図２に続く。

図５は、図３の第３のブランチ２２の詳細なフローチャートを示す。第３のブランチ２２における方法のステップは、画像データ内の署名を匿名化する。第３のブランチ２２は、検出フェーズ４７および匿名化フェーズ４８を含む。検出フェーズ４７は、画像データ１９によって表される画像内の少なくとも１つの書き込み署名を検出する役割を果たす。それは以下のステップを含む。背景画像５０を得るために、ロードされた画像データによって表される画像の前景（テキストまたは線のような小さなストローク構造）を、膨張およびメディアンフィルターを適用することで除去し、背景画像５０を取得する（４９）。差分画像５２を得るために、未修正画像１９と決定された背景画像５０との差分を計算する（５１）。２つのパラレルサブブランチで差分画像５２を処理する。第１のサブブランチは、第１のモノクロ画像５４を得るために、全てのカラーチャネルにわたって標準偏差（「ｓｔｄ」）を算出する（５３）。第２のサブブランチは第２のモノクロ画像５６を得るために、全てのカラーチャネルにわたって合計を算出する（５５）。ノイズ低減（形態学的方法）および画像フィルタリングを差分画像５２に適用する。第１のモノクロ画像が第１の事前定義された閾値範囲内にあり、第２のモノクロ画像が第２の事前定義された閾値範囲内にある、画像領域のみを含む、画像マスクを計算することによって、差分画像内の潜在的テキスト様領域を識別する（５７）。全ての識別された潜在的テキスト様領域の輪郭を計算する（５８）。輪郭特徴および事前知識、例えば、最小および最大面積および／または形状境界（署名はＩＤカード全体ほど広くない）によって、それらの領域をフィルタリングする（５９）（すなわち、さらなる処理からスキップする）。残りの潜在的テキスト様領域の輪郭を、すでに検出され匿名化される以前に識別されたテキスト様領域と比較し、交差領域を決定する。それらの領域を、予め定義された閾値を超える交差領域でフィルタリングする（６０）。残りの潜在的テキスト様領域を、ロードされた画像データの検出された署名部分として保持する。各署名部分は検出された書き込み署名の領域に対応する。上記の文字検出および顔検出に関連して説明されるものと同様に、署名検出のための検出パラメータは、ロバストな匿名化に有利に調整され、様々な誤検出を受け入れることができる。

検出フェーズ４７の後、第３のブランチ２２は、少なくとも１つの署名部分が検出されたという決定６１に応答して、匿名化フェーズ４８に進むことを含む。匿名化フェーズ４８は以下のステップを含む。画像データの１つ以上の署名部分を除去することによって画像データ１９を修正する（６２）。少なくとも１つの除去された署名部分を、同じ署名部分のぼかしたバージョンと置き換える。より具体的には、各署名部分の境界ボックスが適切なサイズのフィルタカーネルでぼかされる。匿名化フェーズ４８の後、第３のブランチ２２は、署名部分を含む匿名化された署名位置６４の集合と共に修正画像データを返すステップ６３を含む。第３のブランチ２２から戻ると、制御フローは図２に続く。

上述の差分画像５２では、画像前景として以前に除去された領域が最も強く強調表示される。上記で説明した署名検出はすべてのカラーチャネルにわたる標準偏差が小さく、同時に、すべてのカラーチャネルにわたる合計がより高い範囲にある場合、それらの領域がテキストのような構造である可能性が非常に高いという一般的な認識に基づく。

図６は、図４の第４のブランチ２３の詳細なフローチャートを示す。この第４のブランチ２３における方法のステップはバーコードまたはＱＲコード（登録商標）（または一般に、機械可読コード）を匿名化する。第４のブランチ２３は、検出フェーズ６５および匿名化フェーズ６６を含む。検出フェーズ６５は以下のステップを含む。画像データ１９によって表される画像内の少なくとも１つの機械可読コードを検出する（６７）少なくとも１つの機械可読コードが検出されたと判定する（６８）。バーコードおよびＱＲコード（登録商標）の動作検知を提供する１つの例示的な実施態様は、ｈｔｔｐｓ://ｐｙｐｉ.ｏｒｇ/ｐｒｏｊｅｃｔ/ｐｙｚｂａｒ/でアクセス可能な「ｐｙｚｂａｒ」ライブラリである。

匿名化フェーズ６６は検出フェーズ６５に続き、以下のステップを含む。少なくとも１つの機械可読コードが検出フェーズ６５中に検出されたという決定６８に応答して、画像データの１つ以上のコード部分を除去することによって画像データ１９を修正する（６９）。各コード部分は、検出された機械可読コードの領域に対応する。少なくとも１つの除去されたコード部分を、同じコード部分のぼかしたバージョンと置き換える。言い換えれば、機械可読コードを含むものとして検出された画像データ１９の領域はぼかされる。匿名化フェーズ６６の後、第４のブランチ２３は、修正された画像データを戻すステップ７０を含む。第４のブランチ２３から戻ると、制御フローは図２に続く。

画像１の例を図１Ａに示す。検出される機械可読コードは存在しない。したがって、第４のブランチは、検出フェーズ６５において決定６８から直接戻る。

すべてのブランチ２０～２３が戻された後の図２に関して、本方法は、匿名化された文字位置３４、匿名化された顔位置４６、および第１のブランチ２０、第２のブランチ２１、および第３のブランチ２２からそれぞれ戻された匿名化された署名位置６４に基づいて４つのブランチ２０～２３のそれぞれから戻された修正された画像データを組み合わせ（７１）、重複する部分の追加の画像変換を実行する。より詳細にはブランチから返される修正画像が以下のように結合される。匿名化された位置のいずれとも重複しない領域が未修正画像からコピーされる。単一の匿名化された位置のみと重複する領域がそれぞれの匿名化された位置と同じブランチによって返される修正画像からコピーされる。匿名化された文字位置および第２の匿名化された位置（すなわち、顔、署名またはコード）と重複する領域はそれぞれの第２の匿名化された位置と同じブランチによって返される修正画像からコピーされる。すべての他の領域（すなわち、２つまたは３つの匿名化された顔、署名またはコード位置と重複する）は重複する匿名化された位置に匿名化された位置に寄与する各ブランチによって返される修正画像から平均画像を計算することによってマージされる。図２に開示された方法の終わりに、匿名化画像である修正画像７２が提供され、保存される。加えて、別個の匿名化された位置ファイル７３が提供され、保存され、これは、全ての匿名化された位置を示す情報を含む。

図７は、図２～図６に関連して説明された手法を実行するための手段を含むデータ処理システム７４を示す。具体的には、システム７４は、未修正画像データをロードすることができる画像データベース７５と、この方法を実行し、それぞれの未修正画像および匿名化画像７２および匿名化位置ファイル７３を保存するためのデータ処理手段７６とを備える。

図８Ａは、図１Ａに類似する個人ＩＤ文書の未修正画像１を示す。同じ要素は、同じ参照符号によって示され、これらの要素に関しては、図１Ａの詳細な説明を参照する。図１Ａとは対照的に、図８Ａに示す個人ＩＤ文書は追加のポートレート７７（すなわち、顔の追加の画像、または単に追加の顔）を含む。この例では、誕生日７８のコピーが追加のポートレート７７と重複して配置される。追加のポートレート７７はポートレート５の修正バージョン、例えば、ポートレート５のホログラフィックバージョンである。追加のポートレート７７は、機密個人情報に属する。

図８Ｂは、図１Ｂに類似する、詳細に上述された方法による改変後の、図８Ａと同じ個人ＩＤ文書の修正画像１０を示す。再び、同じ要素は、同じ参照符号によって示され、これらの要素に関しては、図１Ｂの詳細な説明を参照する。図１Ｂとは対照的に、修正された画像１０は追加のポートレート７９のぼかしたバージョンを含み、すなわち、追加のポートレート７７を含む部分は、追加のポートレート７９のぼかしたバージョンに置き換えられる。さらに、追加のポートレート７９のぼかしたバージョンは、生年月日７８のコピーのぼかしたバージョンも含む。

生年月日のコピー７８もまた、書かれた情報の一部であり、したがって、匿名化されたバージョン１３と同様に、生年月日の匿名化されたバージョンに置き換えられ得るが、文字部分はそれらの背景を形成する追加のポートレート７８のために、機密個人情報を含み得る。本方法による書かれた情報の匿名化はいくつかの文字部分のみを置き換えるか、またはそれらの配列のみを変更し、そうでなければ個々の文字部分をそのまま残す（すなわち、変更されない）ので、各文字部分内の背景もまた、変更された画像１０内で変更されずに複製され得る。予防策として、複数のタイプの潜在的に機密性のある個人情報が重複する場合、各々のタイプは異なる処理ブランチで処理され得るので、本方法は、匿名化に対する最も破壊的なアプローチを優先するように構成され得る。すなわち、匿名化に対する最も破壊的なアプローチの結果が、修正された画像１０において優先される。

この例では、生年月日７８のコピーの文字部分を含む部分が顔領域の匿名化を担当する処理ブランチ（例えば、上述の実施形態における第２のブランチ２１）において修正されたバージョンに置き換えられる。したがって、生年月日７８のコピーの一部として検出される可能性があり、変更されていない機密テキスト領域を匿名化する責任を負う別の処理ブランチを通過したものであろう任意の選択されていない文字領域も、機密個人情報のより信頼できる保護に有利になるように、トレーニングの目的のために修正され、効果的に価値を低減される。

Claims (19)

1. 画像データを修正するコンピュータ実施方法であって、
   未修正の画像データをロードし、
   ロードされた前記画像データによって表される画像内の少なくとも２つの英数字文字を検出し（２４）、
   検出された前記英数字文字のうちの１つ以上を選択し（３２）、
   選択される前記英数字文字の数は検出された前記英数字文字の総数よりも小さく、
   ロードされた前記画像データの１つ以上の文字部分を除去することによって、ロードされた前記画像データを修正し（３３）、
   各文字部分は、選択された英数字文字の領域に対応し、
   修正された前記画像データを保存する、
   コンピュータ実施方法。
2. 選択された英数字文字の数は、検出された全ての英数字文字の数の約半分である、請求項１に記載のコンピュータ実施方法。
3. ロードされた前記画像データによって表される前記画像内の２つ以上の英数字文字を含む少なくとも１つの単語を検出し（２８）、
   検出された各単語の検出された前記英数字文字のうちの１つ以上を選択する（３２）、
   請求項１または請求項２に記載のコンピュータ実施方法。
4. 各単語の検出された前記英数字文字の数の約半分を選択する（３２）、
   請求項３に記載のコンピュータ実施方法。
5. ロードされた前記画像データの除去された前記文字部分の少なくとも１つを、選択されていない英数字文字の領域に対応するロードされた前記画像データの文字部分と置き換えることによって、ロードされた前記画像データを修正する（３３）、
   請求項１～請求項４のいずれか１項に記載のコンピュータ実施方法。
6. 少なくとも１つの前記単語に属するロードされた前記画像データの除去された前記文字部分のうちの少なくとも１つを、除去された前記文字部分と同じ単語に属する選択されていない英数字文字の領域に対応するロードされた前記画像データの文字部分と置き換えることによって、ロードされた画像データを修正する、
   請求項３または請求項４に記載のコンピュータ実施方法。
7. ロードされた前記画像データの１つ以上の文字部分をシャッフルすることによってロードされた前記画像データを修正し、
   各文字部分は、選択されていない英数字文字の領域に対応する、
   請求項１～請求項６のいずれか１項に記載のコンピュータ実施方法。
8. 少なくとも１つの単語に属する英数字文字に対応する文字部分のシャッフリングは、同じ単語内のシャッフリングに限定される、
   請求項３または請求項７に記載のコンピュータ実施方法。
9. ロードされた前記画像データによって表される画像内の少なくとも１つの顔を検出し（３９）、
   ロードされた前記画像データの１つ以上のポートレート部分を除去することによってロードされた前記画像データを修正し、
   各ポートレート部分は、検出された顔の領域に対応する、
   請求項１～請求項８のいずれか１項に記載のコンピュータ実施方法。
10. ロードされた前記画像データの１つ以上のポートレート部分を除去することは、少なくとも１つの除去されたポートレート部分を、同じポートレート部分のぼかしたバージョンに置き換えることを含む、
    請求項９に記載のコンピュータ実施方法。
11. 少なくとも１つの検出された前記顔をテンプレートとして使用して、ロードされた前記画像データによって表される画像内の少なくとも１つの追加の顔を検出し（４１）、
    ロードされた前記画像データの１つ以上の追加のポートレート部分を除去することによって、ロードされた前記画像データを修正し（４４）、
    各追加のポートレート部分は、検出された追加の顔の領域に対応する、
    請求項９または請求項１０に記載のコンピュータ実施方法。
12. ロードされた前記画像データの１つ以上の追加のポートレート部分を除去することは、少なくとも１つの追加のポートレート部分を、同じ追加のポートレート部分のぼかしたバージョンと置き換えることを含む、
    請求項１１に記載のコンピュータ実施方法。
13. ロードされた前記画像データによって表される画像内の少なくとも１つの書き込み署名を検出し（４７）、
    ロードされた前記画像データの１つ以上の署名部分を除去することによってロードされた前記画像データを修正し（６２）、
    各署名部分は、検出された書き込み署名の領域に対応する、
    請求項１～請求項１２のいずれか１項に記載のコンピュータ実施方法。
14. ロードされた前記画像データの１つ以上の署名部分を除去することは、少なくとも１つの除去された署名部分を、同じ署名部分のぼかしたバージョンと置き換えることを含む、
    請求項１３に記載のコンピュータ実施方法。
15. ロードされた前記画像データによって表される画像内の少なくとも１つの機械可読コードを検出し（６７）、
    ロードされた前記画像データの１つ以上のコード部分を除去することによってロードされた前記画像データを修正し（６９）、
    各コード部分は、検出された機械可読コードの領域に対応する、
    請求項１～請求項１４のいずれか１項に記載のコンピュータ実施方法。
16. ロードされた前記画像データの１つ以上のコード部分を除去することは、少なくとも１つの除去されたコード部分を、同じコード部分のぼかしたバージョンと置き換えることを含む、
    請求項１５に記載のコンピュータ実施方法。
17. 請求項１～請求項１６のいずれか１項に記載の前記コンピュータ実施方法を実行する手段を含む、
    データ処理システム（７４）。
18. コンピュータによって実行されると、請求項１～請求項１６のいずれか１項に記載の前記コンピュータ実施方法をコンピュータに実行させる命令を含む、コンピュータプログラム製品。
19. コンピュータによって実行されると、請求項１～請求項１６のいずれか１項に記載の前記コンピュータ実施方法をコンピュータに実行させる命令を含む、コンピュータ可読記憶媒体。