JP6915125B1 - 電子装置およびプログラム - Google Patents

Abstract

【課題】運転免許証の裏面が撮像されている画像から運転免許証の裏面の記載有無を効率的に判定することができる電子装置を提供することである。【解決手段】実施形態によれば、電子装置は、第１検出部と、第２検出部と、判定部と、を具備する。第１検出部は、取得された運転免許証の裏面が撮像されている画像の中からハイフン状の図形を検出する。第２検出部は、画像の中からハイフン状の図形で形成される破線を検出し、破線に続く白ピクセルが連続する領域と接する黒ピクセルの位置まで破線を延長する。判定部は、延長後の破線の端点が直線状に並ぶＮ本の破線の有無に応じて、運転免許証の裏面の記載有無を判定する。【選択図】図１

Description

本発明の実施形態は、電子装置およびプログラムに関する。

近年、スマートフォンやタブレットコンピュータなどといったバッテリ駆動可能で携行容易な電子装置が広く普及している。たとえばスマートフォンは、カメラをいまや標準装備品として備えている。また、スマートフォンには、アプリなどと称される、様々なプログラムをインストールすることができる。

たとえば、顧客の運転免許証が撮像されている画像から、氏名、住所、生年月日、交付日、有効期限、住所などを読み取る機能を提供するプログラムがインストールされたスマートフォンのユーザは、スマートフォンのカメラで運転免許証を撮影することで、それらの情報をスマートフォンへ取り込むことができる。身分を証明する情報を顧客から受領する必要のある営業員などは、顧客から提示された運転免許証を撮影するだけで、画像を取得するとともに、運転免許証に記載されている各種情報を電子データとして入力することができる。

また、この種のプログラムは、インターネット経由で運転免許証を含む身分証明証が撮像されている画像を受信し、ユーザの審査を行うシステムなどでも利用されている。

特開平５−１２０３５６号公報 特開２００３−３０８４８１号公報 特許第４３０９８８１号公報 特開２０１８−６７０９６号公報

ところで、運転免許証は、裏面に備考欄が設けられており、運転免許証の発行後に住所が変更された場合、この備考欄に新住所が記載される。この場合、運転免許証の表面の住所欄の住所は、現住所と一致していない。逆に、運転免許証の裏面の備考欄に一切記載がなければ、運転免許証の表面の住所欄の住所は正しいといえる。

しかしながら、たとえば前述のインターネット経由で画像を受信してユーザの審査を行うシステムにおいては、運転免許証について、多くの場合、裏面の備考欄の記載有無を効率的に判定できる機能を有しておらず、その結果、作業員が目視で確認しているのが現状である。概して、半分以上の運転免許証は、裏面の備考欄に記載がないため、この確認作業は煩わしいものとなっていた。

本発明が解決しようとする課題は、運転免許証の裏面が撮像されている画像から運転免許証の裏面の記載有無を効率的に判定することができる電子装置およびプログラムを提供することである。

実施形態によれば、電子装置は、第１検出部と、第２検出部と、判定部と、を具備する。第１検出部は、取得された運転免許証の裏面が撮像されている画像の中からハイフン状の図形を検出する。第２検出部は、画像の中からハイフン状の図形で形成される破線を検出し、破線に続く白ピクセルが連続する領域と接する黒ピクセルの位置まで破線を延長する。判定部は、延長後の破線の端点が直線状に並ぶＮ本の破線の有無に応じて、運転免許証の裏面の記載有無を判定する。

第１実施形態の電子装置の一構成例を示す図 運転免許証の裏面が撮像されている画像の一例を示す図 第１実施形態の電子装置のハイフン状図形を検出する手法を説明するための第１図 第１実施形態の電子装置のハイフン状図形を検出する手法を説明するための第２図 第１実施形態の電子装置の破線を検出する手法を説明するための図 第１実施形態の電子装置の記載有無を判定する手法を説明するための図 第１実施形態の電子装置による運転免許証の裏面の記載有無判定の流れを示すフローチャート 第２実施形態の電子装置の記載有無を判定する一例を示す第１図 第２実施形態の電子装置の記載有無を判定する一例を示す第２図 第２実施形態の電子装置による運転免許証の裏面の記載有無判定の流れを示すフローチャート 第３実施形態の電子装置による欠落している１本の破線を補完する一例を示す図 第３実施形態の電子装置による運転免許証の裏面の記載有無判定の流れを示すフローチャート 第４実施形態の電子装置による４本の破線を選択する一例を示す図 第４実施形態の電子装置による運転免許証の裏面の記載有無判定の流れを示すフローチャート 第５実施形態の電子装置による上下が逆に撮像された画像を回転させる一例を示す図 第５実施形態の電子装置による運転免許証の裏面の記載有無判定の流れを示すフローチャート 第６実施形態の電子装置の文字認識によって記載有無を判定する一例を示す図 第６実施形態の電子装置による運転免許証の裏面の記載有無判定の流れを示すフローチャート 第７実施形態の電子装置による運転免許証の裏面全体または備考欄の画像を切り出す一例を示す図 第７実施形態の電子装置による運転免許証の裏面の記載有無判定の流れを示すフローチャート

以下、実施の形態について、図面を参照して説明する。
（第１実施形態）
まず、第１実施形態について説明する。

図１は、本実施形態の電子装置１の一構成例を示す図である。電子装置１は、運転免許証が撮像されている画像から、氏名、住所、生年月日、交付日、有効期限、住所などを読み取る機能を有する。ここでは、電子装置１が、カメラ１５を備えるスマートフォンとして実現されていることを想定する。なお、電子装置１は、運転免許証が撮像されている画像を取得することができる機器であるならば、スマートフォンに限らず、様々な機器として実現され得る。画像の取得は、自らが画像を撮像することに限らず、たとえば、外部のカメラを含む他の機器から受信することであってもよいし、外部の記憶媒体から読み出すことであってもよい。電子装置１は、たとえばネットワークを介してクライアント機器と通信するサーバ、より詳しくは、クライアント機器から画像のアップロードを受け付けるサーバなどとしても実現され得る。つまり、電子装置１において、カメラ１５を備えることは必須ではない。

図１に示すように、電子装置１は、プロセッサ１１、主メモリ１２、システムコントローラ１３、フラッシュメモリ１４、カメラ１５、タッチスクリーンディスプレイ１６、通信デバイス１７、スピーカ１８、マイクロフォン１９、バッテリ２０、ＵＳＢ（universal serial bus）ポート２１、電源スイッチ２２などを有している。

プロセッサ１１は、電子装置１内の各コンポーネントを統合的に制御する。プロセッサ１１は、フラッシュメモリ１４にインストールされている各種プログラムを主メモリ１２にロードして実行し、各種プログラムで記述される手順に従い、各コンポーネントを稼働させる。各種プログラムの記述に則ってプロセッサ１１が各コンポーネントを稼働させることによって、様々な機能部を電子装置１上に構築することができる。各種プログラムの中には、ＯＳ（operating system）１１０や、当該ＯＳ１１０の制御下で動作する運転免許証ＯＣＲ（optical character recognition）アプリ１２０などが存在する。運転免許証ＯＣＲアプリ１２０は、運転免許証が撮像されている画像から、氏名、住所、生年月日、交付日、有効期限、住所などを読み取る機能を提供するプログラムである。運転免許証ＯＣＲアプリ１２０の詳細については後述する。なお、図１では、ＯＳ１１０の制御下で動作するプログラムとして運転免許証ＯＣＲアプリ１２０のみ示しているが、運転免許証ＯＣＲアプリ１２０以外にも様々なプログラム（アプリ）がインストールされている。

システムコントローラ１３は、プロセッサ１１と、（主メモリ１２を除く）各コンポーネントとの間を繋ぐブリッジデバイスである。システムコントローラ１３は、各種プログラムの画面をタッチスクリーンディスプレイ１６に表示するＧＰＵ（graphics processing unit）、タッチスクリーンディスプレイ１６上でのタッチ操作を受け付けるＫＢＣ（keyboard controller）、電源スイッチ２２の操作に応じて電子装置１の電源オン／電源オフを制御するＥＣ（embedded controller）を内蔵している。また、システムコントローラ１３は、スピーカ１８への音声出力やマイクロフォン１９からの音声入力のためのサウンドコントローラを内蔵している。また、システムコントローラ１３は、ＵＳＢポート２１に接続されるＵＳＢデバイスとの間でデータを送受信するＵＳＢコントローラを内蔵している。さらに、システムコントローラ１３は、ＵＳＢポート２１から入力される電力でバッテリ２０を充電する充電回路を内蔵している。

フラッシュメモリ１４は、外部記憶装置としてデータを恒久的に記憶する不揮発性の記憶媒体である。なお、主メモリ１２は、ＤＲＡＭなどの揮発性の記憶媒体である。

カメラ１５は、ＣＣＤ（charge coupled device）などの撮像素子によってレンズから入ってくる光を電気信号に変換し、デジタル画像を生成するデバイスである。

タッチスクリーンディスプレイ１６は、たとえば液晶パネルを透明なタッチパネルで覆って形成される入出力デバイスである。各アプリのアイコンがＯＳ１１０によって当該タッチスクリーンディスプレイ１６上に表示されるので、ユーザは、当該タッチスクリーンディスプレイ１６上で目的のアプリのアイコンに対するタッチ操作を行うことで、そのアプリを起動することができる。アプリが起動した後は、タッチスクリーンディスプレイ１６は、そのアプリのＧＵＩ（graphical user interface）に利用される。また、タッチスクリーンディスプレイ１６は、カメラ１５による画像の撮像時、被写体の構図やピントなどを確認するためのビューファインダとして利用される。

通信デバイス１７は、たとえば電気通信事業者が設置する基地局との間の音声通話やデータ送受信のための通信を制御する。なお、図１では、１つの通信デバイス１７のみを示しているが、電子装置１は、たとえばIEEE 802.11規格に準拠した通信を制御する通信デバイスなども搭載している。

以上のような構成を有する本実施形態の電子装置１上においてＯＳ１１０の制御下で動作する運転免許証ＯＣＲアプリ１２０は、ハイフン状図形検出機能部１２１、破線検出機能部１２２、記載有無判定機能部１２３を有している。なお、図１に示す各機能部は、以下説明する運転免許証の裏面の備考欄の記載有無の判定に関するものであり、運転免許証ＯＣＲアプリ１２０は、これら以外にも様々な機能部を有している。たとえば、運転免許証ＯＣＲアプリ１２０は、運転免許証の表面が撮像されている画像および運転免許証の裏面が撮像されている画像を取得する取得部や、運転免許証の表面が撮像されている画像から、氏名、住所、生年月日、交付日、有効期限、住所などを読み取るＯＣＲ機能部などを有している。取得部による画像の取得は、カメラ１５で撮影することであってよいし、フラッシュメモリ１４やＵＳＢポート１９に接続されている外付けストレージ装置から読み出すものであってもよいし、通信デバイス１７を介して外部機器から受信するものであってもよい。取得部やＯＣＲ機能部などの図１に示す各機能部以外の機能部については、既知のいずれの技術を適用しても構わない。

まず、運転免許証ＯＣＲアプリ１２０における、運転免許証の裏面の備考欄の記載有無の判定の大まかな流れを説明すると、運転免許証ＯＣＲアプリ１２０は、運転免許証の裏面が撮像されている画像から、ハイフン状の図形を検出する。次に、運転免許証ＯＣＲアプリ１２０は、当該運転免許証の裏面が撮像されている画像から、検出したハイフン状の図形で形成される破線を検出する。そして、運転免許証ＯＣＲアプリ１２０は、破線の検出結果に基づき、運転免許証の裏面の備考欄の記載有無を判定する。

図２は、運転免許証の裏面が撮像されている画像の一例を示す図である。図２には、備考欄３０１に記載がない運転免許証の裏面３００が撮像されている画像２００が示されている。

図２に示すように、運転免許証の裏面３００の備考欄３０１は、実線の枠内を４本の破線で区切って５行の記入スペースを設けている。また、備考欄の左右には、３ｍｍ程度の余白が存在する。運転免許証ＯＣＲアプリ１２０は、このフォーマットに着目して、備考欄３０１の記載有無を効率的に判定する。

なお、画像２００が、たとえばカメラ１５で運転免許証の裏面３００を撮影するものである場合、多少台形に写っていたり、傾いていたりすることがある。また、運転免許証の背景にテーブルなどが写っていることもある。さらには、画像には、撮影者の手の影が写っていることもある。そのため、文字や免許証紙面の明るさは、写真内の場所によって異なる。運転免許証の裏面３００の備考欄３０１の記載有無は、このような状況下で実行することが強要される。

一般的な名刺を認識するソフトウェア（プログラム）や、運転免許証の表面を認識するソフトウェアでは、通常、エッジ検出を用いる。エッジ検出は、色が急に変化している点を検出して、隣接する点を繋げることで、エッジの線を検出する。しかし、運転免許証内の枠線をエッジとして検出してしまったり、背景の机の木目をエッジとして検出してしまったり、白い机の上に免許証を置くと検出すべきエッジが見つけられなかったり等、安定しない欠点がある。

図３および図４は、ハイフン状図形検出機能部１２１がハイフン状図形を検出する手法を説明するための図である。

ハイフン状図形検出機能部１２１は、図３（Ａ）において符号ａ１で示すように、たとえば画像２００の一端から他端へと画像２００上の全ピクセルを順次着目ピクセルとして選択していきながら画像２００上の全領域を検査する。画像２００上の全ピクセルから着目ピクセルを選択していく順番に関しては、どのような規則を適用しても構わない。並列処理が可能であるならば、複数ピクセルを着目ピクセルとして選択し、各々処理を進めてもよい。たとえば全ピクセル分を並列かつ一斉に処理することも考えられ得る。

図３（Ｂ）は、図３（Ａ）中の符号ａ２が示す領域の拡大図であり、図３（Ｃ）は、図３（Ｂ）中の符号ａ３が示す領域の拡大図である。いま、ハイフン状図形検出機能部１２１は、図３（Ｃ）中のピクセルＡを着目ピクセルとして選択しているものと想定する。

ハイフン状図形検出機能部１２１は、まず、ピクセルＡの輝度値（０〜２５５）と、ピクセルＡから少し右、たとえば４ピクセル右のビクセルＢの輝度値とを比較する。ハイフン状図形検出機能部１２１は、ピクセルＡと比較してピクセルＢが明らかに暗い場合、たとえばその輝度差が３０以上ある場合（ピクセルＡの輝度値よりもビクセルＢの輝度値が３０以上暗い値である場合）、ピクセルＡを着目ピクセルとするハイフン状の図形の検出を継続する。換言すれば、ピクセルＡの輝度値よりもビクセルＢの輝度値が３０以上暗い値でない場合は、ハイフン状図形検出機能部１２１は、その時点で、ピクセルＡを着目ピクセルとするハイフン状の図形の検出を終了する。

ピクセルＡの輝度値よりもビクセルＢの輝度値が３０以上暗い値である場合、ハイフン状図形検出機能部１２１は、ピクセルＡの輝度値とビクセルＢの輝度値との２つの輝度値のみから、画像を２値化（黒ピクセル／白ピクセル）するための閾値Ｔを算出する。たとえば、ハイフン状図形検出機能部１２１は、ピクセルＡの輝度値とビクセルＢの輝度値との中間値を閾値Ｔとする。

閾値Ｔを算出したら、次に、ハイフン状図形検出機能部１２１は、左辺がピクセルＡを含み、かつ、ピクセルＡを巾方向の中心とする、たとえば縦１３ピクセル、横１８ピクセルの矩形領域を画像２００上に設定する。この矩形領域のサイズは、備考欄３０１の破線を形成するハイフン状の図形を、隣接するハイフン状の図形を含まず、かつ、上下に一定の余裕を取って囲み得るサイズとする。また、上下に取る一定の余裕のサイズは、備考欄３０１に記載がある場合に当該記載部分が含まれる可能性の高いサイズとする。

ハイフン状図形検出機能部１２１は、その矩形領域の外周部分のピクセルＣを閾値Ｔで２値化し、それらがすべて白ピクセルか否かを判定する。それらがすべて白ピクセルである場合、ハイフン状図形検出機能部１２１は、ピクセルＡを着目ピクセルとするハイフン状の図形の検出を継続する。換言すれば、それらの１つでも黒ピクセルである場合、ハイフン状図形検出機能部１２１は、その時点で、ピクセルＡを着目ピクセルとするハイフン状の図形の検出を終了する。

矩形領域の外周部分のピクセルＣがすべて白ピクセルである場合、ハイフン状図形検出機能部１２１は、今度は、矩形領域内部のピクセルを閾値Ｔで２値化する。そして、黒ピクセルの塊（連結体）が１つだけ存在し、かつ、その連結体の高さに比べて幅がたとえば２倍以上である場合、ハイフン状図形検出機能部１２１は、その部分をハイフン状の図形として検出する。

図４（Ａ）の符号ｂ１が示す太線の枠のピクセルは、閾値Ｔでの２値化によって黒ピクセルとされたピクセルである。図４（Ａ）の例では、黒ピクセルの連結体が１つだけ存在し、かつ、その連結体の高さ（２ピクセル）に比べて幅（１２ピクセル）が２倍以上であるので、ハイフン状図形検出機能部１２１は、この部分をハイフン状の図形として検出する。

前述したように、ハイフン状図形検出機能部１２１は、画像２００上の全ピクセルを着目ピクセルとして順次選択していきながら、つまり、ピクセルＡとしていきながら、画像２００上の全領域を検査する。その結果、たとえば図４（Ｂ）に示すように、備考欄３０１の破線を形成するハイフン状の図形（ｂ２）が多数検出される。

一般的な文字認識では、着目した１ピクセルの周囲、たとえば１６×１６＝２５６ピクセルのような一定の範囲の画像を切り出して、その画像内のピクセルの分布から大津の２値化などの方法によって２値化閾値の計算を行う。このように、たくさんのピクセルを含む画像を切り出してから、その分布により２値化閾値を計算する方法では、２値化の計算処理に時間がかかる欠点がある。それに対して、本実施形態の電子装置１では、わずか２ピクセルで２値化閾値（閾値Ｔ）を計算するため、極めて高速である。また、ハイフン状の図形を含む矩形領域が設定された場合、背景の輝度値が閾値Ｔの算出に使われることがないので、背景の影響を排除できる。さらに、一般的な文字は、四角形または縦長のものが多いため、文字の前の白ピクセルをＡとして、文字の中の黒ピクセルをＢとすると、Ｃの外周部分がすべて白になるようなケースは極めて少ない。そのため、文字状の図形については、外周部分のピクセルＣがすべて白であることをチェックすることで、高速にハイフン状である可能性を棄却することができる。従って、本実施形態の電子装置１（運転免許証ＯＣＲアプリ１２０のハイフン状図形検出機能部１２１）の手法は、高速にハイフン状の図形を見つけることができる。

なお、ここでは、ピクセルＡの右側にピクセルＢを設定し、かつ、ピクセルＡを左辺とする矩形領域を設定する例を説明した。これに代えて、ピクセルＡの左側にピクセルＢを設定し、かつ、ピクセルＡを右辺とする矩形領域を設定するようにしてもよい。また、ランドスケープなどと称される横長の向きで運転免許証の裏面３００が撮像されていることが前提となっているならば、ハイフン状図形検出機能部１２１は、画像の長手方向を左右の方向としてハイフン状図形の検出を行えばよい。一方、ポートレートなどと称される縦長の向きで運転免許証の裏面３００が撮像され得る場合には、ハイフン状図形検出機能部１２１は、別途、画像の巾方向を左右の方向としてハイフン状図形の検出を行う。この場合、ハイフン状図形検出機能部１２１、破線検出機能部１２２および記載有無判定機能部１２３は、画像の長手方向を左右の方向として一連の処理を行い、また、画像の巾方向を左右の方向として一連の処理を行う。

図５は、破線検出機能部１２２が、ハイフン状図形検出機能部１２１によるハイフン状図形の検出結果に基づき、破線を検出する手法を説明するための図である。

破線検出機能部１２２は、ハイフン状図形検出機能部１２１によって検出されたハイフン状の図形を、一定の距離内にあり、かつ、直線状に並んでいるもの同士を繋げていくことによって、破線を検出する。この処理は、ＯＣＲにおいて、文字を近い文字と繋げていくことによって、行を検出する既存の処理と同等の処理で実現できる。ここで、一定の距離とは、たとえば、左右方向の他のハイフン状の図形に到達し、かつ、上下方向の他のハイフン状の図形には到達しない距離である。

図５（Ａ）の符号ｃ１が示す線分は、破線検出機能部１２２によって検出された破線である。続いて、破線検出機能部１２２は、検出した破線を、空白（白ピクセル）が一定ピクセル、たとえば２０ピクセル出現するまで延長する。破線検出機能部１２２は、破線を延長する限度値を、たとえば１００ピクセルとする。前述したように、運転免許証の裏面３００の備考欄３０１の左右には、３ｍｍ程度の余白が存在する。この処理により、破線検出機能部１２２は、（備考欄に記載がなければ）備考欄３０１の枠との交点まで破線を延長することができる。空白を見つけるための２値化閾値は、たとえば大津の方法で計算してもよいし、最も近いハイフン状の図形の検出において用いられた閾値Ｔを使用してもよい。図５（Ｂ）の符号ｃ２が示す太線は、破線検出機能部１２２によって延長された破線の延長部分である。

図６は、記載有無判定機能部１２３が、破線検出機能部１２２によって検出かつ延長された破線に基づき、運転免許証の裏面３００の備考欄３０１の記載有無を判定する手法を説明するための図である。

運転免許証の裏面の備考欄３０１に記載がない場合、図６（Ａ）に示すように、端点が（上下方向に）直線状に並ぶ４本の破線ｃ１´が検出されるはずである。この４本の破線ｃ１´が検出された場合、記載有無判定機能部１２３は、備考欄３０１の記載有無について、「記載なし」と判定する。以下、延長後の破線ｃ１´を、単に破線ｃ１と表す。

一方、図６（Ｂ）は、運転免許証の裏面３００の備考欄３０１に記載がある場合における破線の検出結果の一例を示している。備考欄３０１に記載がある場合、印刷されている文字はしばしば破線と接触するか、破線と非常に近い位置にある。ハイフン状図形検出機能部１２１は、このような文字が含まれるように矩形領域を設定して、その外周部分が白ピクセルであるかどうかをチェックするため、備考欄３０１に記載があれば、その上下の破線が検出されない可能性が高い。よって、端点が直線状に並ぶ４本の破線が検出されない可能性が高い。従って、端点がそろった破線が４本存在するかどうかを判定することにより、「記載なし」または「不明または記載あり」を高速に判定することができる。

一般的な受付業務では、裏面の記載が「不明」と判定されたケースも、「記載あり」と判定されたケースも、作業者が目視で記載内容を確認する。従って、このように、裏面に記載がある運転免許証について、「不明」か「記載あり」を判断できず、「不明または記載あり」と判定しても、一般的な用途では特に問題がない。

逆に、裏面に記載がある運転免許証を「記載なし」と判定するケースがあると、作業者は全部の運転免許証を目視で判定しなければならなくなるので、判定機能自体の存在意味がなくなる。本実施形態の電子装置１においては、破線４本を検出できるかどうかの有無に基づき、裏面記載有無を判定する機能を具備したことにより、裏面に記載があるケースを誤って「記載なし」と判定するケースはほぼ防げるため、「記載なし」と判定したケースは作業者が確認する必要がなくなり、作業者の作業を省力化できる。

また、破線は、運転免許証が台形状に写っていても、破線の状態が保たれる。従って、本実施形態の方法では、運転免許証が多少台形に写っていても問題なく、「記載なし」または「記載ありまたは不明」を判定できる。さらに、エッジを使うことなく、運転免許証に記載されている４本の破線の有無を判定する機能を具備したことにより、エッジが不明瞭の場合でも、安定して記載有無の判定を行うことができる。

図７は、本実施形態の電子装置１（運転免許証ＯＣＲアプリ１２０）による運転免許証の裏面の記載有無判定の流れを示すフローチャートである。

電子装置１は、まず、運転免許証の裏面が撮像されている画像から、ハイフン状の図形を検出する（Ｓ１０１）。次に、電子装置１は、検出したハイフン状の図形を使って、運転免許証の裏面が撮像されている画像から、破線を検出する（Ｓ１０２）。

電子装置１は、破線が４本あるか否か、つまり、４本の破線が検出されたか否かを判定する（Ｓ１０３）。破線が４本ある場合（Ｓ１０３：ＹＥＳ）、電子装置１は、運転免許証の裏面の記載有無について、「記載なし」と判定する（Ｓ１０４）。破線が４本ない場合は（Ｓ１０３：ＮＯ）、電子装置１は、「記載あり」または「不明」と判定する（Ｓ１０５）。

以上のように、本実施形態の電子装置１は、運転免許証の裏面が撮像されている画像から運転免許証の裏面の記載有無を効率的に判定することができる。

（第２実施形態）
次に、第２実施形態について説明する。

本実施形態の電子装置１も、第１実施形態と同様、カメラ１５を備えるスマートフォンとして実現されていることを想定する。第１実施形態と同一の構成要素については同一の符号を用い、それらの説明については省略する。本実施形態の電子装置１も、運転免許証が撮像されている画像を取得することができる機器であるならば、スマートフォンに限らず、様々な機器として実現され得る。

第１実施形態で説明したように、運転免許証の裏面３００の備考欄３０１は、実線の枠内を４本の破線で区切って五行の記入スペースを設けている。そこで、第１実施形態の電子装置１は、この４本の破線を検出する。本実施形態の電子装置１では、さらに、検出した４本の破線の上下に実線を推定し、備考欄３０１の５行の記入スペースを切り出し、各行について記載有無を判定する。

図８および図９は、本実施形態の電子装置１（運転免許証ＯＣＲアプリ１２０）における記載有無判定機能部１２３が、運転免許証の裏面３００の備考欄３０１の記載有無を判定する手法を説明するための図である。

図８（Ａ）は、破線検出機能部１２２による破線の検出結果の一例を示している。より詳しくは、図８（Ａ）は、備考欄３０１に記載がないため、備考欄３０１の枠との交点まで延長された破線ｃ１が４本検出されている例を示している。

なお、本実施形態のハイフン状図形検出機能部１２１は、第１実施形態と比較して、着目ピクセルＡを基点として画像２００上に設定する矩形領域の上下のサイズを小さくすることが好ましい。これにより、破線の上下に文字がある場合においても、（第１実施形態と比較して）破線が検出される可能性を高めることができる。

たとえば図８（Ａ）に示す破線検出機能部１２２による破線の検出結果を受けた記載有無判定機能部１２３は、図８（Ｂ）に示すように、検出された４本の破線ｃ１の上下に実線ｄ１、ｄ２を推定する。この推定は、既存の罫線検出機能を使っても良いし、4本の破線ｃ１の端点座標から、たとえば最小二乗法により上下の実線ｄ１、ｄ２の端点を補完してもよい。備考欄３０１の下側には、臓器提供意思表示欄があり、それを隠すためのシールが貼られることがあるため、下の実線ｄ２はシールに隠されて見えない場合がある。最小二乗法を使う方法ならば、多少シールに隠されていても、実線ｄ２の位置をほぼ推定できる利点がある。

６本の線（４本の破線ｃ１＋上下の実線ｄ１、ｄ２）が推定できれば、記載有無判定機能部１２３は、図８（ｃ）のように、５つの行の画像ｄ３を切り出すことができる。運転免許証の画像は多少台形に写る場合があるので、６本の線は必ずしも平行ではないが、各行の上下の線にある４つの端点が、長方形の４つの点に写像されるように画像を変形することで台形も補正される。

５つの行の画像ｄ３を切り出すと、記載有無判定機能部１２３は、当該切り出した画像ｄ３それぞれから、通常のＯＣＲ技術により、記載の有無を判定する。この判定は、記載があるか否か（黒ピクセルの連結体があるか否か）を調べるだけでよく、どのような文字が記載されているのかまでは判定する必要はない。もちろん１行目には「備考」の文字があるので、「備考」の部分は判定対象から取り除く。つまり、図９（Ａ）のように画像ｄ３が切り出された場合には、図９（Ｂ）に示すように判定領域ｅ１を設定する。また、住所変更の場合は、大抵一度に１０文字を超える多数の文字が印字されるので、住所変更記載の有無を検出する用途であれば、記載有無判定機能部１２３は、５文字以下に相当する黒ピクセルであれば、「記載なし」と判定しても良い。そうすることで、多少の汚れがあっても、住所変更の記載がなければ「記載なし」と判定できる。

図１０は、本実施形態の電子装置１（運転免許証ＯＣＲアプリ１２０）による運転免許証の裏面の記載有無判定の流れを示すフローチャートである。

図１０中、ハッチングが施されたＳ２０１〜Ｓ２０６が、図７に示した第１実施形態での流れと異なる部分であるので、この部分についてのみ説明する。

破線が４本ある場合（Ｓ１０３：ＹＥＳ）、電子装置１は、上下の実線を推定して、５行の記入スペースを検知する（Ｓ２０１）。電子装置１は、各行について、切り出し、文字認識を実行し、記載有無を判定する（Ｓ２０２）。

いずれかの行で記載があった場合（Ｓ２０３：ＹＥＳ）、電子装置１は、運転免許証の裏面の記載有無について、「記載あり」と判定する（Ｓ２０４）。いずれの行にも記載がない場合（Ｓ２０３：ＮＯ）、電子装置１は、「記載なし」と判定する（Ｓ２０５）。

また、破線が４本ない場合は（Ｓ１０３：ＮＯ）、電子装置１は、運転免許証の裏面の記載有無について、「不明」と判定する（Ｓ１０５）。

第１実施形態においては、「記載あり」と「不明」とを全く判別することができなかったが、本実施形態の電子装置１においては、前述した通り、ハイフン上下の空白チェック範囲を狭めることで、上下に文字がある破線も検出されるようにし（４本の破線が検出される率を高めて）、「記載あり」と「不明」とをある程度判別することを可能とする。

（第３実施形態）
次に、第３実施形態について説明する。

本実施形態の電子装置１も、第１実施形態および第２実施形態と同様、カメラ１５を備えるスマートフォンとして実現されていることを想定する。第１実施形態および第２実施形態と同一の構成要素については同一の符号を用い、それらの説明については省略する。本実施形態の電子装置１も、運転免許証が撮像されている画像を取得することができる機器であるならば、スマートフォンに限らず、様々な機器として実現され得る。

本実施形態の電子装置１（運転免許証ＯＣＲアプリ１２０）においては、記載有無判定機能部１２３が、破線検出機能部１２２によって検出されるべき破線が１本失われている場合、他の破線を使って、欠落している破線を補完する。

図１１は、本実施形態の電子装置１（運転免許証ＯＣＲアプリ１２０）における記載有無判定機能部１２３が、欠落している１本の破線を補完する一例を示す図である。

図１１（Ａ）は、破線検出機能部１２２による破線の検出結果の一例を示している。より詳しくは、１本の破線ｃ１＿２が検出されず、３本の破線ｃ１＿１、ｃ１＿３、ｃ１＿４が検出されている例を示している。

このような場合、本実施形態の記載有無判定機能部１２３は、他の破線ｃ１＿１、ｃ１＿３、ｃ＿４を使って、図１１（Ｂ）に示すように、欠落している破線ｃ１＿２´を補完する。この処理は、破線の間隔から欠落位置を推定し、その位置の破線の端点を最小二乗法により推定するなどの方法が考えられる。なお、検出された３本の破線の間隔がほぼ均等である場合、つまり、欠落している破線が上端の破線ｃ１＿１または下端のｃ１＿４である場合、記載有無判定機能部１２３は、破線の補完を行わない。これは、たとえばｃ１＿１が欠落している場合に、誤って、破線ｃ１＿４の下に破線を補完するようなことを防止するためである。

図１２は、本実施形態の電子装置１（運転免許証ＯＣＲアプリ１２０）による運転免許証の裏面の記載有無判定の流れを示すフローチャートである。

図１２中、ハッチングが施されたＳ３０１が、図１０に示した第２実施形態での流れと異なる部分であるので、この部分についてのみ説明する。

電子装置１は、ハイフン状の図形を使って破線を検出した後、一定の条件下で、破線の補完を行う（Ｓ３０１）。一定の条件下とは、破線の数が３本であって、これらの間隔がほぼ均等にはない場合である。

本実施形態の電子装置１においては、破線を補完する機能を具備することにより、文字と破線とが接触していて、破線が１本検出できない場合でも、「不明」ではなく「記載あり」と判定できる可能性を高めることができる。

（第４実施形態）
次に、第４実施形態について説明する。

本実施形態の電子装置１も、第１実施形態から第３実施形態と同様、カメラ１５を備えるスマートフォンとして実現されていることを想定する。第１実施形態から第３実施形態と同一の構成要素については同一の符号を用い、それらの説明については省略する。本実施形態の電子装置１も、運転免許証が撮像されている画像を取得することができる機器であるならば、スマートフォンに限らず、様々な機器として実現され得る。

本実施形態の電子装置１（運転免許証ＯＣＲアプリ１２０）においては、記載有無判定機能部１２３が、破線検出機能部１２２によって（本来検出されるべき４本を超えて）５本以上の破線が検出されている場合、破線の間隔がほぼ均等になるように、それらの中から４本の破線を選択する
図１３は、本実施形態の電子装置１（運転免許証ＯＣＲアプリ１２０）における記載有無判定機能部１２３が、４本を超えて検出されている破線の中から４本の破線を選択する一例を示す図である。

図１３（Ａ）は、破線検出機能部１２２による破線の検出結果の一例を示している。より詳しくは、本来検出されるべき４本の破線ｃ１に加えて、破線ｆ１が検出されている例を示している。ここでは、破線ｆ１の左端が、４本の破線ｃ１の左端と直線状に並んでいるとして、破線検出機能部１２２によって検出されたものと想定する。

このような場合、本実施形態の記載有無判定機能部１２３は、破線の間隔がほぼ均等になるように、図１３（Ｂ）に示すように、これらの中から４本の破線ｃ１を選択する。この処理は、組み合わせ最適化などの既知の方法を適用することができる。

図１４は、本実施形態の電子装置１（運転免許証ＯＣＲアプリ１２０）による運転免許証の裏面の記載有無判定の流れを示すフローチャートである。

図１４中、ハッチングが施されたＳ４０１が、図１０に示した第２実施形態での流れと異なる部分であるので、この部分についてのみ説明する。

電子装置１は、ハイフン状の図形を使って破線を検出した後、一定の条件下で、破線の選択を行う（Ｓ４０１）。一定の条件下とは、破線の数が（本来検出されるべき４本を超えて）５本以上の場合である。

本実施形態の電子装置１においては、破線を選択する機能を具備することにより、臓器提供意思表示欄や背景から誤って破線を検出した場合にも、備考欄３０１の破線のみを選択することができる。

（第５実施形態）
次に、第５実施形態について説明する。

本実施形態の電子装置１も、第１実施形態から第４実施形態と同様、カメラ１５を備えるスマートフォンとして実現されていることを想定する。第１実施形態から第４実施形態と同一の構成要件については同一の符号を用い、それらの説明については省略する。本実施形態の電子装置１も、運転免許証が撮像されている画像を取得することができる機器であるならば、スマートフォンに限らず、様々な機器として実現され得る。

本実施形態の電子装置１（運転免許証ＯＣＲアプリ１２０）においては、記載有無判定機能部１２３が、いわゆる天地判定を実行する。

スマートフォンで運転免許証を撮影する場合、テーブルの上に、平行にスマートフォンを向けて撮影することがある。この時、スマートフォンの上下方向のセンサが上下方向を判定できず、しばしば上下が逆の写真が撮影される場合がある。図１５（Ａ）は、運転免許証の裏面が、上下が逆に撮像されている画像の一例を示す。

この場合、たとえば第２実施形態で説明した方法では、４本の破線ｃ１と当該４本の破線の上下に推定される２本の実線ｄ１、ｄ２とから、図１５（Ｂ）に示すように、５行の記入スペースが切り出される。

そこで、本実施形態の記載有無判定機能部１２３は、符号ｇ１で示す、切り出された５行目の右端部の所定範囲の画像を１８０度回転させて文字認識し、「備考」の文字があるか否かを判定する。もし、「備考」の文字があれば、図１５（Ｃ）に示すように、５行の画像をすべて１８０度回転させ、かつ、順番も入れ替える。

図１６は、本実施形態の電子装置１（運転免許証ＯＣＲアプリ１２０）による運転免許証の裏面の記載有無判定の流れを示すフローチャートである。

図１６中、ハッチングが施されたＳ５０１が、図１０に示した第２実施形態での流れと異なる部分であるので、この部分についてのみ説明する。

電子装置１は、５行の記入スペースを検知した後、運転免許証の裏面が、上下が正しく撮像されているか否かを判定する（天地判定）（Ｓ５０１）。上下が逆に撮像されていた場合、電子装置１は、５行の画像をすべて１８０度回転させ、かつ、順番も入れ替える。

本実施形態の電子装置１においては、天地反転させる機能を具備することにより、たとえば図１５（Ａ）のように上下が逆転している画像も、正常に記載有無判定を行うことができる。

なお、「備考」の文字があるか否かの判定は、より簡易的に行うことも可能である。本願出願人出願の特開２０１８−６７０９６号公報には、画像の中から高速に「用」の文字を見つける機能が記載されている。「備考」の「備」の文字には、右下に「用」と読める部品が含まれているため、この方法により、「用」の部分を高速に検知することが可能である。従って、切り出し画像から、この方法により「用」を検出し、もし見つかれば回転する機能を追加することでも、天地判定機能を実現できる。この方法であれば、文字認識の辞書が必要なく、軽量なモジュールで天地判定することが可能となる。

また、５行目の右端部だけでなく、１行目の左端部からも「備」の文字を検出する方法も考えられる。１行目の左端部または５行目の右端部から「備」の文字が見つからなければ、「不明」と判定する機能を具備することにより、運転免許証裏面ではない、たまたま罫線のたくさんある画像を、誤って運転免許証裏面と判定するケースを削減することが可能となる。

（第６実施形態）
次に、第６実施形態について説明する。

本実施形態の電子装置１も、第１実施形態から第５実施形態と同様、カメラ１５を備えるスマートフォンとして実現されていることを想定する。第１実施形態から第５実施形態と同一の構成要件については同一の符号を用い、それらの説明については省略する。本実施形態の電子装置１も、運転免許証が撮像されている画像を取得することができる機器であるならば、スマートフォンに限らず、様々な機器として実現され得る。

本実施形態の電子装置１（運転免許証ＯＣＲアプリ１２０）においては、記載有無判定機能部１２３が、５行の記入スペースについて、記載があるか否か（黒ピクセルの連結体があるか否か）だけを調べるのではなく、文字認識を行い、その結果に基づき、記載があるか否かを判定する。文字認識は、既存の文字認識機能によって実現できる。

たとえば、図１７（Ａ）に示すように、ある行の記入スペースの画像が切り出された場合、記載有無判定機能部１２３は、この画像を文字認識することにより、図１７（Ｂ）に示すような文字情報が取得されることになる。文字認識を行うことで、記載有無判定機能部１２３は、運転免許証の裏面の記載有無について、より精緻に、「記載あり」、「記載なし」の判定を行えると共に、「記載あり」の場合における文字情報の取得を併せて実行できる。

図１８は、本実施形態の電子装置１（運転免許証ＯＣＲアプリ１２０）による運転免許証の裏面の記載有無判定の流れを示すフローチャートである。

図１８中、ハッチングが施されたＳ６０１が、図１０に示した第２実施形態での流れと異なる部分である。より詳しくは、図１０のＳ２０２〜Ｓ２０５が削除され、これらに代えて、Ｓ６０１が加えられる。そこで、この部分についてのみ説明する。

電子装置１は、５行の記入スペースを検知した後、各行について文字認識を行う（Ｓ６０１）。これにより、電子装置１は、より精緻な運転免許証の裏面の記載有無の判定と、記載ありの場合における文字情報の取得を併せて実行する。

本実施形態の電子装置１においては、たとえば運転免許証の裏面にかなりの汚れがあったとしても、住所変更の記載がなければ「記載なし」と判定できる。また、住所変更の記載があった場合には、その文字情報が自動的に取得されることとなる。

（第７実施形態）
次に、第７実施形態について説明する。

本実施形態の電子装置１も、第１実施形態から第６実施形態と同様、カメラ１５を備えるスマートフォンとして実現されていることを想定する。第１実施形態から第６実施形態と同一の構成要素については同一の符号を用い、それらの説明については省略する。本実施形態の電子装置１も、運転免許証が撮像されている画像を取得することができる機器であるならば、スマートフォンに限らず、様々な機器として実現され得る。

本実施形態の電子装置１（運転免許証ＯＣＲアプリ１２０）においては、記載有無判定機能部１２３が、確認画像を切り出す処理を実行する。ここで、確認画像とは、作業者が目視で記載内容を確認する場合などに用いられる画像である。

記載有無判定機能部１２３は、たとえば図１９（Ａ）に示すような画像２００から、ホモロジー変換などの既知の方法により、図１９（Ｂ）に示すような免許証の裏面３００全体の画像、または、図１９（Ｃ）に示すような備考欄３０１のみの画像を切り出す。この画像の切り出し時においては、傾きなどが補正され、また、背景が除去される。

つまり、この機能を具備することにより、作業者は、傾きなどが補正され、背景が除去された画像上で、住所変更の有無などを確認すればよくなるので、作業の負担が軽減される。また、運転免許証の背景に、人物の写真など、関係ない個人情報が写っている場合にも、その関係のない個人情報を自動的に削除することができる。備考欄３０１のみの画像を切り出す場合には、さらに、臓器提供意思表示欄の情報を削除することができる。

また、免許証の裏面３００全体の画像を切り出す場合においても、写真の傾きは補正されていて、また、背景もなく、常に同じサイズで切り出すことができるので、決まった座標の範囲を削除し、または、マスクなどと称される塗りつぶす加工を施すことで、図１９（Ｄ）に示すように、臓器提供意思表示欄を自動的に秘匿化することもできる。臓器提供意思表示欄は、機微な情報であるため、機密性の高い取り扱いが求められる。一般に本人確認用途で運転免許証を使用する場合には、不要な情報であるため、この欄を削除または塗りつぶすことで、取り扱いの負担を軽減することができる。

図２０は、本実施形態の電子装置１（運転免許証ＯＣＲアプリ１２０）による運転免許証の裏面の記載有無判定の流れを示すフローチャートである。

図２０中、ハッチングが施されたＳ７０１が、図１０に示した第２実施形態での流れと異なる部分であるので、この部分についてのみ説明する。

電子装置１は、５行の記入スペースを検知した後、免許証の裏面３００全体の画像または備考欄３０１のみの画像を確認画像として切り出す（Ｓ７０１）。

本実施形態の電子装置１においては、作業者の負担を軽減し、かつ、プライバシー保護も図られる。

以上のように、各実施形態の電子装置１は、運転免許証の裏面が撮像されている画像から運転免許証の裏面の記載有無を効率的に判定することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…電子装置、１１…プロセッサ、１２…主メモリ、１３…システムコントローラ、１４…フラッシュメモリ、１５…カメラ、１６…タッチスクリーンディスプレイ、１７…通信デバイス、１８…スピーカ、１９…マイクロフォン、２０…バッテリ、２１…ＵＳＢポート、２２…電源スイッチ、１１０…ＯＳ、１２０…運転免許証ＯＣＲアプリ、１２１…ハイフン状図形検出機能部、１２２…破線検出機能部、１２３…記載有無判定機能部。

Claims (13)

1. 取得された運転免許証の裏面が撮像されている画像の中からハイフン状の図形を検出する第１検出部と、
   前記画像の中から前記ハイフン状の図形で形成される破線を検出し、前記破線に続く白ピクセルが連続する領域と接する黒ピクセルの位置まで破線を延長する第２検出部と、
   前記延長後の破線の端点が直線状に並ぶＮ本の破線の有無に応じて、前記運転免許証の裏面の記載有無を判定する判定部と、
   を具備する電子装置。
2. 前記第１検出部は、
   前記画像上の全ピクセルの中からいずれか１つを第１ピクセルとして順次選択し、
   前記第１ピクセルの輝度値と、前記第１ピクセルから第１方向へＭピクセルの位置の第２ピクセルの輝度値とから画素値を２値化するための閾値を算出し、
   前記ハイフン状の図形を、隣接する他のハイフン状の図形を含まず、かつ、上下にＬピクセル分の余裕を取って囲み得るサイズの矩形領域であって、前記第１方向と直交する巾方向の中心が前記第１ピクセルの位置に対応し、前記巾方向の一辺が記第１ピクセルを含み、前記巾方向の他辺が前記Ｍピクセルよりも前記第１方向側に位置する矩形領域を前記画像上に設定し、
   前記閾値を用いて前記矩形領域の外周部分のピクセルを２値化し、すべてが白ピクセルか否かを判定し、
   前記矩形領域の外周部分がすべて白ピクセルである場合、前記閾値を用いて前記矩形領域内部のピクセルを２値化し、前記矩形領域内における前記ハイフン状の図形の有無を判定する、
   請求項１に記載の電子装置。
3. 前記第１検出部は、前記第２ピクセルの輝度値が前記第１ピクセルの輝度値よりも第１値以上暗い値である場合、前記閾値を算出する請求項２に記載の電子装置。
4. 前記第１検出部は、前記矩形領域内に黒ピクセルの連結体が１つのみ存在し、かつ、当該連結体の巾方向の長さに対する長手方向の長さがＬ倍以上である場合、前記ハイフン状の図形が存在すると判定する請求項２または３に記載の電子装置。
5. 前記判定部は、前記Ｎ本の破線の位置から前記運転免許証の裏面に設けられている備考欄の位置を推定して、前記備考欄のＮ＋１行の画像を各々切り出し、前記Ｎ＋１行の画像それぞれについて記載有無を判定し、前記運転免許証の裏面の記載有無を判定する請求項１に記載の電子装置。
6. 前記判定部は、延長後の端点が直線状に並ぶ破線がＮ−１本検出された場合、前記Ｎ−１本の破線の位置から存在すべき残り１本の破線の位置を推定して補完する請求項１に記載の電子装置。
7. 前記判定部は、延長後の端点が直線状に並ぶ破線がＮ＋１本以上検出された場合、前記Ｎ＋１本以上の破線の中から等間隔のＮ本の破線を選択する請求項１に記載の電子装置。
8. 前記判定部は、前記Ｎ＋１行の中の１行目またはＮ＋１行目の画像から前記備考欄に印刷されている第１文字を検出して前記運転免許証の裏面の上下を判定し、または、前記運転免許証の裏面であることを判定する請求項５に記載の電子装置。
9. 前記判定部は、前記１行目またはＮ＋１行目の画像から行方向において黒ピクセルと白ピクセルとが第１配置比で出現する前記第１文字の部分図形を検出し、その検出位置から一定範囲の領域を文字認識して前記第１文字を検出する請求項８に記載の電子装置。
10. 前記判定部は、前記Ｎ本の破線の位置から前記運転免許証の裏面に設けられている備考欄の位置を推定して、前記備考欄のＮ＋１行の画像を各々切り出し、前記Ｎ＋１行の画像それぞれについて文字認識を行い、前記運転免許証の裏面の記載有無を判定する請求項１に記載の電子装置。
11. 前記判定部は、前記Ｎ本の破線の位置に基づき、前記運転免許証の裏面全体の画像または前記運転免許証の裏面に設けられている備考欄の画像を切り出す請求項１に記載の電子装置。
12. 前記判定部は、前記Ｎ本の破線の位置に基づき、前記運転免許証の裏面の第１領域の位置を推定して前記第１領域に対応する前記画像上の一部分を加工する請求項１１に記載の電子装置。
13. コンピュータに、
    取得された運転免許証の裏面が撮像されている画像の中からハイフン状の図形を検出することと、
    前記画像の中から前記ハイフン状の図形で形成される破線を検出し、前記破線に続く白ピクセルが連続する領域と接する黒ピクセルの位置まで破線を延長することと、
    前記延長後の破線の端点が直線状に並ぶＮ本の破線の有無に応じて、前記運転免許証の裏面の記載有無を判定することと、
    を実行させるためのプログラム。

Images