JP6399371B1 - 情報処理装置、情報処理装置の制御方法及びプログラム - Google Patents
情報処理装置、情報処理装置の制御方法及びプログラム Download PDFInfo
- Publication number
- JP6399371B1 JP6399371B1 JP2017084432A JP2017084432A JP6399371B1 JP 6399371 B1 JP6399371 B1 JP 6399371B1 JP 2017084432 A JP2017084432 A JP 2017084432A JP 2017084432 A JP2017084432 A JP 2017084432A JP 6399371 B1 JP6399371 B1 JP 6399371B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- document
- business card
- information processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Character Discrimination (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】書類を撮影してからテキストの読み取り結果が表示されるまでの待ち時間を長く感じさせにくくすると共に、読み取り結果の確認を容易にする。
【解決手段】書類に記載されたテキストの読み取り結果を表示する情報処理装置であって、書類の静止画像を取得する画像取得部と、静止画像を表示する画像表示部と、静止画像から書類画像を抽出する画像抽出部と、書類画像を正面画像に変形する画像変形部とを備え、画像表示部は、静止画像を表示した後、書類画像の部分を正面画像に次第に変化させるように表示し、正面画像を、テキストの読み取り結果を表示するための表示欄に移動させ、読み取り結果を表示欄に表示する。
【選択図】図7
【解決手段】書類に記載されたテキストの読み取り結果を表示する情報処理装置であって、書類の静止画像を取得する画像取得部と、静止画像を表示する画像表示部と、静止画像から書類画像を抽出する画像抽出部と、書類画像を正面画像に変形する画像変形部とを備え、画像表示部は、静止画像を表示した後、書類画像の部分を正面画像に次第に変化させるように表示し、正面画像を、テキストの読み取り結果を表示するための表示欄に移動させ、読み取り結果を表示欄に表示する。
【選択図】図7
Description
本発明は、情報処理装置、情報処理装置の制御方法及びプログラムに関する。
近年、名刺を電子的に管理するための様々な技術が開発されている。例えば、カメラ機能を備えたスマートフォンや携帯電話機、タブレットなどの情報処理端末を用いて撮影した名刺の画像をサーバに送信し、サーバに名刺の記載事項を読み取らせてデータベースに登録するような技術が開発されている(例えば特許文献1参照)。
このような技術を用いることにより、名刺の管理を容易化できると共に、例えば外出先でデータベースを検索して取引先の担当者の名刺を確認したりするようなこともできる。
また読み取った名刺情報を情報処理端末の連絡帳にも登録するようにすれば、そのままその担当者に電話を掛けるようなことも可能になる。またこの場合、ユーザは、サーバから送られてきた名刺の読み取り結果に誤りがないかを画面で確認することもできる。
しかしながらこの場合、サーバでの名刺の読み取り処理には、サーバと情報処理端末との間の通信時間も含めてある程度の時間を要するため、ユーザは、サーバから名刺の読み取り結果が送られてくるまで待っていなければならない。
特に、複数枚の名刺を一度に撮影してサーバに画像を送信した場合には、サーバへ送信するデータ量が大きくなるうえ、サーバでの名刺の読み取りに要する時間が長くなるため、ユーザの待ち時間はより長くなる。さらに、名刺を撮影した情報処理端末の画面には、サーバから受け取った名刺の複数の読み取り結果が全て表示されることになるため、どれがどの名刺の読み取り結果なのかが分かりづらく、ユーザの確認作業は煩雑となる。
本発明は上記課題を鑑みてなされたものであり、名刺などの書類に記載されているテキストを書類の静止画像から読み取る場合に、書類を撮影してからテキストの読み取り結果が表示されるまでの待ち時間を長く感じさせにくくすると共に、ユーザによるテキストの読み取り結果の確認を容易に行うことを一つの目的とする。
一つの側面に係る情報処理装置は、書類に記載されたテキストの読み取り結果を表示する情報処理装置であって、前記書類を撮影して前記書類の静止画像を取得する画像取得部と、前記静止画像を表示する画像表示部と、前記静止画像から前記書類の輪郭で囲まれた部分である書類画像を抽出する画像抽出部と、前記書類画像を、前記書類が正面から撮影された場合に得られる正面画像に変形する画像変形部と、を備え、前記画像表示部は、前記静止画像を表示した後、前記静止画像の中の前記書類画像の部分を前記正面画像に次第に変化させるように表示し、前記正面画像を、前記テキストの読み取り結果を表示するための表示欄に移動させ、前記読み取り結果を前記表示欄に表示する。
その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄の記載、及び図面の記載等により明らかにされる。
書類を撮影してから、サーバによるテキストの読み取り結果が表示されるまでの待ち時間を長く感じさせにくくすると共に、テキストの読み取り結果の確認を容易に行うことが可能となる。
本明細書および添付図面の記載により、少なくとも以下の事項が明らかとなる。以下、本発明をその一実施形態に即して添付図面を参照しつつ説明する。
==名刺管理システム==
図1に、本発明の一実施形態に係る名刺管理システム1000の構成を示す。本実施形態に係る名刺管理システム1000は、ユーザ端末100と、名刺管理サーバ200と、がネットワーク300を介して通信可能に接続されて構成され、情報処理装置の一形態として機能する。
==名刺管理システム==
図1に、本発明の一実施形態に係る名刺管理システム1000の構成を示す。本実施形態に係る名刺管理システム1000は、ユーザ端末100と、名刺管理サーバ200と、がネットワーク300を介して通信可能に接続されて構成され、情報処理装置の一形態として機能する。
ユーザ端末100は、スマートフォンや携帯電話機、ノートパソコン、タブレットなどのカメラを具備した情報処理端末である。ユーザ端末100は、名刺を撮影すると、その静止画像400(後述)を名刺管理サーバ200に送信する。
名刺管理サーバ200は、ユーザ端末100から静止画像400が送られてくると、静止画像400を解析し、名刺に印刷されている氏名や会社名、住所、電話番号等のテキスト(後述する名刺情報620)を読み取る。そして名刺管理サーバ200は、読み取った名刺情報620をユーザ端末100に送信する。
そしてユーザ端末100は、名刺管理サーバ200から送られてきた名刺情報620を画面に表示する。
そして名刺管理サーバ200は、読み取った名刺情報620を名刺管理データベース204(後述)に登録する。なお名刺管理サーバ200は、ユーザ端末100から名刺情報620の修正指示を受信した場合には、その修正内容に従って名刺管理データベース204に登録した名刺情報620の内容を修正する。
そしてこの一連の処理の中で、ユーザ端末100は、名刺の静止画像400を画面に表示してから、名刺管理サーバ200から名刺の読み取り結果(名刺情報620)を受信して画面に表示するまでの待ち時間をなるべく長く感じさせにくいように工夫している。またユーザ端末100は、ユーザによる名刺情報620の確認が容易に行えるような工夫もしている。
==名刺管理サーバの構成==
まず名刺管理サーバ200の構成について図2〜図4を参照しながら説明する。
<ハードウェア構成>
名刺管理サーバ200のハードウェア構成図を図2に示す。名刺管理サーバ200は、CPU(Central Processing Unit)210、メモリ220、通信装置230、記憶装置240、入力装置250、出力装置260、及び記録媒体読取装置270を備えて構成されるコンピュータである。
==名刺管理サーバの構成==
まず名刺管理サーバ200の構成について図2〜図4を参照しながら説明する。
<ハードウェア構成>
名刺管理サーバ200のハードウェア構成図を図2に示す。名刺管理サーバ200は、CPU(Central Processing Unit)210、メモリ220、通信装置230、記憶装置240、入力装置250、出力装置260、及び記録媒体読取装置270を備えて構成されるコンピュータである。
記憶装置240は、名刺管理サーバ200によって実行される名刺管理サーバ制御プログラム710や各種のデータを格納する。記憶装置240に記憶されている名刺管理サーバ制御プログラム710やデータがメモリ220に読み出されてCPU210によって実行されることにより、名刺管理サーバ200の各種機能が実現される。ここで、記憶装置240は例えばハードディスクドライブやSSD(Solid State Drive)のような不揮発性の記憶装置である。
記録媒体読取装置270は、CD−ROMやDVD、USB(登録商標)メモリ等の記録媒体800に記録された名刺管理サーバ制御プログラム710やデータを読み取り、記憶装置240に格納する。
通信装置230は、インターネットやLAN(Local Area Network)、電話網等のネットワーク300を介してユーザ端末100や不図示の他のコンピュータと各種データや名刺管理サーバ制御プログラム710の授受を行う。例えば他のコンピュータに上述した名刺管理サーバ制御プログラム710やデータを格納しておき、名刺管理サーバ200がこのコンピュータからこれらのデータや名刺管理サーバ制御プログラム710をダウンロードするようにすることができる。あるいは、後述する名刺管理データベース204を他のコンピュータに構築するようにしても良い。
入力装置250は、例えばキーボードやマウスなどの入力ユーザインターフェースである。また出力装置260は、例えばディスプレイやプリンタなどの出力ユーザインタフェースである。
<機能構成>
次に名刺管理サーバ200の機能ブロック図を図3に示す。本実施形態に係る名刺管理サーバ200は、画像受信部201と、画像解析部202と、読み取り結果送信部203と、名刺管理データベース204とを含んで構成される。これらの各機能は、名刺管理サーバ200のハードウェアによって本実施形態に係る名刺管理サーバ制御プログラム710が実行されることにより実現される。
<機能構成>
次に名刺管理サーバ200の機能ブロック図を図3に示す。本実施形態に係る名刺管理サーバ200は、画像受信部201と、画像解析部202と、読み取り結果送信部203と、名刺管理データベース204とを含んで構成される。これらの各機能は、名刺管理サーバ200のハードウェアによって本実施形態に係る名刺管理サーバ制御プログラム710が実行されることにより実現される。
画像受信部201は、ネットワーク300を介してユーザ端末100から静止画像400を受信する。静止画像400は、ユーザ端末100によって撮影された画像である。
なお、画像受信部201は、後述する名刺画像(書類画像)410あるいは正面画像420をユーザ端末100から受信するようにしても良い。
名刺画像410は、静止画像400に映っている名刺の部分の画像(名刺の輪郭で囲まれた部分の画像)である。正面画像420は、名刺画像410を、名刺が正面から撮影された場合に得られるはずの画像に変形したものである。正面画像420は、名刺画像を透視変換することにより生成することができる。
画像解析部202は、画像受信部201がユーザ端末100から受信した画像(本実施形態では静止画像400)を解析し、名刺に記載されている会社名や氏名、住所、電話番号等のテキストを読み取り、名刺情報620として出力する。
画像解析部202は、静止画像400に対して例えばOCR(Optical Character Recognition/Reader)を行うことにより、静止画像400から名刺情報620を抽出する。あるいは画像解析部202は、人工知能や機械学習を用いて静止画像400の画像解析を行うようにしても良い。
画像受信部201がユーザ端末100から名刺画像410あるいは正面画像420を受信した場合には、画像解析部202は、これらの名刺画像410や正面画像420に対する画像解析を行うことで、名刺情報620を抽出する。
読み取り結果送信部203は、静止画像400から抽出された名刺情報620を、ネットワーク300を介してユーザ端末100に送信する。
名刺管理データベース204は、名刺情報620を記憶するデータベースである。名刺管理データベース204の一例を図4に示す。
図4に示す名刺管理データベース204は、「ID」欄、「氏名」欄、「会社名」欄、「住所」欄を含む。
「ID」欄には、名刺情報620の識別情報が記録される。名刺情報620の識別情報は、例えば画像解析部202によって名刺情報620毎に一意に付番される。「氏名」欄には、名刺から読み取った氏名が記録される。「会社名」欄には、名刺から読み取った会社名が記載される。「住所」欄には、名刺から読み取った住所が記載される。また図4には示されていないが、名刺管理データベース204には、電話番号や電子メールアドレス、役職などの、名刺に記載される様々な情報が記録される。
さらに名刺情報620には、その名刺情報620の抽出元となった正面画像420も記憶される。名刺管理データベース204に登録される正面画像420は、画像解析部202が静止画像400から抽出した名刺画像410を基に生成したものであるが、ユーザ端末100から正面画像420が送られてくる場合には、このユーザ端末100から取得した正面画像420であっても良い。もちろん、名刺画像410を名刺管理データベース204に登録するようにしても良い。
また上述したように、名刺管理データベース204は、名刺管理サーバ200と通信可能に接続される他のコンピュータ(不図示)に構築されるようにしても良い。
==ユーザ端末の構成==
次に、ユーザ端末100の構成について図5及び図6を参照しながら説明する。
<ハードウェア構成>
ユーザ端末100のハードウェア構成図を図5に示す。ユーザ端末100は、CPU110、メモリ120、通信装置130、記憶装置140、入力装置150、出力装置160、及び記録媒体読取装置170を備えて構成されるコンピュータである。
==ユーザ端末の構成==
次に、ユーザ端末100の構成について図5及び図6を参照しながら説明する。
<ハードウェア構成>
ユーザ端末100のハードウェア構成図を図5に示す。ユーザ端末100は、CPU110、メモリ120、通信装置130、記憶装置140、入力装置150、出力装置160、及び記録媒体読取装置170を備えて構成されるコンピュータである。
記憶装置140は、ユーザ端末100によって実行されるユーザ端末制御プログラム700や各種のデータを格納する。記憶装置140に記憶されているユーザ端末制御プログラム700やデータがメモリ120に読み出されてCPU110によって実行されることにより、ユーザ端末100の各種機能が実現される。ここで、記憶装置140は例えばハードディスクやSSD、フラッシュメモリ等の不揮発性の記憶装置である。
記録媒体読取装置170は、SDカード等の記録媒体800に記録されたユーザ端末制御プログラム700やデータを読み取り、記憶装置140に格納する。
通信装置130は、ネットワーク300を介して、名刺管理サーバ200や不図示の他のコンピュータと各種データやユーザ端末制御プログラム700の授受を行う。例えば他のコンピュータに上述したユーザ端末制御プログラム700やデータを格納しておき、ユーザ端末100がこのコンピュータからデータやユーザ端末制御プログラム700をダウンロードするようにすることができる。
入力装置150は、ユーザによるコマンドやデータの入力を受け付ける各種ボタンやスイッチ、キーボード、タッチパネルディスプレイ上でのタッチ位置を検出するタッチセンサ、マイクなどの入力インタフェース、加速度センサ、温度センサ、カメラ151などである。
また出力装置160は、例えばディスプレイ161などの表示装置、スピーカ、バイブレータ、照明などの出力ユーザインタフェースである。
<機能構成>
図6に、ユーザ端末100の機能ブロック図を示す。ユーザ端末100は、画像取得部101、画像表示部102、画像送信部103、画像抽出部104、画像変形部105、及び読み取り結果受信部106を含んで構成される。これらの各機能は、ユーザ端末100のハードウェアによって本実施形態に係るユーザ端末制御プログラム700が実行されることにより実現される。
<機能構成>
図6に、ユーザ端末100の機能ブロック図を示す。ユーザ端末100は、画像取得部101、画像表示部102、画像送信部103、画像抽出部104、画像変形部105、及び読み取り結果受信部106を含んで構成される。これらの各機能は、ユーザ端末100のハードウェアによって本実施形態に係るユーザ端末制御プログラム700が実行されることにより実現される。
画像取得部101は、名刺を撮影して静止画像400を取得する。画像取得部101は例えばカメラ151を用いて実現される。
この静止画像400には、名刺だけでなく、名刺の背景や人物などのように名刺以外のものが写っていてもよい。また1つの静止画像400内に複数枚の名刺が写っていても良い。
さらに静止画像400内の名刺は、正面から撮影されたものだけでなく、斜め方向から撮影されたものであっても良い。この場合静止画像400内で名刺はいびつに変形して写るが、後述する画像変形部105によって、名刺が正面から撮影された場合に得られるはずの画像(正面画像420)に整形される。
画像表示部102は、画像取得部101が取得した名刺の静止画像400を表示する。画像表示部102は例えばタッチパネル型のディスプレイ161を用いて実現される。
静止画像400がユーザ端末100のディスプレイ161に表示されている様子を図7(A)に示す。図7(A)に示す例は、3枚の名刺が同時に撮影された場合の様子を示す。図7(A)に示すように、本実施形態では、複数枚の名刺を同時に撮影する場合に、それぞれの名刺の向きが揃っていなくても良い。
なお、静止画像400内に写されている名刺の部分の画像(名刺の輪郭で囲まれた部分の画像)を名刺画像410と記す。
図6に戻って、画像送信部103は、静止画像400を名刺管理サーバ200に送信する。そして上述したように、名刺管理サーバ200は、静止画像400を解析し、名刺に記載されている会社名や氏名、住所、電話番号等のテキストを読み取り、名刺情報620として出力する。また、画像送信部103は名刺管理サーバ200に静止画像400を送信するではなく、名刺画像410あるいは正面画像420を送信するようにしても良い。
画像抽出部104は、静止画像400から名刺画像410を抽出する。画像抽出部104は、静止画像400に対する各種の画像処理や画像解析を行うことで名刺が写っている部分を特定し、その部分を名刺画像410として抽出する。画像抽出部104が名刺画像410を抽出するために用いる画像処理や画像処理は周知の技術で良い。
画像変形部105は、名刺画像410を、名刺が正面から撮影された場合に得られる正面画像420に変形する。画像変形部105は、例えば名刺画像410の輪郭部分である4つの辺の傾きを元に、名刺が撮影された時のカメラ151の向きを求め、透視変換を行うことで、名刺画像410を正面画像420に変形する。
読み取り結果受信部106は、名刺管理サーバ200から名刺情報620を受信する。
ここで、画像表示部102は、上述したように、画像取得部101が取得した名刺の静止画像400を画面に表示するが、名刺の静止画像400を表示した後、名刺管理サーバ200から名刺情報620が送られてくるまでの間、以下に示すようなアニメーション表示を行っている。このような態様により、本実施形態に係るユーザ端末100は、名刺管理サーバ200から送られてくる名刺情報620の読み取り結果が表示されるまでの待ち時間を長く感じさせにくくすると共に、ユーザによる名刺の読み取り結果の確認を容易に行うことを可能としている。
==アニメーション表示処理==
次に、画像表示部102が上記アニメーション表示を行う際の処理の流れについて、図7〜図18を参照しながら詳細に説明する。
<処理の概要>
図7(A)〜図7(C)は、アニメーション表示の大まかな流れを示す図である。
==アニメーション表示処理==
次に、画像表示部102が上記アニメーション表示を行う際の処理の流れについて、図7〜図18を参照しながら詳細に説明する。
<処理の概要>
図7(A)〜図7(C)は、アニメーション表示の大まかな流れを示す図である。
図7(A)は、机上に置かれた3枚の名刺がカメラ151の視野に収められた状態でユーザがシャッターを押下した直後の様子を表し、ユーザ端末100のディスプレイ161に静止画像400が表示されている様子を示す。図7(A)に示されているように、画像表示部102は、静止画像400に写っている3枚の名刺に重ねるように、所定形状(本実施形態では円形)の枠線である名刺マーカ500を表示する。
このような態様によって、ユーザは、撮影した名刺がユーザ端末100によって正しく認識されていることを容易に知ることができる。
なお、名刺マーカ500は、画像抽出部104による名刺画像410の抽出結果に基づいて画像表示部102によって表示されている。そして画像抽出部104は、ユーザがシャッターを押下する前から名刺画像410の抽出処理を行っている。そのため名刺マーカ500は、ユーザがシャッターを押下する前から、ディスプレイ161内に写っている名刺の位置に表示されており、しかも、ユーザがカメラ151の視野を動かしてディスプレイ161内の名刺の位置を変えると、名刺マーカ500の位置も名刺の位置に合わせて移動する。
このような態様によって、ユーザは、視野内の名刺がユーザ端末100によって正しく認識されていることを確認してからシャッターを押すことができるため、撮影の失敗を防ぐことが可能となる。
続いて、図7(B)は、画像表示部102がアニメーション表示を行った結果、静止画像400の中の名刺画像410の部分が正面画像420に変化した様子を示す。上述したように正面画像420は、画像変形部105によって名刺画像410から生成される画像であり、名刺が正面から撮影された場合に得られるはずの画像である。
画像表示部102は、正面画像420を表示する際には、静止画像400の中の名刺画像410の部分が次第に正面画像420に変化するように表示する。
画像表示部102は、名刺画像410を撮影した際のカメラ151の向きが徐々に名刺紙面に垂直に近づくような透視変換を段階的に行い、これらの透視変換によりそれぞれ得られる複数枚の正面画像420を元の名刺画像410の位置に段階的に表示することにより、名刺画像410が正面画像420に次第に変化するように表示する。
またこのとき画像表示部102は、正面画像420の四辺が徐々にユーザ端末100のディスプレイ161の四辺の向きに平行になるように正面画像420の向きを回転させつつ、さらに正面画像420の大きさを徐々に所定倍に(本実施形態では1.1倍)拡大させるようにする。このようにして正面画像420が表示されている様子が図7(B)に示されている。
このように、ユーザがシャッターを押して静止画像400を得た後にこの静止画像400が名刺管理サーバ200に送信されて画像解析が行われている間に、静止画像400内の名刺画像410の部分が正面画像420に次第に変化するようなアニメーション表示を行うことによって、ユーザに対して名刺の画像認識処理が正常に進行中であることを直感的に示すことができる。
また正面画像420の大きさを元の名刺画像410の大きさに対して拡大するように表示することで、元の名刺画像410がディスプレイ161の向きに対して傾いている場合であっても、元の名刺画像410が正面画像420からはみ出す部分を少なくできるため、ユーザは名刺画像410が正面画像420に変化するように違和感なく認識できる。
続いて図7(C)は、画像表示部102が図7(B)に示す画面表示を行った後、正面画像420を名刺情報表示欄610に移動させ、その後正面画像420を消去して、名刺管理サーバ200から受信した名刺情報620を名刺情報表示欄610に表示している様子を示す図である。
名刺情報表示欄610は、名刺管理サーバ200から送信されてくる名刺情報620を表示するために画像表示部102によって設定される表示欄であり、静止画像400内に写っている名刺の枚数に応じた数が設けられる。なお名刺情報表示欄610に表示される名刺情報620のリストをリストビュー600とも記す。図7(C)には、3枚の名刺から読み取った3つの名刺情報620がリストビュー600に表示されている様子が示されている。
このような態様によって、名刺情報表示欄610に表示されている各名刺情報620が、元々静止画像400中のどこに表示されていた名刺から読み取った情報であるのかをユーザに視覚的に示すことができる。これにより、ユーザは、複数枚の名刺を一度に撮影した場合であっても、名刺の読み取り結果の確認を容易に行うことが可能となる。
<詳細な処理の流れ>
次に、本実施形態に係るユーザ端末100及び名刺管理サーバ200による名刺の読み取り処理の流れを、図8、図9のフローチャートに沿って説明する。また合わせて、図10〜図15を参照しながら、図7(A)〜図7(C)には示されていない、より詳細なアニメーション表示についても説明する。
<詳細な処理の流れ>
次に、本実施形態に係るユーザ端末100及び名刺管理サーバ200による名刺の読み取り処理の流れを、図8、図9のフローチャートに沿って説明する。また合わせて、図10〜図15を参照しながら、図7(A)〜図7(C)には示されていない、より詳細なアニメーション表示についても説明する。
まずユーザ端末100は、本実施形態に係る名刺読み取り処理を実行するためのアプリ(ユーザ端末制御プログラム700)を起動する(S1000)。
そうするとユーザ端末100は、カメラ151を起動し、外界の様子を示す静止画像400を所定のフレームレートで取得すると共に、ディスプレイ161に表示する。また同時にユーザ端末100は各静止画像400に対する画像解析を行うことにより、名刺画像410を識別する(S1010)。
ユーザ端末100は、静止画像400内に名刺画像410を検出した場合、その名刺画像410に重なるように、円形の名刺マーカ500を描画する(S1020)。また一枚の静止画像400から複数の名刺画像410が検出された場合には、ユーザ端末100はそれぞれの名刺画像410に名刺マーカ500を描画する。名刺画像410に重なるように名刺マーカ500が表示されている様子を図10に示す。
ユーザ端末100は、静止画像400内に名刺画像410を検出した場合、その名刺画像410に重なるように、円形の名刺マーカ500を描画する(S1020)。また一枚の静止画像400から複数の名刺画像410が検出された場合には、ユーザ端末100はそれぞれの名刺画像410に名刺マーカ500を描画する。名刺画像410に重なるように名刺マーカ500が表示されている様子を図10に示す。
このような状態でユーザによってシャッターが押されると(S1030)、ユーザ端末100は、静止画像400を名刺管理サーバ200に送信する(S1040)。
そして名刺管理サーバ200は、ユーザ端末100から送られてきた静止画像400を解析し、名刺に記載されているテキスト情報の読み取りを行う(S1060)。
一方でユーザ端末100はアニメーション表示処理を開始する(S1070)。ユーザ端末100は、図9に示すようにしてアニメーション表示処理を行う。
まずユーザ端末100は、静止画像400内の名刺画像410を徐々に塗りつぶすように、名刺画像410に重ねた名刺マーカ500を徐々に不透明に表示すると共に、名刺マーカ500の外形を徐々に名刺画像410の外形に近づけるように変形する(S2000)。
具体的には、ユーザ端末100は、図11(A)(B)に示すように、名刺マーカ500の内部が徐々に濃くなるように着色すると共に、名刺マーカ500の外形を円形から名刺の輪郭の形状に近づけていく。
その後、ユーザ端末100は、図12(A)〜図12(C)に示すように、名刺マーカ500の内部を徐々に透明に変化させると共に、正面画像420を徐々に表示する。そして同時にユーザ端末100は、正面画像420の四辺がユーザ端末100のディスプレイ161の四辺に沿って平行になるように、正面画像420を回転させる(S2010)。
このように、ユーザがシャッターを押して静止画像400を得た後にこの静止画像400が名刺管理サーバ200に送信されて画像解析が行われている間に、静止画像400内の名刺画像410の部分が正面画像420に次第に変化するようなアニメーション表示を行うことによって、ユーザに対して名刺の画像認識処理が正常に進行中であることを直感的に示すことができる。
なお、上述した例では、ユーザ端末100が静止画像400内の名刺画像410を正面画像420に変化させる際に(S2000及びS2010)、一旦、名刺マーカ500の内部を不透明に塗りつぶしつつ、名刺マーカ500の外形を名刺画像410の外形に近づくように変形しているが、このように、静止画像400内の名刺画像410が、一旦、所定の表示態様に次第に変化してから正面画像420に変化するようなアニメーションを表示することにより、ユーザの注意をアニメーションにより強く惹きつけることができるため、ユーザにより一層時間の経過を感じさせにくくすることが可能となる。
その後、ユーザ端末100は、図13(A)〜図13(B)に示すように、正面画像420を名刺情報表示欄610に移動させる。そしてその際に、ユーザ端末100は、正面画像420が名刺情報表示欄610に近づくにつれて、正面画像420の外形が名刺情報表示欄610の外形に近づくように、正面画像420を変形させる(S2020)。
このような態様によって、ユーザに対して、名刺の画像イメージが名刺情報表示欄610に集約されたような印象を与えることができる。これにより、後に名刺情報表示欄610に名刺情報620が表示されて、ユーザが名刺情報620の内容を確認しようとした時に、ユーザは、名刺情報620の記載内容を、名刺の画像イメージの位置と視覚的に結び付けた状態で確認することができる。
そしてユーザ端末100は、図13(B)に示すように、正面画像420が名刺情報表示欄610に到着すると、正面画像420を消去すると共に、名刺情報表示欄610に所定のダミー画像430を所定時間の間、表示する(S2030)。ダミー画像430は、図14に示すように、本実施形態では、不透明の所定色(例えば白色)の背景に、他の色(例えばグレー)で着色されたぼかし模様431を表示した画面である。このようなダミー画像430を名刺画像表示欄610に所定時間の間表示することによって、名刺の読み取り処理がもうじき完了する状態にあることをユーザに示すことが可能となるため、ユーザに対して待ち時間を感じにくくすることが可能となる。
その後ユーザ端末100は、ダミー画像430を徐々に透明に表示すると共に、名刺管理サーバ200から送られてきた名刺情報620を名刺情報表示欄610に表示する(S2040)。名刺情報表示欄610に表示される名刺情報620の例を図15に示す。
このようにしてユーザ端末100は、名刺情報表示欄620に名刺情報620を表示する際に、ダミー画像430が徐々に名刺情報620に切り替わるように表示する。このような態様によって、名刺情報620が表示されるタイミングを不明確にでき、これにより、ユーザに対して、名刺情報620がいつのまにか名刺情報表示欄510に表示されたかのような印象を与えることができるため、ユーザに対してさらに時間の経過を感じさせにくくすることが可能となる。
以上のようなアニメーション表示をユーザ端末100が行うことによって、ユーザに対して、名刺を撮影してから名刺の読み取り結果が表示されるまでの待ち時間を長く感じさせにくくすることができると共に、名刺の読み取り結果の確認を容易に行うことが可能となる。
なお、ユーザ端末100が名刺を撮影してから名刺の読み取り結果がディスプレイ161に表示されるまでの時間は、通信回線がよほど混雑していない限り、数秒程度しか掛からない。上述したアニメーション表示は、この数秒間に行われる。そのためユーザにとっては、シャッターを押した直後に始まるアニメーションの変化に気を取られている一瞬のうちに、いつの間にか名刺の読み取り結果が表示されるように感じられる。
<他の実施形態>
次に、他の実施形態として、ユーザが同時に複数枚の名刺を撮影した場合のアニメーション表示処理の流れを、図16〜図18を参照しながら説明する。なお、図7〜図15と内容が重複する部分については、説明を適宜省略する。
<他の実施形態>
次に、他の実施形態として、ユーザが同時に複数枚の名刺を撮影した場合のアニメーション表示処理の流れを、図16〜図18を参照しながら説明する。なお、図7〜図15と内容が重複する部分については、説明を適宜省略する。
まずユーザ端末100は、静止画像400内に名刺画像410が複数枚検出されたか否かを判定する(S3000)。検出された名刺画像410が1枚である場合は、ユーザ端末100は、図9に示したS2000〜S2040の処理を実行する(S3020)。
一方、複数枚の名刺画像410が検出された場合は、ユーザ端末100は、それらの名刺画像410の中から所定の1枚を選び、図9に示したS2000及びS2010の処理を実行する。つまり、選択した名刺画像410の部分が次第に正面画像420に変化するようにアニメーション表示する(S3010)。
例えば、本実施形態に係るユーザ端末100は、図17の(1)(2)(3)に示すように、ディスプレイ161の上端に近い名刺画像410から先に選ばれるような順番で名刺画像410を選択する。ここではユーザ端末100は、図17の名刺画像1(410)を始めに選択して正面画像420に変化するようなアニメーション表示を行う。
そしてユーザ端末100は、所定時間待機した後(S3030)、残りの名刺画像410に対しても同様に、順次、正面画像420に変化するようなアニメーション表示を行う(S3010、S3030、S3040)。
全ての名刺画像410が正面画像420に変化したら(S3050)、ユーザ端末100は、これらの正面画像420に対して、図9のS2020〜S2040の処理を行う(S3060)。すなわち、図18に示すように、ユーザ端末100は、3枚の正面画像420をそれぞれの名刺情報表示欄610に移動させた後にダミー画像430を表示し(図18(A)〜(B))、その後ダミー画像430を消去した後に名刺管理サーバ200から送られてきた名刺情報620を表示する(図18(B)〜(C))。
このように、静止画像400内に複数枚の名刺画像410が含まれている場合に、これら複数枚の名刺画像410が1枚ずつ順番に正面画像420に変化するようなアニメーション表示を行うようにすることで、ダミー画像430が消去されるまでの全体のアニメーション表示に要する時間を長くすることができるため、ユーザ端末100が名刺管理サーバ200から名刺情報620を受信するタイミングが遅くなっても、ユーザに対して待ち時間が伸びたような感じを与えないようにすることができる。
しかもこの場合であっても、図18の(A)〜(C)に示した正面画像420を名刺情報表示欄610に移動させるアニメーションは、全ての正面画像420に対して同時並列に行うようにしているため、ユーザに対して、どの名刺情報620がどの名刺に対応しているのかを混乱させるようなこともない。
次に、さらに別の実施形態について説明する。上記実施形態では、ユーザ端末100は名刺管理サーバ200と接続されており、名刺管理サーバ200が名刺情報620の抽出を行っていた。しかしながら、ユーザ端末100が自ら名刺情報620の抽出処理を行うようにすることも可能である。
この場合、ユーザ端末100は、画像取得部101と、画像表示部102と、画像抽出部104と、画像変形部105と、画像解析部202を備え、情報処理装置の一形態として機能する。
そしてユーザ端末100によって実行されるユーザ端末制御プログラム700が、本実施形態に係る上記各機能をコンピュータに実現させるためのプログラムとして機能する。
そしてユーザ端末100は、名刺を撮影すると、上述したアニメーション表示を開始すると共に、自らその静止画像400を解析して名刺情報620を読み取り、読み取り結果をディスプレイ161に表示する。
このような態様によっても、名刺を撮影してから名刺の読み取り結果が表示されるまでの待ち時間を長く感じさせにくくすることができると共に、名刺の読み取り結果の確認を容易に行うことが可能となる。
以上、本実施形態について詳細に説明したが、本実施形態によれば、ユーザに対して、名刺を撮影してから名刺の読み取り結果が表示されるまでの待ち時間を長く感じさせにくくすることができると共に、名刺の読み取り結果の確認を容易に行うことが可能となる。
なお上述した実施の形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得るとともに、本発明にはその等価物も含まれる。
例えば、上記実施形態では、名刺の読み取り処理を行う場合を例に説明したが、本発明は名刺以外にも広く書類の読み取り処理に適用することが可能である。
また上記実施形態では、正面画像420が名刺情報表示欄610に到着すると正面画像420が消去される場合について説明したが、正面画像420は消去されなくても良い。この場合は、ユーザ端末100は、例えば名刺情報620を名刺情報表示欄620に表示する際に、正面画像420の文字の部分を名刺情報620に置き換えるように表示する。
また上述したように、ユーザ端末100及び名刺管理サーバ200を備える名刺管理システム1000によって、上述した本実施形態に係る情報処理装置が実現されても良いし、ユーザ端末100単独で情報処理装置が実現されても良いが、名刺管理サーバ200単独でこの情報処理装置が実現されても良い。
この場合、名刺管理サーバ200は、画像取得部101と、画像表示部102と、画像抽出部104と、画像変形部105と、画像解析部202の各機能を備え、情報処理装置の一形態として機能する。そして名刺管理サーバ200によって実行される名刺管理サーバ制御プログラム710が、本実施形態に係る上記各機能をコンピュータに実現させるためのプログラムとして機能する。
また上記実施形態では、1台のユーザ端末100は1台のコンピュータにより実現されるとしたが、複数台のコンピュータにより実現されても良い。同様に、1台の名刺管理サーバ200が複数台のコンピュータにより実現されても良い。
さらに、上記実施形態では、ユーザ端末100がユーザ端末制御プログラム700を実行し、名刺管理サーバ200が名刺管理サーバ制御プログラム710を実行する場合について説明したが、この場合は、ユーザ端末100と名刺管理サーバ200とが協働することにより名刺管理システム1000が全体として1台のコンピュータとして機能し、ユーザ端末制御プログラム700及び名刺管理サーバ制御プログラム710が、この1台のコンピュータとして機能する名刺管理システム1000上で実行される一つのプログラムとして機能する。
100 ユーザ端末
101 画像取得部
102 画像表示部
103 画像送信部
104 画像抽出部
105 画像変形部
106 読み取り結果受信部
110 CPU
120 メモリ
130 通信装置
140 記憶装置
150 入力装置
151 カメラ
160 出力装置
161 ディスプレイ
170 記録媒体読取装置
200 名刺管理サーバ
201 画像受信部
202 画像解析部
203 読み取り結果送信部
204 名刺管理データベース
210 CPU
220 メモリ
230 通信装置
240 記憶装置
250 入力装置
260 出力装置
270 記録媒体読取装置
300 ネットワーク
400 静止画像
410 名刺画像(書類画像)
420 正面画像
430 ダミー画像
431 ぼかし模様
500 名刺マーカ
600 リストビュー
610 名刺情報表示欄
620 名刺情報(書類情報)
700 ユーザ端末制御プログラム
710 名刺管理サーバ制御プログラム
800 記録媒体
1000 名刺管理システム
101 画像取得部
102 画像表示部
103 画像送信部
104 画像抽出部
105 画像変形部
106 読み取り結果受信部
110 CPU
120 メモリ
130 通信装置
140 記憶装置
150 入力装置
151 カメラ
160 出力装置
161 ディスプレイ
170 記録媒体読取装置
200 名刺管理サーバ
201 画像受信部
202 画像解析部
203 読み取り結果送信部
204 名刺管理データベース
210 CPU
220 メモリ
230 通信装置
240 記憶装置
250 入力装置
260 出力装置
270 記録媒体読取装置
300 ネットワーク
400 静止画像
410 名刺画像(書類画像)
420 正面画像
430 ダミー画像
431 ぼかし模様
500 名刺マーカ
600 リストビュー
610 名刺情報表示欄
620 名刺情報(書類情報)
700 ユーザ端末制御プログラム
710 名刺管理サーバ制御プログラム
800 記録媒体
1000 名刺管理システム
Claims (10)
- 書類に記載されたテキストの読み取り結果を表示する情報処理装置であって、
前記書類を撮影して前記書類の静止画像を取得する画像取得部と、
前記静止画像を表示する画像表示部と、
前記静止画像から前記書類の輪郭で囲まれた部分である書類画像を抽出する画像抽出部と、
前記書類画像を、前記書類が正面から撮影された場合に得られる正面画像に変形する画像変形部と、
を備え、
前記画像表示部は、前記静止画像を表示した後、前記静止画像の中の前記書類画像の部分を前記正面画像に次第に変化させるように表示し、前記正面画像を前記テキストの読み取り結果を表示するための表示欄に移動させ、前記読み取り結果を前記表示欄に表示する
ことを特徴とする情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記画像表示部は、前記静止画像の中の前記書類画像の部分を前記正面画像に次第に変化させる際に、前記書類画像を所定の表示態様に次第に変化させた後に、前記所定の表示態様を前記正面画像に次第に変化させる
ことを特徴とする情報処理装置。 - 請求項2に記載の情報処理装置であって、
前記画像表示部は、所定形状の枠線を前記書類画像に重ねて表示した後に、前記枠線の形状を徐々に前記書類の輪郭に近づけるように変形させつつ前記枠線の内部が徐々に濃くなるように着色することにより、前記静止画像の中の前記書類画像の部分を次第に前記所定の表示態様に変化させる
ことを特徴とする情報処理装置。 - 請求項1〜3のいずれかに記載の情報処理装置であって、
前記画像表示部は、前記書類画像を前記正面画像に変化させる際に、前記正面画像の四辺が前記画像表示部の四辺に沿うように前記正面画像の向きを回転させつつ、前記正面画像の大きさを拡大させる
ことを特徴とする情報処理装置。 - 請求項1〜4に記載の情報処理装置であって、
前記画像表示部は、前記正面画像を前記表示欄に移動させる際に、前記正面画像が前記表示欄に近づくにつれて前記正面画像の外形が前記表示欄の外形に近づくように、前記正面画像を変形させる
ことを特徴とする情報処理装置。 - 請求項5に記載の情報処理装置であって、
前記画像表示部は、前記正面画像を前記表示欄に移動させた後、前記表示欄の外形に対応する所定のダミー画像を前記表示欄に所定時間表示した後に、前記読み取り結果を表示する
ことを特徴とする情報処理装置。 - 請求項6に記載の情報処理装置であって、
前記画像表示部は、前記表示欄に前記読み取り結果を表示する際に、前記ダミー画像が徐々に前記読み取り結果に切り替わるように表示する
ことを特徴とする情報処理装置。 - 請求項1〜7のいずれかに記載の情報処理装置であって、
前記画像表示部は、前記静止画像の中に複数の書類画像が抽出された場合には、それぞれの前記書類画像を、所定時間ずつずらしながら、順次、対応する正面画像に変化させた後、前記各正面画像を、前記正面画像毎にそれぞれ設けられる複数の前記表示欄にそれぞれ移動させ、その後前記各表示欄に、前記各書類画像からそれぞれ抽出されたテキストの読み取り結果を表示する
ことを特徴とする情報処理装置。 - 書類に記載されたテキストの読み取り結果を表示する情報処理装置の制御方法であって、
前記情報処理装置は、前記書類を撮影して前記書類の静止画像を取得し、
前記情報処理装置は、前記静止画像を表示装置に表示し、
前記情報処理装置は、前記静止画像から前記書類の輪郭で囲まれた部分である書類画像を抽出し、
前記情報処理装置は、前記書類画像を、前記書類が正面から撮影された場合に得られる正面画像に変形し、
前記情報処理装置は、前記表示装置に表示されている前記静止画像の中の前記書類画像の部分を前記正面画像に次第に変化させた後に、前記正面画像を所定の表示欄に移動させ、前記表示欄に前記テキストの読み取り結果を表示する
ことを特徴とする情報処理装置の制御方法。 - 書類に記載されたテキストの読み取り結果を表示するためのプログラムであって、コンピュータに、
前記書類を撮影して前記書類の静止画像を取得する手順と、
前記静止画像を表示装置に表示する手順と、
前記静止画像から前記書類の輪郭で囲まれた部分である書類画像を抽出する手順と、
前記書類画像を、前記書類が正面から撮影された場合に得られる正面画像に変形する手順と、
前記表示装置に表示されている前記静止画像の中の前記書類画像の部分を前記正面画像に次第に変化させた後に、前記正面画像を所定の表示欄に移動させ、前記表示欄に前記テキストの読み取り結果を表示する手順と、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017084432A JP6399371B1 (ja) | 2017-04-21 | 2017-04-21 | 情報処理装置、情報処理装置の制御方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017084432A JP6399371B1 (ja) | 2017-04-21 | 2017-04-21 | 情報処理装置、情報処理装置の制御方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018155144A Division JP6677410B2 (ja) | 2018-08-22 | 2018-08-22 | 情報処理装置、情報処理装置の制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6399371B1 true JP6399371B1 (ja) | 2018-10-03 |
JP2018181243A JP2018181243A (ja) | 2018-11-15 |
Family
ID=63708681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017084432A Active JP6399371B1 (ja) | 2017-04-21 | 2017-04-21 | 情報処理装置、情報処理装置の制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6399371B1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020106277A1 (en) * | 2018-11-20 | 2020-05-28 | Hewlett-Packard Development Company, L.P. | Document detections from video images |
JP7393248B2 (ja) * | 2020-02-28 | 2023-12-06 | ユーソナー株式会社 | 名刺情報処理システム及び名刺情報処理プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006072915A (ja) * | 2004-09-06 | 2006-03-16 | Canon Inc | 情報処理装置 |
JP6222434B2 (ja) * | 2013-08-30 | 2017-11-01 | コニカミノルタ株式会社 | 表示装置 |
-
2017
- 2017-04-21 JP JP2017084432A patent/JP6399371B1/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018181243A (ja) | 2018-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6657593B2 (ja) | 生体撮影装置、生体撮影方法及び生体撮影プログラム | |
JP2007122400A (ja) | 認証装置、プログラムおよび記録媒体 | |
CN106462567A (zh) | 增强的数据视图 | |
JP2013255166A (ja) | 画像読取装置及びプログラム | |
EP3627824A1 (en) | Imaging apparatus, and operation program and operation method for imaging apparatus | |
CN108781252A (zh) | 一种图像拍摄方法及装置 | |
CN107133615A (zh) | 信息处理设备和信息处理方法 | |
CN109460556A (zh) | 一种翻译方法和装置 | |
JP6399371B1 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP4790080B1 (ja) | 情報処理装置,情報表示方法,情報表示プログラム,及び記録媒体 | |
KR20120030371A (ko) | 이미지 수정을 갖는 카메라 장치 | |
KR101742779B1 (ko) | 음성인식형 입체적 디지털영상 구현시스템 | |
JP6677410B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP2015026189A (ja) | 画像処理システム、携帯端末装置、表示装置及びコンピュータプログラム | |
JP6677412B2 (ja) | 画像抽出装置、画像抽出装置の制御方法及びプログラム | |
JP3164748U (ja) | 情報処理装置 | |
KR20150125778A (ko) | 사용자 단말장치 및 사용자 단말 장치의 데이터 관리 방법 | |
JP6486077B2 (ja) | 表示装置、サーバ装置、表示システム及びその制御方法、並びに制御プログラム、記憶媒体 | |
JP2014219822A (ja) | コンテンツ表示装置、コンテンツ表示方法、プログラム、及び、コンテンツ表示システム | |
JP2017187962A (ja) | 拡張現実技術を用いた装置説明用プログラム | |
JP2021028760A (ja) | 電子機器およびその制御方法 | |
KR102623605B1 (ko) | 반려 동물의 생체 정보를 취득하는 전자 장치 및 그 동작 방법 | |
JP7472681B2 (ja) | 情報処理装置、プログラムおよび情報処理方法 | |
JP7231529B2 (ja) | 情報端末装置、サーバ及びプログラム | |
JP5499994B2 (ja) | 紙カレンダーのメモスペースを電子的に拡張する機能を備えたカレンダー装置及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180724 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6399371 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |