JP6384079B2

JP6384079B2 - 手書きレイアウト検出印刷装置及び方法

Info

Publication number: JP6384079B2
Application number: JP2014061223A
Authority: JP
Inventors: 文裕刑部
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2014-03-25
Filing date: 2014-03-25
Publication date: 2018-09-05
Anticipated expiration: 2034-03-25
Also published as: JP2015182328A

Description

本発明は、手書き入力によりレイアウトを調整して印刷する手書きレイアウト検出印刷装置及び方法に関する。

特許文献１には、印刷対象物が葉書なのか、封筒なのか、そのサイズはどれだけかを認識して印字可能範囲を検出し、当該印字可能範囲に印刷がなされるように調整する印刷装置が開示されている。

特開平０７−３０４２２５号公報

従来技術では、印字可能範囲に印刷がなされることを目的とするものであり、個々の使用者の好みに合わせてレイアウト（例えば、宛名、宛先、差出人のレイアウト）を調整するものではなかった。
本発明は、複数の印刷物に対して使用者の好みのレイアウトを反映できる印刷装置を提供することを目的とする。

本発明の手書きレイアウト検出印刷装置は、宛名面を表示する表示部と、前記宛名面へ使用者が手書き入力するタッチパネル入力部と、手書き入力された文字と、前記手書き入力された文字が占める前記宛名面での領域と面積とを含む位置に関する情報を認識する認識部と、前記認識部の認識結果に基づいて、前記宛名面のレイアウトを解析し、前記使用者の好みを抽出するレイアウト解析部と、前記レイアウト解析部の解析結果に基づいて、宛名印字データに改変を施す制御部と、前記制御部が改変を加えた印字データに基づいて宛名印刷を行う印刷部とを有する。
本発明の手書きレイアウト検出印刷方法は、宛名面が表示されたタッチパネルに使用者が手書き入力した入力情報を取得する入力工程と、該入力情報に基づいて、前記手書き入力された文字と、前記手書き入力された文字が占める前記宛名面での領域と面積とを含む位置に関する情報の認識を行う認識工程と、前記入力情報に基づいて前記宛名面のレイアウト解析を行い、前記使用者の好みを抽出するレイアウト解析工程と、前記レイアウト解析工程の解析結果に基づいて、宛名印字データに改変を施す制御工程と、前記制御工程が改変を加えた印字データに基づいて宛名印刷を行う印刷工程とを含む。

本発明の手書きレイアウト検出印刷装置を用いると、使用者の好む印刷物のレイアウトをタッチパネルによる手書き入力により検出することができる。そして、それにより、大量の印刷物に好みのレイアウトを反映できる。したがって、印刷物のレイアウトを調整する手間を回避できる。

図１は、本発明に係る印刷装置のブロック図である。図２は、本発明に係る印刷装置の制御部が実行するプログラムのフローチャートである。図３は、はがき印刷の場合の具体的なレイアウトを示す。図３（ａ）は、縦書きの宛名面の具体例を示す。図３（ｂ）は、横書きの宛名面の具体例を示す。図３（ｃ）は、縦書きの宛名面での宛先の書き出し位置を示す。図３（ｄ）は、縦書きの宛名面での宛先と宛名の文字の大きさの関係性を示す。図３（ｅ）は、縦書きの宛名面での宛先の数字を示す。図３（ｆ）は、縦書きの宛名面での宛名の書き出し位置を示す。図３（ｇ）は、縦書きの宛名面での宛先の書き終わり位置を示す。図３（ｈ）は、縦書きの宛名面での宛名の連名の場合に中央揃えとするものを示す。図３（ｉ）は、縦書きの宛名面での宛名の連名の場合に、頭を揃えるものを示す。図４は、はがき印刷の場合の具体的なレイアウトをさらに示すものである。図４（ａ）は、縦書きの宛名面での長い宛先の場合の文字サイズを示す。図４（ｂ）は、縦書きの宛名面での長い宛先の場合の改行を示す。図４（ｃ）は、縦書きの宛名面での差出人の文字の大きさを示す。図４（ｄ）は、縦書きの宛名面での差出人の書き出しおよび書き終わり位置を示す。図４（ｅ）は、縦書きの宛名面での差出人の書き終わり位置を示す。図４（ｆ）は、縦書きの宛名面での宛先・宛名・差出人の領域を示す。図４（ｇ）は、縦書きの宛名面での宛名の「様」の文字の位置を示す。

以下、図面を参照しつつ実施形態について説明する。
《機器構成を示すブロック図について》
図１は、本発明の手書きレイアウト検出印刷装置の基本的機器構成を示すブロック図である。手書きレイアウト検出印刷装置は、画面表示を制御する表示制御部１と、手書き入力した文字および印刷物のレイアウトを表示する表示部２と、タッチパネルにて使用者が宛名・宛先・差出人を手書きするタッチパネル入力部３と、タッチパネルにて使用者が宛名・宛先・差出人を手書きしたデータを取り込み文字認識する文字認識部４と、取り込んだ手書きデータからレイアウトを認識するレイアウト解析部５と、４と５で認識した文字コードとレイアウトから使用者の好みのレイアウトを判断する制御部６と、タッチパネルにて使用者が手書き入力したデータを格納する外部メモリ７と、文字を入力するキー入力操作部７と、宛名面（宛名・宛先・差出人）を印刷する印刷部８を有する。

制御部６は、不図示のＣＰＵ（中央処理装置）、および文字認識部（文字認識エンジン）４とレイアウト解析部（パターン解析部）５とを有している。文字認識の機能、レイアウト解析の機能をＣＰＵに持たせることも可能であるが、文字認識、レイアウト解析については、それぞれ専門性の強い処理であり、また負担の大きい処理であるので、ここでは、回路を独立して持つことによりＣＰＵの負荷を軽くしている。
図２に示すフローチャートは、制御部６が有するＣＰＵが処理するプログラムのフローチャートである。

制御部６は、その周辺に入力装置（タッチパネル入力部３、キー入力操作部８など）と、出力装置（表示制御部１、表示部２、印刷部９など）と、記憶装置（外部メモリ７など）を有する。
タッチパネル入力部３と表示部２とは、切り離して設けることもできるが、それらを積層配置することにより表示されている部分に使用者がタッチして入力することを実現するようにもできる。積層配置する方が、直感的に使用者が書き込む領域を認識できる点で好ましい。

キー入力操作部８は、いわゆるキーボードを備えるものであってもよいし、表示部２の一部にキーボードを表示して、タッチパネル入力により、キー入力するようにしてもよい。
印刷部９は、いわゆるプリンタであり、その印刷方式は特に限定されない。インクジェット方式のプリンタであってもよいし、トナーを用いる電子写真方式の印刷装置であってもよい。また、サーマルプリンタなどの他の方式のプリンタであってもよい。

本発明に係る手書きレイアウト検出印刷装置は、印刷部９を含むいわゆるプリンタの筐体内に、制御部６、タッチパネル入力部３、キー入力操作部８、外部メモリ７、表示制御部１、表示部２を一体的におさめた装置としてもよい。
また、本発明に係る手書きレイアウト検出印刷装置は、いわゆるパソコンＰＣ（制御部６、文字認識部４、レイアウト解析部５）とモニタ（表示部２）、タッチパネル（タッチパネル入力部３）、キーボード（キー入力操作部８）、さまざまな外部記憶装置（外部メモリ７）を必要なケーブルでつなぎ、あるいは無線手段で通信させて複数の機器からなるシステムとして構成してもよい。

印字対象となる電子データは、本発明に係る手書きレイアウト検出印刷装置を用いて、使用者がタッチパネル入力部３によるタッチパネル入力により作成することができる。

《アルゴリズムについて》
図２のフローチャートに「手書きレイアウト検出印刷装置」を実現する処理アルゴリズムが示されている。

《サンプル画像を表示する》
まず、使用者の宛名面のレイアウトの好みを検出する為に必要な宛名面のレイアウトを画面に表示する。（Ｓ２０）
例えば、複数のサンプル画像を表示することにより使用者の選択を待つ。複数のサンプル画像は、例えば縦書き（図３（ａ））と横書き（図３（ｂ））、差出人の表記を宛名面に含むものと含まないものなどのサンプル画像を表示することができる。

《タッチパネルで手書き入力する》
使用者が複数のサンプル画像の中から一つを選択（タッチパネルを用いてクリック）すると、それに基づいて、入力が可能となる。使用者は、タッチパネルで手書き入力をする。そのとき、示された宛名面のすべての文字を使用者は自分が最も好むレイアウトでタッチパネルにおいて手書きをする（Ｓ３０）。
すなわち、使用者が手書き入力するその座標データは、単に、文字認識部４に引き渡されて文字情報に変換されるデータとしてだけでなく、レイアウト解析部５にも引き渡されてレイアウトを決めるためのデータとしても扱われる。手書きした情報は、ＸＹ座標のデータを有するものであり、当該レイアウト画像の中のどこの位置に使用者はその入力をしたのかという情報を併せ持つものだからこのことが可能となる。

《データ取得と文字認識》
次に、制御部６は、手書きされたタッチパネルの座標データをシステムに取り込む（Ｓ４０）。
そして、制御部６は、そのデータを文字認識部４に引き渡し、文字認識部４は取得した座標データから使用者が書いた文字の文字認識を実行する（Ｓ５０）。このとき、一つ一つの文字が何であるかを認識するのみならず、その文字が占める宛名面での領域がどこであるか、その文字が占める面積がどれだけであるか、など位置に関する情報を伴った状態で文字認識がなされる。

《「様」、「御中」などの位置確定》
文字認識する際に、「漢数字」および「相手を尊敬する意味で用いられる漢字、すなわち“様””御中”（さん、ちゃん、くんなど）の文字」の位置を確定する(図４（ｇ）の破線で囲った部分を参照)。
相手を尊敬する意味で用いられる漢字 “様””御中”（さん、ちゃん、くんなど）の文字は必ず宛名の最後に書かれ、さらに宛名のすべてに記載される為、縦書きの場合は行の一番下に来た文字が相手を尊敬する意味で用いられる”様“と確定する事ができ、その場合にはその行は宛名であると確定する事ができる。”様”が宛名の途中にある場合には“様”の前後（縦書きの場合）に文字があるかどうかで名前の中の“様”か行の一番下に来た相手を尊敬する意味で用いられる“様”かを判別可能である（Ｓ６０）。

《宛先、宛名、差出人のエリア確定》
次に宛名面が縦書きの場合（Ｓ２０でサンプル画像を表示して使用者が画面を選択して入力しているので、縦書きか横書きかは確定している。）には宛名領域の右側は住所が記載された領域と確定する。
また宛先領域の左側は差出人住所および差出人の領域と確定する（Ｓ７０）。

《文字認識が困難な場合》
文字認識が困難な場合には使用者に再度宛名面を手書きするように促す画面を表示する（Ｓ８０）。それを受けて使用者はタッチパネルに宛名・差出人を手書き入力する（Ｓ３０）。そして、Ｓ４０からＳ６０の処理を繰り返し宛先、宛名、差出人住所、差出人の領域の確定をする（Ｓ７０）。図４（ｆ）は、宛先、宛名、差出人の領域がそれぞれ破線で囲まれた領域として確定できた状態を示している。

《レイアウト解析》
次に宛名面の使用者の好むレイアウトの解析を実施する（Ｓ９０）。
検出する項目は次の８点が考えられる。
１．縦書きか横書きか
本項目に関しては、上述したようにサンプル画像の縦書きを選んで入力したのか、横書を選んで入力したのか、という情報から判断することも可能である。
サンプル画像に、縦書き、横書きの区別がなかった場合であっても、文字認識した際の文字の向きにより確定できる（図３（ａ）、（ｂ）参照）。文字の向きの解析はパターン認識から行うことができる。
また、手書き入力データが、座標データのみならず、時間情報（あるいは順序情報）をもっていれば、それを解析することによってどの順番に文字を書いたかがわかり、縦書き、横書きの別を知ることができる。

２．宛先において改行時の上の文字を揃えるかどうか
Ｓ７０にて宛先領域が確定している。よって宛先領域にいくつの行が記載されているか認識できる。
宛名の各行の文字の書きはじめを検出する事ができ、すべての行で文字の高さが揃っているかを判断する。図３（ｃ）の破線にて示す線が宛名の１行目の開始位置を示している。図３（ｃ）の例では、宛名の２行目は１行目よりも下がった位置から始まっている。

３．住所の数字は漢数字か算用数字か
住所には、番地を示す数字が多くの場合含まれている。その数字は、漢数字であるか、算用数字かは、その使用者の好みの問題であると考えられる。図３（ｅ）の破線で囲った部分に示すように、文字認識した際に漢数字か算用数字かを判断可能である。

４. 宛名、宛先領域の余白（図8,9 点線参照）
縦書きの場合には上に余白が有るのか、下に余白があるのか、上下に余白があるのか判断する。図３（ｆ）は、宛名の上に余白がある場合を示している。図３（ｇ）は、宛先の下に余白がある場合を示している。どこに余白があるかは、それぞれの使用者の好み、習慣などによるものと考えられる。

５．連名のバランス
縦書きの場合、連名の書き始めの文字の高さを上揃えにするか、真ん中揃えにするか、上揃え＋下揃えにするか（一文字、二文字、三文字の場合）を文字の書き始めと書き終わりの高さより判断する。図３（ｈ）は、連名の書き始めの文字の高さを真ん中揃えにしている場合を示している。図３（ｉ）は、連名の書き始めの文字を上揃えにしている例を示している。

６．一行に入らない場合の文字サイズの自動調整
宛先において文字数が多く複数行になる場合に文字の大きさはそのままで改行を行って２行にわたって記載するか、もしくは文字を縮小して１行にして記載するかを判断する。
図４（ａ）は、マンション名と部屋番号を文字を縮小して１行にしている例を示す。図４（ｂ）は、マンション名と部屋番号とを２行にわたって記載している例を示す。

７．宛名面への差出人の記載の有無
宛名面に差出人の情報の記載の有無を判断する。図４（ｃ）の破線で囲った部分は、差出人の記載を宛名面に設けている例を示している。それに対し、図４（ｇ）では、差出人の記載が設けられていない例である。

８．差出人領域の余白
差出人の住所と氏名の書き始めおよび書き終わりの高さの関係性に関して、上に余白が有るのか、下に余白があるのか、上下に余白があるのかを判別する。図４(d)は、差出人の氏名の下に余白がある例を示す。図４（ｅ）は、差出人の住所の書き終わりと氏名の書き終わりの高さが一致している例を示す。

次に宛先、宛名、差出人のエリア確定（Ｓ７０）にて確定した宛先、宛名、差出人住所、差出人の各領域の一文字の文字の大きさを認識する（Ｓ１００）。

《宛名と宛先の文字の大きさの関係性》
Ｓ１００にて宛名と宛先の領域のそれぞれの文字サイズを検出したので、その文字サイズより２つの領域の文字の大きさの比率を計算する。図３（ｄ）には、宛名の最初の文字「坂」と、宛先の最初の文字「東」の文字サイズの比率を比較していることを示している。

Ｓ９０の宛名面の宛先、宛名、差出人住所、差出人のレイアウトとＳ１００の文字の大きさの関係性より使用者の好みを検出する(Ｓ１１０)。
上記に記述した１〜８のレイアウトにおける使用者の好みとＳ１００にて検出した文字サイズの関係性を印刷する宛名面すべてにおいて反映する（Ｓ１２０）。そして印刷を実行する(Ｓ１３０)。

《用い方》
例えば、はがきの宛名印刷が、３００枚あるとしてそれらすべての印刷に使用者の宛名書きの好みを反映させるために、最初の一枚だけを使用者が手書き入力する。その一枚の文字認識とレイアウト解析とからその使用者の好みを検出する。そして、その好みの情報を３００枚のはがきの宛名印刷すべてに適用して印字データに改変を加える。そして印刷を実行するということができる。このとき、印字データに改変を加える作業と印刷実行作業とは並行して行うことが可能である。

《レイアウト好み情報の保存》
本発明に係る手書きレイアウト検出印刷装置にて抽出した使用者のレイアウト好み情報を例えば外部メモリ７に保存し、または通信により他の機器に送って、他の印刷装置で利用可能にすることもできる。
その場合、このレイアウト好み情報に基づいて、既存の宛名印字データを改変するためのプログラムを別途準備すればよい。

《従来の印刷装置との比較》
従来の印刷装置は、宛名面の印刷をする場合には宛名・宛先・差出人の細かいレイアウトを手動で調整し確認する必要がありとても面倒だった。
またマナーやルールに沿って自動でレイアウトが実施されたとしても、そのレイアウトが使用者の好みと一致するわけではなかったので、使用者は自分の好みのレイアウトに手動で調整して変更する必要があった。これらは大量に印刷物を作成する際には不向きである。

《発明の作用》
使用者の宛名書きの好みを、手書き入力を一度行うことで抽出可能できる。
抽出した使用者の宛名書きの好みを複数の宛名書きデータに反映させることができる。
大量の宛名印刷であっても、使用者の好みを反映させて実行できる。

《発明の要点》
１．手書きにより使用者のレイアウトの好みを検出できる点
２．使用者のレイアウトの好みをタッチパネルから検出できる点
３．使用者のレイアウトの好みを自動で印刷物に反映できる点
４．手書きデータよりレイアウトを検出できる点
５．手書きデータより文字のサイズを検出できる点
６．文字認識によりレイアウトを検出できる点
７．文字認識により使用者のレイアウトの好みを検出できる点

《発明の効果》
本発明では、使用者の好む印刷物のレイアウトを手書きにより検出させる事により、大量の印刷物に好みのレイアウトを反映できる事で印刷物のレイアウトを調整する手間の回避が可能になり格段に利便性が向上するという利点がある。

本発明のいくつかの実施形態を説明したが、本発明は特許請求の範囲に記載された発明とその均等の範囲に含まれる。たとえば、図２に示すフローチャートでは、文字認識処理を行ってからレイアウト解析を行うこととしたが、レイアウト解析の一部を先に行って、それを頼りに文字認識処理を行うこととしてもよい。また、文字認識がうまくできなかった場合に、再度文字認識を行う際には、文字ごと又は単語ごとの区切りをユーザに入力させて区切って認識処理を行うこととしてもよい。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

[付記１]
宛名面を表示する表示部と、
前記宛名面へ使用者が入力するタッチパネル入力部と、
入力された領域を認識する認識部と、
前記認識部の認識結果に基づいて、前記宛名面のレイアウトを解析するレイアウト解析部と、
前記レイアウト解析部の解析結果に基づいて、宛名印字データに改変を施す制御部と、
前記制御部が改変を加えた印字データに基づいて宛名印刷を行う印刷部とを有するレイアウト検出印刷装置。

[付記２]
前記レイアウト解析部は、入力を行う使用者の好みを抽出する請求項１に記載のレイアウト検出印刷装置。

[付記３]
前記レイアウト解析部は、前記使用者の好みをデータとして保存する請求項２に記載のレイアウト検出印刷装置。

[付記４]
使用者の入力情報を取得する入力工程と、
該入力情報に基づいて入力領域の認識を行う認識工程と、
前記入力情報に基づいてレイアウト解析を行うレイアウト解析工程と
を含むレイアウト検出印刷方法。

[付記５]
前記レイアウト解析工程は、使用者の好みを抽出することを特徴とする請求項４に記載したレイアウト検出印刷方法。

[付記６]
前記レイアウト解析工程で抽出した前記使用者の好みを複数の印字データに対して適用することを特徴とする請求項５に記載したレイアウト検出印刷方法。

本発明は、葉書や封筒の宛名印刷を行う印刷装置に利用可能である。

１表示制御部
２表示部
３タッチパネル入力部
４文字認識部
５レイアウト解析部
６制御部
７外部メモリ
８キー入力操作部
９印刷部

Claims

宛名面を表示する表示部と、
前記宛名面へ使用者が手書き入力するタッチパネル入力部と、
手書き入力された文字と、前記手書き入力された文字が占める前記宛名面での領域と面積とを含む位置に関する情報を認識する認識部と、
前記認識部の認識結果に基づいて、前記宛名面のレイアウトを解析し、前記使用者の好みを抽出するレイアウト解析部と、
前記レイアウト解析部の解析結果に基づいて、宛名印字データに改変を施す制御部と、
前記制御部が改変を加えた印字データに基づいて宛名印刷を行う印刷部とを有する手書きレイアウト検出印刷装置。
前記レイアウト解析部は、前記使用者の好みをデータとして保存する請求項１に記載の手書きレイアウト検出印刷装置。
宛名面が表示されたタッチパネルに使用者が手書き入力した入力情報を取得する入力工程と、
該入力情報に基づいて、前記手書き入力された文字と、前記手書き入力された文字が占める前記宛名面での領域と面積とを含む位置に関する情報の認識を行う認識工程と、
前記入力情報に基づいて前記宛名面のレイアウト解析を行い、前記使用者の好みを抽出するレイアウト解析工程と、
前記レイアウト解析工程の解析結果に基づいて、宛名印字データに改変を施す制御工程と、
前記制御工程が改変を加えた印字データに基づいて宛名印刷を行う印刷工程と
を含む手書きレイアウト検出印刷方法。
前記レイアウト解析工程で抽出した前記使用者の好みを複数の印字データに対して適用することを特徴とする請求項３に記載した手書きレイアウト検出印刷方法。