JP4823606B2 - Character output device and method, and program - Google Patents

Character output device and method, and program Download PDF

Info

Publication number
JP4823606B2
JP4823606B2 JP2005236481A JP2005236481A JP4823606B2 JP 4823606 B2 JP4823606 B2 JP 4823606B2 JP 2005236481 A JP2005236481 A JP 2005236481A JP 2005236481 A JP2005236481 A JP 2005236481A JP 4823606 B2 JP4823606 B2 JP 4823606B2
Authority
JP
Japan
Prior art keywords
character
handwritten
reference font
font
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005236481A
Other languages
Japanese (ja)
Other versions
JP2007052174A (en
Inventor
智明 川瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2005236481A priority Critical patent/JP4823606B2/en
Publication of JP2007052174A publication Critical patent/JP2007052174A/en
Application granted granted Critical
Publication of JP4823606B2 publication Critical patent/JP4823606B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、ペンやマウス等を用いて入力された複数の手書き文字からなる文字列をプリントしたりモニタに表示可能に出力する文字出力装置および方法並びに文字出力方法をコンピュータに実行させるためのプログラムに関するものである。   The present invention relates to a character output device and method for printing a character string made up of a plurality of handwritten characters input using a pen, a mouse, or the like or outputting the character string in a displayable manner, and a program for causing a computer to execute the character output method It is about.

従来より、パソコンの画面等に表示された文字のドローエリアに、ペンやマウスを用いてフリーハンドでタイトルロゴ等の文字列を入力することが行われている。このように入力された文字は、そのまま画像として表示されたりプリント出力されたりするが、ペンやマウスを用いて文字を入力する場合、ペンやマウス等のデバイスと、文字を入力する面(例えばモニタの表面やマウスパッドの表面等)との接点における滑り具合により、鉛筆等の筆記用具を用いて紙に文字を書く場合のようにスムーズな直線や曲線を描くことは困難である。   Conventionally, a character string such as a title logo is input freehand using a pen or a mouse into a character draw area displayed on a personal computer screen or the like. Characters input in this way are displayed as images or printed out as they are. When inputting characters using a pen or mouse, a device such as a pen or mouse and a surface for inputting characters (for example, a monitor) It is difficult to draw a smooth straight line or curve as in writing letters on paper using a writing instrument such as a pencil due to the sliding condition at the point of contact with the surface of the mouse pad or the surface of the mouse pad).

このため、入力された文字の文字認識を行い、認識された文字に対応するフォントにより文字列を出力することが行われている。また、入力した手書き文字の特徴を反映するために、入力された手書き文字のイメージデータをベクトル化してベクトルデータを得、イメージデータの筆順や特徴を分析して文字コードを決定し、ベクトルデータおよび文字コードを文字フォントのフォーマットで定義された形式の文字フォントデータとして登録しておくことにより、入力された手書き文字の特徴を反映しつつ、文字を出力する手法が提案されている(特許文献1参照)。   For this reason, character recognition of input characters is performed, and a character string is output using a font corresponding to the recognized characters. In addition, in order to reflect the characteristics of the input handwritten character, the image data of the input handwritten character is vectorized to obtain vector data, the stroke order and characteristics of the image data are analyzed to determine the character code, the vector data and A method of outputting characters while reflecting the characteristics of input handwritten characters by registering character codes as character font data in a format defined by a character font format has been proposed (Patent Document 1). reference).

また、あらかじめユーザが入力した手書き文字の特徴を解析し、特徴を標準フォントに反映させてユーザに固有の手書きフォントを作成しておくことにより、ペンやマウスを用いて文字を入力しなくても、ユーザの個性を反映させた文字列を出力できるようにした手法も提案されている(特許文献2参照)。
特開2000−148123号公報 特開2000−330545号公報
In addition, by analyzing the characteristics of handwritten characters input by the user in advance and reflecting the characteristics in the standard font to create a handwritten font unique to the user, it is possible to input characters using a pen or mouse. A method has also been proposed that can output a character string reflecting the individuality of the user (see Patent Document 2).
JP 2000-148123 A JP 2000-330545 A

しかしながら、上記特許文献1,2に記載された手法は、あらかじめユーザ毎に手書きフォントを登録しておく必要があるため、手書きフォントを登録していないユーザは、手書きフォントを反映した文字列を利用することができない。また、文字列を手書き入力した際に、特定の文字を大きくしたり、回転させたり、文字の間隔を変更したりして文字列をレイアウトした場合であっても、出力される文字にユーザが入力した際の文字のレイアウトを反映することができないため、画一的なレイアウトの文字列しか出力できない。このため、出力される文字列をパソコンの画面に表示して文字の変形等のレイアウトを行うことが考えれるが、その作業は非常に煩雑である。   However, since the methods described in Patent Documents 1 and 2 need to register handwritten fonts for each user in advance, users who do not register handwritten fonts use character strings that reflect the handwritten fonts. Can not do it. In addition, when a character string is input by handwriting, even if the character string is laid out by enlarging or rotating a specific character or changing the character spacing, Since the character layout at the time of input cannot be reflected, only a uniform layout character string can be output. For this reason, it is conceivable to display the output character string on the screen of a personal computer and perform layout such as character deformation. However, this operation is very complicated.

本発明は上記事情に鑑みなされたものであり、ペンやマウス等を用いて入力された手書き文字を、入力時のユーザの癖やレイアウトを維持しつつ簡易に出力することを目的とする。   The present invention has been made in view of the above circumstances, and an object thereof is to easily output handwritten characters input using a pen, a mouse, or the like while maintaining a user's habit and layout at the time of input.

本発明による文字出力装置は、複数の手書き文字からなる文字列の入力を受け付ける入力手段と、
前記文字列に含まれる手書き文字のそれぞれに、基準フォントのデザインを反映させるデザイン反映手段とを備えたことを特徴とするものである。
A character output device according to the present invention includes an input unit that receives input of a character string composed of a plurality of handwritten characters;
A design reflecting means for reflecting the design of the reference font is provided for each handwritten character included in the character string.

「基準フォント」とは、所定のデザインを有するいわゆるゴシック、明朝、勘亭流等のフォントの他、様々な模様を並べて文字を表すようにしたフォントをも含むものである。   The “reference font” includes so-called Gothic, Mincho, and Kantei-style fonts having a predetermined design, as well as fonts in which various patterns are arranged to represent characters.

なお、本発明による文字出力装置においては、前記デザイン反映手段を、前記文字列に含まれる各手書き文字を認識する文字認識手段と、
前記各手書き文字を構成する線分をベクトル化して各手書き文字の特徴点を検出するとともに、前記認識された文字に対応する基準フォントを構成する線分をベクトル化して該基準フォントの文字の特徴点を検出する特徴点検出手段と、
前記各手書き文字の特徴点および前記基準フォントの文字の特徴点を照合して、該基準フォントの文字を変形することにより、前記文字列に含まれる各手書き文字に前記基準フォントのデザインを反映させる変形手段とを備えるものとしてもよい。
In the character output device according to the present invention, the design reflection means includes character recognition means for recognizing each handwritten character included in the character string,
The line segment constituting each handwritten character is vectorized to detect the feature point of each handwritten character, and the line segment constituting the reference font corresponding to the recognized character is vectorized to characterize the character of the reference font. Feature point detecting means for detecting points;
The feature point of each handwritten character and the feature point of the character of the reference font are collated, and the character of the reference font is deformed to reflect the design of the reference font on each handwritten character included in the character string. It is good also as a thing provided with a deformation | transformation means.

この場合、前記デザイン反映手段を、前記各手書き文字における軌跡のブレを除去するブレ除去手段をさらに備えるものとし、
前記文字認識手段および前記変形手段を、前記軌跡のブレが除去された各手書き文字の認識および前記特徴点の検出を行う手段としてもよい。
In this case, the design reflection means further includes blur removal means for removing blurring of a locus in each handwritten character,
The character recognition means and the deformation means may be means for recognizing each handwritten character from which the blurring of the locus has been removed and detecting the feature point.

またこの場合、前記手書き文字におけるユーザの癖の反映の程度の入力を受け付ける程度入力手段をさらに備えるものとし、
前記変形手段を、前記程度入力手段により入力されたユーザの癖の反映の程度に応じて、前記基準フォントの文字を変形する手段としてもよい。
Further, in this case, it is further provided with a degree input means for accepting an input of a degree of reflection of the user's habit in the handwritten character,
The deformation means may be means for deforming the characters of the reference font according to the degree of reflection of the user's habits input by the degree input means.

また、本発明による文字出力装置においては、前記入力手段を、表示された画像への前記文字列の入力を受け付ける手段とし、
前記基準フォントのデザインが反映された手書き文字からなる文字列を前記画像に付与する文字付与手段をさらに備えるようにしてもよい。
Moreover, in the character output device according to the present invention, the input means is a means for receiving input of the character string to the displayed image,
You may make it further provide the character provision means to which the character string which consists of a handwritten character in which the design of the said reference font was reflected to the said image.

本発明による文字出力方法は、複数の手書き文字からなる文字列の入力を受け付け、
前記文字列に含まれる手書き文字のそれぞれに、基準フォントのデザインを反映させることを特徴とするものである。
The character output method according to the present invention accepts input of a character string composed of a plurality of handwritten characters,
The design of the reference font is reflected on each handwritten character included in the character string.

なお、本発明による文字出力方法をコンピュータに実行させるためのプログラムとして提供してもよい。   In addition, you may provide as a program for making a computer perform the character output method by this invention.

本発明によれば、複数の手書き文字からなる文字列の入力が受け付けられ、文字列に含まれる各手書き文字に、基準フォントのデザインが反映される。このため、文字列に含まれる手書き文字に表されるユーザの癖、並びに手書き文字の位置、大きさおよび間隔等のレイアウトはそのままに、手書き文字に基準フォントのデザインを反映させることができ、これにより、手書き文字のレイアウトおよびユーザの癖をそのまま生かした文字を出力することができる。   According to the present invention, input of a character string composed of a plurality of handwritten characters is accepted, and the design of the reference font is reflected on each handwritten character included in the character string. For this reason, it is possible to reflect the design of the reference font on the handwritten character while keeping the layout of the user's font and the position, size, and spacing of the handwritten character represented by the handwritten character included in the character string. Thus, it is possible to output a character using the layout of the handwritten character and the user's habit as it is.

また、文字列に含まれる各手書き文字を認識し、各手書き文字を構成する線分をベクトル化して各手書き文字の特徴点を検出するとともに、認識された文字に対応する基準フォントを構成する線分をベクトル化して基準フォントの文字の特徴点を検出し、各手書き文字の特徴点および基準フォントの文字の特徴点を照合して、基準フォントの文字を変形することにより、基準フォントのデザインを手書き文字に容易に反映させることができる。   In addition, each handwritten character included in the character string is recognized, the line segment constituting each handwritten character is vectorized to detect the feature point of each handwritten character, and the line constituting the reference font corresponding to the recognized character The reference font design is made by vectorizing the minutes to detect the feature points of the characters in the reference font, and matching the feature points of each handwritten character and the characters of the reference font to transform the characters of the reference font. It can be easily reflected in handwritten characters.

また、各手書き文字における軌跡のブレを除去し、軌跡のブレが除去された各手書き文字の認識および特徴点の検出を行うことにより、手書き文字を構成する線分や曲線をスムーズにすることができるため、手書き文字の認識および特徴点の検出を精度よく行うことができる。   Also, by removing the blurring of the trajectory in each handwritten character and recognizing each handwritten character from which the blurring of the trajectory has been removed and detecting the feature points, the line segments and curves constituting the handwritten character can be made smooth. Therefore, recognition of handwritten characters and detection of feature points can be performed with high accuracy.

また、手書き文字におけるユーザの癖の反映の程度の入力を受け付け、入力された反映の程度に応じて基準フォントの文字を変形することにより、ユーザの癖をユーザが所望とするように手書き文字に反映させることができる。   Also, by accepting input of the degree of reflection of the user's habit in the handwritten character and transforming the character of the reference font according to the input degree of reflection, the user's habit is changed to the handwritten character as desired by the user It can be reflected.

以下、図面を参照して本発明の実施形態について説明する。図1は本発明の実施形態による文字出力装置を適用したプリント受付装置の外観図である。図1に示すように本実施形態によるプリント受付装置1は、画像のプリント出力やCDへの書き込みの注文(以下プリント注文とする)のための各種表示を行うとともに、各種入力を受け付けるタッチパネル式のモニタ2と、各種メディアおよび画像が記録されたメディアを内包するデジタルカメラを装填するための複数のスロットからなるスロット群3と、モニタ2に表示された画像に文字を入力するためのペン4とを備え、画像をプリント出力するプリンタ5および画像をCDに書き込むCDドライブ6と接続されている。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is an external view of a print reception apparatus to which a character output apparatus according to an embodiment of the present invention is applied. As shown in FIG. 1, the print accepting apparatus 1 according to the present embodiment is a touch-panel type that accepts various inputs for ordering print output of images and writing to a CD (hereinafter referred to as print order). A slot group 3 composed of a plurality of slots for loading a monitor 2, a digital camera containing various media and media on which images are recorded, and a pen 4 for inputting characters to an image displayed on the monitor 2 Are connected to a printer 5 that prints out an image and a CD drive 6 that writes an image on a CD.

図2は本実施形態によるプリント受付装置1の信号処理系のブロック図である。図2に示すように、本実施形態によるプリント受付装置1は、プリント受付装置1の動作を制御するためのCPU11と、CPU11が実行するプログラムを格納するROMおよび作業領域となるRAMからなるシステムメモリ12と、後述するようにメディアから読み出した画像および文字入力の際に使用する基準フォントを保存するハードディスク等の保存部13とを備える。   FIG. 2 is a block diagram of a signal processing system of the print acceptance apparatus 1 according to the present embodiment. As shown in FIG. 2, the print acceptance apparatus 1 according to the present embodiment includes a CPU 11 for controlling the operation of the print acceptance apparatus 1, a system memory including a ROM that stores a program executed by the CPU 11 and a RAM that is a work area. 12 and a storage unit 13 such as a hard disk for storing an image read from the medium and a reference font used for character input, as will be described later.

また、上述したモニタ2と、モニタ2を介しての各種入力を行うためのタッチパネル14と、タッチパネル14を制御するタッチパネル制御部15と、スロット群3のそれぞれに対応したインターフェース16と、プリンタ5およびCDドライブ6を接続するためのコネクタ17と、コネクタ17に接続した出力インターフェース18と、ペン4に接続した入力インターフェース19と、メディア等から読み出した画像に対して、階調処理、シャープネス処理等の画像処理を施す画像処理部20とを備える。   Further, the above-described monitor 2, the touch panel 14 for performing various inputs via the monitor 2, the touch panel control unit 15 for controlling the touch panel 14, the interface 16 corresponding to each of the slot groups 3, the printer 5, and A connector 17 for connecting the CD drive 6, an output interface 18 connected to the connector 17, an input interface 19 connected to the pen 4, and gradation processing, sharpness processing, etc. for an image read from a medium or the like And an image processing unit 20 that performs image processing.

また、後述するようにモニタ2に入力された文字に基準フォントの特徴を反映させるデザイン反映部21を備える。   In addition, as will be described later, a design reflection unit 21 is provided that reflects the characteristics of the reference font in characters input to the monitor 2.

デザイン反映部21は、入力された文字列に含まれる各手書き文字の軌跡のブレを除去するブレ除去部30と、ブレが除去された各手書き文字を認識する文字認識部31と、ブレが除去された各手書き文字を構成する線分をベクトル化して各手書き文字の特徴点を検出するとともに、認識された文字に対応する基準フォントを構成する線分をベクトル化して基準フォントの文字の特徴点を検出する特徴点検出部32と、手書き文字の特徴点および基準フォントの文字の特徴点を照合して基準フォントの文字を変形することにより、文字列に含まれる各手書き文字に基準フォントのデザインを反映させる変形部33とを備える。   The design reflection unit 21 includes a blur removal unit 30 that removes blurring of the locus of each handwritten character included in the input character string, a character recognition unit 31 that recognizes each handwritten character from which blurring has been removed, and blur removal. The line segments constituting each handwritten character are vectorized to detect the feature points of each handwritten character, and the line segments constituting the reference font corresponding to the recognized character are vectorized to characterize the character points of the reference font The reference font design is applied to each handwritten character included in the character string by collating the feature points of the handwritten characters and the feature points of the characters of the reference font and deforming the characters of the reference font. And a deforming unit 33 that reflects the above.

本実施形態によるプリント受付装置1によれば、ユーザがスロット群3のいずれかのスロットに自身のメディアを装填してプリント注文の指示を行うことにより、CPU11がプリント注文のプログラムを実行し、モニタ2にプリント注文を行うための各種表示を行う。具体的にはメディアに記録された画像のサムネイル画像の一覧をモニタ2に表示し、ユーザによるプリントするまたはCDに書き込む画像の選択を受け付ける。ユーザは表示に応じてモニタ2のタッチパネル14を操作することにより、自身のメディアに記録された画像のプリント注文を行うことができる。具体的にはプリントするまたはCDに書き込む画像を選択し、プリントの場合はプリント枚数およびプリントサイズを指定することにより、プリント注文を行う。   According to the print accepting apparatus 1 according to the present embodiment, when a user loads his / her media into any slot of the slot group 3 and issues a print order instruction, the CPU 11 executes the print order program, and the monitor Various displays for placing a print order in 2 are performed. Specifically, a list of thumbnail images of images recorded on the media is displayed on the monitor 2 and accepts selection of an image to be printed or written to a CD by the user. The user can place an order for printing an image recorded on his / her medium by operating the touch panel 14 of the monitor 2 in accordance with the display. Specifically, an image to be printed or written on a CD is selected. In the case of printing, a print order is made by designating the number of prints and the print size.

ここで、本実施形態においては、プリント注文する画像をモニタ2に表示し、ユーザがペン4を用いてモニタ2に文字を入力することにより、画像に手書き文字を付与して出力することができるものである。以下、画像に手書き文字を付与する際に行われる文字付与処理について説明する。なお、文字付与処理はCPU11およびデザイン反映部21が実行するものである。また、文字付与処理においては、CPU11が文字付与手段として機能する。   Here, in the present embodiment, an image to be printed is displayed on the monitor 2, and the user inputs characters to the monitor 2 using the pen 4, whereby handwritten characters can be added to the image and output. Is. Hereinafter, the character imparting process performed when handwritten characters are imparted to the image will be described. Note that the character assignment process is executed by the CPU 11 and the design reflection unit 21. Further, in the character provision process, the CPU 11 functions as a character provision unit.

図3はプリント注文を行う画像を選択した後に表示される注文画面を示す図である。図3に示すように注文画面40には、プリントすべく選択された画像のサムネイル画像の一覧を表示する一覧表示エリア40A、および文字入力の指示を行う文字入力ボタン40Bが表示されている。そして、ユーザがタッチパネル14を用いて一覧表示エリア40Aに表示されたサムネイル画像から文字を入力するサムネイル画像を選択し、その後文字入力ボタン40Bにタッチすることにより、文字付与の処理が実行される。   FIG. 3 is a diagram showing an order screen displayed after selecting an image to be printed. As shown in FIG. 3, the order screen 40 displays a list display area 40A for displaying a list of thumbnail images of images selected for printing, and a character input button 40B for instructing character input. Then, when the user selects a thumbnail image for inputting characters from the thumbnail images displayed in the list display area 40A using the touch panel 14, and then touches the character input button 40B, the character addition process is executed.

図4は文字付与の処理を示すフローチャート、図5は文字付与処理における文字の変形を説明するための図である。ユーザが文字入力ボタン40BにタッチすることによりCPU11が処理を開始し、ユーザが選択した画像の拡大画像を含む文字入力画面をモニタ2に表示する(ステップST1)。図6は文字入力画面を示す図である。図6に示すように文字入力画面41には、ユーザが選択した画像を表示する画像エリア41A、文字変形の指示を行うための変形ボタン41B、および入力した文字に特徴を反映するフォントを選択するためのフォント選択ボタン群41Cが表示されている。なお、ここではフォント選択ボタン群41Cには、ゴシック、明朝および勘亭流が基準フォントとして含まれている。   FIG. 4 is a flowchart showing the character assignment process, and FIG. 5 is a diagram for explaining the deformation of the character in the character assignment process. When the user touches the character input button 40B, the CPU 11 starts processing, and displays a character input screen including an enlarged image of the image selected by the user on the monitor 2 (step ST1). FIG. 6 shows a character input screen. As shown in FIG. 6, on the character input screen 41, an image area 41A for displaying an image selected by the user, a deformation button 41B for instructing character deformation, and a font that reflects the characteristics of the input character are selected. For this purpose, a font selection button group 41C is displayed. Here, the font selection button group 41C includes Gothic, Mincho, and Kantei-style as reference fonts.

ユーザは画像エリア41Aに表示された画像の所望とする位置にペン4を用いて手書きにより文字列を入力することができる。なお、ここでは、図6に示すようなレイアウトにより「ありがとう!」の文字列が入力されたものとする。また、変形ボタン41Bにタッチすることにより文字列の変形を実行させることができる。また、フォント選択ボタン群41Cから所望とする基準フォントのボタンにタッチすることにより、入力した手書き文字に特徴を反映させる基準フォントを選択することができる。   The user can input a character string by hand using the pen 4 at a desired position in the image displayed in the image area 41A. Here, it is assumed that the character string “Thank you!” Has been input according to the layout shown in FIG. Further, the character string can be deformed by touching the deformation button 41B. Further, by touching a desired reference font button from the font selection button group 41C, it is possible to select a reference font whose characteristics are reflected in the input handwritten character.

そして、CPU11がユーザが基準フォントを選択した後に変形ボタン41Bにタッチしたか否かの監視を開始し(ステップST2)、ステップST2が肯定されると、ブレ除去部30が入力された文字列に含まれる各手書き文字の軌跡のブレを除去する(ステップST3)。図7は軌跡のブレの除去を説明するための図である。ここでは、「あ」の文字の軌跡のブレの除去について説明する。ペン4を用いてモニタ2に文字を入力する場合、ペン4とモニタ2の表面との接点における滑り具合により、鉛筆等の筆記用具を用いて紙に文字を書く場合のようにスムーズな直線や曲線を描くことができないため、図7(a)に示すように、文字を構成する線分に細かなブレが生じる。このため、ブレ除去部30は文字に含まれる細かなブレの成分を除去して、図7(b)に示すように入力された手書き文字を滑らかな手書き文字に修正する。   Then, the CPU 11 starts monitoring whether or not the user has touched the deformation button 41B after selecting the reference font (step ST2). When step ST2 is affirmed, the blur removal unit 30 is added to the input character string. The blurring of the locus of each included handwritten character is removed (step ST3). FIG. 7 is a view for explaining the removal of the locus blur. Here, the removal of the blurring of the locus of the character “A” will be described. When inputting characters to the monitor 2 using the pen 4, smooth straight lines or writing characters on a paper using a writing instrument such as a pencil due to the sliding state at the contact point between the pen 4 and the surface of the monitor 2 Since a curve cannot be drawn, fine blurring occurs in the line segments constituting the character as shown in FIG. For this reason, the blur removal unit 30 removes fine blur components included in the characters and corrects the input handwritten characters into smooth handwritten characters as shown in FIG. 7B.

ブレ除去部30が手書き文字の軌跡のブレを除去すると、文字認識部31が文字列を構成する各手書き文字を認識し(ステップST4)、認識した文字に対応する基準フォントを保存部13から読み出す(ステップST5)。   When the blur removal unit 30 removes the blur of the locus of the handwritten character, the character recognition unit 31 recognizes each handwritten character constituting the character string (step ST4), and reads the reference font corresponding to the recognized character from the storage unit 13. (Step ST5).

さらに、特徴点検出部32が各手書き文字の特徴点および読み出された基準フォントの特徴点を検出する(ステップST6)。具体的には、まず各手書き文字については、手書き文字を構成する線分をベクトル化し、一文字の範囲、文字を矩形により囲んだ際の矩形との接点、文字を構成する線の交点、開始点、終了点、濁点、および半濁点等を特徴点として検出する。一方、基準フォントについては、文字を構成する線分をベクトル化し、文字を矩形により囲んだ際の矩形との接点、文字を構成する線の交点、開始点、終了点、濁点、および半濁点等を特徴点として検出する。検出した特徴点を図5のステップST6の部分に示す。   Further, the feature point detection unit 32 detects the feature points of each handwritten character and the feature points of the read reference font (step ST6). Specifically, for each handwritten character, first, the line segment constituting the handwritten character is vectorized, the range of one character, the point of contact with the rectangle when the character is enclosed by the rectangle, the intersection of the lines constituting the character, the starting point , End point, dakuten, semi-dakuten, etc. are detected as feature points. On the other hand, for the reference font, the line segments that make up the character are vectorized, the point of contact with the rectangle when the character is enclosed by a rectangle, the intersection of the lines that make up the character, the start point, the end point, the cloud point, the semi-cloud point, etc. Are detected as feature points. The detected feature points are shown in step ST6 of FIG.

そして、変形部33が手書き文字から検出した特徴点と基準フォントから検出した特徴点とを照合し、基準フォントから検出した特徴点が手書き文字から検出した特徴点と一致するように基準フォントを変形して、基準フォントのデザインを手書き文字に反映させる(ステップST7)。すなわち、図5に示すように、手書き文字から検出した11の特徴点P1〜P11の位置に、基準フォントから検出した11の特徴点P1′〜P11′の位置を一致させるように基準フォントを変形する。この場合、手書き文字が回転していれば基準フォントも回転され、文字列を構成する各手書き文字のサイズとなるように基準フォントが拡大縮小される。これにより、ユーザが選択した基準フォントがゴシックであれば、手書き文字はユーザの癖およびレイアウトを維持したままゴシック調に変更される。   The deforming unit 33 collates the feature points detected from the handwritten characters with the feature points detected from the reference font, and deforms the reference font so that the feature points detected from the reference font match the feature points detected from the handwritten characters. Then, the reference font design is reflected on the handwritten character (step ST7). That is, as shown in FIG. 5, the reference font is deformed so that the positions of the eleven feature points P1 'to P11' detected from the reference font coincide with the positions of the eleven feature points P1 to P11 detected from the handwritten character. To do. In this case, if the handwritten character is rotated, the reference font is also rotated, and the reference font is enlarged / reduced so as to be the size of each handwritten character constituting the character string. Accordingly, if the reference font selected by the user is Gothic, the handwritten character is changed to Gothic while maintaining the user's habit and layout.

そして、CPU11は入力された文字列に含まれる手書き文字を、基準フォントのデザインが反映された手書き文字と置換し(ステップST8)、さらに置換した文字を画像に付与して(ステップST9)、処理を終了する。図8は基準フォントのデザインが反映された手書き文字が付与された画像を示す図である。図8に示すように、ユーザが入力した手書き文字は、基準フォントのデザインを反映した手書き文字に置換されるのみであるため、ユーザが文字列を入力した際のユーザの癖、および文字列のレイアウトは変更されないこととなる。   Then, the CPU 11 replaces the handwritten character included in the input character string with the handwritten character reflecting the design of the reference font (step ST8), and further assigns the replaced character to the image (step ST9). Exit. FIG. 8 is a diagram showing an image to which handwritten characters reflecting the design of the reference font are added. As shown in FIG. 8, since the handwritten character input by the user is only replaced with the handwritten character reflecting the design of the reference font, the user's habit when the user inputs the character string, and the character string The layout will not be changed.

なお、文字が付与された画像は、画像処理部20において画像処理が施されて、ユーザの注文に応じてプリンタ6においてプリント出力されるか、またはCDドライブ5においてCDに書き込まれる。   The image to which characters are added is subjected to image processing in the image processing unit 20 and printed out by the printer 6 or written to a CD by the CD drive 5 in accordance with a user order.

このように、本実施形態によれば、ユーザが入力した文字列に含まれる各手書き文字に、基準フォントのデザインを反映するようにしたため、文字列に含まれる手書き文字に表されるユーザの癖、並びに手書き文字の位置、大きさおよび間隔等のレイアウトはそのままに、手書き文字に基準フォントのデザインを反映させることができ、これにより、入力したレイアウトをそのまま生かした文字を画像に付与することができる。   As described above, according to the present embodiment, the design of the reference font is reflected on each handwritten character included in the character string input by the user, so that the user's habit represented by the handwritten character included in the character string is displayed. In addition, it is possible to reflect the design of the reference font in the handwritten character while maintaining the layout of the handwritten character, such as the position, size, and spacing, and thereby to add the character that makes use of the input layout as it is to the image. it can.

また、文字列に含まれる各手書き文字を認識し、各手書き文字を構成する線分をベクトル化して各手書き文字の特徴点を検出するとともに、認識された文字に対応する基準フォントを構成する線分をベクトル化して基準フォントの文字の特徴点を検出し、各手書き文字の特徴点および基準フォントの文字の特徴点を照合して、基準フォントの文字を変形することにより、基準フォントのデザインを手書き文字に容易に反映させることができる。   In addition, each handwritten character included in the character string is recognized, the line segment constituting each handwritten character is vectorized to detect the feature point of each handwritten character, and the line constituting the reference font corresponding to the recognized character The reference font design is made by vectorizing the minutes to detect the feature points of the characters in the reference font, and matching the feature points of each handwritten character and the characters of the reference font to transform the characters of the reference font. It can be easily reflected in handwritten characters.

また、各手書き文字における軌跡のブレを除去し、軌跡のブレが除去された各手書き文字の認識および特徴点の検出を行うことにより、手書き文字を構成する線分や曲線をスムーズにすることができるため、手書き文字の認識および特徴点の検出を精度よく行うことができる。   Also, by removing the blurring of the trajectory in each handwritten character and recognizing each handwritten character from which the blurring of the trajectory has been removed and detecting the feature points, the line segments and curves constituting the handwritten character can be made smooth. Therefore, recognition of handwritten characters and detection of feature points can be performed with high accuracy.

なお、上記実施形態においては、手書き文字に基準フォントのデザインを反映させているのみであるため、画像に付与される文字は、ユーザの手書き文字の癖を100%反映したものとなっている。すなわち、ユーザが文字を入力したときに現れる癖がそのまま基準フォントのデザインにて表現される。このように、本実施形態においては、ユーザの手書き文字の癖を100%反映させることができる一方で、ユーザの手書き文字の癖を反映させる程度をユーザ自身で変更したい場合がある。   In the above embodiment, the design of the reference font is only reflected on the handwritten character, and therefore the character assigned to the image reflects 100% of the handwritten character of the user. That is, the wrinkles that appear when the user inputs characters are directly expressed in the design of the reference font. As described above, in the present embodiment, the user's handwritten character habit can be reflected 100%, while the user himself / herself may want to change the degree of reflecting the user's handwritten character habit.

このため、図6に示す文字入力画面に、図9に示すように、ユーザの癖の反映の程度を設定するための設定バー41Dを表示し、設定バー41Dにより、ユーザの癖を反映させる程度を変更できるようにしてもよい。   For this reason, as shown in FIG. 9, a setting bar 41D for setting the degree of reflection of the user's habit is displayed on the character input screen shown in FIG. 6, and the setting bar 41D reflects the user's habit. May be changed.

設定バー41Dは黒色の領域をタッチして左右に移動することにより、0〜100%の範囲の間においてユーザの癖を反映する程度を百分率により設定することができるものである。ここで、0%を設定するとユーザが入力した手書き文字の癖が全く反映されなくなり、ユーザが入力した手書き文字は基準フォントに置き換えられる。そして数値を0%から大きくすることにより、ユーザの手書き文字の癖がより多く反映され、100%を選択すると、ユーザが入力した手書き文字に基準フォントのデザインのみが反映されることとなる。このため、設定バー41Dを用いることにより、ユーザは0〜100%の間でユーザの手書き文字の癖をどの程度反映させるかを選択することができる。   The setting bar 41D can set the degree of reflecting the user's wrinkle in a range of 0 to 100% as a percentage by touching the black area and moving left and right. Here, when 0% is set, the wrinkles of the handwritten characters input by the user are not reflected at all, and the handwritten characters input by the user are replaced with the reference font. When the numerical value is increased from 0%, more of the user's handwritten characters are reflected, and when 100% is selected, only the reference font design is reflected in the handwritten characters input by the user. For this reason, by using the setting bar 41D, the user can select how much the wrinkles of the user's handwritten characters are reflected between 0% and 100%.

また、上記実施形態においては、ユーザが略字で文字列を入力したような場合、手書き文字が文字として認識できない場合がある。このような場合には、手書き文字を構成する線分をベクトル化し、線分のベクトルに対して基準フォントのデザインの特徴(すなわち、縦線、横線の太さ、入り、止め、払い等の形状の特徴)を反映させることにより、手書き文字に基準フォントのデザインを反映させることができる。   Moreover, in the said embodiment, when a user inputs a character string with an abbreviation, a handwritten character may be unable to be recognized as a character. In such a case, the line segment constituting the handwritten character is vectorized, and the reference font design features (that is, vertical line, horizontal line thickness, shape such as entering, stopping, paying, etc.) with respect to the line segment vector The design of the reference font can be reflected in the handwritten character.

また、上記実施形態においては、文字列に含まれる手書き文字を認識しているが、あらかじめ基準フォントの特徴的なデザインをパーツとしてデータベース等に用意しておき、各手書き文字を構成する線分をベクトル化し、線分のベクトルに対してパーツを適用することにより、基準フォントのデザインを手書き文字に反映させることも可能である。これにより、手書き文字の認識が不要となるため、処理を高速に行うことができる。   In the above embodiment, handwritten characters included in the character string are recognized, but a characteristic design of the reference font is prepared as a part in a database or the like in advance, and line segments constituting each handwritten character are determined. It is also possible to reflect the design of the reference font in handwritten characters by vectorizing and applying parts to the vector of line segments. Thereby, since recognition of a handwritten character becomes unnecessary, a process can be performed at high speed.

また、手書き文字が複雑な漢字(例えば「檸檬」)であるような場合、手書き文字に基準フォントのデザインをそのまま反映すると、文字を構成する線分が太くなって文字がつぶれてしまうような場合がある。このため、手書き文字の種類に応じて、文字を構成する線分の状態を細くする等の制御を行うようにしてもよい。   In addition, when the handwritten character is a complex Kanji character (for example, “檸檬”), if the reference font design is reflected as it is in the handwritten character, the line constituting the character becomes thick and the character is crushed There is. For this reason, according to the kind of handwritten character, you may make it perform control of making the state of the line segment which comprises a character thin.

また、上記実施形態においては、基準フォントとしてゴシック、明朝および勘亭流を用いているが、行書体やポップ調等の各種フォントを基準フォントとして用いることができる。また、様々な模様を並べて文字を表すようにしたフォントを基準フォントとして用いることができる。例えば、図10に示すように☆印を並べることにより文字を表すフォントを基準フォントとして用いることができる。   In the above-described embodiment, Gothic, Mincho, and Kantei-style are used as the reference font, but various fonts such as fonts and pops can be used as the reference font. In addition, a font in which various patterns are arranged to represent characters can be used as a reference font. For example, as shown in FIG. 10, a font representing characters by arranging ☆ marks can be used as the reference font.

以上、本発明の実施形態に係る装置1について説明したが、コンピュータを、上記のブレ除去部30、文字認識部31、特徴点検出部32および変形部33に対応する手段として機能させ、図4に示すような処理を行わせるプログラムも、本発明の実施形態の1つである。また、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の実施形態の1つである。   Although the apparatus 1 according to the embodiment of the present invention has been described above, the computer is caused to function as a unit corresponding to the blur removal unit 30, the character recognition unit 31, the feature point detection unit 32, and the deformation unit 33, and FIG. A program that performs the processing shown in FIG. 6 is also one embodiment of the present invention. A computer-readable recording medium that records such a program is also one embodiment of the present invention.

本発明の実施形態による文字出力装置を適用したプリント受付装置の外観図1 is an external view of a print reception apparatus to which a character output apparatus according to an embodiment of the present invention is applied. 本実施形態によるプリント受付装置の信号処理系のブロック図Block diagram of the signal processing system of the print acceptance apparatus according to the present embodiment プリント注文を行う画像を選択した後に表示される注文画面を示す図The figure which shows the order screen which is displayed after selecting the image which makes print order 文字付与の処理を示すフローチャートFlowchart showing character assignment processing 文字付与処理における文字の変形を説明するための図The figure for demonstrating the deformation | transformation of the character in a character provision process 文字入力画面を示す図Figure showing the character input screen 軌跡のブレの除去を説明するための図Diagram for explaining removal of locus blur 基準フォントのデザインが反映された手書き文字が付与された画像を示す図The figure which shows the picture where the handwritten character where the design of the standard font was reflected was given 文字入力画面のさらに他の例を示す図The figure which shows the other example of the character input screen ☆印を並べることにより文字を表すフォントを示す図Figure showing a font that represents characters by arranging ☆ marks

符号の説明Explanation of symbols

1 プリント受付装置
2 モニタ
3 スロット
4 ペン
5 プリンタ
6 CDドライブ
11 CPU
14 タッチパネル
21 デザイン反映部
30 ブレ除去部
31 文字認識部
32 特徴点検出部
33 変形部
40 注文画面
41 文字入力画面
DESCRIPTION OF SYMBOLS 1 Print reception apparatus 2 Monitor 3 Slot 4 Pen 5 Printer 6 CD drive 11 CPU
14 Touch Panel 21 Design Reflection Unit 30 Blur Removal Unit 31 Character Recognition Unit 32 Feature Point Detection Unit 33 Deformation Unit 40 Order Screen 41 Character Input Screen

Claims (6)

複数の手書き文字からなる文字列の入力を受け付ける入力手段と、
前記文字列に含まれる各手書き文字を認識する文字認識手段と、
前記各手書き文字を構成する線分をベクトル化して各手書き文字の特徴点を検出するとともに、前記認識された文字に対応する基準フォントを構成する線分をベクトル化して該基準フォントの文字の特徴点を検出する特徴点検出手段と、
前記各手書き文字の特徴点および前記基準フォントの文字の特徴点を照合して、該基準フォントの文字を変形することにより、前記文字列に含まれる各手書き文字に前記基準フォントのデザインを反映させる変形手段とを備え、
前記文字列に含まれる各手書き文字が認識されなかった場合、前記特徴点検出手段は、前記各手書き文字を構成する線分をベクトル化する手段であり、
前記変形手段は、前記線分のベクトルに対して前記基準フォントの形状の特徴を反映させることにより、前記文字列に含まれる各手書き文字に前記基準フォントのデザインを反映させる手段であることを特徴とする文字出力装置。
An input means for receiving input of a character string composed of a plurality of handwritten characters;
Character recognition means for recognizing each handwritten character included in the character string;
The line segment constituting each handwritten character is vectorized to detect the feature point of each handwritten character, and the line segment constituting the reference font corresponding to the recognized character is vectorized to characterize the character of the reference font. Feature point detecting means for detecting points;
The feature point of each handwritten character and the feature point of the character of the reference font are collated, and the character of the reference font is deformed to reflect the design of the reference font on each handwritten character included in the character string. Deformation means,
When each handwritten character included in the character string is not recognized, the feature point detecting means is a means for vectorizing line segments constituting each handwritten character,
The deformation means is means for reflecting the design of the reference font to each handwritten character included in the character string by reflecting the feature of the shape of the reference font on the vector of the line segment. Character output device.
前記各手書き文字における軌跡のブレを除去するブレ除去手段をさらに備え、
前記文字認識手段および前記変形手段は、前記軌跡のブレが除去された各手書き文字の認識および前記特徴点の検出を行う手段であることを特徴とする請求項記載の文字出力装置。
Further comprising a blur removal means for removing the blur of the locus in each handwritten character,
Said character recognition means and the deformation means, a character output device according to claim 1, characterized in that the means for performing recognition and detection of the feature point of each handwritten character blur has been removed of said trajectory.
前記手書き文字におけるユーザの癖の反映の程度の入力を受け付ける程度入力手段をさらに備え、
前記変形手段は、前記程度入力手段により入力されたユーザの癖の反映の程度に応じて、前記基準フォントの文字を変形する手段であることを特徴とする請求項または記載の文字出力装置。
A degree input means for receiving an input of the degree of reflection of the user's habit in the handwritten character;
The deforming means, depending on the degree of reflection of the habit of the user input by the order input unit, the character output device according to claim 1 or 2, wherein the a means for deforming the base font character .
前記入力手段は、表示された画像への前記文字列の入力を受け付ける手段であり、
前記基準フォントのデザインが反映された手書き文字からなる文字列を前記画像に付与する文字付与手段をさらに備えたことを特徴とする請求項1からのいずれか1項記載の文字出力装置。
The input means is means for receiving input of the character string to a displayed image;
The character output device according to any one of claims 1 to 3 , further comprising a character adding unit that adds a character string including handwritten characters reflecting the design of the reference font to the image.
複数の手書き文字からなる文字列の入力を受け付け、
前記文字列に含まれる各手書き文字を認識し、
前記各手書き文字を構成する線分をベクトル化して各手書き文字の特徴点を検出するとともに、前記認識された文字に対応する基準フォントを構成する線分をベクトル化して該基準フォントの文字の特徴点を検出し、
前記各手書き文字の特徴点および前記基準フォントの文字の特徴点を照合して、該基準フォントの文字を変形することにより、前記文字列に含まれる各手書き文字に前記基準フォントのデザインを反映させるに際し、
前記文字列に含まれる各手書き文字が認識されなかった場合、前記各手書き文字を構成する線分をベクトル化し、
前記線分のベクトルに対して前記基準フォントの形状の特徴を反映させることにより、前記文字列に含まれる各手書き文字に前記基準フォントのデザインを反映させることを特徴とする文字出力方法。
Accepts input of strings consisting of multiple handwritten characters,
Recognizing each handwritten character included in the character string,
The line segment constituting each handwritten character is vectorized to detect the feature point of each handwritten character, and the line segment constituting the reference font corresponding to the recognized character is vectorized to characterize the character of the reference font. Detect points,
The feature point of each handwritten character and the feature point of the character of the reference font are collated, and the character of the reference font is deformed to reflect the design of the reference font on each handwritten character included in the character string. On the occasion
When each handwritten character included in the character string is not recognized, the line segment constituting each handwritten character is vectorized,
A character output method characterized in that the design of the reference font is reflected in each handwritten character included in the character string by reflecting the characteristics of the shape of the reference font on the vector of the line segment .
複数の手書き文字からなる文字列の入力を受け付ける手順と、
前記文字列に含まれる各手書き文字を認識する手順と、
前記各手書き文字を構成する線分をベクトル化して各手書き文字の特徴点を検出するとともに、前記認識された文字に対応する基準フォントを構成する線分をベクトル化して該基準フォントの文字の特徴点を検出する手順と、
前記各手書き文字の特徴点および前記基準フォントの文字の特徴点を照合して、該基準フォントの文字を変形することにより、前記文字列に含まれる各手書き文字に前記基準フォントのデザインを反映させる手順とを有し、
前記文字列に含まれる各手書き文字が認識されなかった場合、前記特徴点を検出する手順は、前記各手書き文字を構成する線分をベクトル化する手順であり、
前記デザインを反映させる手順は、前記線分のベクトルに対して前記基準フォントの形状の特徴を反映させることにより、前記文字列に含まれる各手書き文字に前記基準フォントのデザインを反映させる手順であることを特徴とする文字出力方法をコンピュータに実行させるためのプログラム。
A procedure to accept input of a character string consisting of a plurality of handwritten characters;
Recognizing each handwritten character included in the character string;
The line segment constituting each handwritten character is vectorized to detect the feature point of each handwritten character, and the line segment constituting the reference font corresponding to the recognized character is vectorized to characterize the character of the reference font. A procedure to detect points;
The feature point of each handwritten character and the feature point of the character of the reference font are collated, and the character of the reference font is deformed to reflect the design of the reference font on each handwritten character included in the character string. Procedures
When each handwritten character included in the character string is not recognized, the procedure for detecting the feature point is a procedure for vectorizing line segments constituting each handwritten character,
Procedure to reflect the design, by reflecting the characteristics of the shape of the base font to the vector of the line segment is the procedure to reflect the design of the base font to each handwritten characters included in the character string A program for causing a computer to execute the character output method.
JP2005236481A 2005-08-17 2005-08-17 Character output device and method, and program Active JP4823606B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005236481A JP4823606B2 (en) 2005-08-17 2005-08-17 Character output device and method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005236481A JP4823606B2 (en) 2005-08-17 2005-08-17 Character output device and method, and program

Publications (2)

Publication Number Publication Date
JP2007052174A JP2007052174A (en) 2007-03-01
JP4823606B2 true JP4823606B2 (en) 2011-11-24

Family

ID=37916671

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005236481A Active JP4823606B2 (en) 2005-08-17 2005-08-17 Character output device and method, and program

Country Status (1)

Country Link
JP (1) JP4823606B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090046142A (en) 2007-11-05 2009-05-11 삼성전자주식회사 Automatic transformation system of input- handwriting and method thereof
JP2014092902A (en) * 2012-11-02 2014-05-19 Toshiba Corp Electronic apparatus and handwritten document processing method
KR102180471B1 (en) * 2013-08-20 2020-11-18 삼성전자주식회사 A Method and Apparatus For Font Beautification Based On Writer-dependent Handwriting Recognition
KR101889491B1 (en) * 2018-05-03 2018-08-17 주식회사 아하정보통신 Electronic board reducing air touching layer with slim bezel

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0612044A (en) * 1992-06-26 1994-01-21 Mita Ind Co Ltd Character pattern information generation device
JP2803718B2 (en) * 1996-03-21 1998-09-24 日本電気株式会社 Handwriting input display device
JPH1027217A (en) * 1996-05-10 1998-01-27 Sanyo Electric Co Ltd Font kind identification method and device, recording medium recording identification program of font kind, handwritten font generation method and device, font generator and device, and recording medium recording handwritten font generation program

Also Published As

Publication number Publication date
JP2007052174A (en) 2007-03-01

Similar Documents

Publication Publication Date Title
KR101120850B1 (en) Scaled text replacement of ink
EP3384372B1 (en) Apparatus and method for note taking with gestures
US6839464B2 (en) Multiple pen stroke character set and handwriting recognition system with immediate response
JP5248696B1 (en) Electronic device, handwritten document creation method, and handwritten document creation program
CN114365075B (en) Method for selecting a graphical object and corresponding device
US20060242608A1 (en) Redistribution of space between text segments
US10719201B2 (en) Writing system, information processing apparatus, and non-transitory computer readable medium for dividing writing information associated with an identified sheet into separate documents based on timing information
US8581910B2 (en) Input display apparatus, input display method, and recording medium
JP4823606B2 (en) Character output device and method, and program
US20140104639A1 (en) Information processing apparatus and control method therefor, and print apparatus and control method therefor
EP3491580B1 (en) System and method for beautifying superimposed digital ink
JP4922590B2 (en) WRITING INFORMATION PROCESSING SYSTEM, WRITING INFORMATION PROCESSING METHOD, AND WRITING INFORMATION PROCESSING PROGRAM
WO2005004041A1 (en) Handwritten information input device, handwritten information input method, handwritten information input program, and program recording medium
US20160334941A1 (en) Method and Device for Optical Handwriting Recognition
CN105917297A (en) Terminal device, display control method, and program
CN107209862A (en) Program, information storage medium and identifying device
US8644612B2 (en) Information processing apparatus and locus data recognition method
JP6880676B2 (en) Program and image forming equipment
JP4441966B2 (en) Handwritten character input device and recording medium recording program for realizing the same
US20240134507A1 (en) Modifying digital content including typed and handwritten text
JP6561547B2 (en) Computer program and image processing apparatus
EP4047465A1 (en) Modifying digital content
JP2014078168A (en) Character recognition apparatus and program
CN115859907B (en) Reading annotation zoom display method, system and readable storage medium
JP4817769B2 (en) Card issuing system and card issuing method

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061211

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110816

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110907

R150 Certificate of patent or registration of utility model

Ref document number: 4823606

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250