JP4940911B2 - Image processing apparatus and image processing selection method - Google Patents

Image processing apparatus and image processing selection method Download PDF

Info

Publication number
JP4940911B2
JP4940911B2 JP2006321869A JP2006321869A JP4940911B2 JP 4940911 B2 JP4940911 B2 JP 4940911B2 JP 2006321869 A JP2006321869 A JP 2006321869A JP 2006321869 A JP2006321869 A JP 2006321869A JP 4940911 B2 JP4940911 B2 JP 4940911B2
Authority
JP
Japan
Prior art keywords
image processing
image
locus
area
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006321869A
Other languages
Japanese (ja)
Other versions
JP2008134911A (en
Inventor
恒扶 新開
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2006321869A priority Critical patent/JP4940911B2/en
Publication of JP2008134911A publication Critical patent/JP2008134911A/en
Application granted granted Critical
Publication of JP4940911B2 publication Critical patent/JP4940911B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、複数の画像処理の中から少なくとも1つの画像処理を選択する技術に関する。   The present invention relates to a technique for selecting at least one image process from a plurality of image processes.

従来、パーソナルコンピュータやプリンタ等において、画像の一部を変形させたり、拡大/縮小させるといった画像処理が行われていた。一般に画像処理を実行する際に、ユーザは、ディスプレイに表示される操作ボタン(メニューアイコン)を押下するなどして、所望の画像処理を選択(指定)していた(下記特許文献1参照)。   Conventionally, image processing such as deforming or enlarging / reducing a part of an image has been performed in a personal computer, a printer, or the like. Generally, when executing image processing, the user selects (designates) desired image processing by pressing an operation button (menu icon) displayed on the display (see Patent Document 1 below).

特開2003−196242号公報JP 2003-196242 A

前述のように操作ボタンを押下するなどして画像処理を選択する構成においては、ユーザは、複数の操作ボタンの中から所望の処理内容に応じた操作ボタンを探して押すなどのアクションを行わねばならなかった。それゆえ、例えば、画像中の様々な部分について、複数の画像処理を切り替えて実行するような場合には、処理を行う領域を選択するたびに、所望する画像処理の操作ボタンを探して押下するなどのアクションを行わねばならず、大変面倒な作業となっていた。   In the configuration in which image processing is selected by pressing an operation button as described above, the user must perform an action such as searching for an operation button corresponding to the desired processing content from a plurality of operation buttons and pressing it. did not become. Therefore, for example, when a plurality of image processes are switched and executed for various parts in an image, every time an area to be processed is selected, a desired image process operation button is searched and pressed. It was a very troublesome task.

本発明は、複数の画像処理の中から所望の画像処理を簡単な方法で選択することができる技術を提供することを目的とする。   An object of the present invention is to provide a technique capable of selecting a desired image processing from a plurality of image processing by a simple method.

上記目的を達成するために、本発明の画像処理装置は、表示部と、前記表示部に表示された画像上の指示ポイントの位置の指示を受け付けるポイント指示受付部と、前記指示ポイントの軌跡に応じて、所定の複数の画像処理の中から、少なくとも1つの画像処理を選択する画像処理選択部と、画像において、所定の条件を満たす特定領域を抽出する特定領域抽出部と、を備え、前記画像処理選択部は、前記軌跡と前記特定領域との位置関係に応じて、前記所定の複数の画像処理の中から、少なくとも1つの画像処理を選択すると共に、前記軌跡の形状が互いに略同一であって、たどる方向が互いに逆となる2つの場合において、それぞれ互いに逆となる画像処理を選択することを要旨とする。 In order to achieve the above object, an image processing apparatus according to the present invention includes a display unit, a point instruction receiving unit that receives an instruction of a position of an instruction point on an image displayed on the display unit, and a locus of the instruction point. Accordingly, an image processing selection unit that selects at least one image processing from a plurality of predetermined image processings, and a specific region extraction unit that extracts a specific region that satisfies a predetermined condition in the image, The image processing selection unit selects at least one image processing from among the predetermined plurality of image processes according to the positional relationship between the locus and the specific area, and the shapes of the locus are substantially the same. Thus, in two cases in which the directions to be traced are opposite to each other , the gist is to select image processes that are opposite to each other .

本発明の画像処理装置では、ユーザは、所望の画像処理に応じた軌跡となるように、指示ポイントを動かすことで、所望の画像処理を実行することができるので、所定の複数の画像処理の中から所望の画像処理を簡単な方法で選択することができる。   In the image processing apparatus of the present invention, the user can execute the desired image processing by moving the instruction point so that the locus corresponds to the desired image processing. Desired image processing can be selected from among them by a simple method.

上記画像処理装置は、さらに、前記画像において、所定の条件を満たす特定領域を抽出する特定領域抽出部を備え、前記画像処理選択部は、前記軌跡と前記特定領域との位置関係に応じて、前記所定の複数の画像処理の中から、少なくとも1つの画像処理を選択するようにしてもよい。   The image processing apparatus further includes a specific area extracting unit that extracts a specific area that satisfies a predetermined condition in the image, and the image processing selection unit is configured to determine a positional relationship between the locus and the specific area. At least one image processing may be selected from the predetermined plurality of image processing.

このようにすることで、ユーザは、特定領域と所定の位置関係となる画像内の部分において指示ポイントを所定の軌跡となるように動かすことで、所望の画像処理を選択することができる。また、ユーザは、特定領域と無関係な位置において、誤って所定の軌跡となるように指示ポイントを動かした場合に、画像処理が選択されることを避けることができる。   In this way, the user can select desired image processing by moving the instruction point so as to have a predetermined locus in a portion in the image having a predetermined positional relationship with the specific region. In addition, the user can avoid selecting image processing when the instruction point is moved by mistake so as to become a predetermined locus at a position unrelated to the specific region.

上記画像処理装置は、さらに、前記軌跡に基づき定められる領域と、前記特定領域と、のうち、少なくとも一方において、選択された前記画像処理を実行する画像処理部を備えるようにしてもよい。   The image processing apparatus may further include an image processing unit that executes the selected image processing in at least one of the region determined based on the locus and the specific region.

このようにすることで、ユーザは、指示ポイントの軌跡が、抽出された特定領域と所定の位置関係となるように指示ポイントを動かすことで、簡単な方法で、指示ポイントの軌跡に基づき定められる領域と、特定領域と、のうち、少なくとも一方において所望の画像処理を実行することができる。   In this way, the user can determine the instruction point trajectory based on the instruction point trajectory in a simple manner by moving the instruction point such that the instruction point trajectory has a predetermined positional relationship with the extracted specific region. Desired image processing can be executed in at least one of the area and the specific area.

上記画像処理装置において、前記特定領域は、前記画像内の人物の顔を表す領域であり、前記画像処理選択部は、前記軌跡が前記特定領域に対して所定の範囲で近接する場合に、第1の画像処理を選択し、前記軌跡が前記特定領域に対して所定の範囲で近接しない場合に、前記第1の画像処理とは異なる第2の画像処理を選択するようにしてもよい。   In the image processing apparatus, the specific area is an area representing a person's face in the image, and the image processing selection unit determines whether the specific locus is close to the specific area within a predetermined range. If one image process is selected and the locus is not close to the specific area within a predetermined range, a second image process different from the first image process may be selected.

このようにすることで、ユーザは、人物の顔を選んで第1の画像処理を実行することができ、人物の顔以外の部分については、同じ軌跡であっても第2の画像処理を実行することができる。従って、ユーザは、簡単な方法で、人物の顔を表す領域とそれ以外の領域とで、異なる画像処理を実行することができる。   In this way, the user can select the person's face and execute the first image processing, and execute the second image processing for portions other than the person's face even if they have the same trajectory. can do. Therefore, the user can execute different image processing in a region representing a person's face and other regions by a simple method.

上記画像処理装置において、前記画像処理選択部は、前記軌跡の形状が互いに略同一であって、たどる方向が互いに逆となる2つの場合において、それぞれ互いに逆となる画像処理を選択するようにしてもよい。   In the image processing apparatus, the image processing selection unit selects image processing that is opposite to each other in two cases where the shapes of the trajectories are substantially the same and the directions to follow are opposite to each other. Also good.

このようにすることで、ユーザは、既に行った処理と逆の画像処理を選択するための操作(指示ポイントの移動)を直感的に行うことができる。また、指示ポイントの軌跡と選択される画像処理との関係を記憶し易くなる。   By doing in this way, the user can intuitively perform an operation (movement of the instruction point) for selecting an image processing opposite to the processing already performed. In addition, the relationship between the locus of the instruction point and the selected image processing can be easily stored.

なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理選択方法や、画像処理選択方法または画像処理装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。   The present invention can be realized in various forms, for example, an image processing selection method, a computer program for realizing the functions of the image processing selection method or the image processing apparatus, and the computer program recorded therein. The present invention can be realized in the form of a recording medium, a data signal including the computer program and embodied in a carrier wave, and the like.

以下、本発明を実施するための最良の形態を実施例に基づいて以下の順序で説明する。
A.第1の実施例:
B.第2の実施例:
C.第3の実施例:
D.第4の実施例:
E.変形例:
Hereinafter, the best mode for carrying out the present invention will be described in the following order based on examples.
A. First embodiment:
B. Second embodiment:
C. Third embodiment:
D. Fourth embodiment:
E. Variations:

A.第1の実施例:
図1は、本発明の一実施例としての画像処理装置を適用したプリンタの概略構成を示す説明図である。このプリンタ100は、制御回路10と、メモリカードスロット40と、プリンタエンジン42と、操作部44と、タッチパネル制御部46と、表示部50と、ペン型の入力装置(スライラスペン)であるタッチペンTPと、を備えている。プリンタエンジン42は、実際に印刷を行う機構である。表示部50は、抵抗膜方式のタッチパネルが表面に配置された液晶ディスプレイを有し、タッチパネルを介して各種メニュー画面や画像を表示すると共にタッチペンTPなどによるタッチ入力を受け付ける。タッチパネル制御部46は、表示部50上におけるタッチペンTP等の指示手段の接触位置(タッチポイント)を検出して制御回路10に定期的に通知する。なお、タッチパネル制御部46は、タッチパネルにおける接触面積が大きいために複数の座標にまたがってタッチポイントを検出した場合には、これら複数の座標をタッチポイントとして通知する。
A. First embodiment:
FIG. 1 is an explanatory diagram showing a schematic configuration of a printer to which an image processing apparatus as an embodiment of the present invention is applied. The printer 100 includes a control circuit 10, a memory card slot 40, a printer engine 42, an operation unit 44, a touch panel control unit 46, a display unit 50, and a touch pen TP that is a pen-type input device (a stylus pen). It is equipped with. The printer engine 42 is a mechanism that actually performs printing. The display unit 50 includes a liquid crystal display having a resistive film type touch panel disposed on the surface thereof, displays various menu screens and images via the touch panel, and accepts touch input by a touch pen TP or the like. The touch panel control unit 46 detects a contact position (touch point) of an instruction unit such as the touch pen TP on the display unit 50 and periodically notifies the control circuit 10 of the contact position. In addition, since the touch area on the touch panel is large, the touch panel control unit 46 notifies the plurality of coordinates as the touch points when the touch points are detected across the plurality of coordinates.

制御回路10は、CPU20と、メモリ30と、を備える。メモリ30にはプリンタ100の制御用プログラムが格納されており、CPU20は、この制御用プログラムを実行することにより、指示ポイント記録部20aとして機能し、また、表示制御部20b,画像処理選択部20c,画像処理実行部20dとして、それぞれ機能することとなる。指示ポイント記録部20aは、タッチパネル制御部46から通知されるタッチポイントを画像上のポイント(指示ポイント)として記録する。表示制御部20bは、表示部50を制御して画像を表示させる。このとき、表示制御部20bは、指示ポイントが記録されている場合には、指示ポイントの軌跡も画像に重ね合わせて表示させる。画像処理選択部20cは、プリンタ100において実行可能な複数の画像処理の中から実際に実行する画像処理を選択する。プリンタ100では、画像内で指定された領域の拡大、縮小、変形の合計3種類の画像処理が実行可能である。なお、プリンタ100は、これら3種類の画像処理に限らず、指示ポイントの軌跡自身を描画する処理を除く任意の画像処理を実行可能な構成であってもよい。画像処理実行部20dは、画像処理選択部20cによって選択された画像処理を実行する。   The control circuit 10 includes a CPU 20 and a memory 30. A control program for the printer 100 is stored in the memory 30, and the CPU 20 functions as an instruction point recording unit 20a by executing the control program, and also includes a display control unit 20b and an image processing selection unit 20c. , And the image processing execution unit 20d. The instruction point recording unit 20a records the touch point notified from the touch panel control unit 46 as a point (instruction point) on the image. The display control unit 20b controls the display unit 50 to display an image. At this time, when the instruction point is recorded, the display control unit 20b also displays the locus of the instruction point so as to be superimposed on the image. The image processing selection unit 20c selects an image process to be actually executed from among a plurality of image processes that can be executed in the printer 100. The printer 100 can execute a total of three types of image processing, that is, enlargement, reduction, and deformation of an area designated in an image. Note that the printer 100 is not limited to these three types of image processing, and may be configured to execute arbitrary image processing other than processing for drawing the locus of the instruction point itself. The image processing execution unit 20d executes the image processing selected by the image processing selection unit 20c.

図2は、第1の実施例における画像処理の手順を示すフローチャートである。ユーザが、表示部50に表示された初期メニュー(図示省略)から、メモリカードMC(図1)内の画像データを指定して画像処理メニューを選択すると、メモリカードMCから画像データが読み出されて表示部50に画像が表示され、画像処理が開始される。   FIG. 2 is a flowchart showing the procedure of image processing in the first embodiment. When the user designates the image data in the memory card MC (FIG. 1) from the initial menu (not shown) displayed on the display unit 50 and selects the image processing menu, the image data is read from the memory card MC. The image is displayed on the display unit 50, and image processing is started.

ステップS205(図2)では、指示ポイント記録部20a(図1)は、タッチパネル制御部46から通知される座標を時系列に沿って指示ポイントとして記録し、表示制御部20bは、記録された指示ポイントに基づき、指示ポイントの軌跡を表示部50に表示する。したがって、ユーザがタッチペンTPで表示部50をなぞると、指示ポイントが順次記録されていくと共に、その軌跡が画像上に表示されることとなる。なお、指示ポイント記録部20aは、タッチポイントとして複数の座標を通知された場合には、これらの複数のタッチポイントの中心(重心)座標を求めて記録する。ここで、「軌跡」とは、指示ポイントのたどる形状及び指示ポイントのたどる方向を意味する。   In step S205 (FIG. 2), the instruction point recording unit 20a (FIG. 1) records the coordinates notified from the touch panel control unit 46 as instruction points in time series, and the display control unit 20b displays the recorded instruction. Based on the points, the locus of the designated point is displayed on the display unit 50. Therefore, when the user traces the display unit 50 with the touch pen TP, the instruction points are sequentially recorded and the locus is displayed on the image. When a plurality of coordinates are notified as touch points, the instruction point recording unit 20a obtains and records the center (center of gravity) coordinates of the plurality of touch points. Here, the “trajectory” means the shape followed by the designated point and the direction followed by the designated point.

ステップS210では、画像処理選択部20cは、一連の記録された指示ポイントの軌跡に基づいて、複数の画像処理の中から実行する画像処理を選択する。   In step S210, the image processing selection unit 20c selects image processing to be executed from among a plurality of image processing based on a series of recorded instruction point trajectories.

図3は、第1の実施例における指示ポイントの軌跡と選択される画像処理との対応関係を示す説明図である。指示ポイントの軌跡が円形であり、軌跡のたどる方向が右回りの場合には、画像処理として縮小処理が選択される。指示ポイントの軌跡が円形であり、軌跡のたどる方向が左回りの場合には、画像処理として拡大処理が選択される。これらの縮小処理及び拡大処理の対象領域は、いずれも、指示ポイントの軌跡(円形)が内接する矩形領域となる。また、縮小率及び拡大率は、いずれも予め設定されている。指示ポイントの軌跡が直線である場合には、画像処理として変形処理が選択される。具体的には、指示ポイントの軌跡が画像内の輪郭部分と交差する場合には、かかる輪郭部分が軌跡のたどる方向に歪む。この変形処理の対象領域は、軌跡を対角線とする正方形の領域であり、この処理対象領域内にある輪郭部分が歪むこととなる。なお、この変形処理の前処理として、画像データに基づいて輪郭抽出が行われる。また、変形の度合い(処理量)は、予め設定されている。以上のように指示ポイントの軌跡に基づいて画像処理が選択されると、画像処理実行部22d(図1)は、選択された画像処理を実行する(図2:ステップS215)。   FIG. 3 is an explanatory diagram showing the correspondence between the locus of the designated point and the selected image processing in the first embodiment. If the locus of the instruction point is a circle and the direction followed by the locus is clockwise, the reduction process is selected as the image process. When the locus of the instruction point is circular and the direction followed by the locus is counterclockwise, enlargement processing is selected as the image processing. The target areas for the reduction process and the enlargement process are both rectangular areas in which the locus (circular shape) of the indication point is inscribed. Further, both the reduction ratio and the enlargement ratio are set in advance. When the locus of the instruction point is a straight line, the deformation process is selected as the image process. Specifically, when the locus of the instruction point intersects the contour portion in the image, the contour portion is distorted in the direction followed by the locus. The target area for the deformation process is a square area having a trajectory as a diagonal line, and the contour portion in the process target area is distorted. Note that contour extraction is performed based on the image data as pre-processing of the deformation processing. The degree of deformation (processing amount) is set in advance. As described above, when the image processing is selected based on the locus of the instruction point, the image processing execution unit 22d (FIG. 1) executes the selected image processing (FIG. 2: step S215).

図4は、第1の実施例における画像処理(縮小)の実行例を示す説明図である。図4(A)の例では、表示部50に、画像と、やりなおしボタンB1と、決定ボタンB2と、他メニューボタンB3と、が表示されている。ユーザが、タッチペンTPを用いて左側の人物の顔の周りを右回りになぞると、指示ポイントの軌跡が画像上に表示される。そして、ユーザがタッチペンTPで決定ボタンB2を押下すると、前述のステップS210,215が実行されて、画像処理が行われる。具体的には、指示ポイントの軌跡は円形で右回りであるので、図3に示すように、画像処理として縮小処理が選択される。そして、図4(B)に示すように、指示ポイントの軌跡が内接する矩形領域(処理対象領域AR1)において画像が縮小される。なお、この縮小処理は、例えば、バイリニア方式の補間処理で実行することができる。そして、この縮小処理の結果、処理対象領域AR1に含まれる左側の人物の顔は縮小することとなる。なお、この縮小処理の後、ユーザはやりなおしボタンB1を押下することにより、縮小処理が実行される前の状態に画像を戻すことができる。   FIG. 4 is an explanatory diagram illustrating an execution example of image processing (reduction) in the first embodiment. In the example of FIG. 4A, an image, a redo button B1, an enter button B2, and another menu button B3 are displayed on the display unit 50. When the user traces clockwise around the face of the left person using the touch pen TP, the locus of the instruction point is displayed on the image. When the user presses the enter button B2 with the touch pen TP, the above-described steps S210 and 215 are executed, and image processing is performed. Specifically, since the locus of the instruction point is circular and clockwise, reduction processing is selected as image processing as shown in FIG. Then, as shown in FIG. 4B, the image is reduced in a rectangular area (processing area AR1) in which the locus of the instruction point is inscribed. Note that this reduction processing can be executed by, for example, bilinear interpolation processing. As a result of the reduction process, the face of the left person included in the processing target area AR1 is reduced. After this reduction process, the user can return the image to the state before the reduction process is executed by pressing the redo button B1.

図5は、第1の実施例における画像処理(拡大)の実行例を示す説明図である。図5において、表示部50に表示されている画像及びボタン群は、図4の画像及びボタン群と同じである。図5(A)に示すように、ユーザがタッチペンTPを用いて山の上の雲の周りを左回りになぞると、指示ポイントの軌跡が画像上に表示される。そして、ユーザがタッチペンTPで決定ボタンB2を押下すると、指示ポイントの軌跡が円形で左回りであるので、指示ポイントの軌跡が内接する矩形領域(処理対象領域AR2)において画像が拡大される。その結果、図5(B)に示すように、指示ポイントの軌跡で囲まれた雲が拡大表示される。   FIG. 5 is an explanatory diagram illustrating an execution example of image processing (enlargement) in the first embodiment. In FIG. 5, the image and button group displayed on the display unit 50 are the same as the image and button group of FIG. As shown in FIG. 5A, when the user uses the touch pen TP to trace counterclockwise around the cloud on the mountain, the locus of the indication point is displayed on the image. When the user presses the decision button B2 with the touch pen TP, the locus of the instruction point is circular and counterclockwise, so that the image is enlarged in a rectangular area (processing target area AR2) in which the locus of the instruction point is inscribed. As a result, as shown in FIG. 5B, the cloud surrounded by the locus of the indication point is enlarged and displayed.

図6は、第1の実施例における画像処理(変形)の実行例を示す説明図である。図6において、表示部50に表示されている画像及びボタン群は、図4の画像及びボタン群と同じである。図6(A)に示すように、ユーザがタッチペンTPを用いて左側の人物の顔の輪郭の一部と交差するように、顔の内側に向かって直線を描くと、指示ポイントの軌跡が画像上に表示される。そして、ユーザがタッチペンTPで決定ボタンB2を押下すると、指示ポイントの軌跡が直線であるので、処理対象領域AR3において顔の輪郭が歪むこととなる。その結果、図6(B)に示すように、左側の人物の顔の輪郭の一部は、指示ポイントのたどる方向に従って、顔の外側から内側へと凹むように変形する。   FIG. 6 is an explanatory diagram illustrating an execution example of image processing (deformation) in the first embodiment. In FIG. 6, the image and button group displayed on the display unit 50 are the same as the image and button group in FIG. 4. As shown in FIG. 6A, when the user draws a straight line toward the inside of the face so as to intersect with a part of the face contour of the left person using the touch pen TP, the locus of the indication point is an image. Displayed above. When the user presses the enter button B2 with the touch pen TP, the locus of the instruction point is a straight line, and thus the face outline is distorted in the processing target area AR3. As a result, as shown in FIG. 6B, a part of the face contour of the left person is deformed so as to be recessed from the outside to the inside according to the direction of the instruction point.

以上説明したように、プリンタ100において画像処理を実行しようとする場合に、ユーザは、タッチペンTPを用いて、画像処理を施したい画像上の部分を、所望の画像処理内容に応じた形状でなぞることで、処理対象領域と処理内容とを指定することができる。したがって、処理内容を別メニューから選択する等のアクションがないので、ユーザは、大変簡単に所望の画像処理を選択して実行することができる。また、指示ポイントの軌跡の形状が円形で同一であっても、右回りであると縮小し、左回りであると拡大するように、たどる方向が逆になると、実行される処理も逆になるように設定されている。したがって、ユーザは、直感的に逆の操作を行うことができ、また、タッチペンTPの操作と画像処理との関係を記憶し易くなる。   As described above, when image processing is to be executed in the printer 100, the user uses the touch pen TP to trace the part on the image to be subjected to image processing in a shape corresponding to the desired image processing content. Thus, the processing target area and the processing content can be designated. Accordingly, since there is no action such as selecting the processing contents from another menu, the user can select and execute desired image processing very easily. Also, even if the shape of the locus of the indication point is circular and the same, if the direction to follow is reversed so that it is reduced when it is clockwise and enlarged when it is counterclockwise, the processing to be executed is also reversed. Is set to Therefore, the user can intuitively perform the reverse operation, and can easily store the relationship between the operation of the touch pen TP and the image processing.

B.第2の実施例:
図7は、第2の実施例におけるプリンタの概略構成を示す説明図である。このプリンタ100aは、第1の実施例におけるプリンタ100(図1)と、CPU20において顔領域抽出部20eが構成されている点において異なり、他の構成については、図1に示すプリンタ100と同じである。顔領域抽出部20eは、指定された画像データに基づいて、その画像データの示す画像において、人物の顔を示す領域を抽出する。この顔領域の抽出は、例えば、予め用意されている人物の顔についてのテンプレート画像を、指定された画像内のさまざまな位置で大きさと回転角度を変えて画像と重ね合わせてマッチングを行って実行することができる。
B. Second embodiment:
FIG. 7 is an explanatory diagram illustrating a schematic configuration of a printer according to the second embodiment. This printer 100a is different from the printer 100 (FIG. 1) in the first embodiment in that a face area extraction unit 20e is configured in the CPU 20, and the other configuration is the same as the printer 100 shown in FIG. is there. The face area extraction unit 20e extracts an area indicating a person's face in the image indicated by the image data based on the designated image data. This face area extraction is performed by, for example, matching a template image of a human face prepared in advance by changing the size and rotation angle at various positions in the specified image and superimposing it with the image. can do.

図8は、第2の実施例における画像処理の手順を示すフローチャートである。第2の実施例の手順は、図2のフローチャートにステップS206,S208,S220を追加するものであり、他の手順は第1の実施例と同じである。第1の実施例では、画像内における指示ポイントの軌跡の位置に関わらず、処理対象領域において選択された画像処理が実行されていた。これに対して、第2の実施例では、画像内に存在する顔領域及びその周辺領域においてのみ、選択された画像処理が実行されるように構成されている。   FIG. 8 is a flowchart showing the procedure of image processing in the second embodiment. The procedure of the second embodiment adds steps S206, S208, and S220 to the flowchart of FIG. 2, and the other procedures are the same as those of the first embodiment. In the first embodiment, the image processing selected in the processing target area is executed regardless of the position of the locus of the instruction point in the image. On the other hand, in the second embodiment, the selected image processing is executed only in the face area existing in the image and its peripheral area.

具体的には、ステップS205(図8)において指示ポイントの軌跡ポイントが記録された後、ステップS206では、顔領域抽出部20e(図7)は、画像内の顔領域を抽出する。ステップS208では、画像処理選択部20cは、指示ポイントの軌跡が、抽出された顔領域の少なくとも一部を含むか否かを判定する。そして、指示ポイントの軌跡が顔領域を含む場合には、上述したステップS210及びS215が実行されて、指示ポイントの軌跡の形状及びたどる方向に応じた画像処理が選択されて実行される。一方、ステップS208において、指示ポイントの軌跡が顔領域を含まないと判定した場合には、画像処理選択部20cは、指示ポイントの軌跡で指定された領域を選択する処理(領域選択処理)を実行する(ステップS220)。   Specifically, after the locus point of the instruction point is recorded in step S205 (FIG. 8), in step S206, the face area extraction unit 20e (FIG. 7) extracts a face area in the image. In step S208, the image processing selection unit 20c determines whether or not the locus of the instruction point includes at least a part of the extracted face area. When the locus of the instruction point includes a face area, the above-described steps S210 and S215 are executed, and image processing corresponding to the shape of the locus of the instruction point and the direction to follow is selected and executed. On the other hand, in step S208, when it is determined that the locus of the instruction point does not include the face area, the image processing selection unit 20c executes a process (area selection process) for selecting the area specified by the locus of the instruction point. (Step S220).

図9は、第2の実施例における画像処理(縮小及び領域選択)の実行例を示す説明図である。図9において、表示部50に表示されている画像及びボタン群は、図4の画像及びボタン群と同じである。なお、画像内において人物の顔を含む1点鎖線の矩形領域は、ステップS208(図8)において抽出される顔領域FA1,FA2を示す。図9(A)の例では、ユーザは、タッチペンTPを用いて、左側の人物の顔の周りと山の上の雲の周りとを、それぞれ右回りの円状になぞり、指示ポイントの軌跡TR1,TR2が画像上に表示されている。そして、ユーザがタッチペンTPで決定ボタンB2を押下すると、図9(B)に示すように、左側の人物の顔は縮小表示され、山の上の雲の周りの領域は領域選択される。図9(A)に示すように、軌跡TR1は、顔領域FA1の一部を含んでいる。従って、この軌跡TR1を内接する矩形領域(処理対象領域AR1)では縮小処理が実行される。一方、軌跡TR2は、顔領域FA1,FA2を全く含んでいない。従って、この軌跡TR2によって囲まれる領域について領域選択が実行される。なお、領域選択された場合には、かかる領域について、改めて他の画像処理を実行することができる。具体的には、例えば、プリンタ100aが明るさを調整する画像処理が実行可能な構成であれば、ユーザは、軌跡TR2で囲まれた領域が領域選択された状態で(図9(B))、他メニューボタンB3を押下して、明るさを調整するメニュー(図示省略)を選択することで、山の上の雲の明るさを調整することができる。   FIG. 9 is an explanatory diagram showing an execution example of image processing (reduction and area selection) in the second embodiment. In FIG. 9, the image and button group displayed on the display unit 50 are the same as the image and button group of FIG. In the image, a one-dot chain line rectangular area including a human face indicates the face areas FA1 and FA2 extracted in step S208 (FIG. 8). In the example of FIG. 9A, the user uses the touch pen TP to trace around the face of the person on the left side and the cloud on the mountain in a clockwise circle, respectively, and to indicate the trajectories TR1 and TR2 of the indication points. Is displayed on the image. When the user presses the enter button B2 with the touch pen TP, as shown in FIG. 9B, the face of the left person is reduced and the area around the cloud on the mountain is selected. As shown in FIG. 9A, the trajectory TR1 includes a part of the face area FA1. Therefore, the reduction process is executed in the rectangular area (processing area AR1) inscribed in the trajectory TR1. On the other hand, the trajectory TR2 does not include the face areas FA1 and FA2. Therefore, the area selection is executed for the area surrounded by the trajectory TR2. When an area is selected, other image processing can be executed again for the area. Specifically, for example, if the printer 100a can execute image processing for adjusting brightness, the user selects an area surrounded by the trajectory TR2 (FIG. 9B). The brightness of the cloud above the mountain can be adjusted by pressing the other menu button B3 and selecting a menu (not shown) for adjusting the brightness.

以上説明したように、第2の実施例では、予め顔領域を抽出しておき、指示ポイントの軌跡が顔領域を含むか否かによって、画像処理を選択して実行する処理と、領域選択を実行する処理とを、切り替えるようにしている。したがって、ユーザは、簡単な方法で、顔領域(正確には、顔領域を含む軌跡で定められる処理対象領域)を指定して所望の画像処理を選択して実行することができる。また、ユーザが顔領域とは無関係な位置において、誤って所定の軌跡となるようにタッチペンTPを動かした場合に、その軌跡で定められる処理対象領域について画像処理が選択されて実行されることを防ぐことができる。   As described above, in the second embodiment, the face area is extracted in advance, and the process of selecting and executing the image processing depending on whether the locus of the instruction point includes the face area, and the area selection are performed. The process to be executed is switched. Therefore, the user can select and execute desired image processing by designating a face area (more precisely, a processing target area defined by a trajectory including the face area) by a simple method. In addition, when the user moves the touch pen TP so as to have a predetermined locus in a position unrelated to the face region, image processing is selected and executed for the processing target region defined by the locus. Can be prevented.

C.第3の実施例:
図10は、第3の実施例におけるプリンタの概略構成を示す説明図である。このプリンタ100bは、第1の実施例におけるプリンタ100(図1)と、タッチペンの構成において異なり、他の構成については、図1に示すプリンタ100と同じである。プリンタ100bが備えるタッチペンTPaは、第1の実施例におけるタッチペンTP(図1)と異なり、太さの異なる2つのペン先を有する。具体的には、タッチペンTPaは、一方の端には、タッチペンTPと同じ太さの比較的細いペン先を有し、他方の端には、比較的太いペン先を有する。上述した各実施例では、指示ポイントの軌跡の形状及びたどる方向に基づいて画像処理が選択されていたが、第3の実施例では、指示ポイントの軌跡の形状及びタッチパネルにおける接触面積に基づいて画像処理が選択されるように構成されている。
C. Third embodiment:
FIG. 10 is an explanatory diagram illustrating a schematic configuration of a printer according to the third embodiment. The printer 100b is different from the printer 100 (FIG. 1) in the first embodiment in the configuration of the touch pen, and the other configuration is the same as the printer 100 shown in FIG. Unlike the touch pen TP (FIG. 1) in the first embodiment, the touch pen TPa provided in the printer 100b has two pen tips having different thicknesses. Specifically, the touch pen TPa has a relatively thin nib having the same thickness as the touch pen TP at one end and a relatively thick nib at the other end. In each of the embodiments described above, image processing is selected based on the shape of the trajectory of the indication point and the direction to follow. However, in the third embodiment, an image is displayed based on the shape of the trajectory of the indication point and the contact area on the touch panel. The process is configured to be selected.

図11は、第3の実施例における画像処理の手順を示すフローチャートである。第3の実施例の手順は、図2のフローチャートのステップS210を変更するものであり、他の手順は第1の実施例と同じである。ステップS205において指示ポイントの軌跡ポイントが記録された後、ステップS210aでは、画像処理選択部20cは、指示ポイントの軌跡の形状とタッチパネルにおける接触面積とに基づいて画像処理を選択する。なお、タッチパネルにおける接触面積は、例えば、以下のようにして求めることができる。上述したように、指示ポイント記録部20a(図10)は、タッチポイントとして複数の座標を通知された場合には、これらの複数のタッチポイントの中心(重心)座標を求めて記録する。このとき、指示ポイント記録部20aは、このタッチポイントの中心座標と共に、通知された複数の座標も記録しておく。そして、画像処理選択部20cは、通知される座標の数の平均値を、タッチパネルにおける接触面積として算出する。   FIG. 11 is a flowchart showing the procedure of image processing in the third embodiment. The procedure of the third embodiment changes step S210 in the flowchart of FIG. 2, and the other procedures are the same as those of the first embodiment. After the locus point of the instruction point is recorded in step S205, in step S210a, the image processing selection unit 20c selects image processing based on the shape of the locus of the instruction point and the touch area on the touch panel. In addition, the contact area in a touch panel can be calculated | required as follows, for example. As described above, when a plurality of coordinates are notified as touch points, the instruction point recording unit 20a (FIG. 10) obtains and records the center (center of gravity) coordinates of the plurality of touch points. At this time, the instruction point recording unit 20a also records a plurality of notified coordinates together with the center coordinates of the touch point. Then, the image processing selection unit 20c calculates an average value of the notified number of coordinates as a contact area on the touch panel.

図12は、第3の実施例における指示ポイントの軌跡と選択される画像処理との対応関係を示す説明図である。指示ポイントの軌跡が円形であり、タッチパネルにおける接触面積が所定の面積よりも小さい(軌跡の幅が細い)場合には、画像処理として縮小処理が選択される。指示ポイントの軌跡が円形であり、タッチパネルにおける接触面積が所定の面積よりも大きい(軌跡の幅が太い)場合には、画像処理として拡大処理が選択される。指示ポイントの軌跡が直線の場合には、接触面積に依らず、上述した各実施例と同様に、画像処理として変形処理が選択される。以上のように指示ポイントの軌跡の形状とタッチパネルにおける接触面積とに基づいて画像処理が選択されると、ステップS215(図11)において、画像処理実行部22d(図10)は、選択された画像処理を実行する。   FIG. 12 is an explanatory diagram illustrating the correspondence between the locus of the instruction point and the selected image processing in the third embodiment. When the locus of the instruction point is circular and the contact area on the touch panel is smaller than a predetermined area (the width of the locus is narrow), the reduction processing is selected as the image processing. When the locus of the instruction point is circular and the touch area on the touch panel is larger than a predetermined area (the width of the locus is thick), enlargement processing is selected as image processing. When the locus of the instruction point is a straight line, the deformation process is selected as the image process, as in the above-described embodiments, regardless of the contact area. When image processing is selected based on the shape of the locus of the instruction point and the touch area on the touch panel as described above, in step S215 (FIG. 11), the image processing execution unit 22d (FIG. 10) selects the selected image. Execute the process.

図13は、第3の実施例における画像処理(拡大及び縮小)の実行例を示す説明図である。図13において、表示部50に表示されている画像及びボタン群は、図4の画像及びボタン群と同じである。図13(A)の例では、ユーザは、タッチペンTPa(図10)を用いて、比較的細いペン先で左側の人物の顔の周りを右回りになぞると共に、タッチペンTPaをひっくり返して、比較的太いペン先で山の上の雲の周りを右回りになぞり、それぞれ指示ポイントの軌跡が画像上に表示されている。なお、比較的太いペン先に代えて、ユーザの指で山の上の雲の周りをなぞるようにしてもよい。そして、ユーザがタッチペンTPaで決定ボタンB2を押下すると、図13(B)に示すように、左側の人物の顔は縮小表示され、山の上の雲の周りの領域は拡大表示されることとなる。   FIG. 13 is an explanatory diagram illustrating an execution example of image processing (enlargement and reduction) in the third embodiment. In FIG. 13, the image and button group displayed on the display unit 50 are the same as the image and button group of FIG. In the example of FIG. 13A, the user uses the touch pen TPa (FIG. 10) to trace clockwise around the face of the left person with a relatively thin pen tip and turn the touch pen TPa upside down for comparison. The target point trajectory is displayed on the image by tracing the surroundings of the clouds above the mountain clockwise with a thick pen tip. Instead of the relatively thick pen tip, the user's finger may trace around the cloud above the mountain. When the user presses the enter button B2 with the touch pen TPa, as shown in FIG. 13B, the face of the left person is reduced and the area around the cloud on the mountain is enlarged.

以上説明したように、第3の実施例では、ユーザは、タッチペンTPaのペン先を選んで、指示ポイントの軌跡が所定の形状となるように所定の方向で画像をなぞることで、所望の画像処理内容を指定することができる。したがって、処理内容を別メニューから選択する等のアクションがないので、ユーザは、大変簡単に所望の画像処理を実行することができる。また、タッチポイントの接触面積が小さい(軌跡の幅が細い)場合には縮小し、接触面積が大きい(軌跡の幅が太い)場合には拡大するように、面積に応じて実行される処理が逆になるように設定されている。したがって、ユーザは、直感的に逆の操作を行うことができ、また、タッチペンTPの操作と画像処理との関係を記憶し易くなる。   As described above, in the third embodiment, the user selects the pen tip of the touch pen TPa, and traces the image in a predetermined direction so that the locus of the indication point has a predetermined shape, thereby obtaining a desired image. Processing contents can be specified. Therefore, since there is no action such as selecting the processing contents from another menu, the user can execute desired image processing very easily. In addition, processing executed in accordance with the area is performed such that the touch point is reduced when the contact area is small (the trajectory width is narrow), and is enlarged when the touch area is large (the trajectory width is thick). It is set to be reversed. Therefore, the user can intuitively perform the reverse operation, and can easily store the relationship between the operation of the touch pen TP and the image processing.

D.第4の実施例:
図14は、第4の実施例における画像処理の手順を示すフローチャートである。第4の実施例の手順は、図2のフローチャートにステップS212を追加するものであり、他の手順は第1の実施例と同じである。なお、プリンタの構成は、第3の実施例におけるプリンタ100b(図10)と同じである。また、指示ポイントの軌跡と選択される画像処理との対応関係は、図3に示す通りである。第1の実施例では、処理対象領域は、指示ポイントの軌跡によって決定されていた。具体的には、上述したように、指示ポイントの軌跡の形状が円形の場合には、かかる軌跡を内接する矩形領域を処理対象領域とし、軌跡の形状が直線の場合には、かかる軌跡を対角線とする正方形の領域を処理対象領域としていた。これに対して、第4の実施例では、指示ポイントの軌跡と共に、タッチパネルにおける接触面積も考慮して処理対象領域が決定される。また、第1の実施例では、拡大率,縮小率及び変形の度合い(処理量)は予め設定されていたが、第4の実施例では、タッチパネルにおける接触面積に応じて処理量が決定されるように構成されている。
D. Fourth embodiment:
FIG. 14 is a flowchart showing the procedure of image processing in the fourth embodiment. The procedure of the fourth embodiment adds step S212 to the flowchart of FIG. 2, and the other procedures are the same as those of the first embodiment. The configuration of the printer is the same as that of the printer 100b (FIG. 10) in the third embodiment. Also, the correspondence between the locus of the instruction point and the selected image processing is as shown in FIG. In the first embodiment, the processing target area is determined by the locus of the instruction point. Specifically, as described above, when the shape of the locus of the instruction point is a circle, a rectangular area inscribed in the locus is set as a processing target region, and when the shape of the locus is a straight line, the locus is a diagonal line. The square area is the processing target area. On the other hand, in the fourth embodiment, the processing target region is determined in consideration of the touch area on the touch panel along with the locus of the instruction point. In the first embodiment, the enlargement ratio, reduction ratio, and degree of deformation (processing amount) are set in advance, but in the fourth embodiment, the processing amount is determined according to the contact area on the touch panel. It is configured as follows.

具体的には、ステップS210(図14)で画像処理内容を選択した後、画像処理選択部20cは、タッチパネルの接触面積に基づき処理対象領域及び処理量を決定する(ステップS212)。そして、画像処理実行部20d(図10)は、選択された画像処理内容を、ステップS212で決定された処理対象領域に対して、ステップS212で決定された処理量だけ実行する(ステップS215)。   Specifically, after selecting image processing content in step S210 (FIG. 14), the image processing selection unit 20c determines a processing target region and a processing amount based on the touch area of the touch panel (step S212). Then, the image processing execution unit 20d (FIG. 10) executes the selected image processing content for the processing target region determined in step S212 by the processing amount determined in step S212 (step S215).

図15(A)は、ユーザがタッチペンTPaを用いて、比較的細いペン先で画像をなぞった場合の画像処理(変形)実行後の表示部50を示す説明図である。また、図15(B)は、ユーザがタッチペンTPaを用いて、比較的太いペン先で画像をなぞった場合の画像処理(変形)実行後の表示部50を示す説明図である。なお、図15(A),(B)において、表示部50に表示されている画像及びボタン群は、図4の画像及びボタン群と同じである。図6(A)と同様に、ユーザがタッチペンTPaを用いて、比較的細いペン先で左側の人物の顔の輪郭の一部と交差するように、顔の内側に向かって直線を描くと、ステップS210(図14)において、画像処理として変形処理が選択される。そして、ステップS212において決定される処理対象領域は、図6(B)に示す処理対象領域AR3と同じであり、その処理量(変形度合い)も図6(B)に示す処理量と同じである。一方、ユーザがタッチペンTPaを用いて、比較的太いペン先で図6(A)と同様に同じ長さの直線を描くと、選択される画像処理内容は変形処理で同一あるが、処理対象領域及び処理量(変形度合い)は、比較的細いペン先で画像をなぞる場合(図15(A))と異なることとなる。   FIG. 15A is an explanatory diagram illustrating the display unit 50 after image processing (deformation) is performed when the user traces an image with a relatively thin pen tip using the touch pen TPa. FIG. 15B is an explanatory diagram showing the display unit 50 after image processing (deformation) is performed when the user traces an image with a relatively thick pen tip using the touch pen TPa. 15A and 15B, the image and button group displayed on the display unit 50 are the same as the image and button group in FIG. Similarly to FIG. 6A, when the user draws a straight line toward the inside of the face using the touch pen TPa so as to intersect a part of the face contour of the left person with a relatively thin pen tip, In step S210 (FIG. 14), the deformation process is selected as the image process. The processing target area determined in step S212 is the same as the processing target area AR3 shown in FIG. 6B, and the processing amount (degree of deformation) is also the same as the processing quantity shown in FIG. 6B. . On the other hand, when the user draws a straight line having the same length as in FIG. 6A with a relatively thick pen tip using the touch pen TPa, the selected image processing content is the same in the deformation processing, but the processing target area In addition, the processing amount (deformation degree) is different from that in the case of tracing an image with a relatively thin pen tip (FIG. 15A).

具体的には、処理対象領域については、指示ポイントの軌跡とタッチパネルにおける接触面積(軌跡の幅)とに応じた所定の広さの領域が処理対象領域として決定される。例えば、図15(A)の場合に比べて、タッチパネルにおける接触面積が4倍になっている場合には、軌跡(直線)の長さが同じでも、処理対象領域AR3に比べて1.2倍の広さの領域が処理対象領域AR4として決定される(図15(B))。同様にして、処理量(変形度合い)についても、指示ポイントの形状とタッチパネルにおける接触面積とに応じて決定される。従って、図15(B)に示すように、比較的太いペン先で直線を描くと、図15(A)の場合に比べて、より大きく人物の顔の輪郭が顔の内側に凹むことなる。   Specifically, for the processing target region, a region having a predetermined width corresponding to the locus of the instruction point and the contact area (trajectory width) on the touch panel is determined as the processing target region. For example, when the contact area on the touch panel is four times that of FIG. 15A, the length of the locus (straight line) is 1.2 times that of the processing target area AR3 even if the length of the locus (straight line) is the same. Is determined as the processing target area AR4 (FIG. 15B). Similarly, the processing amount (deformation degree) is also determined according to the shape of the instruction point and the contact area on the touch panel. Therefore, as shown in FIG. 15B, when a straight line is drawn with a relatively thick pen tip, the outline of the person's face is larger than the case of FIG.

以上説明したように、第4の実施例では、ユーザは、所望の処理対象領域及び処理量を指定するのにタッチペンTPaのペン先を選ぶだけでよいので、別メニューから処理対象領域や処理量を選択する等のアクションが不要となり、大変簡単に所望の画像処理を、所望の処理対象領域に対して、所望の処理量だけ施すことができる。   As described above, in the fourth embodiment, the user only has to select the pen tip of the touch pen TPa in order to specify a desired processing target area and processing amount. Thus, the desired image processing can be performed on the desired processing target area by the desired processing amount very easily.

E.変形例:
なお、上記各実施例における構成要素の中の、独立クレームでクレームされた要素以外の要素は、付加的な要素であり、適宜省略可能である。また、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
E. Variations:
In addition, elements other than the elements claimed in the independent claims among the constituent elements in the above embodiments are additional elements and can be omitted as appropriate. The present invention is not limited to the above-described examples and embodiments, and can be implemented in various modes without departing from the gist thereof. For example, the following modifications are possible.

E1.変形例1:
上述した第2の実施例では、指示ポイントの軌跡が顔領域の少なくとも一部を含む場合に、選択された画像処理が実行されていたが、指示ポイントの軌跡が顔領域を全く含まない場合であっても、指示ポイントの軌跡と顔領域との位置関係に応じて画像処理が実行されるようにしてもよい。例えば、指示ポイントの軌跡が顔領域を全く含まない場合において、指示ポイントの軌跡(右回りの円形)と顔領域との間の距離が、所定の範囲内である場合に縮小処理を実行し、所定の範囲よりも長い場合には、縮小処理を実行しないようにしてもよい。以上の実施例及び変形例からも理解できるように、指示ポイントの軌跡が顔領域に対して所定の範囲で近接する場合に、選択した画像処理を実行するように構成してもよい。
E1. Modification 1:
In the second embodiment described above, the selected image processing is executed when the locus of the instruction point includes at least a part of the face area. However, the locus of the instruction point does not include the face area at all. Even in such a case, the image processing may be executed in accordance with the positional relationship between the locus of the instruction point and the face area. For example, when the locus of the instruction point does not include any face area, the reduction process is executed when the distance between the locus of the instruction point (clockwise circle) and the face area is within a predetermined range, If it is longer than the predetermined range, the reduction process may not be executed. As can be understood from the above embodiments and modifications, the selected image processing may be executed when the locus of the indication point is close to the face region within a predetermined range.

なお、上述した構成とは異なり、指示ポイントの軌跡と顔領域との位置関係とは無関係に画像処理を実行するようにしてもよい。具体的には、指示ポイントの軌跡に基づき選択された画像処理を、抽出された全ての顔領域に対して施すようにしてもよい。かかる構成では、指示ポイントの軌跡と顔領域との位置関係とは無関係に画像処理が実行されるので、ユーザは、顔領域でない部分において、タッチペンTPで右回り又は左回りの円を描くことによって、顔領域に対して施す画像処理を指定することができる。したがって、例えば、全ての顔領域に対して縮小処理を施したい場合には、ユーザは、タッチペンTPを用いて画像上の任意の部分で右回りの円を描くようにすればよく、より簡単に画像処理内容と処理対領域とを指定することができる。なお、変形処理については、指示ポイントの軌跡と顔領域との位置関係と関連性がある。そこで、全ての顔領域について同様な変形処理を施す場合には、ユーザは、複数の顔領域のうち、いずれかの顔領域においてタッチペンTPを用いて直線を描くようにする。そして、顔領域に対する指示ポイントの軌跡の相対的な位置が同一となる位置で、他の全ての顔領域において変形処理が実行されるようにしてもよい。   Unlike the above-described configuration, the image processing may be executed regardless of the positional relationship between the locus of the instruction point and the face area. Specifically, the image processing selected based on the locus of the instruction point may be performed on all the extracted face areas. In such a configuration, since the image processing is executed regardless of the positional relationship between the locus of the instruction point and the face area, the user draws a clockwise or counterclockwise circle with the touch pen TP in a portion that is not the face area. The image processing to be performed on the face area can be designated. Therefore, for example, when it is desired to perform the reduction process on all the face areas, the user can draw a clockwise circle in an arbitrary part on the image using the touch pen TP, and more easily. It is possible to specify the image processing content and the processing pair area. Note that the deformation process is related to the positional relationship between the locus of the instruction point and the face area. Therefore, when the same deformation process is performed on all the face areas, the user draws a straight line using the touch pen TP in any one of the plurality of face areas. Then, the deformation process may be executed in all other face regions at positions where the relative positions of the locus of the instruction point with respect to the face region are the same.

E2.変形例2:
上述した各実施例では、指示ポイントの軌跡に基づいて、画像処理の内容と共に処理対象領域も決定されていたが、処理対象領域は予め設定しておいてもよい。具体的には、例えば、予め画像全体を処理対象領域として設定しておいてもよい。この場合、例えば、画像上の任意の部分において、左回りの円を描くようにすることで、画像全体を拡大することができる。このような構成であっても、ユーザは、簡単な操作で画像処理を選択して実行することができる。
E2. Modification 2:
In each of the embodiments described above, the processing target area is determined together with the contents of the image processing based on the locus of the instruction point. However, the processing target area may be set in advance. Specifically, for example, the entire image may be set as a processing target area in advance. In this case, for example, the entire image can be enlarged by drawing a counterclockwise circle in an arbitrary part on the image. Even with such a configuration, the user can select and execute image processing with a simple operation.

E3.変形例3:
上述した第2の実施例では、処理対象領域は、指示ポイントの軌跡に基づいて定められる領域であったが、抽出された顔領域を処理対象領域としてもよい。例えば、図9の例では、顔領域FA1を処理対象領域として、縮小処理が実行されるようにしてもよい。このようにすることで、ユーザは顔領域を処理対象領域として指定しようとする場合に、簡単に指定することができる。また、指示ポイントの軌跡に基づいて定められる領域と顔領域とをいずれも処理対象領域としてもよい。この場合、両方の領域が重複する部分については、重複しない部分に比べて処理量を多くする等、領域の重複の有無によって、処理内容や処理量を異なるようにしてもよい。なお、顔領域の抽出の処理は、画像処理(図8)の手順の一部として実行されていたが、予め画像処理とは異なる処理において顔領域が抽出されていれば、画像処理では、顔領域の抽出処理(ステップS206)を省略することもできる。
E3. Modification 3:
In the second embodiment described above, the processing target area is an area determined based on the locus of the instruction point. However, the extracted face area may be the processing target area. For example, in the example of FIG. 9, the reduction process may be executed with the face area FA1 as the process target area. In this way, the user can easily specify the face area when attempting to specify the face area as the processing target area. Further, both the area determined based on the locus of the instruction point and the face area may be set as the processing target area. In this case, the processing content and the processing amount may be different depending on the presence or absence of overlapping regions, such as by increasing the processing amount of a portion where both regions overlap, compared to a non-overlapping portion. The face area extraction processing is executed as part of the procedure of the image processing (FIG. 8). However, if the face area is extracted in advance in a process different from the image processing, the face processing is performed in the image processing. The region extraction process (step S206) may be omitted.

E4.変形例4:
上述した各実施例では、選択される画像処理の内容は、拡大、縮小、変形、のいずれか1つの処理であったが、2つの処理を組み合わせた処理が選択されるようにしてもよい。例えば、指示ポイントの軌跡の形状が三角形である場合には、かかる三角形で定められる所定の処理対象領域について拡大する処理と共に、処理対象領域内にある輪郭を、所定の頂点(例えば、最も下側に位置する頂点)から三角形の中心方向に向かって、所定量だけ変形させる処理が選択されるようにしてもよい。
E4. Modification 4:
In each of the embodiments described above, the content of the selected image processing is any one of enlargement, reduction, and deformation. However, a combination of the two processings may be selected. For example, when the shape of the locus of the indication point is a triangle, along with the process of enlarging the predetermined processing target area defined by the triangle, the contour in the processing target area is changed to a predetermined vertex (for example, the lowest A process of deforming by a predetermined amount from the apex located in the direction toward the center of the triangle may be selected.

E5.変形例5:
上述した第2の実施例では、指示ポイントの軌跡によって囲まれる領域のうち、顔領域を全く含まない領域については領域選択が実行されていたが、かかる領域について、領域選択とは異なる任意の処理を実行するようにしてもよい。例えば、かかる領域については、軌跡のたどる方向や軌跡の形状に関わらず、明るさを上げる処理等を実行するようにしてもよい。また、かかる領域について何も処理を行わないようにしてもよい。
E5. Modification 5:
In the second embodiment described above, region selection is performed for a region that does not include any face region among the regions surrounded by the locus of the instruction point. However, for such a region, any process different from region selection is performed. May be executed. For example, for such a region, a process for increasing the brightness may be executed regardless of the direction followed by the trajectory or the shape of the trajectory. Further, no processing may be performed on such an area.

E6.変形例6:
第1,第2及び第4の実施例において、指示ポイントの軌跡と選択される画像処理との対応関係は、図3に示す対応関係に限定されるものではなく、任意の対応関係とすることができる。例えば、軌跡の形状が円形で軌跡のたどる方向が右回りの場合には、第1及び第2の実施例と異なり変形処理が選択されるような構成であってもよい。この場合、変形する方向については、軌跡の始点の位置から軌跡の円形の中心に向かう方向としてもよい。このようにして、軌跡のたどる方向が逆になると実行される処理が逆とならない構成であっても、ユーザは、大変簡単に所望の画像処理を実行することができる。また、同様に、第3の実施例において、指示ポイントの軌跡と選択される画像処理との対応関係は、図12に示す対応関係に限定されるものではない。
E6. Modification 6:
In the first, second, and fourth embodiments, the correspondence relationship between the locus of the instruction point and the selected image processing is not limited to the correspondence relationship shown in FIG. Can do. For example, when the shape of the trajectory is circular and the direction followed by the trajectory is clockwise, the configuration may be such that the deformation process is selected unlike the first and second embodiments. In this case, the direction of deformation may be a direction from the position of the starting point of the locus toward the circular center of the locus. In this way, even if the configuration is such that the processing executed when the direction of the trajectory is reversed does not reverse, the user can execute the desired image processing very easily. Similarly, in the third embodiment, the correspondence between the locus of the instruction point and the selected image processing is not limited to the correspondence shown in FIG.

E7.変形例7:
上述した第2の実施例では、顔領域を抽出していたが、顔領域とは異なる任意の領域を特定領域として抽出して、この抽出した特定領域と指示ポイントの軌跡との関係で、画像処理を選択して実行するようにしてもよい。具体的には、例えば、人物の「目」の領域を、特定領域として抽出するようにしてもよい。このようにすることで、例えば、指示ポイントの軌跡の形状が円形で、軌跡のたどる方向が右回りの場合に赤目補正処理を選択するような構成とし、人物の目の周りを右回りになぞることにより、この目の部分について赤目補正を実行することができる。
E7. Modification 7:
In the second embodiment described above, the face area is extracted. However, an arbitrary area different from the face area is extracted as the specific area, and the image is determined based on the relationship between the extracted specific area and the locus of the indication point. A process may be selected and executed. Specifically, for example, a person's “eye” area may be extracted as a specific area. In this way, for example, when the shape of the locus of the instruction point is circular and the direction of the locus is clockwise, the red-eye correction process is selected, and the circumference of the person's eyes is traced clockwise. Thus, red-eye correction can be performed on this eye portion.

E8.変形例8:
上述した第3及び第4の実施例では、指示ポイントの軌跡の画像内における位置に関わらず、選択された画像処理が実行されていたが、第2の実施例と同様に、指示ポイントの軌跡が顔領域を含む場合に、画像処理が選択されて実行されるようにしてもよい。
E8. Modification 8:
In the third and fourth embodiments described above, the selected image processing is executed regardless of the position of the locus of the indication point in the image, but the locus of the indication point is the same as in the second embodiment. When the image includes a face area, image processing may be selected and executed.

E9.変形例9:
上述した第4の実施例では、タッチパネルにおける接触面積に基づき、処理対象領域及び処理量を決定していたが(図14:ステップS212)、処理対象領域と処理量とのうち、すくなくとも一方を決定するようにしてもよい。すなわち、処理対象領域については、第1〜第3の実施例と同様に、指示ポイントの軌跡を内接する矩形や、指示ポイントの軌跡を対角線とする正方形の領域とし、かつ、処理量はタッチパネルにおける接触面積に基づき決定するようにしてもよい。また、処理量については、第1〜第3の実施例と同様に、予め設定されている量とし、かつ、処理対象領域は、上述した第4の実施例のごとく決定するようにしてもよい。
E9. Modification 9:
In the above-described fourth embodiment, the processing target region and the processing amount are determined based on the contact area on the touch panel (FIG. 14: step S212), but at least one of the processing target region and the processing amount is determined. You may make it do. That is, the processing target area is a rectangle that inscribes the trajectory of the instruction point or a square area that has the trajectory of the instruction point as a diagonal line, as in the first to third embodiments. You may make it determine based on a contact area. The processing amount may be a preset amount as in the first to third embodiments, and the processing target area may be determined as in the fourth embodiment described above. .

E10.変形例10:
上述した各実施例では、指示ポイントを指示するための手段として、タッチペンTP,TPaを用いていたが、タッチペン以外の任意のデバイス等を指示ポイントの指示手段として利用するようにしてもよい。例えば、プリンタ100,100a,100bをUSB(Universal Serial Bus)等により接続されたマウスを備える構成とし、かかるマウスを用いて指示ポイントを指示するようにしてもよい。また、上述したように、プリンタ100,100a,100bが備えるデバイス以外にも、ユーザの指や先のとがったペン等によって、指示ポイントを指示するようにしてもよい。
E10. Modification 10:
In each of the embodiments described above, the touch pens TP and TPa are used as means for instructing the instruction point. However, any device other than the touch pen may be used as the instruction means for the instruction point. For example, the printers 100, 100a, and 100b may be configured to include a mouse connected by a USB (Universal Serial Bus) or the like, and an instruction point may be indicated using such a mouse. In addition to the devices included in the printers 100, 100a, and 100b, as described above, the instruction point may be indicated by a user's finger or a pointed pen.

E11.変形例11:
上述した各実施例では、表示部50の備えるタッチパネルは、抵抗膜方式のタッチパネルであるものとしたが、任意の方式のタッチパネルであってもよい。例えば、静電容量方式のタッチパネルや、超音波表面弾性波方式のタッチパネルや、赤外線遮断方式のタッチパネルや、電磁誘導方式のタッチパネル等であってもよい。
E11. Modification 11:
In each embodiment described above, the touch panel included in the display unit 50 is a resistive touch panel, but may be an arbitrary touch panel. For example, a capacitive touch panel, an ultrasonic surface acoustic wave touch panel, an infrared shielding touch panel, an electromagnetic induction touch panel, or the like may be used.

E12.変形例12:
上述した実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
E12. Modification 12:
In the embodiment described above, a part of the configuration realized by hardware may be replaced with software, and conversely, a part of the configuration realized by software may be replaced by hardware. .

本発明の一実施例としての画像処理装置を適用したプリンタの概略構成を示す説明図である。1 is an explanatory diagram illustrating a schematic configuration of a printer to which an image processing apparatus as an embodiment of the present invention is applied. FIG. 第1の実施例における画像処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the image process in a 1st Example. 第1の実施例における指示ポイントの軌跡と選択される画像処理との対応関係を示す説明図である。It is explanatory drawing which shows the correspondence of the locus | trajectory of the indication point in the 1st Example, and the image processing selected. 第1の実施例における画像処理(縮小)の実行例を示す説明図である。It is explanatory drawing which shows the example of execution of the image process (reduction | reduction) in a 1st Example. 第1の実施例における画像処理(拡大)の実行例を示す説明図である。It is explanatory drawing which shows the example of execution of the image process (enlargement) in a 1st Example. 第1の実施例における画像処理(変形)の実行例を示す説明図である。It is explanatory drawing which shows the example of execution of the image process (deformation) in a 1st Example. 第2の実施例におけるプリンタの概略構成を示す説明図である。It is explanatory drawing which shows schematic structure of the printer in a 2nd Example. 第2の実施例における画像処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the image process in a 2nd Example. 第2の実施例における画像処理(縮小及び領域選択)の実行例を示す説明図である。It is explanatory drawing which shows the example of execution of the image process (reduction | reduction and area | region selection) in a 2nd Example. 第3の実施例におけるプリンタの概略構成を示す説明図である。It is explanatory drawing which shows schematic structure of the printer in a 3rd Example. 第3の実施例における画像処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the image process in a 3rd Example. 第3の実施例における指示ポイントの軌跡と選択される画像処理との対応関係を示す説明図である。It is explanatory drawing which shows the correspondence of the locus | trajectory of the instruction | indication point in the 3rd Example, and the image processing selected. 第3の実施例における画像処理(拡大及び縮小)の実行例を示す説明図である。It is explanatory drawing which shows the example of execution of the image process (enlargement and reduction) in a 3rd Example. 第4の実施例における画像処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the image process in a 4th Example. 第5の実施例における画像処理(変形)の実行例を示す説明図である。It is explanatory drawing which shows the example of execution of the image process (deformation) in a 5th Example.

符号の説明Explanation of symbols

10…制御回路
20…CPU
20a…指示ポイント記録部
20b…表示制御部
20c…画像処理選択部
20d…画像処理実行部
20e…顔領域抽出部
22d…画像処理実行部
30…メモリ
40…メモリカードスロット
42…プリンタエンジン
44…操作部
46…タッチパネル制御部
50…表示部
100,100a,100b…プリンタ
B1…やりなおしボタン
B2…決定ボタン
B3…他メニューボタン
MC…メモリカード
TP,TPa…タッチペン
FA1,FA2…顔領域
TR1,TR2…軌跡
AR1〜AR4…処理対象領域
10 ... Control circuit 20 ... CPU
20a ... Instruction point recording unit 20b ... Display control unit 20c ... Image processing selection unit 20d ... Image processing execution unit 20e ... Face region extraction unit 22d ... Image processing execution unit 30 ... Memory 40 ... Memory card slot 42 ... Printer engine 44 ... Operation Part 46 ... Touch panel control part 50 ... Display part 100, 100a, 100b ... Printer B1 ... Redo button B2 ... Enter button B3 ... Other menu button MC ... Memory card TP, TPa ... Touch pen FA1, FA2 ... Face area TR1, TR2 ... Trajectory AR1 to AR4 ... processing target area

Claims (5)

画像処理装置であって、
表示部と、
前記表示部に表示された画像上の指示ポイントの位置の指示を受け付けるポイント指示受付部と、
前記指示ポイントの軌跡に応じて、所定の複数の画像処理の中から、少なくとも1つの画像処理を選択する画像処理選択部と、
前記画像において、所定の条件を満たす特定領域を抽出する特定領域抽出部と、
を備え、
前記画像処理選択部は、前記軌跡と前記特定領域との位置関係に応じて、前記所定の複数の画像処理の中から、少なくとも1つの画像処理を選択すると共に、前記軌跡の形状が互いに略同一であって、たどる方向が互いに逆となる2つの場合において、それぞれ互いに逆となる画像処理を選択する、画像処理装置。
An image processing apparatus,
A display unit;
A point instruction receiving unit that receives an instruction of the position of the instruction point on the image displayed on the display unit;
An image processing selection unit that selects at least one image processing from a plurality of predetermined image processing according to the locus of the instruction point;
A specific area extracting unit that extracts a specific area that satisfies a predetermined condition in the image;
With
The image processing selection unit selects at least one image processing from the plurality of predetermined image processes according to a positional relationship between the locus and the specific area, and the shapes of the locus are substantially the same. An image processing apparatus that selects image processes that are opposite to each other in two cases in which the directions to be traced are opposite to each other .
請求項1に記載の画像処理装置であって、さらに、
前記軌跡に基づき定められる領域と、前記特定領域と、のうち、少なくとも一方において、選択された前記画像処理を実行する画像処理部を備える、
画像処理装置。
The image processing apparatus according to claim 1, further comprising:
An image processing unit that executes the selected image processing in at least one of the region determined based on the locus and the specific region;
Image processing device.
請求項1または請求項2に記載の画像処理装置において、
前記特定領域は、前記画像内の人物の顔を表す領域であり、
前記画像処理選択部は、前記軌跡が前記特定領域に対して所定の範囲で近接する場合に、第1の画像処理を選択し、前記軌跡が前記特定領域に対して所定の範囲で近接しない場合に、前記第1の画像処理とは異なる第2の画像処理を選択する、
画像処理装置。
The image processing apparatus according to claim 1 or 2,
The specific area is an area representing a human face in the image;
The image processing selection unit selects the first image processing when the trajectory is close to the specific area within a predetermined range, and the trajectory is not close to the specific area within the predetermined range. A second image processing different from the first image processing is selected.
Image processing device.
請求項1または請求項2に記載の画像処理装置において、
前記特定領域は、前記画像内の人物の顔を表す領域であり、
前記画像処理選択部は、前記軌跡が前記特定領域を含む場合に、第1の画像処理を選択し、前記軌跡が前記特定領域を含まない場合に、前記第1の画像処理とは異なる第2の画像処理を選択する、画像処理装置。
The image processing apparatus according to claim 1 or 2,
The specific area is an area representing a human face in the image;
The image processing selection unit selects the first image processing when the trajectory includes the specific region, and the second different from the first image processing when the trajectory does not include the specific region. An image processing apparatus that selects image processing.
表示部と、前記表示部に表示された画像上の指示ポイントの位置の指示を受け付けるポイント指示受付部と、を備える画像処理装置において、所定の複数の画像処理の中から、少なくとも1つの画像処理を選択するための画像処理選択方法であって、
(a)前記画像において、所定の条件を満たす特定領域を抽出する工程と、
(b)前記指示ポイントの軌跡と前記特定領域との位置関係に応じて、前記所定の複数の画像処理の中から、少なくとも1つの画像処理を選択すると共に、前記軌跡の形状が互いに略同一であって、たどる方向が互いに逆となる2つの場合において、それぞれ互いに逆となる画像処理を選択する工程と、
を備える画像処理選択方法。
A display unit, an image processing apparatus and a point instruction receiving unit for receiving an instruction position of the instruction point on images displayed on the display unit, from among a predetermined plurality of image processing at least one image An image processing selection method for selecting a process,
(A) extracting a specific region satisfying a predetermined condition in the image;
(B) At least one image processing is selected from the plurality of predetermined image processes according to the positional relationship between the locus of the indication point and the specific area, and the shapes of the locus are substantially the same. In the two cases where the directions to be traced are opposite to each other, the step of selecting image processing that is opposite to each other ;
An image processing selection method comprising:
JP2006321869A 2006-11-29 2006-11-29 Image processing apparatus and image processing selection method Expired - Fee Related JP4940911B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006321869A JP4940911B2 (en) 2006-11-29 2006-11-29 Image processing apparatus and image processing selection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006321869A JP4940911B2 (en) 2006-11-29 2006-11-29 Image processing apparatus and image processing selection method

Publications (2)

Publication Number Publication Date
JP2008134911A JP2008134911A (en) 2008-06-12
JP4940911B2 true JP4940911B2 (en) 2012-05-30

Family

ID=39559718

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006321869A Expired - Fee Related JP4940911B2 (en) 2006-11-29 2006-11-29 Image processing apparatus and image processing selection method

Country Status (1)

Country Link
JP (1) JP4940911B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5118609B2 (en) * 2008-11-20 2013-01-16 キヤノン株式会社 Object processing apparatus, processing method thereof, and program
JP5341152B2 (en) * 2011-08-22 2013-11-13 楽天株式会社 Data processing apparatus, data processing method, data processing program, and computer-readable recording medium for recording the program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6075980A (en) * 1983-10-03 1985-04-30 Hitachi Ltd On-line editing device for handwritten input pattern
JPH11167674A (en) * 1997-12-04 1999-06-22 Hitachi Software Eng Co Ltd Image print generation device
JP4756876B2 (en) * 2004-06-09 2011-08-24 キヤノン株式会社 Image display control device, image display control method, program, and storage medium

Also Published As

Publication number Publication date
JP2008134911A (en) 2008-06-12

Similar Documents

Publication Publication Date Title
JP2008134918A (en) Image processor and image processing determination method
KR101183381B1 (en) Flick gesture
EP1507192B1 (en) Detection of a dwell gesture by examining parameters associated with pen motion
KR101919645B1 (en) Explicit touch selection and cursor placement
US7966573B2 (en) Method and system for improving interaction with a user interface
US20120089938A1 (en) Information Processing Apparatus, Information Processing Method, and Program
EP1335272A2 (en) Ink Gestures
US20130057469A1 (en) Gesture recognition device, method, program, and computer-readable medium upon which program is stored
US9092118B2 (en) Display controller, display control method, and computer-readable storage medium
JP5792499B2 (en) Electronic device, display method, and display program
CN109753179B (en) User operation instruction processing method and handwriting reading equipment
JP6248462B2 (en) Information processing apparatus and program
WO2014147722A1 (en) Electronic apparatus, method, and program
CN104423836A (en) Information processing apparatus
JP6025473B2 (en) Information processing apparatus, information processing method, and program
CN104346072A (en) Display control apparatus and control method thereof
JP2014182814A (en) Drawing device, drawing method and drawing program
US8773473B2 (en) Instantaneous panning using a groove metaphor
US20160054893A1 (en) Touch digital ruler
JP4940911B2 (en) Image processing apparatus and image processing selection method
JP6151166B2 (en) Electronic device and display method
JP6087602B2 (en) Electronic blackboard
JP6607083B2 (en) Program and information processing apparatus
US9799103B2 (en) Image processing method, non-transitory computer-readable storage medium and electrical device
JP5853778B2 (en) Print setting apparatus, print setting method, print setting program, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120131

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120213

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4940911

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees