JP4314525B2 - 補正画像表示方法及び装置 - Google Patents

補正画像表示方法及び装置 Download PDF

Info

Publication number
JP4314525B2
JP4314525B2 JP2004235454A JP2004235454A JP4314525B2 JP 4314525 B2 JP4314525 B2 JP 4314525B2 JP 2004235454 A JP2004235454 A JP 2004235454A JP 2004235454 A JP2004235454 A JP 2004235454A JP 4314525 B2 JP4314525 B2 JP 4314525B2
Authority
JP
Japan
Prior art keywords
image
region
corrected
image processing
corrected image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004235454A
Other languages
English (en)
Other versions
JP2006054714A (ja
Inventor
亮輔 三方
雄一 小田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Koki Co Ltd
Original Assignee
Noritsu Koki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritsu Koki Co Ltd filed Critical Noritsu Koki Co Ltd
Priority to JP2004235454A priority Critical patent/JP4314525B2/ja
Publication of JP2006054714A publication Critical patent/JP2006054714A/ja
Application granted granted Critical
Publication of JP4314525B2 publication Critical patent/JP4314525B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Editing Of Facsimile Originals (AREA)

Description

本発明は、画像処理及び表示技術に関する。
従来、写真フィルムでは、クロスフィルタや偏光フィルタ、ミラージュフィルタ等の特殊フィルタを使用することにより画調を変えることができる。これに対し、デジタルカメラや携帯電話等では、このような特殊フィルタを使用できないことから、特殊フィルタを写真フィルムに使用した場合と同様の効果を得るために画像処理を行う場合がある。例えば、写真フィルムにクロスフィルタを使用したときのクロス効果を得るために、画像に光芒データを合成するクロスフィルタ処理を行っている。尚、写真フィルムの場合にも、特殊フィルタの取扱いの煩雑さ等から、スキャナ等により画像を取り込んで画像処理を行うことがある。
この種の技術には、クロスフィルタを使用した場合と同様の効果を得るために、光輝領域を自動的に抽出すると共に、光輝領域から延びる光芒を表す光芒データを画像に合成する画像処理方法がある(例えば、特許文献1参照)。これは、自動的に抽出された光輝領域の位置を画像に表示し、確認しながら合成処理を行うものであり、個々の光輝領域について合成する光芒データの形状を決定するパラメータを指定可能である。
特開平11−346303号公報
しかし、特許文献1の画像処理方法は、画像処理の実施前に光芒データを追加する光輝領域を画像上で確認できるが、光輝領域の確認時には画像処理によって作成される補正画像を確認することができず、画像処理を行っていない無補正画像と補正画像とを比較することができない。このため、所望の画質を得るための画像処理作業が煩雑になるという問題があった。
本発明は上記の問題に鑑みてなされたものであり、その目的は、画像処理によって作成した補正画像と、画像処理の領域を示す領域指標とを対比可能に表示して、画像処理をより容易に行える補正画像表示技術を提供する点にある。
この目的を達成するための本発明に係る補正画像表示方法の特徴構成は、画像に対して特定の画像処理を施して作成た補正画像と、前記画像に対して前記画像処理を施していない無補正画像とを表示画面上に表示する補正画像表示方法において、前記画像中において前記画像処理を施す領域を決定するステップと、決定された前記領域に基づき規定される領域に対して前記画像処理を施した補正画像を生成するステップと、決定された前記領域を示す領域指標を生成し、前記無補正画像上に当該領域指標を合成した画像を生成するステップと、前記領域指標が合成された前記無補正画像と、前記補正画像とを、選択的に表示するステップと、を備えたことを特徴とする点にある。
即ち、上記特徴構成によれば、例えば、クロス効果を得るために光輝領域に光芒データを合成するクロスフィルタ処理等の画像処理を実施する際、画像処理後の補正画像と、領域指標を重ね合わせた無補正画像とを選択的に表示可能にしたので、画像処理を行う領域と、画像処理を行った補正画像の仕上がりとを確認しながら作業を行うことができる。また、選択的に表示する構成としたことで、画像を表示画面上に大きく表示できるので、精細な画像処理を実施する場合に有用である。
この目的を達成するための本発明に係る補正画像表示方法の他の特徴構成は、画像に対して特定の画像処理を施して作成た補正画像と、前記画像に対して前記画像処理を施していない無補正画像とを表示画面上に表示する補正画像表示方法において、前記画像中において前記画像処理を施す領域を決定するステップと、決定された前記領域に基づき規定される領域に対して前記画像処理を施した補正画像を生成するステップと、決定された前記領域を示す領域指標を生成し、前記無補正画像上に当該領域指標を合成した画像を生成するステップと、前記領域指標が合成された前記無補正画像と、前記補正画像とを、同一表示画面上に表示するステップと、を備えたことを特徴とする点にある。
即ち、上記特徴構成によれば、画像処理を実施する際、補正画像と領域指標を重ね合わせた無補正画像とを同一画面上に表示するので、補正画像と無補正画像とが対比容易になる。従って、画像処理の効果を容易に確認することができるので、所望の補正画像をより容易に得ることができる。
更に、他の特徴構成は、前記領域指標が示す前記領域における前記画像処理の設定を個別に変更することを特徴とする点にある。
即ち、上記特徴構成によれば、領域指標毎に、例えば、クロス効果を得るために画像に光芒データを合成する場合、光芒データの形状を決定するパラメータ等の設定を個別に変更可能になるので、より細密に、補正画像全体を考慮して画像処理を行うことができる。
また、本発明は、上述した補正画像表示方法をコンピュータに実行させるプログラムやそのプログラムを記録した媒体も権利の対象とするものであり、そのような補正画像表示プログラムは、前記画像中において前記画像処理を施す領域を決定する機能と、決定された前記領域に基づき規定される領域に対して前記画像処理を施した補正画像を生成する機能と、決定された前記領域を示す領域指標を生成し、前記無補正画像上に当該領域指標を合成した画像を生成する領域指標生成機能と、前記領域指標生成機能によって前記領域指標が合成処理された前記無補正画像と、前記補正画像とを、選択的に表示する表示機能とを備えている。また、他の補正画像表示プログラムは、前記画像中において前記画像処理を施す領域を決定する機能と、決定された前記領域に基づき規定される領域に対して前記画像処理を施した補正画像を生成する機能と、決定された前記領域を示す領域指標を生成し、前記無補正画像上に当該領域指標を合成した画像を生成する領域指標生成機能と、前記領域指標生成機能によって前記領域指標が合成処理された前記無補正画像と、前記補正画像とを、同一表示画面上に表示する表示機能とを備えている。当然ながら、このような補正画像表示プログラムも上述した補正画像表示方法における全ての作用効果を得ることができる。更に、補正画像表示方法において記載した従属項に係る構成を補正画像表示プログラムに追加するのも好適である。
本発明は、更に、上述した補正画像表示方法を実施する補正画像表示装置も権利の対象としており、そのような補正画像表示装置は、前記画像中において前記画像処理を施す領域を決定し、決定された前記領域に基づき規定される領域に対して前記画像処理を施した補正画像を生成する画像処理部と、決定された前記領域を示す領域指標を生成し、前記無補正画像上に当該領域指標を合成した画像を生成する領域指標生成部と、前記領域指標生成部により前記領域指標が合成処理された前記無補正画像と、前記補正画像とを、選択的に表示する表示部とを備えている。また、他の補正画像表示装置は、前記画像中において前記画像処理を施す領域を決定し、決定された前記領域に基づき規定される領域に対して前記画像処理を施した補正画像を生成する画像処理部と、決定された前記領域を示す領域指標を生成し、前記無補正画像上に当該領域指標を合成した画像を生成する領域指標生成部と、前記領域指標生成部により前記領域指標が合成処理された前記無補正画像と、前記補正画像とを、同一表示画面上に表示する表示部とを備えている。当然ながら、このような補正画像表示装置も上述した補正画像表示方法における全ての作用効果を得ることができる。更に、補正画像表示方法において記載した従属項に係る構成を補正画像表示装置に追加するのも好適である。
本発明によるその他の特徴及び利点は、以下図面を用いた実施形態の説明により明らかになるだろう。
本発明の第一実施形態について、図面に基づいて説明する。本発明に係る補正画像表示技術は、局所的に画像処理する場合に適用されるものであり、本実施形態では、クロス効果を得るために光輝領域から延びる光芒データを合成するクロスフィルタ処理を行う。
図1は、本発明による補正画像表示技術を採用した写真プリント装置のコントローラの種々の動作を行うための機能部を示しており、各機能は、ハードウエア又はソフトウエアあるいはその両方で構築している。
写真プリント装置は、スキャナ20やメディアリーダ21によって読み取られた画像を取り込んで次の処理のために必要な前処理を行う画像入力部31と、グラフィック操作画面の作成やキーボード24やマウス25等による操作入力から制御コマンドを生成するグラフィックユーザインターフェース(以下GUIと略称する)を構築するGUI部33と、GUI部33から送られてきた制御コマンドや直接キーボード24等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部31からメモリ30に転送された画像に対する画像処理等を行うプリント管理部32と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像さらにはGUI部33から送られてきたグラフィックデータをモニタ23に表示させるためのビデオ信号を生成するビデオ制御部35と、画像処理が完了した画像に基づいてプリントステーション1に適したプリントデータを生成するプリントデータ生成部36と、顧客の要望に応じて生の画像や画像処理が完了した画像等をCD−Rに書き込むための形式にフォーマットするフォーマッタ部37とを備えている。
プリント管理部32は、プリントサイズやプリント枚数などを管理するプリント注文処理ユニット60、メモリ30に展開された画像に対して色補正やフィルタリング(ぼかしやシャープネスなど)等のフォトレタッチ処理を施す画像処理ユニット70を備えている。
画像処理ユニット70には本発明に係る補正画像表示技術を採用した画像処理表示手段90が含まれている。画像処理表示手段90には、図2に示すように、データ入力部91、画像処理部92、領域指標生成部93、表示部94及びデータ出力部95を備えている。画像処理部92は、特定の画像処理により補正画像を作成する処理部である。領域指標生成部93は、画像処理の領域を示す領域指標を生成する処理部であり、表示部94は、領域指標を重ね合わせた無補正画像と、補正画像とを、選択的に表示する処理部である。
上述した各処理部(各ステップ、各機能)における処理の詳細について説明する。
先ず、補正画像及び領域指標の作成について、図3を基に説明する。図3は、画像処理ルーチンを示すフローチャートである。
画像処理表示手段90は、GUI部33からの入力により、画像処理画面(図示せず)を起動し、画像処理を行い補正画像を作成する画像を指定するための指定画面をモニタ23の表示画面上に表示する。データ入力部91は、マウス25やキーボード24によって画像が指定されると、指定された画像(無補正画像)をメモリ30から取得(#101)する。更に、画像処理設定をメモリ30若しくはGUI部33、またはその両方から取得して(#102)、無補正画像と共に画像処理部92に出力する。本実施形態では画像処理としてクロスフィルタ処理を行うため、データ入力部91は、画像処理設定として光輝領域から延びる光芒データの形状を決定するパラメータ(強度等)等を取得する。
画像処理部92は、データ入力部91から画像処理を行う画像と、画像処理設定とを取得する。ここで、画像処理部92は、合成する光芒データの中心座標を示す補正基準点を決定し、領域指標生成部93に出力する。そして、補正基準点に基づいて画像処理を行い、補正画像50を作成する(#103)。図6は、補正画像50の例であり、光輝から延びる光芒を示す光芒データを合成したものである。各光芒の強度等は、光輝の大きさ若しくはGUI部33からの設定入力によって決定する。
領域指標生成部93は、画像処理部92から補正基準点を受取ると、画像処理の領域を示す領域指標52を生成し(#104)、無補正画像51に領域指標52を合成した画像を生成する。図7は、領域指標52を重ね合わせた無補正画像51の例を示している。ここでの領域指標52は、クロスフィルタ処理において合成する光芒データの光輝を囲む円であり、視認し易いように背景画素の補色を用いて描画してある。
更に、本実施形態の画像処理表示手段90は、領域指標52が示す画像処理の設定を個別に変更可能に構成されている。例えば、クロスフィルタ処理後の補正画像50について、GUI部33から、光芒データの設定変更が入力された場合や、光芒データを追加する光輝が新たに指定された場合(ステップ#105でYes分岐)、ステップ#102に移行し、データ入力部91が、データ入力部91から設定変更や追加に係る画像処理設定を取得する。詳細には、例えば、モニタ23の表示画面上に領域指標52を重ね合わせた無補正画像51が表示されているときに、マウス25等によって領域指標52の一つが選択され、光芒データの形状を決定するパラメータ、強度の値等が変更されると、これらの変更内容をGUI部33を介してデータ入力部91が取得する。そして、データ入力部91が取得した変更内容及び画像処理設定に基づいて、画像処理部92が新たな補正画像50を作成し(#103)、領域指標生成部93が新たな領域指標52を生成する(#104)。このように、領域指標52が示す画像処理の設定を個別に変更するべく、ステップ#102乃至#104を繰返し実行することにより、所望の補正画像50を得ることができる。追加の画像処理を行う場合も同様に、表示画面上で入力された追加の画像処理設定を取得し、ステップ#102乃至#104を実行することで、所望の補正画像50を得ることができる。GUI部33から画像編集の終了が入力された場合には、画像処理及び表示処理を終了し(#105でNo分岐)、補正画像50をメモリ30に記憶する。
次に、補正画像50及び領域指標52を重ね合わせた無補正画像51の表示処理について、図4を基に説明する。図4は、表示処理ルーチンを示すフローチャートである。
表示部94は、GUI部33によって画像が指定された後、表示設定に従って、領域指標生成部93が作成した領域指標52を重ね合わせた無補正画像51と、画像処理部92が作成した補正画像50とを、モニタ23上の表示領域上に選択的に表示させる。尚、モニタ23には、補正画像50若しくは領域指標52を重ね合わせた無補正画像51の何れか一方のみを選択的に表示可能な表示領域と、補正画像50及び領域指標52を重ね合わせた無補正画像51の表示を切替える切替えボタンが構成された表示画面が表示されている。
ここで、図4は、補正画像50と領域指標52を重ね合わせた無補正画像51との切替え表示のフローチャートを示している。表示部94は、GUI部33からの入力により、モニタ23に表示する画像として補正画像50が設定されている場合には(#501で補正画像分岐)、図6に示すように、データ出力部95等を介してモニタ23の表示領域上に補正画像50を表示させる(#502)。モニタ23に表示する画像として領域指標52を重ね合わせた無補正画像51が設定されている場合には(#501で領域指標及び無補正画像分岐)、図7に示すように、データ出力部95等を介してモニタ23の表示領域上に領域指標52を重ね合わせた無補正画像51を表示させる(#503)。更に、表示部94は、モニタ23の表示画面上で切替えボタンが選択された場合、表示画像の設定を、補正画像50と領域指標52を重ね合わせた無補正画像51とで切替える。これによって、ステップ501において表示される画像が切替えられ、利用者は両画像を任意に切替え表示可能になる。
本発明の第二実施形態について、図面に基づいて説明する。
上記第一実施形態では、領域指標生成部93が生成した領域指標52を重ね合わせた無補正画像51と、画像処理部92が作成した補正画像50とを、モニタ23上の表示領域上に選択的に表示させる構成について説明したが、本実施形態では、領域指標52を重ね合わせた無補正画像51と、補正画像50とを、同一表示画面上に表示する。
この場合には、図5に示すように、ステップ#104において、領域指標生成部93が領域指標52を生成し、領域指標52を重ね合わせた無補正画像51を作成した後、表示部94が、画像処理部92によって作成された補正画像50と、領域指標生成部93によって作成された領域指標52を重ね合わせた無補正画像51とを、モニタ23の同一表示画面上に、対比可能な状態に表示する(#106)。
また、第一実施形態と同様に、領域指標52が示す画像処理の設定を個別に変更可能に構成されている。領域指標52を重ね合わせた無補正画像51上で、GUI部33により領域指標52が選択され設定が変更されると、画像処理部92が新たな設定に基づく新たな補正画像50を作成し、表示部94が新たな補正画像50を表示する。これによって、画像処理後の仕上がりを確認しながら画像処理を行うことができるので、より容易に所望の補正画像50を得ることができる。
尚、第一実施形態では、領域指標52を重ね合わせた無補正画像51と補正画像50とを選択的に表示する構成について、第二実施形態では、同一表示画面上に表示する構成について説明したが、選択的に表示する構成と同一表示画面上に表示する構成とを選択できるように構成するのも望ましい実施態様である。
本発明に係る補正画像表示技術を採用した写真プリント装置の構成図 本発明による画像処理表示手段の構成図 第一実施形態における画像処理ルーチンを示すフローチャート 第一実施形態における表示処理ルーチンを示すフローチャート 第二実施形態における画像処理及び表示処理ルーチンを示すフローチャート 本発明の補正画像の一例を示す図 本発明の領域指標を重ね合わせた無補正画像の一例を示す図
符号の説明
50 補正画像
51 無補正画像
52 領域指標
92 画像処理部
93 領域指標生成部
94 表示部

Claims (7)

  1. 画像に対して特定の画像処理を施して作成た補正画像と、前記画像に対して前記画像処理を施していない無補正画像とを表示画面上に表示する補正画像表示方法において、
    前記画像中において前記画像処理を施す領域を決定するステップと、
    決定された前記領域に基づき規定される領域に対して前記画像処理を施した補正画像を生成するステップと、
    決定された前記領域を示す領域指標を生成し、前記無補正画像上に当該領域指標を合成した画像を生成するステップと、
    前記領域指標が合成された前記無補正画像と、前記補正画像とを、選択的に表示するステップと、を備えたことを特徴とする補正画像表示方法。
  2. 画像に対して特定の画像処理を施して作成た補正画像と、前記画像に対して前記画像処理を施していない無補正画像とを表示画面上に表示する補正画像表示方法において、
    前記画像中において前記画像処理を施す領域を決定するステップと、
    決定された前記領域に基づき規定される領域に対して前記画像処理を施した補正画像を生成するステップと、
    決定された前記領域を示す領域指標を生成し、前記無補正画像上に当該領域指標を合成した画像を生成するステップと、
    前記領域指標が合成された前記無補正画像と、前記補正画像とを、同一表示画面上に表示するステップと、を備えたことを特徴とする補正画像表示方法。
  3. 前記領域指標が示す前記領域における前記画像処理の設定を個別に変更することを特徴とする請求項1または2に記載の補正画像表示方法。
  4. 画像に対して特定の画像処理を施して作成た補正画像と、前記画像に対して前記画像処理を施していない無補正画像とを表示画面上に表示する補正画像表示プログラムにおいて、
    前記画像中において前記画像処理を施す領域を決定する機能と、
    決定された前記領域に基づき規定される領域に対して前記画像処理を施した補正画像を生成する機能と、
    決定された前記領域を示す領域指標を生成し、前記無補正画像上に当該領域指標を合成した画像を生成する領域指標生成機能と、
    前記領域指標生成機能によって前記領域指標が合成処理された前記無補正画像と、前記補正画像とを、選択的に表示する表示機能とをコンピュータに実行させる補正画像表示プログラム。
  5. 画像に対して特定の画像処理を施して作成た補正画像と、前記画像に対して前記画像処理を施していない無補正画像とを表示画面上に表示する補正画像表示プログラムにおいて、
    前記画像中において前記画像処理を施す領域を決定する機能と、
    決定された前記領域に基づき規定される領域に対して前記画像処理を施した補正画像を生成する機能と、
    決定された前記領域を示す領域指標を生成し、前記無補正画像上に当該領域指標を合成した画像を生成する領域指標生成機能と、
    前記領域指標生成機能によって前記領域指標が合成処理された前記無補正画像と、前記補正画像とを、同一表示画面上に表示する表示機能とをコンピュータに実行させる補正画像表示プログラム。
  6. 画像に対して特定の画像処理を施して作成た補正画像と、前記画像に対して前記画像処理を施していない無補正画像とを表示画面上に表示する補正画像表示装置において、
    前記画像中において前記画像処理を施す領域を決定し、決定された前記領域に基づき規定される領域に対して前記画像処理を施した補正画像を生成する画像処理部と、
    決定された前記領域を示す領域指標を生成し、前記無補正画像上に当該領域指標を合成した画像を生成する領域指標生成部と、
    前記領域指標生成部により前記領域指標が合成処理された前記無補正画像と、前記補正画像とを、選択的に表示する表示部とから構成されることを特徴とする補正画像表示装置。
  7. 画像に対して特定の画像処理を施して作成た補正画像と、前記画像に対して前記画像処理を施していない無補正画像とを表示画面上に表示する補正画像表示装置において、
    前記画像中において前記画像処理を施す領域を決定し、決定された前記領域に基づき規定される領域に対して前記画像処理を施した補正画像を生成する画像処理部と、
    決定された前記領域を示す領域指標を生成し、前記無補正画像上に当該領域指標を合成した画像を生成する領域指標生成部と、
    前記領域指標生成部により前記領域指標が合成処理された前記無補正画像と、前記補正画像とを、同一表示画面上に表示する表示部とから構成されることを特徴とする補正画像表示装置。
JP2004235454A 2004-08-12 2004-08-12 補正画像表示方法及び装置 Expired - Fee Related JP4314525B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004235454A JP4314525B2 (ja) 2004-08-12 2004-08-12 補正画像表示方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004235454A JP4314525B2 (ja) 2004-08-12 2004-08-12 補正画像表示方法及び装置

Publications (2)

Publication Number Publication Date
JP2006054714A JP2006054714A (ja) 2006-02-23
JP4314525B2 true JP4314525B2 (ja) 2009-08-19

Family

ID=36031888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004235454A Expired - Fee Related JP4314525B2 (ja) 2004-08-12 2004-08-12 補正画像表示方法及び装置

Country Status (1)

Country Link
JP (1) JP4314525B2 (ja)

Also Published As

Publication number Publication date
JP2006054714A (ja) 2006-02-23

Similar Documents

Publication Publication Date Title
US7663779B2 (en) Image processing apparatus, image processing method and program therefor
JP2004274720A (ja) データ変換装置、およびデータ変換プログラム
KR100841657B1 (ko) 화상 처리 장치 및 그 제어 방법 및 프로그램
JP2006350936A (ja) 画像作成装置、及び画像作成用プログラム
JP2006350521A (ja) 画像作成装置、及び画像作成用プログラム
JP4612871B2 (ja) 画像処理装置および方法
US20060055984A1 (en) Image processing apparatus, image processing method and program
JP2007189426A (ja) 画像出力装置及び画像出力方法
JP4314525B2 (ja) 補正画像表示方法及び装置
KR20070086602A (ko) 정보 처리 장치, 방법 및 프로그램
JP2006350462A (ja) アルバム画像作成装置、及びアルバム画像作成プログラム
JP2007036592A (ja) 画像処理装置
JP5484038B2 (ja) 画像処理装置およびその制御方法
JP2020048117A (ja) 画像提供システム
KR20070092369A (ko) 영상 편집 장치와 그 기록매체, 및 영상 편집 방법
JP2005229475A (ja) データ変換装置、およびデータ変換プログラム
JPH11112793A (ja) 画像再生方法およびシステムならびにその方法に使用する記録媒体
JP2005236372A (ja) 画像合成装置、画像合成方法、画像処理装置、画像レイアウト方法および記憶媒体
JPH08317237A (ja) デジタルカラー複写機
JPH07322054A (ja) 領域設定方法
JP2000330842A (ja) 画像ファイル名編集方法
JPH10164372A (ja) 画像入力変換装置並びに画像入力変換プログラムを記録した媒体
JP2007004641A (ja) フォトアルバム作成システム及びフォトアルバム作成コンピュータプログラム
JP2008244995A (ja) 画像処理システム
JP2006027228A (ja) アルバムプリント方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090115

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090423

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090506

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120529

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120529

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120529

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130529

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees