JP3690391B2 - 画像編集装置、画像のトリミング方法、及びプログラム - Google Patents

画像編集装置、画像のトリミング方法、及びプログラム Download PDF

Info

Publication number
JP3690391B2
JP3690391B2 JP2003015105A JP2003015105A JP3690391B2 JP 3690391 B2 JP3690391 B2 JP 3690391B2 JP 2003015105 A JP2003015105 A JP 2003015105A JP 2003015105 A JP2003015105 A JP 2003015105A JP 3690391 B2 JP3690391 B2 JP 3690391B2
Authority
JP
Japan
Prior art keywords
trimming
image
template
attention area
procedure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003015105A
Other languages
English (en)
Other versions
JP2004228994A (ja
Inventor
敏則 長橋
敦示 永原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2003015105A priority Critical patent/JP3690391B2/ja
Priority to US10/759,006 priority patent/US20040196298A1/en
Priority to CNB200410003368XA priority patent/CN100345159C/zh
Priority to EP04001195A priority patent/EP1443462A3/en
Publication of JP2004228994A publication Critical patent/JP2004228994A/ja
Application granted granted Critical
Publication of JP3690391B2 publication Critical patent/JP3690391B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、デジタルカメラ等で撮影されたデジタル画像(単に「画像」ともいう)のトリミング(画像の一部を切り取り、または切り抜き)を自動で行う、画像編集装置、画像のトリミング方法、及びプログラムに関する。
【0002】
【従来の技術】
近時、デジタルカメラが普及し、撮影したデジタル画像をPC(パーソナルコンピュータ)内に取り込み、デジタル画像を編集し、印刷することが簡単にできるようになってきた。例えば、旅行先でデジタルカメラで撮影したデジタル画像を編集し、旅行アルバムなどを簡単に作成できるようになってきた。
これらのデジタル画像を編集する場合には、図10(c)に示すように、画像の一部(画像中の注目領域)をトリミングして編集したい場合も多い。
【0003】
このようなトリミングにおいては、従来は、人間が手動で、デジタル画像内の注目領域(目立つ領域)を切り抜くようにマウス等を操作してトリミングを行っていた。
この手動によるトリミングは、デジタル画像の枚数が少ない場合は、それほど手間がかからず問題とならないが、多数のデジタル画像を個々にトリミングしてアルバムとして編集するような場合には、手動によるトリミング作業は結構煩わしい作業となる。
また、デジタルカメラに普及と共に、利用者層の範囲が広がり、利用者の中にはPC操作に不慣れな人もおり、デジタル画像のトリミングを、より簡単に行える装置の提供が望まれていた。
【0004】
このようなデジタル画像のトリミングについての先行技術として、例えば、特許文献1「画像合成装置」がある。
特許文献1で開示された発明は、背景画像の上に主画像を重ねた合成画像を簡単に作成するための画像合成装置である。この画像合成装置における重ね合成では、外枠と、その内側に位置する内枠とをサブ表示領域に表示する。そして、取り込んだ背景画像を、メイン表示領域に表示する。メイン表示領域には、サブ表示領域の外枠に対応するトリミング枠が表示され、このトリミング枠を移動して合成する範囲を指定する。貼り込み操作を行うと、サブ表示領域内の外枠に背景画像が貼り込まれる。次に別の画像(主画像)を取り込み、メイン表示領域に表示する。このメイン表示領域には、サブ表示領域の内枠に対応したトリミング枠が表示され、このトリミング枠で指定された部分がサブ表示領域の内枠にはめ込まれ、背景画像の上に主画像が重ねられた合成画像が完成する。
【0005】
【特許文献1】
特開2002−10056号公報
【0006】
【発明が解決しようとする課題】
しかしながら、特許文献1に開示された発明は、利用者自身が手動で、トリミングする各画像のトリミング範囲を切り取り(切り抜き)、画像を合成する発明である。すなわち、この発明では、利用者自身がトリミングする各画像中の注目領域(目立つ領域)を目視により確認しながら、注目領域を切り取る(切り抜く)作業を行う必要がある。このため、多数の画像をトリミングにより編集する場合などは、作業負担が大きくなり、また多くの作業時間も必要とし、煩わしい作業となる。
【0007】
本発明はこのような問題を解決するためになされたもので、その目的は、画像中の注目領域を自動的にトリミングするようにし、画像のトリミングを、より簡単に、かつ効果的に行える、画像編集装置、画像のトリミング方法、及びプログラムを提供することにある。
【0008】
【課題を解決するための手段】
本発明は上記課題を解決するためになされたものであり、本発明の画像編集装置は、画像のトリミングを行う画像編集装置であって、トリミングの対象となる画像の注目領域を算出する注目領域算出手段と、トリミングの対象となる画像の注目領域のトリミング方法を指定するトリミングルール指定手段と、前記トリミングルール指定手段により、トリミング範囲の指定が選択された場合に、トリミング範囲の形状を指定するトリミング形状指定手段と、前記トリミングルール指定手段により、テンプレートの使用が指定された場合に、予め記憶されたテンプレート群から選択するテンプレート選択手段と、前記注目領域が前記トリミング範囲又は前記テンプレート内に含まれる度合いを算出する注目領域誤差算出手段と、前記トリミングルール指定手段により指定された方法に応じて、前記注目領域が、前記トリミング範囲またはテンプレート内に含まれる度合いを調整する、画像、トリミング範囲、またはテンプレートの拡大、縮小、回転を行う画像処理手段とを具備することを特徴とする。
【0009】
このような構成であれば、注目領域算出手段により、トリミングする画像の注目領域を求め、トリミングルール指定手段により、注目領域のトリミング方法を指定する。また、前記トリミングルール指定手段により、トリミング範囲の指定が選択された場合には、トリミング形状指定手段により、ユーザがトリミングする範囲(形状)を指定する。また、前記トリミングルール指定手段により、テンプレートの使用が指定された場合には、テンプレート選択手段により、ユーザが、予め記憶されたテンプレート群から、トリミングに使用するテンプレートを選択する。また、注目領域誤差算出手段により、注目領域が、トリミング範囲又はテンプレートに含まれる度合いを算出する。また、画像処理手段を用いて、トリミングルール指定手段により指定された方法に応じて、注目領域が、トリミング範囲またはテンプレート内に含まれる度合いを調整するために、画像、トリミング範囲、又はテンプレートの拡大、縮小を行う。
これにより、トリミング範囲(形状)の指定、またはテンプレートを選択すると、後は、人間の視覚特性に応じた注目領域を算出し、画像のトリミング作業を自動的に行うことができる。また、指定したトリミング範囲またはテンプレートに応じて、注目領域が見栄えよくトリミングされる。
【0010】
また、本発明の画像編集装置は、前記注目領域の中心と、前記トリミング範囲又はテンプレートの中心との中心合わせを行う手段をさらに具備することを特徴とする。
このような構成であれば、トリミング範囲またはテンプレートの中心と、注目領域の中心合わせを行った後に、注目領域誤差算出手段により、注目領域が切り取られる度合(注目領域がトリミング範囲やテンプレート内に含まれる度合い)などを算出する。
これにより、注目領域誤差算出手段による算出が適切に行える。また、注目領域が、トリミング範囲またはテンプレート内に、適切にはめ込まれるようにすることができる。
【0011】
また、本発明の画像編集装置は、前記注目領域の中心を、当該注目領域を囲む矩形の対角線の交点とし、前記テンプレートの中心を、当該テンプレートを囲む矩形の対角線の交点とすることを特徴とする。
このような構成であれば、注目領域を矩形で囲み、該矩形の対角線の交点を、注目領域の中心とする。また、トリミング範囲やテンプレートを矩形で囲み、該矩形の対角線の交点を、トリミング範囲やテンプレートの中心とする。
これにより、注目領域の中心と、トリミング範囲やテンプレートの中心を容易に求めることができる。
【0012】
また、本発明の画像編集装置は、前記注目領域算出手段により注目領域を算出する際には、最も誘目度の高い領域を基準に閾値を決定し、該閾値以上の領域を注目領域として決定する注目領域閾値手段をさらに具備することを特徴とする。
また、本発明の画像編集装置は、前記注目領域算出手段により注目領域を算出する際には、最も高い誘目度の1/2に閾値を決定し、該閾値以上の領域を注目領域として決定する注目領域閾値手段をさらに具備することを特徴とする。
このような構成であれば、注目領域閾値手段では、求められた注目領域のうち、最も誘目度が高い領域、あるいは最も高い誘目度の2分の1より高い領域のみなど、閾値を決めて、注目領域の切り取り(切り抜き)を行い、それらを1つの領域にまとめる。
これにより、トリミングしたい注目領域の注目度の程度を指定して、トリミングを行うことができる。
また、本発明の画像編集装置は、少なくとも、入力装置,画像装置および印刷装置のいずれかを有することを特徴とする。
【0013】
また、本発明の画像のトリミング方法は、画像のトリミングを行う画像編集装置における画像のトリミング方法であって、トリミングの対象となる画像の注目領域を算出する注目領域算出手順と、トリミングの対象となる画像の注目領域のトリミング方法を指定するトリミングルール指定手順と、前記トリミングルール指定手順により、トリミング範囲の指定が選択された場合に、トリミング範囲の形状を指定するトリミング形状指定手順と、前記トリミングルール指定手順により、テンプレートの使用が指定された場合に、予め記憶されたテンプレート群から選択するテンプレート選択手順と、前記注目領域が前記トリミング範囲又は前記テンプレート内に含まれる度合いを算出する注目領域誤差算出手順と、前記トリミングルール指定手順により指定された方法に応じて、前記注目領域が、前記トリミング範囲またはテンプレート内に含まれる度合いを調整する、画像、トリミング範囲、またはテンプレートの拡大、縮小、回転を行う画像処理手順とを含むことを特徴とする。
【0014】
このような手順であれば、注目領域算出手順により、トリミングする画像の注目領域を求め、トリミングルール指定手順により、注目領域のトリミング方法を指定する。また、前記トリミングルール指定手順により、トリミング範囲の指定が選択された場合には、トリミング形状指定手順により、ユーザがトリミングする範囲(形状)を指定する。また、前記トリミングルール指定手順により、テンプレートの使用が指定された場合には、テンプレート選択手順により、ユーザが、予め記憶されたテンプレート群から、トリミングに使用するテンプレートを選択する。また、注目領域誤差算出手順により、注目領域が、トリミング範囲又はテンプレートに含まれる度合いを算出する。また、画像処理手順を用いて、トリミングルール指定手順により指定された方法に応じて、注目領域が、トリミング範囲またはテンプレート内に含まれる度合いを調整するために、画像、トリミング範囲、又はテンプレートの拡大、縮小を行う。
これにより、トリミング範囲(形状)の指定、またはテンプレートを選択すると、後は、人間の視覚特性に応じた注目領域を算出し、画像のトリミング作業を自動的に行うことができる。また、指定したトリミング範囲またはテンプレートに応じて、注目領域が見栄えよくトリミングされる。
【0015】
また、本発明のコンピュータプログラムは、画像のトリミングを行う画像編集装置内のコンピュータに、トリミングの対象となる画像の注目領域を算出する注目領域算出手順と、トリミングの対象となる画像の注目領域のトリミング方法を指定するトリミングルール指定手順と、前記トリミングルール指定手順により、トリミング範囲の指定が選択された場合に、トリミング範囲の形状を指定するトリミング形状指定手順と、前記トリミングルール指定手順により、テンプレートの使用が指定された場合に、予め記憶されたテンプレート群から選択するテンプレート選択手順と、前記注目領域が前記トリミング範囲又は前記テンプレート内に含まれる度合いを算出する注目領域誤差算出手順と、前記トリミングルール指定手順により指定された方法に応じて、前記注目領域が、前記トリミング範囲またはテンプレート内に含まれる度合いを調整する、画像、トリミング範囲、またはテンプレートの拡大、縮小、回転を行う画像処理手順とを実行させるためのプログラムである。
【0016】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
【0017】
図1は、本発明の画像編集装置100が備える手段の構成例を示すブロック図である。図1に示す画像編集装置100に設けられた各手段は、以下に示す処理を行う。
(1)画像選択手段101
画像選択手段101は、トリミングを行う対象となる画像を、画像記憶手段114から選択するための手段である。
(2)画像読取手段102
画像読取手段102は、画像を構成する画素ごとの値(RGB値等)を読み出すための手段である。
【0018】
(3)注目領域算出手段103
注目領域算出手段103は、トリミングの対象となる画像の注目領域を算出するための手段であり、画像内を複数の領域に分離し、分離した領域ごとに、注目度の程度を2段階以上に区分けする。この注目領域の算出には、例えば、「特開2001−126070号公報(注目領域抽出装置およびそれを用いた自動構図決定装置)」に開示された「誘目度」を使用することができる(誘目度については、後述する「誘目度についての補足説明」の項目で、その概要について説明する)。
【0019】
図2は、トリミングの処理対象となる画像11を模式的に示した図であり、図3は、図2に示す画像11の注目度(誘目度)を算出し、注目領域のパターン画像12として模式的に示した図である。図3に示す注目領域のパターン画像12では、注目度(誘目度)は、領域Aが最も高く算出され、領域B、領域Cの順に低く算出されている。
【0020】
(4)注目領域閾値手段104
注目領域閾値手段104は、注目領域算出手段103により求められた注目領域のうち、最も注目度(誘目度)が高い領域、あるいは最も高い注目度(誘目度)の2分の1より高い領域のみなど、閾値を決めて、注目領域の切り取り(切り抜き)、領域のまとめを行うための手段である。トリミングの範囲を決定する場合など、トリミングの詳細を決める際には、この閾値処理された注目領域を用いる。
【0021】
図4は、注目領域閾値手段104を使用し、図3に示した注目領域のパターン画像12中の注目領域を、ある閾値(領域Bの誘目度)以上で切り取った画像13の例を示す図である。すなわち、図3に示す注目領域のパターン画像12おいて、領域Bの注目度(誘目度)以上の部分を切り取ったものであり、領域Bと領域Aが切り取られ、切り取られた領域Aと領域Bがまとめられ、図4に示すトリミングの対象となる注目領域13aとなる。さらに、閾値処理された注目領域13aの中心を、注目領域13aを囲む矩形領域14の中心(対角線の交点a)とする。
【0022】
(5)トリミングルール指定手段105
トリミングルール指定手段105は、トリミングを行う方法をユーザが指定するための手段であり、ユーザは、トリミングルールを、例えば、以下の方法から選択する。
・閾値処理した注目領域(例えば、図4に示す注目領域13a)がトリミング範囲(例えば、図6に示すテンプレートの範囲)に入るように、元画像(例えば、図2に示す画像11)を縮小する。
・閾値処理した注目領域がトリミング範囲に入るように、元画像を回転する。
・閾値処理した注目領域がトリミング範囲に入るように、トリミング範囲を拡大する。
・閾値処理した注目領域がトリミング範囲に入るように、トリミング範囲を回転する。
・トリミング範囲をユーザが任意形状で指定するか、それとも1または複数のテンプレートを、注目領域を基準にして選んで使用する。
・トリミング範囲又はテンプレートの中心位置を、注目領域の中心と重なり合うように相対的にずらす。
・閾値処理した注目領域がトリミング範囲またはテンプレートより小さい場合、見栄えがよいように画像を拡大する。
【0023】
なお、注目領域を縮小、拡大する場合は、その倍率を例えば、98%〜102%のように限定するか、あるいは、注目領域がトリミング範囲またはテンプレートに切り取られる(切り抜かれる)範囲で最大まで拡大する。または、トリミング範囲またはテンプレートの中心位置を相対的にずらす場合は、垂直あるいは水平方向に±5ピクセルなどと範囲を限定する。
【0024】
(6)トリミング形状指定手段106
トリミング形状指定手段106は、ユーザが、トリミング範囲を任意形状で指定するための手段である。
【0025】
図5は、トリミング範囲の形状の指定例を示す図であり、トリミング形状指定手段106を使用して、ユーザが画面上でマウスなどをドラッグして、図5(a)に示すトリミング範囲の形状21や、図5(b)に示すトリミング範囲の形状22などを指定することができる。
【0026】
(7)テンプレート選択手段107
テンプレート選択手段107は、画像のトリミング形状を記述するテンプレートを選択するための手段である。
【0027】
図6、図7及び図8は、トリミングに使用するテンプレートの例を示す図であり、ユーザは、テンプレート31、テンプレート32、またはテンプレート33などから、トリミングに使用するテンプレートを選択することができる。
【0028】
(8)注目領域誤差算出手段108
注目領域誤差算出手段108は、閾値処理された注目領域が、トリミング範囲またはテンプレートによって切り取られる度合い(テンプレートなどに含まれる度合い)を算出するための手段である。この場合、注目領域は、注目領域閾値手段104により求めた注目領域であり、テンプレートは、テンプレート記憶手段115に記憶されたテンプレートであり、ユーザが選択したものである。
【0029】
注目領域の誤差算出は、例えば、テンプレート31(図6)を使用する場合は、以下のようにして行う。
・テンプレート選択手段107により、図6に示すテンプレート31を選択する。
・次に、図4に示す閾値処理された注目領域13aと、テンプレート31のそれぞれを、中心位置を合わせて重ね合わせ、注目領域13aがテンプレート31により切り取られる面積(テンプレート31内に含まれる面積)の程度を求める。
なお、テンプレート31の中心を求める方法は、図4に例示した方法と同様に、テンプレートを矩形で囲み、その対角線の交点をテンプレートの中心とする。
【0030】
(9)画像処理手段109
画像処理手段109は、画像スケーリング手段110と画像回転手段111から構成されて、それぞれ以下の機能を有する。
・画像スケーリング手段110は、トリミング範囲、テンプレート、注目領域閾値処理がされた画像、または元画像のサイズを変更する。
・画像回転手段111は、トリミング範囲、テンプレート、注目領域閾値処理がされた画像、または元画像を回転する。
【0031】
図9は、画像をテンプレートにはめ込んだ例を示す図であり、図9(a)は、図2に示す画像を、図6に示すテンプレート31にはめ込んだ例である。この場合、画像の画像34内の注目領域(花の画像の部分)が大きすぎ、注目度(誘目度)の高い部分がテンプレートからはみ出してしまう。
このような場合は、画像処理手段109と注目領域誤差算出手段108により、閾値処理した注目領域13a(図4)の縮小率を決定してから、花の画像をテンプレート31にはめ込む。このように、注目領域を縮小することにより、図9(b)に示す画像35のように、注目領域の全部がテンプレート31に含まれるようにトリミングすることができる。
【0032】
図10は、画像をテンプレートにはめ込んだ他の例を示す図であり、図10(b)に示す画像37は、図10(a)に示す画像36を、図6に示すテンプレート31にはめ込んだ例である。この場合、画像の画像10(b)の注目領域(花の画像の部分)が小さすぎる。このような場合は、画像処理手段109と注目領域誤差算出手段108により、拡大率を決定してから、花の画像をテンプレート21にはめ込む。このように、注目領域を拡大することにより、図10(c)に示す画像38のように、注目領域を見栄えよくトリミングできるようになる。
【0033】
(10)表示手段112
表示手段112は、トリミング結果を表示するための手段である。
(11)印刷手段113
印刷手段113は、トリミング結果を印刷するための手段である。
(12)画像記憶手段114
画像記憶手段114は、トリミングを行う対象となる画像データ、及びトリミングを行った画像データを記憶するための手段である。
(13)テンプレート記憶手段115
テンプレート記憶手段115は、トリミング方法を記述するテンプレートを記憶するための手段である。図6、図7、及び図8に、テンプレートの例を示す。
【0034】
以上説明した各手段を使用することにより、本発明の画像編集装置では、人間の視覚特性に応じた注目領域を算出し、トリミング範囲(形状)を指定し、またはテンプレートを選択して、画像のトリミング作業を簡単に行うことができる。
【0035】
図11は、本発明の画像編集装置における処理手順を示す図であり、テンプレートを選択して、画像をトリミングする手順を示すフローチャートである。図11に示すフローチャートでは、トリミングルールは、トリミングルール指定手段105により、次のように指定されていることを想定している。
・注目領域をトリミング範囲に入れる為に、対象となる画像の回転、スケーリングを行う。
・トリミング範囲、テンプレートの相対的な位置も移動させる。
以下、図11のフローチャートを参照して、本発明の画像編集装置で行われるトリミングの手順について説明する。
【0036】
(1)ステップS1:注目領域算出手段103により、対象となる画像の注目度(誘目度)を算出する。
例えば、図2に示す画像11の注目度(誘目度)を算出し、図3に示す注目領域のパターン画像12を求める。図3に示す注目領域のパターン画像12では、誘目度は領域Aが最も高く算出され、領域B、領域Cの順に低く算出されている。
【0037】
(2)ステップS2:注目領域閾値手段104により、閾値処理した注目度(誘目度)のパターン画像を生成する。
例えば、図3に示したパターン画像12の注目領域をある閾値(領域Bの誘目度)以上で切り取る。すなわち、図3に示す注目領域のパターン画像12おいて、領域Bの誘目度以上の部分を切り取り、領域Bと領域Aが一つにまとめられ、図4に示す閾値処理された注目領域13aのパターン画像13となる。
【0038】
(3)ステップS3:閾値処理した注目領域の中心位置を求める。
例えば、図4に示すように、閾値処理された注目領域13aの中心を、注目領域13aを囲む矩形領域14の中心(対角線の交点a)とする。
(4)ステップS4:トリミングルール指定手段105により、トリミングルールを決定する。例えば、閾値処理した注目領域がトリミング範囲に入るように、元画像を回転、縮小するなどを指定する。
(5)ステップS5:ユーザがトリミング範囲の形状を指定するか、または、テンプレートを使用するかなど、トリミングの方法を判定する。
(6)ステップS6:トリミングルール指定手段105によりテンプレートの使用が選択された場合は、テンプレート選択手段107によりトリミングに使用するテンプレートを選択する。図6、図7、図8にテンプレートの例を示す。
【0039】
(7)ステップS7:トリミング範囲またはテンプレートの中心位置と、閾値処理された注目領域の中心を合わせる。そして、画像処理手段109により、注目領域の画像を回転、縮小、移動させながら、注目領域誤差算出手段108により、注目領域が切り取られる程度(トリミング範囲又はテンプレートに注目領域が含まれる程度)を計算する。
(8)ステップS8:切り取られる程度(トリミング範囲又はテンプレートに注目領域が含まれる程度)の最も大きい組み合わせを選択する。
(9)ステップS9:注目度(誘目度)の高い領域が除外される部分がない場合、見栄えをよくするために、注目度(誘目度)が高い領域が除外されないように、画像を拡大するかどうかを判定する。
(10)ステップS10:注目度(誘目度)が高い領域が除外されないように、画像を拡大する。
(11)ステップS11:トリミング処理を行う。
(12)ステップS12:トリミング結果を表示または印刷する。
(13)ステップS13:ステップS5においてトリミングルール指定手段105により、トリミング範囲の形状指定が選択されていた場合は、トリミング形状指定手段106よりトリミング範囲の形状を指定する。
【0040】
図12は、本発明の画像編集装置の構成例を示すブロック図であり、本発明に直接関係する部分についてのみ示したものである。図12において、100は画像編集装置、1はインターネット網などの通信ネットワーク、116は画像編集装置と通信ネットワーク1とを接続する通信用インタフェース、117は画像編集装置全体を統括制御する制御部、120は処理プログラム部を示している。なお、本発明による画像編集装置は、PC(パーソナルコンピュータ)を使用しても実現できるものである。
【0041】
また、処理プログラム部120には、以下の処理部が含まれている。
・画像選択処理部121は、画像データベース141からトリミングを行う対象となる画像を選び出すための処理部である。
・画像読取処理部122は、トリミングを行う対象となる画像を構成する画素ごとの値(RGB値等)を読み出すための処理部である。
・注目領域算出処理部123は、トリミングを行う対象となる画像の注目領域を算出するための処理部である。画像内を複数の領域に分離し、分離した領域ごとに、注目度の程度を2段階以上に区分けする。この注目領域の算出には、例えば、「特開2001−126070号公報(注目領域抽出装置およびそれを用いた自動構図決定装置)」に開示された「誘目度」を使用することができる。
・注目領域閾値処理部124は、注目領域算出処理部123により求められた注目領域のうち、最も誘目度が高い領域、あるいは最も高い誘目度の2分の1より高い領域のみなど、閾値を決めて、注目領域の切り取り(切り抜き)を行い、切り取った注目領域を一つにまとめるための処理部である。
【0042】
・トリミングルール指定処理部125は、トリミングを行う方法をユーザが指定するための処理部であり、ユーザは、トリミングルールを、例えば、閾値処理した注目領域がトリミング範囲に入るように、元画像を回転、縮小するなどを指定する。
・トリミング形状指定処理部126は、ユーザが、トリミング範囲を任意形状で指定するための処理部である。
・テンプレート選択処理部127は、画像のトリミングに使用するテンプレートを、テンプレートデータベース142から選択するための処理部である。
・注目領域誤差算出処理部128は、閾値処理された注目領域が、トリミング範囲またはテンプレートによって切り取られる度合い(テンプレートなどに含まれる度合い)を算出するための処理部である。この場合、注目領域は、注目領域閾値処理部124により求めた注目領域であり、テンプレートは、テンプレートデータベース142に記憶されたテンプレートであり、ユーザが選択したものである。
・トリミング処理部129は、トリミング形状指定処理部126で指定したトリミング形状または、テンプレート選択処理部127で選択したテンプレートにより、対象となる画像のトリミングを行うための処理部である。
【0043】
・画像処理部130は、画像スケーリング処理部130aと画像回転処理部130bから構成されて、画像スケーリング処理部130aは、トリミング範囲、テンプレート、注目領域の画像、または元画像などのサイズを変更する。また、画像回転処理部130bは、トリミング範囲、テンプレート、または注目領域の画像、または元画像などを回転する。
・表示処理部131は、表示装置にトリミングした結果を表示するための処理部である。
・印刷処理部132、トリミングした結果を印刷するための処理部である。
また、画像データベース141には、トリミングを行う画像データ、及びトリミングを行った画像データが記憶される。また、テンプレートデータベース142には、テンプレートのデータが記憶される。
【0044】
なお、この処理プログラム部120は専用のハードウエアにより実現されるものであってもよく、またこの処理プログラム部はメモリおよびCPU(中央処理装置)等の汎用の情報処理装置により構成され、この処理部の機能を実現するためのプログラム(図示せず)をメモリにロードして実行することによりその機能を実現させるものであってもよい。また、この画像編集装置100には、周辺機器として入力装置、表示装置、印刷装置等(いずれも図示せず)が接続されているものとする。ここで、入力装置としては、キーボード、マウス等の入力デバイスのことをいう。表示装置とは、CRT(Cathode Ray Tube)や液晶表示装置等のことをいう。印刷装置とは、レーザープリンタ、インクジェットプリンタ等のことをいう。
【0045】
また、図12に示す画像編集装置100の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本発明の画像編集装置100に必要な処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)を含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの(伝送媒体ないしは伝送波)、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0046】
以上、本発明の実施の形態について説明したが、本発明の画像編集装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【0047】
[誘目度についての補足説明]
本発明の実施の形態では、注目領域の抽出基準として「誘目度」を使用しているが、この「誘目度」の算出方法の一例が、「特開2001−126070号公報(注目領域抽出装置およびそれを用いた自動構図決定装置)に詳細に開示されている。
ここでは、その概要についてだけ説明する。
注目領域の抽出のために、原画像の物理的特徴に従って誘目度を評価する。ここで、誘目度とは、人間の主観に合ったパラメータをいう。注目領域の抽出は、評価結果から一番目立つ領域を注目領域として抽出する。つまり、注目領域の評価の際は、物理的特徴に従って人間の主観に合った評価をするので、人間の主観に適合した注目領域を抽出することができる。
例えば、物理的特徴が色の異質度を含む場合、各領域の色の違いに基づいて誘目度を評価することができる。
また、物理的特徴が、色の異質度に加えて、形の異質度、面積の異質度およびテクスチャ(模様)の異質度をさらに含むので、この4つの異質度の少なくとも1つの異質度に基づいて誘目度を評価すれば、原画像の特徴に応じて的確に誘目度を評価することができる。
また、色の3要素(色相、彩度、明度)についても評価する場合であれば、人間の主観による目立つ色(赤色)に近い領域を最も目立つ領域と評価することができる。
さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判断することができる。
【0048】
また、誘目度の評価は、以下の手順により行う。
(1)最初に原画像を領域分割する。この場合、原画像を図領域と絵領域に分割する。この領域分割の方法には、1997IEEEにおいてW.Y.MaやB.S.Manjunath らが「Edge Flow:A Framework of Boundary Detection and Image Segmentation」に記載した“edge flow ”に基づく境界検出方法が適用される。
(2)次に、分割した図領域を抽出し、領域の誘目度を評価する。
この誘目度の評価は、概略以下のようにして行う。
・最初に各領域の異質性誘目度を求める。この場合、色の異質度、テクスチャの異質度、形の異質度および面積の異質度を各々求め、それぞれに重み係数を付与して線形結合し、各領域の異質性誘目度を求める。
・次に、各領域における特徴誘目度を求める。この場合、色の誘目度、空間周波数の誘目度、面積の誘目度を求め、それぞれに重み係数を付与して線形結合し、各領域の特徴誘目度を求める。
・次に、各領域の異質性誘目度と特徴誘目度を加算し、特徴量統合値を求め、この特徴量統合値を、所定のベータ関数により評価して、誘目度を算出する。
(3)また、原画像から誘目度を評価したパターン図を生成する。
【図面の簡単な説明】
【図1】 本発明の画像編集装置が備える手段の構成例を示すブロック図。
【図2】 トリミングの処理対象となる画像を模式的に示した図。
【図3】 図2に示す画像の注目度(誘目度)を模式的に示した図。
【図4】 図3に示す注目領域をある閾値以上で切り取った例を示す図。
【図5】 トリミング範囲の形状の指定例を示す図。
【図6】 トリミングに使用するテンプレートの第1の例を示す図。
【図7】 トリミングに使用するテンプレートの第2の例を示す図。
【図8】 トリミングに使用するテンプレートの第3の例を示す図。
【図9】 画像をテンプレートにはめ込んだ例を示す図。
【図10】 画像をテンプレートにはめ込んだ他の例を示す図。
【図11】 本発明の画像編集装置における処理手順を示す図。
【図12】 本発明の画像編集装置の構成例を示すブロック図。
【符号の説明】
100 画像編集装置、101 画像選択手段、 102 画像読取手段
103 注目領域算出手段、104 注目領域閾値手段
105 トリミングルール指定手段、106トリミング形状指定手段
107 テンプレート選択手段、108 注目領域誤差算出手段
109 画像処理手段、110 画像スケーリング手段、111 画像回転手段
112 表示手段、113 印刷手段、114 画像記憶手段
115 テンプレート記憶手段

Claims (8)

  1. 画像のトリミングを行う画像編集装置であって、
    トリミングの対象となる画像の注目領域を算出する注目領域算出手段と、
    トリミングの対象となる画像の注目領域のトリミング方法を指定するトリミングルール指定手段と、
    前記トリミングルール指定手段により、トリミング範囲の指定が選択された場合に、トリミング範囲の形状を指定するトリミング形状指定手段と、
    前記トリミングルール指定手段により、テンプレートの使用が指定された場合に、予め記憶されたテンプレート群から選択するテンプレート選択手段と、
    前記注目領域が前記トリミング範囲又は前記テンプレート内に含まれる度合いを算出する注目領域誤差算出手段と、
    前記トリミングルール指定手段により指定された方法に応じて、前記注目領域が、前記トリミング範囲またはテンプレート内に含まれる度合いを調整する、画像、トリミング範囲、またはテンプレートの拡大、縮小、回転を行う画像処理手段と
    を具備することを特徴とする画像編集装置。
  2. 前記注目領域の中心と、前記トリミング範囲又はテンプレートの中心との中心合わせを行う手段を
    さらに具備することを特徴とする請求項1に記載の画像編集装置。
  3. 前記注目領域の中心を、当該注目領域を囲む矩形の対角線の交点とし、前記テンプレートの中心を、当該テンプレートを囲む矩形の対角線の交点とすること
    を特徴とする請求項2に記載の画像編集装置。
  4. 前記注目領域算出手段により注目領域を算出する際には、最も誘目度の高い領域を基準に閾値を決定し、該閾値以上の領域を注目領域として決定する注目領域閾値手段を
    さらに具備することを特徴とする請求項1から3のいずれかに記載の画像編集装置。
  5. 前記注目領域算出手段により注目領域を算出する際には、最も高い誘目度の1/2に閾値を決定し、該閾値以上の領域を注目領域として決定する注目領域閾値手段を
    さらに具備することを特徴とする請求項1から3のいずれかに記載の画像編集装置。
  6. 少なくとも、入力装置,画像装置および印刷装置のいずれかを有することを特徴とする請求項1から請求項5のいずれかに記載の画像編集装置。
  7. 画像のトリミングを行う画像編集装置における画像のトリミング方法であって、
    トリミングの対象となる画像の注目領域を算出する注目領域算出手順と、
    トリミングの対象となる画像の注目領域のトリミング方法を指定するトリミングルール指定手順と、
    前記トリミングルール指定手順により、トリミング範囲の指定が選択された場合に、トリミング範囲の形状を指定するトリミング形状指定手順と、
    前記トリミングルール指定手順により、テンプレートの使用が指定された場合に、予め記憶されたテンプレート群から選択するテンプレート選択手順と、
    前記注目領域が前記トリミング範囲又は前記テンプレート内に含まれる度合いを算出する注目領域誤差算出手順と、
    前記トリミングルール指定手順により指定された方法に応じて、前記注目領域が、前記トリミング範囲またはテンプレート内に含まれる度合いを調整する、画像、トリミング範囲、またはテンプレートの拡大、縮小、回転を行う画像処理手順と
    を含むことを特徴とする画像のトリミング方法。
  8. 画像のトリミングを行う画像編集装置内のコンピュータに、
    トリミングの対象となる画像の注目領域を算出する注目領域算出手順と、
    トリミングの対象となる画像の注目領域のトリミング方法を指定するトリミングルール指定手順と、
    前記トリミングルール指定手順により、トリミング範囲の指定が選択された場合に、トリミング範囲の形状を指定するトリミング形状指定手順と、
    前記トリミングルール指定手順により、テンプレートの使用が指定された場合に、予め記憶されたテンプレート群から選択するテンプレート選択手順と、
    前記注目領域が前記トリミング範囲又は前記テンプレート内に含まれる度合いを算出する注目領域誤差算出手順と、
    前記トリミングルール指定手順により指定された方法に応じて、前記注目領域が、前記トリミング範囲またはテンプレート内に含まれる度合いを調整する、画像、トリミング範囲、またはテンプレートの拡大、縮小、回転を行う画像処理手順と
    を実行させるためのプログラム。
JP2003015105A 2003-01-23 2003-01-23 画像編集装置、画像のトリミング方法、及びプログラム Expired - Fee Related JP3690391B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2003015105A JP3690391B2 (ja) 2003-01-23 2003-01-23 画像編集装置、画像のトリミング方法、及びプログラム
US10/759,006 US20040196298A1 (en) 2003-01-23 2004-01-20 Image editing device, method for trimming image, and program therefor
CNB200410003368XA CN100345159C (zh) 2003-01-23 2004-01-21 图像编辑装置及图像的裁剪方法
EP04001195A EP1443462A3 (en) 2003-01-23 2004-01-21 Image editing device, method for trimming image, and program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003015105A JP3690391B2 (ja) 2003-01-23 2003-01-23 画像編集装置、画像のトリミング方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2004228994A JP2004228994A (ja) 2004-08-12
JP3690391B2 true JP3690391B2 (ja) 2005-08-31

Family

ID=32652823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003015105A Expired - Fee Related JP3690391B2 (ja) 2003-01-23 2003-01-23 画像編集装置、画像のトリミング方法、及びプログラム

Country Status (4)

Country Link
US (1) US20040196298A1 (ja)
EP (1) EP1443462A3 (ja)
JP (1) JP3690391B2 (ja)
CN (1) CN100345159C (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8306331B2 (en) 2006-09-11 2012-11-06 Sony Corporation Image processing apparatus and method, and program
US8467580B2 (en) 2006-09-11 2013-06-18 Sony Corporation Image data processing apparatus, method, program and recording medium

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006054484A1 (en) * 2004-11-19 2006-05-26 Fujifilm Corporation Screen edit apparatus, screen edit method, and screen edit program
JP4774816B2 (ja) * 2005-04-07 2011-09-14 ソニー株式会社 画像処理装置,画像処理方法,およびコンピュータプログラム。
JP4904987B2 (ja) * 2005-09-30 2012-03-28 セイコーエプソン株式会社 印刷方法、印刷装置および印刷プログラム
JP2007157063A (ja) 2005-12-08 2007-06-21 Sony Corp 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
JP4697491B2 (ja) * 2006-03-31 2011-06-08 日本電気株式会社 ウェブコンテンツ閲覧情報表示装置、方法、プログラム
JP4683339B2 (ja) 2006-07-25 2011-05-18 富士フイルム株式会社 画像トリミング装置
JP4747053B2 (ja) 2006-08-15 2011-08-10 Nec液晶テクノロジー株式会社 液晶表示素子及びこれを搭載した電子機器
KR100827241B1 (ko) * 2006-12-18 2008-05-07 삼성전자주식회사 동적 영상물을 생성하기 위한 템플릿을 편집하는 장치 및방법
US8582919B2 (en) 2007-09-24 2013-11-12 Microsoft Corporation Altering the appearance of a digital image using a shape
JP5016540B2 (ja) * 2008-04-01 2012-09-05 富士フイルム株式会社 画像処理装置および方法並びにプログラム
TWI410265B (zh) * 2009-04-03 2013-10-01 Academia Sinica Multimedia game automatic recording and configuration of the image method
JP5349168B2 (ja) * 2009-06-26 2013-11-20 株式会社バンダイナムコゲームス 撮影装置、プログラム、情報記憶媒体及び撮影方法
CN101923724B (zh) * 2009-12-31 2012-10-10 北京书生国际信息技术有限公司 一种页面裁剪方法
JP5000781B1 (ja) 2011-11-09 2012-08-15 楽天株式会社 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体
CN102982568B (zh) * 2012-11-12 2015-12-16 东莞宇龙通信科技有限公司 一种自动裁剪图像的方法及装置
CN105335957A (zh) * 2014-08-07 2016-02-17 江苏奥博洋信息技术有限公司 信息碎片化图像切割方法
CN104504651B (zh) * 2015-01-22 2017-11-14 网易(杭州)网络有限公司 预览图生成方法和设备
CN104881888B (zh) * 2015-06-17 2018-07-10 北京金山安全软件有限公司 一种图片裁剪方法及装置
US10068179B2 (en) * 2015-07-29 2018-09-04 Adobe Systems Incorporated Positioning text in digital designs based on an underlying image
CN105225197A (zh) * 2015-09-14 2016-01-06 北京金山安全软件有限公司 一种图片裁剪方法及装置
CN106919318A (zh) * 2017-03-07 2017-07-04 维沃移动通信有限公司 一种图片处理的方法及终端
CN107545576A (zh) * 2017-07-31 2018-01-05 华南农业大学 基于构图规则的图像编辑方法
JP7392368B2 (ja) * 2019-10-03 2023-12-06 富士フイルムビジネスイノベーション株式会社 画像処理装置,システム,プログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3729023C2 (de) * 1986-08-29 1995-03-16 Canon Kk Bildbearbeitungsgerät
US4852018A (en) * 1987-01-07 1989-07-25 Trustees Of Boston University Massively parellel real-time network architectures for robots capable of self-calibrating their operating parameters through associative learning
US5805132A (en) * 1991-09-17 1998-09-08 Minolta Co., Ltd. Image editing apparatus capable of setting image processing region on display screen
US5430832A (en) * 1991-11-20 1995-07-04 Minolta Camera Kabushiki Kaisha Image editing apparatus making a function of trimming an area from an image displayed on a screen
JP3528214B2 (ja) * 1993-10-21 2004-05-17 株式会社日立製作所 画像表示方法及び装置
JP3145848B2 (ja) * 1993-12-21 2001-03-12 日本電気株式会社 カラー画像形成装置
JPH09508719A (ja) * 1994-02-04 1997-09-02 データカード・コーポレーション カード作成装置およびその方法
US6111586A (en) * 1996-03-15 2000-08-29 Fujitsu Limited Electronic photo album editing apparatus
US5901253A (en) * 1996-04-04 1999-05-04 Hewlett-Packard Company Image processing system with image cropping and skew correction
US5960126A (en) * 1996-05-22 1999-09-28 Sun Microsystems, Inc. Method and system for providing relevance-enhanced image reduction in computer systems
JPH09330397A (ja) * 1996-06-13 1997-12-22 Canon Inc 自動画像編集装置
US6363116B1 (en) * 1997-04-04 2002-03-26 Tektronix, Inc. Picture quality assessment using spatial location with or without subsampling
US5940124A (en) * 1997-07-18 1999-08-17 Tektronix, Inc. Attentional maps in objective measurement of video quality degradation
US6128013A (en) * 1997-10-30 2000-10-03 Eastman Kodak Company User interface for an image capture device
JP4144935B2 (ja) * 1998-06-08 2008-09-03 ノーリツ鋼機株式会社 音声付き写真を作成するための受付方法、及び受付装置
JP4120724B2 (ja) * 1998-08-18 2008-07-16 セイコーエプソン株式会社 画像データ管理装置、画像データ管理方法および画像データ管理プログラムを記録した媒体
US6282317B1 (en) * 1998-12-31 2001-08-28 Eastman Kodak Company Method for automatic determination of main subjects in photographic images
AU5871500A (en) * 1999-06-11 2001-01-02 Sydney Hyman Image making medium
JP2002010056A (ja) * 2000-06-19 2002-01-11 Fuji Photo Film Co Ltd 画像合成装置
JP2002077526A (ja) * 2000-08-23 2002-03-15 Fuji Photo Film Co Ltd 画像形成装置
US6766332B2 (en) * 2000-10-19 2004-07-20 Fuji Photo Film Co., Ltd. Electronic image display device and printing system therefor
US6654507B2 (en) * 2000-12-14 2003-11-25 Eastman Kodak Company Automatically producing an image of a portion of a photographic image
US6816612B2 (en) * 2001-06-29 2004-11-09 Mustek Systems Inc. Multi-mode image processing method and a system thereof
GB2378340A (en) * 2001-07-31 2003-02-05 Hewlett Packard Co Generation of an image bounded by a frame or of overlapping images
US6577764B2 (en) * 2001-08-01 2003-06-10 Teranex, Inc. Method for measuring and analyzing digital video quality

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8306331B2 (en) 2006-09-11 2012-11-06 Sony Corporation Image processing apparatus and method, and program
US8467580B2 (en) 2006-09-11 2013-06-18 Sony Corporation Image data processing apparatus, method, program and recording medium

Also Published As

Publication number Publication date
EP1443462A3 (en) 2005-03-30
CN100345159C (zh) 2007-10-24
JP2004228994A (ja) 2004-08-12
EP1443462A2 (en) 2004-08-04
CN1517951A (zh) 2004-08-04
US20040196298A1 (en) 2004-10-07

Similar Documents

Publication Publication Date Title
JP3690391B2 (ja) 画像編集装置、画像のトリミング方法、及びプログラム
US8571275B2 (en) Device and method for creating photo album
US9135732B2 (en) Object-level image editing
US7082211B2 (en) Method and system for enhancing portrait images
JP4643812B2 (ja) ディジタル的な自動テキスト配置方法
JP4482778B2 (ja) 画像処理装置および画像処理方法、並びに記録媒体
US7675647B2 (en) Apparatus, method, and program for editing images
JPH11328380A (ja) 画像処理装置、画像処理方法およびその方法をコンピュ―タに実行させるプログラムを記録したコンピュ―タ読み取り可能な記録媒体
US20050104900A1 (en) High dynamic range image viewing on low dynamic range displays
JP2001236497A (ja) 写真画像のクロッピングされズームされた変形を自動的に形成する方法
JP4052128B2 (ja) 画像トリミング装置、画像のトリミング方法、及びプログラム
JP2004199248A (ja) 画像レイアウト装置、画像レイアウト方法、及びプログラム
US7212674B1 (en) Method, apparatus and recording medium for face extraction
CN108154471A (zh) 一种用于遥感影像拼接的方法与装置
EP1826724A1 (en) Object-level image editing using tiles of image data
US7260273B2 (en) System and method of editing a digital image to remove unwanted artifacts, objects and the like
JP4348956B2 (ja) 画像レイアウト装置、画像レイアウト方法、画像レイアウト装置におけるプログラム
JP6731753B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP4057102B2 (ja) デジタル画像の連接型レンダリング方法
JP3719247B2 (ja) 画像編集装置、画像のトリミング方法、及びプログラム
JP2004152315A (ja) 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2003348334A (ja) 画像合成方法およびプログラム
JP2011188237A (ja) 画像処理方法、及び画像処理装置
JP2004289706A (ja) 画像処理方法および画像処理装置ならびにプログラム
US20040164982A1 (en) Method and apparatus for editing three-dimensional model, and computer readable medium

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050301

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050413

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050606

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090624

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100624

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110624

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110624

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120624

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees