JP4047326B2 - レイアウト装置、レイアウト方法及びプログラム - Google Patents

レイアウト装置、レイアウト方法及びプログラム Download PDF

Info

Publication number
JP4047326B2
JP4047326B2 JP2004340805A JP2004340805A JP4047326B2 JP 4047326 B2 JP4047326 B2 JP 4047326B2 JP 2004340805 A JP2004340805 A JP 2004340805A JP 2004340805 A JP2004340805 A JP 2004340805A JP 4047326 B2 JP4047326 B2 JP 4047326B2
Authority
JP
Japan
Prior art keywords
rectangular
layout
rectangular area
area
content data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004340805A
Other languages
English (en)
Other versions
JP2006154953A (ja
Inventor
晋吾 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004340805A priority Critical patent/JP4047326B2/ja
Priority to US11/286,781 priority patent/US7571381B2/en
Publication of JP2006154953A publication Critical patent/JP2006154953A/ja
Application granted granted Critical
Publication of JP4047326B2 publication Critical patent/JP4047326B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Description

本発明は、テキストやイメージで構成されたコンテンツのレイアウト制御技術に関するものである。
従来、ドキュメントに使用される画像やテキストなどのコンテンツを、ある領域内にレイアウトする場合、組版アプリケーションなどを利用して、人間が手作業で個々のコンテンツをどこに配置するかを決めるか、あるいは、それらのコンテンツを決まった形のレイアウト形式に出力できるテンプレートの作成を手作業で行い、コンテンツのレイアウトを処理していた(特許文献1)。
また、人間の直感や手作業に頼ったコンテンツのレイアウトの良し悪しを評価する技術(特許文献2)もある。
特開平04−313957号公報 特開2003−30673号公報
しかしながら、ドキュメント内のコンテンツをいかにレイアウトするかを定めるレイアウト情報が無いところから手作業によりレイアウト処理を行う場合、試行錯誤による作業者の負荷が大きくなり、人的コストも膨大なものになる。また、コンテンツデータを決まった形のレイアウト形式に出力できるテンプレートを作成し、そのテンプレートを使用して、画像やテキストをレイアウトさせて出力させた場合でも、何種類かの決まったパターンでしか出力出力することができず、入力される様々なコンテンツデータのサイズや種類などに対応し、フレキシブルにレイアウトされた結果を得ることができないという問題がある。
本発明は、従来技術における上記のような問題を鑑み、画像やテキスト等のドキュメント(ページ)内に含まれるコンテンツデータをそれぞれ1つの矩形領域に配置されるデータとみなし、各矩形領域をドキュメント内において、コンテンツデータに対応する矩形領域のサイズに応じて自動的に配置することを可能にするレイアウト制御技術を提供することを目的とする。
上記の目的を達成するべく、本発明にかかるレイアウト装置は、主として以下の構成を備えることを特徴とする。
すなわち、複数のマスにより構成されるレイアウト領域に配置する複数のコンテンツデータを、前記複数のコンテンツデータのそれぞれを収める矩形領域のサイズに応じてレイアウトするレイアウト装置は、
前記レイアウト領域を構成する前記複数のマスに合ったサイズに、前記複数のコンテンツデータのそれぞれを収める前記矩形領域を縦方向及び横方向に拡大して、前記レイアウト領域を構成する前記複数のマスに合わせて、前記複数のコンテンツデータのそれぞれを収める前記矩形領域を配置する第1の手段と、
前記第1の手段により配置された前記矩形領域同士が重複する場合は、いずれか一方の矩形領域を前記マスの単位で移動して、重複を除去する第2の手段と、
前記第2の手段により重複の除去された前記矩形領域を、前記レイアウト領域を構成する前記複数のマスのそれぞれに割り当てられた重みに応じて前記マスの単位で移動して、前記複数のコンテンツデータのそれぞれを収める前記矩形領域を配置する第3の手段と、
前記第3の手段により配置された前記矩形領域を、前記第1の手段により縦方向及び横方向に拡大される前のアスペクト比になるように縮小して、縮小により生じた隙間がなくなるように、前記複数のコンテンツデータのそれぞれを収める前記矩形領域を配置する第4の手段と
を備えることを特徴とする。
本発明により、画像やテキスト等のドキュメント内に含まれるコンテンツデータをそれぞれ1つの矩形領域に配置されるデータとみなし、各矩形領域をドキュメント内において、コンテンツデータに対応する矩形領域のサイズに応じて自動的に配置することが可能になる。
以下、図面を参照して本発明の実施形態を説明する。
(第1実施形態)
図1Aは、レイアウト制御装置100であるホストコンピュータの概略的な構成を示すブロック図である。レイアウト制御装置100は、ページ上にレイアウトするコンテンツデータを、コンテンツデータを収める矩形領域のサイズに応じて、ページ上の配置位置を制御することが可能である。
画像(イメージ)やテキスト等のコンテンツデータのレイアウトは、プロセッサユニット133の全体的な制御の下、レイアウト制御部101が実行する。後に詳細に説明する図6のコンテンツデータに関するレイアウト制御プロセスは、レイアウト制御装置100内の記憶装置132に格納されているソフトウェアによって実行される。
このソフトウェアは、記憶装置132として、例えば、ハードディスクやDVD等のコンピュータ可読媒体に格納されており、プロセッサユニット133あるいはレイアウト制御部101の制御の下、ソフトウェアはコンピュータ可読媒体からレイアウト制御装置100内の処理領域にロードされ、実行される。そのようなソフトウェアや媒体に記録されたコンピュータプログラム、あるいはそのプログラムを格納するコンピュータ可読媒体は、コンピュータと協働したコンテンツデータのレイアウト制御、編集、その他バリアブルデータの印刷に必要な演算処理や表示制御に関する情報処理を実行する手段としてコンピュータの機能を特定する。
レイアウト制御装置100は、キーボードやマウスのようなポインティングデバイスなどの入力装置125、ディスプレイなどの表示装置126やプリンタ127、128と接続し、オペレータは、レイアウト制御等に関する情報処理をレイアウト制御装置100に実行させる際、種々の入力、表示、出力に関する操作設定を行うことができる。
入力/出力(I/O)インターフェース131はレイアウト制御装置100をネットワーク140に接続し、他のコンピュータ装置(例えば、データベースサーバ150)に接続することができる。そのネットワーク140の典型はローカルエリアネットワーク(LAN)、あるいはワイドエリアネットワーク(WAN)である。
レイアウト制御装置100は、ネットワーク140を介して、他のコンピュータ装置(例えば、データベースサーバ150)と通信し、レイアウト制御に必要なデータを受信することができる。尚、このデータは、必ずしもレイアウト制御装置100の外部に格納されているものに限らず、レイアウト制御装置100内の記憶装置132に格納しておき、レイアウト制御の実行の際、参照できるようにしておいてもよい。
また、レイアウト制御装置100は、レイアウト制御部101のレイアウト制御の結果をネットワーク140を介して、他の情報処理装置160やプリンタ128に配信することも可能である。また、レイアウト制御の結果は、入力/出力(I/O)インターフェース131を介して接続可能なプリンタ127に出力することも可能である。
更に、レイアウト制御装置100は、ランダムアクセスメモリ(RAM)やリードオンリーメモリ(ROM)から構成されるメモリユニット135、ビデオインタフェースを含む表示制御部130、キーボードやマウスのためのI/Oインターフェース134を含んでいる。
図1Bは、レイアウト制御部101(図1A)の構成を具体的に説明するブロック図であり、図1Cは、各構成の処理の流れを説明するフローチャートである。
102は、画像やテキスト等、1つの矩形領域に配置されるデータをドキュメント内に複数含む情報(矩形情報)であり、入力部103から矩形情報102が入力される(S103)。
104は、設定ファイルおよび重み付けテンプレート読み込み処理部(以下、単に、「設定処理部」ともいう。)であり、レイアウト処理を制御する様々な設定情報を記述した設定ファイル105と、レイアウトの方向性を示す重み付けテンプレート106を、例えば、記憶装置132から読み込み、矩形情報のレイアウトを制御するために必要な初期設定を行う(S104)。
107は、矩形情報に含まれる、各矩形領域を同じ割合で拡大処理する(S107)拡大処理部であり、グリッド化処理部108は、拡大された各矩形領域を、それぞれの矩形の縦と横のサイズを指定した分割領域(グリッド)の幅で割り切れるサイズに調整する(S108)。
109は、グリッド状にされた各矩形領域のデータをランダムに配置する配置処理部であり、グリッド状にされたレイアウト領域内からはみ出ないように配置処理を行う(S109)。
110は、重複除去処理部で、各矩形領域のデータの重なりをある規則性に従って、指定回数処理を行うことで、重複している部分を除去していき(S110)、指定回数内でも除去しきれない場合は、縮小処理部111で、それぞれの矩形領域を同じ割合で縮小させて(S111)、再び、重複除去処理部110で処理を行い、最終的に重なりが除去できるか否かを判定し、指定縮小回数の制限を超えるまで、これらの処理を繰り返し、重なりが除去できた場合に、最適化アルゴリズム手法によるレイアウト処理部112においてレイアウト制御を行う(S112)。
レイアウト処理部112は、各矩形領域を、レイアウトの方向性を示す重み付けテンプレートの内容にそって、レイアウト領域内に最適に配置する。
113は、微調整処理部であり、グリッド化された各矩形領域の縦横のサイズを、元の画像のアスペクト比に合うサイズに戻すことで生じる、矩形領域と矩形領域の隙間を除去する処理(S113)を行う。
114は、出力部で、配置する座標、縦横のサイズ情報等レイアウトされた結果をそれぞれの矩形領域に対してまとめて、レイアウト結果115を出力する(S114)。
以上の処理により、複数の矩形領域の自動レイアウトが実現する。
出力部114から出力される結果は、例えば、矩形情報にレイアウトされた各矩形領域の位置情報を付加するようにしてもよく、矩形情報とは別のレイアウト結果を出力する情報として、出力部114が生成することも可能である。
また、最終的に得られたレイアウト結果(例えば、図12(d))は、表示制御部130の制御の下、表示装置126に表示することも可能である。更に、最終的な結果の表示に限定されず、表示制御部130は、レイアウト制御部101と通信をして、レイアウト制御に関する中間的なデータの処理結果を、逐次、表示装置126に表示させて、ユーザに処理の進行状況を報知するようにすることも可能である。
重複の解除、あるいは隙間が除去できなかった場合、レイアウト制御部101における重複除去処理部110は、表示制御部130を介して表示装置126にレイアウトできなかったことを報知させる。これにより、ユーザは、入力した矩形情報に関するレイアウト制御ができなかったことを確認することができる。
次に、前記構成図における各処理部の処理の詳細を示す。
図2は、複数の矩形領域に関する情報を含む矩形情報201を例示する図であり、ここでは、矩形情報201を、構造化文書としてXMLデータの形で示している。矩形情報201には、矩形領域の縦横のサイズを示すサイズ情報と、レイアウトするコンテンツデータを記述するためのテキストデータや画像データ、画像データにアクセスするための接続情報等が含まれる。
202は、1つの矩形領域の情報を記述しているブロックを示し、203、204は、それぞれ、矩形領域の横と縦のサイズを示している。
205、206は、その矩形領域に関連づけられているオブジェクトデータ(テキストデータまたは画像データへリンクするためのパス(接続情報))が表記されている。
本実施形態においては、このオブジェクトデータを使用した例について、説明を省略するが、接続情報に基づいてリンクが張られたオブジェクトデータをレイアウトする場合、矩形情報と関連づけてレイアウトすることが可能になる。
207、208は、矩形情報に含まれる2つ目、3つ目の矩形領域の情報を記述しているブロックを示している。入力部103は、これらXMLデータの形式から矩形情報を読み込み、レイアウト制御するべき矩形領域の情報を特定することができる。
尚、図2の例では、矩形情報の表現方法として、XMLデータによる構造化文書の例を示したが、本発明の趣旨はこれに限定するものではなく、例えば、HTML、SGML等の構造化文書、あるいは、単純なテキストデータにより表現するようにしてもよい。
図3は、レイアウト領域をグリッド状にしたときの状態を例示する図である。
本実施形態にかかるレイアウト制御装置は、画像やテキスト等のドキュメント内に含まれるデータ(コンテンツデータ)を、それぞれ1つの矩形領域に配置されるデータとみなし、各矩形領域をドキュメント内におけるレイアウト領域に初期配置して、そこから、各矩形領域相互間の重複を調整して最適なレイアウトを求めて、各矩形領域を移動させて、配置する。
その移動の際、移動の単位を、例えば、1ピクセルなどにすると、レイアウト領域のサイズにもよるが、矩形領域を目的地まで移動させるのに相当の時間を要することが想定されるため、レイアウト処理を制御する設定情報を記述した設定ファイル105によって指定されたレイアウト領域301を、302のように仮想的に一定の幅をもったグリッド状に分割し、303のグリッドの1マスの単位を例えば、1Unit=Nピクセル(Nは正の整数)と決めることで、このグリッドの1マス単位で、各矩形領域を移動させながら、レイアウト処理を行っていき、矩形領域の移動時の時間短縮を図ることで、全体の処理時間の短縮化が可能になる。
図4は、矩形を拡大する拡大処理部107および矩形をグリッド化するグリッド化処理部108において、実際の矩形領域を拡大する処理と、グリッド化する処理を視覚的に示した図である。401は、縦4ピクセル(Pixel)、横5ピクセル(Pixel)のサイズの矩形領域であり、これを、5ピクセル(Pixel)を1つの単位(Unit)としてグリッド状にした領域402に配置し(図4(a))、その状態から、拡大処理部107は、403で示すように、矩形領域の横縦サイズをそれぞれ2倍にした状態、すなわち、矩形領域の横サイズを10ピクセル(Pixel)、縦サイズを8ピクセル(Pixel)に拡大する。
拡大処理部107は、最終的に1つ1つの矩形領域がなるべく大きく拡大された状態でレイアウト領域内に配置されるように、各矩形領域の面積が、レイアウト領域の面積を超えない範囲で、矩形領域の縦横寸法を整数倍(N=1,2,3,・・・)に拡大することができる。
ここで、拡大した矩形領域の縦サイズ(8ピクセル)に関しては、グリッドの1単位(この場合5Pixel)では割り切れないため、図4(c)の404で示すように、さらに縦サイズに関しては、拡大する方向で、グリッドの1単位(Unit)で割り切れるサイズまで(この場合は、8Pixelから10Pixelまで)縦方向のサイズを伸ばす。この処理を「グリッド化」と呼ぶ。このようにして、グリッド化処理部108は、グリッドサイズに適合するように、各矩形領域の縦横サイズをそれぞれ拡大してグリッド化する。
図5は、矩形領域をランダムに配置する配置処理部109において、実際に矩形領域を配置する処理を視覚的に示した図である。501は、レイアウトの対象となるイメージやテキストに対応する矩形領域(1)、(2)、(3)、(4)を包含するドキュメントであり、それぞれの矩形領域の縦横サイズは異なっている。これらの矩形領域を、図5(b)の502で示すように、グリッド状に分割したレイアウト領域内に、矩形領域の角部(四隅のコーナー部)がグリッドの1マスの角にあてはまる形で、ランダムに配置する。このとき矩形領域同士は重なっていても構わないものとする。
重複除去処理部110は、領域の位置座標などレイアウト領域内における位置情報に基づいて、矩形領域同士の重複の有無を判定し、重複がある場合は、いずれか一方の矩形領域を移動させ重複を除去するように配置を変更する。この際、重複除去処理部110は、以下に説明する処理を実行する。
図6は、重複除去処理部110の処理の流れを説明するフローチャートであり、図7A〜Cは、矩形領域同士の重なり具合に応じた移動パターンを説明する図であり、図8は矩形領域の重なりを除去する処理に関し、重なりを除去する状態を視覚的に示した図である。
以下、これら3つの図を用いて、重複除去処理部110の処理内容を説明する。
まず、図6のステップS601より重複除去処理がスタートし、ステップS602で、レイアウト処理を制御する様々な設定情報、例えば、処理の繰り返し回数(ループさせる回数を制御するパラメータ(Iterater)の上限値(Max))や、縮小させる回数、等の設定値を設定ファイル105から取得する。
ステップS603で、重複除去処理ループを開始する。処理の繰り返しを制御するパラメータ(Iterater)が処理回数として設定されている上限値(Max)に達するまで、または、矩形領域の重複がなくなるまで、ステップS608までの処理を繰り返す。
ステップS604で、各矩形領域の中(例えば、図5(a)のドキュメント501に含まれる矩形領域(1)〜(4))で、移動させる対象となる矩形領域の順番を決め、ステップS605で、先のステップで決定した順番に従い、移動させる対象となる一の矩形領域が他の矩形領域と重なりある状態を調べ、ステップS606で、その重なり具合に応じた移動パターンに従って、基準となっていた一の矩形領域を移動させる。
ステップS607で、基準となっていた一の矩形領域が移動した後、まだ、矩形領域の重なりがあるか(移動させた矩形領域以外の領域間で重複があるか否か)チェックし、ステップS608で、矩形同士の重なりが取れるか、ループ回数がループの上限値を超えるか否かを判断し、設定された繰り返し回数の範囲内で、矩形領域同士の重なりを除去する。たとえば、移動の基準として最初に矩形領域(1)を選び、矩形領域(1)に関して重複を解消した後、残りの矩形領域(2)〜(4)についても順次、重複の有無を判定していき、重複している場合は、レイアウト領域内で、移動の対象として選択されている矩形領域を順次移動させていき、全体として重複領域を解消するための処理を行う。
ステップS609において、矩形領域の重複が解消したか否かを判定し、重複が解消した場合(S609−Yes)、処理をステップS610に進め重複除去に関する処理を終了する。
一方、ステップS609の判定で、矩形領域の重複が解消しなかった場合(S609−No)、処理をステップS611に進める。
矩形領域の重複が解消しなかった場合(例えば、繰り返し処理回数をオーバーしてしまった場合)は、ステップS611で縮小させる回数をチェックし、ステップS612で縮小回数をオーバーしていなければ(S612−Yes)、処理をステップS613に進め、各矩形領域を設定ファイル105によって与えられた一定の割合でそれぞれ縮小させ、再度ステップS603に処理を戻し、再度重複を除去する処理を行う。
一方、縮小回数をオーバーしていれば(S612−No)、処理をステップS614に進め、設定した縮小回数、重なり除去のループ回数では、矩形領域の重複が最終的に取れないと判断をし、レイアウト失敗の通知処理を行い(S614)、処理を終了する。
図7A〜Cは、基準となる矩形領域(この場合は、矩形領域を(I)としている)が上下左右(4方向、3方向、2方向)に移動する、矩形領域間の重なりと移動パターンを説明する図である。
ここで、基準となる矩形領域を(I)、色は黒とし、重複の対象となる矩形領域を(J)、色は白としている。矩形領域(I)が上、矩形領域を(J)が下となって重複する場合は重複領域をハッチングで表現している。
重なり条件は、基準となる矩形領域(I)の4辺のいずれかに、どのように矩形領域(J)が重なっているかを判断するものである。
図7Aの(a)は、矩形領域(I)と矩形領域(J)が両者同サイズで重なっている状態を示し、(b)は、矩形領域(I)よりも全体的に大きいサイズの矩形領域(J)に、矩形領域(I)が重なっている状態を示し、(c)は、矩形領域(I)よりも縦方向(Y方向)にサイズの大きい矩形領域(J)が重なっている状態を示し、(d)は、矩形領域(I)よりも横方向(X方向)にサイズの大きい矩形領域(J)が重なっている状態を示している。
これらの重なりのパターンにおいて、矩形領域(I)は縦横方向(XY方向)(図7A中の矢印で示す方向)のいずれかに移動するものとする。その4方向のいずれかに移動するかは、重複除去処理部110がランダムに決定することができるものとする。
上述の図7Aの移動パターンでは、矩形領域(I)は、縦横に4方向の移動が可能であるが、図7Bの移動パターンでは、基準となる矩形領域(I)が、3方向に移動するときの重なり条件を示している。
図7Bの(a)は、矩形領域(I)よりも横方向(X方向)にサイズの小さい矩形領域(J)が、矩形領域(I)に重なっている状態を示し、(b)は、矩形領域(I)よりも横方向(X方向)にサイズの大きい矩形領域(J)に、矩形領域(I)が重なっている状態を示し、(c)は、矩形領域(I)よりも横方向(X方向)にサイズの小さい矩形領域(J)が重なっている状態体を示し、(d)は、矩形領域(I)よりも横方向(X方向)にサイズの大きい矩形領域(J)に矩形領域(I)が重なっている状態を示し、(e)は、矩形領域(I)よりも縦方向(Y方向)にサイズの小さい矩形領域(J)が、矩形領域(I)の左の辺に重なっている状態を示し、(f)は、矩形領域(I)よりも縦方向(Y方向)にサイズの大きい矩形領域(J)が、矩形領域(I)の左の辺に重なっている状態を示し、(g)は、矩形領域(I)よりも縦方向(Y方向)にサイズの小さい矩形領域(J)が、矩形領域(I)の右の辺に重なっている状態を示し、(h)は、矩形領域(I)よりも縦方向(Y方向)にサイズの大きい矩形領域(J)が、矩形領域(I)の右の辺に重なっている状態を示している。
これらの重なりのパターンにおいて、矩形領域(I)は、それぞれ図7B中に示した矢印の方向(3方向)のいずれかに移動するものとする。その3方向のいずれかに移動するかは、重複除去処理部110がランダムに決定することができるものとする。
上述の図7Aの移動パターンでは、矩形領域(I)は、縦横に4方向の移動が可能であり、図7Bの移動パターンでは、基矩形領域(I)は、3方向の移動が可能であるパターンを示したが、図7Cの移動パターンでは、基準となる矩形領域(I)が、2方向に移動するときの重なり条件を示している。
図7Cの(a)は、矩形領域(I)の縦辺716aと横辺716bが矩形領域(J)に重なっている状態を示し、(b)は、矩形領域(I)の縦辺717aと横辺717bが矩形領域(J)に重なっている状態を示し、(c)は、矩形領域(I)の縦辺718aと横辺718bが矩形領域(J)に重なっている状態を示し、(d)は、矩形領域(I)の縦辺719aと横辺719bが矩形領域(J)に重なっている状態を示している。
これらの重なりのパターンにおいて、矩形領域(I)は、それぞれ図7C中に示した矢印の方向(2方向)のいずれかに移動するものとする。その2方向のいずれかに移動するかは、重複除去処理部110がランダムに決定することができるものとする。
重複除去処理部110は、矩形領域の重なり具合に応じて、図7A〜Cに示した移動パターンに従い、基準となる矩形領域を移動させていき、各移動パターンの組み合わせで、その矩形領域を移動させながら、重複領域を除去していくことができる。
図8は、複数の矩形領域の配置とその重複の除去を説明する図である。図8(a)における801は、配置処理部109がレイアウト領域に複数の矩形領域を配置した状態を示しており、矩形領域の重複関係から各矩形領域(1)〜(4)はそれぞれ矢印802〜805の方向への移動と縮小処理(縦横方向にそれぞれ1グリッド分縮小させる処理)の組み合わせによって、図8(b)の806に示すような、各矩形領域の配置において、最終的に重複が除去された状態になる。
次にレイアウト処理部112における最適化アルゴリズム手法によるレイアウト処理を、図9、図10、図11を参照して説明する。
レイアウト処理部112は、最適化アルゴリズム手法として、シミュレーティド・アニーリング(Simulated Annealing)手法(以下、「SA法」と記す)を利用することができる。SA法についての詳細な説明は省略するが、SA法は、組み合わせ最適化問題を解決するための手法の一つである。
その手法は、例えば、「固体の温度を十分な自由エネルギーを持つまで高くする。その後、温度を制御しつつ冷却していく際、ある手続きによりその自由エネルギーを最小化していく」というものである。ある固体Sにおいて、現在の状態Sが与えられた時、エネルギーEを持っているとする。ランダムに粒子を選択してランダムな量だけ粒子を移動させることにより、エネルギーEを持つ、次の状態Sが生成される。現在の状態のエネルギーが次の状態のエネルギーより小さい場合、すなわち、
ΔE=E−E≦0 ・・・(1)
の時、その移動が採択されて、Sが現在の状態となる。
また、現在の状態のエネルギーが次の状態のエネルギーより大きい場合、すなわち、
ΔE=E−E>0 ・・・(2)
の時、移動するかどうかは次式(3)に基づき確率的に求められる。
Prob=e−(ΔE/(KB・T)) ・・・(3)
ここで、KBはボルツマン定数、Tは温度である。
この場合、移動するかどうかの採択基準は、膨大な回数分の繰り返しによるメトロポリスアルゴリズムとして知られている。この全体を通した解法のことをSA法と呼んでいる。本実施形態におけるレイアウト処理において、レイアウト処理部112は、この手法を応用して矩形領域のレイアウトを制御している。
図9は、レイアウトの方向性を示す重み付けテンプレート106(図1B)の具体例を示したものである。同図において、901はグリッド状に分割されたレイアウト領域を示し、902は、重み付けテンプレート中、各グリッドの1つの升目にそれぞれ重み付けになる数字(評価値)を付加した状態を示している。この評価値は1ポイントを10とする。評価値が大きいところ(この場合で言えば、3が一番大きい)に矩形が集まるようになり、レイアウトの方向性としては中央寄せになる。この評価値の割り振り方によってレイアウトの方向性を変更でき、中央寄せだけでなく、上寄せ、下寄せ等、矩形領域のレイアウトの方向性を制御することができる。本実施形態では、中央寄せのレイアウト処理を行う例を示している。
図10は、レイアウトの方向性を示す重み付けテンプレート106と、SA法を組み合わせて、どのようにレイアウト処理が行われるかを概略的に示す図である。図10(a)における1001では、レイアウト領域上に矩形領域(1)〜(3)が配置されたグリッドがあり、それぞれの矩形領域が配置されているグリッドに割り当てられている重み付けの数字の総和を評価値として扱う。
矩形領域(1)に関して:1+1+2+1=5 ・・・(4)
矩形領域(2)に関して:1+2=3 ・・・(5)
矩形領域(3)に関して:2 ・・・(6)
この場合、矩形領域の全体で評価値は(7)式のようになる。
(5+3+2)×10=100 ・・・(7)
ここで、(7)式において、評価値1を10ポイントとして扱うために、(4)〜(6)の評価値の総和に「×10」を乗じている。
次に矩形領域(1)をランダムな方向、例えば、図10(b)の1002で示すような配置として、評価値を求めると、以下の(8)〜(11)式のようになる。
矩形領域(1)に関して:2+1+3+1=7 ・・・(8)
矩形領域(2)に関して:1+2=3 ・・・(9)
矩形領域(3)に関して:2 ・・・(10)
この場合、矩形領域の全体で評価値は(11)式のようになる。
(7+3+2)×10=120 ・・・(11)
矩形領域(1)が移動した後の新しい評価値((11)式)は、前の評価値((7)式)よりも大きい値になるため、(1)式の関係に基づいて(11)式の値が採用される。すなわち、矩形領域(1)の位置が移動後の位置(新しい評価値を得た図10(b)の位置)として採択され、配置される。
次に矩形領域(2)をランダムな方向、例えば、図10(c)の1003で示すような配置として、評価値を求めると、以下の(8)〜(11)式のようになる。
矩形領域(1)に関して:2+1+3+1=7 ・・・(12)
矩形領域(2)に関して:1+1=2 ・・・(13)
矩形領域(3)に関して:2 ・・・(14)
この場合、矩形領域の全体で評価値は(15)式のようになる。
(7+2+2)×10=110 ・・・(15)
矩形領域(2)が移動した後の新しい評価値((15)式)は、前の評価値((11)式)よりも小さく値になるため、(2)式の関係に基づいて、レイアウト処理部112はこの矩形領域(2)の移動の採択を(3)式に従って、確率的に決定する。
現在温度が100℃、ボルツマン係数1の場合、
ΔE= E−E=120−110=10・・・(16)
Prob=e−(ΔE/(KB・T))= 0.9048 ・・・(17)
さらに、この計算とは別に、ボルツマン係数0〜1までのランダムな数値を抽出し、例えば、0.6が求められたとすると、0.6<P(=0.9048)なので、矩形領域(2)の位置が、移動後の位置(新しい評価値を得た図10(c)の位置)として採択され、配置される。
逆にもしランダムに抽出された数値が0.95の場合、0.95>P(=0.9048)となり、この場合、(3)式に基づく確率的な判断手法により、レイアウト処理部112は、矩形領域(2)の移動を採択せず、矩形領域(2)の位置は図10(b)のままとなる。
ここで、現在温度に関しては、Probの計算結果があまり偏りすぎないような温度をあらかじめ試験的に評価値(数値1に対して10ポイント)とのバランスで求めておくことが好ましい。上述の計算例では、温度を100℃として計算を行ったが、本発明の趣旨はこれに限定されるものでないことは言うまでもない。
レイアウト処理部112は、各矩形領域の位置と、重み付けの値に基づいて、全体的なレイアウトの評価値を求め、評価値の関係((1)〜(3)等)に従い、各矩形領域を最適な位置に配置していく。
図11は、矩形領域の重複がない場合におけるSA法によるレイアウト処理を説明する図である。図11(a)の1101は、配置処理部109により、矩形領域(1)〜(4)をランダムにレイアウト領域に配置した状態を示しており、図11(b)の1102は、レイアウト処理部によるSA法によってレイアウトされた結果を示している。各矩形同士は隙間無く中央に寄ってレイアウトされている。
尚、図11(a)は、ランダムにレイアウト領域に矩形領域を配置して、矩形領域相互間に重複がない場合を示しているが、ランダムに配置して重複がある場合は、上述の重複除去処理部110の処理により重複を除去することで、レイアウト処理部112の処理を適用することができる。
図12は、微調整処理部113が行う微調整の処理を説明する図である。図12(a)の1201は、SA法によってレイアウトされた結果であるが、この時点でのレイアウト結果はあくまで、各矩形領域がグリッド化された状態のままであり、各矩形領域はグリッドの幅に合わせて、拡大、縮小された状態になっている。
従って、図12(b)の1202で示すように、各矩形領域のサイズをグリッド化される前のサイズ、つまり、元の矩形領域のアスペクト比を保ったサイズにそれぞれ戻す。
すると、各矩形領域と矩形領域の間にはそれぞれ隙間が生じる。この生じた隙間を埋めるために、図12(c)の1203で示すように、レイアウト領域の中心(図12(c)の1204)と、各矩形領域の中心(図12(c)の1205〜1208)の距離をそれぞれ求め、中心位置が一番レイアウト領域の中心1204に近い矩形領域(ここでは矩形領域(1))を、図12(c)の矢印1209のように、矩形領域(1)に一番近い矩形領域(3)に向かって移動させ、矩形領域(3)の横辺1220に接するまで移動させる。
同様に、矩形領域(3)を矩形領域(4)の縦辺1222向かって移動させる。矩形領域(4)は、既に矩形領域(1)と横辺1221において接しており、縦辺1222において、矩形領域(3)と接しているので、移動させることができないので、微調整処理部113は、最後に中心位置の一番遠い矩形領域(2)を矩形領域(1)の縦辺1223と矩形領域(4)の横辺1221と接するまで、移動させることで、図12(d)の1210で示すように、矩形領域間に隙間がないようにレイアウトした結果が得られる。
以上の処理を順に行うことによって、複数の矩形領域を自動的にレイアウト領域に配置するレイアウト制御が可能になる。
本実施形態により、画像やテキスト等のドキュメント内に含まれるコンテンツデータをそれぞれ1つの矩形領域に配置されるデータとみなし、あるレイアウト領域内で最適化されたレイアウトを自動的に行うことが可能となるため、レイアウトを考えながら決めなければならない人的作業が不要となり、これによりコスト削減が可能になる。また、全くのランダムなレイアウト結果を得ることもできれば、重み付けによって、ある程度レイアウトの方向性を決めることも可能であり、フレキシブルに様々なレイアウト結果を得ることができる。これらのことから、具体的な応用例として、新聞紙面など、テキストやイメージデータの混在したドキュメントの編集や自動スクラップ処理などへの適用が可能である。
本実施形態によれば、画像やテキスト等のドキュメント内に含まれるコンテンツデータをそれぞれ1つの矩形領域に配置されるデータとみなし、各矩形領域をドキュメント内において、コンテンツデータに対応する矩形領域のサイズに応じて自動的に配置することが可能になる。
(第1実施形態の変形例)
上述の説明において、レイアウト制御装置100は、与えられた矩形領域の拡大を行わないで、そのままのサイズで各矩形領域のグリッド化、配置、重複除去、レイアウト処理、微調整等を行うことも可能である。この場合、レイアウト制御装置100は、図1Cにおける設定ファイルおよび重み付けテンプレート読み込み処理(S104)から、直接に矩形領域をグリッド化するグリッド化処理(S108)に処理を移行させることが可能である。拡大処理(S104)を行わない場合、微調整処理(S113)において、拡大前の状態に各矩形領域のサイズを戻す処理は不要になる。
(他の実施形態)
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、上述のレイアウト制御装置に供給し、その装置のプロセッサユニット133、コンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。プログラムコードの格納は、クライアントコンピュータに限定されるものではなく、例えば、サーバとして機能するコンピュータに記憶されておくことも可能である。
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,DVD、磁気テープ,不揮発性のメモリカード,ROMなどを用いることができる。
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本発明の本実施形態にかかるレイアウト制御装置であるホストコンピュータの概略的な構成を示すブロック図である。 レイアウト制御部の構成を具体的に説明するブロック図である。 レイアウト制御部における各構成の処理の流れを説明するフローチャートである。 複数の矩形領域に関する情報を含む矩形情報を例示する図である。 レイアウト領域をグリッド状にしたときの状態を例示する図である。 矩形を拡大する拡大処理部および矩形をグリッド化するグリッド化処理部において、実際の矩形領域を拡大する処理と、グリッド化する処理を視覚的に示した図である。 矩形領域をランダムに配置する配置処理部において、実際に矩形領域を配置する処理を視覚的に示した図である。 重複除去処理部の処理の流れを説明するフローチャートである。 矩形領域同士の重なり具合に応じた移動パターンを説明する図である。 矩形領域同士の重なり具合に応じた移動パターンを説明する図である。 矩形領域同士の重なり具合に応じた移動パターンを説明する図である。 複数の矩形領域の配置とその重複の除去を説明する図である。 レイアウトの方向性を示す重み付けテンプレートの具体例を示した図である。 レイアウトの方向性を示す重み付けテンプレートと、シミュレーティド・アニーリング法を組み合わせて、どのようにレイアウト処理が行われるかを概略的に示す図である。 矩形領域の重複がない場合におけるシミュレーティド・アニーリング法によるレイアウト処理を説明する図である。 微調整処理部が行う微調整の処理を説明する図である。

Claims (3)

  1. 複数のマスにより構成されるレイアウト領域に配置する複数のコンテンツデータを、前記複数のコンテンツデータのそれぞれを収める矩形領域のサイズに応じてレイアウトするレイアウト装置であって、
    前記レイアウト領域を構成する前記複数のマスに合ったサイズに、前記複数のコンテンツデータのそれぞれを収める前記矩形領域を縦方向及び横方向に拡大して、前記レイアウト領域を構成する前記複数のマスに合わせて、前記複数のコンテンツデータのそれぞれを収める前記矩形領域を配置する第1の手段と、
    前記第1の手段により配置された前記矩形領域同士が重複する場合は、いずれか一方の矩形領域を前記マスの単位で移動して、重複を除去する第2の手段と、
    前記第2の手段により重複の除去された前記矩形領域を、前記レイアウト領域を構成する前記複数のマスのそれぞれに割り当てられた重みに応じて前記マスの単位で移動して、前記複数のコンテンツデータのそれぞれを収める前記矩形領域を配置する第3の手段と、
    前記第3の手段により配置された前記矩形領域を、前記第1の手段により縦方向及び横方向に拡大される前のアスペクト比になるように縮小して、縮小により生じた隙間がなくなるように、前記複数のコンテンツデータのそれぞれを収める前記矩形領域を配置する第4の手段と
    を備えることを特徴とするレイアウト装置。
  2. 複数のマスにより構成されるレイアウト領域に配置する複数のコンテンツデータを、前記複数のコンテンツデータのそれぞれを収める矩形領域のサイズに応じてレイアウトするレイアウト方法であって、
    前記レイアウト領域を構成する前記複数のマスに合ったサイズに、前記複数のコンテンツデータのそれぞれを収める前記矩形領域を縦方向及び横方向に拡大して、前記レイアウト領域を構成する前記複数のマスに合わせて、前記複数のコンテンツデータのそれぞれを収める前記矩形領域を配置する第1の工程と、
    前記第1の工程で配置された前記矩形領域同士が重複する場合は、いずれか一方の矩形領域を前記マスの単位で移動して、重複を除去する第2の工程と、
    前記第2の工程で重複の除去された前記矩形領域を、前記レイアウト領域を構成する前記複数のマスのそれぞれに割り当てられた重みに応じて前記マスの単位で移動して、前記複数のコンテンツデータのそれぞれを収める前記矩形領域を配置する第3の工程と、
    前記第3の工程で配置された前記矩形領域を、前記第1の工程において縦方向及び横方向に拡大される前のアスペクト比になるように縮小して、縮小により生じた隙間がなくなるように、前記複数のコンテンツデータのそれぞれを収める前記矩形領域を配置する第4の工程と
    を備えることを特徴とするレイアウト方法。
  3. 複数のマスにより構成されるレイアウト領域に配置する複数のコンテンツデータを、前記複数のコンテンツデータを収める矩形領域のサイズに応じてレイアウトするプログラムであって、
    前記レイアウト領域を構成する前記複数のマスに合ったサイズに、前記複数のコンテンツデータのそれぞれを収める前記矩形領域を縦方向及び横方向に拡大して、前記レイアウト領域を構成する前記複数のマスに合わせて、前記複数のコンテンツデータのそれぞれを収める前記矩形領域を配置する第1の手順と、
    前記第1の手順で配置された前記矩形領域同士が重複する場合は、いずれか一方の矩形領域を前記マスの単位で移動して、重複を除去する第2の手順と、
    前記第2の手順で重複の除去された前記矩形領域を、前記レイアウト領域を構成する前記複数のマスのそれぞれに割り当てられた重みに応じて前記マスの単位で移動して、前記複数のコンテンツデータのそれぞれを収める前記矩形領域を配置する第3の手順と、
    前記第3の手順で配置された前記矩形領域を、前記第1の手順において縦方向及び横方向に拡大される前のアスペクト比になるように縮小して、縮小により生じた隙間がなくなるように、前記複数のコンテンツデータのそれぞれを収める前記矩形領域を配置する第4の手順と
    をコンピュータに実行させることを特徴とするプログラム。
JP2004340805A 2004-11-25 2004-11-25 レイアウト装置、レイアウト方法及びプログラム Expired - Fee Related JP4047326B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004340805A JP4047326B2 (ja) 2004-11-25 2004-11-25 レイアウト装置、レイアウト方法及びプログラム
US11/286,781 US7571381B2 (en) 2004-11-25 2005-11-23 Layout method, program, and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004340805A JP4047326B2 (ja) 2004-11-25 2004-11-25 レイアウト装置、レイアウト方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2006154953A JP2006154953A (ja) 2006-06-15
JP4047326B2 true JP4047326B2 (ja) 2008-02-13

Family

ID=36462286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004340805A Expired - Fee Related JP4047326B2 (ja) 2004-11-25 2004-11-25 レイアウト装置、レイアウト方法及びプログラム

Country Status (2)

Country Link
US (1) US7571381B2 (ja)
JP (1) JP4047326B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010219686A (ja) * 2009-03-13 2010-09-30 Ricoh Co Ltd 画像処理方法、画像処理装置、プログラムおよび記憶媒体
JP2012230675A (ja) * 2011-04-25 2012-11-22 Nhn Corp Cssスプライト処理方法及び装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7409635B2 (en) * 2004-11-16 2008-08-05 Zalag Corporation Display/layout methods and apparatuses including content items and display containers
JP4665933B2 (ja) * 2006-07-04 2011-04-06 セイコーエプソン株式会社 文書編集支援装置、プログラムおよび記憶媒体
US8144919B2 (en) * 2006-09-22 2012-03-27 Fuji Xerox Co., Ltd. Annealing algorithm for non-rectangular shaped stained glass collages
JP4337867B2 (ja) * 2006-12-01 2009-09-30 セイコーエプソン株式会社 文書編集支援装置、文書編集装置、プログラムおよび記憶媒体
CN101308488B (zh) * 2008-06-05 2010-06-02 北京大学 基于版式文件的文档流式信息处理方法及装置
US9811511B1 (en) * 2009-11-11 2017-11-07 West Corporation Method and apparatus of creating customized computer-based user dashboard interfaces
JP5716404B2 (ja) * 2011-01-07 2015-05-13 大日本印刷株式会社 画像出力受付端末、出力画像作成方法、プログラム、記憶媒体
US20120299956A1 (en) * 2011-05-28 2012-11-29 Microsoft Corporation Disambiguating picture content and picture frames
US20120311423A1 (en) * 2011-06-06 2012-12-06 Microsoft Corporation Dynamically Controlling Collisions of Form Controls in an Electronic Document
CN102811290B (zh) * 2012-08-15 2015-05-13 小米科技有限责任公司 一种调整小部件的方法、装置及终端
US10387551B2 (en) * 2013-12-13 2019-08-20 Freedom Scientific, Inc. Techniques for programmatic magnification of visible content elements of markup language documents
GB2522453A (en) 2014-01-24 2015-07-29 Barco Nv Dynamic display layout
JP7198495B2 (ja) * 2019-02-21 2023-01-04 世治 早川 Webページ作成装置、webページ作成方法、コンピュータプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5224181A (en) 1990-10-10 1993-06-29 Fuji Xerox Co., Ltd. Image processor
US5812862A (en) * 1993-05-10 1998-09-22 Apple Computer, Inc. Computer-human interface system for compound documents
US5745910A (en) * 1993-05-10 1998-04-28 Apple Computer, Inc. Frame structure which provides an interface between parts of a compound document
US6144974A (en) * 1996-12-13 2000-11-07 Adobe Systems Incorporated Automated layout of content in a page framework
AUPO523397A0 (en) 1997-02-20 1997-04-11 Canon Kabushiki Kaisha A method of positioning display images
JPH11250272A (ja) 1998-01-08 1999-09-17 Xerox Corp 自動イメ―ジレイアウト方法及びシステム
US6859909B1 (en) * 2000-03-07 2005-02-22 Microsoft Corporation System and method for annotating web-based documents
JP3884901B2 (ja) 2000-07-19 2007-02-21 東京電力株式会社 データ配置方法および2次元図面データ処理システム
JP4165042B2 (ja) 2001-07-13 2008-10-15 セイコーエプソン株式会社 画像レイアウト評価方法および画像レイアウト評価システムならびに画像レイアウト評価処理プログラム
WO2003039101A2 (en) * 2001-11-01 2003-05-08 Telecommunications Research Associates, Llc. Computerized interactive learning system and method over a network
US7188309B2 (en) * 2002-06-28 2007-03-06 Microsoft Corporation Resolving document object collisions
JP4241325B2 (ja) * 2002-12-25 2009-03-18 セイコーエプソン株式会社 レイアウトシステム
JP4145805B2 (ja) 2003-03-17 2008-09-03 セイコーエプソン株式会社 テンプレート生成システム、レイアウトシステム、テンプレート生成プログラム、レイアウトプログラムおよびテンプレート生成方法並びにレイアウト方法
US7395510B2 (en) * 2003-12-16 2008-07-01 Hewlett-Packard Development Company, L.P. Method of, and system for, adjusting a document configuration

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010219686A (ja) * 2009-03-13 2010-09-30 Ricoh Co Ltd 画像処理方法、画像処理装置、プログラムおよび記憶媒体
JP2012230675A (ja) * 2011-04-25 2012-11-22 Nhn Corp Cssスプライト処理方法及び装置

Also Published As

Publication number Publication date
JP2006154953A (ja) 2006-06-15
US20060112330A1 (en) 2006-05-25
US7571381B2 (en) 2009-08-04

Similar Documents

Publication Publication Date Title
US7571381B2 (en) Layout method, program, and device
JP4827498B2 (ja) レイアウト方法及びその装置
US8018618B2 (en) Information processing apparatus that outputs images having same size to single page of recording sheet and computer readable medium
US20060066610A1 (en) Method, device, and computer program product for displaying 3D grid in designing configuration model
US20070113174A1 (en) Method of performing layout of contents and apparatus for the same
KR100709364B1 (ko) 패턴 이미지 생성 방법 및 장치
US20110279457A1 (en) Plate check supporting method, plate check supporting apparatus, and recording medium
JP2005142614A (ja) スキャナドライバプログラム、情報処理装置、及びコピーシステム
JP2020145508A (ja) 画像編集装置、画像編集方法
JP2017038329A (ja) 画像処理装置、画像形成装置、及び画像処理プログラム
JP4449364B2 (ja) 印刷制御装置
JP2007148568A (ja) 情報処理装置、情報処理方法
US20140355906A1 (en) Image editing apparatus, image editing method, and non-transitory storage medium
JPS61196289A (ja) 文書処理装置
JP2006293488A (ja) データ処理方法及びデータ処理装置
JPH0548876A (ja) グリツド機能を有する画像処理装置
US9477910B2 (en) Image editing apparatus, image editing method, and non-transitory storage medium
JPH0676039A (ja) レイアウト装置
JP2000348193A (ja) 画像作成方法及び画像作成装置
JP6107181B2 (ja) 印刷プログラム、印刷装置及び印刷方法
JP2884877B2 (ja) データベース画像処理装置
JP2005018545A (ja) 設計データ生成装置および設計データ生成方法
JP2006087042A (ja) 画像処理装置
JP2008021087A (ja) 文書編集装置およびプログラム
JP2023004992A (ja) 電子ビーム描画装置、電子ビーム描画方法、およびプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070813

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101130

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101130

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111130

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121130

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131130

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees