JP3567261B2 - 似顔絵画像表示制御装置及び似顔絵画像表示制御方法 - Google Patents

似顔絵画像表示制御装置及び似顔絵画像表示制御方法 Download PDF

Info

Publication number
JP3567261B2
JP3567261B2 JP2002093567A JP2002093567A JP3567261B2 JP 3567261 B2 JP3567261 B2 JP 3567261B2 JP 2002093567 A JP2002093567 A JP 2002093567A JP 2002093567 A JP2002093567 A JP 2002093567A JP 3567261 B2 JP3567261 B2 JP 3567261B2
Authority
JP
Japan
Prior art keywords
display control
image
stored
data
portrait image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002093567A
Other languages
English (en)
Other versions
JP2003016471A (ja
Inventor
嘉行 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2002093567A priority Critical patent/JP3567261B2/ja
Publication of JP2003016471A publication Critical patent/JP2003016471A/ja
Application granted granted Critical
Publication of JP3567261B2 publication Critical patent/JP3567261B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【産業上の利用分野】
本発明は、顔や体形を表示する似顔絵画像表示制御装置及び似顔絵画像表示制御方法に関する。
【0002】
【従来の技術】
従来、実物の顔に似た似顔絵画像であるモンタージュ画像を作成してこれを表示するモンタージュ装置が知られている。
このモンタージュ装置は、目、鼻、口、眉毛、輪郭、髪型等の人間の顔の各部位ごとに、当該部位の形状を表すパーツ画像であるパーツパターンを各々複数種記憶したパーツパターンメモリを有している。
また、顔のモンタージュ画像の作成の際に、顔の各部位を選択するための部位選択キーと、この部位選択キーの操作により選択された部位を表すパーツパターンを選択するためのパーツパターン選択キー等が設けられている。
そして、任意の顔を作成するために、例えば目から作成する場合には、先ず部位選択キーを押して目の部位を選択する。しかる後に、パーツパターン選択キーを操作して部位選択キーの操作により選択された目の部位に設けられた複数種類のパーツパターンのなかから一種類のパーツパターンを選択する。鼻、口、眉毛、輪郭、髪型に関しても同様の操作を行うことにより、最終的に各部位ごとに選択したパーツパターンの組み合わせに基づいて任意の顔についてのモンタージュ画像を作成することができる。
【0003】
【発明が解決しようとする課題】
しかしながら、従来のモンタージュ装置にあっては、前述したように、任意の顔を作成するに際して、顔を構成する各部位ごとになされる部位選択キーの操作とその部位選択キーの操作に続いてなされるパーツパターン選択キーの操作との二つの操作を交互に行いながら、モンタージュの作成を行う。よって、白紙の状態から前記二つの操作を行わなければならないことから、希望する顔のモンタージュが完成するまでに多くの時間を要するとともに、複数種類のパーツパターンからいずれかを選択する際に基準となるものがないことから、選択に誤りが生じ易く、よって、迅速かつ正確に所望のモンタージュを作成することができるものではなかった。
【0004】
本発明は、このような従来の課題に鑑みてなされたものであり、所望の顔や体形の似顔絵画像(モンタージュ画像)を迅速かつ正確に作成することができる似顔絵画像表示制御装置及び似顔絵画像表示制御方法を提供することを目的とするものである。
【0005】
【課題を解決するための手段】
本発明は、このような目的を達成するために次のような構成を備えている。
【0006】
すなわち、請求項1記載の発明に係る似顔絵画像表示制御装置は、
複数のパーツ画像を組み合わせた似顔絵画像を表示部に表示させる似顔絵画像表示制御装置において、
予め定められた複数の部位それぞれに対応する複数のパーツ画像が記憶されているパーツ画像記憶手段と、
前記パーツ画像記憶手段に記憶されている各パーツ画像の組み合わせにより作成された似顔絵画像を表示させる第1の表示制御手段と、
この第1の表示制御手段の制御により表示されている似顔絵画像の中の一部のパーツ画像を順番に置き換え表示させる際に用いられる時間データが記憶されている時間データ記憶手段と、
前記第1の表示制御手段の制御により似顔絵画像が表示された後、前記時間データ記憶手段に記憶されている時間データに対応する時間が経過したか否かを判断する判断手段と、
この判断手段により前記時間が経過したと判断される都度、前記表示されている一部のパーツ画像に代えて前記パーツ画像記憶手段から他のパーツ画像を順番に読み出し、この読み出されたパーツ画像を順番に置き換え、前記似顔絵画像の一部が動いているように表示させる第2の表示制御手段と、
を備えていることを特徴とする。
【0007】
請求項2記載の発明に係る似顔絵画像表示制御装置は、
複数のパーツ画像を組み合わせた似顔絵画像を表示部に表示させる似顔絵画像表示制御装置において、
予め定められた複数の部位それぞれに対応する複数のパーツ画像が記憶されているパーツ画像記憶手段と、
前記パーツ画像記憶手段に記憶されている各パーツ画像の組み合わせにより作成された似顔絵画像を表示させる第1の表示制御手段と、
複数のパーツ画像それぞれを指定するための指定データと経過時間データとが対応付けて記憶されているデータ記憶手段と、
前記第1の表示制御手段の制御により似顔絵画像が表示された後、前記データ記憶手段に記憶されている経過時間データに対応する時間が経過したか否かを判断する判断手段と、
この判断手段により前記時間が経過したと判断される都度、前記経過時間データに対応付けて前記データ記憶手段に記憶されている指定データを前記データ記憶手段から順次読み出し、この読み出された指定データにて指定されるパーツ画像を前記パーツ画像記憶手段から順次読み出し、前記表示中の似顔絵画像の一部をこの読み出されたパーツ画像で順番に置き換え、前記似顔絵画像の一部が動いているように表示させる第2の表示制御手段と、
を備えていることを特徴とする。
【0008】
請求項3記載の発明に係る似顔絵画像表示制御装置は、
顔を構成する複数の部位毎に、複数種類のパーツ画像が記憶されており、そのうちの口のパーツ画像は発生される各音に対応付けて記憶されているパーツ画像記憶手段と、
このパーツ画像記憶手段に記憶されている各パーツ画像を選定するとともに、前記口のパーツ画像については一連の複数の口のパーツ画像を選定する選定手段と、
この選定手段により選定された各パーツ画像を指定するための第1の指定データを記憶するとともに、口のパーツ画像については選定された順番に複数の口のパーツ画像を指定するための第2の指定データを記憶する第2の記憶手段と、
この第2の記憶手段に記憶されている第1および第2の各指定データにより指定されるパーツ画像を組み合わせて作成された似顔絵画像を表示させる第1の表示制御手段と、
この第1の表示制御手段の制御により似顔絵画像が表示された後に、予め定められている経過時間が経過するか否かを判断し、この結果、予め定められている経過時間が経過すると判断される都度、前記第2の記憶手段に記憶されている第2の指定データを前記選定された順番に読み出し、この読み出された第2の指定データにより指定される口のパーツ画像を順番に置き換えてゆき、似顔絵画像の口が動いているように表示させる第2の表示制御手段と、
を備えていることを特徴とする。
【0009】
請求項4記載の発明に係る似顔絵画像表示制御装置は、
請求項1から3のいずれかに記載の似顔絵画像表示制御装置において、更に、
前記第2の表示制御手段は、前記口のパーツ画像を順番に置き換えてゆくタイミングで、音を発音させる発音制御手段を備えていることを特徴とする。
【0010】
請求項5記載の発明に係る似顔絵画像表示制御装置は、
請求項3に記載の似顔絵画像表示制御装置において、更に、
前記第2の記憶手段に記憶されている第2の指定データに対応付けて音データが記憶されている音データ記憶手段を備えており、
前記第2の表示制御手段は、前記第2の指定データにより指定される口のパーツ画像を順番に置き換えてゆくタイミングで、前記音データ記憶手段に記憶されている音データに対応する音を発音させる発音制御手段を備えていることを特徴とする。
【0012】
【実施例】
以下、本発明の一実施例を図にしたがって説明する。
すなわち、図1は本発明の一実施例を適用した携帯型の電子機器である電子手帳の外観図であり、電子手帳1はヒンジ2を介して連結された表ケース3と裏ケース4とから構成されている。表ケース3側には、LCDで構成された表示部5が設けられており、該表示部5の下部にはその一側部に基本型顔キー6と表示切換キー7とが設けられているとともに、△キー8と▽キー9が設けられている。さらに、△キー8と▽キー9の下部には、左矢印キー10、右矢印キー11、上矢印キー12、下矢印キー13、OKキー14、及び登録キー15が設けられている。また、表示部5の下部であって他側には、放音部16が設けられているとともに、モンタージュ作成キー17、口変化設定キー18、検索・出力キー19、自己紹介キー20、及びONキー21とOFFキー22が設けられている。さらに、前記裏ケース4側には、数値キーとアルファベットキー等で構成されたデータ入力キー23が設けられている。
【0013】
図2は、電子手帳1の全体構成を示すブロック図である。
前述した各キーの操作情報は、このブロック図において入力部24からタイマー30備えたCPU25に入力される。該CPU25は、ROM26に予め記憶されているデータ等や、RAM27、合成RAM28に記憶されるデータ等に基づき、この電子手帳1において必要となる全ての制御を実行するとともに、前記表示部5を駆動する表示駆動回路29を制御する。さらに、CPU25は、音声合成部31を制御して、音声波形を合成させ、この音声合成部31で合成された音声波形は、増幅器32により増幅され、前記放音部16に配置されたスピーカ33から放音される。
【0014】
前記ROM26は、パーツパターンROM261、基本型顔ROM262、口パーツパターンROM263、音声データROM264、国籍対応言語ROM265、性別・年令層ROM266で構成されている。パーツパターンROM261には、図3に示したように、顔を構成する輪郭、髪型、目、鼻、口等の各部位のパーツパターンが各部位ごとに、01〜20までのパーツパターンNO.をもって20種類ずつ記憶されている。なお、図示を省略したが、このパーツパターンROM261には、さらに人体を構成する胴、両手、両足の各パーツパターンが各々NO.01〜20をもって20種類ずつ記憶されている。
【0015】
前記基本顔ROM262は、さらに基本型国籍別顔ROM(図4)、基本型国籍別用パーツパターンNO.ROM(図5)、基本型時代別顔ROM(図6)、基本型職業別顔ROM(図7)、基本型年令層別顔ROM(図8)、基本型性別顔ROM(図9)、基本型特徴顔別顔ROM(図10)で構成されている。基本型国籍別顔ROMには、図4に示したように、日本、イラン(中東)等の各国籍別に対応する国籍1から国籍100までに、国籍の特徴を加味した顔や髪型を有する基本型顔が各々01〜10までに10パターンずつ記憶されている。つまり、この基本型国籍別顔ROMには、国籍100×10パターン=1000種の基本型国籍別顔が記憶されているのである。
【0016】
そして、図5に示した基本型国籍別用パーツパターンNO.ROMには、図4に示した各国籍別基本型顔の各部位のパーツパターンNO.が記憶されている。すなわち、この基本型国籍別用パーツパターンNO.ROMのNO.「1−01」「1−02」「1−03」・・・「100−10」において、ハイフンの左側は基本型国籍別顔ROM(図4)に記憶された国籍の値を示し、ハイフンの右側は同基本型国籍別顔ROMに記憶された基本型顔のパターンNO.を示す。
【0017】
よって、基本型国籍別用パーツパターンNO.ROM(図5)において、NO.1−01は、基本型国籍別顔ROM(図4)の国籍1である日本のパターンNO.1に記憶されている基本型顔に対応し、この基本型顔の輪郭、髪型、命、鼻、口のパーツパターンNO.が「20」「20」「20」「20」「20」と記憶されているのである。また、このように基本型国籍別用パーツパターンNO.ROM(図5)は、基本型国籍顔ROM(図4)に記憶された各基本顔の構成パーツパターンNO.を記憶しているものであることから、前述した国籍100×10パターン=1000の基本型国籍別顔に対応して、NO.1−0から100−10までに1000組のパーツパターンNO.群が記憶されている。
【0018】
基本型時代別顔ROMには、図6に示したように、日本、米国等の各国における1970年代等の各時代の髪型等を加味した基本型顔が時代別に各々複数種記憶されている。基本型職業別顔ROMには、図7に示したように、「八百屋」「画家」等の職業を加味した基本型顔が各職業ごとに複数記憶されており、基本型年令層別顔ROMには、図8に示したように、「1才〜6才(幼児層)」「7才〜12才(小学生代層)」・・・「40才〜50才(中年層)」等の各年令層を加味した基本型顔が各年令層別に記憶されている。
【0019】
基本型性別顔ROMには、図9に示したように、女性、男性の各性別と国別とを加味した基本型顔が、各性ごとに複数種記憶されており、基本型等顔別顔ROMには、図10に示したように、丸顔、視覚顔等の顔の特徴を国別に加味した基本型顔が、特徴顔別に記憶されている。なお、図4の基本型国籍別顔ROMに対応する図5の基本型国籍別用パーツパターンNO.ROMが存在するように、図6〜図10の各顔ROMに記憶された基本型顔のパーツパターンNO.も、各パターンを構成するパーツパターンNO.が、対応するパーツパターンNO.ROM(図示せず)に記憶されている。
【0020】
他方、口パーツパターンROM236には、図11に示したように、日本語での発音時における口の型のパターン群や、英語での発音時における口の型のパターン群等の、言語に応じた口のパターン群が記憶されている。そして、日本語での発音時における口の型のパターン群は、1〜50の50種類の形の口が、各々無音である場合と、「あ」「い」「う」・・・の55音発生させた場合とのパターンとで構成されている。また、英語での発音時の口の型のパターン群も同様に、50種類の形の口が「A」「B」・・・とアルファベットの26音をもって発音させた場合のパターンで構成されている。
【0021】
また、音声データROM264には、図12に示したように、国籍、性別、年令別をもって、「あ」「い」「う」・・・、「A」「B」「C」・・・等の一語の音声データと、「相」「abandan」等の単語の音声データとが記憶されている。さらに、国籍対応言語ROM265には、図13に示したように、A,B、C・・・の各項ごとに日本、米国、スペイン等の国籍(民族)と、日本語、英語、スペイン語等の当該国籍の者が通常使用する言語の種類とが対応関係をもって記憶されている。性別・年令層ROM266には、図14に示したように、男性「0」女性「1」子供「X」中・高生性「Y」大人「Z」等の性別、年令層を示す符号が記憶されている。したがって、国籍対応使用言語ROM266の国籍に対応する項”A””B””C”・・・と、性別・年令層ROM266の各符号との組み合わせにより、「日本男性の大人」であれば、A(日本)、O(男性)、Z(大人)となり、図15に示したように「A O Z」で表すことができる。
【0022】
RAM27は、図16に示したように表示レジスタ271と基本型顔エリア273が設けられているとともに、項目1,2・・・ごとに個人データエリア274とモンタージュデータエリア275、及びその他のエリア276が区分されている。個人データエリア274には、当該個人の国籍、時代、職業、年令、性別、顔の特徴、名前、住所、等が記憶され、モンタージュデータエリア275には、輪郭から左足までの、10部位のパーツパターンNO.が記憶される。その他のエリア276には、使用言語、性別、年令層が、前記符号をもって記憶されるととともに、個人データエリア274に記憶された「日本」「1992年」等を読み上げるに必要な音声データ「に」「ほ」「ん」・・・を示す音声データNO.と、各音声データ「に」「ほ」「ん」・・・の動きに対応する口パーツパターンNO.とが記憶される。また、基本型顔エリア273には、後述するように基本型顔を指定した際の輪郭から口までの各部位を構成するパーツパターンNO.が記憶される。
【0023】
RAM27に設けられた口パーツパターン対応時間RAM271には、図17に示したように、アドレス「1」「2」「3」・・・ごとに、図11に示した口パーツパターンROMから読みされた口パーツパターンであって、図16に示した音声データNO.に対応する口パーツパターンのNO.と、これを表示する時間データとが記憶される。したがって、この図17に示したデータがアドレス順に読み出されることにより、表示部5には、口パーツパターンNO.1が3秒→口パーツパーツNO.5が2秒→口パーツパターンNO.8が3秒→・・・の順で切り替わり、これによりモンタージュ画像の口部分が変化することになる。
【0024】
次に以上の構成にかかる本実施例の動作について、図18以降に示したフローチャートに従って説明する。
すなわち、図18は本実施例のゼネラルフローであり、基本型モンタージュ表示処理を実行した後(SA1)、個人データ登録処理を実行する(SA2)。引き続き、モンタージュ作成処理を実行し(SA3)、口変化設定処理(SA4)及び検索・出力処理(SA5)を実行する。
【0025】
基本型顔モンタージュ表示処理(SA1)は、図19及び図20に示した一連のフローチャートに従った動作である。
すなわち、基本型顔キー6がオン操作されることにより開始され(SB1)、表示部5に世界地図(世界地図データはROM26に予め記憶されている。)を表示した後(SB2)、表示切換キー7のオン操作を待つ(SB3)。この間、ユーザーは表示部5に表示されている世界地図を参照して、入力する国籍名、地域名を決定する。
【0026】
そして、入力すべき国籍名、地域名が決定した時点で、表示切換キー7がオン操作されると、「国籍名、地域名?」の表示を行った後(SB4)、国籍名、地域名の入力を待つ(SB5)。この表示に応じて、ユーザーがデータ入力キー23を操作し、これにより国籍名、地域名が入力されると、入力された国籍名、地域名をRAM27の個人データエリア274に記憶する(SB6)。
しかる後に、基本型国籍別用パーツパターンNO.ROM(図5)の各パーツパターンNO.を全て読み出して、入力の国籍名等に対応したモンタージュ画像(基本型顔、各パーツパターンNO.)を一覧表示する(SB7)。これにより、例えば国籍名「日本」を入力した場合には、図28に示したように、国籍名「日本」に対応した10個の基本型顔(3個のみ図示)と、各基本型顔を構成する輪郭から口までのパーツパターNO.が対応関係をもって表示される。
【0027】
他方、図19のフローチャートにおいて、国籍名、地域名の入力がない場合には、時代が入力されたか否かを判別し(SB8)、ユーザーがデータ入力キー23を操作し、これにより西暦、あるいは元号等が入力されると、入力された国西暦、元号等をRAM27の個人データエリア274に記憶する(SB9)。しかる後に、基本型時代別顔ROM(図6)から入力の時代に対応したモンタージュ画像を読み出し、これを一覧表示する(SB10)。このSB10の処理により、図6に示した基本型時代別顔ROMに記憶されている基本型時代別顔のうち、入力された西暦に対応する基本型時代別顔のモンタージュ画像が全て表示部5に表示される。
【0028】
また、時代が入力されなかった場合には、職業名が入力されたか否かを判別し(SB11)、職業名が入力されると、入力された職業名をRAM27の個人データエリア274に記憶する(SB12)。しかる後に、基本型職業別顔ROM(図7)から入力の職業名に対応したモンタージュ画像を読み出し、これを一覧表示する(SB13)。このSB13の処理により、図7に示した基本型職業別顔ROMに記憶されている基本型職業別顔のうち、入力された職業名に対応する基本型職業別顔のモンタージュ画像が全て表示部5に表示される。
【0029】
さらに、職業名が入力されなかった場合には、年令が入力されたか否かを判別し(SB14)、年令が入力されると、入力された年令(生年月日、世代を含む)をRAM27の個人データエリア274に記憶する(SB15)。しかる後に、基本型年令層別顔ROM(図8)から入力の年令に対応したモンタージュ画像を読み出し、これを一覧表示する(SB16)。このSB16の処理により、図8に示した基本型年令層別顔ROMに記憶されている基本型年令層別顔のうち、入力された年令に対応する基本型年令層別顔のモンタージュ画像が全て表示部5に表示される。
【0030】
また、年令が入力されなかった場合には、性別が入力されたか否かを判別し(図20のSB17)、性別が入力されると、入力された性別(男女)をRAM27のいずれかの個人データエリア274に記憶する(SB18)。しかる後に、基本型性別顔ROM(図9)から入力の性別に対応したモンタージュ画像を読み出し、これを一覧表示する(SB19)。このSB19の処理により、図9に示した基本型性別顔ROMに記憶されている基本型性別顔のうち、入力された性別に対応する基本型性別顔のモンタージュ画像が全て表示部5に表示される。
【0031】
また、性別が入力されなかった場合には、顔の特徴が入力されたか否かを判別し(SB20)、顔の特徴が入力されると、入力された特徴顔をRAM27の個人データエリア274に記憶する(SB21)。しかる後に、基本型特徴顔別顔ROM(図10)から入力の特徴顔に対応したモンタージュ画像を読み出し、これを一覧表示する(SB22)。このSB22の処理により、図10に示した基本型特徴顔別顔ROMに記憶されている基本型特徴顔別顔のうち、入力された特徴顔に対応する基本型性別顔のモンタージュ画像が全て表示部5に表示される。
【0032】
また、この図19及び図20に示した一連のフローチャートでは、SB7、SB10、SB13、SB16、SB19,SB22のいずれかの処理が終了するとリターンして再度実行される。したがって、最初の実行時に「国籍名または地域名」の入力を行い、リターン後再度実行される都度、「時代」「職業名」「年令」「性別」「顔の特徴」を入力することにより、図16に例示したように個人データエリア274の項目「1」に、国籍「日本」、時代「1992年」、職業「なし」、性別「男性」、顔の特徴「丸顔」等が記憶される。
【0033】
一方、ゼネラルフローの個人データ登録処理(SA2)は、図21に示したフローチャートに従って行われ、個人データが入力されたか否かを判別する(SC1)。ユーザーがデータ入力キー23を操作し、これにより個人データが入力されると、入力された個人データ(名前、住所、電話番号、経歴、趣味など)をRAM27の個人データエリア274に記憶する(SC2)。しかる後に、この入力された個人データを表示部5に表示した後(SC3)、登録キー15の操作を待ち(SC4)、登録キー15が操作されたばらば、ゼネラルフローにリターンする。
【0034】
このゼネラルフローにおいて、モンタージュ作成処理(SA3)では、先ず図22に示したモンタージュ作成・登録処理を実行する。すなわち、表示部5に「モンタージュ作成?」の表示を行い(SD1)、しかる後にモンタージュ作成キー17の操作を待つ(SD2)。そして、モンタージュ作成キー17が操作されたならば、モンタージュ作成処理を実行された後(SD3)、登録キー15の操作を待ち(SD4)、登録キー15が操作されたならば登録処理を実行して、作成されたモンタージュ画像を登録するとともに、登録される他のモンタージュ画像との区切りを示す区切コードを記憶する(SD5)。
【0035】
この図22に示したモンタージュ作成・登録処理において、モンタージュ作成処理(SD3)は、図23に示したフローチャートに従って行われ、先ずゼネラルフローのSA2でRAM27に記憶された「国籍」「時代」「職業」等の条件に全て該当する該当者の基本型顔のROMから各パーツパターンを読み出す(SE1)。すなわち、例えば、図1に示したように、国籍「エジプト」、時代「1990」、職業「石油売り」が予め記憶されていたとすると、これらの条件に全て該当する該当者の基本型顔を図4及び図6〜10に示したいずれかのROMから選択し、この選択した基本型顔を構成する部位のパーツパターンNO.を対応するパーツパターンNO.ROMから読み出す。
【0036】
次に、この読み出した各パーツパターンNO.をRAM27の基本型顔エリア273に記憶するとともに、変更パーツ1を設定する(SE2)。このSE2の処理により、図16に示したRAM27において基本型顔エリア273の輪郭〜口までの各領域に、前記基本型顔を構成する輪郭〜口までの各部位のパーツパターンNO.が各々記憶される。なお、ここで変更パーツ1とは、基本型顔エリア273に記憶されている輪郭から口までの各部位のパーツのうち、最初のパーツである輪郭パーツを意味する。
【0037】
次に、データ合成(SE3)を実行するが、このデータ処理は図24に示したフローチャートに従って行われる。すなわち、基本型顔エリア273に記憶されたパーツパターンNO.のなかから、まず、輪郭パーツパターンNO.を読み取って(SF1)、この読み取った輪郭パーツパターンNO.に対応するパーツパターンデータを合成RAM28に転送し(SF2)、次に、髪型パーツパターンNO.を読み取って(SF3)、この読み取った髪型パーツパターンNO.に対応するパーツパターンデータを合成RAM28に転送する(SF4)。さらに、目、鼻、口・鼻等の他の部位についても同様の処理を行った後(SF5)、合成RAM28で合成したモンタージュ画像を表示部5に表示する(SF6)。よって、図23のモンタージュ作成処理が実行開始された直後においては、このSF6の処理により表示部5には、前記「国籍」「時代」「職業」等の条件を満たした該当者の基本型顔のモンタージュ画像が表示される(図1参照)。
【0038】
一方、図23のSE3に続くSE4では、表示処理を行った後、△▽キー8,9が操作された場合には(SE5)基本型の変更を行い(SE6)、上下矢印キー12,13が操作された場合には(SE7)パーツ種類(髪型、目等)の変更を行い(SE8)、左右矢印キー10,11が操作された場合には(SE9)パーツパターンの変更を行う(SE10)。したがって、このSE5〜SE10の判別処理により、RAM27の基本型顔エリア273に記憶されている輪郭〜口までのパーツパターンNO.が逐次変化し、この逐次変化したパーツパターンNO.に基づく顔のモンタージュ画像がデータ合成されて(SE3)、表示部5に表示される。そして、ユーザーが希望する顔のモンタージュ画像が作成されて表示部5に表示された際にOKキー14を操作すると(SE11)、この時点で基本顔エリア273に記憶されている希望する顔を形成するモンタージュデータ(輪郭から口までのパーツパターンNO.)を、RAM27の個人データに対応するモンタージュデータエリア275に記憶する(SE12)。
【0039】
また、ゼネラルフローの口変化設定処理(SA4)は、図25に示したフローチャートに従って行われ、先ず、1つの登録済モンタージュ画像を選択する。
すなわち、前述したモンタージュ作成処理(SA3)により、RAM27のモンタージュデータエリア275には、各項目1、2、・・・ごとに対応する個人のモンタージュデータが記憶されており、このモンタージュデータのなかから、口変化設定を希望するいずれかの個人のモンタージュデータを選択する(SG1)。
次に、口変化設定キー18の操作を待ち(SG2)、口変化キー18が操作されたならば、選択された登録済モンタージュ画像の口パターン番号と対応する口パターンデータを読み出す(SG3)。
【0040】
すなわち、例えば図3に示したNO.1の口パーツパターンが当該個人のモンタージュデータとして記憶されていたとすると、これに対応する口パターンデータは、図11のNO.1の行に記憶されているデータであり、このNO.1の行に記憶されている各パターンが全て読み出される。引き続き、口パターンを一括表示し(SG4)、このSG4の処理により「無音 あ い う・・・」の文字表示に対応する形態の口パターンが表示部5に表示される。そこで、ユーザーが発生させる言語との関係を考慮してデータ入力キー23を操作し、これにより例えば「う」が入力されると、入力された「う」に対応する口パターンを選択する(SG5)。さらに、ユーザーがデータ入力キー23を操作し、これにより時間が入力されると、「う」の口パターンに対応する時間を設定する(SG6)。
【0041】
次に、選択された口パターンと共に設定した時間データをRAM(図17の口パーツパターン対応時間RAM)に記憶する(SG7)。さらに、この口パーツパターン対応時間RAMのアドレスをインクリメントした後(SG8)、OKキー14が操作されたか否かを判別し(SG9)、OKキー14が操作されていなければSG4からの処理を繰り返す。よって、OKキー14が操作されるまで、SG4〜SG9のループが繰り返され、これにより口パーツパターン対応時間RAMには、図17に例示したように、アドレス順にユーザーが選択した口パーツパターンと、設定した時間とが対応して記憶される。
【0042】
また、ゼネラルフローの検索・出力処理(SA5)は、図26及び図27に示した一連のフローチャートに従って行われる。
すなわち、この検索・出力処理は、検索・出力キー19の操作により開始され(SH1)、検索・出力キー19が操作されたならば、データ入力キー23の操作により入力された名前、電話番号、国籍名、職業名等のいずれかの個人データに対応するデータをRAM27の個人データエリア274にて検索する(SH2)。
そして、入力された名前等と一致するデータが個人データエリア274に存在するか否かを判別して(SH3)、一致するデータが存在しない場合には「データが見つかりません」を表示部5に表示する(SH4)。
【0043】
また、一致するデータが存在した場合には、対応の個人データ・モンタージュデータであるパーツ画像を指定するためのパーツパターンNO.データをRAM27の個人データエリア274とモンタージュデータエリア275から各々読み出す(SH5)。
しかる後に、このモンタージュデータエリア275から読み出した一組の各パーツパターンNO.が示すパーツ画像であるパーツパターンを組み合わせて、似顔絵画像であるモンタージュ画像を合成方式で作成する(SH6)。
【0044】
引き続き、個人データと合成されたモンタージュ画像とを表示部5に表示し(SH7)、これにより、図29の(A)に示したように国籍、時代・・・名前等の個人データとともに、当該個人のモンタージュ画像(この例の場合、2歳の子供の似顔絵画像)が表示される。
さらに、自己紹介キー20が操作されたか否かを判別し(SH8)、自己紹介キー20が操作されたならば、対応する個人の「使用言語」「性別」「年令」から使用する音声の種類を決め、「使用言語」「声の質」とともに、個人データ・モンタージュ画像を一括表示する(SH9)。このSH9の処理により、図29の(A)に示したように、個人データのみならず「使用言語:日本語」「声の質:男子、子供声」が表示部5に表示される。
【0045】
さらに、RAM27のその他のエリア267に記憶されている個人データを一語または一単語単位で読み出すとともに(SH10)、読み出した時点でタイマー30をクリアしておく(SH11)。
次に、「使用言語」「声の質」に対応する音声データROM(図12)から、読み出された一語または一単語に対応する音声データを読み出す(SH12)。引き続き、読み出された音声データを音声合成部31に送出するとともに、口パーツパターン対応時間RAM(図17)から口パターンデータを読み出して、合成RAM28に送出し(SH13)、音声出力及び合成されたモンタージュ画像の表示を行う(SH14)。
しかる後に、所定時間(口パーツパターン対応時間RAMに記憶されている時間)が経過したか否かを判別し(SH15)、経過したならば個人データの読み出しを終了したか否かを判別して(SH16)、終了するまでSH10から処理判別を繰り返す。
【0046】
したがって、個人データの読み出しが終了するまで、SH10〜SH16の処理判別が繰り返される。よって、図16に例示したようにRAM27に個人データとして「に ほ ん・・・」が記憶され、また、図17の口パーツパターン対応時間RAMに「に ほ ん・・・」の口の動きに対応する口パーツパターンが記憶されていたとすると、図29の(A)(B)(C)に示したように、放音部16からは所定時間(口パーツパターン対応RAMに記憶されている時間)を経過するごとに「に」「ほ」「ん」・・・の音声が発生し、かつ、表示されているモンタージュ画像N1の口部が「に」「ほ」「ん」の発音とともに、口部Na〜Ncのように置き換えられて変化する。
また、他の個人データを入力してこれと一致するデータが存在した場合であって、自己紹介キー20が操作された場合にも同様に、図30に示したように、放音部16からは当該個人の個人データに基づく音声「ユー・エス・エー・・・」が発生するとともに、表示されているモンタージュ画像の口部が音声に応じて変化するのである。
【0047】
【発明の効果】
以上説明したように、この発明によれば、次の効果を奏することができる。
すなわち、請求項1記載の発明によれば、複数のパーツ画像を組み合わせた似顔絵画像が表示部に表示された後、記憶されている時間データに対応する時間が経過したか否かを判断し、時間が経過したと判断される都度、前記表示されている一部のパーツ画像に代えて他のパーツ画像を順番に読み出し、この読み出されたパーツ画像を順番に置き換え、似顔絵画像の一部が動いているように表示させることができる。
【0048】
請求項2記載の発明によれば、複数のパーツ画像を組み合わせた似顔絵画像が表示部に表示された後、記憶されている経過時間データに対応する時間が経過したか否かを判断し、時間が経過したと判断される都度、前記経過時間データに対応付けて記憶されている指定データを順次読み出し、この読み出された指定データにて指定されるパーツ画像を順次読み出し、前記表示中の似顔絵画像の一部をこの読み出されたパーツ画像で順番に置き換え、似顔絵画像の一部が動いているように表示させることができる。
【0049】
請求項3記載の発明によれば、記憶されている各パーツ画像を選定するとともに、前記口のパーツ画像については一連の複数の口のパーツ画像を選定し、この選定された各パーツ画像を指定するための第1の指定データを記憶するとともに、口のパーツ画像については選定された順番に複数の口のパーツ画像を指定するための第2の指定データを記憶することができる。また、この記憶されている第1および第2の各指定データにより指定されるパーツ画像を組み合わせて作成された似顔絵画像が表示された後に、予め定められている経過時間が経過するか否かを判断し、この結果、予め定められている経過時間が経過すると判断される都度、記憶されている第2の指定データを前記選定された順番に読み出し、この読み出された第2の指定データにより指定される口のパーツ画像を順番に置き換えてゆき、似顔絵画像の口が動いているように表示させることができる。
よって、似顔絵画像の全体の中で、使用者により設定された口のパーツ画像の順番で顔の口が動いているように表現させることができる。
【図面の簡単な説明】
【図1】本発明の一実施例を適用した電子手帳の平面図である。
【図2】同実施例の全体構成を示すブロック図である。
【図3】パーツパターンROMの記憶状態を示す模式図である。
【図4】基本型国籍別顔ROMの記憶状態を示す模式図である。
【図5】基本型国籍別用パーツパターンNO.ROMの記憶状態を示す模式図である。
【図6】基本型時代別顔ROMの記憶状態を示す模式図である。
【図7】基本型職業別顔ROMの記憶状態を示す模式図である。
【図8】基本型年令別顔ROMの記憶状態を示す模式図である。
【図9】基本型性別顔ROMの記憶状態を示す模式図である。
【図10】基本型特徴顔別顔ROMの記憶状態を示す模式図である。
【図11】口パーツパターンNO.ROMの記憶状態を示す模式図である。
【図12】音声データROMの記憶状態を示す模式図である。
【図13】国籍対応使用言語ROMの記憶状態を示す模式図である。
【図14】性別・年令層ROMの記憶状態を示す模式図である。
【図15】国籍対応使用言語ROMと性別・年令層ROMとに記憶された符号による組み合わせ例を示す図である。
【図16】RAMの記憶状態を示す模式図である。
【図17】口パーツパターン対応時間RAMの記憶状態を示す模式図である。
【図18】本実施例のゼネラルフローである。
【図19】基本型顔モンタージュ表示処理の内容を示すフローチャートである。
【図20】図19に続くフローチャートである。
【図21】個人データ登録処理の内容を示すフローチャートである。
【図22】モンタージュ作成・登録処理の内容を示すフローチャートである。
【図23】モンタージュ作成処理の内容を示すフローチャートである。
【図24】データ合成処理の内容を示すフローチャートである。
【図25】口変化設定処理の内容を示すフローチャートである。
【図26】検索・出力処理の内容を示すフローチャートである。
【図27】図26に続くフローチャートである。
【図28】表示部の表示状態の一例を示す図である。
【図29】自己紹介キーを操作した場合における表示部の表示状態と放音部からの放音状態の一例を示す図である。
【図30】自己紹介キーを操作した場合における表示部の表示状態と放音部からの放音状態の他の例を示す図である。
【符号の説明】
5 表示部
6 基本型顔キー
16 放音部
17 モンタージュ作成キー
18 口変化設定キー
20 自己紹介キー
23 データ入力キー
25 CPU
26 ROM
27 RAM
28 合成RAM
31 音声合成部

Claims (10)

  1. 複数のパーツ画像を組み合わせた似顔絵画像を表示部に表示させる似顔絵画像表示制御装置において、
    予め定められた複数の部位それぞれに対応する複数のパーツ画像が記憶されているパーツ画像記憶手段と、
    前記パーツ画像記憶手段に記憶されている各パーツ画像の組み合わせにより作成された似顔絵画像を表示させる第1の表示制御手段と、
    この第1の表示制御手段の制御により表示されている似顔絵画像の中の一部のパーツ画像を順番に置き換え表示させる際に用いられる時間データが記憶されている時間データ記憶手段と、
    前記第1の表示制御手段の制御により似顔絵画像が表示された後、前記時間データ記憶手段に記憶されている時間データに対応する時間が経過したか否かを判断する判断手段と、
    この判断手段により前記時間が経過したと判断される都度、前記表示されている一部のパーツ画像に代えて前記パーツ画像記憶手段から他のパーツ画像を順番に読み出し、この読み出されたパーツ画像を順番に置き換え、前記似顔絵画像の一部が動いているように表示させる第2の表示制御手段と、
    を備えていることを特徴とする似顔絵画像表示制御装置。
  2. 複数のパーツ画像を組み合わせた似顔絵画像を表示部に表示させる似顔絵画像表示制御装置において、
    予め定められた複数の部位それぞれに対応する複数のパーツ画像が記憶されているパーツ画像記憶手段と、
    前記パーツ画像記憶手段に記憶されている各パーツ画像の組み合わせにより作成された似顔絵画像を表示させる第1の表示制御手段と、
    複数のパーツ画像それぞれを指定するための指定データと経過時間データとが対応付けて記憶されているデータ記憶手段と、
    前記第1の表示制御手段の制御により似顔絵画像が表示された後、前記データ記憶手段に記憶されている経過時間データに対応する時間が経過したか否かを判断する判断手段と、
    この判断手段により前記時間が経過したと判断される都度、前記経過時間データに対応付けて前記データ記憶手段に記憶されている指定データを前記データ記憶手段から順次読み出し、この読み出された指定データにて指定されるパーツ画像を前記パーツ画像記憶手段から順次読み出し、前記表示中の似顔絵画像の一部をこの読み出されたパーツ画像で順番に置き換え、前記似顔絵画像の一部が動いているように表示させる第2の表示制御手段と、
    を備えていることを特徴とする似顔絵画像表示制御装置。
  3. 顔を構成する複数の部位毎に、複数種類のパーツ画像が記憶されており、そのうちの口のパーツ画像は発生される各音に対応付けて記憶されているパーツ画像記憶手段と、
    このパーツ画像記憶手段に記憶されている各パーツ画像を選定するとともに、前記口のパーツ画像については一連の複数の口のパーツ画像を選定する選定手段と、
    この選定手段により選定された各パーツ画像を指定するための第1の指定データを記憶するとともに、口のパーツ画像については選定された順番に複数の口のパーツ画像を指定するための第2の指定データを記憶する第2の記憶手段と、
    この第2の記憶手段に記憶されている第1および第2の各指定データにより指定されるパーツ画像を組み合わせて作成された似顔絵画像を表示させる第1の表示制御手段と、
    この第1の表示制御手段の制御により似顔絵画像が表示された後に、予め定められている経過時間が経過するか否かを判断し、この結果、予め定められている経過時間が経過すると判断される都度、前記第2の記憶手段に記憶されている第2の指定データを前記選定された順番に読み出し、この読み出された第2の指定データにより指定される口のパーツ画像を順番に置き換えてゆき、似顔絵画像の口が動いているように表示させる第2の表示制御手段と、
    を備えていることを特徴とする似顔絵画像表示制御装置。
  4. 請求項1から3のいずれかに記載の似顔絵画像表示制御装置において、更に、
    前記第2の表示制御手段は、前記口のパーツ画像を順番に置き換えてゆくタイミングで、音を発音させる発音制御手段を備えていることを特徴とする似顔絵画像表示制御装置。
  5. 請求項3に記載の似顔絵画像表示制御装置において、更に、
    前記前記第2の記憶手段に記憶されている第2の指定データに対応付けて音データが記憶されている音データ記憶手段を備えており、
    前記第2の表示制御手段は、前記第2の指定データにより指定される口のパーツ画像を順番に置き換えてゆくタイミングで、前記音データ記憶手段に記憶されている音データに対応する音を発音させる発音制御手段を備えていることを特徴とする似顔絵画像表示制御装置。
  6. 複数のパーツ画像を組み合わせた似顔絵画像を表示部に表示させる似顔絵画像表示制御方法において、
    予め定められた複数の部位それぞれに対応する複数のパーツ画像が記憶されているパーツ画像記憶手段をアクセスし、前記パーツ画像記憶手段に記憶されている各パーツ画像の組み合わせにより作成された似顔絵画像を表示させる第1の表示制御ステップと、
    この第1の表示制御ステップの制御により似顔絵画像が表示された後、この表示されている似顔絵画像の中の一部のパーツ画像を順番に置き換え表示させる際に用いられる時間データが記憶されている時間データ記憶手段をアクセスし、この時間データ記憶手段に記憶されている時間データに対応する時間が経過したか否かを判断する判断ステップと、
    この判断ステップにより前記時間が経過したと判断される都度、前記表示されている一部のパーツ画像に代えて前記パーツ画像記憶手段から他のパーツ画像を順番に読み出し、この読み出されたパーツ画像を順番に置き換え、前記似顔絵画像の一部が動いているように表示させる第2の表示制御ステップと、
    を備えていることを特徴とする似顔絵画像表示制御方法。
  7. 複数のパーツ画像を組み合わせた似顔絵画像を表示部に表示させる似顔絵画像表示制御方法において、
    予め定められた複数の部位それぞれに対応する複数のパーツ画像が記憶されているパーツ画像記憶手段をアクセスし、前記パーツ画像記憶手段に記憶されている各パーツ画像の組み合わせにより作成された似顔絵画像を表示させる第1の表示制御ステップと、
    この第1の表示制御ステップの制御により似顔絵画像が表示された後、複数のパーツ画像それぞれを指定するための指定データと経過時間データとが対応付けて記憶されているデータ記憶手段をアクセスし、このデータ記憶手段に記憶されている経過時間データに対応する時間が経過したか否かを判断する判断ステップと、
    この判断ステップにより前記時間が経過したと判断される都度、前記経過時間データに対応付けて前記データ記憶手段に記憶されている指定データを前記データ記憶手段から順次読み出し、この読み出された指定データにて指定されるパーツ画像を前記パーツ画像記憶手段から順次読み出し、前記表示中の似顔絵画像の一部をこの読み出されたパーツ画像で順番に置き換え、前記似顔絵画像の一部が動いているように表示させる第2の表示制御ステップと、
    を備えていることを特徴とする似顔絵画像表示制御方法。
  8. 顔を構成する複数の部位毎に、複数種類のパーツ画像が記憶されており、そのうちの口のパーツ画像は発生される各音に対応付けて記憶されているパーツ画像記憶手段をアクセスし、このパーツ画像記憶手段に記憶されている各パーツ画像を選定するとともに、前記口のパーツ画像については一連の複数の口のパーツ画像を選定する選定ステップと、
    この選定ステップにより選定された各パーツ画像を指定するための第1の指定データを記憶するとともに、口のパーツ画像については選定された順番に複数の口のパーツ画像を指定するための第2の指定データを記憶する第2の記憶ステップと、
    この第2の記憶ステップにて記憶されている第1および第2の各指定データにより指定されるパーツ画像を組み合わせて作成された似顔絵画像を表示させる第1の表示制御ステップと、
    この第1の表示制御ステップの制御により似顔絵画像が表示された後に、予め定められている経過時間が経過するか否かを判断し、この結果、予め定められている経過時間が経過すると判断される都度、前記第2の記憶ステップにて記憶されている第2の指定データを前記選定された順番に読み出し、この読み出された第2の指定データにより指定される口のパーツ画像を順番に置き換えてゆき、似顔絵画像の口が動いているように表示させる第2の表示制御ステップと、
    を備えていることを特徴とする似顔絵画像表示制御方法。
  9. 請求項からのいずれかに記載の似顔絵画像表示制御方法において、更に、
    前記第2の表示制御ステップは、前記口のパーツ画像を順番に置き換えてゆくタイミングで、音を発音させる発音制御ステップを備えていることを特徴とする似顔絵画像表示制御方法。
  10. 請求項に記載の似顔絵画像表示制御方法において、更に、
    前記前記第2の記憶ステップにて記憶されている第2の指定データに対応付けて音データが記憶されている音データ記憶手段を備えており、
    前記第2の表示制御ステップは、前記第2の指定データにより指定される口のパーツ画像を順番に置き換えてゆくタイミングで、前記音データ記憶手段に記憶されている音データに対応する音を発音させる発音制御ステップを備えていることを特徴とする似顔絵画像表示制御方法。
JP2002093567A 2002-03-29 2002-03-29 似顔絵画像表示制御装置及び似顔絵画像表示制御方法 Expired - Fee Related JP3567261B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002093567A JP3567261B2 (ja) 2002-03-29 2002-03-29 似顔絵画像表示制御装置及び似顔絵画像表示制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002093567A JP3567261B2 (ja) 2002-03-29 2002-03-29 似顔絵画像表示制御装置及び似顔絵画像表示制御方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP35984992A Division JP3341049B2 (ja) 1992-05-29 1992-12-30 画像表示制御装置及び画像表示制御方法

Publications (2)

Publication Number Publication Date
JP2003016471A JP2003016471A (ja) 2003-01-17
JP3567261B2 true JP3567261B2 (ja) 2004-09-22

Family

ID=19193544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002093567A Expired - Fee Related JP3567261B2 (ja) 2002-03-29 2002-03-29 似顔絵画像表示制御装置及び似顔絵画像表示制御方法

Country Status (1)

Country Link
JP (1) JP3567261B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100837889B1 (ko) 2005-02-14 2008-06-13 (주)시지웨이브 청각장애인을 위한 온라인 독화술 학습 시스템
JP6427297B2 (ja) * 2016-04-12 2018-11-21 株式会社オプティム 化粧シミュレーションシステム、化粧シミュレーション方法、および化粧シミュレーションプログラム

Also Published As

Publication number Publication date
JP2003016471A (ja) 2003-01-17

Similar Documents

Publication Publication Date Title
KR0142164B1 (ko) 화상 표시 제어 장치 및 방법
US6348923B2 (en) Object image display devices
JP3206166B2 (ja) 画像表示制御装置および画像表示制御方法
JP3567261B2 (ja) 似顔絵画像表示制御装置及び似顔絵画像表示制御方法
JP3341049B2 (ja) 画像表示制御装置及び画像表示制御方法
JP2000231641A (ja) 似顔絵作成装置及び似顔絵作成方法
JP3345972B2 (ja) 画像表示制御装置および画像表示制御方法
JP3455756B2 (ja) 物体画像表示制御装置および物体画像表示制御方法
JP3543153B2 (ja) モンタージュ画像処理装置およびモンタージュ画像処理方法
JP3603899B2 (ja) 画像表示制御装置および画像表示制御方法
JP2845240B2 (ja) 画像表示制御装置および画像表示制御方法
JP3027835B2 (ja) 画像表示制御装置及び画像表示制御方法
JP3500709B2 (ja) 物体画像比較装置
JP3345973B2 (ja) 画像表示制御装置および画像表示制御方法
JP3480449B2 (ja) 画像表示制御装置および画像表示制御方法
JP3543154B2 (ja) 物体画像出力制御装置および物体画像出力制御方法
JP3163812B2 (ja) モンタージュ作成装置およびモンタージュ作成方法
JP2796658B2 (ja) 画像表示制御装置および画像表示制御方法
JP3092368B2 (ja) 画像表示制御装置及び画像表示制御方法
JP3298490B2 (ja) 画像表示制御装置及び画像表示制御方法
JPH05334411A (ja) モンタージュ作成装置
JP2939881B2 (ja) 画像表示制御装置及び画像表示制御方法
JP3489165B2 (ja) 画像出力制御装置および画像出力制御方法
JP2995323B2 (ja) 画像表示制御装置及び画像表示制御方法
JPH07323606A (ja) 印刷装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040318

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040524

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080625

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090625

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090625

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100625

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110625

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110625

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120625

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees