JPH11212991A - 画像検索方法、画像検索装置、及び画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

画像検索方法、画像検索装置、及び画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number
JPH11212991A
JPH11212991A JP10013757A JP1375798A JPH11212991A JP H11212991 A JPH11212991 A JP H11212991A JP 10013757 A JP10013757 A JP 10013757A JP 1375798 A JP1375798 A JP 1375798A JP H11212991 A JPH11212991 A JP H11212991A
Authority
JP
Japan
Prior art keywords
image
sub
main
display area
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10013757A
Other languages
English (en)
Other versions
JP4021025B2 (ja
Inventor
Mitsuru Mizuguchi
充 水口
Kazuhiko Miyata
和彦 宮田
Naoki Urano
直樹 浦野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP01375798A priority Critical patent/JP4021025B2/ja
Publication of JPH11212991A publication Critical patent/JPH11212991A/ja
Application granted granted Critical
Publication of JP4021025B2 publication Critical patent/JP4021025B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 検索したい画像が明確でない場合に、気に入
った画像を辿るようにして所望の画像を検索する。 【解決手段】 注目する画像(主画像)に関連する画像
を併せて表示し、その中から気に入った画像を探した
り、更にその気に入った画像を主画像に置き換えると、
関連する画像も更新されるよう構成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、多数の画像からユ
ーザの嗜好に合った画像を検索する画像検索方法に係わ
り、関連のある画像を辿ることによって所望の画像を効
率よく検索することができる画像検索方法および装置お
よび検索プログラムを記録した記録媒体に関する。
【0002】
【従来の技術】例えば、静止画或は動画からなる画像か
ら所望の画像を探すには、すべての画像を見て選び出し
たり、画像を何らかの尺度、例えば被写体の種類や撮影
日時や撮影時の条件などで分類しておき、所望とする画
像の含まれていそうな分類から選び出すなどの作業を行
っていた。しかし、画像の数が膨大になると、このよう
な画像の検索作業を人手で行うことは限界があった。
【0003】そこで、従来、このような画像の検索を支
援するために、コンピュータを利用した画像検索装置が
多く提案されている。図22は、従来の一般的な画像検
索システムの例を示す図である。表示画面には記憶され
ている画像の縮小画像が一覧表示されており、ユーザは
その中から所望の画像を探しだして拡大表示したり、別
の用途に利用したりする。縮小画像の数が位置画面に表
示できないほど多い場合は、ウィンドウをスクロールし
たりページを切り替えることができる。また、検索機能
を用いて画像自体の持つ情報や画像に付与された情報か
らユーザの指定したキーワード等を持つ画像を検索する
こともできる。
【0004】また、特開平8−249352号に示され
る装置では、検索用の特徴量を表示のXY軸に設定する
ことによって設定された特徴量に基づいて類似の画像を
抽出して表示している。この装置に於いては、類似の画
像が一覧できるため比較ながらより好みにあった画像を
選択することができる。
【0005】
【発明が解決しようとする課題】ところで、実際に画像
を探す場合に於いては、ユーザが所望する画像を予め意
図しているとは限らず、例えば、風景の写真を見ながら
山の写真が気に入り、更に山の写真を見ていると雪山が
気に入る、というように、画像を見ながら要求を固めて
いくことがある。
【0006】また、例えば、最初友人と写った写真を見
ており、その友人と写っている別の写真を見たくなり、
更にその友人と移っている別の写真を見てその場所で撮
った他の写真を見たくなる、というように、画像を探し
ていく過程で明確な要求が無く、関連する画像を連想的
に探していくということもある。
【0007】これらの状況に於いては、ユーザは自分の
要求を明確にシステムに伝えることが困難であるため、
従来のキーワード等による検索は効果的とは言えない。
また、特開平8−249352号に示される装置では類
似の画像から目的とする画像を決定することができる
が、類似画像の検索のために特徴量を設定する必要があ
るため、同様の問題があった。
【0008】本発明の目的は、ユーザが漠然とした要求
しか持っていない時に画像を連想的に検索することので
きる方法を提供することである。
【0009】
【課題を解決するための手段】本発明は、上記課題を解
決するために、次のように構成している。
【0010】この発明(請求項1)に係る画像検索方法
によれば、記憶装置に複数の画像及び各画像に付随した
情報が記憶され、前記記憶装置から画像を検索し表示す
る画像検索方法であって、前記記憶装置から任意の画像
を主画像として選択し、主表示領域に表示する主画像表
示ステップと、前記主画像に付随した情報を取り出す主
画像付随情報取り出しステップと、取り出された主画像
付随情報と、記憶装置に記憶された主画像以外の画像付
随情報との関連度を計算する関連度計算ステップと、計
算された付随情報の関連度の順に応じて、対応する画像
を副画像として副表示領域に表示する副画像表示ステッ
プと、前記副画像から所望の画像を選択し、新たな主画
像とする主画像選択ステップと、を少なくとも備え、選
択された主画像に応じて、副画像が更新されてなること
によって上記の目的を達成する。
【0011】この発明(請求項2)に係る画像検索方法
によれば、前記関連度計算ステップにより算出された主
画像との関連度に応じて色を計算する色計算ステップを
備え、前記副画像表示ステップが、当該色計算ステップ
により算出された色を目印として各副画像に併せて表示
してなることによって上記の目的を達成する。
【0012】この発明(請求項3)に係る画像検索方法
によれば、前記関連度計算ステップにより算出された主
画像との関連度に応じて表示座標を計算する表示座標計
算ステップを備え、前記副画像表示ステップが、当該表
示座標計算ステップにより算出された表示座標に応じて
各副画像を表示してなることによって上記の目的を達成
する。
【0013】この発明(請求項4)に係る画像検索方法
によれば、前記関連度計算ステップにより算出された主
画像との関連度に応じて表示サイズを計算する表示サイ
ズ計算ステップを備え、前記副画像表示ステップが、当
該表示サイズ計算ステップにより算出されたサイズに応
じて各副画像を表示してなることによって上記の目的を
達成する。
【0014】この発明(請求項5)に係る画像検索方法
によれば、前記副画像表示ステップが、前記関連度計算
ステップにより算出された主画像との関連度に応じた副
画像に加え、ランダムに選択した副画像も併せて表示し
てなることによって上記の目的を達成する。
【0015】この発明(請求項6)に係る画像検索方法
によれば、前記副表示領域に表示する副画像の数を設定
する副画像数設定ステップを備え、前記副画像表示ステ
ップが、当該副画像数設定ステップにより設定された数
に応じた大きさで各副画像を表示してなることによって
上記の目的を達成する。
【0016】この発明(請求項7)に係る画像検索方法
は、前記関連度計算ステップにより算出された主画像と
の関連度に応じて環状のリストを計算する環状リスト計
算ステップと、当該環状リスト計算ステップにより算出
された環状リスト中の任意の位置を原点画像位置として
記憶装置に記憶する原点画像位置記憶ステップと、を備
え、前記副画像表示ステップが、前記環状リスト中の原
点画像位置から主画像との関連度の順に応じて各副画像
を表示してなることによって上記の目的を達成する。
【0017】この発明(請求項8)に係る画像検索方法
は、前記原点画像位置を一定期間毎に環状リスト中の次
の位置に更新する原点画像更新ステップと、を備え、副
表示領域に表示される画像を一定期間毎に移動させてな
ることによって上記の目的を達成する。
【0018】この発明(請求項9)に係る画像検索方法
は、前記主表示領域に表示された画像を主画像更新履歴
として順次、前記記憶装置に記憶する主表示領域履歴記
憶ステップと、前記主画像更新履歴に記憶された画像を
主表示領域又は副表示領域に表示する主画像更新履歴画
像表示ステップとを、備え、前記主画像更新履歴画像表
示ステップが、任意のタイミングで前記主画像更新履歴
に記憶された画像を表示させてなることによって上記の
目的を達成する。
【0019】この発明(請求項10)に係る画像検索方
法は、前記関連度計算ステップが、前記主画像更新履歴
に記憶された画像の付随情報と、記憶装置に記憶された
当該画像以外の画像の付随情報との関連度を計算してな
ることによって上記の目的を達成する。
【0020】この発明(請求項11)に係る画像検索方
法は、前記主表示領域又は副表示領域に表示された所望
の画像を選択して登録画像とする画像登録ステップと、
を備えてなることによって上記の目的を達成する。
【0021】この発明(請求項12)に係る画像検索方
法は、前記登録画像を、前記副表示領域の一部又は登録
画像表示領域に表示する登録画像表示ステップと、を備
えてなることことによって上記の目的を達成する。
【0022】この発明(請求項13)に係る画像検索方
法は、前記関連度計算ステップが、前記登録画像当該関
心画像記憶ステップに記憶された画像の付随情報と、前
記記憶装置に記憶された画像の付随情報との関連度を計
算するものであり、前記登録画像表示ステップは、前記
関連度計算ステップで算出された関連度に応じて登録画
像を副表示領域の一部又は登録画像表示領域に表示して
なることによって上記の目的を達成する。
【0023】この発明(請求項14)に係る画像検索装
置は、請求項1乃至13のいずれかに記載の画像検索方
法を用い、記憶手段に多数の画像及び各画像付随した情
報が記憶され、前記記憶手段から画像を検索し表示する
画像検索装置であって、前記記憶手段から任意の画像を
主画像として選択し、主表示領域に表示する主画像表示
手段と、前記主画像に付随した情報を取り出す主画像付
随情報取り出し手段と、取り出された主画像付随情報
と、記憶装置に記憶された主画像以外の画像付随情報と
の関連度を計算する関連度計算手段と、計算された付随
情報の関連度の順に応じて、対応する画像を副画像とし
て副表示領域に表示する副画像表示手段と、前記副画像
から所望の画像を選択し、新たな主画像とする主画像選
択手段と、を少なくとも備え、選択された主画像に応じ
て、副画像が更新されてなることによって上記の目的を
達成する。
【0024】この発明(請求項15)に係る記録媒体
は、コンピュータを、記憶手段に多数の画像及び各画像
付随した情報が記憶され、前記記憶手段から画像を検索
し表示する手段として機能させるための、画像検索プロ
グラムを記録したコンピュータ読み取り可能な記録媒体
であって、前記記憶手段から任意の画像を主画像として
選択し、主表示領域に表示する主画像表示手段と、前記
主画像に付随した情報を取り出す主画像付随情報取り出
し手段と、取り出された主画像付随情報と、記憶装置に
記憶された主画像以外の画像付随情報との関連度を計算
する関連度計算手段と、計算された付随情報の関連度の
順に応じて、対応する画像を副画像として副表示領域に
表示する副画像表示手段と、前記副画像から所望の画像
を選択し、新たな主画像とする主画像選択手段と、を実
現させるための画像検索プログラムを記録したことによ
って上記の目的を達成する。
【0025】以下、本発明の作用を記載する。
【0026】この発明(請求項1、14、15)によれ
ば、主表示領域に表示されている画像に関連する画像が
副表示領域に選択候補として表示され、副表示領域に表
示された画像を選択して主表示領域に表示することによ
って、新たに主表示領域に表示した画像に関連する画像
が副表示領域に表示されるので、関連する画像を見なが
ら連想的に探すことができる。
【0027】この発明(請求項2)によれば、前記主表
示領域に表示されている画像と副表示領域に表示されて
いる画像との関連度が色で示されるので、ユーザは直感
的に関連の程度を認識することができる。
【0028】この発明(請求項3)によれば、前記主表
示領域に表示されている画像と副表示領域に表示されて
いる画像との関連度が副表示領域中の位置で示されるの
で、ユーザは直感的に関連の程度を認識することができ
る。
【0029】この発明(請求項4)によれば、前記主表
示領域に表示されている画像と副表示領域に表示されて
いる画像との関連度が副表示領域中の表示画像の大きさ
で示されるので、ユーザは直感的に関連の程度を認識す
ることができる。
【0030】この発明(請求項5)によれば、前記副表
示領域に表示される画像の数をユーザが変更できるの
で、ユーザは少ない関連画像を大きな画像で見たり小さ
な画像でより多くの関連画像を見たりすることができ、
画像の検索がより容易となる。
【0031】この発明(請求項6)によれば、前記主表
示領域に表示されている画像に関連の高い画像だけでな
く関連の低い画像も併せて副表示領域に表示されるの
で、ユーザは意図しなかった画像を発見して検索してい
くことが可能となる。
【0032】この発明(請求項7)によれば、前記副表
示領域に表示される画像が関連度に応じて環状に並べて
表示されるので、ユーザは関連の高い画像から関連の低
い画像まで連続的に検索することができる。
【0033】この発明(請求項8)によれば、前記副表
示領域に表示される画像が自動的に更新されるので、ユ
ーザは自動的に提示される画像から所望の画像に近い画
像を見付だして更により所望の画像を検索することがで
きる。
【0034】この発明(請求項9)によれば、前記主表
示領域に表示された画像の履歴を辿ることができるの
で、ユーザは一旦検索した画像を再度確認することがで
きる。
【0035】この発明(請求項10)によれば、ユーザ
は今までに見た画像に関連のある画像を副表示領域に表
示するので、ユーザの嗜好に合った画像を提示すること
ができる。
【0036】この発明(請求項11)によれば、ユーザ
は表示されている画像に対して関心のある画像であるこ
とを設定して記憶するので、検索の過程で気になる画像
を一旦保留して別の検索を行うことができる。
【0037】この発明(請求項12)によれば、表示さ
れている画像を登録画像表示領域に表示しておくことが
できるので、ユーザは検索の過程で気になる画像を一旦
保留して別の検索を行い、その途中で保留した画像と比
較したり、保留した画像から改めて検索を行うことが容
易となる。
【0038】この発明(請求項13)によれば、登録さ
れた画像と関連のある画像を副表示領域に表示するの
で、特別な操作をすることなくユーザの嗜好にあった画
像を提示することができる。
【0039】
【発明の実施の形態】以下、本発明の一実施例を図面を
参照して詳細に説明する。
【0040】図1は本発明の画像検索方法を実施した画
像検索装置のブロック図である。同図において101は
記憶装置、102は演算処理装置、103は表示装置、
104は入力装置である。記憶装置101は磁気ディス
クや光ディスクやメモリ等で構成される。演算処理装置
102はMPU・RAM・ROM等で構成され、処理の
制御及び記憶装置101、表示装置103、画像選択装
置104の制御を行う。表示装置103はCRTや液晶
ディスプレイ等で構成されており、画像や情報の表示を
行う。入力装置104はキーボードやマウス等の入力装
置で構成されており、表示装置に表示された画像を選択
するなどの本装置に対する各種の入力を行うために用い
る。
【0041】画像検索プログラムは、磁気テープ又はC
D−ROM等の記録媒体によって供給される。画像検索
プログラムはコンピュータ本体によって実行され、操作
者は表示装置103を見ながら、入力装置104を操作
することによって画像検索を行う。また、画像検索プロ
グラムは他のコンピュータより通信回路を経由し、通信
モデムを介してコンピュータ本体に供給されてもよい。
【0042】更に、記憶装置101には、画像を記憶す
る画像記憶部105と、それぞれの画像に対応して付随
する情報を記憶する情報記憶部106が設けられてい
る。画像記憶部105に記憶される画像は静止画や動画
データの他、テレビ放送などのリアルタイムに配送され
る画像を一旦読み込んだものでもよい。情報記憶部10
6に記憶される情報についても同様にリアルタイムに配
送される情報を読み込んだものでも良い。
【0043】演算処理装置102には、画像記憶部10
5に記憶されている画像のうち主表示領域111に表示
すべき画像を主画像として管理し主表示領域111に該
主画像を表示する主画像表示部107、画像記憶部10
5に記憶されている画像のうち副表示領域112に表示
すべき画像を副画像として管理し副表示領域112に該
副画像を表示する副画像表示部108、画像記憶部10
5に記憶されている画像に対して付随する情報を情報記
憶部106から得る付随情報取得部109、付随情報取
得部109で得られた付随情報間の関連度を計算する関
連度計算部110が設けられている。
【0044】表示領域103には、主画像表示部107
に管理されている主画像が表示される主表示領域11
1、副画像表示部112に管理されている副画像が表示
される副表示領域112が設けられている。
【0045】図2は本発明の画像検索方法の処理全体の
大まかな流れを示すものである。
【0046】まず表示のための初期化処理を行う(st
ep101)。ここでは主画像表示部107に初期の主
画像として表示する画像を、副画像表示部108に初期
の副画像として表示する画像を、それぞれ設定する。初
期の副画像を設定するには後述の副画像選択処理(st
ep108)と同じ処理を行ってもよい。次に、主画像
表示部107に設定されている画像を主画像表示領域1
11に表示する(step102)。主画像表示部10
7では表示すべき画像のインデックスを管理し、実際に
表示する際に画像の実データを画像記憶部105から読
み込むようにしてもよい。
【0047】次に、副画像表示部108に設定されてい
る画像を副画像表示領域112に表示する(step1
03)。step102と同様に、副画像表示部107
では表示すべき画像のインデックスを管理し、実際に表
示する際に画像の実データを画像記憶部105から読み
込むようにしてもよい。次に、入力装置104によるユ
ーザの入力の処理を行う(step104)。
【0048】次に、入力処理step104において主
画像を別の画像に置き換える入力があったかどうかを判
定する(step105)。主画像が更新されていれば
step106に進む。主画像が更新されていなければ
step108に進む。step105において主画像
が更新されていた場合、主画像表示部107で管理して
いる主画像をstep104で置き換えられた画像に更
新し(step106)、副画像表示部108で管理し
ている副画像を更新する(step107)。副画像選
択処理step107の詳細は後述する。次に、ユーザ
が終了処理を行ったかどうかを判定する(step10
8)。終了しない場合はstep102に戻る。
【0049】図3は図2におけるstep107の処理
を詳細に説明するためのものである。
【0050】まず主画像に付随する情報を取得する(s
tep201)。ここで付随する情報とは画像記憶部1
05に記憶されている主画像に対応して情報記憶部10
6に記憶されている文字列や数値などの各種情報でもよ
いし、画像データを処理して得られた情報、例えば画像
中に用いられている色調に関する情報や画像中に含まれ
る物体を認識した結果などでもよい。次に、カウンタi
を1に初期化する(step202)。次に、画像記憶
部105に記憶されている画像のうちi番目の画像に付
随する情報を取得する(step203)。
【0051】次に、step201で取得された主画像
に付随する情報とstep203で取得されたi番目の
画像に付随する情報との関連度を計算し、iの値とセッ
トでリストに記憶する(step204)。関連度の計
算については後述する。次に、iの値に1を加算する
(step205)。次に、iの値が画像記憶部105
に記憶されている全画像の個数より大きいかどうかを判
定する(step206)。
【0052】iが全画像の個数よりも大きければ次の処
理に移る。そうでなければstep203〜step2
06を繰り返す。次に、step204で記憶された関
連度のリストを関連度の大きい順にソートする(ste
p207)。この時セットで記憶されているiの値もソ
ートされるので、この処理により全画像が主画像に関連
する順にソートされることになる。次に、step20
7でソートされた順に対応する画像を副画像表示部に設
定する(step208)。ここで設定する画像は副画
像表示部に表示される画像の個数だけ設定しても良い
し、後の表示個数の変更のためにすべての画像を設定す
るようにしても良い。
【0053】次に図4〜図8を参照して本発明の画像検
索方法を用いた検索例を示す。
【0054】図4は表示画面の一例を示した図である。
表示画面は主表示領域111と副表示領域112から構
成される。主表示領域111には現在ユーザが着目して
いる画像が大きく表示されている。副表示領域112に
は主表示領域111に表示されている画像に関連する画
像が、この図では6つ表示されている。
【0055】図5は別の表示画面の一例を示した図であ
る。図4と同様に表示画面は主表示領域111と副表示
領域112から構成される。この例では副表示領域11
2は主表示領域111の周囲に配置されており、12の
主表示領域111に表示されている画像に関連する画像
が表示されている。
【0056】図4あるいは図5において副表示領域11
2に表示される画像に、主表示領域に表示されている画
像との関連度を表す数値を併せて表示しても良い。
【0057】図6〜図8は図4の状態から関連する画像
を検索する操作の一例を示すものである。
【0058】まず入力装置104を用いて副表示領域1
12に表示されている画像の中から興味のある画像を選
択する(図6)。このとき副表示領域112に興味のあ
る画像が表示されていなければ表示切り替えを行って別
の画像が副表示領域112に表示されるようにすればよ
い。
【0059】次に選択した画像を主表示領域111に移
動させる(図7)。この操作は一般的に「drag&d
rop」として知られる操作である。
【0060】以上の操作の結果、図2におけるstep
105にて主画像が変更されたと判断され、step1
06およびstep107の処理により主画像表示領域
111には図6で選択された画像が表示され、副画像表
示領域112には新たに主画像表示領域111に表示さ
れた画像に関連する画像が表示される(図8)。
【0061】画像の選択や主画像の更新操作は現在の選
択画像を示す目印と選択画像を変更するカーソル移動キ
ーと主画像の更新を指示する操作ボタンによる操作でも
よい。
【0062】図9は情報記憶部106に記憶されてい
る、それぞれの画像に付随する情報の例を示すものであ
る。以下図9を参照して関連度計算部110における図
3のstep204での関連度の計算の一例を示す。
【0063】図9では、画像記憶部105に記憶されて
いるそれぞれの画像に付せられた管理番号(ID)、画
像の内容を表すキーワード、画像を撮影した日時、など
がセットで記憶されている。
【0064】図9においてキーワードのみを使用して関
連度を計算する例を示す。関連度αを以下の式で算出す
るとする。
【0065】αi,j = Nshared / Nunique ここで、αi,jはi番目とj番目との関連度、Nshared
はi番目とj番目で両方に含まれるキーワードの個数、
uniqueはi番目とj番目に含まれるキーワードの全種
類の個数、であり、0≦αi,j≦1となる。例えばID
=1と4の場合、i番目とj番目で両方に含まれるキー
ワードは{砂丘,青空}なのでNshared=2、i番目と
j番目に含まれるキーワードの種類は{海岸,砂丘,人
々,青空,駱駝}なのでNunique=5となり、α1,5
2/5=0.4となる。
【0066】以上の例ではキーワードのみを関連度の計
算に使用したが、この他にも撮影日時を数値化して差に
定数を乗じた値を関連度に加えてもよい。また、これら
以外の数値データを関連度の算出に加味することも可能
であるし、キーワードの比較による関連度の計算におい
てキーワード間の意味の近さを数値化して表現したテー
ブルを用意しておき、それを参照して関連度を計算する
ことも可能である。また、複数のデータ種を用いて関連
度の計算を行う際に、データ種毎に関連度に寄与する度
合いを設定しておいてもよい。この度合いをユーザが設
定できるようにすれば、例えば画像の内容を重視するよ
うに設定したり、撮影した時刻を重視するように設定す
るなど、状況に応じて関連画像を探すためにどのような
データの種類を重視するかを設定できることになる。
【0067】図10は請求項2の本発明の表示画面の一
例を示した図である。この図では副表示領域112に表
示される画像の周囲に関連度に応じた色の枠201が表
示されている。例えば0≦α≦1の関連度αに対して、
赤色成分Cr、緑色成分Cg、青色成分Cbが Cr=Cg=Cb=1−α となるようにすると関連度の高いほど黒く、低いほど白
い枠となる。
【0068】図11は請求項3の本発明の表示画面の一
例を示した図である。この図では副表示領域112は関
連度を位置で表しており、位置に応じた関連度を示すた
めの目印202、表示される関連度の範囲を制御するた
めのスライダ203が表示されている。目印202やス
ライダ203は一般的なGUI(GraphicalU
ser Interface)部品である。副表示領域
112に表示される画像はその関連度に応じた位置に表
示される。
【0069】図12は請求項4の本発明の表示画面の一
例を示した図である。この図では副表示領域112に表
示される画像は関連度の順位に応じて大きさを変えて表
示している。
【0070】図13は請求項7の本発明の表示画面の一
例を示した図である。この図では副表示領域112に表
示される画像は「コ」の字型に配置されている。ここ
で、副表示領域112に表示されるべき画像は図14の
点線で示すように仮想的に環状のリストをなすように並
んでおり、その一部の実線で示す部分が図13のように
実際に表示されていると考える。
【0071】更に、図14の環状に配置される副表示領
域112の一方の端が主表示領域111に表示されてい
る画像に関連度の高い画像、その反対の端が関連度の低
い画像が配置されるようにし、ユーザの操作によりこの
環状のリストを回すようにして表示される範囲にある画
像を変更することによって、ユーザは関連の高い画像か
ら低い画像までを直感的に一覧することができる。
【0072】この際、各画像には図10のように関連度
に応じた色の枠を表示すればより直感的に一覧すること
が可能となる。また、この環状のリストが一定時間毎に
回るように表示される範囲にある画像を自動的に変更す
るとユーザは自ら操作することなく気に入った画像が表
示されたときに図6〜図8で説明したのと同様の操作を
行うことで関連する画像を辿るように探していくことが
できる。
【0073】図15は本発明の画像検索方法のもう一つ
の実施例のブロック図である。図1に加え、記憶装置1
01には、登録された画像を記憶する登録画像記憶部1
13が、演算処理装置102には、登録画像記憶部11
3に記憶された画像を副表示領域112に表示する登録
画像表示部114が、それぞれ設けられている。
【0074】図16は本発明の画像検索方法のもう一つ
の実施例の処理全体の大まかな流れを示すものである。
【0075】step301〜step307の処理は
図2におけるstep101〜step107の処理と
それぞれ同じである。
【0076】次に、入力処理step304において主
画像ないしは副画像のうちいづれかを選択して登録画像
に加えるための入力があったかどうかを判定する(st
ep308)。登録画像に加えるための入力があればs
tep309に進む。なければstep310に進む。
step308において登録画像に加えるための入力が
あった場合、選択された画像を登録画像記憶部113に
記憶して登録画像表示部114により副表示領域の一部
に登録画像を表示し(step309)。次に副画像表
示部108で管理している副画像を更新する(step
307)。
【0077】次に、入力処理step304において副
画像表示領域112に表示されている登録画像のうちい
づれかを選択して登録画像を解除する入力があったかど
うかを判定する(step310)。登録画像を解除す
るための入力があればstep311に進む。なければ
step312に進む。step310において登録画
像を解除するための入力があった場合、選択された画像
を登録画像記憶部113から解除して登録画像表示部1
14により副表示領域の一部に表示される登録画像を更
新し(step311)。次に副画像表示部108で管
理している副画像を更新する(step307)。
【0078】図17〜図21を用いて動作例を説明す
る。図17の状態で、登録ボタンを押すなどの操作によ
ってマウスカーソル104が指し示している画像を登録
すると、図18のように副画像表示領域102の一部に
登録画像301が登録画像であることを示す枠つきで表
示される。同様の操作を繰り返すと図19のように順次
登録画像301が追加される。この状態で図20のよう
に主画像111を置き換える操作を行うと、図21のよ
うに登録画像301以外の副画像表示領域112に表示
される画像が更新される。
【0079】
【発明の効果】以上のように、本発明の画像検索方法に
よれば、注目する画像に関連する画像が併せて表示さ
れ、その中から気に入った画像を探したり、更にその気
に入った画像を主画像に置き換えると関連する画像も更
新されていくので、検索したい画像が明確でない場合で
も気に入った画像を辿るようにして所望の画像を検索す
ることができる。
【0080】本発明はまた、主画像に関連する度合いを
色や表示位置や画像の大きさで示すことによって、どの
程度の関連があるのかをユーザは直感的に知ることがで
きる。
【0081】本発明はまた、主画像に関連する画像に加
えてランダムに選択された画像も併せて表示することに
よって、ユーザの予期しなかった画像から気に入った画
像を探し出す可能性があるという機能を提供できる。
【0082】本発明はまた、副表示領域に表示する画像
の数を変更することによって、表示される主画像に関連
する画像の数を変更できるので、沢山の関連画像を小さ
く表示して多くの中から探し、ある程度絞り込んでから
関連画像を少なくして大きく表示して内容を確認するこ
とができる。
【0083】本発明はまた、関連する画像を環状に並べ
て表示することによって、関連画像を直感的に探すこと
ができ、更に環状に並べられた関連画像を回転させるよ
うに更新していくことで、ユーザは自ら操作しなくても
気に入った画像が表示されたらそれを取り出して更に関
連画像を探すことができる。
【0084】本発明はまた、表示されている画像を選択
して登録し登録された画像を表示しておくことによっ
て、検索の途中で気になった画像を残しておいてあとで
参照することができる。
【0085】本発明はまた、主画像表示領域に表示され
た画像を順次記憶しておき後でその更新履歴を確認する
ことができるので、一旦見た画像を後で呼び出すことが
容易になる。
【0086】本発明はまた、登録された関心のある画像
や、一旦登録保持された画像や、主画像に表示された画
像に関連する画像を併せて表示することによって、ユー
ザの興味のある画像に関連する画像をユーザに提示する
ことができる。
【図面の簡単な説明】
【図1】本発明の一実施例のブロック図である。
【図2】本発明の一実施例の処理全体を示すフローチャ
ートである。
【図3】本発明の一実施例で処理の詳細を示すフローチ
ャートである。
【図4】本発明の一実施例の表示例を示す図である。
【図5】本発明の一実施例の表示例を示す図である。
【図6】本発明の一実施例の操作例を示す図である。
【図7】本発明の一実施例の操作例を示す図である。
【図8】本発明の一実施例の操作例を示す図である。
【図9】本発明の一実施例での画像に付随する情報の例
を示す図である。
【図10】本発明の一実施例の表示例を示す図である。
【図11】本発明の一実施例の表示例を示す図である。
【図12】本発明の一実施例の表示例を示す図である。
【図13】本発明の一実施例の表示例を示す図である。
【図14】本発明の一実施例の表示例を詳細に説明する
ための図である。
【図15】本発明の別の実施例のブロック図である。
【図16】本発明の別の実施例の処理全体を示すフロー
チャートである。
【図17】本発明の別の実施例の操作例を示す図であ
る。
【図18】本発明の別の実施例の操作例を示す図であ
る。
【図19】本発明の別の実施例の操作例を示す図であ
る。
【図20】本発明の別の実施例の操作例を示す図であ
る。
【図21】本発明の別の実施例の操作例を示す図であ
る。
【図22】従来の画像検索システムを説明する図であ
る。
【符号の説明】
101 記憶装置 102 演算処理装置 103 表示装置 104 入力装置 105 画像記憶部 106 情報記憶部 107 主画像表示部 108 副画像表示部 109 付随情報取得部 110 関連度計算部 111 主表示領域 112 副表示領域 113 登録画像記憶部 114 登録画像表示部 201 関連度に応じた色の枠 202 関連度を示す目印 203 スライダ 301 登録画像

Claims (15)

    【特許請求の範囲】
  1. 【請求項1】 記憶装置に複数の画像及び各画像に付随
    した情報が記憶され、前記記憶装置から画像を検索し表
    示する画像検索方法であって、 前記記憶装置から任意の画像を主画像として選択し、主
    表示領域に表示する主画像表示ステップと、 前記主画像に付随した情報を取り出す主画像付随情報取
    り出しステップと、 取り出された主画像付随情報と、記憶装置に記憶された
    主画像以外の画像付随情報との関連度を計算する関連度
    計算ステップと、 計算された付随情報の関連度の順に応じて、対応する画
    像を副画像として副表示領域に表示する副画像表示ステ
    ップと、 前記副画像から所望の画像を選択し、新たな主画像とす
    る主画像選択ステップと、を少なくとも備え、 選択された主画像に応じて、副画像が更新されてなるこ
    とを特徴とする画像検索方法。
  2. 【請求項2】 前記関連度計算ステップにより算出され
    た主画像との関連度に応じて色を計算する色計算ステッ
    プを備え、 前記副画像表示ステップは、当該色計算ステップにより
    算出された色を目印として各副画像に併せて表示してな
    ることを特徴とする請求項1に記載の画像検索方法。
  3. 【請求項3】 前記関連度計算ステップにより算出され
    た主画像との関連度に応じて表示座標を計算する表示座
    標計算ステップを備え、 前記副画像表示ステップは、当該表示座標計算ステップ
    により算出された表示座標に応じて各副画像を表示して
    なることを特徴とする請求項1、又は2に記載の画像検
    索方法。
  4. 【請求項4】 前記関連度計算ステップにより算出され
    た主画像との関連度に応じて表示サイズを計算する表示
    サイズ計算ステップを備え、 前記副画像表示ステップは、当該表示サイズ計算ステッ
    プにより算出されたサイズに応じて各副画像を表示して
    なることを特徴とする請求項1乃至3のいずれかに記載
    の画像検索方法。
  5. 【請求項5】 前記副画像表示ステップは、前記関連度
    計算ステップにより算出された主画像との関連度に応じ
    た副画像に加え、ランダムに選択した副画像も併せて表
    示してなることを特徴とする請求項1乃至4のいずれか
    に記載の画像検索方法。
  6. 【請求項6】 前記副表示領域に表示する副画像の数を
    設定する副画像数設定ステップを備え、 前記副画像表示ステップは、当該副画像数設定ステップ
    により設定された数に応じた大きさで各副画像を表示し
    てなることを特徴とする請求項1乃至5のいずれかに記
    載の画像検索方法。
  7. 【請求項7】 前記関連度計算ステップにより算出され
    た主画像との関連度に応じて環状のリストを計算する環
    状リスト計算ステップと、 当該環状リスト計算ステップにより算出された環状リス
    ト中の任意の位置を原点画像位置として記憶装置に記憶
    する原点画像位置記憶ステップと、を備え、 前記副画像表示ステップは、前記環状リスト中の原点画
    像位置から主画像との関連度の順に応じて各副画像を表
    示してなることを特徴とする請求項1乃至6のいずれか
    に記載の画像検索方法。
  8. 【請求項8】 前記原点画像位置を一定期間毎に環状リ
    スト中の次の位置に更新する原点画像更新ステップと、
    を備え、 副表示領域に表示される画像を一定期間毎に移動させて
    なることを特徴とする請求項7に記載の画像検索方法。
  9. 【請求項9】 前記主表示領域に表示された画像を主画
    像更新履歴として順次、前記記憶装置に記憶する主表示
    領域履歴記憶ステップと、 前記主画像更新履歴に記憶された画像を主表示領域又は
    副表示領域に表示する主画像更新履歴画像表示ステップ
    とを、備え、 前記主画像更新履歴画像表示ステップは、任意のタイミ
    ングで前記主画像更新履歴に記憶された画像を表示させ
    てなることを特徴とする請求項1乃至8のいずれかに記
    載の画像検索方法。
  10. 【請求項10】 前記関連度計算ステップは、前記主画
    像更新履歴に記憶された画像の付随情報と、記憶装置に
    記憶された当該画像以外の画像の付随情報との関連度を
    計算してなることを特徴とする請求項9に記載の画像検
    索方法。
  11. 【請求項11】 前記主表示領域又は副表示領域に表示
    された所望の画像を選択して登録画像とする画像登録ス
    テップと、を備えてなることを特徴とする請求項1乃至
    10のいずれかに記載の画像検索方法。
  12. 【請求項12】 前記登録画像を、前記副表示領域の一
    部又は登録画像表示領域に表示する登録画像表示ステッ
    プと、を備えてなることを特徴とする請求項11に記載
    の画像検索方法。
  13. 【請求項13】 前記関連度計算ステップは、前記登録
    画像当該関心画像記憶ステップに記憶された画像の付随
    情報と、前記記憶装置に記憶された画像の付随情報との
    関連度を計算するものであり、 前記登録画像表示ステップは、前記関連度計算ステップ
    で算出された関連度に応じて登録画像を副表示領域の一
    部又は登録画像表示領域に表示してなることを特徴とす
    る請求項12に記載の画像検索方法。
  14. 【請求項14】 請求項1乃至13のいずれかに記載の
    画像検索方法を用い、記憶手段に多数の画像及び各画像
    付随した情報が記憶され、前記記憶手段から画像を検索
    し表示する画像検索装置であって、 前記記憶手段から任意の画像を主画像として選択し、主
    表示領域に表示する主画像表示手段と、 前記主画像に付随した情報を取り出す主画像付随情報取
    り出し手段と、 取り出された主画像付随情報と、記憶装置に記憶された
    主画像以外の画像付随情報との関連度を計算する関連度
    計算手段と、 計算された付随情報の関連度の順に応じて、対応する画
    像を副画像として副表示領域に表示する副画像表示手段
    と、 前記副画像から所望の画像を選択し、新たな主画像とす
    る主画像選択手段と、を少なくとも備え、 選択された主画像に応じて、副画像が更新されてなるこ
    とを特徴とする画像検索装置。
  15. 【請求項15】 コンピュータを、記憶手段に多数の画
    像及び各画像付随した情報が記憶され、前記記憶手段か
    ら画像を検索し表示する手段として機能させるための、
    画像検索プログラムを記録したコンピュータ読み取り可
    能な記録媒体であって、 前記記憶手段から任意の画像を主画像として選択し、主
    表示領域に表示する主画像表示手段と、 前記主画像に付随した情報を取り出す主画像付随情報取
    り出し手段と、 取り出された主画像付随情報と、記憶装置に記憶された
    主画像以外の画像付随情報との関連度を計算する関連度
    計算手段と、 計算された付随情報の関連度の順に応じて、対応する画
    像を副画像として副表示領域に表示する副画像表示手段
    と、 前記副画像から所望の画像を選択し、新たな主画像とす
    る主画像選択手段と、を実現させるための画像検索プロ
    グラムを記録したコンピュータ読み取り可能な記録媒
    体。
JP01375798A 1998-01-27 1998-01-27 画像検索方法、画像検索装置、及び画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体 Expired - Lifetime JP4021025B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP01375798A JP4021025B2 (ja) 1998-01-27 1998-01-27 画像検索方法、画像検索装置、及び画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01375798A JP4021025B2 (ja) 1998-01-27 1998-01-27 画像検索方法、画像検索装置、及び画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JPH11212991A true JPH11212991A (ja) 1999-08-06
JP4021025B2 JP4021025B2 (ja) 2007-12-12

Family

ID=11842132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01375798A Expired - Lifetime JP4021025B2 (ja) 1998-01-27 1998-01-27 画像検索方法、画像検索装置、及び画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
JP (1) JP4021025B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344281A (ja) * 2000-03-31 2001-12-14 Matsushita Electric Works Ltd カタログ画像データ提供システム及びカタログ画像データ提供方法
JP2004259057A (ja) * 2003-02-26 2004-09-16 Intec Web & Genome Informatics Corp 情報検索装置、情報検索方法、及び情報検索プログラム
JP2007206919A (ja) * 2006-02-01 2007-08-16 Sony Corp 表示制御装置および方法、プログラム、並びに記録媒体
JP2007256310A (ja) * 2006-03-20 2007-10-04 Seiko Epson Corp 画像表示システムおよびサーバ装置
JP2007295212A (ja) * 2006-04-25 2007-11-08 Fujifilm Corp 画像再生装置ならびにその制御方法およびその制御プログラム
US7634141B2 (en) 2003-07-11 2009-12-15 Sony Corporation Information processing apparatus, method and program
JP2010085748A (ja) * 2008-09-30 2010-04-15 Canon Inc 画像表示装置、画像表示システム及び画像表示方法
WO2011078174A1 (ja) * 2009-12-24 2011-06-30 株式会社ニコン 検索支援システム、検索支援方法及び検索支援プログラム
JP2012003427A (ja) * 2010-06-15 2012-01-05 Toshiba Corp 電子機器及び画像処理方法
WO2014024533A1 (ja) * 2012-08-08 2014-02-13 ソニー株式会社 情報処理装置および記録媒体
CN106021587A (zh) * 2016-06-03 2016-10-12 北京小米移动软件有限公司 页面更新的方法、装置及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04333168A (ja) * 1991-05-08 1992-11-20 Mitsubishi Electric Corp 図形検索装置
JPH07160731A (ja) * 1993-12-09 1995-06-23 Canon Inc 画像検索方法及びその装置
JPH07239856A (ja) * 1994-02-25 1995-09-12 Canon Inc 画像検索方法および装置
JPH08263477A (ja) * 1995-03-23 1996-10-11 Matsushita Electric Ind Co Ltd 文書表示装置および文書表示方法
JPH08287086A (ja) * 1995-04-13 1996-11-01 Nippon Telegr & Teleph Corp <Ntt> 適合度順画像強調表示方法及び装置
JPH08339375A (ja) * 1995-06-09 1996-12-24 Sharp Corp データ検索装置
JPH09204440A (ja) * 1996-01-29 1997-08-05 Fujitsu Ltd 画像検索システム、画像検索方法、及び記録媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04333168A (ja) * 1991-05-08 1992-11-20 Mitsubishi Electric Corp 図形検索装置
JPH07160731A (ja) * 1993-12-09 1995-06-23 Canon Inc 画像検索方法及びその装置
JPH07239856A (ja) * 1994-02-25 1995-09-12 Canon Inc 画像検索方法および装置
JPH08263477A (ja) * 1995-03-23 1996-10-11 Matsushita Electric Ind Co Ltd 文書表示装置および文書表示方法
JPH08287086A (ja) * 1995-04-13 1996-11-01 Nippon Telegr & Teleph Corp <Ntt> 適合度順画像強調表示方法及び装置
JPH08339375A (ja) * 1995-06-09 1996-12-24 Sharp Corp データ検索装置
JPH09204440A (ja) * 1996-01-29 1997-08-05 Fujitsu Ltd 画像検索システム、画像検索方法、及び記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田邊 勝義: "多次元心理空間を用いる類似画像検索法", 電子情報通信学会論文誌, vol. 第J75-D-II巻 第11号, CSNG199800729011, 25 November 1992 (1992-11-25), JP, pages 1856 - 1865, ISSN: 0000788844 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344281A (ja) * 2000-03-31 2001-12-14 Matsushita Electric Works Ltd カタログ画像データ提供システム及びカタログ画像データ提供方法
JP2004259057A (ja) * 2003-02-26 2004-09-16 Intec Web & Genome Informatics Corp 情報検索装置、情報検索方法、及び情報検索プログラム
US7634141B2 (en) 2003-07-11 2009-12-15 Sony Corporation Information processing apparatus, method and program
US8135239B2 (en) 2006-02-01 2012-03-13 Sony Corporation Display control apparatus, display control method, computer program, and recording medium
JP2007206919A (ja) * 2006-02-01 2007-08-16 Sony Corp 表示制御装置および方法、プログラム、並びに記録媒体
JP2007256310A (ja) * 2006-03-20 2007-10-04 Seiko Epson Corp 画像表示システムおよびサーバ装置
US7864196B2 (en) 2006-03-20 2011-01-04 Seiko Epson Corporation Image display system and server device
JP2007295212A (ja) * 2006-04-25 2007-11-08 Fujifilm Corp 画像再生装置ならびにその制御方法およびその制御プログラム
JP2010085748A (ja) * 2008-09-30 2010-04-15 Canon Inc 画像表示装置、画像表示システム及び画像表示方法
WO2011078174A1 (ja) * 2009-12-24 2011-06-30 株式会社ニコン 検索支援システム、検索支援方法及び検索支援プログラム
JP5811849B2 (ja) * 2009-12-24 2015-11-11 株式会社ニコン 検索支援システム、検索支援方法及び検索支援プログラム
US9665894B2 (en) 2009-12-24 2017-05-30 Nikon Corporation Method, medium, and system for recommending associated products
US11250047B2 (en) 2009-12-24 2022-02-15 Nikon Corporation Retrieval support system, retrieval support method and retrieval support program
JP2012003427A (ja) * 2010-06-15 2012-01-05 Toshiba Corp 電子機器及び画像処理方法
WO2014024533A1 (ja) * 2012-08-08 2014-02-13 ソニー株式会社 情報処理装置および記録媒体
EP2884377A4 (en) * 2012-08-08 2016-04-06 Sony Corp INFORMATION PROCESSING DEVICE AND RECORDING MEDIUM
JPWO2014024533A1 (ja) * 2012-08-08 2016-07-25 ソニー株式会社 情報処理装置および記録媒体
CN106021587A (zh) * 2016-06-03 2016-10-12 北京小米移动软件有限公司 页面更新的方法、装置及系统
CN106021587B (zh) * 2016-06-03 2022-02-15 北京小米移动软件有限公司 页面更新的方法、装置及系统

Also Published As

Publication number Publication date
JP4021025B2 (ja) 2007-12-12

Similar Documents

Publication Publication Date Title
US6628313B1 (en) Information retrieval method and apparatus displaying together main information and predetermined number of sub-information related to main information
US6948124B2 (en) Graphical user interface utilizing three-dimensional scatter plots for visual navigation of pictures in a picture database
US7719548B2 (en) Viewing digital images using a floating controller
US8090712B2 (en) Method for navigating large image sets using sort orders
US7705858B2 (en) Techniques for displaying digital images on a display
EP2315111B1 (en) Method and apparatus for browsing media content and executing functions related to media content
US8705897B1 (en) Method and apparatus for archiving and visualizing digital images
US8456488B2 (en) Displaying digital images using groups, stacks, and version sets
US7639254B2 (en) Intuitive hierarchical time-series data display method and system
US7411606B2 (en) Efficient image categorization
US7724978B2 (en) Image processing apparatus, image processing method and image processing program
US20080232686A1 (en) Representative color extracting method and apparatus
US20080229235A1 (en) Variable-speed browsing method for digital images
JPH11212991A (ja) 画像検索方法、画像検索装置、及び画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2020135665A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JPH06162104A (ja) 文書要素の検索装置及び検索方法
CN104917953B (zh) 照片群组产生及操作方法以及使用该方法的装置
JPH10340272A (ja) 類似画像検索装置及び方法
CN113379866A (zh) 一种壁纸设置方法和装置
JPH05282380A (ja) 動画像検索方法
JP2002094898A (ja) 映像記録システムにおける映像データ検索表示方法
CN111614889A (zh) 图像处理装置、图像处理方法及记录介质
JPH10162010A (ja) 文書検索システムにおける参照回数の表示方法
CN110770713A (zh) 文件浏览方法、电子设备、机器可读存储介质
JPH0677261B2 (ja) 文書画像情報の検索方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040811

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070115

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070723

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070925

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070926

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111005

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121005

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131005

Year of fee payment: 6

EXPY Cancellation because of completion of term