JP5345963B2 - 画像イメージを検索するタグデータの生成方法 - Google Patents
画像イメージを検索するタグデータの生成方法 Download PDFInfo
- Publication number
- JP5345963B2 JP5345963B2 JP2010031149A JP2010031149A JP5345963B2 JP 5345963 B2 JP5345963 B2 JP 5345963B2 JP 2010031149 A JP2010031149 A JP 2010031149A JP 2010031149 A JP2010031149 A JP 2010031149A JP 5345963 B2 JP5345963 B2 JP 5345963B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- image tag
- desktop space
- tag data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 51
- 238000012545 processing Methods 0.000 claims description 54
- 239000011159 matrix material Substances 0.000 claims description 51
- 230000010365 information processing Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 description 10
- 238000013480 data collection Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 230000016776 visual perception Effects 0.000 description 4
- 238000005034 decoration Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
図1は、本実施の形態にかかるコンピュータ10のハードウエアの概略の構成を示す機能ブロック図である。コンピュータ10は、ノートブック型パーソナル・コンピュータであってもデスクトップ型パーソナル・コンピュータであってもよく特に限定しない。コンピュータ10は、CPU11、メイン・メモリ13、HDD15、液晶ディスプレイ(LCD)17、内蔵カメラ19、内蔵マイクロフォン21、無線モジュール23、USBポート25、内蔵スピーカ27、およびキーボードやマウスなどの入力デバイス29がバス31に接続されている。バス31は、ノース・ブリッジやサウス・ブリッジなどの複数のチップ・セットを含む。USBポート25には、外付けのLCD、プロジェクタ、外付けマイクロフォン、外付けカメラ、外付けHDD、ブルートゥース(Bluetooth:登録商標)・マウス、光学ディスク・ドライブ(ODD)、血圧計、歩数計、デジタイザまたはオシロスコープなどの外部デバイスを接続することができる。コンピュータ10のハードウエアの構成は周知であるため、個々のデバイスの説明は省略する。
図2は、コンピュータ10の動作状態の一例を示す図である。コンピュータ10では、ユーザの認識のもとで、あるいはユーザが認識していないところでさまざまなプログラムが実行され実行状態を示す情報の一部はLCD17に表示される。ここにプログラムの実行状態を示す情報はコンピュータ10のその時点での動作環境を構成し、CPU11で実行されているプログラムの種類と表示されるアプリケーション・ウインドウの表示内容、USBポート25に接続された外部デバイスの種類と動作状況、およびスピーカ27の音量やLCD17の輝度設定のようなハードウエアの設定状態などを含む。
図3は、本実施の形態にかかる検索システム100のソフトウエアの構成を示す機能ブロック図である。図3は、HDD15およびLCD17以外はすべてソフトウエアの機能ブロックを示している。図3に示すソフトウエアの機能ブロックはHDD15に格納されたプログラムが、メイン・メモリ13にロードされてCPU11で実行されることで形成される。各機能ブロックのソフトウエアは、周知のオペレーティング・システム(OS)および周知のデバイス・ドライバなどと協働して所定の機能を実現する。各機能ブロックは単体のプログラム・モジュールで構成してもよいし、複数の機能ブロックをまとめたプログラム・モジュールで構成してもよい。
図4は、画像タグ生成部104が画像タグデータを生成する手順を示すフローチャートである。図5は、デスクトップ画面に候補文字とマークが表示されている様子を示す図である。ブロック201では、USBポート25にプロジェクタを接続してユーザがプレゼンテーションをしているものとする。コンピュータ10のLCD17には、図5に示すデスクトップ画面150にアプリケーション・ウインドウ151、153が表示されている。アプリケーション・ウインドウ151は、プレゼンテーション支援ソフトウエアにより作成されたものとする。アプリケーション・ウインドウ151、153には、文章が表示されている。
コンピュータ10が図2に示したように動作しているときに連想データ作成部115が作成したメタデータを説明する。時刻t1、t2、t3、t4でそれぞれキャプチャされたファイル名がイメージ#001、イメージ#002、イメージ#003、イメージ#004のデスクトップ空間画像の実データまたはボディ部分が空間画像記録部103に記録され、そのファイル名とHDD15内での記録場所に対するデータ・パスがメタデータの一部として連想データ記録部117に記録される。また、画像タグデータ生成部104により生成されたそれぞれのデスクトップ空間画像に関連する画像タグデータがメタデータの一部として連想データ記録部117に記録される。
つぎにユーザが過去に処理したことがあるとかすかに記憶しているターゲット・ファイルを、デスクトップ空間画像およびメタデータで再現することにより検索を行う手順を説明する。図8は、連想データを蓄積する手順を示すフローチャートで、図9は連想データを利用してターゲット・ファイルを検索する手順を示すフローチャートである。ここに連想データは、イベントごとに作成されたデスクトップ空間画像とそれに関連するメタデータとで構成される。ブロック301でコンピュータ10が動作を開始すると、ユーザは図3に示した検索システム100を実行する。
つぎに、蓄積された連想データを利用して曖昧に記憶しているターゲット・ファイルを検索する手順を、図9を参照して説明する。ユーザは過去にターゲット・ファイルを作成したり、利用したりしたことを漠然と覚えているが、それをHDD15から検索するために必要なファイル名または利用の日時を思い出せない場合がある。たとえば、ユーザはある話し手が過去に話していた特定の内容を録音したことだけをかすかに記憶しており、それをターゲット・ファイルとして検索したいとする。ユーザは録音したときのデスクトップ空間画像は記憶している可能性が高いので、本実施の形態ではターゲット・ファイルに対する既視感を、デスクトップ空間画像とメタデータからなる視覚を通じて認識できる連想データを通じて具現化しターゲット・ファイルの検索範囲を絞り込んでいく。
図4では、デスクトップ画面に書き込まれたマーク157に基づいて画像タグデータを生成した。しかし、空間画像記録部103にはマークを含まないデスクトップ空間画像が記録される場合もある。マークを含まないデスクトップ空間画像にも、ターゲット・ファイルは存在するので、そのようなデスクトップ空間画像に対しても画像タグデータを生成して要素画像が検索結果から脱落しないようにする必要がある。しかも、この場合の画像タグデータもユーザの既視感を再現できるデスクトップ空間画像が検索できるように生成する必要がある。図12は、デスクトップ画面にマークが書き込まれない場合に画像タグデータを作成する手順を示すフローチャートである。
100…検索システム
150…デスクトップ画面
151、153…アプリケーション・ウインドウ
157、157a、615…マーク
155、155a…候補文字
171、173、175…ランキング・マトリクス
180…メタデータ
500…イメージ検索画像
501a、501b、501c、501d、501e…要素画像
503a、503b、503c、503d、503e、601…デスクトップ空間画像
505a、505b、505c、505d、505e…タグクラウド
600…ファイル選択画像
603…動画再生ソフトウエアのアイコン
605…IPアドレス取得ソフトウエアのアイコン
607…心拍数を明示するアイコン
609…プレゼンテーション支援ソフトウエアが作成したアプリケーション・ウインドウ
611…Webブラウザが作成したアプリケーション・ウインドウ
613…マイクロフォン処理ソフトウエアが作成したアプリケーション・ウインドウ
Claims (17)
- ターゲット・ファイルを検索することが可能な情報処理装置であって、
ターゲット・ファイルに帰属するアプリケーション・ウィンドウを含むデスクトップ空間画像を表示するディスプレイと、
前記デスクトップ空間画像の上に第1のアノテーションを書き込む入力部と、
前記第1のアノテーションの位置と前記アプリケーション・ウィンドウに含まれる各文字の位置とに基づいて前記文字を強調表示するための強調データを各文字について生成し、前記文字と前記強調データを含む画像タグデータを生成する画像タグ生成部と、
前記画像タグデータと前記画像タグデータが生成されたときに前記デスクトップ空間画像に表示されていないターゲット・ファイルのタグデータとを含むメタデータを作成する連想データ作成部と、
相互に関連付けられた複数の前記デスクトップ空間画像と複数の前記メタデータを保存するデータ記録部と、
検索された複数の前記画像タグデータと前記デスクトップ空間画像の組の各組について前記デスクトップ空間画像と前記強調データで強調表示された文字を含む要素画像を表示する検索画面処理部と
を有する情報処理装置。 - 前記デスクトップ空間画像に含まれる各文字の座標と前記第1のアノテーションの座標を計算する座標計算部と、
中心の要素に最大の数値を設定し外側に配列された要素に順番に小さな数値を設定したランキング・マトリクスとを有し、
前記画像タグ生成部が、前記第1のアノテーションの座標に前記ランキング・マトリクスの前記中心の要素を設定して前記強調データを生成する請求項1に記載の情報処理装置。 - 前記画像タグ生成部が、所定値以上の重みを有する文字だけを前記画像タグデータとして選択する請求項1または請求項2に記載の情報処理装置。
- 前記デスクトップ空間画像の上に前記入力部を通じて第2のアノテーションが書き込まれ、
前記座標計算部が前記第2のアノテーションの座標を計算し、
前記画像タグ生成部が、前記第1のアノテーションの座標に設定した前記ランキング・マトリクスと前記第2のアノテーションの座標に設定した前記ランキング・マトリクスが重なる領域では前記ランキング・マトリクスの要素の数値を各ランキング・マトリクスの要素に設定された数値の平均値に設定して前記強調データを生成する請求項2または請求項3に記載の情報処理装置。 - 前記画像タグ生成部が、前記第1のアノテーションの座標に設定した前記ランキング・マトリクスと前記第2のアノテーションの座標に設定した前記ランキング・マトリクスが重ならない領域に存在する文字に対しては、近い位置に座標が存在するアノテーションに設定された前記ランキング・マトリクスで前記強調データを生成する請求項4に記載の情報処理装置。
- 前記画像タグ生成部が、前記第1のアノテーションの近傍に存在する文字のフォント・サイズで各文字までの距離または前記ランキング・マトリクスの平面的なサイズを正規化する請求項2から請求項5のいずれかに記載の情報処理装置。
- 前記画像タグ生成部は、前記アプリケーション・ウィンドウに含まれる複数の文字の中から、前記画像タグデータの候補として特定された文字である候補文字についてだけ前記強調データを生成する請求項1から請求項6のいずれかに記載の情報処理装置。
- 前記画像タグ生成部は、前記デスクトップ画面にアノテーションが書き込まれているか否かを判断し、いずれのアノテーションも書き込まれていないと判断したときに前記アプリケーション・ウィンドウが含むいずれかの候補文字を前記画像タグデータとして選択する請求項7に記載の情報処理装置。
- 前記画像タグ生成部は、前記デスクトップ空間画像に対するユーザの視点の座標に最も近い候補文字を前記画像タグデータとして選択する請求項8に記載の情報処理装置。
- 前記画像タグ生成部は、前記デスクトップ空間画像の表示が一定時間以上変化しないときに前記デスクトップ空間画像の中心座標に最も近い候補文字を前記画像タグデータとして選択する請求項8または請求項9に記載の情報処理装置。
- 前記画像タグ生成部は、前記デスクトップ空間画像が含むアプリケーション・ウインドウが複数のフレームで構成されているときに最大フレームの中心座標に最も近い候補文字を前記画像タグデータとして選択する請求項8から請求項10のいずれかに記載の情報処理装置。
- 前記画像タグ生成部は、前記アプリケーション・ウィンドウに表示された複数の文字の中で最もフォント・サイズの大きな候補文字を前記画像タグデータとして選択する請求項8から請求項11のいずれかに記載の情報処理装置。
- 前記画像タグ生成部は、マウス・カーソルの座標に最も近い候補文字を前記画像タグデータとして選択する請求項8から請求項12のいずれかに記載の情報処理装置。
- 前記画像タグ生成部は、前記アプリケーション・ウィンドウに表示された複数の文字の中で所定数以上の文字と色が異なる候補文字を前記画像タグデータとして選択する請求項8から請求項13のいずれかに記載の情報処理装置。
- 前記画像タグ生成部は、前記データ記録部に前回保存されたメタデータを今回関連付けて保存するデスクトップ空間画像に対する画像タグデータとして選択する請求項8から請求項14のいずれかに記載の情報処理装置。
- 前記強調データの大きさに基づく順番に従って前記要素画像を表示する請求項1から請求項15のいずれかに記載の情報処理装置。
- 情報処理装置で使用されたターゲット・ファイルを検索するために、コンピュータに、
ターゲット・ファイルに帰属するアプリケーション・ウィンドウを含むデスクトップ空間画像を表示するステップと、
前記デスクトップ空間画像の上にアノテーションを書き込むステップと、
前記アノテーションの位置と前記アプリケーション・ウィンドウに含まれる各文字の位置とに基づいて前記文字を強調表示するための強調データを各文字について生成するステップと、
前記文字と前記強調データを含む画像タグデータを生成するステップと、
前記画像タグデータと前記画像タグデータが生成されたときに前記デスクトップ空間画像に表示されていないターゲット・ファイルのタグデータとを含むメタデータを作成するステップと、
相互に関連付けられた複数の前記デスクトップ空間画像と複数の前記メタデータを保存するステップと、
検索された複数の前記画像タグデータと前記デスクトップ空間画像の組の各組について前記デスクトップ空間画像と前記強調データで強調表示された文字を含む要素画像を表示するステップと
を有する処理を実行させるためのコンピュータ・プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010031149A JP5345963B2 (ja) | 2010-02-16 | 2010-02-16 | 画像イメージを検索するタグデータの生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010031149A JP5345963B2 (ja) | 2010-02-16 | 2010-02-16 | 画像イメージを検索するタグデータの生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011170418A JP2011170418A (ja) | 2011-09-01 |
JP5345963B2 true JP5345963B2 (ja) | 2013-11-20 |
Family
ID=44684514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010031149A Active JP5345963B2 (ja) | 2010-02-16 | 2010-02-16 | 画像イメージを検索するタグデータの生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5345963B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7511318B2 (ja) | 2017-04-15 | 2024-07-05 | ザ・ボーイング・カンパニー | マグネシウムと、カルシウムと、クロム、マンガン及びジルコニウムのうちの少なくとも1つとを添加したアルミニウム合金、並びにその製造方法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5905678B2 (ja) | 2011-08-03 | 2016-04-20 | 株式会社デンソー | トランシーバ |
EP2962217A4 (en) * | 2013-02-27 | 2016-12-21 | Hitachi Data Systems Corp | CONTENT CLASS FOR AN OBJECT MEMORY INDEXING SYSTEM |
JP6173990B2 (ja) | 2014-09-16 | 2017-08-02 | 株式会社東芝 | 検索支援装置、方法およびプログラム |
US11507216B2 (en) | 2016-12-23 | 2022-11-22 | Realwear, Inc. | Customizing user interfaces of binary applications |
US11099716B2 (en) * | 2016-12-23 | 2021-08-24 | Realwear, Inc. | Context based content navigation for wearable display |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6397213B1 (en) * | 1999-05-12 | 2002-05-28 | Ricoh Company Ltd. | Search and retrieval using document decomposition |
JP2004005314A (ja) * | 2002-06-03 | 2004-01-08 | Matsushita Electric Ind Co Ltd | データ検索システム及び、それに関する、装置または方法または記録媒体またはプログラム |
JP2004185343A (ja) * | 2002-12-04 | 2004-07-02 | Canon Inc | ファイル閲覧装置、ファイル閲覧方法、ファイル閲覧プログラムおよび記憶媒体 |
US7555705B2 (en) * | 2003-09-10 | 2009-06-30 | Microsoft Corporation | Annotation management in a pen-based computing system |
JP2005182460A (ja) * | 2003-12-19 | 2005-07-07 | Canon Inc | 情報処理装置、注釈処理方法、情報処理プログラムおよび情報処理プログラムを格納した記録媒体 |
-
2010
- 2010-02-16 JP JP2010031149A patent/JP5345963B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7511318B2 (ja) | 2017-04-15 | 2024-07-05 | ザ・ボーイング・カンパニー | マグネシウムと、カルシウムと、クロム、マンガン及びジルコニウムのうちの少なくとも1つとを添加したアルミニウム合金、並びにその製造方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2011170418A (ja) | 2011-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7296230B2 (en) | Linked contents browsing support device, linked contents continuous browsing support device, and method and program therefor, and recording medium therewith | |
CN100452036C (zh) | 内容管理系统和内容管理方法 | |
US6859909B1 (en) | System and method for annotating web-based documents | |
JP4701124B2 (ja) | 情報処理装置、情報処理方法 | |
WO2018010530A1 (zh) | 一种对多个多媒体文件的存储、读取和显示方法及装置 | |
JP5720133B2 (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
JP5345963B2 (ja) | 画像イメージを検索するタグデータの生成方法 | |
US20080154869A1 (en) | System and method for constructing a search | |
US10175850B2 (en) | Search inquiry method using contextual annotation | |
JP2008192055A (ja) | コンテンツ検索方法、およびコンテンツ検索装置 | |
JP2008152585A (ja) | 表示画像制御装置及びその制御方法 | |
JP2009200699A (ja) | 画像処理装置および画像処理方法 | |
JP2007510214A (ja) | 検索結果の画面単位の表示 | |
US9009158B2 (en) | Computer capable of retrieving ambiguous information | |
CN110020279A (zh) | 页面数据处理方法、装置及存储介质 | |
JP2010072763A (ja) | デジタルコンテンツ閲覧装置及びデジタルコンテンツ閲覧管理システム | |
JP5196569B2 (ja) | コンテンツ検索装置、コンテンツ検索方法及びプログラム | |
JP2006107020A (ja) | コンテンツ・マネジメント・システム及びコンテンツ・マネジメント方法、並びにコンピュータ・プログラム | |
US20040196306A1 (en) | Method and system for flagging digital ink note content | |
JP2008046879A (ja) | ページ表示装置、ページ表示方法、およびコンピュータプログラム | |
JP2006113976A (ja) | コンテンツ表示装置及びコンテンツ表示方法 | |
JP2004272439A (ja) | ディレクトリ検索方法、ディレクトリ検索装置、記憶媒体及びプログラム | |
JP2006127117A (ja) | Web閲覧操作の記録・再生方法及び装置及びプログラム及びプログラムを格納した記憶媒体 | |
JP2009199164A (ja) | 文書管理装置、文書管理方法及び記録媒体 | |
JP4693167B2 (ja) | 帳票検索装置、帳票検索方法、プログラム及びコンピュータ読み取り可能な記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130523 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130813 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130815 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5345963 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |