JP6522779B2 - 電子写真を表示する方法及び装置並びにモバイルデバイス - Google Patents

電子写真を表示する方法及び装置並びにモバイルデバイス Download PDF

Info

Publication number
JP6522779B2
JP6522779B2 JP2017550602A JP2017550602A JP6522779B2 JP 6522779 B2 JP6522779 B2 JP 6522779B2 JP 2017550602 A JP2017550602 A JP 2017550602A JP 2017550602 A JP2017550602 A JP 2017550602A JP 6522779 B2 JP6522779 B2 JP 6522779B2
Authority
JP
Japan
Prior art keywords
information
key object
electronic picture
picture
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017550602A
Other languages
English (en)
Other versions
JP2018512670A (ja
Inventor
▲遠▼▲ルゥォン▼ ▲張▼
▲遠▼▲ルゥォン▼ ▲張▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2018512670A publication Critical patent/JP2018512670A/ja
Application granted granted Critical
Publication of JP6522779B2 publication Critical patent/JP6522779B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Description

本発明は、写真処理技術に関し、詳細には、電子写真を表示する方法及び装置並びにモバイルデバイスに関する。
電子技術の発展のため、デジタルカメラ及びハンドヘルドデバイス（モバイルフォン又はタブレットコンピュータなど）が広まっている。こうしたデジタル製品を持ち運ぶことは便利であり、デジタル製品により撮られた写真は高品質であって生活の写真撮影要件を完全に満足するため、より多くの人々が上記デバイスを使用して電子写真を撮り、ほとんどあらゆる家族が大量の電子写真を有する。
しかしながら、現在、電子写真は、同期できない固定量の情報を一般に含み、比較的単一の情報が提示される。例えば、電子写真に含まれる情報は、撮影時間、撮影場所背景、及び人物のみ一般に含む。ユーザが電子写真を見るたび、ユーザは固定情報しか目にすることができない。
本発明は、電子写真を表示する方法及び装置並びにモバイルデバイスを提供して、現在の電子写真が固定量の情報を含み、かつ固定かつ単一の情報が提示される問題を解決する。
第１の態様に従い、本発明は、電子写真を表示する方法を提供し、
上記電子写真に含まれるキーオブジェクトを識別するステップと、
少なくとも１回、上記の識別されたキーオブジェクトにマッチする関連情報を取得するステップと、
事前設定された提示方式がトリガされるとき、上記関連情報及び上記電子写真を提示するステップと、
を含む。
第１の態様を参照し、第１の態様の第１のとり得る実施方式において、少なくとも１回、上記識別されたキーオブジェクトにマッチする関連情報を取得する上記ステップは、
規定された期間が満了するとき、上記識別されたキーオブジェクトにマッチする上記関連情報を取得するステップ、又は、
上記識別されたキーオブジェクトにマッチする上記関連情報を取得するように命令するのに使用される命令が検出されるとき、上記識別されたキーオブジェクトにマッチする上記関連情報を取得するステップ、又は、
上記電子写真を見る命令が検出されるとき、上記識別されたキーオブジェクトにマッチする上記関連情報を取得するステップ
を含む。
第１の態様、又は第１の態様の第１のとり得る実施方式を参照し、第１の態様の第２のとり得る実施方式において、上記識別されたキーオブジェクトにマッチする関連情報を取得する上記ステップは、
上記キーオブジェクトを含む電子写真について、上記モバイルデバイスにより提供される電子写真を検索するステップ、及び／又は、
上記キーオブジェクトに連絡先プロファイルピクチャがマッチする連絡先の連絡先情報について、モバイルデバイスにより提供されるアドレス帳を検索するステップ、及び／又は、
発見された連絡先情報に基づいて、上記連絡先情報にマッチする連絡先ステータス情報について、モバイルデバイスにより提供されるサードパーティソーシャルアプリケーションプログラム内の連絡先リストを検索するステップ、及び／又は、
上記キーオブジェクトにマッチする連絡先プロファイルピクチャに対応する連絡先ステータス情報について、モバイルデバイスにより提供されるサードパーティソーシャルアプリケーションプログラム内の連絡先プロファイルピクチャを検索するステップ、及び／又は、
上記キーオブジェクトに含まれるキー情報を識別し、上記キー情報にマッチするファイルについて、モバイルデバイスにより提供されるファイルを検索するステップ、及び／又は、
上記キーオブジェクトに含まれるキー情報を識別し、上記キー情報にマッチする情報について、モバイルデバイスにより提供されるサードパーティ非ソーシャルアプリケーションプログラムを検索するステップ、及び／又は、
上記キーオブジェクトに含まれるキー情報を識別し、インターネットインターフェースを呼び出して上記キー情報にマッチする情報についてインターネットを検索するステップ
を含む。
第１の態様のうちいずれか１つ、又は第１の態様の第１乃至第２のとり得る実施方式を参照し、第１の態様の第３のとり得る実施方式において、上記関連情報のタイプは、下記タイプ：
オーディオ、ビデオ、ピクチャ、テキスト、オーディオリンク、ビデオリンク、ピクチャリンク、テキストリンク、アプリケーションプログラムリンク、又はデバイスアクション、のうち少なくとも１つを含み、
上記デバイスアクションは、下記：振動、画面オフ／オン、又はフラッシング、のうち少なくとも１つを含む。
第１の態様のうちいずれか１つ、又は第１の態様の第１乃至第３のとり得る実施方式を参照し、第１の態様の第４のとり得る実施方式において、上記電子写真に含まれるキーオブジェクトを識別する上記ステップの後、当該方法は、
上記電子写真に含まれる識別された第１のキーオブジェクトが位置するエリアを第１のホットスポットエリアとして分類するステップと、
上記電子写真内の上記第１のホットスポットエリアの位置にマークを付けて、上記第１のホットスポットエリアに対応する位置情報を取得するステップと、
上記識別された第１のキーオブジェクトについて、上記第１のホットスポットエリアの上記位置情報と上記第１のキーオブジェクトのものでありかつ今回取得される関連情報との間のマッピング関係を確立するステップと、
関連付け方式で、上記電子写真と上記第１のキーオブジェクトについて確立される上記マッピング関係とを保存するステップと、
をさらに含み、
上記関連情報及び上記電子写真を提示する上記ステップは、
上記電子写真を提示するステップと、
上記の提示された電子写真に含まれる上記第１のキーオブジェクトがタップされたと検出されるとき、上記第１のキーオブジェクトの上記位置情報を取得するステップと、
上記の取得された位置情報に対応する上記関連情報について上記の記憶されたマッピング関係を検索するステップと、
上記の発見された関連情報を上記電子写真内の指定された位置に提示するステップと、
を含む。
第１の態様のうちいずれか１つ、又は第１の態様の第１乃至第４のとり得る実施方式を参照し、第１の態様の第５のとり得る実施方式において、上記関連情報及び上記電子写真を提示する上記ステップは、
上記関連情報のリンク情報を上記電子写真内の指定された位置に提示し、上記リンク情報がタップされたと検出されるとき、ウィンドウを設定し、上記関連情報を上記ウィンドウに埋め込み、上記電子写真内に、上記関連情報が埋め込まれた上記ウィンドウを提示するステップ、及び／又は、
上記関連情報のリンク情報を上記電子写真内の指定された位置に提示し、上記リンク情報がタップされたと検出されるとき、上記関連情報を提供するアプリケーションプログラムにジャンプするステップ、及び／又は、
上記関連情報を提示のために上記電子写真に埋め込むステップ、及び／又は、
上記関連情報を上記モバイルデバイスの背景に提示するステップ
を含む。
第１の態様のうちいずれか１つ、又は第１の態様の第１乃至第５のとり得る実施方式を参照し、第１の態様の第６のとり得る実施方式において、上記事前設定された提示方式は、下記方式：
上記電子写真を見る命令を受信すること、又は、
上記識別されたキーオブジェクトが位置するホットスポットエリアをタップする命令を検出すること
のうち１つ又は組み合わせを含む。
第１の態様のうちいずれか１つ、又は第１の態様の第１乃至第６のとり得る実施方式を参照し、第１の態様の第７のとり得る実施方式において、上記識別されたキーオブジェクトにマッチする関連情報を取得する上記ステップの前、当該方法は、
上記電子写真が撮られる環境の環境情報を取得するステップ
をさらに含み、
上記識別されたキーオブジェクトにマッチする関連情報を取得する上記ステップは、
上記識別されたキーオブジェクトと上記環境情報との双方にマッチする上記関連情報を取得するステップ
を含む。
第１の態様の第７のとり得る実施方式を参照し、第１の態様の第８のとり得る実施方式において、当該方法は、
上記の取得された環境情報を上記電子写真に提示するステップ
をさらに含む。
第１の態様のうちいずれか１つ、又は第１の態様の第１乃至第８のとり得る実施方式を参照し、第１の態様の第９のとり得る実施方式において、上記キーオブジェクトは、下記オブジェクト：
顔、動物、建物、又は物品
のうち少なくとも１つを含む。
第２の態様に従い、本発明は、電子写真を表示する装置を提供し、
上記電子写真に含まれるキーオブジェクトを識別するように構成された、識別ユニットと、
少なくとも１回、上記の識別されたキーオブジェクトにマッチする関連情報を取得するように構成された、取得ユニットと、
事前設定された提示方式がトリガされるとき、上記関連情報及び上記電子写真を提示するように構成された、提示ユニットと、
を含む。
第２の態様を参照し、第２の態様の第１のとり得る実施方式において、上記取得ユニットは、
規定された期間が満了するとき、上記識別されたキーオブジェクトにマッチする上記関連情報を取得し、あるいは、
上記識別されたキーオブジェクトにマッチする上記関連情報を取得するように命令するのに使用される命令が検出されるとき、上記識別されたキーオブジェクトにマッチする上記関連情報を取得し、あるいは、
上記電子写真を見る命令が検出されるとき、上記識別されたキーオブジェクトにマッチする上記関連情報を取得する
ように具体的に構成される。
第２の態様、又は第２の態様の第１のとり得る実施方式を参照し、第２の態様の第２のとり得る実施方式において、上記取得ユニットは、
上記キーオブジェクトを含む電子写真について、モバイルデバイスにより提供される電子写真を検索し、かつ／あるいは、
上記キーオブジェクトに連絡先プロファイルピクチャがマッチする連絡先の連絡先情報について、モバイルデバイスにより提供されるアドレス帳を検索し、かつ／あるいは、
発見された連絡先情報に基づいて、上記連絡先情報にマッチする連絡先ステータス情報について、モバイルデバイスにより提供されるサードパーティソーシャルアプリケーションプログラム内の連絡先リストを検索し、かつ／あるいは、
上記キーオブジェクトにマッチする連絡先プロファイルピクチャに対応する連絡先ステータス情報について、モバイルデバイスにより提供されるサードパーティソーシャルアプリケーションプログラム内の連絡先プロファイルピクチャを検索し、かつ／あるいは、
上記キーオブジェクトに含まれるキー情報を識別し、上記キー情報にマッチするファイルについて、モバイルデバイスにより提供されるファイルを検索し、かつ／あるいは、
上記キーオブジェクトに含まれるキー情報を識別し、上記キー情報にマッチする情報について、モバイルデバイスにより提供されるサードパーティ非ソーシャルアプリケーションプログラムを検索し、かつ／あるいは、
上記キーオブジェクトに含まれるキー情報を識別し、インターネットインターフェースを呼び出して上記キー情報にマッチする情報についてインターネットを検索する
ように具体的に構成される。
第２の態様のうちいずれか１つ、又は第２の態様の第１乃至第２のとり得る実施方式を参照し、第２の態様の第３のとり得る実施方式において、上記関連情報のタイプは、下記タイプ：
オーディオ、ビデオ、ピクチャ、テキスト、オーディオリンク、ビデオリンク、ピクチャリンク、テキストリンク、アプリケーションプログラムリンク、又はデバイスアクション、のうち少なくとも１つを含み、
上記デバイスアクションは、下記：振動、画面オフ／オン、又はフラッシング、のうち少なくとも１つを含む。
第２の態様のうちいずれか１つ、又は第２の態様の第１乃至第３のとり得る実施方式を参照し、第２の態様の第４のとり得る実施方式において、上記電子写真に含まれる上記キーオブジェクトを識別した後、上記識別ユニットは、
上記電子写真に含まれる識別された第１のキーオブジェクトが位置するエリアを第１のホットスポットエリアとして分類し、
上記電子写真内の上記第１のホットスポットエリアの位置にマークを付けて、上記第１のホットスポットエリアに対応する位置情報を取得し、
上記識別された第１のキーオブジェクトについて、上記第１のホットスポットエリアの上記位置情報と上記第１のキーオブジェクトのものでありかつ今回取得される関連情報との間のマッピング関係を確立し、
関連付け方式で、上記電子写真と上記第１のキーオブジェクトについて確立される上記マッピング関係とを保存する
ようにさらに構成され、
上記提示ユニットは、
上記電子写真を提示し、
上記の提示された電子写真に含まれる上記第１のキーオブジェクトがタップされたと検出されるとき、上記第１のキーオブジェクトの上記位置情報を取得し、
上記の取得された位置情報に対応する上記関連情報について上記の記憶されたマッピング関係を検索し、
上記の発見された関連情報を上記電子写真内の指定された位置に提示する
ように具体的に構成される。
第２の態様のうちいずれか１つ、又は第２の態様の第１乃至第４のとり得る実施方式を参照し、第２の態様の第５のとり得る実施方式において、上記提示ユニットは、
上記関連情報のリンク情報を上記電子写真内の指定された位置に提示し、上記リンク情報がタップされたと検出されるとき、ウィンドウを設定し、上記関連情報を上記ウィンドウに埋め込み、上記電子写真内に、上記関連情報が埋め込まれた上記ウィンドウを提示し、かつ／あるいは、
上記関連情報のリンク情報を上記電子写真内の指定された位置に提示し、上記リンク情報がタップされたと検出されるとき、上記関連情報を提供するアプリケーションプログラムにジャンプし、かつ／あるいは、
上記関連情報を提示のために上記電子写真に埋め込み、かつ／あるいは、
上記関連情報を上記モバイルデバイスの背景に提示する
ように具体的に構成される。
第２の態様のうちいずれか１つ、又は第２の態様の第１乃至第５のとり得る実施方式を参照し、第２の態様の第６のとり得る実施方式において、上記事前設定された提示方式は、下記方式：
上記電子写真を見る命令を受信すること、又は、
上記識別されたキーオブジェクトが位置するホットスポットエリアをタップする命令を検出すること
のうち１つ又は組み合わせを含む。
第２の態様のうちいずれか１つ、又は第２の態様の第１乃至第６のとり得る実施方式を参照し、第２の態様の第７のとり得る実施方式において、上記識別されたキーオブジェクトにマッチする上記関連情報を取得する前、上記取得ユニットは、
上記電子写真が撮られる環境の環境情報を取得する
ようにさらに構成され、
上記識別されたキーオブジェクトにマッチする上記関連情報を取得するとき、上記取得ユニットは、
上記識別されたキーオブジェクトと上記環境情報との双方にマッチする上記関連情報を取得する
ように具体的に構成される。
第２の態様の第７のとり得る実施方式を参照し、第２の態様の第８のとり得る実施方式において、上記提示ユニットは、
上記の取得された環境情報を上記電子写真に提示する
ようにさらに構成される。
第３の態様に従い、本発明はモバイルデバイスを提供し、
表示画面、入力デバイス、メモリ、及びプロセッサを含み、上記入力デバイス、上記表示画面、上記メモリ、及び上記プロセッサはバスに接続され、
上記表示画面は、電子写真及び関連情報を表示するように構成され、
上記入力デバイスは、ユーザの入力命令を検出するように構成され、
上記メモリは、プログラムコードのグループ、上記電子写真、及び上記関連情報を記憶するように構成され、
上記プロセッサは、上記メモリに記憶された上記プログラムコードを呼び出して、下記動作：上記電子写真に含まれるキーオブジェクトを識別することと、少なくとも１回、上記の識別されたキーオブジェクトにマッチする関連情報を取得することと、事前設定された提示方式がトリガされるとき、上記関連情報及び上記電子写真を提示することと、を実行するように構成される。
第３の態様を参照し、第３の態様の第１のとり得る実施方式において、上記プロセッサは、
規定された期間が満了するとき、上記識別されたキーオブジェクトにマッチする上記関連情報を取得し、あるいは、
上記識別されたキーオブジェクトにマッチする上記関連情報を取得するように命令するのに使用される命令が検出されるとき、上記識別されたキーオブジェクトにマッチする上記関連情報を取得し、あるいは、
上記電子写真を見る命令が検出されるとき、上記識別されたキーオブジェクトにマッチする上記関連情報を取得する
ように具体的に構成される。
第３の態様、又は第３の態様の第１のとり得る実施方式を参照し、第３の態様の第２のとり得る実施方式において、上記プロセッサは、
上記キーオブジェクトを含む電子写真について、当該モバイルデバイスにより提供される電子写真を検索し、かつ／あるいは、
上記キーオブジェクトに連絡先プロファイルピクチャがマッチする連絡先の連絡先情報について、当該モバイルデバイスにより提供されるアドレス帳を検索し、かつ／あるいは、
発見された連絡先情報に基づいて、上記連絡先情報にマッチする連絡先ステータス情報について、当該モバイルデバイスにより提供されるサードパーティソーシャルアプリケーションプログラム内の連絡先リストを検索し、かつ／あるいは、
上記キーオブジェクトにマッチする連絡先プロファイルピクチャに対応する連絡先ステータス情報について、当該モバイルデバイスにより提供されるサードパーティソーシャルアプリケーションプログラム内の連絡先プロファイルピクチャを検索し、かつ／あるいは、
上記キーオブジェクトに含まれるキー情報を識別し、上記キー情報にマッチするファイルについて、当該モバイルデバイスにより提供されるファイルを検索し、かつ／あるいは、
上記キーオブジェクトに含まれるキー情報を識別し、上記キー情報にマッチする情報について、当該モバイルデバイスにより提供されるサードパーティ非ソーシャルアプリケーションプログラムを検索し、かつ／あるいは、
上記キーオブジェクトに含まれるキー情報を識別し、インターネットインターフェースを呼び出して上記キー情報にマッチする情報についてインターネットを検索する
ように具体的に構成される。
第３の態様のうちいずれか１つ、又は第３の態様の第１乃至第２のとり得る実施方式を参照し、第３の態様の第３のとり得る実施方式において、上記関連情報のタイプは、下記タイプ：
オーディオ、ビデオ、ピクチャ、テキスト、オーディオリンク、ビデオリンク、ピクチャリンク、テキストリンク、アプリケーションプログラムリンク、又はデバイスアクション、のうち少なくとも１つを含み、
上記デバイスアクションは、下記：振動、画面オフ／オン、又はフラッシング、のうち少なくとも１つを含む。
第３の態様のうちいずれか１つ、又は第３の態様の第１乃至第３のとり得る実施方式を参照し、第３の態様の第４のとり得る実施方式において、上記電子写真に含まれる上記キーオブジェクトを識別した後、上記プロセッサは、
上記電子写真に含まれる識別された第１のキーオブジェクトが位置するエリアを第１のホットスポットエリアとして分類し、
上記電子写真内の上記第１のホットスポットエリアの位置にマークを付けて、上記第１のホットスポットエリアに対応する位置情報を取得し、
上記識別された第１のキーオブジェクトについて、上記第１のホットスポットエリアの上記位置情報と上記第１のキーオブジェクトのものでありかつ今回取得される関連情報との間のマッピング関係を確立し、
関連付け方式で、上記電子写真と上記第１のキーオブジェクトについて確立される上記マッピング関係とを保存する
ようにさらに構成され、
上記関連情報及び上記電子写真を提示するとき、上記プロセッサは、
上記電子写真を提示し、
上記の提示された電子写真に含まれる上記第１のキーオブジェクトがタップされたと検出されるとき、上記第１のキーオブジェクトの上記位置情報を取得し、
上記の取得された位置情報に対応する上記関連情報について上記の記憶されたマッピング関係を検索し、
上記の発見された関連情報を上記電子写真内の指定された位置に提示する
ように具体的に構成される。
第３の態様のうちいずれか１つ、又は第３の態様の第１乃至第４のとり得る実施方式を参照し、第３の態様の第５のとり得る実施方式において、上記関連情報及び上記電子写真を提示するとき、上記プロセッサは、
上記関連情報のリンク情報を上記電子写真内の指定された位置に提示し、上記リンク情報がタップされたと検出されるとき、ウィンドウを設定し、上記関連情報を上記ウィンドウに埋め込み、上記電子写真内に、上記関連情報が埋め込まれた上記ウィンドウを提示し、かつ／あるいは、
上記関連情報のリンク情報を上記電子写真内の指定された位置に提示し、上記リンク情報がタップされたと検出されるとき、上記関連情報を提供するアプリケーションプログラムにジャンプし、かつ／あるいは、
上記関連情報を提示のために上記電子写真に埋め込み、かつ／あるいは、
上記関連情報を当該モバイルデバイスの背景に提示する
ように具体的に構成される。
第３の態様のうちいずれか１つ、又は第３の態様の第１乃至第５のとり得る実施方式を参照し、第３の態様の第６のとり得る実施方式において、上記事前設定された提示方式は、下記方式：
上記電子写真を見る命令を受信すること、又は、
上記識別されたキーオブジェクトが位置するホットスポットエリアをタップする命令を検出すること
のうち１つ又は組み合わせを含む。
第３の態様のうちいずれか１つ、又は第３の態様の第１乃至第６のとり得る実施方式を参照し、第３の態様の第７のとり得る実施方式において、当該装置は、
上記電子写真が撮られる環境の環境情報を記録するように構成された、センサ
をさらに含み、
上記識別されたキーオブジェクトにマッチする上記関連情報を取得する前、上記プロセッサは、
上記電子写真が撮られる上記環境の上記環境情報を取得する
ようにさらに構成され、
上記識別されたキーオブジェクトにマッチする上記関連情報を取得するとき、上記プロセッサは、
上記識別されたキーオブジェクトと上記環境情報との双方にマッチする上記関連情報を取得する
ように具体的に構成される。
第３の態様の第７のとり得る実施方式を参照し、第３の態様の第８のとり得る実施方式において、上記プロセッサは、
上記の取得された環境情報を上記電子写真に提示する
ようにさらに構成される。
第４の態様に従い、本発明は、電子写真を表示するために使用されるコンピュータプログラム製品を提供し、上記コンピュータプログラム製品はコンピュータ読取可能媒体を含み、上記コンピュータ読取可能媒体は、第１の態様のうちいずれか、又は第１の態様の第１乃至第９のとり得る実施方式における動作ステップを実行することができる命令を含む。
本発明において提供される解決策において、電子写真に含まれるキーオブジェクトが識別され、キーオブジェクトにマッチする関連情報が統合され、関連情報は絶えず更新され、そのため、電子写真に含まれる情報は動的かつ新鮮であり、電子写真に含まれる情報の量が増加される。
本発明の一実施形態による電子写真を表示する方法のフローチャートである。 本発明の一実施形態によるホットスポットエリア分類の概略図である。 本発明の一実施形態による関連情報提示の概略図である。 本発明の一実施形態による関連情報提示の概略図である。 本発明の一実施形態による電子写真を撮影するシーケンス図である。 本発明の一実施形態による電子写真リソース情報を統合するシーケンス図である。 本発明の一実施形態による電子写真リソース情報を統合するシーケンス図である。 本発明の一実施形態による電子写真と対話するシーケンス図である。 本発明の一実施形態による電子写真と対話するシーケンス図である。 本発明の一実施形態による電子写真を表示する装置の構造図である。 本発明の別の実施形態による電子写真を表示する別の装置の構造図である。
本発明の実施形態は、電子写真を表示する方法及び装置、並びにモバイルデバイスを提供する。電子写真に含まれるキーオブジェクトが識別され、キーオブジェクトにマッチする関連情報が統合され、関連情報は絶えず更新され、そのため、電子写真に含まれる情報は動的かつ新鮮であり、電子写真に含まれる情報の量が増加される。
下記は、添付仕様図面及び実施形態を参照して本発明の技術的解決策を説明する。
図１を参照すると、本発明の一実施形態が電子写真を表示する方法を提供する。方法は、電子写真が撮られるときにリアルタイムの電子写真処理に使用することができ、あるいは電子写真の後処理に使用されてもよい。方法の一実施手順が下記のとおりである。
ステップ１０１：電子写真に含まれるキーオブジェクトを識別する。
ステップ１０２：少なくとも１回、識別されたキーオブジェクトにマッチする関連情報を取得する。
ステップ１０３：事前設定された提示方式（preset presentation manner）がトリガされるとき、関連情報及び電子写真を提示する。
キーオブジェクトは、電子写真内にあり、かつ識別技術を使用することにより識別できる意味あるエンティティであり、顔、動物、建物、又は物品などのオブジェクトのうち少なくとも１つであり得る。物品は、ここで、モバイルフォン、テーブル、又はネオンライトなどの生活及び製造における品目を参照する。識別技術は、顔識別技術、物品識別技術、及び同様のものを含む。識別技術は従来技術において比較的成熟した技術であるため、詳細は本発明において説明されない。関連情報は、キーオブジェクトの画像特徴にマッチする情報であり得、あるいは、キーオブジェクトの暗黙的特徴を含み、かつキーオブジェクトに対してセマンティック解析が実行された後に取得される情報であり得る。
場合により、本発明のこの実施形態において、識別されたキーオブジェクトにマッチする関連情報を取得することは、これらに限られないが下記の３つの方式でトリガできる。
方式１：規定された期間が満了するとき、識別されたキーオブジェクトにマッチする関連情報を取得する。
方式１は、関連情報を固定の時間に取得する方式である。関連情報は、規定された期間で更新され、そのため、関連情報の比較的リアルタイム品質と提示における応答速度とが確保できる。
方式２：識別されたキーオブジェクトにマッチする関連情報を取得するように命令するのに使用される命令が検出されるとき、識別されたキーオブジェクトにマッチする関連情報を取得する。
方式２は、非固定の時間に関連情報を取得する方式であり、ユーザにより主に手動でトリガされ、そのため、関連情報の比較的リアルタイム品質と提示における応答速度とが確保できる。
方式３：電子写真を見る命令が検出されるとき、識別されたキーオブジェクトにマッチする関連情報を取得する。
方式３は、非固定の時間に関連情報を取得する方式である。電子写真を見る命令が検出されることが、関連情報を更新する合図として使用され、そのため、提示される関連情報のリアルタイム品質が確保できる。
前述の３つのトリガ方式によれば、キーオブジェクトにマッチする関連情報は、電子写真から分離されてキーオブジェクトに従って固定又は非固定の時間にサーバに同期されることができ、そのため、電子写真に含まれる情報は動的であり、新鮮である。
場合により、本発明のこの実施形態において、識別されたキーオブジェクトにマッチする関連情報は、これらに限られないが下記方式のうち１つ又は任意の組み合わせで取得できる。
方式１：キーオブジェクトを含む電子写真について、モバイルデバイスにより提供される電子写真を検索する。
方式２：キーオブジェクトに連絡先プロファイルピクチャがマッチする連絡先（contact）の連絡先情報について、モバイルデバイスにより提供されるアドレス帳を検索する。
方式３：発見された連絡先情報に基づいて、連絡先情報にマッチする連絡先ステータス情報について、モバイルデバイスにより提供されるサードパーティソーシャルアプリケーションプログラム（ＱＱ、ＷｅＣｈａｔ、又はＷｅｉｂｏなど）内の連絡先リストを検索する。
例えば、モバイルデバイスにより提供されるアドレス帳内に発見された連絡先の連絡先情報が、上記連絡先のＱＱアカウントをさらに記録している場合、モバイルデバイスにインストールされたＱＱのアプリケーションプログラムインターフェースが呼び出されて、前述の発見された連絡先のＱＱアカウントにマッチする連絡先ステータス情報、例えば、連絡先により新たにリリースされたＱＱシグネチャ（signature）、気分、日記、又は写真を取得することができる。
方式４：キーオブジェクトにマッチする連絡先プロファイルピクチャに対応する連絡先ステータス情報について、モバイルデバイスにより提供されるサードパーティソーシャルアプリケーションプログラム内の連絡先プロファイルピクチャを検索する。
例えば、モバイルデバイスにインストールされたＷｅＣｈａｔのアプリケーションプログラムインターフェースが呼び出されて、電子写真内の識別されたキーオブジェクトにマッチするＷｅＣｈａｔプロファイルピクチャに対応する連絡先ステータス情報、例えば、連絡先により新たにリリースされたモーメント情報（Moments information）を取得することができる。
方式３及び方式４において、キーオブジェクトがある連絡先であると識別された後、モバイルデバイスにインストールされた各サードパーティソーシャルアプリケーションプログラム上での現在時点における上記連絡先の活動が収集されて該連絡先の気分を評価することができ、あるいは、ある時間期間内のサードパーティソーシャルアプリケーションプログラム上での上記連絡先の活動が取得でき、あるいは、現在時点が識別され、各過去年の同じ時点における各サードパーティソーシャルアプリケーションプログラム上での上記連絡先の活動、気分、又は同様のものが取得できる。
方式５：キーオブジェクトに含まれるキー情報を識別し、キー情報にマッチするファイルについて、モバイルデバイスにより提供されるファイルを検索する。
キー情報は、ここで、キーオブジェクトの特徴を表現することができ、かつキーオブジェクトに対してセマンティック解析が実行された後に取得される情報であり得る。
例えば、電子写真内のキーオブジェクトが建物であると識別され、建物が万里の長城であるとさらに識別されるとき、「万里の長城」がキーワードとして使用でき、モバイルデバイスにより提供されるファイルは上記キーワードにマッチするファイル、例えば、関連したオーディオ、関連したビデオ、関連したテキスト、又は同様のものについて検索される。
別の例について、顔が電子写真から識別され、顔の表情が幸福を示すとさらに識別されるとき、モバイルデバイスにより提供される電子写真は、自動ピクチャ識別方式で、上記顔にマッチし、かつ表情もまた幸福を示す電子写真に関連付けできる。
方式６：キーオブジェクトに含まれるキー情報を識別し、キー情報にマッチする情報について、モバイルデバイスにより提供されるサードパーティ非ソーシャルアプリケーションプログラム（例えば、地図タイプアプリケーションプログラム、又は買い物タイプアプリケーションプログラム）を検索する。
例えば、電子写真内のキーオブジェクトが建物であると識別され、建物が万里の長城であるとさらに識別された後、「万里の長城」は位置情報として使用でき、モバイルデバイスにインストールされた地図タイプアプリケーションプログラムのインターフェースが呼び出されて、モバイルデバイスの現在位置から万里の長城の位置に移動するための関連した解決策を表示する。
方式７：キーオブジェクトに含まれるキー情報を識別し、インターネットインターフェースを呼び出して、キー情報にマッチする情報についてインターネットを検索する。
例えば、電子写真内のキーオブジェクトが物品であると識別され、物品の名称（例えば、野菜又は電気器具）がさらに識別された後、物品の名称はキーワードとして使用でき、モバイルデバイスのインターネットインターフェースが呼び出されて、物品の最新市場価格及び同様のものを見つけ出す。
本発明のこの実施形態における関連情報のタイプは、下記：オーディオ、ビデオ、ピクチャ、テキスト、オーディオリンク、ビデオリンク、ピクチャリンク、テキストリンク、アプリケーションプログラムリンク、又はデバイスアクション、のうち少なくとも１つであり得、デバイスアクションは、下記：振動、画面オフ／オン、又はフラッシング、のうち少なくとも１つを含むことができる。
関連情報は、関連情報のタイプがオーディオ、ビデオ、ピクチャ、テキスト、又はデバイスアクションであるとき、電子写真と一緒に一般に提示される。例えば、電子写真からバーが識別されるとき、関連したライト効果及び関連したサウンド効果が情報統合によって取得でき、取得されたライト効果及び取得されたサウンド効果が、振動、フラッシング、又はオーディオ再生などの動作を用いることにより電子写真と一緒に提示される。
関連情報のタイプがオーディオリンク、ビデオリンク、写真リンク、テキストリンク、又はアプリケーションプログラムリンクであるとき、対応するアプリケーションプログラムインターフェースが、リンクがタップされた後に一般にジャンプされる。例えば、電子写真内の顔のまわりに表示される選択肢「ＱＱメッセージを送信する」がある。選択肢がタップされた後、ＱＱインターフェースは、上記顔に対応する連絡先とチャットし、対話するように、ジャンプされる。
場合により、本発明のこの実施形態において、識別されたキーオブジェクトにマッチする関連情報が取得された後、関連情報及び電子写真が提示される前に、今回取得される関連情報と電子写真とが関連付け方式で（in an associative manner）保存されてよい。
場合により、今回取得される関連情報と電子写真とは、今回取得される関連情報が前回取得された関連情報と矛盾すると判定された後、関連付け方式で保存されてよい。こうして、記憶されるデータの量が低減できる。
場合により、電子写真に含まれるキーオブジェクトが識別された後、電子写真に含まれる識別された第１のキーオブジェクトが位置するエリアが、第１のホットスポットエリアとしてさらに分類でき、電子写真内の第１のホットスポットエリアの位置が、第１のホットスポットエリアに対応する位置情報を取得するようにマークを付けられる。第１のキーオブジェクトは、電子写真内の任意のキーオブジェクトである。第１のホットスポットエリアは、電子写真内の第１のキーオブジェクトの位置を表現するのに使用される。第１のキーオブジェクトの位置は、複数の電子写真座標点の集合であり得、あるいは複数のタッチスクリーン座標点の集合であり得る。
例えば、図２に示されるように、顔が位置するエリアがホットスポットエリアとして分類される。電子写真に対するホットスポットエリアのものである左上水平位置（start_posX）、左上垂直位置（start_posY）、右下水平位置（end_posX）、及び右下垂直位置（end_posY）が、ホットスポットエリアに対応する位置情報として使用される。
それから、第１のホットスポットエリアの位置情報と、第１のキーオブジェクトのものでありかつ今回取得される関連情報との間のマッピング関係が、識別された第１のキーオブジェクトについて確立され、電子写真と第１のキーオブジェクトについて確立されるマッピング関係とは、関連付け方式で保存される。
こうして、関連情報及び電子写真の後の提示において、提示効率性と関連情報の表示効果とが向上できる。
実際のアプリケーションにおいて、電子写真に含まれる効果情報は、データベースを用いることにより関連付け方式で保存できる。例えば、下記の表１から表５の複数のテーブルは、電子写真に含まれる基本情報、拡張情報、及び同様のものを別個に記憶するのに使用できる。
表１は、電子写真の基本属性を定義するのに使用され、例えば、電子写真を生成することに関する温度、経度及び緯度、又は地理的場所などの環境情報である。表１において、各電子写真について１つだけエントリがある。
表３は、電子写真間の関連関係、例えば、同じ顔を含む電子写真間の関連関係を表現するのに使用される。同じcur_picIdは、表３における複数のref_picIdsに対応することができ、すなわち、それは同じ電子写真に関連付けられた複数の電子写真があり得ることを示す。
表４は、電子写真が撮られる環境の環境情報を記録するのに使用される。表５に示されるように、表５は環境情報テーブルの一例である。
表６は、電子写真に関連し、かつ絶えず更新される関連情報を記憶するのに使用される。関連情報の情報ソースは、主に、モバイルデバイスにインストールされたサードパーティアプリケーションプログラムであり、サードパーティアプリケーションプログラムは、指定されたインターフェースを使用することにより関連情報を提供することができる。表７に示されるように、表７は関連情報テーブルの一例である。
電子写真に含まれる基本情報と拡張情報との双方をデータベースに記憶する前述の方法に追加で、拡張情報のコンテンツ（関連電子写真又はオーディオ／ビデオなどのオリジナルファイル）がさらにフォルダ内に分散して記憶でき、記憶に使用されるフォルダのパス及び関連関係のみがデータベースに記憶される。基本情報テーブルが一例として使用され、こうした記憶方式において、基本情報テーブルのものであるフィールド及び属性が表８に示される。
表８において、表１におけるオリジナルフィールドpic_contentはpic_pathで置換され、電子写真の相対パスのみがデータベースに記憶される。
ステップ１０３において説明された事前設定された提示方式は、電子写真を見る命令を受信すること、及び／又は識別されたキーオブジェクトが位置するホットスポットエリアをタップする命令を検出することであり得る。
本発明のこの実施形態において、事前設定された提示方式がトリガされた後、関連情報及び電子写真は主に下記の４つの方式で提示される。
方式１：関連情報のリンク情報を電子写真内の指定された位置に提示し、リンク情報がタップされたと検出されるとき、ウィンドウを設定し、関連情報をウィンドウ内に埋め込み、電子写真内に、関連情報が埋め込まれたウィンドウを提示する。
方式２：関連情報のリンク情報を電子写真内の指定された位置に提示し、リンク情報がタップされたと検出されるとき、関連情報を提供するアプリケーションプログラムにジャンプする。
場合により、前述の方式１及び方式２について、電子写真が最初提示されてよい。それから、提示された電子写真に含まれる任意のキーオブジェクトがタップされたと検出されるとき、タップされたキーオブジェクトの位置情報が取得され、記憶された関連情報が、取得された位置情報に対応する関連情報について検索され、発見された関連情報が電子写真内の指定された位置に、例えば、タップされたキーオブジェクトのまわりに、又は電子写真の左上位置に提示される。
例えば、図３に示されるように、電子写真内の人物がタップされるとき、人物のリンク情報が人物のまわりに提示される。追跡などの対応するリンク情報がタップされるとき、図４に示されるように、人物の追跡が電子写真上に直接表示され、あるいは対応する追跡ソフトウェアがジャンプされる。
方式３：関連情報を提示のために電子写真に組み込む。
方式４：関連情報をモバイルデバイスの背景に提示する。
例えば、方式３は、提示のために電子写真内に、電子写真上のアニメーション効果を埋め込むのに使用できる。方式４は、関連したアプリケーションプログラムを呼び出して背景において背景音楽、デバイスアクション、又は同様のものを提示するのに使用できる。
実際のアプリケーションにおいて、サードパーティアプリケーションプログラムが方式１乃至方式４のうちの１つを使用することができ、あるいは複数の方式をサポートすることができる。例えば、サードパーティアプリケーションプログラムは方式１及び方式２の双方をサポートする。電子写真内の人物がタップされた後、人物のＱＱシグネチャが人物のまわりに表示され、ＱＱシグネチャがタップされた後、ＱＱ空間が、メッセージを残すことなどの動作を実行するように、ジャンプされる。
場合により、電子写真が撮られる環境の環境情報は、さらに、識別されたキーオブジェクトにマッチする関連情報が取得される前に取得できる。環境情報にマッチする関連情報が、識別されたキーオブジェクトにマッチする関連情報が取得されると同時に取得され、取得された環境情報は、電子写真内に提示される。こうして、電子写真に含まれる情報の量が増加されることがある。
現在、モバイルデバイスはセンサ機能及び測位機能を一般に有する。モバイルデバイスは、モバイルデバイスのセンサと測位技術とを用いることにより環境情報を取得することができ、あるいはインターネットを用いることにより環境情報を取得することができる。環境情報は、下記：電子写真を撮ることにおける時間、温度、湿度、光強度、天気、紫外線、汚染度合い、経度及び緯度、地理的場所、サウンド、又は活動内容情報、のうち少なくとも１つを含む。
例えば、ユーザがハッピーバレー（Happy Valley）のゲートで電子写真を撮る。写真が数年後に再度見られるとき、モバイルデバイスは、電子写真に含まれる環境情報、例えば、経度及び緯度並びに地理的場所を抽出し；抽出された環境情報に従ってインターネットのオープンインターフェースを用いることによりハッピーバレーの最新の紹介を取得し、かつ／あるいは天気システムのインターフェースを用いることにより当日のハッピーバレーの天気状態を取得するなどし；取得された最新のニュースを記憶された情報と比較し；特定のロジックに従って追加又は置換を実行し、例えば、公開のためのテキスト情報が直接置換でき、可変の建物背景ピクチャ及び可変の天気状態が追加及び記憶でき；ユーザがハッピーバレーのランドマーク建物をタップするとき、新たに取得された情報を表示することができる。
別の例について、電子写真が、強風又は大雪などの特別な天気で撮られる場合、電子写真は、ユーザにより同様の天気で撮られた別の電子写真に関連付けできる。
下記は、図１に示される電子写真を表示する方法の実施手順を詳細に３つのシーケンス図を用いることにより説明する。
図５は、電子写真を撮るシーケンス図であり、下記ステップを含む。
ステップ５０１：環境感知モジュールが現在の環境情報を記録する。
ステップ５０２：ユーザが写真撮影ボタンを押す。
ステップ５０３：写真撮影モジュールが電子写真を生成する。
ステップ５０４：写真撮影モジュールは、生成された電子写真を記憶のために記憶モジュールに送信する。
場合により、電子写真の保存の後、記憶モジュールは記憶結果（例えば、成功又は失敗）を写真撮影モジュールに返してよい。
ステップ５０５：写真撮影モジュールは環境情報を環境感知モジュールから取得する。
ステップ５０６：写真撮影モジュールは、取得された環境情報を記憶のために記憶モジュールに送信する。
場合により、環境情報を保存した後、記憶モジュールは記憶結果を写真撮影モジュールに返してよく、写真撮影モジュールは、電子写真が記憶されたとユーザに通知する。
前述の写真撮影モジュール、環境感知モジュール、及び記憶モジュールは、モバイルデバイス内部に構成される。環境感知モジュールがモバイルデバイスに構成されない場合、環境情報は記憶できない。前述の電子写真及び環境情報を保存するステップは順次に実行されず、あるいは電子写真及び環境情報は同時に保存できる。
図６Ａ及び図６Ｂは、電子写真リソース情報を統合するシーケンス図であり、下記ステップを含む。
ステップ６０１：ユーザが電子写真リソース情報統合を有効にする。
ステップ６０２：リソース統合モジュールが電子写真及び環境情報を記憶モジュールから取得する。
ステップ６０３：リソース統合モジュールは電子写真内のキーオブジェクトを識別し、キーオブジェクトに従ってホットスポットエリアを分類する。
ステップ６０４：リソース統合モジュールはインターネットインターフェースを呼び出して、識別されたキーオブジェクトと環境情報との双方にマッチする関連情報を取得する。
ステップ６０５：リソース統合モジュールは、環境情報及び関連情報を対応するホットスポットエリアに関連付け、それぞれの提示方式及び表示方式を設定する。
提示方式は、電子写真を見る命令を受信すること、及び／又は識別されたキーオブジェクトが位置するホットスポットエリアをタップする命令を検出することであり得る。
表示方式は、タップされたキーオブジェクトのまわりに環境情報及び関連情報を提示することであり得、あるいは提示のために電子写真内に環境情報及び関連情報を埋め込むことであり得、あるいはモバイルデバイスの背景に環境情報及び関連情報を提示することであり得る。
ステップ６０６：リソース統合モジュールは環境情報、関連情報、対応するホットスポットエリア、提示方式、及び表示方式を記憶のために記憶モジュールに送信し、ここで環境情報、関連情報、及び対応するホットスポットエリアは関連付けられる。
場合により、記憶モジュールは、電子写真を保存した後、記憶結果をリソース統合モジュールに返してよく、リソース統合モジュールは、統合結果をユーザに提示する。
前述のリソース統合モジュール及び記憶モジュールはモバイルデバイス内部に構成される。
図７Ａ及び図７Ｂは、電子写真と対話するシーケンス図であり、下記ステップを含む。
ステップ７０１：ユーザが電子写真を見る。
ステップ７０２：提示モジュールが、電子写真を見る命令を受信することが提示方式である環境情報及び／又は関連情報と、環境情報及び／又は関連情報の表示方式とを記憶モジュールから取得する。
ステップ７０３：提示モジュールは、取得された環境情報及び／又は関連情報を環境情報及び／又は関連情報の表示方式に従ってユーザに提示する。
ステップ７０４：ユーザは電子写真をタップする。
ステップ７０５：提示モジュールは、電子写真のホットスポットエリア分類情報を記憶モジュールから取得する。
ステップ７０６：提示モジュールは、タップ点がホットスポットエリアの範囲内に入るかどうかを判定する。
ステップ７０６：タップ点がホットスポットエリアの範囲内に入ると判定するとき、提示モジュールは、キーオブジェクトが位置するホットスポットエリアをタップする命令を検出することが提示方式である環境情報及び／又は関連情報と、環境情報及び／又は関連情報の表示方式とを記憶モジュールから取得する。
ステップ７０７：タップ点がホットスポットエリアの範囲内に入ると判定するとき、提示モジュールは、キーオブジェクトが位置するホットスポットエリアをタップする命令を検出することが提示方式である環境情報及び／又は関連情報と、環境情報及び／又は関連情報の表示方式とを記憶モジュールから取得する。
前述の提示モジュール及び記憶モジュールはモバイルデバイス内部に構成される。
図８を参照すると、本発明の一実施形態が電子写真を表示する装置を提供して、図１に示される電子写真を表示する方法を実施する。装置は、
電子写真に含まれるキーオブジェクトを識別するように構成された、識別ユニット８０１と、
少なくとも１回、識別されたキーオブジェクトにマッチする関連情報を取得するように構成された、取得ユニット８０２と、
事前設定された提示方式がトリガされるとき、関連情報及び電子写真を提示するように構成された、提示ユニット８０３と、
を含む。
場合により、取得ユニット８０２は、規定された期間が満了するとき、識別されたキーオブジェクトにマッチする関連情報を取得し；あるいは、識別されたキーオブジェクトにマッチする関連情報を取得するように命令するのに使用される命令が検出されるとき、識別されたキーオブジェクトにマッチする関連情報を取得し；あるいは、電子写真を見る命令が検出されるとき、識別されたキーオブジェクトにマッチする関連情報を取得する、ように具体的に構成される。
キーオブジェクトは、下記オブジェクト：顔、動物、建物、又は物品、のうち少なくとも１つを含む。
場合により、取得ユニット８０２は、キーオブジェクトを含む電子写真について、モバイルデバイスにより提供される電子写真を検索し；かつ／あるいは、キーオブジェクトに連絡先プロファイルピクチャがマッチする連絡先の連絡先情報について、モバイルデバイスにより提供されるアドレス帳を検索し；かつ／あるいは、発見された連絡先情報に基づいて、連絡先情報にマッチする連絡先ステータス情報について、モバイルデバイスにより提供されるサードパーティソーシャルアプリケーションプログラム内の連絡先リストを検索し；かつ／あるいは、キーオブジェクトにマッチする連絡先プロファイルピクチャに対応する連絡先ステータス情報について、モバイルデバイスにより提供されるサードパーティソーシャルアプリケーションプログラム内の連絡先プロファイルピクチャを検索し；かつ／あるいは、キーオブジェクトに含まれるキー情報を識別し、キー情報にマッチするファイルについて、モバイルデバイスにより提供されるファイルを検索し；かつ／あるいは、キーオブジェクトに含まれるキー情報を識別し、キー情報にマッチする情報について、モバイルデバイスにより提供されるサードパーティ非ソーシャルアプリケーションプログラムを検索し；かつ／あるいは、キーオブジェクトに含まれるキー情報を識別し、インターネットインターフェースを呼び出して、キー情報にマッチする情報についてインターネットを検索する、ように具体的に構成される。
関連情報のタイプは、下記タイプ：オーディオ、ビデオ、ピクチャ、テキスト、オーディオリンク、ビデオリンク、ピクチャリンク、テキストリンク、アプリケーションプログラムリンク、又はデバイスアクション、のうち少なくとも１つを含む。デバイスアクションは、下記：振動、画面オフ／オン、又はフラッシング、のうち少なくとも１つを含む。
場合により、電子写真に含まれるキーオブジェクトを識別した後、識別ユニット８０１は、電子写真に含まれる識別された第１のキーオブジェクトが位置するエリアを第１のホットスポットエリアとして分類し；電子写真内の第１のホットスポットエリアの位置にマークを付けて、第１のホットスポットエリアに対応する位置情報を取得し；識別された第１のキーオブジェクトについて、第１のホットスポットエリアの位置情報と、第１のキーオブジェクトのものでありかつ今回取得される関連情報との間のマッピング関係を確立し；関連付け方式で、電子写真と各キーオブジェクトについて確立されるマッピング関係とを保存する、ようにさらに構成される。第１のキーオブジェクトは、電子写真に含まれる任意のキーオブジェクトである。
対応して、提示ユニット８０３は、電子写真を提示し；提示された電子写真に含まれる第１のキーオブジェクトがタップされたと検出されるとき、第１のキーオブジェクトの位置情報を取得し；取得された位置情報に対応する関連情報について、記憶されたマッピング関係を検索し；発見された関連情報を電子写真内の指定された位置に提示する、ように具体的に構成される。
場合により、関連情報及び電子写真を提示するとき、提示ユニット８０３は、関連情報のリンク情報を電子写真内の指定された位置に提示し、リンク情報がタップされたと検出されるとき、ウィンドウを設定し、関連情報をウィンドウに埋め込み、電子写真内に、関連情報が埋め込まれたウィンドウを提示し；かつ／あるいは、関連情報のリンク情報を電子写真内の指定された位置に提示し、リンク情報がタップされたと検出されるとき、関連情報を提供するアプリケーションプログラムにジャンプし；かつ／あるいは、関連情報を提示のために電子写真に埋め込み；かつ／あるいは、関連情報をモバイルデバイスの背景に提示する、ように具体的に構成される。
事前設定された提示方式は、下記方式：電子写真を見る命令を受信すること、又は識別されたキーオブジェクトが位置するホットスポットエリアをタップする命令を検出すること、のうち１つ又は組み合わせを含む。
場合により、識別されたキーオブジェクトにマッチする関連情報を取得する前に、取得ユニット８０２は、電子写真が撮られる環境の環境情報を取得するようにさらに構成される。
場合により、識別されたキーオブジェクトにマッチする関連情報を取得するとき、取得ユニット８０２は、識別されたキーオブジェクトと環境情報との双方にマッチする関連情報を取得するように具体的に構成される。
場合により、提示ユニット８０３は、取得された環境情報を電子写真に提示するようにさらに構成される。
環境情報は、下記：電子写真を撮ることにおける時間、温度、湿度、光強度、天気、紫外線、汚染度合い、経度及び緯度、地理的場所、サウンド、又は活動内容情報、のうち少なくとも１つを含む。
図９を参照すると、本発明の一実施形態がモバイルデバイスをさらに提供し、モバイルデバイスは、
表示画面９０１、入力デバイス９０２、メモリ９０３、及びプロセッサ９０４
を含む。
表示画面９０１、入力デバイス９０２、メモリ９０３、及びプロセッサ９０４は、バス９０５に接続される。バス９０５は、ペリフェラルコンポーネントインターコネクト（ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ、短くはＰＣＩ）バス、拡張インダストリスタンダードアーキテクチャ（ｅｘｔｅｎｄｅｄ ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ、短くはＥＩＳＡ）バス、又は同様のものであり得る。バスは、アドレスバス、データバス、制御バス、及び同様のものに分類できる。表記の簡易化のために、バスは図９において１つの太いラインのみ用いることにより示されるが、それは１つのバスだけ又は１タイプのバスだけがあることを意味しない。
表示画面９０１は、電子写真及び関連情報を表示するように構成される。
入力デバイス９０２は、ユーザの入力命令を検出するように構成される。具体的に、入力デバイス９０２は、タッチスクリーン、マウス、キーボード、又は同様のものを用いることにより実施できる。入力命令はここで、電子写真を見る、あるいはタップする命令を含む。
メモリ９０３は、プログラムコードのグループ、電子写真、及び電子写真の関連情報を記憶するように構成される。具体的に、プログラムコードは、コンピュータ動作命令を含む。メモリ９０３は、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、短くはＲＡＭ）を含むことができ、あるいは少なくとも１つの磁気ディスクメモリなどの不揮発メモリ（ｎｏｎ‐ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）さらに含むことができる。
場合により、メモリ９０３は、電子写真に含まれるキーオブジェクトに対応するホットスポットエリアの位置情報とキーオブジェクトの関連情報との間のマッピング関係を記憶するようにさらに構成でき、電子写真が撮られる環境の環境情報を記憶するようにさらに構成できる。
プロセッサ９０４は、メモリ９０３に記憶されたプログラムコードを呼び出して、下記動作：
電子写真に含まれるキーオブジェクトを識別すること、少なくとも１回、識別されたキーオブジェクトにマッチする関連情報を取得すること、及び、事前設定された提示方式がトリガされるとき、関連情報及び電子写真を提示すること、
を実行するように構成される。
場合により、少なくとも１回、識別されたキーオブジェクトにマッチする関連情報を取得するとき、プロセッサ９０４は、規定された期間が満了するとき、識別されたキーオブジェクトにマッチする関連情報を取得し；あるいは、識別されたキーオブジェクトにマッチする関連情報を取得するように命令するのに使用される命令が検出されるとき、識別されたキーオブジェクトにマッチする関連情報を取得し；あるいは、電子写真を見る命令が検出されるとき、識別されたキーオブジェクトにマッチする関連情報を取得する、ように具体的に構成される。
場合により、キーオブジェクトは、下記オブジェクト：顔、動物、建物、又は物品、のうち少なくとも１つを含む。
場合により、識別されたキーオブジェクトにマッチする関連情報を取得するとき、プロセッサ９０４は、キーオブジェクトを含む電子写真について、モバイルデバイスにより提供される電子写真を検索し；かつ／あるいは、キーオブジェクトに連絡先プロファイルピクチャがマッチする連絡先の連絡先情報について、モバイルデバイスにより提供されるアドレス帳を検索し；かつ／あるいは、発見された連絡先情報に基づいて、連絡先情報にマッチする連絡先ステータス情報について、モバイルデバイスにより提供されるサードパーティソーシャルアプリケーションプログラム内の連絡先リストを検索し；かつ／あるいは、キーオブジェクトにマッチする連絡先プロファイルピクチャに対応する連絡先ステータス情報について、モバイルデバイスにより提供されるサードパーティソーシャルアプリケーションプログラム内の連絡先プロファイルピクチャを検索し；かつ／あるいは、キーオブジェクトに含まれるキー情報を識別し、キー情報にマッチするファイルについて、モバイルデバイスにより提供されるファイルを検索し；かつ／あるいは、キーオブジェクトに含まれるキー情報を識別し、キー情報にマッチする情報について、モバイルデバイスにより提供されるサードパーティ非ソーシャルアプリケーションプログラムを検索し；かつ／あるいは、キーオブジェクトに含まれるキー情報を識別し、インターネットインターフェースを呼び出して、キー情報にマッチする情報についてインターネットを検索する、ように具体的に構成される。
場合により、関連情報のタイプは、下記タイプ：オーディオ、ビデオ、ピクチャ、テキスト、オーディオリンク、ビデオリンク、ピクチャリンク、テキストリンク、アプリケーションプログラムリンク、又はデバイスアクション、のうち少なくとも１つを含む。デバイスアクションは、下記：振動、画面オフ／オン、又はフラッシング、のうち少なくとも１つを含む。
場合により、電子写真に含まれるキーオブジェクトを識別した後、プロセッサ９０４は、電子写真に含まれる識別された第１のキーオブジェクトが位置するエリアを第１のホットスポットエリアとして分類し；電子写真内の第１のホットスポットエリアの位置にマークを付けて、第１のホットスポットエリアに対応する位置情報を取得する、ようにさらに構成される。第１のキーオブジェクトは、電子写真に含まれる任意のキーオブジェクトであり；識別された第１のキーオブジェクトについて、第１のホットスポットエリアの位置情報と、第１のキーオブジェクトのものでありかつ今回取得される関連情報との間のマッピング関係を確立し；関連付け方式で、電子写真と第１のキーオブジェクトについて確立されるマッピング関係とを保存する。
場合により、電子写真に含まれるキーオブジェクトを識別した後、プロセッサ９０４は、電子写真に含まれる識別された第１のキーオブジェクトが位置するエリアを第１のホットスポットエリアとして分類し；電子写真内の第１のホットスポットエリアの位置にマークを付けて、第１のホットスポットエリアに対応する位置情報を取得し；識別された第１のキーオブジェクトについて、第１のホットスポットエリアの位置情報と、第１のキーオブジェクトのものでありかつ今回取得される関連情報との間のマッピング関係を確立し；関連付け方式で、電子写真と第１のキーオブジェクトについて確立されるマッピング関係とを保存する、ようにさらに構成される。第１のキーオブジェクトは、電子写真に含まれる任意のキーオブジェクトである。
場合により、関連情報及び電子写真を提示するとき、プロセッサ９０４は、関連情報のリンク情報を電子写真内の指定された位置に提示し、リンク情報がタップされたと検出されるとき、ウィンドウを設定し、関連情報をウィンドウに埋め込み、電子写真内に、関連情報が埋め込まれたウィンドウを提示し；かつ／あるいは、関連情報のリンク情報を電子写真内の指定された位置に提示し、リンク情報がタップされたと検出されるとき、関連情報を提供するアプリケーションプログラムにジャンプし；かつ／あるいは、関連情報を提示のために電子写真に埋め込み；かつ／あるいは、関連情報をモバイルデバイスの背景に提示する、ように具体的に構成される。
場合により、事前設定された提示方式は、下記方式：電子写真を見る命令を受信すること、又は識別されたキーオブジェクトが位置するホットスポットエリアをタップする命令を検出すること、のうち１つ又は組み合わせを含む。
場合により、関連情報及び電子写真を提示するとき、プロセッサ９０４は、関連情報を提示のために電子写真に埋め込み；あるいは、関連情報をモバイルデバイスの背景に提示する、ように具体的に構成される。
場合により、装置は、
電子写真が撮られる環境の環境情報を記録するように構成された、センサ
をさらに含むことができる。
場合により、識別されたキーオブジェクトにマッチする関連情報を取得する前、プロセッサ９０４は、電子写真が撮られる環境の環境情報を取得するようにさらに構成される。
場合により、識別されたキーオブジェクトにマッチする関連情報を取得するとき、プロセッサ９０４は、識別されたキーオブジェクトと環境情報との双方にマッチする関連情報を取得するように具体的に構成される。
場合により、プロセッサ９０４は、取得された環境情報を電子写真に提示するようにさらに構成される。
場合により、環境情報は、少なくとも１つ下記：
電子写真を撮ることにおける時間、温度、湿度、光強度、天気、紫外線、汚染度合い、経度及び緯度、地理的場所、サウンド、又は活動内容情報、
を含む。
場合により、環境情報は、下記のうち少なくとも１つ：
電子写真を撮ることにおける時間、温度、湿度、光強度、天気、紫外線、汚染度合い、経度及び緯度、地理的場所、サウンド、又は活動内容情報、
を含む。
結論として、本発明の実施形態において提供される技術的解決策において、電子写真が撮られる環境の環境情報が電子写真に関連付けられ、電子写真に含まれるキーオブジェクトが識別され、キーオブジェクトの環境情報にマッチする関連情報が統合され、関連情報は絶えず更新され、そのため、電子写真に含まれる情報は動的かつ新鮮であり、電子写真に含まれる情報の量が増加される。さらに、本発明の実施形態において、電子写真はソーシャルネットワークに関連付けられ、そのため、電子写真とユーザとの間の対話が向上される。
当業者は、本発明の実施形態が方法、システム、又はコンピュータプログラム製品として提供できることを理解するべきである。したがって、本発明は、ハードウェアのみの実施形態、ソフトウェアのみの実施形態、又はソフトウェアとハードウェアとの組み合わせでの実施形態の形式を用いることができる。さらに、本発明は、コンピュータ使用可能プログラムコードを含む１つ以上のコンピュータ使用可能記憶媒体（これらに限られないがディスクメモリ、ＣＤ−ＲＯＭ、光学メモリ、及び同様のものを含む）上に実装されたコンピュータプログラム製品の形式を用いることができる。
本発明は、本発明の実施形態に従った方法のフローチャート及び／又はブロック図、デバイス（システム）、及びコンピュータプログラム製品を参照して説明される。コンピュータプログラム命令は、フローチャート及び／又はブロック図内の各処理又は各ブロック、並びにフローチャート及び／又はブロック図内の処理及び／又はブロックの組み合わせを実施するのに使用できることが理解されるべきである。これらコンピュータプログラム命令は、汎用目的コンピュータ、専用コンピュータ、組み込みプロセッサ、又はマシンを生成する任意の他のプログラマブルデータ処理デバイスに対して提供でき、そのため、コンピュータ又は任意の他のプログラマブルデータ処理デバイスのプロセッサにより実行される命令は、フローチャート内の１つ以上の処理の中、及び／又はブロック図内の１つ以上のブロックの中の特定の機能を実施する装置を生成する。
これらコンピュータプログラム命令は、特定の方式で動くようにコンピュータ又は任意の他のプログラマブルデータ処理デバイスに命令することができるコンピュータ読取可能メモリに記憶でき、そのため、コンピュータ読取可能メモリ内の記憶された命令は、命令装置を含む人工物を生成する。命令装置は、フローチャート内の１つ以上の処理の中、及び／又はブロック図内の１つ以上のブロックの中の特定の機能を実施する。
これらコンピュータプログラム命令は、コンピュータ又は別のプログラマブルデータ処理デバイスへロードでき、そのため、一連の動作及びステップがコンピュータ又は別のプログラマブルデバイス上で実行され、これにより、コンピュータ実施処理を生成する。したがって、コンピュータ又は別のプログラマブルデバイス上で実行される命令は、フローチャート内の１つ以上の処理の中、及び／又はブロック図内の１つ以上のブロックの中の特定の機能を実施するステップを提供する。
本発明のいくつかの好適な実施形態が説明されたが、当業者が基本的発明概念を学習すると、当業者はこれら実施形態に対して変更及び修正を行うことができる。したがって、下記請求項は、好適な実施形態と本発明の範囲内に入るすべての変更及び修正とをカバーするようにみなされるよう意図される。
明らかなように、当業者は、本発明の実施形態の主旨及び範囲から逸脱することなく本発明の実施形態に対して様々な修正及び変形を行うことができる。本発明は、これら修正及び変形が下記請求項及びその均等物的技術により定義される保護の範囲内に入る限り、これらをカバーするよう意図される。

Claims (26)

  1. 電子写真を表示する方法であって、
    前記電子写真に含まれるキーオブジェクトを識別するステップと、
    少なくとも１回、前記の識別されたキーオブジェクトにマッチする関連情報を取得するステップと、
    ユーザコマンドが検出されたとき、前記関連情報及び前記電子写真を提示するステップと、を含み、
    前記識別されたキーオブジェクトにマッチする関連情報を取得する前記ステップは、
    モバイルデバイスにより提供される電子写真を検索して、前記キーオブジェクトを含む電子写真を探すステップ、及び／又は、
    モバイルデバイスにより提供されるアドレス帳を検索して、前記キーオブジェクトに連絡先プロファイルピクチャがマッチする連絡先の連絡先情報を探すステップ、及び／又は、
    発見された連絡先情報に基づいて、モバイルデバイスにより提供されるサードパーティソーシャルアプリケーションプログラム内の連絡先リストを検索して、前記連絡先情報にマッチする連絡先ステータス情報を探すステップ、及び／又は、
    モバイルデバイスにより提供されるサードパーティソーシャルアプリケーションプログラム内の連絡先プロファイルピクチャを検索して、前記キーオブジェクトにマッチする連絡先プロファイルピクチャに対応する連絡先ステータス情報を探すステップ、及び／又は、
    前記キーオブジェクトに含まれるキー情報を識別し、モバイルデバイスにより提供されるファイルを検索して、前記キー情報にマッチするファイルを探すステップ、及び／又は、
    前記キーオブジェクトに含まれるキー情報を識別し、モバイルデバイスにより提供されるサードパーティ非ソーシャルアプリケーションプログラムを検索して、前記キー情報にマッチする情報を探すステップ、及び／又は、
    前記キーオブジェクトに含まれるキー情報を識別し、インターネットインターフェースを呼び出して、インターネットを検索して前記キー情報にマッチする情報を探すステップ を含む方法。
  2. 少なくとも１回、前記識別されたキーオブジェクトにマッチする関連情報を取得する前記ステップは、
    規定された期間が満了するとき、前記識別されたキーオブジェクトにマッチする前記関連情報を取得するステップ、又は、
    前記識別されたキーオブジェクトにマッチする前記関連情報を取得するように命令するのに使用される命令が検出されるとき、前記識別されたキーオブジェクトにマッチする前記関連情報を取得するステップ、又は、
    前記電子写真を見る命令が検出されるとき、前記識別されたキーオブジェクトにマッチする前記関連情報を取得するステップ
    を含む、請求項１に記載の方法。
  3. 前記関連情報のタイプは、下記タイプ：
    オーディオ、ビデオ、ピクチャ、テキスト、オーディオリンク、ビデオリンク、ピクチャリンク、テキストリンク、アプリケーションプログラムリンク、又はデバイスアクション、のうち少なくとも１つを含み、
    前記デバイスアクションは、下記：振動、画面オフ／オン、又はフラッシング、のうち少なくとも１つを含む、
    請求項１乃至２のうちいずれか１項に記載の方法。
  4. 前記電子写真に含まれるキーオブジェクトを識別する前記ステップの後、
    前記電子写真に含まれる識別された第１のキーオブジェクトが位置するエリアを第１のホットスポットエリアとして分類するステップと、
    前記電子写真内の前記第１のホットスポットエリアの位置にマークを付けて、前記第１のホットスポットエリアに対応する位置情報を取得するステップと、
    前記識別された第１のキーオブジェクトについて、前記第１のホットスポットエリアの前記位置情報と前記第１のキーオブジェクトのものでありかつ今回取得される関連情報との間のマッピング関係を確立するステップと、
    関連付け方式で、前記電子写真と前記第１のキーオブジェクトについて確立される前記マッピング関係とを保存するステップと、
    をさらに含み、
    前記関連情報及び前記電子写真を提示する前記ステップは、
    前記電子写真を提示するステップと、
    前記の提示された電子写真に含まれる前記第１のキーオブジェクトがタップされたと検出されるとき、前記第１のキーオブジェクトの前記位置情報を取得するステップと、
    前記の取得された位置情報に対応する前記関連情報について前記の保存されたマッピング関係を検索するステップと、
    発見された関連情報を前記電子写真内の指定された位置に提示するステップと、
    を含む、請求項１乃至３のうちいずれか１項に記載の方法。
  5. 前記関連情報及び前記電子写真を提示する前記ステップは、
    前記関連情報のリンク情報を前記電子写真内の指定された位置に提示し、前記リンク情報がタップされたと検出されるとき、ウィンドウを設定し、前記関連情報を前記ウィンドウに埋め込み、前記電子写真内に、前記関連情報が埋め込まれた前記ウィンドウを提示するステップ、及び／又は、
    前記関連情報のリンク情報を前記電子写真内の指定された位置に提示し、前記リンク情報がタップされたと検出されるとき、前記関連情報を提供するアプリケーションプログラムにジャンプするステップ、及び／又は、
    前記関連情報を提示のために前記電子写真に埋め込むステップ、及び／又は、
    前記関連情報をモバイルデバイスの背景に提示するステップ
    を含む、請求項１乃至４のうちいずれか１項に記載の方法。
  6. 前記ユーザコマンドの検出は、下記方式：
    前記電子写真を見る命令を受信すること、又は、
    前記識別されたキーオブジェクトが位置するホットスポットエリアをタップする命令を検出すること
    のうち１つ又は組み合わせを含む、請求項１乃至５のうちいずれか１項に記載の方法。
  7. 前記識別されたキーオブジェクトにマッチする関連情報を取得する前記ステップの前、
    前記電子写真が撮られる環境の環境情報を取得するステップ
    をさらに含み、
    前記識別されたキーオブジェクトにマッチする関連情報を取得する前記ステップは、
    前記識別されたキーオブジェクトと前記環境情報との双方にマッチする前記関連情報を取得するステップ
    を含む、請求項１乃至６のうちいずれか１項に記載の方法。
  8. 当該方法は、
    前記の取得された環境情報を前記電子写真に提示するステップ
    をさらに含む、請求項７に記載の方法。
  9. 前記キーオブジェクトは、下記オブジェクト：
    顔、動物、建物、又は物品
    のうち少なくとも１つを含む、請求項１乃至８のうちいずれか１項に記載の方法。
  10. 電子写真を表示する装置であって、
    前記電子写真に含まれるキーオブジェクトを識別するように構成された、識別ユニットと、
    少なくとも１回、前記の識別されたキーオブジェクトにマッチする関連情報を取得するように構成された、取得ユニットと、
    ユーザコマンドが検出されたとき、前記関連情報及び前記電子写真を提示するように構成された、提示ユニットと、を含み、
    前記取得ユニットは、
    モバイルデバイスにより提供される電子写真を検索して、前記キーオブジェクトを含む電子写真を探し、かつ／あるいは、
    モバイルデバイスにより提供されるアドレス帳を検索して、前記キーオブジェクトに連絡先プロファイルピクチャがマッチする連絡先の連絡先情報を探し、かつ／あるいは、
    発見された連絡先情報に基づいて、モバイルデバイスにより提供されるサードパーティソーシャルアプリケーションプログラム内の連絡先リストを検索して、前記連絡先情報にマッチする連絡先ステータス情報を探し、かつ／あるいは、
    モバイルデバイスにより提供されるサードパーティソーシャルアプリケーションプログラム内の連絡先プロファイルピクチャを検索して、前記キーオブジェクトにマッチする連絡先プロファイルピクチャに対応する連絡先ステータス情報を探し、かつ／あるいは、
    前記キーオブジェクトに含まれるキー情報を識別し、モバイルデバイスにより提供されるファイルを検索して、前記キー情報にマッチするファイルを探し、かつ／あるいは、
    前記キーオブジェクトに含まれるキー情報を識別し、モバイルデバイスにより提供されるサードパーティ非ソーシャルアプリケーションプログラムを検索して、前記キー情報にマッチする情報を探し、かつ／あるいは、
    前記キーオブジェクトに含まれるキー情報を識別し、インターネットインターフェースを呼び出して、インターネットを検索して、前記キー情報にマッチする情報を探すように構成される、
    装置。
  11. 前記取得ユニットは、
    規定された期間が満了するとき、前記識別されたキーオブジェクトにマッチする前記関連情報を取得し、あるいは、
    前記識別されたキーオブジェクトにマッチする前記関連情報を取得するように命令するのに使用される命令が検出されるとき、前記識別されたキーオブジェクトにマッチする前記関連情報を取得し、あるいは、
    前記電子写真を見る命令が検出されるとき、前記識別されたキーオブジェクトにマッチする前記関連情報を取得する
    ように構成される、請求項１０に記載の装置。
  12. 前記関連情報のタイプは、下記タイプ：
    オーディオ、ビデオ、ピクチャ、テキスト、オーディオリンク、ビデオリンク、ピクチャリンク、テキストリンク、アプリケーションプログラムリンク、又はデバイスアクション、のうち少なくとも１つを含み、
    前記デバイスアクションは、下記：振動、画面オフ／オン、又はフラッシング、のうち少なくとも１つを含む、
    請求項１０乃至１１のうちいずれか１項に記載の装置。
  13. 前記電子写真に含まれる前記キーオブジェクトを識別した後、前記識別ユニットは、
    前記電子写真に含まれる識別された第１のキーオブジェクトが位置するエリアを第１のホットスポットエリアとして分類し、
    前記電子写真内の前記第１のホットスポットエリアの位置にマークを付けて、前記第１のホットスポットエリアに対応する位置情報を取得し、
    前記識別された第１のキーオブジェクトについて、前記第１のホットスポットエリアの前記位置情報と前記第１のキーオブジェクトのものでありかつ今回取得される関連情報との間のマッピング関係を確立し、
    関連付け方式で、前記電子写真と前記第１のキーオブジェクトについて確立される前記マッピング関係とを保存する
    ようにさらに構成され、
    前記提示ユニットは、
    前記電子写真を提示し、
    前記の提示された電子写真に含まれる前記第１のキーオブジェクトがタップされたと検出されるとき、前記第１のキーオブジェクトの前記位置情報を取得し、
    前記の取得された位置情報に対応する前記関連情報について前記の保存されたマッピング関係を検索し、
    発見された関連情報を前記電子写真内の指定された位置に提示する
    ように構成される、請求項１０乃至１２のうちいずれか１項に記載の装置。
  14. 前記提示ユニットは、
    前記関連情報のリンク情報を前記電子写真内の指定された位置に提示し、前記リンク情報がタップされたと検出されるとき、ウィンドウを設定し、前記関連情報を前記ウィンドウに埋め込み、前記電子写真内に、前記関連情報が埋め込まれた前記ウィンドウを提示し、かつ／あるいは、
    前記関連情報のリンク情報を前記電子写真内の指定された位置に提示し、前記リンク情報がタップされたと検出されるとき、前記関連情報を提供するアプリケーションプログラムにジャンプし、かつ／あるいは、
    前記関連情報を提示のために前記電子写真に埋め込み、かつ／あるいは、
    前記関連情報をモバイルデバイスの背景に提示する
    ように構成される、請求項１０乃至１３のうちいずれか１項に記載の装置。
  15. 前記ユーザコマンドの検出は、下記方式：
    前記電子写真を見る命令を受信すること、又は、
    前記識別されたキーオブジェクトが位置するホットスポットエリアをタップする命令を検出すること
    のうち１つ又は組み合わせを含む、請求項１０乃至１４のうちいずれか１項に記載の装置。
  16. 前記識別されたキーオブジェクトにマッチする前記関連情報を取得する前、前記取得ユニットは、
    前記電子写真が撮られる環境の環境情報を取得する
    ようにさらに構成され、
    前記識別されたキーオブジェクトにマッチする前記関連情報を取得するとき、前記取得ユニットは、
    前記識別されたキーオブジェクトと前記環境情報との双方にマッチする前記関連情報を取得する
    ように構成される、請求項１０乃至１５のうちいずれか１項に記載の装置。
  17. 前記提示ユニットは、
    前記の取得された環境情報を前記電子写真に提示する
    ようにさらに構成される、請求項１６に記載の装置。
  18. モバイルデバイスであって、
    表示画面、入力デバイス、メモリ、及びプロセッサを含み、前記入力デバイス、前記表示画面、前記メモリ、及び前記プロセッサはバスに接続され、
    前記表示画面は、電子写真及び関連情報を表示するように構成され、
    前記入力デバイスは、ユーザの入力命令を検出するように構成され、
    前記メモリは、プログラムコードのグループ、前記電子写真、及び前記関連情報を記憶するように構成され、
    前記プロセッサは、前記メモリに記憶された前記プログラムコードを呼び出して、下記動作：前記電子写真に含まれるキーオブジェクトを識別することと、少なくとも１回、前記の識別されたキーオブジェクトにマッチする関連情報を取得することと、ユーザコマンドが検出されたとき、前記関連情報及び前記電子写真を提示することと、を実行するように構成され、
    前記プロセッサはさらに、
    当該モバイルデバイスにより提供される電子写真を検索して、前記キーオブジェクトを含む電子写真を探し、かつ／あるいは、
    当該モバイルデバイスにより提供されるアドレス帳を検索して、前記キーオブジェクトに連絡先プロファイルピクチャがマッチする連絡先の連絡先情報を探し、かつ／あるいは、
    発見された連絡先情報に基づいて、当該モバイルデバイスにより提供されるサードパーティソーシャルアプリケーションプログラム内の連絡先リストを検索して、前記連絡先情報にマッチする連絡先ステータス情報を探し、かつ／あるいは、
    当該モバイルデバイスにより提供されるサードパーティソーシャルアプリケーションプログラム内の連絡先プロファイルピクチャを検索して、前記キーオブジェクトにマッチする連絡先プロファイルピクチャに対応する連絡先ステータス情報を探し、かつ／あるいは、
    前記キーオブジェクトに含まれるキー情報を識別し、当該モバイルデバイスにより提供されるファイルを検索して、前記キー情報にマッチするファイルを探し、かつ／あるいは、
    前記キーオブジェクトに含まれるキー情報を識別し、当該モバイルデバイスにより提供されるサードパーティ非ソーシャルアプリケーションプログラムを検索して、前記キー情報にマッチする情報を探し、かつ／あるいは、
    前記キーオブジェクトに含まれるキー情報を識別し、インターネットインターフェースを呼び出して、インターネットを検索して、前記キー情報にマッチする情報を探す
    ように構成される、
    モバイルデバイス。
  19. 前記プロセッサは、
    規定された期間が満了するとき、前記識別されたキーオブジェクトにマッチする前記関連情報を取得し、あるいは、
    前記識別されたキーオブジェクトにマッチする前記関連情報を取得するように命令するのに使用される命令が検出されるとき、前記識別されたキーオブジェクトにマッチする前記関連情報を取得し、あるいは、
    前記電子写真を見る命令が検出されるとき、前記識別されたキーオブジェクトにマッチする前記関連情報を取得する
    ように構成される、請求項１８に記載のモバイルデバイス。
  20. 前記関連情報のタイプは、下記タイプ：
    オーディオ、ビデオ、ピクチャ、テキスト、オーディオリンク、ビデオリンク、ピクチャリンク、テキストリンク、アプリケーションプログラムリンク、又はデバイスアクション、のうち少なくとも１つを含み、
    前記デバイスアクションは、下記：振動、画面オフ／オン、又はフラッシング、のうち少なくとも１つを含む、
    請求項１８乃至１９のうちいずれか１項に記載のモバイルデバイス。
  21. 前記電子写真に含まれる前記キーオブジェクトを識別した後、前記プロセッサは、
    前記電子写真に含まれる識別された第１のキーオブジェクトが位置するエリアを第１のホットスポットエリアとして分類し、
    前記電子写真内の前記第１のホットスポットエリアの位置にマークを付けて、前記第１のホットスポットエリアに対応する位置情報を取得し、
    前記識別された第１のキーオブジェクトについて、前記第１のホットスポットエリアの前記位置情報と前記第１のキーオブジェクトのものでありかつ今回取得される関連情報との間のマッピング関係を確立し、
    関連付け方式で、前記電子写真と前記第１のキーオブジェクトについて確立される前記マッピング関係とを保存する
    ようにさらに構成され、
    前記関連情報及び前記電子写真を提示するとき、前記プロセッサは、
    前記電子写真を提示し、
    前記の提示された電子写真に含まれる前記第１のキーオブジェクトがタップされたと検出されるとき、前記第１のキーオブジェクトの前記位置情報を取得し、
    前記の取得された位置情報に対応する前記関連情報について前記の保存されたマッピング関係を検索し、
    発見された関連情報を前記電子写真内の指定された位置に提示する
    ように構成される、請求項１８乃至２０のうちいずれか１項に記載のモバイルデバイス。
  22. 前記関連情報及び前記電子写真を提示するとき、前記プロセッサは、
    前記関連情報のリンク情報を前記電子写真内の指定された位置に提示し、前記リンク情報がタップされたと検出されるとき、ウィンドウを設定し、前記関連情報を前記ウィンドウに埋め込み、前記電子写真内に、前記関連情報が埋め込まれた前記ウィンドウを提示し、かつ／あるいは、
    前記関連情報のリンク情報を前記電子写真内の指定された位置に提示し、前記リンク情報がタップされたと検出されるとき、前記関連情報を提供するアプリケーションプログラムにジャンプし、かつ／あるいは、
    前記関連情報を提示のために前記電子写真に埋め込み、かつ／あるいは、
    前記関連情報を当該モバイルデバイスの背景に提示する
    ように構成される、請求項１８乃至２１のうちいずれか１項に記載のモバイルデバイス。
  23. 前記ユーザコマンドの検出は、下記方式：
    前記電子写真を見る命令を受信すること、又は、
    前記識別されたキーオブジェクトが位置するホットスポットエリアをタップする命令を検出すること
    のうち１つ又は組み合わせを含む、請求項１８乃至２２のうちいずれか１項に記載のモバイルデバイス。
  24. 当該モバイルデバイスは、
    前記電子写真が撮られる環境の環境情報を記録するように構成された、センサ
    をさらに含み、
    前記識別されたキーオブジェクトにマッチする前記関連情報を取得する前、前記プロセッサは、
    前記電子写真が撮られる前記環境の前記環境情報を取得する
    ようにさらに構成され、
    前記識別されたキーオブジェクトにマッチする前記関連情報を取得するとき、前記プロセッサは、
    前記識別されたキーオブジェクトと前記環境情報との双方にマッチする前記関連情報を取得する
    ように構成される、請求項１８乃至２３のうちいずれか１項に記載のモバイルデバイス。
  25. 前記プロセッサは、
    前記の取得された環境情報を前記電子写真に提示する
    ようにさらに構成される、請求項２４に記載のモバイルデバイス。
  26. コンピュータに請求項１乃至９のうちいずれか１項に記載の方法を実行させるコンピュータプログラム。
JP2017550602A 2015-03-27 2015-03-27 電子写真を表示する方法及び装置並びにモバイルデバイス Active JP6522779B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/075280 WO2016154814A1 (zh) 2015-03-27 2015-03-27 一种电子照片显示方法、装置和移动设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019083086A Division JP6749452B2 (ja) 2019-04-24 2019-04-24 電子写真を表示する方法及び装置並びにモバイルデバイス

Publications (2)

Publication Number Publication Date
JP2018512670A JP2018512670A (ja) 2018-05-17
JP6522779B2 true JP6522779B2 (ja) 2019-05-29

Family

ID=57003782

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017550602A Active JP6522779B2 (ja) 2015-03-27 2015-03-27 電子写真を表示する方法及び装置並びにモバイルデバイス

Country Status (5)

Country Link
US (1) US10769196B2 (ja)
EP (1) EP3260968A4 (ja)
JP (1) JP6522779B2 (ja)
CN (2) CN106462349B (ja)
WO (1) WO2016154814A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107153498B (zh) * 2016-03-30 2021-01-08 斑马智行网络(香港)有限公司 一种页面处理方法、装置和智能终端
CN107341185B (zh) * 2017-06-05 2020-12-04 北京小米移动软件有限公司 信息显示的方法及装置
CN110569690B (zh) * 2018-06-06 2022-05-13 浙江宇视科技有限公司 目标信息获取方法及装置
CN108897856A (zh) * 2018-06-29 2018-11-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN109492171A (zh) * 2018-09-04 2019-03-19 西安艾润物联网技术服务有限责任公司 信息推送方法及相关产品
CN109348120B (zh) * 2018-09-30 2021-07-20 烽火通信科技股份有限公司 一种拍摄方法、图像的显示方法、系统及设备
CN111061530A (zh) * 2019-12-05 2020-04-24 维沃移动通信有限公司 一种图像处理方法、电子设备及存储介质
CN111611415B (zh) * 2020-05-21 2023-08-08 百度在线网络技术（北京）有限公司 图片展示方法、服务器、电子设备及存储介质

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5572651A (en) * 1993-10-15 1996-11-05 Xerox Corporation Table-based user interface for retrieving and manipulating indices between data structures
ATE538440T1 (de) 2001-04-30 2012-01-15 Activemap Llc Interaktive, elektronisch präsentierte karte
US6931147B2 (en) * 2001-12-11 2005-08-16 Koninklijke Philips Electronics N.V. Mood based virtual photo album
US8160549B2 (en) * 2004-02-04 2012-04-17 Google Inc. Mood-based messaging
US8326775B2 (en) * 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US7751597B2 (en) 2006-11-14 2010-07-06 Lctank Llc Apparatus and method for identifying a name corresponding to a face or voice using a database
US8136028B1 (en) * 2007-02-02 2012-03-13 Loeb Enterprises Llc System and method for providing viewers of a digital image information about identifiable objects and scenes within the image
CN101635902A (zh) 2008-07-25 2010-01-27 鸿富锦精密工业（深圳）有限公司 一种人脸识别拨号系统及方法
US9204181B2 (en) * 2008-12-12 2015-12-01 Genband Us Llc Content overlays in on-demand streaming applications
CN101990031A (zh) * 2009-07-30 2011-03-23 索尼爱立信移动通讯股份有限公司 使用面部识别来更新个人联系人列表的系统和方法
US8670597B2 (en) 2009-08-07 2014-03-11 Google Inc. Facial recognition with social network aiding
JP2010134952A (ja) 2010-01-20 2010-06-17 Seiko Epson Corp 画像データの管理
JP5398570B2 (ja) 2010-02-10 2014-01-29 キヤノン株式会社 情報処理装置及びその制御方法
US20110243397A1 (en) * 2010-03-30 2011-10-06 Christopher Watkins Searching digital image collections using face recognition
CN102238466A (zh) * 2010-04-20 2011-11-09 上海博路信息技术有限公司 一种移动增强现实的手机系统
JP5321564B2 (ja) 2010-11-08 2013-10-23 ソニー株式会社 画像管理方法および装置、記録媒体、並びにプログラム
US20140212112A1 (en) * 2011-08-04 2014-07-31 Sony Mobile Communications Ab Contact video generation system
US9465506B2 (en) * 2011-08-17 2016-10-11 Blackberry Limited System and method for displaying additional information associated with a messaging contact in a message exchange user interface
US9135631B2 (en) * 2011-08-18 2015-09-15 Facebook, Inc. Computer-vision content detection for sponsored stories
CN102368269A (zh) * 2011-10-25 2012-03-07 华为终端有限公司 建立关联关系的方法及装置
CN103327163B (zh) * 2012-03-22 2015-11-25 宇龙计算机通信科技(深圳)有限公司 查找联系人信息的方法及其通信终端
CN102693088A (zh) 2012-05-11 2012-09-26 广东欧珀移动通信有限公司 一种基于图片的智能交互方法
US20130328926A1 (en) * 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd Augmented reality arrangement of nearby location information
CN103634632B (zh) * 2012-08-28 2016-08-03 腾讯科技（深圳）有限公司 图片信息的处理方法、装置及系统
CN102833493B (zh) 2012-08-31 2017-06-09 广东欧珀移动通信有限公司 一种移动终端的图像显示方法及系统
CN102930263A (zh) * 2012-09-27 2013-02-13 百度国际科技（深圳）有限公司 一种信息处理方法及装置
KR20140070937A (ko) * 2012-11-30 2014-06-11 삼성전자주식회사 소셜 네트워크 서비스 어플리케이션 연동 기능을 제공하기 위한 장치 및 방법
KR102065418B1 (ko) * 2013-09-24 2020-01-13 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN103795897A (zh) * 2014-01-21 2014-05-14 深圳市中兴移动通信有限公司 自动生成背景音乐的方法和装置
CN103793697B (zh) * 2014-02-17 2018-05-01 北京旷视科技有限公司 一种人脸图像的身份标注方法及人脸身份识别方法
CN103905594B (zh) * 2014-03-28 2019-01-15 联想(北京)有限公司 一种信息处理方法及电子设备
US9501871B2 (en) * 2014-04-30 2016-11-22 At&T Mobility Ii Llc Explorable augmented reality displays
US9576175B2 (en) * 2014-05-16 2017-02-21 Verizon Patent And Licensing Inc. Generating emoticons based on an image of a face
KR102155521B1 (ko) * 2014-05-23 2020-09-14 삼성전자 주식회사 카메라를 구비하는 전자 장치의 부가 정보 획득 방법 및 장치
US10104345B2 (en) * 2014-12-16 2018-10-16 Sighthound, Inc. Data-enhanced video viewing system and methods for computer vision processing
CN106034029A (zh) * 2015-03-20 2016-10-19 阿里巴巴集团控股有限公司 基于图片验证码的验证方法和装置
CN107193571A (zh) * 2017-05-31 2017-09-22 广东欧珀移动通信有限公司 界面推送的方法、移动终端及存储介质
US20190227634A1 (en) * 2018-01-19 2019-07-25 International Business Machines Corporation Contextual gesture-based image searching

Also Published As

Publication number Publication date
US10769196B2 (en) 2020-09-08
EP3260968A1 (en) 2017-12-27
JP2018512670A (ja) 2018-05-17
CN106462349A (zh) 2017-02-22
CN110941736B (zh) 2023-05-05
EP3260968A4 (en) 2018-02-14
WO2016154814A1 (zh) 2016-10-06
CN106462349B (zh) 2019-10-25
CN110941736A (zh) 2020-03-31
US20180075066A1 (en) 2018-03-15

Similar Documents

Publication Publication Date Title
JP6522779B2 (ja) 電子写真を表示する方法及び装置並びにモバイルデバイス
CN107438814B (zh) 移动设备及其方法和移动设备仿真器的方法
US8055271B2 (en) Intelligent location-to-cell mapping using annotated media
JP6479266B1 (ja) デジタル文書のインテリジェントな特定および提示
US20180060353A1 (en) System and method for predicting a geographic origin of content and accuracy of geotags related to content obtained from social media and other content providers
US9384197B2 (en) Automatic discovery of metadata
CN109189879B (zh) 电子书籍显示方法及装置
JP2020504855A5 (ja)
US10380256B2 (en) Technologies for automated context-aware media curation
TWI781554B (zh) 物品名稱確定方法、裝置、電腦設備及儲存媒體
CN112099709B (zh) 多媒体对象的整理方法及装置、电子设备、存储介质
EP3475840A1 (en) Facilitating use of images as search queries
TW201229976A (en) Place-based image organization
KR101666883B1 (ko) 컨텍스트 기반 컨텐츠 리스트 생성
WO2019214132A1 (zh) 信息处理方法、装置及设备
CN110110046B (zh) 同名实体推荐方法及装置
JP6749452B2 (ja) 電子写真を表示する方法及び装置並びにモバイルデバイス
US20180189602A1 (en) Method of and system for determining and selecting media representing event diversity
CN116049490A (zh) 素材搜索方法、装置和电子设备
WO2022241987A1 (zh) 图像检索方法及装置
KR20110053133A (ko) 데이터 표시 방법 및 장치
KR20160043581A (ko) 인기 메시지 추출 장치 및 방법
CN103955493A (zh) 信息的展示方法、装置及移动终端
Shatte et al. Context-aware mobile augmented reality for library management
US10742749B2 (en) Media hotspot payoffs with alternatives lists

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190424

R150 Certificate of patent or registration of utility model

Ref document number: 6522779

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250