TW201303792A - 行動裝置上之具空間組織性的圖像集合 - Google Patents

行動裝置上之具空間組織性的圖像集合 Download PDF

Info

Publication number
TW201303792A
TW201303792A TW101115392A TW101115392A TW201303792A TW 201303792 A TW201303792 A TW 201303792A TW 101115392 A TW101115392 A TW 101115392A TW 101115392 A TW101115392 A TW 101115392A TW 201303792 A TW201303792 A TW 201303792A
Authority
TW
Taiwan
Prior art keywords
images
receiving
mobile device
image
orientation
Prior art date
Application number
TW101115392A
Other languages
English (en)
Inventor
Boris Epshtein
Eyal Ofek
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of TW201303792A publication Critical patent/TW201303792A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Library & Information Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本發明提供除了其他功能之外,用以利用關於每一圖像的定向以在行動裝置上顯示經空間性地組織之圖像的系統、方法與電腦可讀取媒體。由各種不同的定向來擷取物件的複數個圖像,且每一圖像以及與每一圖像相關的個別定向資訊被儲存於圖像檔案中。在裝置接收到期望顯示圖像檔案的指示時,裝置偵測裝置的定向,並顯示複數個圖像中相關於最接近匹配裝置定向之定向資訊的圖像。隨著裝置定向改變,裝置所顯示的圖像亦改變,讓觀看圖像檔案的使用者的體驗近似以三維觀看物件。此種圖像檔案亦可結合廣告以及作為搜尋詢問來利用。

Description

行動裝置上之具空間組織性的圖像集合
本發明係關於行動裝置上之經空間性地組織之圖像集合。
在今日,許多人高度地裝備著手持式行動裝置,且其中有一定的數量為裝備著相機、加速度計、物件顯示器等等。此種裝置被大量地利用來通訊,包含關於各種物件的通訊。例如,使用者可時常在他們的日常活動中遇見感興趣的物件。在今日的高度社群連結環境中,常見使用者在(例如)做出購買決定之前,與朋友或家庭成員進行關於物件的通訊。進行關於物件的通訊的一種常見方法為,利用他或她裝備了攝影機的行動裝置來對物件拍照,並將照片傳送給朋友或家庭成員以供觀看。儘管此種方法確實提供了朋友或家庭成員關於所考慮物件的一些有用的資訊,但在今日世界中的許多物件為三維的,而照片維持為二維的通訊手段並產生一些限制。
此概要被提供以由簡化形式介紹一些概念,該等概念將進一步於下文實施方式中說明。此概要並不意為識別 所主張發明標的之關鍵特徵或必要特徵,亦不意為限制所主張發明標的之範圍。
本發明之具體實施例關於除了其他功能之外,用於利用關於每一圖像的定向,來空間性地組織圖像,以在行動裝置上顯示的系統、方法與電腦可讀取媒體。第一使用者利用行動裝置,以各種不同的定向來擷取特定物件的複數個圖像,而行動裝置裝備了攝影機與在每次擷取圖像時偵測裝置定向的能力(例如加速度計及/或陀螺儀)。每一圖像,以及與圖像相關的個別定向資訊,被儲存於圖像檔案中。隨後,第一使用者傳送圖像檔案至第二行動裝置,第二行動裝置裝備了圖像顯示器與定向偵測能力。第二行動裝置在接收到需要顯示圖像檔案的指示時,偵測第二行動裝置的定向,並顯示在具有相關定向資訊的複數個圖像中最符合第二行動裝置定向的圖像。隨著第二行動裝置的定向改變,所顯示之複數個圖像中的圖像亦改變,讓觀看圖像檔案的使用者的經驗近似於以三維觀看物件。具體實施例可類似地施加至指向性音訊(directional audio)、深度圖像等等的擷取與撥放。
本說明書特定地說明本發明的標的以符合法定要求。然而,本說明書自身不意為限制本發明的範圍。相反的,發明人已思量,所主張之發明標的亦可由其他方式實 施,而包含不同的步驟或步驟組合,類似於本文件所說明者,連同於其他當前或未來的科技。再者,雖然名詞「步驟」及/或「方塊」在本文中可用以標誌所採用之方法的不同元件,但這些名詞需不被解譯為隱含任何對於本文所揭示之各種步驟中(或之間)的特定次序,除了明確地說明了個別步驟的次序時。
本文所說明科技的各種態樣,一般而言指向關於除了別的功能之外,用於利用關於每一圖像的定向,來空間性地組織圖像,以在行動裝置上顯示的系統、方法與電腦可讀取媒體。在本發明領域中具有通常知識者將瞭解,具體實施例可類似地應用於指向性音訊、深度圖像等等,且具體實施例的應用非僅限於二維圖像。第一使用者利用行動裝置,以各種不同的定向來擷取特定物件的複數個圖像,而行動裝置裝備了攝影機與在每次擷取圖像時偵測裝置定向的能力(例如加速度計及/或陀螺儀)。每一圖像,以及與圖像相關的個別定向資訊,被儲存於圖像檔案中。隨後,第一使用者傳送圖像檔案至第二行動裝置,第二行動裝置裝備了圖像顯示器與定向偵測能力。第二行動裝置在接收到需要顯示圖像檔案的指示時,偵測第二行動裝置的定向,並顯示在具有相關定向資訊的複數個圖像中最符合第二行動裝置定向的圖像。隨著第二行動裝置的定向改變,所顯示之複數個圖像中的圖像亦改變,讓觀看圖像檔案的使用者的經驗近似於三維觀看物件。此種圖像檔案亦可連同廣告與搜尋 詢問而利用,如於下文更完整說明。
本發明之具體實施例准許第二行動裝置使用者藉由重製第一(或擷取的)行動裝置使用者的姿勢或相片擷取型式,來觀看所擷取的圖像。換言之,若第一使用者藉由在物件周圍建立範圍,來擷取特定物件的複數個圖像,則在圖像被顯示在第二行動裝置上時,第一行動裝置使用者的步驟可被重製。類似地,第一使用者可站在相對穩定的位置,並環繞他或她自身全景拍攝複數個圖像。此經驗在被第二行動裝置使用者觀看時亦可被重製。類似地,第一使用者可建立一般流形(general manifold),若他或她(例如)進入建築物等等。在具體實施例中,第二行動裝置的顯示,可指示圖像藉以被擷取的可用指向或定向,且因此指示可從哪些可用定向來觀看圖像。
因此,本發明的一個具體實施例係針對儲存電腦可使用指令的一或多個電腦可讀取儲存媒體,指令在由一或多個運算裝置使用時,使一或多個運算裝置執行在行動裝置上顯示經空間性地組織的圖像的方法。方法包含在第一行動裝置上接收特定物件的複數個圖像,複數個圖像之每一者係相關於個別的定向資訊。方法進一步包含偵測第一行動裝置的第一定向,並使用複數個圖像之每一者的個別定向資訊,決定相關於個別定向資訊之複數個圖像中,最接近所偵測到之第一行動裝置之第一定向的第一圖像。方法更進一步包含在相關於第一行動裝置的顯示螢幕上,顯示複數個圖像的第一圖像。
本發明的另一具體實施例係針對由具有處理器與記憶體的運算裝置所執行,用以結合廣告利用經空間性地組織之圖像的方法。方法包含接收特定物件的複數個圖像,複數個圖像之每一者係相關於個別的定向資訊。方法進一步包含處理複數個圖像之步驟,其中處理步驟包含使複數個圖像之至少第一部分與個別之相關定向資訊相關於廣告。另外,方法包含接收對廣告的要求,以及傳送廣告與相關的複數個圖像之至少第一部分與個別之相關定向資訊以顯示在第一行動裝置上,而使行動裝置定向的改變造成複數個圖像之至少第一部分的不同圖像被連同廣告顯示在第一行動裝置上。
在又另一具體實施例中,本發明係針對儲存電腦可使用指令的一或多個電腦可讀取儲存媒體,指令在由一或多個運算裝置使用時,使一或多個運算裝置執行利用經空間性組織之圖像以作為搜尋詢問的方法。方法包含接收特定物件的複數個圖像以作為搜尋詢問,複數個圖像之每一者係相關於個別定向資訊。方法進一步包含利用複數個圖像與相關的個別定向資訊來決定對應於特定物件的一或多個搜尋結果,並傳送一或多個搜尋結果以展示。
在已簡要說明本發明具體實施例的概觀之後,下文說明可實施本發明具體實施例於其中的示例性作業環境,已提供對於本發明之各種態樣的一般背景。一般地參照圖式,首先特定參照第1圖,第1圖圖示用以實施本發 明具體實施例的示例性作業環境,且此環境被一般地標誌為運算裝置100。運算裝置100僅為一種適合的運算環境範例,且不意為建議任何對本發明使用或功能性之範圍的限制。運算裝置100亦不應被解譯為具有任何關於所圖示說明部件之任何一者或結合者的相依性或需求性。
本發明之具體實施例可被說明於電腦碼或機器可使用指令的一般背景中,包含由電腦或其他機器(諸如個人數位助理或其他手持式裝置)執行的電腦可執行指令(諸如程式模組)。一般而言,程式模組包含常式、程式、物件、部件、資料結構等等,代表執行特定工作或實施特定抽象資料類型的碼。本發明之具體實施例可被實作於各種系統配置中,包含手持式裝置、消費性電子產品、一般用途電腦、更為專精的運算裝置等等。本發明之具體實施例亦可被實作於分散式運算環境中,其中由遠端處理裝置執行工作,遠端處理裝置透過通訊網路來鏈結。
繼續參照第1圖,運算裝置100包含匯流排110,匯流排110直接地或不直接地耦合下列裝置:記憶體112、一或多個處理器114、一或多個展示部件116、輸入/輸出(I/O)埠118、I/O部件120以及說明性電源供應122。匯流排110可代表一或多個匯流排(諸如位址匯流排、資料匯流排或以上之結合者)。雖然第1圖的各種方塊為清楚說明之目的以線來圖示,實際上,這些方塊代表邏輯部件而不必須為實體部件。例如,吾人可將展示部件(諸 如顯示裝置)視為I/O部件。又處理器亦可具有記憶體。本發明的發明人認知到此係為本發明領域的本質,並重申第1圖僅為可連同本發明之一或多個具體實施例來使用的示例性運算裝置的說明性示意圖。不在諸如「工作站」、「伺服器」、「膝上型電腦」、「手持式裝置」等等的分類之間作成區別,因為所有分類均被思量於第1圖的範圍內並指向「運算裝置」。
運算裝置100通常包含各種電腦可讀取媒體。電腦可讀取媒體可為可被運算裝置100存取的任何可用媒體,並包含以任何用於儲存資訊的方法或科技來實施的揮發性與非揮發性媒體、可移除式與不可移除式媒體兩者,資訊諸如電腦可讀取指令、資料結構、程式模組或其他資料。電腦可讀取媒體包含(但不限於)RAM、ROM、EEPROM、快閃記憶體或其他記憶體科技、CD-ROM、數位多媒體光碟(DVD)或其他光學碟片儲存、磁匣、磁帶、磁碟儲存或其他磁性儲存裝置,或任何其他可用以儲存所需資訊並可由運算裝置100存取的媒體。前述之任意者的組合者亦應包含於電腦可讀取媒體的範圍中。
記憶體112包含為揮發性及/或非揮發性記憶體形式的電腦可讀取媒體。記憶體可為可移除式、不可移除式或兩者之結合者。示例性硬體裝置包含固態記憶體、硬碟機、光碟機等等。運算裝置100包含一或多個處理器,處理器從各種諸如記憶體112或I/O部件120的實體讀取資料。展示部件116對使用者或其他裝置展示資料指 示。示例性的展示部件包含顯示裝置、揚聲器、列印部件、震動部件等等。
I/O埠118允許運算裝置100邏輯地耦合至其他裝置,包含I/O部件120,一些I/O部件120可為內建式。示例性部件包含麥克風、搖桿、遊戲控制器、衛星碟形、掃描器、印表機、無線裝置等等。
如上文所提及,本發明相關於利用關於每一圖像在行動裝置上展示之定向的資訊,空間性地組織物件的複數個圖像(以及(例如)指向性音訊檔案、深度圖像等等)的系統、方法與電腦可讀取媒體。現在參照第2圖,提供說明示例性運算系統200的方塊圖,在運算系統200中可採用本發明的具體實施例。一般而言,運算系統200圖示說明一環境,在該環境中從各種不同的定向來擷取物件的複數個圖像,並將每一圖像以及與每一圖像相關的個別定向資訊儲存於圖像檔案中。在裝置接收到期望顯示圖像檔案的指示時,裝置偵測裝置的定向,並顯示在具有相關定向資訊之複數個圖像中最符合裝置定向的圖像。隨著裝置定向改變,所顯示的圖像亦改變,對觀看圖像檔案的使用者提供近似於三維觀看物件的經驗。如將於下文更進一步詳細描述,此種圖像檔案亦可連同廣告與作為搜尋詢問來利用,如於下文更完整說明。
除了其他未圖示的部件之外,電腦系統200一般而言包含第一手持式行動運算裝置210A、第二手持式行動裝置210B、伺服器212以及搜尋引擎214,所有以上者經 由網路218與彼此通訊。網路218可包含(並不限於)一或多個區域網路(LAN)及/或廣域網路(WAN)。此種網路環境常見於辦公室、企業範圍電腦網路、內部網路以及網際網路。因此,本文不進一步說明網路218。
應瞭解,在本發明具體實施例的範圍中,可在運算系統200內採用任何數量的手持式行動運算裝置、伺服器以及搜尋引擎。前述每一者可包含單一裝置/介面或在分散式環境中協同作業的多重裝置/介面。例如,伺服器212及/或搜尋引擎214可包含設置於分散式環境中的多重裝置及/或模組,多重裝置及/或模組協同地提供本文所說明之伺服器212及/或搜尋引擎214的個別功能性。此外,未圖示的其他部件/模組亦可包含於運算系統200內。
在一些具體實施例中,所圖示說明之部件/模組之一或多者可被實施為獨立式(stand-alone)應用程式。在其他具體實施例中,所圖示說明之部件/模組之一或多者,可經由手持式行動運算裝置210A、210B之一者來實施為以網際網路為基礎的服務,或實施為伺服器212或搜尋引擎214中的模組。在本發明領域中具有通常知識者將可瞭解,第2圖所圖示說明之部件/模組在本質上與數量上僅為示例性,且不應被認定為限制。可在本發明具體實施例的範圍內,採用任何數量的部件/模組以達成所需的功能性。再者,部件/模組可位於任何數量的伺服器、搜尋引擎或手持式行動運算裝置上。僅為示例目的,搜 尋引擎214可位於伺服器上、伺服器叢集上,或位於剩餘部件之一或多者之遠端處的運算裝置(未圖示)上。
應瞭解到,本文所說明的此設置與其他設置,係僅揭櫫為範例。除了所圖示的設置與元件之外(或作為替代),可使用其他設置與元件(例如機器、介面、功能、順序與功能分組等等),且可一起省略一些元件。再者,本文所說明之元件之許多者為功能性實體,功能性實體可被實施為離散或分散式部件,或連同其他部件來實施,以及以任何適合的結合與位置來實施。本文所說明的各種功能,如由一或多個實體所執行,可由硬體、韌體及/或軟體來施行。例如,可由執行儲存於記憶體中的指令的處理器,來施行各種功能。
手持式行動裝置210A、210B之每一者,可包含任何類型的運算裝置,諸如(例如)參照第1圖所說明的運算裝置100。如所說明,手持式行動運算裝置210A、210B之每一者包含個別的攝影機218A與218B、顯示螢幕220A與220B、裝置定向偵測部件222A與222B、瀏覽器224A與224B、接收部件226A與226B、傳送部件228A與228B以及資料庫230A與230B。應注意到,為了簡易說明,於在本文中僅由基礎元件符號(例如,210)說明手持式行動裝置210A與210B之部件的任意者,而非由特定描繪之裝置或部件元件符號(例如,210A或210B)說明時,此係指示所說明之裝置或部件對於手持式行動裝置210A與210B兩者是相同的。
攝影機218經配置以擷取特定物件的複數個圖像。一般而言,手持式行動裝置210的使用者,在遇到感興趣之三維物件時,利用攝影機218來擷取感興趣之三維物件的複數個圖像,以不同的角度或定向(對於物件)來擷取複數個圖像之每一者。
顯示螢幕220經配置以顯示所擷取的圖像,以及任何其他使用者想要觀看的文字或資訊。例如,顯示螢幕220經配置以顯示廣告文字與圖像、搜尋詢問輸入區域、搜尋結果(文字與圖像)以及使用者視覺地可用的任何額外資訊。在具體實施例中,顯示螢幕220可進一步經配置以指示可用以觀看圖像的可用指向或定向。
裝置定向偵測部件222經配置以偵測手持式裝置210的定向。例如,在使用者利用攝影機218擷取圖像時,裝置定向偵測部件222偵測行動裝置210的定向,而可使此種定向資訊相關於所擷取的圖像。類似地,在使用者觀看包含複數個圖像的圖像檔案,且每一圖像個別具有相關的定向資訊時,定向偵測部件222經配置以偵測手持式行動裝置210的定向,而使具有最接近所偵測之行動裝置210定向之定向資訊的圖像可被選擇以展示(例如,結合行動裝置210的顯示螢幕220)。根據本發明之具體實施例,裝置定向偵測部件222可包含加速度計、陀螺儀或任何其他能夠偵測手持式行動裝置210定向的裝置或部件。已思量任何與所有的此種變化與變化的任何結合者,為位於本發明具體實施例的範圍內。
瀏覽器224經配置以提供介面,手持式行動裝置210的使用者可透過介面傳送並接收圖像檔案與其他可用的資訊。在具體實施例中,瀏覽器224經配置以提供介面,可透過介面輸入包含圖像檔案的搜尋詢問,並成像輸入搜尋詢問的結果(結合手持式行動運算裝置210的顯示螢幕220),圖像檔案具有物件的複數個圖像,每一圖像具有相關的個別定向資訊。儘管將搜尋結果說明為被提供並被展示,運算系統200可輕易地提供鏈結或其他參照,藉此使用者可取得相關的結果。注意到,鏈結不需接續著傳統瀏覽器224;例如,位於手持式行動運算裝置210上(或由手持式行動運算裝置210存取)的應用程式可接續鏈結、獲得搜尋結果並將搜尋結果的展示插入行動運算裝置210的輸出。再者,本文所說明的功能性,如由瀏覽器224所執行者,可由任何其他能夠成像網路內容的應用程式來執行。已思量任何與所有的此種變化與變化的任何結合者,為位於本發明具體實施例的範圍內。
接收部件226經配置以接收由特定物件之複數個圖像所組成的圖像檔案,複數個圖像之每一者具有相關的個別定向資訊。類似地,傳送部件228經配置以傳送由特定物件之複數個圖像所組成的圖像檔案,複數個圖像之每一者具有相關的個別定向資訊。在具體實施例中,接收部件226與傳送部件228進一步經配置以個別接收與傳送搜尋詢問、廣告等等。
資料庫230經配置以儲存圖像與相關的個別定向資訊。在各種具體實施例中,此種資訊可包含(不為限制)由特定物件之複數個圖像所組成的圖像檔案,複數個圖像之每一者具有個別的相關定向資訊。在具體實施例中,資料庫230經配置為可搜尋結合資料庫230所儲存之物件的一或多者。在本發明領域中具有通常知識者將瞭解並認知到,結合資料庫230所儲存的資訊可為可組態式,並可包含任何相關於所擷取圖像、手持式行動裝置定向資訊及/或類似者的資訊。此種資訊的內容與容積並不意為以任何方式限制本發明之具體實施例的範圍。再者,雖然圖示說明為單一獨立部件,但資料庫230事實上可為複數個儲存裝置,例如為資料庫叢集,資料庫叢集的部分可結合手持式行動計算裝置210、另一外部運算裝置(未圖示)及/或任何以上之結合者而位於其中。
繼續參照第2圖,伺服器212可包含任何類型的運算裝置,諸如(例如)參照第1圖所說明的運算裝置100。如圖示說明,伺服器212包含接收部件232、處理部件234與傳送部件236。伺服器212亦包含(或存取)資料庫238。對圖像、經處理圖像與相關個別定向資訊,來配置資料庫238。在各種具體實施例中,此種資訊可包含(不為限制),由特定物件之複數個圖像所組成的圖像檔案(其中一些或全部可包含增強處理),複數個圖像之每一者具有個別的相關定向資訊。在具體實施例中,資料庫238經配置為可搜尋結合資料庫238所儲存之物件的一 或多者。在本發明領域中具有通常知識者將瞭解並認知到,結合資料庫238所儲存的資訊可為可組態式,並可包含任何相關於所擷取圖像、手持式行動裝置定向資訊及/或類似者的資訊。此種資訊的內容與容積並不意為以任何方式限制本發明之具體實施例的範圍。再者,雖然圖示說明為單一獨立部件,但資料庫238事實上可為複數個儲存裝置,例如為資料庫叢集,資料庫叢集的部分可結合伺服器212、另一外部運算裝置(未圖示)及/或任何以上之結合者而位於其中。
接收部件232經配置以從使用者接收圖像(例如利用手持式行動運算裝置210),圖像包含個別的相關定向資訊。通常,係經由相關於使用者運算裝置的瀏覽器來接收圖像,例如相關於手持式行動運算裝置210的瀏覽器224。接收部件232進一步經配置以接收對具有相關定向資訊之圖像的要求。
處理部件234經配置以處理由伺服器接收的圖像(例如從手持式行動運算裝置210A與210B之一者接收)。此種處理可包含(不為限制)壓縮圖像、註釋圖像以及對圖像提供各種視覺增強。此種視覺增強可包含(不為限制)以視覺為基礎的圖像匹配以加細(refine)圖像的位置(減少感測器錯誤)、顏色校正(手動或自動)、視圖內插以提供較順暢的觀看經驗或填滿遺漏的視圖(在現存視圖之間使用視圖內插)、移除不勻度(離群值(outlier)圖像)及/或超解像(super-resolution)以提供較佳的圖像品質。圖 像處理可進一步包含使一或多個圖像與該等圖像個別的相關定向資訊相關於廣告。已思量任何與所有的此種變化與變化的任何結合者,為位於本發明具體實施例的範圍內。
傳送部件236經配置以傳送圖像(不論是否經處理)與個別的相關定向資訊(例如經由網路216)至發出要求的裝置(例如手持式行動運算裝置210)以顯示。在具體實施例中,此種圖像與個別的相關定向資訊係經由單一圖像檔案在被要求時傳送。
繼續參照第2圖,搜尋引擎214可為任何能夠搜尋文字及/或內容的搜尋引擎。在本發明領域中具有通常知識者將認知到,可由任何數量的搜尋工具來實施本發明。例如,網際網路搜尋引擎或資料庫搜尋引擎可利用本發明。這些搜尋引擎係習知於本發明領域中,且商業上可用的引擎共同使用許多類似的程序。
如所圖示說明,搜尋引擎214包含接收部件240、搜尋結果決定部件242以及傳送部件244。搜尋引擎214亦包含(或存取)資料庫246。資料庫246經配置以儲存(例如)經索引資訊等等,經索引資訊可被存取以匹配搜尋結果至搜尋詢問。在具體實施例中,資料庫246經配置為可搜尋結合資料庫246所儲存之物件的一或多者。在本發明領域中具有通常知識者將瞭解並認知到,結合資料庫246所儲存的資訊可為可組態式,並可包含任何相關於所接收搜尋詢問、搜尋結果、對於搜尋結果的使用者 行為及/或類似者的資訊。此種資訊的內容與容積並不意為以任何方式限制本發明之具體實施例的範圍。再者,雖然圖示說明為單一獨立部件,但資料庫246事實上可為複數個儲存裝置,例如為資料庫叢集,資料庫叢集的部分可結合手持式行動裝置210、另一外部運算裝置(未圖示)及/或任何以上之結合者而位於其中。
接收部件240經配置以接收由使用者輸入(例如利用手持式行動裝置210)的詢問,詢問包含圖像檔案並要求滿足的搜尋結果。通常,經由相關於使用者運算裝置的瀏覽器來接收搜尋詢問,例如相關於手持式行動運算裝置210的瀏覽器224。根據本發明之具體實施例,相關於所接收詢問的所接收圖像檔案,包含物件的複數個圖像,複數個圖像之每一者具有個別的相關定向資訊。
搜尋結果決定部件242經配置以決定滿足輸入搜尋詢問的複數個搜尋結果。在具體實施例中,此種滿足的搜尋結果係利用資料庫來決定,資料庫(例如資料庫246)經配置以儲存經索引電子文件。用以決定經決定為滿足輸入搜尋詢問之搜尋結果的技術,係為在本發明領域中具有通常知識者所熟知,且因此不在本文中進一步說明。一般而言,搜尋結果決定部件242決定HTML回應,HTML回應包含經決定為滿足搜尋詢問的搜尋結果。傳送部件244經配置以將所決定的搜尋結果傳送至(例如經由網路216)發出要求的裝置(例如手持式行動裝置210)以顯示。
現在看到第3A圖,第3A圖提供圖示說明根據本發明具體實施例之方法300的流程圖,方法300用以在行動裝置上顯示經空間性地組織的圖像。如方塊310所指示,在行動裝置上接收到特定物件的複數個圖像,行動裝置具有圖像顯示與定向偵測能力。複數個圖像之每一者係相關於個別的定向資訊。如方塊312所指示,隨後偵測行動裝置的第一定向。如方塊314所指示,使用複數個圖像之每一者的個別定向資訊,決定複數個圖像中之第一圖像,第一圖像具有相關於最接近所偵測到之行動裝置的第一定向的個別定向資訊。隨後在相關於行動裝置的顯示螢幕上,顯示複數個圖像中之第一圖像。此係如方塊316所指示。
參照第3B圖,圖示用以在顯示中行動裝置的定向改變時,顯示經空間性地組織的圖像的方法300的具體實施例。如方塊318所指示,行動裝置的第二定向被偵測,例如利用行動裝置的定向偵測能力(例如加速度計、陀螺儀及/或類似者)。使用複數個圖像之每一者的個別定向資訊,決定複數個圖像中之第二圖像,第二圖像具有相關於最接近所偵測到之行動裝置的第二定向的個別定向資訊。此係如方塊320所指示。隨後在相關於行動裝置的顯示螢幕上,顯示複數個圖像中之第二圖像,此係如方塊322所指示。
現在看到第4圖,第4圖提供圖示說明根據本發明另一具體實施例之方法400的流程圖,方法400用以結合 廣告來利用經空間性地組織的圖像。如方塊410所指示,接收特定物件的複數個圖像,複數個圖像之每一者係相關於個別的定向資訊。如方塊412所指示,複數個圖像被處理,而使複數個圖像的至少一部分,及至少一部分圖像的個別相關定向資訊,結合廣告。隨後接收對廣告的要求,如方塊414所指示。廣告、複數個圖像之部分以及個別的相關定向資訊,被傳送以在行動裝置上顯示,如方塊416所指示,而使行動裝置定向的改變導致所發送圖像中的不同圖像被顯示。
參照第5圖,第5圖提供圖示說明根據本發明之具體實施例之方法500的流程圖,方法500用以利用經空間性地組織的圖像來作為搜尋詢問。如方塊510所指示,特定物件的複數個圖像被接收為搜尋詢問,複數個圖像之每一者係相關於個別定向資訊。如方塊512所指示,隨後利用複數個圖像與相關的個別定向資訊,來決定對應於特定物件的一或多個搜尋結果。隨後,一或多個搜尋結果被傳送以結合行動裝置來展示,如方塊514所指示。
如可被瞭解的,本發明之具體實施例提供用以利用關於每一圖像、音訊檔案、深度圖像等等之定向的資訊,來空間性地組織圖像、指向性音訊檔案、深度圖像等等的系統與方法。對本發明的說明係相關於特定具體實施例,而特定具體實施例係意為在各種方面為說明性,而不為限制性。替代性具體實施例將顯然於在本發明領域 中具有通常知識者,且不脫離本發明的範圍。
儘管本發明可經受各種修改與替代性建置,但所圖示說明之本發明的一些具體實施例,已圖示於附加圖式中並已於上文詳細說明。然而將瞭解到,不意為將本發明限制於所揭示之特定格式,相反的,本發明意為包含所有修改、替代性建置與落入本發明精神與範圍內的均等物。
在本發明領域中具有通常知識者將可瞭解,在第3A圖與第3B圖圖示的方法300、第4圖圖示的方法400以及第5圖圖示的方法500中的步驟順序,係不意為以任何方式限制本發明的範圍,且事實上,步驟可由各種不同的次序發生於具體實施例中。已思量任何與所有的此種變化與變化的任何結合者,為位於本發明具體實施例的範圍內。
100‧‧‧運算裝置
110‧‧‧匯流排
112‧‧‧記憶體
114‧‧‧處理器
116‧‧‧展示部件
118‧‧‧輸入/輸出(I/O)埠
120‧‧‧I/O部件
122‧‧‧電源供應
200‧‧‧運算系統
210A‧‧‧第一手持式行動運算裝置
210B‧‧‧第二手持式行動裝置
212‧‧‧伺服器
214‧‧‧搜尋引擎
216‧‧‧網路
218A‧‧‧攝影機
218B‧‧‧攝影機
220A‧‧‧顯示螢幕
220B‧‧‧顯示螢幕
222A‧‧‧裝置定向偵測部件
222B‧‧‧裝置定向偵測部件
224A‧‧‧瀏覽器
224B‧‧‧瀏覽器
226A‧‧‧接收部件
226B‧‧‧接收部件
228A‧‧‧傳送部件
228B‧‧‧傳送部件
230A‧‧‧資料庫
230B‧‧‧資料庫
232‧‧‧接收部件
234‧‧‧處理部件
236‧‧‧傳送部件
238‧‧‧資料庫
240‧‧‧接收部件
242‧‧‧搜尋結果決定部件
244‧‧‧傳送部件
246‧‧‧資料庫
300‧‧‧方法
310-322‧‧‧步驟
400‧‧‧方法
410-416‧‧‧步驟
500‧‧‧方法
510-514‧‧‧步驟
附加圖式作為示例(且不為限制)地圖示說明本發明,在圖式中類似的元件符號指示類似的元件,且在圖式中:第1圖為適合以用來實施本發明之具體實施例的示例性運算環境的方塊圖;第2圖為示例性運算系統的方塊圖,本發明之具體實施例可採用此示例性運算系統;第3A圖與第3B圖協同作為圖示根據本發明一具體實 施例,用以在行動裝置上顯示經空間性地組織之圖像的方法的流程圖;第4圖為圖示根據本發明另一具體實施例,用以連同廣告利用經空間性地組織之圖像的方法的流程圖;且第5圖為圖示根據本發明另一具體實施例,用以利用經空間性地組織之圖像作為搜尋詢問的方法的流程圖。
200‧‧‧運算系統
210A‧‧‧第一手持式行動運算裝置
210B‧‧‧第二手持式行動裝置
212‧‧‧伺服器
214‧‧‧搜尋引擎
216‧‧‧網路
218A‧‧‧攝影機
218B‧‧‧攝影機
220A‧‧‧顯示螢幕
220B‧‧‧顯示螢幕
222A‧‧‧裝置定向偵測部件
222B‧‧‧裝置定向偵測部件
224A‧‧‧瀏覽器
224B‧‧‧瀏覽器
226A‧‧‧接收部件
226B‧‧‧接收部件
228A‧‧‧傳送部件
228B‧‧‧傳送部件
230A‧‧‧資料庫
230B‧‧‧資料庫
232‧‧‧接收部件
234‧‧‧處理部件
236‧‧‧傳送部件
238‧‧‧資料庫
240‧‧‧接收部件
242‧‧‧搜尋結果決定部件
244‧‧‧傳送部件
246‧‧‧資料庫

Claims (20)

  1. 一種儲存電腦可使用指令的電腦可讀取儲存媒體,該電腦可使用指令在由一或多個運算裝置使用時,使該一或多個運算裝置執行用於在行動裝置上顯示經空間性地組織之圖像的一方法,該方法包含以下步驟:接收步驟,在一第一行動裝置上接收一特定物件的複數個圖像,該複數個圖像之每一者係相關於個別定向資訊;偵測步驟,偵測該第一行動裝置的一第一定向;決定步驟,使用該複數個圖像之每一圖像的該個別定向資訊,來決定該複數個圖像中的一第一圖像,該第一圖像係相關於最接近所偵測之該第一行動裝置的該第一定向的個別定向資訊;以及顯示步驟,在相關於該第一行動裝置的一顯示螢幕上,顯示該複數個圖像的該第一圖像。
  2. 如請求項1所述之電腦可讀取儲存媒體,其中該方法進一步包含以下步驟:偵測該第一行動裝置的一第二定向;使用該複數個圖像之每一者的該個別定向資訊,來決定該複數個圖像中的一第二圖像,該第二圖像係相關於最接近所偵測之該第一行動裝置的該第二定向的個別定向資訊;以及 在相關於該第一行動裝置的該顯示螢幕上,顯示該複數個圖像的該第二圖像。
  3. 如請求項1所述之電腦可讀取儲存媒體,其中接收一特定物件的複數個圖像的該接收步驟,包含以下步驟:接收該複數個圖像與個別相關定向資訊為一單一檔案。
  4. 如請求項1所述之電腦可讀取儲存媒體,其中接收特定物件的複數個圖像的該接收步驟,包含以下步驟:從一第二行動裝置接收該特定物件的該複數個圖像。
  5. 如請求項1所述之電腦可讀取儲存媒體,其中接收特定物件的複數個圖像的該接收步驟,包含以下步驟:接收結合一廣告之該特定物件的該複數個圖像。
  6. 如請求項1所述之電腦可讀取儲存媒體,其中該特定物件之該複數個圖像的至少一部分已被壓縮。
  7. 如請求項1所述之電腦可讀取儲存媒體,其中該特定物件之該複數個圖像的至少一部分已被註釋。
  8. 如請求項1所述之電腦可讀取儲存媒體,其中該特定物件之該複數個圖像的至少一部分已被視覺地增強。
  9. 如請求項1所述之電腦可讀取儲存媒體,其中該特定物件之該複數個圖像的至少一部分已被利用以視覺為基礎之圖像匹配、顏色校正、視圖內插、不勻度移除與超解像(super-resolution)之一或多者,而視覺地增強。
  10. 如請求項1所述之電腦可讀取儲存媒體,其中該方法進一步包含以下步驟:將該特定物件的該複數個圖像傳送至一搜尋引擎,作為一搜尋詢問;以及接收對應於該特定物件的一或多個搜尋結果。
  11. 如請求項1所述之電腦可讀取儲存媒體,其中偵測第一行動裝置之第一定向的該偵測步驟,包含以下步驟:利用一加速度計與一陀螺儀之至少一者,來偵測該第一行動裝置的該第一定向。
  12. 一種用以結合廣告利用經空間性地組織之圖像的方法,該方法係由具有一處理器與一記憶體的一運算裝置執行並包含以下步驟:接收步驟,接收一特定物件的複數個圖像,該複數個圖像之每一者係相關於個別定向資訊;處理步驟,處理該複數個圖像,其中該處理包含使該複數個圖像之至少一第一部分與個別相關定向資訊相關於一廣告; 接收步驟,接收對該廣告的一要求;以及傳送步驟,傳送該廣告與相關的該複數個圖像之至少一第一部分與個別相關定向資訊,以在一第一行動裝置上顯示,而使該行動裝置的該定向的一改變導致該複數個圖像之至少一第一部分中的一不同圖像,結合該廣告而被顯示在該第一行動裝置上。
  13. 如請求項12所述之方法,其中接收特定物件的複數個圖像的該接收步驟,包含以下步驟:從一第二行動裝置接收該特定物件的該複數個圖像與該個別相關定向資訊。
  14. 如請求項12所述之方法,其中接收特定物件的複數個圖像的該接收步驟,包含以下步驟:接收該複數個圖像與個別相關定向資訊為一單一檔案。
  15. 如請求項12所述之方法,其中處理複數個圖像的處理步驟,進一步包含以下步驟:壓縮該複數個圖像的至少一第二部分。
  16. 如請求項12所述之方法,其中處理複數個圖像的處理步驟,進一步包含以下步驟:註釋該複數個圖像的至少一第二部分。
  17. 如請求項12所述之方法,其中處理複數個圖像的處理步驟,進一步包含以下步驟:視覺地增強該複數個圖像的至少一第二部分。
  18. 如請求項17所述之方法,其中視覺地增強該複數個圖像的至少該第二部分,包含對該複數個圖像的至少該第二部分進行以視覺為基礎之圖像匹配、顏色校正、視圖內插、不勻度移除與超解像之一或多者。
  19. 一種儲存電腦可使用指令的電腦可讀取儲存媒體,該電腦可使用指令在由一或多個運算裝置使用時,使該一或多個運算裝置執行利用經空間性組織之圖像作為搜尋詢問的一方法,該方法包含以下步驟:接收步驟,接收一特定物件的複數個圖像為一搜尋詢問,該複數個圖像之每一者係相關於個別定向資訊;決定步驟,使用該複數個圖像與該等個別定向資訊,來決定對應於該特定物件的一或多個搜尋結果;以及傳送步驟,傳送該一或多個搜尋結果以展示。
  20. 如請求項19所述之電腦可讀取儲存媒體,其中接收特定物件的複數個圖像的該接收步驟,包含以下步驟:接收該複數個圖像與個別相關定向資訊為一單一檔案。
TW101115392A 2011-06-29 2012-04-30 行動裝置上之具空間組織性的圖像集合 TW201303792A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/172,490 US20130006953A1 (en) 2011-06-29 2011-06-29 Spatially organized image collections on mobile devices

Publications (1)

Publication Number Publication Date
TW201303792A true TW201303792A (zh) 2013-01-16

Family

ID=47391648

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101115392A TW201303792A (zh) 2011-06-29 2012-04-30 行動裝置上之具空間組織性的圖像集合

Country Status (5)

Country Link
US (1) US20130006953A1 (zh)
EP (1) EP2727073A4 (zh)
CN (1) CN103620638A (zh)
TW (1) TW201303792A (zh)
WO (1) WO2013002960A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9001147B2 (en) * 2011-11-14 2015-04-07 W.W. Grainger, Inc. System and method for using an image to provide search results
US9330471B2 (en) * 2013-02-14 2016-05-03 Qualcomm Incorporated Camera aided motion direction and speed estimation
US20140357290A1 (en) * 2013-05-31 2014-12-04 Michael Grabner Device localization using camera and wireless signal
US9537949B2 (en) * 2013-09-24 2017-01-03 Clearcube Technology, Inc. Computer system image clustering architecture and use
US10970330B1 (en) 2019-11-20 2021-04-06 International Business Machines Corporation Method of searching images using rotational gesture input

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2386488B (en) * 2002-03-13 2005-10-26 Hewlett Packard Co Image based computer interfaces
US7327383B2 (en) * 2003-11-04 2008-02-05 Eastman Kodak Company Correlating captured images and timed 3D event data
US8301159B2 (en) * 2004-12-31 2012-10-30 Nokia Corporation Displaying network objects in mobile devices based on geolocation
JP2007102575A (ja) * 2005-10-05 2007-04-19 Fujifilm Corp 撮影システム
CA2725542C (en) * 2008-05-28 2016-12-13 Google Inc. Motion-controlled views on mobile computing devices
US8098894B2 (en) * 2008-06-20 2012-01-17 Yahoo! Inc. Mobile imaging device as navigator
TWI403156B (zh) * 2008-08-08 2013-07-21 尼康股份有限公司 Carrying information machines, photographic devices, and information acquisition systems
JP5063527B2 (ja) * 2008-08-21 2012-10-31 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、プログラム
US20100293173A1 (en) * 2009-05-13 2010-11-18 Charles Chapin System and method of searching based on orientation
KR101631912B1 (ko) * 2009-11-03 2016-06-20 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR101594048B1 (ko) * 2009-11-09 2016-02-15 삼성전자주식회사 카메라들의 협력을 이용하여 3차원 이미지를 생성하는 방법 및 상기 방법을 위한 장치
JP5683485B2 (ja) * 2009-11-30 2015-03-11 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 通信装置
US8451266B2 (en) * 2009-12-07 2013-05-28 International Business Machines Corporation Interactive three-dimensional augmented realities from item markers for on-demand item visualization
US8675025B2 (en) * 2009-12-17 2014-03-18 Nokia Corporation Method and apparatus for providing control over a device display based on device orientation
US8406571B2 (en) * 2010-02-04 2013-03-26 Yahoo! Inc. Automatic super-resolution transformation for images

Also Published As

Publication number Publication date
CN103620638A (zh) 2014-03-05
EP2727073A1 (en) 2014-05-07
EP2727073A4 (en) 2015-04-22
US20130006953A1 (en) 2013-01-03
WO2013002960A1 (en) 2013-01-03

Similar Documents

Publication Publication Date Title
US8447792B2 (en) System and method for presenting user generated geo-located objects
US9437004B2 (en) Surfacing notable changes occurring at locations over time
KR20090047487A (ko) 그래픽 사용자 인터페이스, 컴퓨터 판독가능 매체, 및 시선방향 제시 방법
US10242280B2 (en) Determining regions of interest based on user interaction
US20150278878A1 (en) System and method of displaying advertisements
JP2014524062A5 (zh)
WO2007038007A2 (en) System and method for hosting images embedded in external websites
US9554060B2 (en) Zoom images with panoramic image capture
US9531952B2 (en) Expanding the field of view of photograph
TW201303792A (zh) 行動裝置上之具空間組織性的圖像集合
JP2011078008A (ja) コンテンツ共有装置、コンテンツ編集装置、コンテンツ共有プログラム、およびコンテンツ編集プログラム
WO2019171803A1 (ja) 画像検索装置、画像検索方法、電子機器及びその制御方法
JP2006309722A (ja) 三次元モデルを利用した写真検索・閲覧システム及び同プログラム、写真を利用した三次元モデル表示・操作システム及び同プログラム
US20120054072A1 (en) Automatic content book creation system and method based on a date range
US20150185992A1 (en) Providing geolocated imagery related to a user-selected image
JP2006253890A (ja) 画像サーバ、それを備える画像提供システム、及び画像入手方法、並びにプログラム
KR100563085B1 (ko) 수치지도와 사진영상의 복합 디스플레이 방법
JP2007286909A (ja) 写真アーカイブ生成装置、及び写真アーカイブ生成プログラム
JP2016006676A (ja) ファイル管理装置、ファイル管理システム、制御方法、プログラム
KR102012503B1 (ko) 이미지가 촬영된 위치 정보에 기반하여 여행 상품 정보를 자동으로 노출시키는 여행 상품 정보 노출 방법 및 장치
JP2009211156A (ja) メタ情報付与システム、メタ情報表示システム、およびこれらのプログラム、および、当該プログラムを記録したコンピュータ読み取り可能な記録媒体
TWI421716B (zh) 興趣點資訊建立方法、系統及所使用之電腦程式產品
JP2006031419A (ja) 画像通信装置及びそれを用いた画像通信システム
WO2012118135A1 (ja) 書籍情報提供システム、電子書籍端末、電子書籍情報サーバ、書籍情報提供方法およびそのプログラム
JP2007241766A (ja) 三次元ブログ提供装置、三次元ブログ提供プログラム