TWI282435B - Motion sensor using dual camera inputs - Google Patents

Motion sensor using dual camera inputs Download PDF

Info

Publication number
TWI282435B
TWI282435B TW094113107A TW94113107A TWI282435B TW I282435 B TWI282435 B TW I282435B TW 094113107 A TW094113107 A TW 094113107A TW 94113107 A TW94113107 A TW 94113107A TW I282435 B TWI282435 B TW I282435B
Authority
TW
Taiwan
Prior art keywords
image
camera
images
display
mobile
Prior art date
Application number
TW094113107A
Other languages
English (en)
Other versions
TW200540458A (en
Inventor
Kazuyuki Hashimoto
Original Assignee
Electronic Arts Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronic Arts Inc filed Critical Electronic Arts Inc
Publication of TW200540458A publication Critical patent/TW200540458A/zh
Application granted granted Critical
Publication of TWI282435B publication Critical patent/TWI282435B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/285Analysis of motion using a sequence of stereo image pairs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Description

1282435 九、發明說明:
【發明所屬技術領域]I 本發明係有關於使用雙相機輪入之運動感測器。 t先前才支都g" 3 5 發明背景 丨只文么耒数子處理之耗費時間 ^任務。此外,移動式感測只可能提供裝置移動之粗略測 $。可攜式物件之移動感測可能須要昂貴之硬體與複雜之 數字處理技術。 、〃 |自全較㈣統(GPS)或混合位„定线所實施之 使用三方面位置之移動感測,對於可攜式物件之移 系統或混合位置確定系統對於可攜式物件 之私動感測典型地提供不足之準確度 15 20 間以獲得最初位置確定。此外,Gps系二要大量= 系統典型地無法確定可攜式物件之旋轉移動^位置確定 置之:Γ=括旋轉儀之移動感測系統以_式裳 之私動,然而,此種系統典型地 衣 設計。使用於移動感測中與旋轉儀有關=用於低成本 個可攜式裝置可感知之價值。 纟本會超過此整 【考务明内容】 發明概要 本發明揭示—種使用多個照 ^rn„-^(viewmg axis)n^^^^ 第-视轴不同之第二視轴對準 ^照相機沿與 硯軸可以與第一视 1282435 軸相反。處理器可以藉由確定來自第一照相機影像改變與 來自第一照相機影像改變,以確定各方向之改變。此處理 器可以將此由第一照相機影像所確定之方向改變與由第二 照相機影像所確定之方向改變比較。此處理器然後可以部 5 份根據此比較以確定裝置之移動。 本發明之一觀點包括一種移動感測裝置。此移動感測 裝置可以包括··被設計沿著第一視軸擷取影像之第一照相 機,沿著與第一視軸不同之第二視軸擷取影像之第二照相 機,以及一種被設計部份根據來自第一照相機與第一照相 10 機之影像以確定裝置移動之移動處理模組。 根據本發明之另一觀點,本發明包括一種移動感測裝 置。此移動裝置可以包括:一第一照像機,其視軸從裝置 前面開始而被設計以擷取影像;一第二照像機,其視軸從 裝置後面開始而被設計以擷取影像;一移動處理模組,其 15 被設計至少部份根據來自第一照像機之第一照像機影像以 確定裝置之移動,且更被設計以部份根據裝置之移動以產 生顯示影像;以及一顯示器,其連接至移動處理模組,且 被設計以顯示此顯示影像。 根據本發明還有另一觀點,本發明包括移動感測系 20 統。此系統可以包括··第一照相機,沿著第一視軸設置且 被設計擷取第一照相機影像;第二照相機,沿著第二視軸 設置且被設計擷取第二照相機影像;移動處理模組其被設 計部份根據至少兩個第一照相機影像與至少兩個第二照相 機影像以決定移動參數;基本裝置,其被設計處理移動參 1282435 數,且至少部份根據此移動參數產生顯示信號;以及顯示 器,其被設計以顯示由基本裝置所產生之顯示信號。 根據本發明還有另一觀點,本發明包括移動感測方 法。此方法包括:從第一照相機接收多個影像,從第二照 5 相機接收多個影像,部份根據第一照相機影像決定第一影 像平移(translation),部份根據第二照相機影像決定第二影 像平移,將第一影像平移與第二影像平移比較,以及部份 根據此比較決定裝置移動。 根據本發明還有另一觀點,本發明包括移動感測方 10 法。此方法包括:接收移動參數,其由從沿第一視軸所擷 取之影像與從沿著與第一視轴實質相對之第二視軸所擷取 之影像所決定;從所儲存之多個影像擷取顯示影像;至少 部份根據移動參數修正顯示影像;以及將此經修正之顯示 影像傳送至可攜式裝置。 15 根據本發明還有另一觀點,本發明包括一或多個處理 器可讀取儲存裝置,其被設計以儲存可以由一或多個處理 器執行之一或多個處理器可讀取指令,此等指令指導處理 器執行一種方法。此方法包括:從第一照相機接收多個影 像,從第二照相機接收多個影像,部份根據第一照相機影 20 像決定第一影像平移,部份根據第二照相機影像決定第二 影像平移,將第一影像平移與第二影像平移比較,以及部 份根據此比較決定裝置之移動。 根據本發明還有另一觀點,本發明包括一或多個處理 器可讀取儲存裝置,其被設計以儲存可以由一或多個處理 1282435 := 可讀取指令,此等指令指導處理 。。執灯-種方法。此方法包括:從㈣第取之 影像、與從延著與第—視料質上相狀第二視轴所擷取 之影像以決定移動參數;從所儲存之多個影_取顯示影 像;至少赠«移動錄修正_料;以將此經修 正之顯不影像傳送至可攜式裝置。 圖式簡單說明 本發明實施例之特性、目的、以及優點將由以下詳細說明 並參考所附圖式而為明顯,其中相同元件具有相同號石馬。 1〇 第1圖為移動感測裝置之功能方塊圖; 第2圖為移動感測系統之功能方塊圖; 第3A〜3D圖為移動感測裝置之實施例; 第4A〜4D圖說明由照相機所擷取影像之例; 第5A〜5D圖說明由照相機所擷取影像之例; 15 第6A〜6D圖說明由照相機所擷取影像之例; 第7A〜7D圖說明由照相機所擷取影像之例; 第8A〜8D圖說明由照相機所擷取影像之例;以及 第9圖為移動感測過程之實施例之流程圖。 【實方式】 20較佳實施例之詳細說明 本發明揭示一種具有移動感測能力之可攜式裝置,以 及在此可攜式裝置中感測移動之方法。此裝置與方法使用 沿著不同視軸所設置之多個照相機所擷取之影像。可以處 理此由多個照相機所擷取之影像以決定改變方向。可以使 1282435 用:由第一照相機所擷取影像中方向改變相對於由第二照 相機所擷取影像中方向改變,以感測裝置之移動。 第1圖為移動感測裝置1〇〇之功能方塊圖。此裝置1〇〇 包括:連接至移動處理模組15〇之第一照相機11〇與第二照 5相機120。此移動處理模組150可以包括例如:輸入/輸出(I/O) 控制器152與處理器154。此移動處理模組150可以連接至記 fe體160,以及可以連接至通訊介面17〇。此移動處理模組 UO亦可以連接至顯示器13〇與輸入/輸出(1/〇)裝置14〇。 可以設計此移動感測裝置i 〇 〇,其部份根據由第_照相 1〇機110與第二照相機120所擷取之影像以感測裝置之移動。 此第一照相機110可以沿著第一視軸設置,此第一視軸可以 包括:從照相機中影像裝置延伸至由照相機所擷取影像中 心之線。此第二照相機120可以沿著第二視軸設置。此第一 視軸較佳與此第二視軸不同。在一實施例中,此第二照相 15機120可以沿著與第一視軸實質上相對之第二視軸設置。之 即是,如果第一照相機110從裝置100前面擷取影像,則可 以設置第二照相機120從裝置1〇〇後面擷取影像。如果不將 照相機110與120設置成實質上相對方向,則為有利將照相 機110與12〇之視軸設置成實質上彼此垂直。然而,如果由 20 照相機110與120所擷取影像並非完全相關,則任何兩個視 軸均為可接受。 照相機110與120可以為類比照相機或數位照相機,且 各照相機可以為相同或不同之照相機。例如,照相機1 1〇可 以例如為:類比照相機、電荷耦合裝置(CCD)照相機、CM〇s 9 1282435 照相機等、或一些其他用於擷取影像之梦 豕<衣置。此外,照相 機11〇與12〇可以擷取可見影像或被設計簡取在可見光谱 以外之影像。例如,照相機110可以為可見光照相機、紅外 線照相機等、或其他用於操取影像之裝置。 5 可以設計第一照相機110以擷取序列旦〈推 」〜像,且亦可設計 第二照相機120以擷取序列影像。當第一日力 田乐恥相機110持續擷 取影像時,此在兩個不同時間所擷取影像可以被認為是序 列影像。此由第-照相機1H)所擷取第_影像與第二照=機 120所擷取第一影像是在大約相同時間則為有利。類似地, 10此由第一照相機110所擷取第二或隨後影像與第二照相機 120所擷取第二或隨後影像是在大約相同時間則為有利。此 來自第一照相機110之影像與來自第二照相機120之影像之 時間差異應小於1秒,且較佳小於:500msec、25Qmsec、 200msec、150msec、l〇〇msec、50msec、25msec、或 1〇咖^。 15因此,例如,此由第一照相機110所擷取第一影像時間與第 二照相機120所擷取第一影像時間之差異可以小於 250msec 〇 此由照相機110與120所擷取之影像傳送給移動處理模 組150。此移動處理模組可以根據所擷取之影像決定··此來 2〇 源照相機之相對移動方向。例如,第二影像相對於第一 5 像向左平移可以顯示··此照相機相對於影像向右移動。替 代地,向左平移可以顯示影像中物件之移動。此移動處理 模組150可以處理此等影像,以及部份根據由第一照相機 110所擷取之序列影像以決定第一照相機110之相對移動方 10 1282435 向。類似地’此移動處理模組15时讀縣二 120之序列影像,以及部份根據此影像決定第二照相機120 =相對移動方向。此移動處理模組15G可以然後比較:第一 5 ::目機110之移動方向與第二照相機120之移動方向,且至 J部份根據此比較’以確定裝置刚之移動。以下參考第4 8圖k供移動感測之其他說明。 此移動處理模組150亦可以經由通訊介面17〇接收來自 基地裝置(未圖示)之信號。此所接收之信號可以為至顯示器 1〇 上輸出信號之全部或一部份。此移動處理模組150可以 輪出頦不态130上之信號。此顯示器可以例如為:視訊顯示 态、CRT顯示器、LCD顯示器、電漿顯示器、光之陣列等、 或提供顯示之一些其他裝置。 此移動處理模組150亦可以經由通訊介面17〇輸出信號 1 至其他裝置(未圖示)。例如,此移動處理模組150可以提供 信號至顯示此所感測移動之另一裝置。此外,此移動處理 抵組150亦可以經由一或多個輸入/輸出(1/〇)裝置14〇接收 使用者輸入,以及部份根據此使用者輸入信號提供信號給 其他裝置。此I/O裝置14〇可以包括:鍵、鍵墊、按鈕、搖 ^、鍵盤、開關、撥盤、節、麥克風、觸控螢幕等、或用 於接收輸入之一些其他裝置。 此裝置100可以經由通訊介面接收:此至少部份從裝置 1〇〇輪出信號所產生之信號。在一實施例中,此裝置100輸 出對應於所感測移動之信號,且接收根據感測移動信號所 修正之顯示信號。 11 1282435 在另一實施例中,此裝置100輸出從一或多個照相機 110與120所擷取影像,以及亦輸出所感測裝置移動。此裝 置然後可以接收此至少部份根據輸出信號修正之信號。此 所接收信號可以包括:輸出至顯示器130之顯示信號,以及 5 其他輸出信號.。 在還有另一實施例中,此裝置100輸出從一或多個照相 機110與120所擷取影像,以及亦輸出所感測裝置移動。此 裝置100然後可以接收此根據從裝置1〇〇輸出信號所產生之 放大真實影像信號。以替代方式,此裝置1〇〇可以本身產生 10 放大真實影像。 此移動處理模組15 0可以然後在顯示器i 3 〇上輸出放大 真實影像。此放大真實影像可以為所擷取影像,其被修正 以包括纟示合或虛擬影像。此放大影像可以包括重疊在所擷 取影像上之綜合影像。因此,此例如由照相機12〇所擷取之 15影像可以被修正以包括:此在所擷取影像中所不存在之虛 棱〜像。此經修正之影像可以經由顯示器對使用者顯 在另一實施例中,此裝置1〇〇可以為手持裝置,以及可 以設計此第一照相機110:在當由使用者手持於典型方向中 20日守,擷取使用者面部影像。此移動處理模組150可以至少部 伤根據所擷取之影像以決定:至使用者面部之距離。例如, 第、相機110可以擷取包括使用者面部影像之影像。此移 力地里板組150可以處理此影像,而確定對應於使用者眼睛 之心像中點之位置。此移動處理模組15〇可以例如:決定眼 12 1282435 月間之距離’與估計從使用者至裝置wo之距離。 在還有另一實施例中,可以設計此第_照相機110以擷 取使用者面部之至少兩個影像。此移動處理模組15〇然後可 以至少部份根據此所擷取兩個影像中之差異,以決定至使 5用者面部距離中之改變。例如,第一照相機110可以擷取包 括使用者面部影像之影像。此移動處理模組150可以處理此 影像,而確定對應於使用者眼睛影像中點之位置。此移動 II 處理模組15〇可以決定眼睛間之相對距離。例如··此相對距 離可以為:像素之數目《完整影像寬度之百α比。此移動 10處理模組150可以重複此用於第二擷取影像之相對眼睛距 離測量。此移動處理模組150然後可以比較兩_對距離以 估計使用者至裝置100距離中之改變。 在此第1圖與隨後圖中所示各種模組可以執行作為:硬 體、由-或多個處理器所執行之軟體、或由處理器所執行 15硬體與軟體之組合。此軟體可以包括儲存於處理器可讀取 • Τ存裝置中之—或多個處理器可讀取指令。此-或多個指 令可以由-或多個處理器處理,以實施與此模組有關之一 些或所有功能。
此處理益可讀取儲存裝置可以包括記憶體i 6 G。此記憶 20體刚可以包括:R〇M、RAM、非依電性讓、快閃式磁 性記憶體、光學記憶體、軟磁片、磁帶、CDR0M、DVD 等、或用於儲存指令、資料、或指令與資料之一些立他裝 置。 第2圖為移動感測系統200之功能方塊圖,其具有與基 13 1282435 地裝置250通訊之多個遠端裝置l〇〇a與l〇〇b。在第2圖中所 顯示之實施例中,此第一遠端裝置l〇〇a直接連接基地裝置 250且與其直接通訊。第二端裝置100b使用網路220連接基 地裝置且與其直接通訊。各遠端裝置l〇〇a與100b可以例如 5 為第1圖之移動感測裝置。 此基地裝置250可以包括一通訊介面252,其被設計提 供至一或多個遠端裝置l〇〇a-l〇〇b之一或多個介面。此通訊 介面252可以連接至處理器254。此處理器254亦可以連接至 記憶體256與儲存裝置258如同先前說明,可以包括任何型 10 式之處理器可讀取記憶體。 此等遠端裝置l〇〇a與100b可以為相同型式裳置或不同 型式裝置。對於遠端裝置例如100a可以有利地為可攜式事 置。在一實施例中,此遠端裝置l〇〇a可以為可攜式遊樂器 裝置,例如遊樂器控制器。在另一實施例中,此遠端裝置 15 100a可以為可攜式電腦。在還有另一實施例中,此遠端穿 置100a可以為:個人數位助理、計算機、電話、或一此其 他型式之可攜式裝置。 ' 類似地’此基地裝置250可以為遊樂器控制台、電腦 伺服器、基地站、主機、多個電腦等、或一些其他事置 20 在一些實施例中,此基地裝置250可以為另一遠端穿置 此遠端裝置100a與基地裝置250間之連接可以為·有線 連接、無線連接、或有線與無線連接之_此纟日人 t 二、、I 。此有線 連接可以包括但不受限於:電性連接、機械連接、光學連 接等、或一些其他方式之通訊連接將第一遠端筆置連 14 1282435 接至基地裝置250。此有線連接可以包括但不受限於:好連 接、微波連接、光學連接、紅外線連接、音訊連接等、或 -些其他方式將遠端裝置刚a連接至基地裝置⑽之通訊 連接。 5 此將第二遠«置娜連接至基地I置250之網路220 可以為:私人網路或可以為公用網路。此外,此網路可以 為:有線網路、無線網路、或有線與無線網路之一些組合。 此網路亦可以為:區域網路(LAN)、都會區域網路(man)、 或廣域網路(WAN)。在一實施例中,此網路22〇可以為在住 宅巾之無線LAN。在另-實施例中,此網路22〇可以為網際 網路(Internet)。 雖:、、i此通成”面252只頒示連接至兩個遠端裝置i〇〇a 與100b,此通訊介面252可以只具有單一埠或可以具有多個 埠,其可以各連接至一或多個遠端裳置。 15 在第2圖之移動感測系統中,此遠端裝置例如100a之移 動可以在遠端裝置l〇〇a中、在基地裝置25〇中、或跨遠端裝 置100a與基地裝置250分佈中完全感測到。 例如,在一實施例中,基地裝置25〇可以接收由第一遠 端裝置100a中照相機所擷取之影像。基地裝置25〇可以然後 〇 °卩份根據所擷取之影像決定第一遠端裝置100a之移動。基 也衣置250然後可以根據所擷取影像與所感測移動將顯示 影像提供給第一遠端裝置100a。此基地裝置25〇可以提供例 如放大真實影像而顯示於第一遠端裝置l〇〇a上。 在另一實施例中,此第一遠端裝置100a可以擷取影 15 1282435 2且部份根據所擷取影像喊測其移動。此第—遠端裝 =加可簡所感測影像與賴取影像之子集合傳送至基 衣置250。例如’此第_遠端裝置職可以只傳送從多個 照相機之—·取影像之子集合。此基地W可以然後 接收所感測移動、接收所擷取影像之子集合、以及部份根 據所接收之移動鮮彡像提縣I給遠料置跡。例如, 基地裝置25(mx料根制純之❹彳移動信號與所接 收影像之子集合,將職大真實顯轉像提供給遠端裝置 100a 〇 10 j外,基地裝置25〇可以部份根據所接收之操取影像, 估計第一遠端裝置l00a距使用者之距離,且提供部份根據 所估計距離而修正之影像。以替代方式,此第一遠端裝置 l〇〇a可以估計其距使用者之距離,且將此估計傳送至基地 I置250。此基地裝置25〇可以接收此距離估計,部份根據 15此距離估計產生顯示影像,且將此顯示影像提供給遠端装 置100a。 在還有另一貫施例中,此基地裝置25〇可以從第一遠端 裝置100a接收:所擷取影像、所感測移動、以及使用者距 離估計之組合,且部份根據所接收之信號產生顯示影像。 20此基地裝置250可以將所顯示影像傳送至一或多個遠端裝 置例如100b,其包括或不包括第一遠端裝置100a。 在一貫施例中,此第2圖之移動感測系統可以為視訊遊 樂器系統。此遠端裝置l〇〇a與l〇〇b可以為用於視訊遊樂器 系統之手持控制器,以及此基地裝置250可以為視訊遊樂器 16 1282435 控制台或遊樂器處理器。在此基地裝置250中之儲存裝置 258可以例如為··光碟讀取器,其被設計與一或多個光學石樂 干擾,例如:光碟(CD)或數位多功能碟(DVD),而具有儲 存於其上之視訊遊戲或交談式遊戲。 5 各遠端裝置l〇〇a與100b可以為手持控制器,其具有設 置在面朝向使用者表面上之視訊顯示器130。此用於遠端裝 置100之I/O裝置140可以為按鈕、開關、或裝置,其被設計 與設置以接收例如來自使用者拇指或手指之使用者輸入, 此第一照相機110可以設置在手持控制器之頂部中央,以及 10可以具有與顯示器130方向對準之視軸。此第二照相機12〇 可以設置在第一照相機110對面,以及可以具有與第一日、召相 機110之視軸實質上相對之視軸。 15 20 此由儲存裝置258所執行之遊戲可以例如為驅動遊 戲,例如:交談式追縱遊戲或交談式衔道驅動遊戲。此基 地裝置25g或遊樂11控制台可轉出資訊、例如視訊顯示i 訊與音訊顯示資訊給手驗㈣。此系統可以❹多個昭 相機以檢測手持控制器之移動。例如,可以操作此手持於 制器為方向盤,以及此系統可以決定何時將此手持控制哭 旋轉。此旋轉可以被遊樂器系統解釋為方向盤之旋轉。此 遊樂^控制台,然後可以根據所檢測移動而修正視訊與音訊 貢§ 此系統可以檢測此手持控制器之移動,以及 措由遇擇性地旋轉此手持㈣器1允許❹者驅動 向。 ’、 此可以從儲存裝置258顯 不之另—遊戲可以例如為··放 17 1282435 大真貫影像。使用者可以將此手持控制器之第二照相機⑽ 指向一場景,例如:地圖、影像、或活動畫面。此在手持 控制器上之顯示器13〇可以顯示由第二照相機12崎揭取之 影像,其為來自基地裝置250遊樂器控制台之一或多個影像 5 放大。 ' 此系統可以監視:手持控制器之移動與由第二照相機 120所擷取之影像,以及提供放大真實影像給手持控制器, 以響應所擷取影像與所檢測移動。因此,例如,顯示器⑽ 可以顯示由第二照相機12〇所擷取之影像,其根據由遊樂器 10控制台所提供資訊而具有插入之放大真實影像。在戶外遊 戲設定中,例如此遊戲其允許使用者經由真實環境例如家 庭或戶外設定而漫遊,且具有使用放大真實影像之交談式 遊戲經&。此種遊戲可以包括例如:打撒遊戲或戰鬥遊戲。 可以將例如放大真實野獸或戰鬥人員加入至由第二照相機 15 120所擷取之影像。 第3A〜3D圖說明移動感測裝置1〇〇之實施例,其可以 為第1圖之移動感測襞置。第3A圖為移動感測裝置1〇〇之正 視圖,且顯示:裝置100之中央頂部中第一照相機11〇之位 置,與設置在裝置1〇〇正面之顯示器130。此裝置1〇〇正面亦 20 可包括··設置在前面板左手側之第一使用者輪入裝置 140a,與設置在雨面板右手側之第二使用者輪入裝置 140b。此第〆使用者輪入裝置140a顯示為導引墊,而第二 使用者輸入裝置14〇b顯示為按鈕之收集。 第3B圖為移動感測裳置1〇〇之後視圖,且顯示:設置在 18 1282435 大約後面板中心線上第二照相機120之位置。第一照相機 110之視軸與第二照相機120之視軸實質上相對。雖然,此 兩軸實質上平行,此兩個視軸並非延著相同之線。 第3C圖終員示用於說明目的矩形系統中移動感測裝置 5 100之方向。此等在隨後圖中所指方向是在第3C圖中所指方 向。如同於第3C圖中所示,此移動感測裝置1〇〇之正面是面 向正X軸方向’此移動感測裝置1〇〇之後面是面向負&軸方 向。因此,第一視軸可以是指+x方向,第二視軸可以是指 -X方向。 10 第3 D圖顯示相對於使用者之移動感測裝置i 0 0之實施 例。在典型組態中,此裝置1〇〇之前面板面向使用者之前 方。使用者可以看到顯示器130,且在此裝置100前面板上 之照相機110可以典型地擷取使用者面部之影像。 在一放大真實實施例中,此在第3D圖中並未顯示之在 15此裝置1 〇〇後面板上之照相機120可以擷取使用者視野中之 影像。此使用裝置、基地裝置、或此等裝置組合之系統, 可以然後在顯示器130上顯示放大真實影像。藉由估計從裝 置100至使用者之距離,可以設定在顯示器130上所呈現影 像之尺寸。此系統可以調整此影像尺寸,使得當此使用者 20 觀看此顯示器時其看起來如同此使用者經由透明視窗觀看 一般。然而’此系統可以將所顯示影像添加虛擬或綜合影 像’以k供放大真貫環境。 第4〜8圖顯示由一對照相機所擷取影像之例。此等照 料設計具有:在此裝置正面之第一照相機,與在此裝置背 19 1282435 面之第U目钱。使用此等景多像以協助說明此裝置如何可 以貫施移動感測。此等圖式是指由兩個各別照相機所擷取 之第一與第二影像。如同先前討論,此由面向後方照相機 所綠取之第-與第二影像、與此由面向前方照相機所操取 5之第-與第二影像是在同時祿取則為有利。此外,此由照 相機所掏取之第二影像並無須是由此照相機所操取之下一 個〜像而是,此第二影像是指由此照相機所擷取任何隨 後之影像。 第4A〜4D圖顯示此等由面向前方與面向後方照相機 10所擷取影像之例。此等影像說明此裝置之水平平移。使用 此第3圖之座標系統,此水平平移是指:沿著巧與方向之 移動。 第4A圖顯示可以由面向前方照相機所擷取之第一影像 _。此“第-,,之詞是相對之詞,其被使用以提供相對於隨 15後影像之參考。此來自面向前方照相機之第—影像4qq顯示 在影像中之物件402。第4B圖顯示由面向前方照相機所擷取 之第二影像410。此相同物件402可以出現於第二影像41〇 中,以及可以相對於在第一影像4〇〇中之物件4〇2平移。其 π明物件402已向左移動。此移動感測裝置可以藉由比較此 2〇兩個影像400與410而決定移動方向。此移動感測裝置無須 作〜像之洋細決定。此移動感測裝置只須決定:此影像已 平移,與此影像平移之方向。當然,此移動感測裝置可以 實施額外的影像分析,且除了平移之方向外還可以決定此 平移之大約大小。因為,此面向前方照相機所擷取影像中 20 1282435 物件402向左平移,此移動感測裝置可以決定此裝置之移動 方向是向左。然而,如果沒有分析由面向後方照相機所擷 取之影像,則此移動感測裝置可能無法作移動之決定。 第4C圖顯示由面向後方照相機所擷取之第一影像 5 420。此第一影像420亦顯示在第一影像42〇中之物件412。 第4D圖顯示由面向後方照相機所擷取之第二影像43〇。此第 二影像430亦顯示與在第一影像42〇中相同之物件412,但其 平移至一側。由面向後方照相機所擷取之物件顯示為向右 平移。因此,此移動感測裝置可以決定··此裝置之移動方 10 向是向左。 此所擷取影像中之物件顯得在相反方向中平移,但是 口為此兩個知、相機面對相反方向,此移動感測裝置可以決 定此私動方向是相同。因為,此移動感測裝置決定:此
^兩個照相機所檢測之移動方向相同,因此,此移動感測 、疋此衣置向左平移。以替代方式,此移動感測裝置 可以由來自第一照相機之影像決定影像之平移方向。此移 ^感u亦可以由來自第二照相機之影像決定影像之平 矛夕方向移動感測裝置可以比較影像平移之兩個方向, 以決定裝置之移動方向。 第A 5D圖顯示由面向前方照料與面向後方照相 所擷取影像額外之似。A# / 、 钱 、 例此寺影像說明此移動感測裝置之垂 直平移。 土 弟5A圖龜;丄 〜不由面向前方照相機所擷取之第_ 5〇〇。此第一影傻 〜像500頒不在影像5⑻中之物件5〇2。第沾圖 21 1282435 顯示由面向前方照相機所擷取之第二影像510。此第二影像 510亦顯示與在第一影像5〇〇中相同之物件502,但其向下平 移。因此,此移動感測裝置可以決定向上之移動方向。 第5C圖顯示由面向後方照相機所擷取之第一影像 5 520。此第一影像520顯示在影像520中之物件512。第5D圖 顯示由面向後方照相機所擷取之第二影像540。此第二影像 540亦顯示與面向後方照相機之第一影像52〇中相同之物件 512。然而,此影像向下平移,而顯示此裝置之向上移動方 向0 10 此移動感測裝置可以比較來自兩組影像之影像平移方 向。因為對於兩個照相機此所擷取之影像顯示向下影像平 移,則可決定此裝置之移動是向上平移。以替代方式,此 移動感測裝置可以比較移動方向且決定裝置之移動。因為 k兩組影像決定向上移動方向,此移動感測裝置決定此移 15 動為向上平移。 第6A〜6D圖顯示面向前方照相機與面向後方照相機 所梅取影像之其他例。此等影像說明此移動感測裝置之扭 轉平移。此扭轉平移亦可稱為此移動感測裝置之旋轉。此 旋轉沿著在X軸方向中延伸之旋轉軸產生。 0 第6A圖顯示由面向前方照相機所擷取之第一影像 _。此第-影像520顯示在影像_中之物件6〇2。第二圖 顯示由面向前方照相機所擷取之第二影像61〇。此第二影^ =10顯示與在第一影像600中相同之物件6〇2,但相對於照相 機之視轴逆時針旋轉。此對應於此移動感測裝置之逆日、夺針 22 1282435 走轉而此方向疋指由此裝置正面觀之為逆時針方向。因 此,此移滅喊置確定此旋轉方向為逆時針旋轉。 影像640。此第:影像觸示與在面向後方照相機之第_ 影像6财所示相同物件612。^,此影像相對於視轴顺 時針旋轉,以顯示此裝置之逆時針旋轉為其移動方向。 第6C圖顯示由面向後方照相機所擷取之第一影像 620。此來自面向後方照相機之第―影⑽峨示在影像㈣ 中之物件612第6 d圖顯不由面向後方照相機所操取之第二
如同以上所討論,此移動感測裝置可以比較來自兩故 10影像之影像平移方向。因為對於兩個照相機此所操取之影 像顯示相反之影像旋轉,則可決定此農置之移動是旋轉: 此旋轉方向與由由面向前方照相機所示之旋轉方向相同, 其在此例中為逆時針方向。 以替代方式,此移動感測裝置可以比較移動方向且決 15定裝置之移動。因為此移動感測裝置從兩組影像決定逆時 針之移動方向,此移動感測裝置決定此移動為沿著照相= 視軸之逆時針旋轉。 第7A〜7D圖顯示面向前方照相機與面向後方照相機 所擷取影像之其他例。此等影像說明此移動感測裝置之旋 20轉。此旋轉在沿著Z軸方向延伸之旋轉軸產生。 第7A圖顯示由面向前方照相機所擷取之第一影像 700。此第一影像700顯示在影像700中之物件7〇2。第7丑固 顯示由面向前方照相機所擷取之第二影像71〇。此第二臀像 710顯示與在第一影像7〇〇中相同之物件7〇2,但平移至麥像 23 1282435 平私可以對應於此移動感測裝置之右側水平平 移。因—此,此移動感測裝置可以決定此移動方向為向右。
20 第7C圖顯不由面向後方照相機所擷取之第一影像 72〇°此來自面向後方照相機之第-影像720顯示在影像720 5中之物件712。第7〇圖顯示由面向後方照相機所揭取之第二 〜像7 0此第_影像74()顯示與在面向後方照相機之第一 影像,中所示相同之物件712。然而,此影像向右水平平 私此水平平移可以顯示其移動方向為水平向左。 10 15 夕 丨网取衫像宁之物件顯得在相同方向中平 私彳疋口為此兩個照相機面對相反方向,此移動感測裝 置可:決定··移動方向是相反。此移動感測裝置決定:此 相機之移動方向是右,而此面向後方照相機之 ㈣動因為,此移動感測裝置決定:此兩個照相
車H 此移動感鬆置可以決定此裝置圍繞X 移動感測裝置可以進-步從移動方向決定:當 衣由上硯之此旋轉為逆時針方向。 乂溱代方式,此移動感測裝置 向決定裝置之々 根據衫像平移之方 疋衣置之私動。此移動感測裝置 兩個方向,以及決定裝置移動方向。 ^像平移之 與面向後照相機影像中影像向” ,因為在面向前 可以決定對應於此裝置逆萨Υ 、,寿夕田由上觀之此裝置 第一圖顯示由面移動方向。 機所擷取影像之其他例。此等i π相機與面向後方照相 繞沿著y軸之旋轉軸之旋轉。:、。像13兄明此移動感測裝置圍 24 1282435 弟8A圖顯示由面向前方照相機所操取之第一影像 800。此第一影像800顯示在影像800中之物件8〇2。第8B圖 顯示由面向前方照相機所擷取之第二影像81〇。此第二影像 810顯示與在第一影像800中所示相同之物件8〇2,但向上平 移。因此,此移動感測裝置可以決定此移動方向為向下。 10 15 20 第8C圖顯示由面向後方照相機所擷取之第_影像 820。此第一影像820顯示在影像82〇中之物件812。第^^圖 顯示由面向後方照相機所擷取之第二影像84〇。此第二影像 840顯示與在面向後方照相機之第一影像82〇中所示相同之 物件812。此影像向下平移,以顯示此裝置向上之移動方向。 此影像平移之相反方向,與相對應地此裝置相反之移 動方向可以顯示:此裝置是圍繞著沿著找向之旋轉轴顿 =。此移域财置可以❹影像平移或㈣方向以決定 备由此裝置之錢之,此移動方向為逆時針方向。 像:===據由多個__取影 壯 在此專例中只顯不兩個照相機,但此 衣置中可以使用多於兩個照目。一^ 二!:貝相反方向之視轴。然而,可以沿著任何視 關照相機,此等視轴並不相同或不會造成完全相 糟由ttimt彡制決R影像 此移動—Hu定此置㈣方向, 動感測裝置可否已平移或旋轉。此移 大小而決Γ:、:㈣例如在兩個或更多影像中物件之 心此㈣平行於祕#之水平_。 25 1282435
提i'此像平移與移動決定之總結,其用於具有—第一面 向則方照相機與-第二面向後方照相機之兩個照相機實施
10 雖然,此裝置平移與旋轉之例是提供用於轴上之平移 與旋轉’任何裝置之平移與旋轉可以根據軸上平移及/或旋 轉之組合而決定。例如,任«置之平移可以決定為:在各 軸方向帽置平移之組合。各軸上平移之向量和可以等於 任何三度空間位置之平移。類似地,沿著任何任意軸之旋 轉可以決定為沿著各軸裝置旋轉之組合。 “例如,此沿著任何任意方向之裝置平移可以決定為沿 者X、y、以及Z軸移動之向量和。如同由表丨可以看出,此 沿著各三軸之平移可以決定為僅沿著另-轴之平移。因 此,此移動感測系統可以例如決定沿著X-轴之平移,接著 15決定沿著y-轴之平移’以及沿著Z-軸之平移。此總共之平移 26 1282435 了以决疋為各平移之向量和。 此外,此沿著任意軸之旋轉可以決定為沿著各轴旋轉 之和。如同由表π以看出,使用照相機影像之移動以決定 旋轉軸是獨立,以及因此可以由任意轉衫個別轴之旋 轉0 雖然,-些旋轉與平移可以由相同影像平移而決定, 可以藉由比較不同影像平移之數量而區別旋轉與平移。例 • 二5"轴平移與2軸旋轉均可以根據向左或向右影像平移而 、定j而’ §此等照像機設置成彼此實質上相對時,此 1〇對於來自兩個照相機影像之影像平移數量應大致相等。當 此來自兩個照相機影像之影像平移數量不同時,此系統可 以決定組合之平移與旋轉。可以使用此平移數量之差異與 方向,差異,以決定由於裝置平移或旋轉之影像平移成份。 第9圖為衫像感測過程9〇〇之實施例之流程圖其可以 15使用於第丄圖之移動感測裝置中、或第2圖之移動感測系統 • 中。當此移動感測裝置從第-照相機擷取 第一影像時,此 過程900可以在方塊69〇2開始。如同先前討論,此第一照相 機例如可以為面向前方照相機。 /然後,此移動感測裝置進行至方塊904,在此處此裝置 20攸第一知相機擷取第一影像。此第二照相機可以例如為面 向後方,、、、相機。此移動感測裝置然後進行至方塊912且由第 一照相機揭取第二影像。在方塊914,此移動感測裝置從第 -知相機操取第二影像。此來自各第—與第二照相機之第 ^一影像可以例如儲存於··記憶體或某種儲存裝置中。 27 1282435 然後,此移動感測袭置進行至方塊92〇,且將 照相機之第一與第_影德乐— 办像比較。在方塊9 2 2,此移動感測 置根據所擷取影像t ^ 、、 豕之比較而決定影像之平移。以秩抑古 式,此移動感測裝詈可、//Λ » 曰 置ΊΓ以k弟一照相機影像決定 動方向。 又牙夕 =!=感職置進行至方塊924 ’且決定從此移 動感測裝置至使用去々 /、欠攸此私 之距離。如同先前討論’此移動感測 10 、猎由測量分析使用者面部之影像以決定眼睛間之 距離、而蚊或估輕使肖者之距離 ,並且因此導出至此 裝置之距離。 i此 4後’此移域啦置進行至方塊93(),且比較由 照相機所擷取之旦〈德 一 所在方塊932中,此移動感測裝置根據 方二弟一照相機影像之比較而決定影像之平移。以替代 15式此移動感測裝置可以從第二照相機影像決技置之 心動方向。 然後’此移動感測裝置進行至方塊94〇, 第一昭相她公你 处,、將由 決定…、相機衫像所決定之影像平移與由第二照相機影像所 平戈一〜像平移比較。此移動感測裝置可以例如比較··水 20 裝3 =直平移方向以及旋轉方向。在方塊95〇,此移動感測 邻知根據所擷取影像平移之比較,以決定裝置之移動 方向。 一 進订至方塊95〇,此移動感測裝置亦可以部份根據各第 旦〃第一照相機影像對中影像平移與影像旋轉之大小數 而決定農置移動之大小數量。在方塊960中,此移動感 28 1282435 5
10 15
20 測裝置可以將移動參數與一或多個影像傳送至另一裝置, 例如基地裝置或另一移動感測裝置,如同在第2圖中所示 者。此移動參數可以包括例如·平移移動方向與旋轉移動 方向、移動之大小數量、以及距使用者之距離。此等影像 可以包括由照相機所擷取之一些或所有影像。在一實施例 中,此移動感測裝置將由面向後方照相機所擷取影像傳 送,但不將由面向前方照相機所擷取影像傳送。 然後,此移動感測裝置進行至方塊98〇,且可以接收來 自另一裝置例如基地裝置或另一移動感測裝置之顯示信 號。此顯示信號可以為_種信號其部份根據由移動感測裝 置所傳达之影像與移動參數而產生。在_實施例中,此移 動感測裝置接收來自基地裝置之放大真實顯示信號,且將 此放大真實顯示信號顯示於顯示器上。 *過程_之各種步驟或方塊可以另外順序實施,且益 須以第9圖中所示之順序實施。此外,可以對過程_增加 方塊、步驟、或功能’或從過程將其刪除。可以在此過 有過… 個照:::=編裝置可,根據” 收十 像而決定移動。此移動感測穿署π、 、“自第一照相機之第-組影像比較,以決定在第Μ Γ影像之平移。此移動感測裝置亦可以將來自Γ組影 之弟—組影像比較,料定在第二組影像7、相 一動感測裝置然後可以將此由第-組影像;= 29 1282435 影像平移與、由第二組影像所決定之影像平移比較。然後, 此移動感測裝置可以部份根據此比較決定移動。 此等與在此所揭示實施例有關而說明之邏輯方塊、模 組、以及電路可以下列裝置執行或實施··_般用途處理器、 數位仏號處理器(DSP)、化約指令集電腦(RISC)處理器、特 ^應用積體電路(ASIC)、場可程式閘陣列(FpGA),或其他 可程式邏輯裝置、離散間或電晶體邏輯、離散硬體元:、 或其任何組合,其被設計以實施在此所說明之功能。此一 10 15 20 般用途處理器可以為微處理器,但替代地,此處理器可以 2任何處理器、控制器、微控制器、或狀態機器。此處理 二:可以计异裝置之組合實施,例如,DSp與以下裝置之
、、' 1處理态、多個微處理器、一或多個微處理器與DSP 核心、或任何其他此種組態。 與在此所揭示實施例有關而說明之方法之步驟、過 二2法^下列方式實施··直接在硬體中、在由處理 垣可以二叙肢核組中、或在此兩者之組合中。此軟體模 非依電性裝置中:RAM記憶體、快閃式記憶體、 記憶=,Rqm_、e_咖'EEpR〇M 技術中編硬碟、可移除式碟、C_M、或在此 連接至處理Τ==Γ媒體。典型的儲存媒體可以 訊、或 伙此處理器可以從此儲存媒體讀取資 4對其舄入資訊。以 合於處_ W 《方式,可謂频存媒體整 。。。此處理器與儲存媒體可以存在於ASIC中。 上^供所揭示實施例之說明,以使得任何熟習此技 30 1282435 術人士可以使用或實施本發明。對於此等實施例之各種修 正對於热習此技術人士為明顯,以及可以將在此所界定之 一般原理應用至其他實施例而不會偏離本發明之範圍。因 此,此所揭示内容之用意為並不受限於在此所示之實施 5例,而是給予與在此所揭示原理與新穎特性一致之最廣範 【圖式》簡导^ 明】 第1圖為移動感測裝置之功能方塊圖; 第2圖為移動感測系統之功能方塊圖; 10 第3A〜30圖為移動感測裝置之實施例; 第4A〜4D圖說明由照相機所擷取影像之例; 第5A〜5D圖說明由照相機所擷取影像之例; 第6A〜6D圖說明由照相機所擷取影像之例; 第7A〜7D圖說明由照相機所擷取影像之例; 15 第8A〜8D圖說明由照相機所擷取影像之例;以及
第9圖為移動感測過程之實施例之流程圖。 【主要元件符號說明】 100…移動感測裝置 110···第一照相機 100a···遠端裝置 100b···遠端裝置 120···第二照相機 130···顯示器 輪出裝置 140a…第一使用者輸入裝置 140b…第二使用者輸入裝置 15〇…移動處理模組 152···輪入/輪出控制器 154…處理器 160…記憶體 170···通訊介面 31 1282435 200···移動感測系統 220···網路 250…基地裝置 252…通訊介面 254···處理器 256…記憶體 258···儲存裝置 400···第一影像 402…物件 410···第二影像 412…物件 420···第一影像 430···第二影像 500···第一影像 502…物件 510…第二影像 512…物件 520…第一影像 540···第二影像 600···第一影像 602…物件 610…第二影像 612…物件 620···第一影像 640···第二影像 700…第一影像 702…物件 710···第二影像 712…物件 720···第一影像 740···第二影像 800…第一影像 802…物件 810···第二影像 812…物件 820···第一影像 840···第二影像 900···方法 902、904、912···步驟 914、920、922…步驟 924、930、932…步驟 940、950、960…步驟 970、980…步驟 32

Claims (1)

1282435 十、申請專利範圍: h —種移動感測裝置,此裝置包括·· —種被設計沿著第-妹練影像之第_照相機. —種被設計沿著與第—視軸不同之第_ 3目红, 5 爭倍+ 一 卜·弟—視軸擷取 知像之弟二照相機;以及 -種被設計部份根據來自第—照 Μ -V x ^ 一 相 铖之衫像而決定移動之移動處理模組。 2·如申請專利範隊項之移動感測裝置,更包括一㈣ 1〇 计部份根據裝置之移動以顯示影像之顯示器。 3·如申請專利範圍第i項之移動感測裝置,更包括一被設 计以顯示來自第二照相機影像至少—部份之顯示哭。 .^申請專利範圍第i項之移動感測裝置,其中更設計此 和動處理模組根據裝置之移動將資料傳送至基地單 15 %,以及部份根據此所傳送之裝置移動,從基地單元接 收資訊。 5·如申請專利範圍第4項之移動感測裝置,其中此所接收 資訊包括顯示影像。 6·如申請專利範圍第!項之移動感測裝置,其中第一視角 與第二視角之方向實質上相反。 2〇 ^ •如申請專利範圍第1項之移動感測裝置,其中第一照相 機沿著裝置之正面設置。 8·如申請專鄉圍第7項之移動感測裝置,其中第一照相 機沿著裝置之背面設置。 9.如申請專利範圍第1項之移動感測裝置,其中設計此移 33 1282435 動處理模組以決定、第一照相機影像之影像平移與第二 照相機影像之影像平移,以及部份根據第一照相機影像 之影像平移與第二照相機影像之影像平移、以決定裝置 之移動。 5 10.如申請專利範圍第1項之移動感測裝置,其中此第一照 像機與第二照相機所擷取影像至少之一包括:使用者面 部之影像。 11. 如申請專利範圍第10項之移動感測裝置,其中更設計此 移動處理模組以部份根據從使用者面部影像所決定距 10 使用者眼睛之距離,以決定從使用者至此裝置之距離。 12. 如申請專利範圍第11項之移動感測裝置,更包括一被設 計以部份根據從使用者至此裝置之距離以顯示影像之 顯示器。 13. 如申請專利範圍第1項之移動感測裝置,其中此第一照 15 相機、第二照相機、以及移動處理模組是包含於可攜式 裝置中。 14. 如申請專利範圍第1項之移動感測裝置,其中此第一照 相機、第二照相機、是包含於距離此移動處理模組遙遠 之可攜式裝置中。 20 15.—種移動感測裝置,包括: 一具有從裝置正面遠離之視軸且被設計以擷取影 像之第一照相機; 一具有從裝置背面遠離之視軸且被設計以擷取影 像之第二照相機; 34 1282435 一被設計部份根據來自第一照相機與第二照相機 之影像以決定裝置移動之移動處理模組,其更被設計部 份根據裝置之移動以產生顯示影像;以及 一連接至移動處理模組且被設計以顯示此顯示影 5 像之顯示器。 16. —種移動感測系統,包括: 一沿著第一視轴設置且被設計以擷取第一照相機 影像之第一照相機; 一沿著與第一視軸不同之第二視軸設置且被設計 10 以擷取第二照相機影像之第二照相機; 一被設計部份根據至少兩個第一照相機影像與至 少兩個第二照相機影像以決定移動參數之移動處理模 組; 一被設計處理移動參數且部份根據移動參數以產 15 生顯示信號之基地裝置;以及 一被設計以顯示由此基地裝置所產生顯示信號之 顯示器。 17. 如申請專利範圍第16項之移動感測系統,其中此基地裝 置包括: 20 一被設計以儲存一或多個儲存影像之儲存裝置;以及 一被設計接收來自處理器之移動參數、且藉由部份 根據移動參數修正至少一個所儲存影像而產生顯示信 號之基地裝置處理器。 18. 如申請專利範圍第16項之移動感測系統,其中更設計此 35 1282435 移動處理模組將此等第二照相機影像至少之一傳送至 基地裝置,以及其中此基地裝置根據此等第二照相機影 像至少之一產生作為顯示信號之放大真實信號。 19. 如申請專利範圍第16項之移動感測系統,其中此移動參 5 數包括由裝置平移與裝置旋轉所構成之組所選出之至 少一參數。 20. 如申請專利範圍第16項之移動感測系統,其中此等第一 照相機影像至少之一包括使用者面部之影像; 其中更設計此移動處理模組部份根據使用者面部 10 影像以估計至使用者距離;以及 其中更設計此基地裝置以部份根據至使用者距離 以產生顯示信號。 21. —種移動感測方法,其包括以下步驟: 從第一照相機接收多個影像; 15 從第二照相機接收多個影像; 部份根據第一照相機影像決定第一影像平移; 部份根據第二照相機影像決定第二影像平移; 將第一影像平移與第二影像平移比較;以及 部份根據此比較決定此裝置之移動。 20 22.如申請專利範圍第21項之移動感測方法,更包括; 部份根據此裝置之移動產生顯示影像;以及 顯示此顯示影像。 23.如申請專利範圍第21項之移動感測方法,其中此等來自 第一照相機之多個影像包括使用者面部之影像,此方法 36 1282435 更包括以下步驟: 從使用者面部影像決定至使用者眼睛之距離;以及 部份根據至使用者眼睛之距離估計從使用者至裝 置之距離。 5 24.如申請專利範圍第23項之移動感測方法,更包括: 部份根據此裝置之移動與從使用者至此裝置之距 離而產生顯示影像;以及 顯示此顯示影像。 25. 如申請專利範圍第21項之移動感測方法,其中從第二照 10 相機接收多個影像包括:從設置與第一照相機實質相對 之第二照相機接收影像。 26. —種移動感測方法,其包括以下步驟: 接收此由沿著第一視轴所擷取影像以及沿著與第 一視軸實質上相對之第二視轴所擷取影像所決定之移 15 動參數; 從多個儲存影像擷取顯示影像; 至少部份根據移動參數修正此顯示影像;以及 將此經修正顯示影像傳送至可攜式裝置。 27. 如申請專利範圍第26項之移動感測方法,更包括: 20 接收沿著第一視軸所擷取之至少一個影像;以及 部份根據所接收之影像修正所顯示影像。 28. 如申請專利範圍第27項之移動感測方法,其中部份根據 所接收之影像修正所顯示影像之步驟包括:部份根據所 接收之影像產生經放大之真實影像。 37 1282435 2 9. —種具有儲存於其上指令而被設計以造成裝置移動決 定之電腦可讀取媒體,此等指令包括: 用於接收來自第一照相機多個影像之程式碼; 用於接收來自第二照相機多個影像之程式碼; 5 用於部份根據第一照相機影像決定第一影像平移 之程式碼; 用於部份根據第二照相機影像決定第二影像平移 之程式碼; 用於將第一影像平移與第二影像平移比較之程式 10 碼;以及 用於部份根據此比較以決定裝置移動之程式碼。 30. —種具有儲存於其上指令而被設計以造成傳送此修正 顯示影像之電腦可讀取媒體,此等指令包括: 用於接收此由沿著第一視軸所擷取影像以及沿著 15 與第一視軸實質上相對之第二視轴所擷取影像所決定 之移動參數之程式碼; 用於從多個儲存影像擷取顯示影像之程式碼; 用於至少部份根據移動參數修正此顯示影像之程 式碼;以及 20 用於將此經修正顯示影像傳送至可攜式裝置之程 式碼。 31. —種移動感測系統,此裝置包含有: 一沿著第一視軸之遊樂器控制器第一側上設置且 被設計以擷取第一照相機影像之第一照相機; 38 1282435 一沿著與第一視轴實質上相對第二視軸之遊樂器 控制器上設置且被設計以擷取第二照相機影像之第二 照相機; 一與第一照相機以及第二照相機通訊且被設計部 5 份根據至少兩個第一照像機影像與至少兩個第二照像 機影像以決定移動參數之移動處理模組; 一被設計部份根據移動參數從儲存裝置擷取顯示 信號之處理器;以及 一設置在遊樂器控制器上且被設計以顯示由基地 10 裝置所產生顯示信號之顯示器。 32. 如申請專利範圍第31項之移動感測系統,其中此處理器 與儲存裝置是包含於:在此遊樂器控制器外之遊樂器控 制台中。 33. 如申請專利範圍第31項之移動感測系統,其中此處理器 15 與儲存裝置是包括於此遊樂器控制器中。 34. 如申請專利範圍第31項之移動感測系統,其中此儲存裝 置包括此具有遊戲影像儲存於其中之一儲存媒體。 35. 如申請專利範圍第31項之移動感測系統,其中此遊樂器 控制器包括:被設計接收使用者輸入之至少一輸入裝 20 置。 39
TW094113107A 2004-06-04 2005-04-25 Motion sensor using dual camera inputs TWI282435B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/861,582 US7671916B2 (en) 2004-06-04 2004-06-04 Motion sensor using dual camera inputs

Publications (2)

Publication Number Publication Date
TW200540458A TW200540458A (en) 2005-12-16
TWI282435B true TWI282435B (en) 2007-06-11

Family

ID=35448422

Family Applications (1)

Application Number Title Priority Date Filing Date
TW094113107A TWI282435B (en) 2004-06-04 2005-04-25 Motion sensor using dual camera inputs

Country Status (5)

Country Link
US (1) US7671916B2 (zh)
JP (1) JP2008502206A (zh)
GB (1) GB2430042B (zh)
TW (1) TWI282435B (zh)
WO (1) WO2005122582A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9261878B2 (en) 2011-12-29 2016-02-16 Intel Corporation Electronic device having a motion detector

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7682245B2 (en) 2000-02-29 2010-03-23 Igt Name your prize game playing methodology
JP4864295B2 (ja) * 2003-06-02 2012-02-01 富士フイルム株式会社 画像表示システム、画像表示装置およびプログラム
FI20045300A (fi) * 2004-08-17 2006-02-18 Nokia Corp Elektroninen laite ja menetelmä elektronisen laitteen toimintojen ohjaamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US7667686B2 (en) * 2006-02-01 2010-02-23 Memsic, Inc. Air-writing and motion sensing input for portable devices
US9250703B2 (en) 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
WO2008007703A1 (fr) * 2006-07-13 2008-01-17 Nikon Corporation Dispositif de commande d'affichage, système d'affichage, et téléviseur
US20090017910A1 (en) * 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
US8396321B1 (en) * 2007-04-25 2013-03-12 Marvell International Ltd. Method and apparatus for processing image data from a primary sensor and a secondary sensor
EP2039398B1 (en) * 2007-08-29 2016-05-04 Nintendo Co., Ltd. Imaging apparatus
JP4260215B1 (ja) * 2007-08-29 2009-04-30 任天堂株式会社 撮像装置
US8130275B2 (en) 2008-06-13 2012-03-06 Nintendo Co., Ltd. Information-processing apparatus, and storage medium storing a photographing application launch program executed by information-processing apparatus
JP4181211B1 (ja) 2008-06-13 2008-11-12 任天堂株式会社 情報処理装置およびそれにおいて実行される起動用プログラム
CN101616209A (zh) * 2008-06-26 2009-12-30 深圳富泰宏精密工业有限公司 手机及在手机中实现文本画面移动的方法
EP2305358B1 (en) * 2008-06-30 2019-01-02 Sony Interactive Entertainment Inc. Portable type game device and method for controlling portable type game device
WO2010038296A1 (ja) 2008-10-01 2010-04-08 任天堂株式会社 情報処理装置、情報処理システム、ならびに起動用プログラムおよびそれを記憶した記憶媒体
US20100138797A1 (en) * 2008-12-01 2010-06-03 Sony Ericsson Mobile Communications Ab Portable electronic device with split vision content sharing control and method
CN101579571B (zh) * 2009-04-30 2012-09-26 武汉市高德电气有限公司 实景游戏装置及实现实景游戏的方法
JP5418061B2 (ja) * 2009-08-20 2014-02-19 沖電気工業株式会社 遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステム
EP2355526A3 (en) 2010-01-14 2012-10-31 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
JP5898842B2 (ja) 2010-01-14 2016-04-06 任天堂株式会社 携帯型情報処理装置、携帯型ゲーム装置
JP5800501B2 (ja) 2010-03-12 2015-10-28 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法
KR20110116525A (ko) * 2010-04-19 2011-10-26 엘지전자 주식회사 3d 오브젝트를 제공하는 영상표시장치, 그 시스템 및 그 동작 제어방법
US8384770B2 (en) * 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
US8633947B2 (en) 2010-06-02 2014-01-21 Nintendo Co., Ltd. Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
EP2395769B1 (en) 2010-06-11 2015-03-04 Nintendo Co., Ltd. Image display program, image display system, and image display method
JP5647819B2 (ja) 2010-06-11 2015-01-07 任天堂株式会社 携帯型電子機器
US9013550B2 (en) 2010-09-09 2015-04-21 Qualcomm Incorporated Online reference generation and tracking for multi-user augmented reality
JP5739674B2 (ja) 2010-09-27 2015-06-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
US8854356B2 (en) 2010-09-28 2014-10-07 Nintendo Co., Ltd. Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
TWI419031B (zh) * 2010-10-20 2013-12-11 Sonix Technology Co Ltd 光學觸控模組與其載入資料方法
KR101714050B1 (ko) * 2010-11-01 2017-03-08 삼성전자주식회사 휴대단말기의 데이터 표시장치 및 방법
JP5774314B2 (ja) * 2011-01-05 2015-09-09 任天堂株式会社 遅延測定システムおよび遅延測定方法
US9507416B2 (en) 2011-02-22 2016-11-29 Robert Howard Kimball Providing a corrected view based on the position of a user with respect to a mobile platform
US10120438B2 (en) 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
JP5890969B2 (ja) 2011-06-03 2016-03-22 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
US9268406B2 (en) 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US9286711B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US9606992B2 (en) 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
KR101880998B1 (ko) * 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
US9799136B2 (en) * 2011-12-21 2017-10-24 Twentieth Century Fox Film Corporation System, method and apparatus for rapid film pre-visualization
US11232626B2 (en) 2011-12-21 2022-01-25 Twenieth Century Fox Film Corporation System, method and apparatus for media pre-visualization
US9986208B2 (en) * 2012-01-27 2018-05-29 Qualcomm Incorporated System and method for determining location of a device using opposing cameras
JP5966624B2 (ja) * 2012-05-29 2016-08-10 株式会社リコー 情報処理装置及び情報表示システム
US8957973B2 (en) 2012-06-11 2015-02-17 Omnivision Technologies, Inc. Shutter release using secondary camera
US9720508B2 (en) 2012-08-30 2017-08-01 Google Technology Holdings LLC System for controlling a plurality of cameras in a device
US20140067869A1 (en) * 2012-08-30 2014-03-06 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
KR102051418B1 (ko) * 2012-09-28 2019-12-03 삼성전자주식회사 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
JP6133567B2 (ja) 2012-10-18 2017-05-24 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理制御方法
FR3000349B1 (fr) * 2012-12-21 2015-02-27 Thales Sa Procede de compensation de mouvement sur plusieurs sequences d'images
CN103900477A (zh) * 2012-12-28 2014-07-02 北京三星通信技术研究有限公司 一种判断手持设备的相对位移的方法及手持设备
JP6219037B2 (ja) * 2013-02-06 2017-10-25 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
KR102146641B1 (ko) * 2013-04-08 2020-08-21 스냅 아이엔씨 멀티-카메라 장치를 사용하는 거리 추정
US9336460B2 (en) * 2013-05-31 2016-05-10 Intel Corporation Adaptive motion instability detection in video
CN103425402A (zh) * 2013-08-28 2013-12-04 紫光股份有限公司 一种移动终端姿态的检测方法及其装置
US20150138314A1 (en) * 2013-11-20 2015-05-21 Google Inc. Generating Panoramic Images
US9294666B2 (en) 2013-12-27 2016-03-22 Panasonic Intellectual Property Corporation Of America Communication method
JP6397698B2 (ja) * 2014-08-28 2018-09-26 任天堂株式会社 情報処理端末、情報処理プログラム、情報処理端末システム、および情報処理方法
US9851805B2 (en) * 2014-12-24 2017-12-26 Immersion Corporation Systems and methods for haptically-enabled holders
US10565726B2 (en) 2017-07-03 2020-02-18 Qualcomm Incorporated Pose estimation using multiple cameras
US11763209B1 (en) * 2019-03-06 2023-09-19 American Airlines, Inc. Virtual measurement system for baggage management
KR20210007697A (ko) 2019-07-12 2021-01-20 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 전자 장치

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4969036A (en) 1989-03-31 1990-11-06 Bir Bhanu System for computing the self-motion of moving images devices
US5473364A (en) 1994-06-03 1995-12-05 David Sarnoff Research Center, Inc. Video technique for indicating moving objects from a movable platform
WO1997003416A1 (en) 1995-07-10 1997-01-30 Sarnoff Corporation Method and system for rendering and combining images
JP3753201B2 (ja) 1996-07-22 2006-03-08 富士写真フイルム株式会社 視差画像入力装置
US6693666B1 (en) 1996-12-11 2004-02-17 Interval Research Corporation Moving imager camera for track and range capture
JP3103045B2 (ja) 1997-07-10 2000-10-23 三菱電機株式会社 画像撮影再生方式及び方法並びに画像再生プログラムを記録した記録媒体
GB2329300B (en) 1997-09-16 2002-07-17 Nokia Mobile Phones Ltd Mobile telephone with handwritten data input
US6249285B1 (en) 1998-04-06 2001-06-19 Synapix, Inc. Computer assisted mark-up and parameterization for scene analysis
US6269175B1 (en) 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
EP1048167B1 (en) 1998-09-17 2009-01-07 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for generating and displaying panoramic images and movies
JP2002011250A (ja) * 2000-04-25 2002-01-15 Nintendo Co Ltd ゲームシステムおよび携帯ゲーム機
WO2001086348A1 (en) 2000-05-09 2001-11-15 Jon Oshima Multiplexed motion picture camera
JP4469476B2 (ja) * 2000-08-09 2010-05-26 パナソニック株式会社 眼位置検出方法および眼位置検出装置
US20020167537A1 (en) 2001-05-11 2002-11-14 Miroslav Trajkovic Motion-based tracking with pan-tilt-zoom camera
IL160760A0 (en) 2001-09-07 2004-08-31 Intergraph Hardware Tech Co Image stabilization using color matching
US7327505B2 (en) * 2002-02-19 2008-02-05 Eastman Kodak Company Method for providing affective information in an imaging system
EP1477015A1 (de) 2002-02-20 2004-11-17 Siemens Aktiengesellschaft Mobiltelefon mit rundumdisplay
US7456875B2 (en) * 2002-03-14 2008-11-25 Sony Corporation Image pickup apparatus and method, signal processing apparatus and method, and wearable signal processing apparatus
JP4075418B2 (ja) 2002-03-15 2008-04-16 ソニー株式会社 画像処理装置及び画像処理方法、印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム
WO2004066615A1 (en) * 2003-01-22 2004-08-05 Nokia Corporation Image control
US7102626B2 (en) 2003-04-25 2006-09-05 Hewlett-Packard Development Company, L.P. Multi-function pointing device
US7301528B2 (en) * 2004-03-23 2007-11-27 Fujitsu Limited Distinguishing tilt and translation motion components in handheld devices
US7365735B2 (en) 2004-03-23 2008-04-29 Fujitsu Limited Translation controlled cursor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9261878B2 (en) 2011-12-29 2016-02-16 Intel Corporation Electronic device having a motion detector
US9785143B2 (en) 2011-12-29 2017-10-10 Intel Corporation Electronic device having a motion detector

Also Published As

Publication number Publication date
US7671916B2 (en) 2010-03-02
TW200540458A (en) 2005-12-16
WO2005122582A3 (en) 2007-01-18
GB0624588D0 (en) 2007-01-24
JP2008502206A (ja) 2008-01-24
US20050270368A1 (en) 2005-12-08
GB2430042B (en) 2009-01-14
GB2430042A (en) 2007-03-14
WO2005122582A2 (en) 2005-12-22

Similar Documents

Publication Publication Date Title
TWI282435B (en) Motion sensor using dual camera inputs
US11317076B2 (en) Peripheral device having sensors for capturing changes in spatial position
US8139087B2 (en) Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program
CN204465706U (zh) 终端装置
KR101764372B1 (ko) 휴대용 단말기에서 영상 합성 방법 및 장치
US9001192B2 (en) Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
US11032537B2 (en) Movable display for viewing and interacting with computer generated environments
JP5256269B2 (ja) データ生成装置、データ生成装置の制御方法、及びプログラム
TW201214266A (en) Three dimensional user interface effects on a display by using properties of motion
JP5509227B2 (ja) 移動制御装置、移動制御装置の制御方法、及びプログラム
JP2016509683A (ja) 外観を撮像及び表示する装置、システム及び方法
WO2008145952A1 (en) Apparatus and method of body characterisation
JP2012068964A (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
JPWO2016031028A1 (ja) 情報処理端末およびゲーム装置
JP2014089697A (ja) 建築画像表示装置、建築画像表示方法及びコンピュータプログラム
KR20100001408A (ko) 가상 공간과 현실 공간을 연계한 로봇 게임 시스템 및 로봇게임 방법
CN118215903A (zh) 用于在虚拟环境中呈现虚拟对象的设备、方法和图形用户界面
JP5602702B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
JP2022080441A (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2013054569A (ja) 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
JP2012174238A (ja) 画像処理プログラム、画像処理装置、画像処理方法および画像処理システム
EP2557482A2 (en) Input device, system and method
JP2013176529A (ja) 変更されたゲーム状態に基づいて仮想カメラの位置を変えるための装置および方法
JP2004297766A (ja) 共存在空間コミュニケーションシステム
GB2493646A (en) Stereoscopic mapping as input for an entertainment device

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees