TW563053B - Image processing device, method and providing medium - Google Patents

Image processing device, method and providing medium Download PDF

Info

Publication number
TW563053B
TW563053B TW088108099A TW88108099A TW563053B TW 563053 B TW563053 B TW 563053B TW 088108099 A TW088108099 A TW 088108099A TW 88108099 A TW88108099 A TW 88108099A TW 563053 B TW563053 B TW 563053B
Authority
TW
Taiwan
Prior art keywords
image
aforementioned
processing device
extraction
resolution
Prior art date
Application number
TW088108099A
Other languages
English (en)
Inventor
Akio Ohba
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Application granted granted Critical
Publication of TW563053B publication Critical patent/TW563053B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/157Conference systems defining a virtual conference space and using avatars or agents

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)

Description

563053 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明說明(i ) [發明所屬之技術領域] 本發明係關於-種圖像處理裝置、方法及提供媒體,特 別是關於-種可連續抽出、跟踪預定圖像變化之圖像處理 裝置、方法及提供媒體。 [習知技術] 最近電腦娛樂裝置普及,在各家庭可享有遊戲。在此電 腦娛樂裝置方面,通常使用者操作按紐或操縱桿等,使遊 戲的對象(人物)向任意方向以任意速度移動。 [發明欲解決之課題] -此纟白知裝置由於操作按姐或操縱桿等,輸入各種 命=,所P只不過是可使按紐或操縱桿等的操作技巧反映 到避戲上,有不能享受更富於變化的遊戲的課題。 本發明隸於這種情況所完成的,可享受更富於變化的 遊戲。 [解決課題之手段] 申請專利範圍第α所載之圖像處理裝置,其特徵在於: 具,第-抽出機構:由所輸入的圖像拙出預定部位的圖像 ,弟—抽出機構:抽出爲第-抽出機構所抽出的預定部位 作爲Μ解析度的圖像;*,跟踪機構:爲了第二 構可由a抽出機構所抽出的圖像連續抽出預定 邵位的圖像,跟踪預定部位的圖像者。 申請專利範圍第1 1項户斤恭士国你占 • 、斤載之圖像處理方法,其特徵在於 待匕^一抽出步驟··由所輸入的圖像抽出預定部位的圖 像,第二抽出步驟··拙Ψ产Μ ,骤抽出在罘一抽出步驟所抽出的預定部
(請先閱讀背面之注意事 裝— 寫本頁) ίη°4·- --線· 本纸張尺度顧巾規格d x 297公釐) 563053 A7
563053 五、發明說明(3) 爲(例如-之步卿爲了 預定部位的圖像,跟持預…機構所抽出的圖像連續抽出 申請專利第㈣m圖像者。 更具備顯示控制機構(例其特徵在於: 像顯示作爲左右反轉之像者圖3<步驟82):使所輸入的圖 更ι:π&圍弟3項所載之圖像處理裝置,其特徵在於: 二像控制機構(例如圖3之步驟s9):使和所輸入的 、冋的預疋圖像顯示,同時使其圖像與爲第二抽出機 構所抽出的圖像對應變化者。 圖1爲顯、示適用本發明的圖像處理系統結構例的方塊圖。 如同圖所示,在此系統,圖像處理裝置Η至卜3透過網際 網路2連接於伺服器(se叫3。圖像處理裝置w至卜3(以 下無需各個區別這些裝置時,只稱爲圖像處理裝置】。至於 其他裝置也同樣)將和自己假想現實空間上的使用者假臉圖 像現在位置共同含有使用者假臉圖像表情的資料透過網際 網路2送出到伺服器3。伺服器3對於各圖像處理裝置丨透過 網際網路2供應位於由該處所供應的假想現實空間内的位置 附近的使用者假臉圖像的圖像資料。 經濟部智慧財產局員工消費合作社印製 圖2爲顯示圖像處理裝置丨-i結構例的方塊圖。雖然圖示 省略,但圖像處理裝置1 - 2、1 - 3也和圖像處理裝置卜1同 樣構成。 透過匯流排3 4,主記憶體3 2和圖像處理晶片3 3連接主 CPU31。主CPU31產生描繪命令,控制圖像處理晶片33的動 -6- 卜紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公爱) 563053 A7 ----B7 經濟部智慧財產局員工消費合作社印製 五、發明說明(4 ) 作。在主記憶體3 2適當記憶主cpU3丨在執行各種處理上所 需的程式或資料等。 圖像處理日Εί片3 3之描緣引擎(rencjering engine)4 1與由主 CPU31所供應的描繪命令對應,透過記憶體介面4 2執行在 圖像記憶體4 3描繪預定圖像資料的動作。匯流排4 5連接於 記憶體介面4 2和描繪引擎4 1之間,匯流排4 6連接於記憶體 介面4 2和圖像記憶體4 3之間。匯流排4 6例如具有128位元 的位元寬度’描繪引擎4 1對於圖像記憶體4 3可高速執描繪 處理。描繪引擎4 1例如具有以下能力··即時(reai time)地在 (1 /3 0秒至1 /60秒)之間描繪十幾次至幾十次以上NTSC方式 、PAL方$等320 X 240圖素的圖像資料或者640 X 480圖素的 圖像資料。 圖像處理晶片3 3還有可程式規劃的陰極射線管控制器 (PCRTC)44,此PCRTC44具有以下功能:即時地控制由視 頻攝影機3 5所輸入的圖像資料位置、大小、解析度等。 PCRTC44將由視頻攝影機3 5所輸入的圖像資料透過記憶體 介面4 2寫入圖像1己憶體4 3之紋理區(t e xt u r e area)。此外 ,PCRTC44透過記憶體介面4 2讀取描繪於圖像記憶體4 3之 描繪區的圖像資料,將此輸出到CRT36,使其顯示。圖像 記憶體4 3形成可在同一區指定紋理區和描繪的統一 (unified)記憶體構造。 聲音處理晶片3 7處理由傳聲器3 8所輸入的聲音資料,從 通信部4 0透過網際網路2輸出到其他圖像處理裝置1。此外 ,聲音處理晶片3 7透過通信部4 0處理由其他圖像處理裝置 (請先閱讀背面之注意事 -裝--- ▼填寫本頁) 訂: .線. 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) 563053 A7 ^ ' ------— B7__ 五、發明說明(5 ) 1二供應的聲音資料,輸出到揚聲器3 9。通信部4 〇透過網 、罔路2在和其他圖像處理裝置1或伺服器3之間授受資料 。使用者輸人各種命令時,操作輸入部30。 输引擎4 1與模態對應,該模態爲來自主CPU31的混合 才吴怨设足函數Set_M〇de(M〇DE)所指定,在圖像記憶體43之 撝繪區上的目標圖素値DF(X,Y)和紋理區的圖素値SP(X, γ)之間使混合處理進行。 描繪引擎4 1執行的混合模態中存在模態〇至模態3,在各 模態執行如下的混合: MODE 0 : SP(X,Υ) MODE 1、: DP(X,Y) + SP(X,Y) MODE 2 ·· DP(X,Y)-Sp(x,γ) M0DE 3 ·· (l-aSP(X,γ))*〇Ρ(Χ,Y) + asp(x,Y)*SP(X,γ) 又’ as P (X ’ γ )表示根源圖素値的α値。 即’在模態0將根源圖素値照樣描繪於目標上,模態1將 根源圖素値加在目標圖素値上描繪,在模態2從目標圖素値 減去根源圖素値進行描繪。此外,在描態3進行與根源以値 對應的加權,合成根源圖素値和目標圖素値。 描繪於圖像記憶體4 3之描繪區的圖像資料透過記憶體介 面4 2讀出到PCRTC44,從該處輸出到jcrt36顯示。 其次’參照圖3之流程圖,就其動作加以説明。最初,在 步驟S 1執行活動圖像取得處理。此活動圖像取得處理一部 分的細顯示於圖4之流程圖。 即,最初在步驟331,?0&代44從由視頻攝影機35所輸入 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) I---^--------11 · 11 (請先閱讀背面之注意事«、寫本頁} 訂: --線 經濟部智慧財產局員工消費合作社印制取 563053 A7 五、發明說明(〇 經濟部智慧財產局員工消費合作社印製 的圖像取入全部畫面的低解析度的圖像資料,將此資料透 過記憶體介面4 2供應給圖像記憶體4 3,使其記憶。藉此, 如圖5所示,在圖像記憶體43之圖像區5〇上記憶處理圖像 51 〇 其次,進入步驟S32,主CPU31控制PCRTC44,執行從在 步驟S3 1所輸入的圖像抽出被攝物體(使用者)頭部部分的 處理。即’從處理圖像5 1抽出頭部部分的圖像5 2。在步驟 S33 ’主CPU31判斷是否可從在步驟S31取入的圖像抽出頭部 部分,不能時,回到步驟S31,反覆執行其以後的處理。 在步驟S33 ’判斷可抽出頭部部分時,進入步驟gw,主 CPU31控亲,j PCRTC44,使以在步驟S32抽出的頭部爲中必的 區域以中解析度取入。即,如圖5所示,從在步驟§31所取 入的低解析度的處理圖像5 1取入以頭部爲中心的中解析度 的圖像5 2,使其記憶於圖像記憶體4 3之圖像區。 其次,在步驟S35,主CPU31執行從以步驟S34所取入的中 解析度的頭部爲中心的圖像抽出兩眼部的圖像的處理。即 ’執行從以圖5之頭部爲中必的中解析度的圖像5 2抽出兩 眼部部分的處理。在步驟S36,判斷是否可抽出兩眼部部分 ,不能抽出時,回到步驟S31,反覆執行其以後的處理。 在步據S36,判斷可抽出兩眼部時,主CPU31控制 PCRTC44,進入步驟S37,使以高解析度取入以兩眼部爲中 心的區域的處理執行。即,從以圖5所示的頭部爲中心的中 解析度的圖像5 2使以兩眼部爲中心的高解析度的圖像5 3取 入,使其記憶於圖像區5 0上。 -9 - 本纸張尺度適用中國國家標準(CNS)A4規格(210x297公釐) (請先閱讀背面之注意事Ί -裝--- ▼填寫本頁) 訂. ,線. 563053 A7 ----------B7___ 五、發明說明(7 ) ——,----------裝: (請先閱讀背面之注意事寫本頁) ”其次,在步驟S38,主cpU31執行從在步驟幻7所取入的高 解析度的圖像53抽出兩眼部,測量其位置的處理。在步驟 3 9 ’判斷疋否可拙出兩眼部,不能時,回到步驟幻4,反覆 執行其以後的處理。在步驟幻9,判斷可抽出兩眼部時,回 到步驟S37,反覆執行其以後的處理。 如以上,以更高解析度的圖像抽出預定部位,不能抽出 預定部位時,回到更低解析度的處理步驟,反覆執行其以 後的處理,在使用者對於視頻攝影機35相對移動時,也可 以自動確實跟踪其兩眼部,取入作爲圖像。 在圖3之步驟S1,執行包含如以上的圖4所示的處理的處 理,自動f踪被攝物體的兩眼部,得到被攝物體的圖像(臉 面圖像)在步驟S2,主CPU31就控制描繪引擎41,使左右反 轉圖像產生,將此圖像輸出到CRT36,使其顯示。即,描 繪引擎41與來自主CPU31的命令對應,將在步驟si所取入 的使用者臉面的圖像變換成反轉其左右的圖像(鏡圖圖像) 。將反轉此左右的圖像透過PCRTC44輸出到CRT36,如圖6 所示地顯示,使線P1重疊顯示於在步驟S35、幻7、s38抽出 的兩眼部抽出區域,可認識使用者。 經濟部智慧財產局員工消費合作社印製 在步驟S35、S37、S38,對於嘴也抽出時,如圖6所示, 在嘴的抽出區域周圍顯示線P 2。 如此,顯示線P 1、P2,使用者可認識抽出以此線p i、 P 2包圍的區域,進行跟踪動作。 其次,進入步驟S3,使用者觀看CRT36的顯示圖像,判 斷是否需要相對地位置調整自己的位置或視頻攝影機3 5的 本纸張尺度適用中國國家標準(CNS)A4規格(210x 297公釐) 563053 A7
’賴需要位置調整時,進入步驟S4,適當調整頻攝 以、35位置或自己位置。其後,回到步驟“, 以後的處理。 丹 在步驟S3,判斷無需調整視頻攝影機”或自己的位置時 進步展S 5,主CPU31進行爲了抽出臉面特徵的動作指 不。即,王CPU31控制聲音處理晶片3 7,從揚聲器3 9對於 使用者,如做搖頭、眨眼(wink)、嘴開閉動作等預定動作 ’指不使用者。當然,也可以控制描输引擎4 1,在圖像記 隐4 3描繪預定訊息(message),將此描繪的訊息透過 PCRTC44輸出到CRT36,使其顯示,進行此指示。 其次,準入步驟S6,iCpu31與在步驟§5的動作指示應 ,抽出使用者進行的動作變化作爲圖像變化,抽出臉面的 特徵區域。即,例如命令眨眼(〜以)後,認識在所取入的 圖像產生變化的部分作爲眼。此外,命令嘴開閉後,認識 變化的圖像區域作爲嘴部分。 (請先閱讀背面之注音?事ί -1 ^--- F填寫本頁,> =0 •線· 其之,進入步驟S7,主CPU31產生假臉的cG圖像,使此 圖像控制描繪引擎4 1,重疊描繪於使用者臉面圖像的顯示 位置。將此圖像透過PCRTC44輸出到CRT36,在CRT36例如 圖7所不’就顯示將使用者圖像的臉面部分換成假臉的圖 經濟部智慧財產局員工消費合作社印制衣 像。 其次’進入步驟38,主CPU3m揚聲器394CRT36輸出訊 息’遠訊息係將更動在步驟S 6抽出的臉面的特徵區域(例 如眼、嘴、眉等)指示使用者。即,例如對於使用要求眨眼 、開閉嘴或升降眉。使用者與此要求對應,眨眼、開閉口 -11 - 本紙張尺度適用中國國家標準(CNS)A4規格(210 x 297公釐) 563053 A7 五、發明說明(9 ) 或升降眉,就透過視頻攝影機35取入 六'国像。主CPTH 1血 動作指示對應,在步驟S9檢出變化的區域作爲對 應的^變化,與其檢出結果對應,使在步物顯示的^ 臉對應的邵位變化。即,與眨眼(wink)的動作指示對應, 使用者進行眨眼—k),檢出此眨眼時,主咖31使假臉的 眼眨眼(wink)。同樣地,使用者開閉口或升降眉時,盘此 對應,使假臉的嘴開閉,使假臉的眉升降。 其次’在步驟S10,使用者判斷是否正確抽出位置。口與 眨眼的動作指示對應,雖然眨眼,但假臉的眼不眨眼時y 使用者操作輸入部30之預定鍵,將未正確進行位置抽出通 知主cpuy。此時,在步驟su,主咖叫出修正指示。 即,輸出以下訊息:對於使用者指示靜止,同時除去被認 爲成爲錯誤判斷因素的背景移動或使照明等變更。使用者 與此訊息對應,在自己背後有移動的東西時,將此除去或 變更照明。而且,主CPU3HH如如圖8所示,指示在頭上纏 頭巾或指示戴帽子。使用者與此指示對應纏頭巾或戴帽子 ,就可以該處爲基準檢出頭部。因此,這種情況,回到步 驟S 1 ’反覆執行其以後的處理。 在步驟S10,判斷正確抽出位置時,進入步驟S12,判斷 疋口、正確抽出表情。即,使用者例如與在步驟S 8的動作指 示對應,動面頰,但在步驟S9所顯示的假臉的面頰不變化 時,操作輸入部3 〇,將表情抽出處理未成功通知主cpU3 i 。主CPU31此時在步驟S13輸出修正指示。例如主cpU31對 於使用者指示在面頰部分化裝或施加標記。使用者與此指 12- 私紙張尺度適用中國國家標準(CNS)A4規格(21〇 x 297公釐 -----------------裝--- (請先閱讀背面之注意事填寫本頁) 丨線· 經濟部智慧財產局員工消費合作社印製 563053 A7 _________ B7 五、發明說明(1〇) 示對應,在面頰化裝或施加標記,則取入如圖9所示的圖像 ,所以主CPU31以其化裝或標記爲基準,可正確抽出面頰 (請先閱讀背面之注意事'mF填寫本頁) 。因此,在這種情況也從步驟S13回到步驟§丨,反覆執行其 以後的處理。 在步驟S12 ’判斷可正確抽出表情時,如圖丨〇所示,可得 到與使用者臉面變化對應而具有表情變化的假臉的使用者 圖像。於是,這種情況進入步驟s丨4,執聚會活動(party event)處理。此聚會活動處理的詳細顯示於圖1 1。 最初’在步驟S51,主CPU31產生具有在步驟S9產生的假 臉的使用者圖像作爲假想現實空間的使用者假臉圖像的圖 像,控制斧繪引擎4 1,使此圖像描繪於圖像記憶體4 3。其 次,在步驟S52,主CPU31從圖像記憶體43讀出使用者假臉 圖像的圖像資料,使此資料供應給通信部4 〇。然後,主 CPU31再控制通信部40,使其圖像資料透過網際網路2傳送 給伺服器3。此外,此時主CPU31與來自輸入部3 0的操作對 應,也使伺服器3提供的假想現實空間内的與使用者假臉圖 像位置對應的位置資料同時傳送。 經濟部智慧財產局員工消費合作社印製 再者,在步驟S53,主CPU31控制聲音處理晶片3 7,使用 傳聲器3 8所輸入的使用者聲音資料從通信部4 0透過網際網 路2傳送給伺服器3。 伺服器3透過網際網路2例如從圖像處理裝置1 - 1輸入對 應的使用者假臉圖像的圖像資料、在假想現實空間的位置 資料及聲音資料時,將這些資料供應給位於其位置附近的 使用者假臉圖像對應的圖像處理裝置1 (例如圖像處理1 - 2 -13- 本纸張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) 563053 A7 五、發明說明(n 和圖像處理裝置1-3)。同樣地,從圖像處理〗_2、1_3透過 網際網路2傳送來其使用者假臉圖像的圖像資料、位置資料 及聲音資料時,伺服器3將此資料透過網際網路2輸出到圖 像處理裝置1-1。 圖像處理裝置1 -1之主CPU31如此從其他圖像處理裝置j _ 2 1 3傳送來使用者假臉圖像的圖像資料、其位置資料及 聲骨資料時,在步驟S54接收此資料。然後,主CPU3〗控制 描繪引擎41,使圖像記憶體43在假想現實空間的圖像上的 對應位置描繪對應的使用者假臉圖像的圖像。然後,利用 PCRTC44讀出此所描繪的圖像資料,輸出到CRT36顯示。此 外,王CPy31將傳送來的聲音資料輸出到聲音處理晶片3 7 ,使其聲音處理後,從揚聲器39使其輸出。 如以上,例如如圖12所示,在使用者八使用的圖像處理 裝置1 - 1之CRT36-1顯示其他使用者(圖丨2之顯示例時,使 用者B和使用者D)的使用者假臉圖像61_2、6卜4。此外, 在使用者B的圖像處理裝置^之CRT36_2顯示使用者八的 使用假臉圖像61-1和使用者C的使用者假臉圖像61_3。使 用者A-説話,此話就爲傳聲器38所取入,例如由使用者b 的圖像處理裝置1-2之揚聲器39所播送。此外,此時以視 頻射影機35-1取入使用者A的圖像,所以使用者a使用者 假臉圖像61-1的嘴與使用者A的嘴對應變化。同樣地,使 用者B—改變表情,此表情就爲其視頻攝影機35_2所取入 ,使用者B的使用者假臉圖像61_2的表情變化。 在步驟S55,到指示結束爲止反覆執行如以上的處理。 ‘纸張尺度適用中國國豕標準(CNS)A4規格(21〇 X 297公爱 (請先閱讀背面之注意事 •丨裝--- f填寫本頁) —線. 經濟部智慧財產局員工消費合作社印製 14- 563053 A7 B7 五、發明說明(12) g上係透過词服器3在多數使用者的假臉圖像和假 4現實空間享有假想聚會,但也可以如圖13所示,在使用 者A和使用抑之間享有—對—的假想聚會。 在圖4之步驟S32的處理,抽出頭部時,例如可以頭髮顏 色爲基準抽出頭部。這種情況,可利用錐形過滤(py譲^ filter)處理。-進仃錐形過遽處理,就運算各圖素値的平均 値:所以可抽出其平均値和頭髮顏色的圖素値近似的區域 作爲頭髮的區域。 “ ’人就錐形過滤處理加以説明。在此錐形過遽處理, 如圖1 4不’係反覆以T處理:求出處理圖像互相鄰接的4 個圖素値气々平均値,將其圖素配置於4個圖素中心。即,利 用雙線性插値法(biHneai· intei· pGlati(m)執行運算附近4點的 平均圖素値的處理’就可從ηΧη個(n#2的乘方値)處理圖 像得到(n/2)x(n/2)圖像資料,。反覆執行此處理,最後 錐形頂點的丨圖素資料就成爲表示錐形底面全部圖素平均値 的圖素資料。 執仃故種錐形過濾處理時,主CpU3丨對於描繪引擎4 1輸 出如下的描输命令: 經濟部智慧財產局員工消費合作社印製 --------------裝—— (請先閱讀背面之注意事填寫本頁) --線· int L ; /*根源區一邊的長度*/ int offset ; L 2N ,/*起始圖像一邊的長度*/ 〇ffset= 0 ; while (L> 1 ) {
Set—Texture一Base(0,〇ffset) ;/* 紋理區的基點設定* -15- 563053 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明說明(13) offset + = L ; Set一Drawing一Base(0,offset) ;/*描繪區基點設定*/ Flat一Texture一Rectangle (0,0,L/2,0,L/2,L/2,0,L/2, 0·5,0·5,L + 0.5,0.5,L + 0.5,L + 0.5,0.5,L + 0.5, 1.0): L = L/2 ; } 將此描緣命令表示成流程圖,則如圖1 5所示。最初,在 步驟S61,在變數offset起始設定〇。其次,在步驟S62,執 行將紋理區5 1的基點設定成(〇,〇ffset)的處理。即,如圖 1 6所示,声定基點T ( 0 , 0)。其次,進入步驟;§63,將變數 offset只增加L。然後’在步驟S 6 4,在描纟會區5 2的基點設 定(0,offset)。現在的情況,如圖1 6所示,設定基點D (〇 ,L) 〇 其次,在步驟S 6 5,執行以下處理:根源(紋理區)四角形(0.5,0.5,L + 0.5,0.5,L + 0.5,L + 0.5,〇·5, L + 0.5)的圖素値乘以1,加在目標四角形(〇,〇,l/2,〇 ,L/2,L/2,0,L/2)上描繪。即,藉此從圖j 4所示的最下 面(錐形底面)的處理圖像可得到1個上面階層的處理圖像。 其次,進入步驟S66,以變數L爲現在値的丨/2。在步驟 S67,判斷變數L是否比1大,變數l比1大時,回到步驟S62 ,反覆執行其以後的處理。即,藉此從第二階層起可再得 到第三階層的圖像資料。 以下,反覆執行同樣的處理,在步驟S67,判斷變數L不 -16 - 本紙張㉟用1國國家標準(CNS)A4規格⑵〇 X 297公爱) (請先閱讀背面之注意事 I寫本頁) 裝 · '線· 563053 A7 五、發明說明(·14) 比1大時(判斷變數L等於丨時),結束錐形過濾處理。 此外,與圖3之步驟s 5的動作指示對應,在步驟%抽出 臉面的特徵區域時,可與動作指示對應進行幀(frame)間差 異處煙抽出變化的區域(動的部分)。 其次,就幀間差異處理加以説明。在此幀間差異處理, 噙圖1 7所示,運算在時刻t的幀圖像和在時刻t + 1的幀圖像 <差。藉此,可抽出有動的圖像區域。 士即。,這種情況,主CPUB對於描繪引擎41,使如圖18之 泥私圖所不的處理執行。最初,在步驟s8i,描繪引擎Ο與 來自王CPU31的命令對應,設定模態2作爲混合模態。其次 ,在步碟$82,描输引擎41在由視頻攝影機35所輸入的圖 像資料中,以時間上後㈣圖像資料爲目標圖像,以時間 貞圖像資料爲根源圖像資料。然後,在步驟如,描 :角形丁以下處理··從目標四角形的圖素値減去根源 二値而描繪。目標區的幀圖素資料和根源區的 巾貞圖素負料在靜止畫區域,其値成爲實質上相等之値。並 二果,-執行她3的處理,其圖素資料之値就成爲大: =爲=域的圖素資料之値在目標的情況和根源的 成馬不冋値。因此,在步驟S83的處理結果 像資料之値成爲具有〇以外的預定大 、· 差異的圖像資料的各圖㈣㈣大^値。於疋,從傾間 止畫區域。 ®素貝料値大小可區分動態區域和靜 消 又,在本説明書中,所謂系統,係表示爲多數裝置所構 公釐) 訂 >紙張尺度適时0 _標準(CNS)A4 17- 563053 A7
成的裝置全體。 又,就將進行如上述處理的電腦程式提供給使用者的提 供媒體而言’除了磁碟、CD_R0M、固態記憶體等記錄媒 體之外,可利用網路、衛星等通信媒體。 [發明之效果] 如以上,根據申請專利範圍第i項所載之圖像處理裝置、 申請專利範圍第8仙載之圖像處理方法及_請專利範圍第 9一項所載之提供媒體’由於再抽出所—旦抽出的圖像作爲更 高解析度的圖像,所以可正確跟踪預定部位。 [圖式之簡單説明] 圖1爲顯、示適用本發明的圖像處理系統結構例的方塊圖。 圖2爲顯示圖!之圖像處理裝置結構例的方塊圖。 圖3爲説明圖2之圖像處理裝置之表情資料取得處理的流 程·圖0 圖4爲説明圖3之步驟S1之活動圖像取得處理的流程圖。 圖5爲說明圖4之活動圖像取得處理之圖。 圖6爲顯示圖3之步驟S 2之顯示例之圖。 圖7爲顯示圖3之步驟S7之顯示例之圖。 圖8爲顯示圖3之步驟S11之處理示例之圖。 圖9爲顯示圖3之步驟S13之處理例之圖。 圖10爲顯示圖3之步驟S14之處理例之圖。 圖11爲説明圖3之步驟S14之聚會活動處理的流程圖。 圖12爲説明聚會活動處理之圖。 圖1 3爲説明聚會活動處理他例之圖。 -18 - 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) •-------I-----裝·-- (請先閱讀背面之注意事寫本頁) 訂: •線 經濟部智慧財產局員工消費合作社印別衣 563053 A7 B7 五、發明說明(16) 圖1 4爲説明錐形過濾處理之圖。 圖1 5爲説明錐形過濾處理的流程圖。 圖1 6爲説明圖1 5之步驟S62、S64之處理之圖。 圖1 7爲説明幀間差異處理之圖。 圖1 8爲説明幀間差異處理的流程圖。 [元件編號之説明] 1 - 1至1 - 3圖像處理裝置,2網際網路,3伺服器,3 1 •主CPU,3 2主記憶體,3 3圖像處理晶片,3 4匯流排, 3 5視頻攝影機,3 6 CRT,3 7聲音處理晶片,3 8傳聲器 ,3 9揚聲器,4 0通信部,4 1描繪引擎,4 3圖像記憶體 ,4 4可程、式規劃的陰極射線管控制器 ----:----------裝--- (請先閱讀背面之注意事填寫本頁) 訂· 經濟部智慧財產局員工消費合作社印製 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐)

Claims (1)

  1. 第號專利申請案 中文申請專利範年10月) 請專利^ 像 置:=二一 b 前==構部抽4Π述第,機構所一 ^狂邵刀作為更高解析度的圖像·3 ,構:係以選擇性切換,使圖像二 之處理連續進行,或使組合前 =出,構 及前述第二拙+摭姓、士 摘出機構足處理 部位之—部分之圖像進行,藉以跟縱前述預定 I ==圍第1項之圖像處理裝置,其中更具備 轉=制機構:使前述所輸入的圖像顯示作為左右反 3·如申請專利範固第1項之圖像處理裝置,其中更備顯 =_機構:使和前述所輸人的圖像不同的預定圖像 =,同時使其圖像與為前述第二抽出 圖像對應變化。 4 ·如申清專利範圍第3項之圖像處理裝置,其中具有下 I仏正機構·對於和前述所輸入的圖像不同的預定圖 象4正為第一抽出機構 >斤抽出的圖像的位置抽出。 5·如_請專利範圍第3項之圖像處理裝置,其中具有下 逑機構·對於和前逑所輸入的圖像不同的預定圖像, 修正為第一抽出機構所抽出的圖像的表情抽出。 6·如申請專利範圍第3項之圖像處理裝置,其中前述顯 示L·制機構使其顯示的和前述所輸入的圖像不同的預 本紙張尺度適用中國國家標準(CNS) A4規格(21〇X297公爱) 563053 A8 B8 C8
    定圖像係假想現實空間上的圖像。 如申凊專利範圍第1項之圖像處理裝置 輸入的圖像係由視頻攝影機所輸出的圖 ,其中前述 像。 所
    1 1 · 如申請專利範圍第5項之圖像處理裝置,其中前迷〜 一抽出機構由所輸入的圖像抽出的前述預定部位係1 述視頻攝影機拍攝的使用者的眼或嘴。 ’'哟 如申請專利範圍第1項之圖像處理裝置,其中前迷第 一抽出機構進行下述處理:在錐形過濾處理由前迷^ 輸入的圖像抽出預定部位的圖像。 如申請專利範圍第1項之圖像處理裝置,其中前述第 一抽出機構進行下述處理··在幀間差異處理由前述所 輸入的圖像抽出預定部位的圖像。 一種圖像處理方法,其特徵在於··包含 罘一抽出步驟:由所輸入的圖像抽出預定部位的圖 像;
    裳 訂
    二第二抽出步驟:抽出在前述第一抽出步驟所抽出的 月’ί述預定部位一部分作為更高解析度的圖像;及, 、跟踩步驟:係以選擇性切換,使前述第二抽出步驟 之f理連續進行,或使組合前述第一抽出步驟之處理 及刖述第二抽出步驟之處理進行,藉以跟蹤前述預定 部位之一部分之圖像。 12. —種提供媒體 行處理的程式 其特徵在於:提供使圖像處理裝置執 該處理包含
    563053 申請專利範圍 像矛抽出步驟:由所輸入的圖像抽出預定部位的圖 前==驟:抽出在前述第一抽出步驟所抽出的 。位一部分作為更高解析度的圖像;及, 之==進係以選擇性切r使前述第二抽出步驟 仃或使組合則述第一抽出步驟之處理 二^二抽出步驟之處理進行,藉以跟蹤前 邵仏<一部分之圖像。 13.=ϊ專利範圍第12項之提供媒體,其中前述程式除 、CD-R0M、固態記憶體等記錄媒體之外, 以網路、衛星等通信媒體提供。 1 4 一種圖像處理裝置,其特徵在於:具備 抽出機構.自第一解析度之圖像抽出預定之部位; J又入機構:以較前述第-解析度高之第二解析度, 將包含前述抽出之預定部位之區域之圖像取入; 跟踪機構:係以選擇性切換,使前述第二抽出機 構(處理連續進行,或使組合前述第一抽出機構之處 理及前述第二抽出機構之處理進行,藉以跟縱前述預 定部位之圖像。 ' 如申請專利範圍第14項之圖像處理裝置,其中前述跟 踩機構係根據以前述取入機構有否自所取入之前述圖 像中抽出前述預定之部位,而進行前述選擇性切換。 16·如申請專利範圍第14項之圖像處理裝置,其中更且備 -取入機構’其自較第-解析度低之第三解析度之圖 -3 - 本紙張尺度適用中國國家標準(CNS) A4規格(210X297公釐) )W〇53
    ::出預定之範圍’並以該抽出之預定範圍之 I?為則述第一解析度之圖像。 17·:申請專利範圍第14項之圖像處理裝置,其中前述預 又邵位係人頭部之一部分,前述第一解 傻 及前述第二解析度之圖像係包含前述人頭部二^ 之即時圖像。 K邵分 申請專利範圍第14項之圖像處理裝置,其中更且備 —顯示機構,顯示對應前述人頭部之假想圖像。八 9_如申請專利範圍第18項之圖像處理裝置,其中具備 顯示機構:顯示前述假想圖像; 一 偵測機構:偵測出前述人頭部之圖像變化; 變化機構:配合所偵測出之前逑變 想圖像。 化-化前述假 2 0 .如申請專利範圍第丨9項之圖像處理裝置,其、、 想圖像係顯示假想人之表情之圖像, 、」 前述假想圖像變化之機構,係^丄 你 配σ則述人頭部之圖 像’使前述假想人之表情變化。 < 81 21 ·如申請專利範圍第1 7項之圖像處 王策罝,其中更且 抽出前述人頭部圖像之變化之抽Α爾 出機構,及根據所紅 出之前述變化而抽出前述人頭部冷杜咖 ^ 構。 Ί又特徵區域之抽出機 22·如申請專利範圍第21項之圖像處 主衮置,其中更1 顯示對應前述人頭部之假想圖像夕, ^ m *,、、員示機構,該顧; 假想圖像之顯示機構,具備 @ $ -4- 本紙張尺度適财S S家料(CNS) A4規格(210 X 297公爱)
    裝 訂
    A B c D 563053 六、申請專利範圍 偵測機構:偵測出前述特徵區域之變化; 變化機構:配合所偵測出之前述變化,變化前述假 想圖像。 2 3 · —種圖像處理裝置,其特徵在於:具備 特定機構:自較低解析度之圖像特定出預定之部 位, 取入機構:以較高之解析度,取入包含前述所特 定之預定部位之圖像; 跟踪機構··係以選擇性切換,使前述取入機構之 處理連續進行,或使組合前述特定機構之處理及前述 取入機構之處理進行,藉以跟蹤前述預定部位。 2 4 ·如申請專利範圍第2 3項之圖像處理裝置,其中前述預 定之部位係人之眼或口。 -5- 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐)
TW088108099A 1998-05-19 1999-05-18 Image processing device, method and providing medium TW563053B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13623998 1998-05-19

Publications (1)

Publication Number Publication Date
TW563053B true TW563053B (en) 2003-11-21

Family

ID=15170543

Family Applications (1)

Application Number Title Priority Date Filing Date
TW088108099A TW563053B (en) 1998-05-19 1999-05-18 Image processing device, method and providing medium

Country Status (11)

Country Link
US (3) US6714660B1 (zh)
EP (1) EP0999518A4 (zh)
JP (3) JP4258123B2 (zh)
KR (2) KR100575472B1 (zh)
CN (1) CN1222911C (zh)
AU (1) AU751852B2 (zh)
BR (1) BR9906453A (zh)
CA (1) CA2295606A1 (zh)
RU (1) RU2000102890A (zh)
TW (1) TW563053B (zh)
WO (1) WO1999060522A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI386744B (zh) * 2004-12-14 2013-02-21 Samsung Display Co Ltd 薄膜電晶體面板以及使用該薄膜電晶體面板之液晶顯示器

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0574584U (ja) * 1992-03-07 1993-10-12 株式会社大成商会 パチンコ機等における釘調整補助具
TW563053B (en) * 1998-05-19 2003-11-21 Sony Computer Entertainment Inc Image processing device, method and providing medium
JP2001222719A (ja) * 1999-12-01 2001-08-17 Matsushita Electric Ind Co Ltd 顔抽出装置及び顔抽出方法並びに顔抽出プログラムの記録媒体
US7391929B2 (en) * 2000-02-11 2008-06-24 Sony Corporation Masking tool
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
US7106887B2 (en) * 2000-04-13 2006-09-12 Fuji Photo Film Co., Ltd. Image processing method using conditions corresponding to an identified person
ES2341844T3 (es) * 2000-06-27 2010-06-29 Rami Orpaz Procedimiento y sistema para simular y visualizar la apariencia de productos accesorios de maquillaje y moda, y para marketing.
US7020305B2 (en) * 2000-12-06 2006-03-28 Microsoft Corporation System and method providing improved head motion estimations for animation
JP2002229955A (ja) * 2001-02-02 2002-08-16 Matsushita Electric Ind Co Ltd 情報端末装置及び認証システム
JP4925538B2 (ja) * 2001-09-28 2012-04-25 株式会社バンダイナムコゲームス ゲームシステム
JP3911527B2 (ja) * 2002-01-17 2007-05-09 富士通株式会社 携帯端末、携帯端末処理用プログラム及び携帯端末システム
JP4331488B2 (ja) * 2003-02-20 2009-09-16 パナソニック株式会社 集積回路及びそれを用いた電子機器
GB2406424A (en) * 2003-09-23 2005-03-30 Ncr Int Inc Biometric system provides feedback if the biometric capture was not complete
JP3847753B2 (ja) 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
WO2005076210A1 (ja) * 2004-02-05 2005-08-18 Vodafone K.K. 画像処理方法、画像処理装置及び移動通信端末装置
US7570238B2 (en) * 2004-04-01 2009-08-04 Seiko Epson Corporation System and method for reducing power consumption by a display controller
EP1589758A1 (en) 2004-04-22 2005-10-26 Alcatel Video conference system and method
JP3920889B2 (ja) * 2004-12-28 2007-05-30 沖電気工業株式会社 画像合成装置
JP4613617B2 (ja) * 2005-01-07 2011-01-19 ソニー株式会社 画像処理システム、学習装置および方法、並びにプログラム
JP2007020033A (ja) * 2005-07-11 2007-01-25 Nikon Corp 電子カメラおよび画像処理プログラム
KR100892022B1 (ko) * 2005-08-12 2009-04-07 소니 컴퓨터 엔터테인먼트 인코포레이티드 얼굴 화상표시장치, 얼굴 화상표시방법 및 얼굴 화상표시프로그램
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US8098885B2 (en) * 2005-11-02 2012-01-17 Microsoft Corporation Robust online face tracking
EP1966758B1 (en) * 2005-12-21 2009-09-02 Koninklijke Philips Electronics N.V. Computer-based facial paralysis assessment
WO2007071025A1 (en) * 2005-12-21 2007-06-28 Jimmy Proximity Inc. Device and method for capturing vocal sound and mouth region images
KR101240261B1 (ko) 2006-02-07 2013-03-07 엘지전자 주식회사 이동통신 단말기의 영상 통화 장치 및 방법
US8026931B2 (en) * 2006-03-16 2011-09-27 Microsoft Corporation Digital video effects
EP2016562A4 (en) * 2006-05-07 2010-01-06 Sony Computer Entertainment Inc METHOD FOR IMPLEMENTING AFFECTIVE PROPERTIES IN A COMPUTER GENERATED AVATAR DURING A COMPUTER GAME
JP4627052B2 (ja) * 2006-07-06 2011-02-09 株式会社ソニー・コンピュータエンタテインメント 画像に連携した音声出力方法および装置
JP4689548B2 (ja) * 2006-07-19 2011-05-25 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2008099160A (ja) * 2006-10-16 2008-04-24 Funai Electric Co Ltd 撮像機能を有する機器
JP4973622B2 (ja) * 2007-08-29 2012-07-11 カシオ計算機株式会社 画像合成装置および画像合成処理プログラム
US8189864B2 (en) 2007-08-29 2012-05-29 Casio Computer Co., Ltd. Composite image generating apparatus, composite image generating method, and storage medium
US8582919B2 (en) * 2007-09-24 2013-11-12 Microsoft Corporation Altering the appearance of a digital image using a shape
JP4935647B2 (ja) * 2007-11-29 2012-05-23 カシオ計算機株式会社 合成画像出力装置および合成画像出力処理プログラム
JP5400138B2 (ja) * 2008-05-05 2014-01-29 イオムニサイエント ピーティーワイ リミテッド 電子的監視のためのシステム、方法、コンピュータプログラム及びコンピュータ読み取り可能な媒体
JP4809869B2 (ja) * 2008-05-26 2011-11-09 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法及びプログラム
GB2463312A (en) * 2008-09-09 2010-03-17 Skype Ltd Games system with bi-directional video communication
JP5574607B2 (ja) * 2009-02-05 2014-08-20 株式会社タイトー リアルタイム動画対応ゲーム機システム
JP4767331B2 (ja) * 2009-03-10 2011-09-07 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
KR101640458B1 (ko) * 2009-06-25 2016-07-18 삼성전자주식회사 영상 장치 및 컴퓨터 판독 기록매체
KR100954835B1 (ko) * 2009-08-04 2010-04-30 주식회사 크라스아이디 얼굴변화 검출 시스템 및 얼굴변화 감지에 따른 지능형 시스템
JP5325745B2 (ja) 2009-11-02 2013-10-23 株式会社ソニー・コンピュータエンタテインメント 動画像処理プログラム、装置および方法、動画像処理装置を搭載した撮像装置
US8471732B2 (en) * 2009-12-14 2013-06-25 Robert Bosch Gmbh Method for re-using photorealistic 3D landmarks for nonphotorealistic 3D maps
CN102194303A (zh) * 2010-03-15 2011-09-21 鸿富锦精密工业(深圳)有限公司 电子装置及其监测用户阅读状态的方法
FR2958487A1 (fr) * 2010-04-06 2011-10-07 Alcatel Lucent Une methode de detourage en temps reel d'une entite reelle enregistree dans une sequence video
US8515137B2 (en) * 2010-05-03 2013-08-20 Microsoft Corporation Generating a combined image from multiple images
JP5525923B2 (ja) * 2010-06-09 2014-06-18 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP5580156B2 (ja) 2010-09-27 2014-08-27 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム制御方法、ならびに、プログラム
JP5781353B2 (ja) 2011-03-31 2015-09-24 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、および位置情報のデータ構造
JP5774889B2 (ja) 2011-03-31 2015-09-09 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
JP5629642B2 (ja) 2011-05-19 2014-11-26 株式会社ソニー・コンピュータエンタテインメント 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
JP5325265B2 (ja) 2011-07-01 2013-10-23 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法、ならびに、プログラム
JP5701707B2 (ja) 2011-07-25 2015-04-15 株式会社ソニー・コンピュータエンタテインメント 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
JP2013034039A (ja) 2011-07-29 2013-02-14 Sony Computer Entertainment Inc 撮像装置、情報処理装置、情報処理システムおよびフレームデータ出力同期化方法
US9160965B2 (en) 2011-08-01 2015-10-13 Thomson Licensing Telepresence communications system and method
JP5852374B2 (ja) 2011-09-07 2016-02-03 株式会社Screenホールディングス 描画装置および描画方法
US9148586B2 (en) 2012-02-10 2015-09-29 Sony Corporation Terminal apparatus for combining images from two different cameras based on detected sound
WO2013133863A1 (en) 2012-03-09 2013-09-12 Thomson Licensing Distributed control of synchronized content
US9137314B2 (en) 2012-11-06 2015-09-15 At&T Intellectual Property I, L.P. Methods, systems, and products for personalized feedback
US9756288B2 (en) 2013-04-10 2017-09-05 Thomson Licensing Tiering and manipulation of peer's heads in a telepresence system
JP6121787B2 (ja) 2013-04-26 2017-04-26 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、情報処理システム、および画像データ処理方法
WO2014204459A1 (en) 2013-06-20 2014-12-24 Thomson Licensing System and method to assist synchronization of distributed play out of control
CN104869346A (zh) * 2014-02-26 2015-08-26 中国移动通信集团公司 一种视频通话中的图像处理方法及电子设备
JP6129119B2 (ja) 2014-06-04 2017-05-17 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理システム、撮像装置、および画像処理方法
US9706114B2 (en) 2014-09-12 2017-07-11 Sony Corporation Image pickup apparatus, information processing apparatus, display apparatus, information processing system, image data sending method, image displaying method, and computer program
JP6465672B2 (ja) 2015-01-29 2019-02-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP6494305B2 (ja) 2015-01-29 2019-04-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、表示装置、および情報処理方法
JP6345627B2 (ja) 2015-05-20 2018-06-20 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP6218787B2 (ja) 2015-09-29 2017-10-25 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、情報処理装置、表示装置、情報処理システム、画像データ送出方法、および画像表示方法
JP6452585B2 (ja) 2015-10-01 2019-01-16 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
JP6514089B2 (ja) 2015-11-02 2019-05-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
JP6499993B2 (ja) 2016-05-18 2019-04-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
JP6533761B2 (ja) 2016-05-18 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
JP6615723B2 (ja) 2016-09-07 2019-12-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および対象物認識方法
JP6697986B2 (ja) 2016-09-07 2020-05-27 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像領域分割方法
JP6662745B2 (ja) 2016-10-04 2020-03-11 株式会社ソニー・インタラクティブエンタテインメント 撮影装置、情報処理システム、および偏光画像処理方法
US10963055B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Vibration device and control system for presenting corrected vibration data
JP6799077B2 (ja) 2016-12-15 2020-12-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、コントローラデバイスの制御方法、及びプログラム
US10963054B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Information processing system, vibration control method and program
JP6768933B2 (ja) * 2017-04-14 2020-10-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および画像処理方法
WO2018193514A1 (ja) 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11145172B2 (en) 2017-04-18 2021-10-12 Sony Interactive Entertainment Inc. Vibration control apparatus
US11013990B2 (en) 2017-04-19 2021-05-25 Sony Interactive Entertainment Inc. Vibration control apparatus
WO2018198229A1 (ja) 2017-04-26 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11173394B2 (en) 2017-05-18 2021-11-16 Sony Interactive Entertainment Inc. Information processing apparatus and normal line information acquisition method
JP6851475B2 (ja) 2017-06-06 2021-03-31 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
US11039121B2 (en) 2017-06-20 2021-06-15 Sony Interactive Entertainment Inc. Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
US11182638B2 (en) 2017-06-29 2021-11-23 Sony Interactive Entertainment Inc. Information processing device and material specifying method
US11710289B2 (en) 2017-06-29 2023-07-25 Sony Interactive Entertainment Inc. Information processing apparatus, information processing system, and material identification method
JP6771435B2 (ja) 2017-07-20 2020-10-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
JP6721550B2 (ja) 2017-08-04 2020-07-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
JP6821028B2 (ja) 2017-08-04 2021-01-27 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および画像データ読み出し方法
KR101961241B1 (ko) * 2017-09-07 2019-03-22 라인 가부시키가이샤 영상 통화 및 객체 인식을 바탕으로 한 게임 제공 방법 및 그 시스템
WO2019049331A1 (ja) 2017-09-08 2019-03-14 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
JP7039616B2 (ja) 2017-12-22 2022-03-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および表面粗さ取得方法
US11323682B2 (en) 2018-07-02 2022-05-03 Sony Interactive Entertainment Inc. Electronic device, content processing device, content processing system, image data output method, and image processing method
JP6934575B2 (ja) 2018-09-14 2021-09-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および物体検出方法
JP7202156B2 (ja) 2018-11-30 2023-01-11 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、位置姿勢取得用デバイス、およびデバイス情報取得方法
WO2020235110A1 (ja) 2019-05-23 2020-11-26 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーション用チャート、およびキャリブレーション方法
JP7300517B2 (ja) 2019-11-21 2023-06-29 株式会社ソニー・インタラクティブエンタテインメント 入射光情報取得方法、入射光情報取得システム、および情報処理装置
CN111209050A (zh) * 2020-01-10 2020-05-29 北京百度网讯科技有限公司 用于切换电子设备的工作模式的方法和装置
CN111556305B (zh) * 2020-05-20 2022-04-15 京东方科技集团股份有限公司 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质
US20230410396A1 (en) * 2022-06-17 2023-12-21 Lemon Inc. Audio or visual input interacting with video creation

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4539585A (en) * 1981-07-10 1985-09-03 Spackova Daniela S Previewer
US4666577A (en) * 1985-02-07 1987-05-19 Olympus Optical Co., Ltd. Method of recording electrophoretic image pattern
JPH0786914B2 (ja) * 1986-11-07 1995-09-20 株式会社日立製作所 画像を用いた変化検出方法
US5148477A (en) * 1990-08-24 1992-09-15 Board Of Regents Of The University Of Oklahoma Method and apparatus for detecting and quantifying motion of a body part
GB9019538D0 (en) * 1990-09-07 1990-10-24 Philips Electronic Associated Tracking a moving object
US5307452A (en) * 1990-09-21 1994-04-26 Pixar Method and apparatus for creating, manipulating and displaying images
JP2921973B2 (ja) 1990-11-29 1999-07-19 株式会社日立製作所 特定物体の画像抽出方法及び画像抽出装置
JP2522859B2 (ja) * 1990-12-14 1996-08-07 日産自動車株式会社 眼位置検出装置
JPH04328689A (ja) 1991-04-30 1992-11-17 Nippon Telegr & Teleph Corp <Ntt> 動画像からの移動物体抽出方法
US5291560A (en) * 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
JP2849256B2 (ja) * 1991-12-26 1999-01-20 日本電信電話株式会社 画像認識装置
JP2973676B2 (ja) * 1992-01-23 1999-11-08 松下電器産業株式会社 顔画像特徴点抽出装置
JPH05336445A (ja) * 1992-05-29 1993-12-17 Hitachi Ltd 画像処理方法
KR0158038B1 (ko) * 1993-03-29 1998-12-15 모리시다 요오이찌 개인식별장치
JPH0749949A (ja) * 1993-08-06 1995-02-21 Daikin Ind Ltd 探索点絞り込み方法、追跡型画像位置決め方法、および画像探索方法
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
AU701291B2 (en) * 1994-02-28 1999-01-21 Menicon Co., Ltd Measuring and inspecting device for ophthalmologic use
US5572596A (en) * 1994-09-02 1996-11-05 David Sarnoff Research Center, Inc. Automated, non-invasive iris recognition system and method
DE69636695T2 (de) * 1995-02-02 2007-03-01 Matsushita Electric Industrial Co., Ltd., Kadoma Bildverarbeitungsvorrichtung
JP3892059B2 (ja) * 1995-03-07 2007-03-14 松下電器産業株式会社 動物体追跡装置
EP0735510B1 (en) * 1995-03-31 2001-11-28 Hitachi Europe Limited Facial image processing
JPH09134418A (ja) * 1995-11-08 1997-05-20 Hitachi Ltd 特定被写体の抽出方法とその装置
JP2920113B2 (ja) 1995-11-09 1999-07-19 ミツビシ・エレクトリック・インフォメイション・テクノロジー・センター・アメリカ・インコーポレイテッド 仮想体験環境ネットワークシステム
JP3588883B2 (ja) 1995-12-08 2004-11-17 ヤマハ株式会社 カラオケ装置
US6046745A (en) * 1996-03-25 2000-04-04 Hitachi, Ltd. Three-dimensional model making device and its method
GB9610212D0 (en) 1996-05-16 1996-07-24 Cyberglass Limited Method and apparatus for generating moving characters
JPH09331509A (ja) * 1996-06-12 1997-12-22 Nec Corp テレビ電話用蓄積人物映像表示装置
US6078310A (en) * 1996-06-26 2000-06-20 Sun Microsystems, Inc. Eyetracked alert messages
JP3274608B2 (ja) 1996-07-12 2002-04-15 日本電気株式会社 携帯端末装置
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US6400374B2 (en) * 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
JP3771989B2 (ja) * 1997-03-24 2006-05-10 オリンパス株式会社 画像音声通信システムおよびテレビ電話送受信方法
US5892837A (en) * 1997-08-29 1999-04-06 Eastman Kodak Company Computer program product for locating objects in an image
WO1999057900A1 (en) * 1998-05-03 1999-11-11 John Karl Myers Videophone with enhanced user defined imaging system
TW563053B (en) 1998-05-19 2003-11-21 Sony Computer Entertainment Inc Image processing device, method and providing medium
US6611242B1 (en) * 1999-02-12 2003-08-26 Sanyo Electric Co., Ltd. Information transmission system to transmit work instruction information
EP1158801A3 (en) * 2000-05-22 2006-09-13 Matsushita Electric Industrial Co., Ltd. Image communication terminal
DE10301468B4 (de) * 2002-01-18 2010-08-05 Honda Giken Kogyo K.K. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI386744B (zh) * 2004-12-14 2013-02-21 Samsung Display Co Ltd 薄膜電晶體面板以及使用該薄膜電晶體面板之液晶顯示器
US10788692B2 (en) 2004-12-14 2020-09-29 Samsung Display Co., Ltd. Thin film transistor panel and liquid crystal display using the same

Also Published As

Publication number Publication date
WO1999060522A1 (en) 1999-11-25
AU751852B2 (en) 2002-08-29
KR20010021971A (ko) 2001-03-15
KR100575472B1 (ko) 2006-05-03
JP4390012B2 (ja) 2009-12-24
KR100812903B1 (ko) 2008-03-11
US20070110279A1 (en) 2007-05-17
AU3732599A (en) 1999-12-06
JP2009048644A (ja) 2009-03-05
KR20060017926A (ko) 2006-02-27
CN1222911C (zh) 2005-10-12
EP0999518A4 (en) 2005-07-27
BR9906453A (pt) 2000-09-19
EP0999518A1 (en) 2000-05-10
JP4117682B2 (ja) 2008-07-16
US20040240740A1 (en) 2004-12-02
CA2295606A1 (en) 1999-11-25
US6714660B1 (en) 2004-03-30
US7620206B2 (en) 2009-11-17
CN1272192A (zh) 2000-11-01
RU2000102890A (ru) 2002-03-27
JP4258123B2 (ja) 2009-04-30
US7200247B2 (en) 2007-04-03
JP2004195243A (ja) 2004-07-15

Similar Documents

Publication Publication Date Title
TW563053B (en) Image processing device, method and providing medium
US10922865B2 (en) Information processing apparatus, information processing method, and program
US7999843B2 (en) Image processor, image processing method, recording medium, computer program, and semiconductor device
JP4872135B2 (ja) 顔メッシュを使用して顔アニメーションを作成する技術
JP2022089817A (ja) 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画配信システム、動画配信サーバ及び動画配信方法
JP2022032483A (ja) 画像処理装置、画像処理方法、およびプログラム
JP4689548B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP5509287B2 (ja) 再生表示装置、再生表示プログラム、再生表示方法、および画像処理サーバー
JP7485221B2 (ja) 映像処理装置、映像処理方法及び映像処理プログラム
JP4767331B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP5106240B2 (ja) 画像処理装置および画像処理サーバー
NZ501228A (en) Imaging process device with predetermined image parts continually extracted, and typically displayed, at higher resolution
TWM396707U (en) Game device
MXPA00000656A (en) Image processing apparatus and method, and providing medium
JP2000024316A (ja) ゲーム装置および情報記録媒体

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent
MK4A Expiration of patent term of an invention patent