TW201112168A - Information processing apparatus and information processing method - Google Patents

Information processing apparatus and information processing method Download PDF

Info

Publication number
TW201112168A
TW201112168A TW099116526A TW99116526A TW201112168A TW 201112168 A TW201112168 A TW 201112168A TW 099116526 A TW099116526 A TW 099116526A TW 99116526 A TW99116526 A TW 99116526A TW 201112168 A TW201112168 A TW 201112168A
Authority
TW
Taiwan
Prior art keywords
image
brightness
pixels
interest
area
Prior art date
Application number
TW099116526A
Other languages
English (en)
Inventor
Nobuhiro Saijo
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201112168A publication Critical patent/TW201112168A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Description

201112168 六、發明說明: 【發明所屬之技術領域】 本發明係相關於資訊處理裝置及資訊處理方法,尤其 是’適用於例如從藉由擷取使用者的影像所獲得之擷取影 像來析取使用者的手部形狀時之資訊處理裝置及資訊處理 方法。 【先前技術】 近年來,除了滑鼠、製圖板'及觸控板之外,已有硏 究藉由使用使用者的手勢(動作)或姿勢(樣子)作爲輸 入資料到個人電腦等的輸入裝置來輸入資料之資料輸入技 術。 因爲在資料輸入技術中藉由使用例如使用者之手部的 手勢或姿勢來輸入資料,所以需要從藉由擷取使用者的影 像所獲得之擷取影像來精確析取使用者的手部形狀。 當作用以析取使用者的手部形狀之析取技術,具有使 用影像的圖案匹配之圖案匹配法、析取使用者的皮膚區域 之皮膚區域析取法等等。 在圖案匹配法中,例如,事先得知藉由擷取具有各種 形狀和尺寸的手部影像所獲得之複數個形狀影像,及以最 類似於擷取影像的形狀影像(例如,具有對應像素的像素 値之間的差之最小總和的形狀影像)所表示之手部的形狀 被析取當作使用者的手部形狀。 然而,在圖案匹配法中,當在與擷取形狀影像時的條
S -5- 201112168 件不同之條件下(例如、影像擷取方向、照明位準、背景 、擷取其影像時之對象的尺寸)獲得擷取影像時,難以精 確析取使用者的手部形狀。 尤其是,當擷取影像內的手部形狀與形狀影像內的手 部形狀大不相同時,或當在析取手部形狀之例子中擷取影 像內的手部重疊臉部等時,例如,與析取臉部形狀的例子 比較,較難以精確析取手部形狀。 此外,當需要即時析取手部形狀時,圖案匹配需要大 量的計算,如此在許多例子中產生問題。 在皮膚區域析取法中,表示擷取影像內之使用者的皮 膚之皮膚區域係使用表示人類皮膚的顏色之皮膚資訊來析 取。 然而’在使用皮膚資訊之皮膚區域析取法中,難以區 別和皮膚顔色相近的顏色。另外,因爲在種族之間的皮膚 顔色是不同的,所以無法爲所有種族析取適當的皮膚區域 〇 就此點而言,近來建議有將光譜反射特性用於析取擷 取影像內的皮膚區域之析取技術,其係以皮膚對波長的反 射比變化不管種族都是固定的爲基礎(例如,見非專利文 件1 )。 [引證] [非專利文件] [NPL1 ] 201112168
Yasuhiro Suzuki et al., "Detection Method of Region by Near-IR Spectrum Multi-Band", Transactions on Electronics, Information and Systems 12 7, No. 4, 2007, Japan 【發明內容】 [技術問題] 然而,在使用光譜反射特性之上述習知技藝的析 術中,當對象的臉部和手部存在於擷取影像內當作皮 域時,臉部和手部的形狀二者都被析取當作皮膚區域 此難以只析取手部形狀當作皮膚區域。 鑑於上述情況,希望在抑制一連串處理所需的操 之增加的同時,從藉由擷取使用者的影像所獲得之擷 像高速析取使用者的手部等之精確形狀。 [問題解答] 根據本發明的實施例,資訊處理裝置、方法、電 讀取儲存媒體、及電腦程式被提供用於偵測影像內之 注的複數個像素。資訊處理裝置包括第一記憶體,被 成儲存使用第一波長的光所擷取之第一影像和使用第 長的光所擷取之第二影像,第二波長不同於第一波長 訊處理裝置另外包括至少一處理器,其被組配成依據 存的第一和第二擷取影像之亮度値來偵測第一擷取影 之受關注的複數個像素。
Skin IEEJ Vol. 取技 膚區 ,因 作量 取影 腦可 受關 組配 二波 。資 已儲 像內 201112168 另外,根據本發明的另一實施例,提供有資訊處理裝 置、方法、電腦可讀取儲存媒體、及電腦程式,他們被用 於識別對應於預定物體的亮度値。資訊處理裝置包括記憶 體和至少一處理器。記憶體被組配成儲存處理影像,其係 從影像所產生且包括受關注的複數個像素。至少一處理器 被組配成決定處理影像中之受關注的複數個像素之亮度値 的頻率;及依據亮度値的決定頻率,來決定對應於處理影 像內之預定物體的亮度値之範圍。 [本發明的有利效果] 根據本發明的實施例,能夠在抑制一連串處理所需的 操作量之增加的同時,高速析取使用者等的手部之精確形 狀。 【實施方式】 下面,將說明實行本發明之實施例(下面將稱作本實 施例)。應注意的是,以下列順序給予說明。 1 ·本實施例(析取使用者的手部形狀之例子) 2.修改例子 [1 ·本實施例] [資訊處理系統〗的結構例子] 圖1圖示本實施例的資訊處理系統1之結構例子。 資訊處理系統i根據藉由使用使用者的手部所形成的 -8 - 201112168 手勢(或姿勢)來執行預定處理,及包括資訊處理裝置2 1 、相機22、及發光裝置23。 爲了使資訊處理系統1能夠執行預定處理,使用者改 變他/她自己的手部形狀(在相機22的透鏡表面前)。 在此例中,資訊處理系統1辨識使用者的手部形狀, 及根據辨識結果來執行預定處理。 應注意的是,在本實施例中,使用者藉由將他的/她 的手移動地比他的/她的臉部、胸部等更接近相機2 2的透 鏡表面之位置,而在相機2 2的透鏡表面前改變手部形狀和 作手勢(或姿勢)。 資訊處理裝置2 1控制相機22和發光裝置23。另外,資 訊處理裝置21依據相機22所擷取的擷取影像來辨識使用者 的手部形狀,及根據辨識結果來執行預定處理。 相機22包括用於擷取諸如使用者等對象的影像之透鏡 ’及透鏡的前表面被覆蓋有截止可見光之可見光截止濾波 器 2 2 a。 利用此結構,除了螢光燈或陽光的紅外線成分之外, 相機2 2只接收由發光裝置2 3照射到對象上之不可見光的反 射光,及供應最後擷取影像給資訊處理裝置2 1。 尤其是,例如’相機22只接收具有第一波長之光的反 射光’而發光裝置2 3將不可見光的光照射到對象上(例如 ’ 8 7 0 nm的近紅外線光),及供應最後的第—擷取影像給 資訊處理裝置2 1。 另外’相機22只接收具有不同於第一波長之第二波長
S -9- 201112168 的光之反射光,由發光裝置23將不可見光的光照射到對象 上(例如,950 nm的近紅外線光),及供應最後的第二擷 取影像給資訊處理裝置2 1。 發光裝置23包括LED (發光二極體)23&1及23&2,其 發出具有第一波長的光;以及LED 231μ&231)2,其發出具 有第二波長的光。 應注意的是,在下面不需將LED 23a,及2332彼此區分 之例子中,將LED 23a,及2332簡稱作LED 23a。另外,在 不需將LED 231^及231)2彼此區分之例子中,將LED 2315,及 2 3 b2簡稱作 LED 23b。 LED 23a及23b在資訊處理裝置21的控制之下輪流發光 〇 另外,調整LED 23a及23b的輸出,使得相機22所接收 之反射光的強度(光量)在具有第一波長之光的反射光和 具有第二波長之光的反射光中變成相等。 此外,以如圖1所示的網柵輪流配置LED 23 a及23b, 及將從LED 23a及23b發出的光均勻漫射之漫射器板23c設 置在LED 23 a及23b前面。利用此結構,以具有第一和第二 波長的光照射對象,而不會不均勻。 應注意的是,發光裝置23配置在將從LED 23a及23b發 出之光可靠地照射到使用者的至少一隻手上之位置。在本 實施例中,使用者改變相機22的透鏡表面前之手部形狀, 因此例如將發光裝置23配置接近於相機22。 -10- 201112168 [資訊處理裝置21的結構例子] 圖2爲資訊處理裝置21的結構例子圖。 資訊處理裝置21包括控制器41、二元化區42、皮膚析 取區43、臨界値決定區44、遮罩影像產生區45、及形狀析 取區4 6。 控制器41控制發光裝置23,及使LED 23 a及23b能夠輪 流發光。 二元化區42被供應有來自相機22的第一擷取影像和第 二擷取影像。依據從相機22所供應之第一和第二擷取影像 ,二元化區42析取(偵測)受關注的像素。在一實施例中 ,受關注的像素對應於來自第一擷取影像之表示使用者的 皮膚之一或多個皮膚區域,與未包括皮膚區域之區域。 然後,二元化區42產生二元化皮膚影像,係藉由將構 成析取皮膚區域之像素的像素値和構成未包括皮膚區域的 區域之像素的像素値二元化成不同値(例如、0及1 )所獲 得;以及供應二元化皮膚影像給皮膚析取區43和形狀析取 區4 6 〇 皮膚析取區43和遮罩影像產生區45被供應有來自相機 22的第一擷取影像。 依據從二元化區4 2所供應之二元化皮膚影像,皮膚析 取區4 3從相機2 2所供應之第一擷取影像析取對應於二元化 皮膚影像內的皮膚區域之區域(表示使用者的皮膚區域之 區域)。 然後,皮膚析取區43產生包括析取區域之皮膚影像, -11 - 201112168 及供應皮膚影像給臨界値決定區44。應注意的是,皮膚析 取區43可供應當作皮膚影像的析取區域給臨界値決定區44 〇 臨界値決定區44依據從皮膚析取區43所供應之皮膚影 像來產生處理影像的直方圖,諸如皮膚影像等(構成皮膚 影像之像素的亮度値)。然後,臨界値決定區4 4依據所產 生之皮膚影像的直方圖來決定產生遮罩影像(稍後說明) 之遮罩臨界値,及供應遮罩臨界値給遮罩影像產生區45。 遮罩影像產生區45依據從臨界値決定區44所供應之遮 罩臨界値,自從相機22所供應的第一擷取影像產生遮罩影 像,及供應遮罩影像給形狀析取區46。 應注意的是,遮罩影像是藉由將第一擷取影像二元化 成由具有由遮罩臨界値所規定之亮度値範圍內的亮度値之 像素所構成的遮罩區域與未包括遮罩區域之非遮罩區域所 獲得的影像。 依據來自遮罩影像產生區45的遮罩影像,形狀析取區 46從自二元化區42所供應之二元化皮膚影像析取對應於表 示使用者的手部形狀之形狀區域的至少一預定物體,例如 ,當作對應於遮罩影像內的遮罩區域之區域。 然後,形狀析取區46依據析取的形狀區域來辨識手部 形狀,執行對應於辨識結果的處理,及輸出處理結果到下 一階段。 應注意的是,二元化區42從第一擷取影像析取皮膚區 域和未包括皮膚區域之區域,但是二元化區42可從第二擷 -12- 201112168 取影像析取皮膚區域和未包括皮膚區域之區域。在此例中 ,皮膚析取區43和遮罩影像產生區45被供應有來自相機22 的第二擷取影像,以取代第一擷取影像。 然後’皮膚析取區43從第二擷取影像產生皮膚影像, 及遮罩影像產生區45從第二擷取影像產生遮罩影像。 [二元化皮膚影像的產生] 接著’將參考圖3至5詳細說明二元化區42產生二元化 皮膚影像之處理。 應注意的是,在圖3及4中,將說明由相機22所擷取之 第一擷取影像和第二擷取影像》另外,在圖5中,將說明 由二元化區42依據第一擷取影像和第二擷取影像所產生之 二元化皮膚影像。 圖3圖示人類皮膚相對具有不同波長之照射光的反射 特性。 應注意的是,反射特性是全球性的,與人類皮膚的顏 色差異(種族差異)或皮膚狀態(曬黑等)無關。 在圖3中,水平軸表示照射到人類皮膚之光的波長, 及垂直軸表示照射到人類皮膚的光之反射比。 已知照射到人類皮膚的光之反射比以800 nm附近爲峰 値,從900 nm附近突然減少,及以1000 nm附近爲最小値 再次增加。 尤其是,如圖3所示,例如,藉由照射具有波長8 7 0 nm的光到人類皮膚所獲得之反射光的反射比是6 3 %,及藉 -13- 201112168 由照射具有波長950 nm的光到人類皮膚所獲得之反射光的 反射比是50%。 上述現象是人類皮膚特有的,及關於除了人類皮膚之 外的物體(例如頭髮或衣服),反射比的變化在800至 1000 nm附近通常變得和緩。 接著,將參考圖4說明由相機22所擷取之第一和第二 擷取影像。 圖4圖示藉由接收具有波長87 0 nm並且照射到使用者 之光的反射光所獲得之第一擷取影像,與藉由接收具有波 長95 0 nm並且照射到使用者之光的反射光所獲得之第二擷 取影像之例子。 圖4A圖示第一擷取影像,其中使用者的臉部61和手部 62被圖示成使用者的皮膚區域,以及使用者穿著之襯衫63 和背景64被圖不作未包括使用者的皮膚區域之區域。 圖4B圖示第二擷取影像,其中使用者的臉部8 1和手部 82被圖示成使用者的皮膚區域,以及使用者穿著之襯衫83 和背景84被圖示作未包括使用者的皮膚區域之區域。 如圖3所說明一般,關於使用者的皮膚部之反射特性 ,具有波長870 nm之光的反射比大於具有波長950 nm之光 的反射比。 因此,在具有波長870 nm之光照射到使用者的例子中 ,當作照射到使用者的皮膚部之光的反射光,比具有波長 95 0 nm之光的反射光明亮之光進入相機22的透鏡。 結果,構成第一擷取影像內之使用者的皮膚區域(臉 -14- 201112168 部6 1及手部62 )之像素的亮度値得到比構成第二擷取影像 內之使用者的皮膚區域(臉部81及手部82)之像素的亮度 値較大的値。 因此,藉由從構成第一擷取影像內之使用者的對應皮 膚區域之像素的亮度値減掉構成第二擷取影像內之使用者 的皮膚區域之像素的亮度値所獲得之差得到正値。 與上述相反地,關於未包括使用者的皮膚部之部位的 反射特性,在一些例子中,具有波長8 70 nm之光的反射比 等於或小於具有波長950 nm之光的反射比。 因此,在具有波長870 nm之光照射到使用者的例子中 ,當作照射到未包括使用者的皮膚部之部位的光之反射光 ,與具有波長950 nm之光的反射光一樣亮或較暗之光進入 相機22的透鏡。 結果,構成第一擷取影像內之未包括使用者的皮膚區 域之區域(襯衫63和背景64 )的像素之亮度値得到等於或 小於構成第二擷取影像內之未包括使用者的皮膚區域之區 域(襯衫8 3和背景8 4 )的像素之亮度値的値。 '因此,藉由從構成第一擷取影像內之未包括使用者的 皮膚部之對應部位的像素之亮度値減掉構成第二擷取影像 內之使用者的皮膚部之像素的亮度値所獲得之差得到等於 或小於〇的値(未包括正値的値)。 結果,二元化區42計算第一擷取影像和第二擷取影像 之對應像素的亮度値之間的差,及依據所計算的差來析取 受關注的像素(如、皮膚區域)和未包括使用者的皮膚區 -15- 201112168 域之區域。然後,二元化區42產生二元化皮膚影像,其中 所析取的使用者皮膚區域係由値1來表示,而未包括所析 取的使用者皮膚區域之區域係由値0來表示。 換言之,例如,在所計算的差是正値之例子中,二元 化區42析取對應的像素當作構成使用者的皮膚區域者,及 在所計算的差不是正値之例子中,析取對應的像素當作構 成未包括使用者的皮膚區域之區域者。 然後,二元化區42將析取當作構成使用者的皮膚區域 者之像素的値之每一個設定成1,及將析取當作構成未包 括使用者的皮膚區域之區域者的像素之値的每一個設定成 〇,藉以產生二元化皮膚影像,及供應二元化皮膚影像給 皮膚析取區4 3和形狀析取區4 6。 應注意的是,可依據未包括使用者的皮膚部之部位中 的反射比,而出現爲未包括皮膚部之部位所計算的差小於 爲皮膚部所計算的差但是爲正値之例子。因此,在差爲正 値但是小於預定臨界値的例子中,理想上,假設差爲未包 括使用者的皮膚部之部位的差,並且爲那部位設定値0。 另外,二元化區42可計算第一擷取影像和第二擷取影 像的對應像素之亮度値之間的差絕對値,及依據所計算的 差絕對値是否等於或大於預定臨界値,析取使用者的皮膚 部(皮膚區域)和未包括皮膚部之部位(未包括皮膚區域 之區域)來產生二元化皮膚影像。 上述操作使用由於反射特性,對應於使用者的皮膚部 之差絕對値得到相對大的値,而對應於未包括使用者的皮 -16- 201112168 膚部之部位得到相對小的値之事實。 接著,圖5圖示由二元化區42所產生之二 像的例子。 在圖5所示之二元化皮膚影像中,黑色所 示値1所表示的皮膚區域。皮膚區域包括指示 部的皮膚部之臉部區域1 01,及指示使用者的 部的手部區域102。 應注意的是,爲了圖解方便,除了臉部的 ,圖5所示之臉部區域1 〇 1還包括眉毛、眼睛、 是事實上臉部區域1 〇 1係僅由臉部的皮膚部所構 此外,在圖5所示之二元化皮膚影像中, 部位指示未包括皮膚區域的區域並且由値0表示 二元化區42供應所產生的二元化皮膚影像 區4 3和形狀析取區4 6。 依據從二元化區42所供應之二元化皮膚影 取區43從自相機22所供應之第一擷取影像析取 化皮膚影像內(包括臉部6 1和手部62之區域) 1 0 1和手部區域1 02之區域。然後,皮膚析取區 析取區的皮膚影像。 [皮膚影像的產生] 隨後,將參考圖6說明皮膚析取區43依據 42所供應之二元化皮膚影像自第一擺取影像產 (如、皮膚影像)之處理。 元化皮膚影 示之部位指 使用者之臉 手部之皮膚 皮膚部之外 頭髮等,但 成。 白色所示之 〇 給皮膚析取 像,皮膚析 對應於二元 的臉部區域 43產生包括 從二元化區 生處理影像 -17- 201112168 圖6圖示皮膚析取區43所析取之皮膚影像的例子。圖6 所示之皮膚影像圖示使用者的臉部61和手部62。 應注意的是,爲了圖解方便,除了臉部的皮膚部之外 ,圖6所示之皮膚影像還包括眉毛、眼睛、頭髮等當作使 用者的臉部61,但是事實上圖6所示之臉部61係僅由臉部 的皮膚部所構成。 皮膚析取區43將從二元化區42所供應之二元化皮膚影 像的像素之亮度値乘上從相機22所供應之第一擷取影像的 對應像素之亮度値》 然後,皮膚析取區43從構成第一擷取影像的像素析取 出由乘法結果爲非〇(包括臉部61及手部62之區域)之像 素所構成的區域,及產生包括析取區的皮膚影像。 因此,從第一擷取影像內的區域之中,照原樣析取出 包括在對應於二元化皮膚影像的臉部區域1 0 1之區域中的 臉部6 1,以及包括在對應於二元化皮膚影像的手部區域 102之區域中的手部62。對應於未包括二元化皮膚影像中 的皮膚區域之區域的區域(在圖6以白色圖示)給予亮度 値225,然後從第一擷取影像產生如圖6所示之皮膚影像。 皮膚析取區43供應所產生的皮膚影像給臨界値決定區 44 〇 臨界値決定區44依據從皮膚析取區43所供應之皮膚影 像來決定用於產生遮罩影像的遮罩臨界値。 [遮罩臨界値的決定] -18- 201112168 接著,將參考圖7詳細說明臨界値決定區44決定遮罩 臨界値之處理。 圖7圖示皮膚影像的直方圖之例子。 在圖7中,水平軸指示構成皮膚影像之像素的亮度値 。另外,垂直軸指示對應於水平軸的亮度値之像素數目。 應注意的是,在圖6的皮膚影像中構成白色所示之區 域並且具有亮度値225的像素數目一般圖示在圖7之直方圖 中,但是因爲具有亮度値225的像素數目未用於決定遮罩 臨界値,所以省略其圖解。 臨界値決定區44產生如圖7所示有關構成從皮膚析取 區43所供應之皮膚影像的像素之亮度値的直方圖。 在圖7的直方圖中,大量像素集中在亮度値0和亮度値 5 4之間與亮度値5 5和亮度値1 1 0之間。即、在圖7的直方圖 中,受關注的複數個像素被群聚成兩分開群組。 附帶一提的是,如上述,假設手部離相機22較近,而 臉部、胸部等離相機22較遠。 例如,因爲發光裝置23的LED 23a及LED 23b在接近相 機22的同時發光,所以離相機22(發光裝置23)較近之使 用者的身體部(在此例是手部)具有較大的亮度値,及離 相機22較遠之使用者的身體部(在此例是臉部等)具有較 小的亮度値。 因此’構成離相機22較近之手部的皮膚部之像素的亮 度値得到的値大於構成離相機22較遠之臉部的皮膚部之像 素的亮度値。 -19- 201112168 因此,亮度値〇和亮度値54之間的亮度値是構成臉 61 (其區域)之像素的亮度値,而亮度値55和亮度値1 之間的亮度値是構成諸如手部62等預定物體的像素之亮 値。 臨界値決定區44決定最小亮度値(在此例是亮度値 )當作下限臨界値Th_L,而最大亮度値(在此例是亮度 110)當作上限臨界値Th_H。 然後,臨界値決定區44將決定的下限臨界値Th_I^D 限臨界値Th_H當作遮罩臨界値供應給遮罩影像產生區4 5 依據從臨界値決定區44所供應之遮罩臨界値(下限 界値Th_L和上限臨界値Th_H ),遮罩影像產生區45從 相機22所供應之第一擷取影像偵測遮罩區域和非遮罩區 ,及產生遮罩影像,其中所偵測的遮罩區域和非遮罩區 被二元化成不同値。 [遮罩影像的產生] 接著,將參考圖8詳細說明遮罩影像產生區45依據 自臨界値決定區44的遮罩臨界値產生遮罩影像之處理。 圖8圖示遮罩影像的例子。在圖8所示之遮罩影像中 黑色所示之遮罩區域121是具有在對應的第一擷取影像 之下限臨界値Th_L或更大和上限臨界値Th_HS更小的 度値之區域。 另外,在圖8所示之遮罩影像中以白色所示之非遮 區域爲具有在對應的第一擷取影像內之低於下限臨界 部 10 度 5 5 値 上 〇 臨 白 域 域 來 內 罩 値 -20- 201112168
Th_L或大於上限臨界値Th_H的亮度値之區域。 在構成從相機22所供應之第一擷取影像的像素之亮度 値等於或大於下限臨界値Th_L且等於或小於上限臨界値 Th_H的例子中’遮罩影像產生區45偵測具有此種亮度値的 像素當作包括在遮罩區域中的像素,及將那些亮度値的每 一個轉換成値1。 另外’在構成從相機22所供應之第一擷取影像的像素 之亮度値小於下限臨界値Th_L或大於上限臨界値1:11_:^1的 例子中’遮罩影像產生區4 5偵測具有此種亮度値的像素當 作包括在非遮罩區域中的像素,及將那些亮度値的每一個 轉換成値〇。 因此’遮罩影像產生區45產生遮罩影像,其係由由各 個具有値1的像素所構成之遮罩區域1 2 1 (黑色所示)以及 各個具有値〇的像素所構成之非遮罩區域(白色所示)所 構成;以及供應遮罩影像給形狀析取區4 6。 依據從遮罩影像產生區4 5所供應之遮罩影像,形狀析 取區46從自二元化區42所供應的二元化皮膚影像內之臉部 區域101和手部區域102析取例如表示使用者的手部形狀之 形狀區域,來當作對應於遮罩影像內的遮罩區域1 2 1之區 域。 [手部形狀的析取] 接著’將參考圖9詳細說明形狀析取區46從二元化皮 膚影像析取使用者的手部形狀之處理。 S: -21 - 201112168 圖9圖示包括由形狀析取區46所析取的形狀區域之析 取影像的顯示例子。 在圖9所示之析取影像中,形狀區域141是使用者的手 部形狀。 形狀析取區46將構成從遮罩影像產生區45所供應之遮 罩影像的像素之亮度値乘上構成從二元化區42所供應之二 元化皮膚影像的對應像素之亮度値。 然後,形狀析取區46析取乘法結果爲非0之二元化皮 膚影像內的區域來當作形狀區域141,即、在二元化皮膚 影像內的臉部區域和手部區域1〇2之中(圖5),重疊 遮罩影像內的遮罩區域121之部位(圖8)。 另外,形狀析取區46依據所析取的形狀區域141來辨 識使用者的手部形狀及執行對應於辨識結果的處理。 應注意的是,除了使用者的手部之外,圖8所示之遮 罩影像內的遮罩區域1 2 1還包括使用者穿著的襯衫。 然而,因爲二元化皮膚影像內之臉部區域101和手部 區域1 02未包括使用者穿著的襯衫,所以形狀析取區46能 夠精確析取只表示手部形狀之形狀區域1 4 1,卻未析取表 示襯衫形狀之區域。 [形狀析取處理的操作說明] 接著,將詳細說明資訊處理系統1析取使用者的手部 形狀等之形狀析取處理。 圖1 0爲說明形狀析取處理的流程圖。應注意的是’形 -22- 201112168 狀析取處理係從打開資訊處理系統1的電力時就重複執行 〇 下面,將說明當使用者在相機22前面時所執行之形狀 析取處理。 在步驟S1中,控制器41控制發光裝置23的LED 23a, 以開始發出具有第一波長的光。應注意的是,在LED 23b 正在發光之例子中,控制器41停止LED 23b的光之發射, 然後使LED 2 3 a能夠開始發光。 在步驟S2中,相機22擷取以具有第一波長的光所照射 之使用者的影像,及供應由此產生的第一擷取影像給資訊 處理裝置2 1。 在步驟S3中,控制器41控制發光裝置23的LED 23a, 以停止發出具有第一波長的光,及控制發光裝置23的LED 2 3b開始發出具有第二波長的光。 在步驟S4中,相機22擷取以具有第二波長的光所照射 之使用者的影像’及供應最後的第二擷取影像給資訊處理 裝置21。 在步驟S5中,二元化區42依據從相機22所供應的第一 擷取影像和第二擷取影像之對應像素的亮度値之間的差來 產生圖5所示之二元化皮膚影像,及供應二元化皮膚影像 給皮膚析取區43和形狀析取區46。 在步驟S6中,依據從二元化區42所供應之二元化皮膚 影像,皮膚析取區43從自相機22所供應的第一擷取影像析 取對應於在二元化皮膚影像內之皮膚區域(表示使用者的 -23- 201112168 皮膚部之區域)的區域》 然後皮膚析取區43產生包括所析取區域的皮膚影像’ 及供應皮膚影像給臨界値決定區44。 在步驟S7中,依據構成從皮膚析取區43所供應的皮膚 影像之像素的亮度値,臨界値決定區44產生如圖7所示之 皮膚影像的直方圖。 在步驟S8中,依據所產生的皮膚影像之直方圖,臨界 値決定區44決定具有最小像素數目之亮度値當作下限臨界 値Th_L,而最'大亮度値當作上限臨界値Th_H。 然後,臨界値決定區44將所決定的下限臨界値Th_l^a 上限臨界値Th_H當作遮罩臨界値供應給影像產生區45。 在步驟S9中,依據從臨界値決定區44所供應之遮罩臨 界値(下限臨界値Th_L和上限臨界値Th_H ),遮罩影像 產生區45二元化從自相機22所供應之第一擷取影像,以產 生如圖8所示之遮罩影像,及供應遮罩影像給形狀析取區 46 〇 在步驟S10中,依據從遮罩影像產生區45所供應之遮 罩影像,形狀析取區46從自二元化區42所供應之二元化皮 膚影像析取例如表示使用者的手部形狀之析取區域,來當 作對應於遮罩影像內的遮罩區域之區域。 然後,形狀析取區46藉由如此析取的析取區域來辨識 手部形狀,執行對應於辨識結果的處理,及輸出處理結果 到下一階段。 利用上述處理,終止形狀析取處理。 -24- 201112168 如上述,在形狀析取處理中,遮罩影像係依據遮罩臨 界値而產生自由一相機22所擷取之第一擷取影像,及使用 者的手部形狀係依據所產生的遮罩影像而析取自二元化皮 膚影像。 因此,例如與依據由複數個相機所擷取之複數個擷取 影像、產生表示相機和使用者的手部之間的距離之距離影 像、及使用距離影像當作遮罩影像來析取使用者的手部形 狀之例子比較,能夠降低產生遮罩影像所需要的計算量, 及以較少的組件數目來析取使用者的手部形狀。 另外,在形狀析取處理中,依據從相機22到使用者之 臉部的距離與從相機22到其手部的距離之間的差,產生包 括遮罩區121和非遮罩區之遮罩影像,遮罩區121只包括手 部的皮膚部來當作皮膚部卻未具有臉部的皮膚部。 因此,甚至當欲析取之包括手的手部區域102重疊包 括當作二元化皮膚影像中之除了手部之外的皮膚部之臉部 的臉部區域101時,遮罩區域121只包括未具有臉部的皮膚 部之手部的皮膚部當作皮膚部,所以只有手部區域1 02能 夠從二元化皮膚影像被析取。 結果’能夠精確析取使用者的手部形狀。 而且,在形狀析取處理中,人類看不見之不可見的近 紅外線(光)係從LED 23 a及LED 23b發出。 因此,因爲使用者無法用視覺辨識從LED 23 a及LED 23b發出的光’所以使用者不會由於從LED 23a及LED 23b 發出的亮光而感到不舒服。 -25- 201112168 而且,漫射器板23 c設置在資訊處理系統1的發光裝置 23中之LED 23a及LED 23b前面。 利用此結構,從LED 23 a及LED 2 3b發出之不可見光被 均勻漫射。因此,將沒有由於光量所導致的不均勻之均勻 光照射到對象》 因此,照射到對象之不可見光的反射光被相機22接收 ,當作沒有由於光量所導致的不均勻之均勻光,結果相機 22可獲得沒有由於光量所導致的不均勻之第一和第二擷取 影像。 因此,因爲沒有由於光量所導致的不均勻之第一和第 二擷取影像被用於在資訊處理系統1中析取手部形狀等, 所以例如能夠比使用具有由於光量所導致的不均勻之第一 和第二擷取影像的例子更精確析取手部形狀等。 應注意的是,在資訊處理系統1中,希望從形狀析取 處理開始約80 ms析取手部形狀,使得在每次使用者改變 手部形狀時都能夠辨識改變之後的手部形狀。 [2.修改例子] 在上述形狀析取處理中,每次執行形狀析取處理時, 經由步驟S6至S8的處理,析取皮膚影像,並且依據析取的 皮膚影像之直方圖來決定遮罩臨界値(下限臨界値Th_ua 上限臨界値TH_H ),但是形狀析取處理並不侷限於此。 換言之,例如,在形狀析取處理中,當執行形狀析取 處理時’在步驟S6至S8中事先決定之遮罩臨界値可照原樣 -26- 201112168 使用。 在此例中,因爲可省略步驟S6至S8的處理,所以能夠 由形狀析取處理快速析取手部形狀等。 另外,藉由在執行形狀析取處理之前執行與步驟S 6至 S8的處理相同之處理以事先決定遮罩臨界値,亦能夠省略 形狀析取處理中之步驟S6至S 8的處理。 應注意的是,當作在執行形狀析取處理之前事先決定 遮罩臨界値的處理,能夠例如依據構成使用者的手部區域 之像素的亮度値之平均値來額外決定遮罩臨界値。 [決定遮罩臨界値之方法] 接著,將參考圖1 1說明FFT (快速富氏變換)臨界値 決定處理,其中臨界値決定區44依據構成使用者的手部區 域之像素的亮度値之平均値來決定遮罩臨界値。 圖11圖示藉由擷取以具有波長870 nm的光照射之使用 者的影像所獲得之第一擷取影像的例子。 應注意的是,當執行FFT臨界値決定處理時,臨界値 決定區44被供應有來自相機22的複數個第一擷取影像,其 係藉由相機22擷取使用者揮動手部之影像所獲得。 臨界値決定區44在複數個第一擷取影像上執行FFT處 理,及偵測在第一擷取影像內的手部區域,此手部區域以 固定頻率在移動。 然後,臨界値決定區44計算構成所偵測的手部區域之 一部分的矩形區域161之像素的亮度値之平均値ave_L。
S -27- 201112168 另外,臨界値決定區44決定藉由從平均値ave_L減掉 調整値a所獲得之値ave_L-a來當作下限臨界値Th_L,而藉 由將調整値b加到平均値ave_L所獲得之値ave_L + b來當作 上限臨界値Th_H。 應注意的是,調整値a及b是用於調整平均値ave_L& 且決定下限臨界値Th_L和上限臨界値Th_H的値。 調整値a及b是根據從LED 23a及LED 23b所發出的光之 強度(光量)、從相機22到使用者的距離、及相機22中所 使用之CCD (電荷耦合裝置影像感測器)的光靈敏度所計 算之變數,但是在許多例子中實際上用實驗方法計算變數 [FFT臨界値決定處理的操作之說明] 接著,將說明FFT臨界値決定處理,其中臨界値決定 區依據構成使用者的手部區域之像素的亮度値之平均値 來決定遮罩臨界値。 圖1 2爲FFT臨界値決定處理的流程圖。例如當打開資 訊處理系統的電力並且在執行形狀析取處理之前時開始 FFT臨界値決定處理。 在步驟S31中,控制器41控制發光裝置23的LED 23a開 始發出具有第一波長的光。 在步驟S32中,控制器41控制設置在資訊處理裝置21 中之顯示器、揚聲器等(未圖示),以指示使用者揮動手 部。 -28- 201112168 在步驟S33中,相機22擷取使用者揮動手部的影像, 及供應由此產生的第一擷取影像給資訊處理裝置21的臨界 値決定區44。 在步驟S34中,臨界値決定區44在第一擷取影像上執 行FFT處理,及偵測第一擷取影像內的手部區域,此手部 區域以固定頻率移動。 在步驟S35中,臨界値決定區44計算構成所偵測的手 部區域之一部分的矩形區域161之像素的亮度値之平均値 ave_L ° 在步驟S36中,臨界値決定區44決定藉由從平均値 ave_L減掉調整値a所獲得之値ave_L-a來當作下限臨界値 Th_L,而藉由將調整値b加到平均値ave_L所獲得之値 ave_L + b來當作上限臨界値Th_H。 利用上述處理,終止FFT臨界値決定處理。如上述, 在FFT臨界値決定處理中,於執行形狀析取處理之前決定 遮罩臨界値,結果亦能夠省略步驟S 6至S 8的處理以及在形 狀析取處理中更快速析取手部形狀等。 應注意的是,在FFT臨界値決定處理中,在複數個第 一擷取影像上執行FFT處理,以偵測在第一擷取影像內的 手部區域和以手部區域內之像素的亮度値之平均値爲基礎 的遮罩臨界値(下限臨界値Th_L和上限臨界値Th_H ), 但是FFT臨界値決定處理並不侷限於此。 換言之,例如,在FFT臨界値決定處理中,藉由在以 相機22擷取使用者揮動手部之影像所獲得的複數個第二擷 -29 - 201112168 取影像上執行FFT處理,能夠偵測第二擷取影像內的手部 區域,及依據手部區域內之像素的亮度値之平均値來決定 遮罩臨界値。 在本實施例中,二元化區42從第一擷取影像析取使用 者的皮膚區域和未包括使用者的皮膚區域之區域,及將由 所析取的皮膚區域和未包括皮膚區域之區域所構成的二元 化皮膚影像供應給皮膚析取區43和形狀析取區46,但是本 發明並不侷限於此。 換言之,例如,二元化區_42可從第一擷取影像析取使 用者的皮膚區域,及將包括至少所析取的皮膚區域之二元 化皮膚影像供應給皮膚析取區43和形狀析取區46。 在此例中,皮膚析取區43從相機22所擷取之第一擷取 影像析取對應於包括在從二元化區42所供應之二元化皮膚 影像中之皮膚區域的區域。另外,形狀析取區46從包括在 從二元化區42所供應之二元化皮膚影像中之皮膚區域析取 形狀區域。 在本實施例中,遮罩影像產生區45例如從第一擷取影 像偵測遮罩區域和非遮罩區域,及產生由所偵測的遮罩區 域和非遮罩區域所構成之遮罩影像,但是本發明並不侷限 於此。 換言之,例如,遮罩影像產生區4 5可只偵測遮罩區域 當作用於從二元化皮膚影像析取形狀區域之析取區域,及 產生包括至少所偵測的遮罩區域之遮罩影像。在此例中, 從自二元化區42所供應之二元化皮膚影像內的皮膚區域之 -30- 201112168 中,析取出對應於遮罩影像內的遮罩區域之區域來當作形 狀析取區46中的形狀區域。 另外,例如,遮罩影像產生區45可只偵測非遮罩區域 當作析取區域,及產生包括至少所偵測的非遮罩區域之遮 罩影像。在此例中,從自二元化區42所供應之二元化皮膚 影像內的皮膚區域之中,析取出對應於未包括遮罩影像內 的非遮罩區域之區域來當作形狀析取區46中的形狀區域。 [相機22、LED 23a、及LED 23b的性能] 接下來,參考圖13及14,將說明當本發明的申請人實 際上實行形狀析取處理和FFT臨界値決定處理時之構成資 訊處理系統1之相機22和發光裝置23的性能。 本發明的申請人使用由Sony公司所製造的視頻相機當 作相機22。相機22具有型號XC-EI50和包括1/2 IT型CCD當 作攝影裝置。 另外,相機22具有有效像素768 X 494,及採用C底座 當作透鏡底座,及交錯525線之掃描法當作掃描法。 另外,靈敏度是F11 (400 lx)和最低景深是0_1 1χ。 另外,相機22所擷取之擷取影像的S/N比(信號對雜訊比 )是 6 0 d B。 而且,在相機2 2中,事先設置給相機2 2之快門按鈕( —般按鈕)的快門速度是1/100至1/1 0,000 sec,及從外部 連接到相機22之釋放開關的快門速度(外部觸發器快門) 是 1/4至 1/10,〇〇〇 sec。
S -31 - 201112168 另外,相機22具有外形尺寸29(寬)χ 29(高)x 32 (深)mm及重量約50 g。而且,相機22具有70 G之防震。 而且,相機22具有從可見光區4〇0 nm至近紅外線區 1,000 nm的範圍內之靈敏度。 圖1 3圖示相機22的相對靈敏特性之例子。 應注意的是,在圖1 3中,水平軸指示入射到相機22的 透鏡之波長,及垂直軸指示對應於波長之相對靈敏度。 而且,本發明的申請人使用如圖1 4所示一般以網柵輪 流配置之八個LED 23 a及八個LED 23'b當作發光裝置23。 使用發出具有波長87〇 nrn之光的LED當作本發明的申 請人所實際使用之LED 23a,及使用發出具有波長950 nm 之光的LED當作LED 23 b。 此外,使用具有DC正向電流(絕對最大額定)1 00 mA和正向電壓1.6 V之LED當作LED 23a及LED 23b。 本發明的申請人在使用具有上述性能之相機22和如圖 14所示一般配置的LED 23 a及LED 23b的同時,實際上實行 形狀析取處理和FFT臨界値決定處理,因此能夠發現上述 明顯的操作效果。 在本實施例中,依據從臨界値決定區44所供應之遮罩 臨界値,遮罩影像產生區45從自相機22所供應之第一擷取 影像產生遮罩影像’但是產生遮罩影像的方法並不侷限於 上述。 換言之,例如,遮罩影像產生區45可執行立體照相處 理,即依據在不同方向擷取影像之複數個相機所擷取的擷 -32- 201112168 取影像來產生表示從相機到使用者的距離之距離影像’及 採用由此產生的距離影像當作遮罩影像。 在此例中,形狀析取區46析取表示從遮罩影像產生區 45所供應的距離影像內之從相機到手部的距離之距離的區 域重疊從二元化區42所供應之二元化皮膚影像內的臉部區 域101和手部區域102之部位,來當作表示使用者的手部形 狀之形狀區域1 4 1。 另外,當作除了立體照相處理之外的產生距離影像當 作遮罩影像之方法,能夠在使用依據紅外線照射到使用者 及反射在使用者上而返回之時間來計算到使用者的距離之 雷射範圍取景器等的同時產生使用者的距離影像。 另外,在本實施例中,從LED 23 a發出的第一波長被 設定成870 nm及從LED 23b發出的第二波長被設定成950 nm,但是波長的組合並不侷限於此。 尤其是,只要組合導致在第一波長的反射比和第二波 長的反射比之間產生比除了使用者的皮膚之外的物體所獲 得之反射比之間的差絕對値還要足夠大的差絕對値,可設 定任何波長組合。尤其是,如從圖3可明白,例如,除了 870 nm和950 nm的組合之外,800 nm和950 nm的組合、 870 nm和1,000 nm的組合、及8 00 nm和1,000 nm的組合亦 可以。 應注意的是,在可見光被使用當作從LED 23 a發出的 光之例子中’使用只通過從LED 2 3 a發出的可見光且使可 見光能夠進入相機22的透鏡之濾波器來取代可見光截止濾 -33- 201112168 波器22a »此適用於LED 23b。 另外,在本實施例中,LED 23a及LED 23b在形狀析取 處理中個別發光。然而,能夠藉由使LED 23 a及LED 23b同 時發光來取得第一擷取影像和第二擷取影像。 具體地,例如,具有與相機22相同功能之兩相機被設 置彼此接近來取代相機22。只通過具有第一波長之光的濾 波器被設置在兩相機中的其中之一前面,及只通過具有第 二波長之光的濾波器被設置在另一相機前面。 在此例中,甚至當LED 2 3 a及LED 23b同時發光時,也 只有具有第一波長的光能夠進入其中一相機,結果能夠在 一相機中獲得第一擷取影像。另外,因爲只有具有第二波 長的光能夠進入另一相機,所以能夠在另一相機獲得第二 擷取影像。 在本實施例中,LED 23a的數目和LED 23b的數目各被 設定成二,但是他們的數目並不侷限於上述。 此外,在本實施例中,當作表示使用者的本體部之物 體的手部(其形狀)被改變,以使資訊處理裝置21能夠執 行預定處理,但是除了手部之外亦能夠採用使用者的腳部 等當作物體。 附帶一提的是,上述一連串處理係可由專用硬體或軟 體來執行。在由軟體執行一連串處理之例子中,從記錄媒 體將構成軟體的程式安裝在能夠藉由安裝各種程式來執行 各種功能之所謂內建式電腦或萬用型個人電腦中。 -34- 201112168 [電腦的結構例子] 接著,圖15圖示由程式來執行上述一連串處理之個人 電腦的結構例子。例如,可藉由諸如圖1 5所示之中央處理 單元201等至少一處理器來實施圖2所示之資訊處理設備21 的區或複數區的每一個》在一實施例中,二元化區42、皮 膚析取區43、臨界値決定區44、遮罩影像產生區45、及形 狀析取區46 (或那些區的每一個)係可藉由單一處理器或 複數個不同處理器來實施。 CPU (中央處理單元)201依據儲存在ROM (唯讀記 憶體)202或儲存區208中之程式來執行各種類型的處理。 RAM (隨機存取記憶體)203適當儲存將由CPU 201執行之 程式、資料等。那些CPU 201、ROM 202、及RAM 203透 過匯流排204彼此連接。 另外’ CPU 201透過匯流排204與輸入/輸出介面205連 接。輸入/輸出介面205與諸如鍵盤、滑鼠、及麥克風等輸 入區206和諸如顯示器和揚聲器等輸出區2〇7連接。cpu 201依據從輸入區206輸入之命令來執行各種類型的處理。 然後,CPU 201輸出處理的結果到輸出區2〇7。 連接到輸入/輸出介面205之儲存區208係由例如硬碟 所構成’及儲存將由C P U 2 0 1所執行之程式和各種類型的 資料。通訊區2 0 9透過諸如網際網路和區域網路等與外部 裝置通訊。 另外,程式係可透過通訊區209來取得並且儲存在儲 存區2 0 8。 -35- 201112168 連接到輸入/輸出介面2〇5之驅動器210在可移除式媒 體211安裝至此時驅動可移除式媒體211,諸如磁碟、光碟 、磁光碟、和半導體記億體等,及取得儲存在可移除式媒 體2 1 1中之程式和資料。視需要將所取得的程式和資料轉 移到儲存區208並且儲存在其內。 如圖1 5所示,記錄(儲存)安裝在電腦並且由電腦所 執行的程式之記錄媒體係由可移除式媒體2 1 1和暫時或永 久儲存程式之ROM 202或構成儲存區208之硬碟所構成, 可移除式媒體211是諸如磁碟(包括撓性碟光碟(包 括CD-ROM (小型碟唯讀記憶體)和DVD (數位多用途碟 ))、磁光碟(包括MD (迷你碟))、和半導體記憶體 等封裝媒體。在使用諸如區域網路、網際網路、及數位廣 播等無線或有線通訊媒體的同時,適當透過通訊區209當 作諸如路由器或數據機等介面將程式記錄在記錄媒體上。 應注意的是’除了以上述順序以時間序列所執行之處 理外,在本文說明上述一連串處理之步驟還包括平行或個 別執行但未按時間順序之處理。 而且,此處的系統表示由複數個裝置所構成之整座裝 置。 應注意的是,本發明的實施例並不侷限於上述本實施 例’而是只要不違背本發明的主旨能夠有變化的修改。本 申請案包含關於向日本專利局於2〇09年6月30日所申請的 曰本優先權專利申請案JP 2009-154921所揭示之題材的題 材,藉以倂入其全文做爲參考。 -36- 201112168 【圖式簡單說明】 圖1爲資訊處理系統的結構例子之方塊圖。 圖2爲資訊處理裝置的結構例子之方塊圖。 圖3爲人類皮膚的反射特性之例子圖。 圖4爲第一和第二擷取影像的例子圖。 圖5爲由二元化區所產生之二元化皮膚影像的例子圖 〇 圖6爲由皮膚析取區所析取之皮膚影像的例子圖。 圖7爲皮膚影像的直方圖之例子圖。 圖8爲由遮罩影像產生區所產生之遮罩影像的例子圖 〇 圖9爲由形狀析取區所產生之析取影像的例子圖。 圖1 〇爲形狀析取處理的流程圖。 圖1 1爲用於FFT (快速富氏變換)臨界値決定處理之 第一擷取影像圖。 圖12爲FFT臨界値決定處理之流程圖。 圖1 3爲相機的相對靈敏特性圖。 圖14爲用於LED的配置方法圖。 圖1 5爲電腦的結構例子之方塊圖。 【主要元件符號說明】 1 :資訊處理系統 2 1 :資訊處理裝置 -37- 201112168 22 :相機 22a :可見光截止濾波器 23 :發光裝置 23a :發光二極體 23ai :發光二極體 23a2 :發光二極體 23b :發光二極體 23b,:發光二極體 23b2 :發光二極體 2 3 c :漫射器板 4 1 :控制器 4 2 :二元化區 4 3 :皮膚析取區 44 :臨界値決定區 45 :遮罩影像產生區 46 :形狀析取區 61 :臉部 62 :手部 63 :襯衫 64 :背景 81 :臉部 8 2 :手部 83 :襯衫 8 4 :背景 -38 201112168 1 〇 1 :臉部區域 1 0 2 :手部區域 1 2 1 :遮罩區域 1 4 1 :形狀區域 1 6 1 :矩形區域 201 :中央處理單元 202 :唯讀記憶體 203 :隨機存取記憶體 2 0 4 :匯流排 205:輸入/輸出介面 2 0 6 :輸入區 207 :輸出區 2 〇 8 :儲存區 2 0 9 :通訊區 2 1 0 :驅動器 2 1 1 :可移除式媒體 -39-

Claims (1)

  1. 201112168 七、申請專利範圍: 1.一種資訊處理裝置,包含: 第一記憶體,被組配成儲存使用第一波長的光所擷取 之第一影像和使用第二波長的光所擷取之第二影像,該第 —波長不同於該第二波長:以及 至少一處理器,被組配成依據該儲存的第一和第二擷 取影像之亮度値來偵測該第一擷取影像內之受關注的複數 個像素。 2·根據申請專利範圍第1項之資訊處理裝置,其中 該至少一處理器被組配成產生二元化影像,在該二元 化影像中,該第一擷取影像內之受關注的該已偵測的複數 個像素係由第一預定値來表示,而該第一擷取影像內之複 數個其他像素係由第二預定値來表示。 3 .根據申請專利範圍第1項之資訊處理裝置,其中 該至少一處理器被組配成 計算該儲存的第一和第二擷取影像的對應像素之 間的該等亮度値之差,以及 依據對應於受關注的該複數個像素的該等亮度値 之該等計算的差是否超過預定臨界値,來偵測該第一擷取 影像內之受關注的該複數個像素。 4 ·根據申請專利範圍第1項之資訊處理裝置,其中 該至少一處理器被組配成偵測對應於表示使用者之皮 膚的至少一皮膚區域之受關注的該複數個像素。 5 ·根據申請專利範圍第1項之資訊處理裝置,另外包 •40- 201112168 含: 第二記憶體,被組配成儲存包括受關注的該複數個像 素之處理影像,其中 該至少一處理器被組配成 決定該處理影像中之受關注的該複數個像素之亮 度値的頻率,以及 依據該等亮度値的該等決定頻率,來決定對應於 該處理影像內之預定物體的該等亮度値之範圍。 6 .根據申請專利範圍第5項之資訊處理裝置,其中 該第一記憶體和該第二記憶體爲相同記憶體。 7·—種使用資訊處理裝置之方法,該資訊處理裝置用 以偵測影像內之受關注的複數個像素,該方法包含: 儲存使用第一波長的光所擷取之第一影像和使用第二 波長的光所擷取之第二影像,該第一波長不同於該第二波 長;以及 依據該儲存的第一和第二擷取影像之亮度値,藉由該 資訊處理裝置來偵測該第一擷取影像內之受關注的複數個 像素。 8. 根據申請專利範圍第7項之方法,另外包含: 產生二元化影像,在該二元化影像中,該第一擷取影 像內之受關注的該已偵測的複數個像素係由第一預定値來 表示’而該第一擷取影像內之複數個其他像素係由第二預 定値來表示。 9. 根據申請專利範圍第7項之方法,另外包含: -41 - 201112168 計算該儲存的第一和第二擷取影像的對應像素之間的 該等亮度値之差,其中 該偵測步驟包含:依據對應於受關注的該複數個像素 的該等亮度値之該等計算的差是否超過預定臨界値’來偵 測該第一擷取影像內之受關注的該複數個像素。 10. 根據申請專利範圍第7項之方法,其中 該偵測步驟包含:偵測對應於表示使用者之皮膚的至 少一皮膚區域之受關注的該複數個像素。 11. 根據申請專利範圍第7項之方法,另外包含: 儲存包括受關注的該複數個像素之處理影像; 決定該處理影像中之受關注的該複數個像素之亮度値 的頻率;以及 依據該等亮度値的該等決定頻率,來決定對應於該處 理影像內之預定物體的該等亮度値之範圍。 12. —種非暫時性電腦可讀式儲存媒體,其包括指令 ,當由處理器執行時,該等指令使該處理器能夠執行偵測 影像內之受關注的複數個像素之方法,該方法包含: 儲存使用第一波長的光所擷取之第一影像和使用第二 波長的光所擷取之第二影像,該第一波長不同於該第二波 長;以及 依據該儲存的第一和第二擷取影像之亮度値來偵測該 第一擷取影像內之受關注的複數個像素。 1 3 · —種電腦程式’用以執行偵測影像內之受關注的 複數個像素之方法,該方法包含: -42- 201112168 儲存使用第一波長的光所擷取之第一影像和使用第二 波長的光所擷取之第二影像,該第一波長不同於該第二波 長;以及 依據該儲存的第一和第二擷取影像之亮度値來偵測該 第一擷取影像內之受關注的複數個像素》 14. 一種資訊處理裝置,包含: 儲存機構,用以儲存使用第一波長的光所擷取之第一 影像和使用第二波長的光所擷取之第二影像,該第一波長 不同於該第二波長;以及 偵測機構’用以依據該儲存的第一和第二擷取影像之 亮度値來偵測該第一擷取影像內之受關注的複數個像素。 1 5 . —種資訊處理裝置,包含: 記憶體’被組配成儲存處理影像,該處理影像係從影 像所產生’且包括受關注的複數個像素;以及 至少一處理器,被組配成 決定該處理影像中之受關注的該複數個像素之亮 度値的頻率’以及 依據該等亮度値的該等決定頻率,來決定對應於 該處理影像內之預定物體的該等亮度値之範圍。 16.根據申請專利範圍第15項之資訊處理裝置,其中 該至少一處理器被組配成依據該等亮度値的該等決定 頻率,將受關注的該複數個像素群聚成至少一群組。 1 7 ·根據申請專利範圍第1 6項之資訊處理裝置,其中 該至少一處理益被組配成依據具有最高的亮度値之受 -43- 201112168 關注的該複數個像素之該至少一群組的其中之一的該等亮 度値,來決定對應於該預定物體之該等亮度値的該範圍。 18. 根據申請專利範圍第16項之資訊處理裝置,其中 該至少一處理器被組配成 依據該決定範圍的該最小亮度値來設定下限臨界 値, 依據該決定範圍的該最大亮度値來設定上限臨界 値, 依據該下限和上限臨界値來偵測該影像內之至少 一遮罩區域,以及 產生遮罩影像,在該遮罩影像中,對應於該影像 的該至少一遮罩區域之像素係由第一預定値來表示,而對 應於該至少一遮罩區域外的任何區域之像素係由第二預定 値來表示。 19. 一種使用資訊處理裝置之方法,該資訊處理裝置 係用以識別對應於預定物體之亮度値,該方法包含: 儲存處理影像,該處理影像係從影像所產生且包括受 關注的複數個像素; 決定該處理影像中之受關注的該複數個像素之亮度値 的頻率;以及 依據該等亮度値的該等決定頻率,藉由該資訊處理裝 置來決定對應於該處理影像內之該預定物體的該等亮度値 之範圍。 2 0.根據申請專利範圍第19項之方法,另外包含: -44- 201112168 依據該等亮度値的該等決定頻率,將受關注的該複數 個像素群聚成至少一群組。 2 1.根據申請專利範圍第20項之方法,其中 該決定該等亮度値的該範圍之步驟包含:依據具有最 高的亮度値之受關注的該複數個像素之該至少一群組的其 中之一的該等亮度値,來決定對應於該預定物體之該等亮 度値的該範圍。 22.根據申請專利範圍第20項之方法,另外包含: 依據該決定範圍的該最小亮度値來設定下限臨界値; 依據該決定範圍的該最大亮度値來設定上限臨界値; 依據該下限和上限臨界値來偵測該影像內之至少一遮 罩區域,以及 產生遮罩影像,在該遮罩影像中,對應於該影像的該 至少一遮罩區域之像素係由第一預定値來表示,而對應於 該至少一遮罩區域外的任何區域之像素係由第二預定値來 表不。 23 . —種非暫時性電腦可讀式儲存媒體,其包括指令 ,當由處理器執行時,該等指令使該處理器能夠執行識別 對應於預定物體的亮度値之方法,該方法包含: 儲存處理影像,該處理影像係從影像所產生,且包括 受關注的複數個像素; 決定該處理影像中之受關注的該複數個像素之亮度値 的頻率;以及 依據該等亮度値的該等決定頻率,來決定對應於該處 -45- 201112168 理影像內之該預定物體的該等亮度値之範圍。 24 . —種電腦程式,用以執行識別對應於預定物體的 亮度値之方法,該方法包含: 儲存處理影像,該處理影像係從影像所產生,且包括 受關注的複數個像素; 決定該處理影像中之受關注的該複數個像素之亮度値 的頻率;以及 依據該等亮度値的該等決定頻率,來決定對應於該處 理影像內之該預定物體的該等亮度値之範圍。 2 5 . —種資訊處理裝置,包含: 儲存機構,用以儲存處理影像,該處理影像係從影像 所產生,且包括受關注的複數個像素; 決定機構,用以決定該處理影像中之受關注的該複數 個像素之亮度値的頻率;以及 決定機構,用以依據該等亮度値的該等決定頻率,來 決定對應於該處理影像內之預定物體的該等亮度値之範圍 -46-
TW099116526A 2009-06-30 2010-05-24 Information processing apparatus and information processing method TW201112168A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009154921A JP4548542B1 (ja) 2009-06-30 2009-06-30 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
TW201112168A true TW201112168A (en) 2011-04-01

Family

ID=42457840

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099116526A TW201112168A (en) 2009-06-30 2010-05-24 Information processing apparatus and information processing method

Country Status (7)

Country Link
US (3) US20110142349A1 (zh)
EP (2) EP2384485A1 (zh)
JP (2) JP4548542B1 (zh)
KR (2) KR20120031309A (zh)
CN (1) CN102138148B (zh)
TW (1) TW201112168A (zh)
WO (2) WO2011001593A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4910923B2 (ja) * 2007-07-20 2012-04-04 ソニー株式会社 撮像装置、撮像方法及び撮像プログラム
JP2011039812A (ja) * 2009-08-12 2011-02-24 Sony Corp 画像処理装置及び電子機器
US9754155B2 (en) * 2009-12-18 2017-09-05 Tandent Vision Science, Inc. Method and system for generating intrinsic images using a single reflectance technique
US9256956B2 (en) * 2010-05-28 2016-02-09 Qualcomm Incorporated Dataset creation for tracking targets with dynamically changing portions
JP2012063824A (ja) * 2010-09-14 2012-03-29 Sony Corp 情報処理装置、情報処理方法、及びプログラム
EP2512121B1 (en) * 2011-04-13 2013-06-05 Axis AB Illumination device
JP2013084228A (ja) * 2011-10-12 2013-05-09 Sony Corp 情報処理装置、情報処理方法、プログラム、及び電子機器
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
TWI479430B (zh) * 2012-10-08 2015-04-01 Pixart Imaging Inc 以自然影像進行的手勢辨識方法
CN103777741B (zh) * 2012-10-19 2017-08-01 原相科技股份有限公司 基于物件追踪的手势辨识方法及系统
WO2014093334A2 (en) * 2012-12-10 2014-06-19 Invisage Technologies, Inc. Capture of scenes and events in space and time
JP5971108B2 (ja) 2012-12-18 2016-08-17 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN103268499B (zh) * 2013-01-23 2016-06-29 北京交通大学 基于多光谱成像的人体皮肤检测方法
US20140240477A1 (en) * 2013-02-26 2014-08-28 Qualcomm Incorporated Multi-spectral imaging system for shadow detection and attenuation
JP5782061B2 (ja) * 2013-03-11 2015-09-24 レノボ・シンガポール・プライベート・リミテッド 移動物体の動作を認識する方法および携帯式コンピュータ
JP6427598B2 (ja) * 2014-02-10 2018-11-21 アップル インコーポレイテッドApple Inc. 光学センサを使用して検出されるモーションジェスチャ入力
WO2015188146A2 (en) 2014-06-05 2015-12-10 Edward Hartley Sargent Sensors and systems for the capture of scenes and events in space and time
US9692968B2 (en) 2014-07-31 2017-06-27 Invisage Technologies, Inc. Multi-mode power-efficient light and gesture sensing in image sensors
JP6493680B2 (ja) * 2014-10-09 2019-04-03 パナソニックIpマネジメント株式会社 非接触血圧測定装置、及び、非接触血圧測定方法
EP3276448B1 (en) * 2015-05-20 2020-01-15 Konica Minolta, Inc. Wearable electronic device, gesture detection method for wearable electronic device, and gesture detection program for wearable electronic device
US10354383B2 (en) * 2016-12-30 2019-07-16 Skinio, Llc Skin abnormality monitoring systems and methods
JP6501806B2 (ja) * 2017-01-05 2019-04-17 キヤノン株式会社 情報処理装置、操作検出方法、及びコンピュータプログラム
CN107506687B (zh) * 2017-07-17 2020-01-21 Oppo广东移动通信有限公司 活体检测方法及相关产品
JP2019032395A (ja) * 2017-08-07 2019-02-28 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
CN108416333B (zh) * 2018-03-30 2020-01-17 百度在线网络技术(北京)有限公司 图像处理的方法和装置
CN109124587A (zh) * 2018-08-14 2019-01-04 上海常仁信息科技有限公司 一种基于机器人的皮肤检测系统和方法
CN109145803B (zh) * 2018-08-14 2022-07-22 京东方科技集团股份有限公司 手势识别方法及装置、电子设备、计算机可读存储介质
JPWO2020196196A1 (zh) * 2019-03-26 2020-10-01

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5031049A (en) * 1984-05-25 1991-07-09 Canon Kabushiki Kaisha Automatic object image follow-up device
US5418574A (en) * 1992-10-12 1995-05-23 Matsushita Electric Industrial Co., Ltd. Video signal correction apparatus which detects leading and trailing edges to define boundaries between colors and corrects for bleeding
JPH06304142A (ja) * 1993-04-22 1994-11-01 Canon Inc 視線検出装置
EP0957750A1 (en) * 1995-10-23 1999-11-24 Cytometrics, Inc. Method and apparatus for reflected imaging analysis
US5771033A (en) * 1996-05-24 1998-06-23 Microsoft Corporation Method and system for dissolving an image displayed on a computer screen
JPH10150572A (ja) * 1996-09-18 1998-06-02 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体
US6292576B1 (en) * 2000-02-29 2001-09-18 Digital Persona, Inc. Method and apparatus for distinguishing a human finger from a reproduction of a fingerprint
JP2003216955A (ja) * 2002-01-23 2003-07-31 Sharp Corp ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体
JP4074464B2 (ja) * 2002-02-26 2008-04-09 学校法人 中央大学 周期性を有する動きの検出方法および装置
WO2003096272A1 (en) * 2002-05-09 2003-11-20 Sony Corporation Method of detecting biological pattern, biological pattern detector, method of biological certificate and biological certificate apparatus
EP1644867B1 (en) * 2003-04-18 2010-08-11 Medispectra, Inc. A system and diagnostic method for optical detection of suspect portions of a tissue sample
JP4479194B2 (ja) * 2003-08-29 2010-06-09 富士ゼロックス株式会社 動作識別装置、及び対象物の姿勢識別装置
JP4102318B2 (ja) * 2004-03-03 2008-06-18 日本電信電話株式会社 道具動作認識装置および道具動作認識方法
US7379562B2 (en) * 2004-03-31 2008-05-27 Microsoft Corporation Determining connectedness and offset of 3D objects relative to an interactive surface
US7427981B2 (en) * 2004-04-15 2008-09-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical device that measures distance between the device and a surface
JP4537143B2 (ja) * 2004-07-30 2010-09-01 キヤノン株式会社 画像処理装置及びその方法、撮像装置、プログラム
US7469060B2 (en) * 2004-11-12 2008-12-23 Honeywell International Inc. Infrared face detection and recognition system
JP4442472B2 (ja) * 2005-03-07 2010-03-31 株式会社豊田中央研究所 対象物の部位判別装置
US20070140553A1 (en) * 2005-12-19 2007-06-21 Olympus Corporation Dental colorimetry apparatus
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
JP2008182360A (ja) * 2007-01-23 2008-08-07 Funai Electric Co Ltd 皮膚領域検出撮像装置
US20080304736A1 (en) * 2007-02-20 2008-12-11 Masahiro Nakagawa Method of estimating a visual evaluation value of skin beauty
JP4853414B2 (ja) * 2007-07-18 2012-01-11 ソニー株式会社 撮像装置、画像処理装置およびプログラム
JP5156365B2 (ja) 2007-12-27 2013-03-06 ライオン株式会社 プラスチックボトル
US8174611B2 (en) * 2009-03-26 2012-05-08 Texas Instruments Incorporated Digital image segmentation using flash

Also Published As

Publication number Publication date
JP2014064047A (ja) 2014-04-10
EP2378759A1 (en) 2011-10-19
CN102138148A (zh) 2011-07-27
US20110142349A1 (en) 2011-06-16
KR20120039498A (ko) 2012-04-25
US20110216941A1 (en) 2011-09-08
EP2384485A1 (en) 2011-11-09
CN102138148B (zh) 2013-07-24
US8285054B2 (en) 2012-10-09
JP4548542B1 (ja) 2010-09-22
US8107706B2 (en) 2012-01-31
JPWO2011001761A1 (ja) 2012-12-13
EP2378759A4 (en) 2012-11-07
JP4831267B2 (ja) 2011-12-07
WO2011001761A1 (ja) 2011-01-06
WO2011001593A1 (en) 2011-01-06
KR20120031309A (ko) 2012-04-02
US20110194774A1 (en) 2011-08-11

Similar Documents

Publication Publication Date Title
TW201112168A (en) Information processing apparatus and information processing method
US20210334526A1 (en) Living body detection device, living body detection method, and recording medium
JP5800175B2 (ja) 画像処理装置、画像処理方法、プログラム、及び電子機器
JP2012249917A (ja) 画像処理装置および方法、画像処理システム、プログラム、および、記録媒体
JP5573209B2 (ja) 画像処理装置、画像処理方法、プログラム、及び電子機器
JP2010026858A (ja) 認証用画像撮像装置
JP5287792B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR101146017B1 (ko) 정보 처리 장치 및 정보 처리 방법
JP6819653B2 (ja) 検知装置
JP7343020B2 (ja) 情報処理装置
JP7507659B2 (ja) 撮影装置、認証装置及び生体撮影方法
JP2011158447A (ja) 画像処理装置、画像処理方法、プログラム、及び電子機器
JP2022075288A (ja) 撮影装置、認証装置及び生体撮影方法
JP2012000147A (ja) 画像処理装置、画像処理方法、プログラム、及び電子装置