JP5793493B2 - クロマキーを用いたジェスチャ認識 - Google Patents

クロマキーを用いたジェスチャ認識 Download PDF

Info

Publication number
JP5793493B2
JP5793493B2 JP2012516939A JP2012516939A JP5793493B2 JP 5793493 B2 JP5793493 B2 JP 5793493B2 JP 2012516939 A JP2012516939 A JP 2012516939A JP 2012516939 A JP2012516939 A JP 2012516939A JP 5793493 B2 JP5793493 B2 JP 5793493B2
Authority
JP
Japan
Prior art keywords
color
background
sets
image
colors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012516939A
Other languages
English (en)
Other versions
JP2012531652A (ja
Inventor
ソン,ロン
ワン,ジン
リュウ,ユンチァン
ザン,ファンファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2012531652A publication Critical patent/JP2012531652A/ja
Application granted granted Critical
Publication of JP5793493B2 publication Critical patent/JP5793493B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、画像処理技術に関し、特に対象物を分析するために画像処理技術を利用することに関する。
画像処理技術を用いて人の手の形状などの対象物を認識するための装置は、当該技術分野においてよく知られている技術であり、認識を目的とするいくつかの先行技術システムが存在し、これは例えば、カメラ及び電子処理装置を用いて異なる手のジェスチャを認識するものである。かかる従来技術では、前記対象物の画像は、通常は、複雑な背景の前、又は固定色の背景の前でキャプチャされる。しかし、異なる対象物は異なる色を持つ可能性がある(例えば、異なる皮膚の色)。前記対象物の色が前記背景色と近い場合、従来技術では正確なかつ安定な認識を行うことは難しかった。このためにこれらの従来技術システムでは高精度及び高安定性が要求される分野では限界があった。
従って、人の手のような対象物を高精度かつ高安定に検出しかつ分析する技術が必要とされている。高精度でかつ高安定に対象物、特に異なる色を持つ対象物を検出しかつ分析する技術を提供することは有利なこととなるであろう。
本発明によれば、背景は、分析される対象物の後ろに配置され、前記背景に色が前記対象物の色と異なるように設定され得る。これにより、前記対象物及び背景を含む画像が取得された後、前記画像の前記背景部分を前記対象物と区別することを容易にする。これにより、異なる対象物、特に異なる色を持つ対象物の安定な認識を与える結果となる。
本発明の1つの側面によれば、対象物を分析するための方法及びシステムを提供する。前記システムは:
対象物の後ろに配置される背景を含み、前記背景の色が全ての色の組みから選択され得るものであり;
前記背景の色を、前記色が前記対象物の色とは異なるように設定するための第1のユニットと;
前記対象物及び前記背景を含む画像を取得する第2のユニットと;及び
前記第2のユニットで取得された前記画像により前記対象物と関連する少なくとも1つの特徴を検出するための第3のユニットとを含む、システムである。
かかるシステムおよび方法の利点は次の点である。すなわち、前記取得された画像から前景(即ち前記対象物部分)を前記背景から区別することが容易になるということである。というのは前記背景の色は前記対象物の色とは非常に異なるからである。さらに、かかるシステムでは、前記背景色は前記対象物の色に従い設定され得るものである。従って、たとえ前記対象物の色が他の対象物と置換された対象物により変化する場合であっても、前記システムはなお、前記取得された画像により前記対象物に関する特徴を高い信頼性で検出することができるものである。
好ましくは、前記背景として選択された色が前記対象物の色と、彩度、輝度又はその両方の点から異なるものである。かかるシステムは、必要に応じて、低コストのモノクロカメラ又はカラーカメラのいずれかを前記第2のユニットとして持つ。
好ましくは、前記背景の色は前記第1のユニットの第1のモジュールにより決定され得る。1例では、前記第1のモジュールは前記背景色としてデフォルト色(例えば緑色)を選択してよい。他の例では、前記背景色はユーザ入力に基づいて決められ得る。ここで前記ユーザ入力は前記ユーザが選択を望む背景色を指示するものである。かかるシステムは非常に単純であり操作が容易である。さらなる例では、前記背景色は前記対象物及びユーザ入力の検出された色の分布により決められ得る。かかるシステムは、前記患者又はユーザが、前記対象物のより正確な分析を達成するために前記背景色として最適の色を選択するための補助を行うことができる。
好ましくは、前記対象物の前記色分布は次のステップを実行することで自動的に決められ得る:
前記背景色のサブセットを順に選択して異なる色の1組の背景を生成するステップ;
前記1組の背景のそれぞれの背景につき、前記対象物及び前記背景を含む少なくとも1つの画像を所得するステップ;
前記組の背景について取得された画像の統計分析に基づき、前記対象物の色分布を検出するステップ、とを含む。
かかるシステムは前記対象物の前記色分布を自動的に検出し、前記背景の最適化色をユーザが介入することなく正確に決めることができる。
好ましい実施態様では、前記対象物は身体の一部分(人の手など)であり、前記システムはさらに、前記第3のユニットにより検出された少なくとも1つの特徴に基づき、前記身体の前記部分のジェスチャを認識するための第4のユニットを含む。例えば、前記検出された特徴は前記身体のシルエットであってよい。かかるシステムは前記身体の前記部分の前記ジェスチャをさらなる分析のために正確にかる高安定に検出することができる。
さらに、前記システムは、リハビリテーションシステムに利用され得るものである。ここで前記対象物は患者の身体の部分(例えば、上肢及び手など)である。前記リハビリテーションシステムはさらに、前記身体の部分の認識されたジェスチャが正しいかどうかを評価し、かつその結果を患者に知らせるために音響及び/又はビデオシグナルを介してフィードバックさせる。これによりかかるシステムは家庭用リハビリテーションシステムとなり、患者が自分で自動的に運動再学習訓練を実行するようにできるものである。
本発明の他の実施態様によれば、対象物の分析を支持するための装置が提供され、前記装置は:
前記対象物の後ろに配置されることを意図された背景を含み、前記背景の色が全ての種々の色から選択され得るものであり;
前記与えられた色が前記対象物の色と異なる色となるように前記背景の色を配置するための第1のユニットを含む、ものである。
かかる装置は、前記のようなリハビリテーションシステムを確立するためのカメラ及びコンピュータと協働し得る。
本発明のこれらの及び他の側面は、以下説明される実施態様を参照して明らかとなるであろう。本発明は添付された図面を参照しつつより詳細に説明される。図中の類似の符号は、類所の又は対応する特徴及び/又は機能を示す。
図1は本発明の1つの実施態様による対象物を分析するためのシステムの模式図である。 図2は、図2のシステムの操作手順を示すフローチャートである。 図3は、図1の制御装置のブロックダイヤグラムである。 図4は、本発明の1つの実施態様による対象物の色分布を自動的に決めるためのフローチャートを示す。 図5は、本発明の1つの実施態様によるリハビリテーションシステムのための操作手順を示すフローチャートである。 図6は、本発明の1つの実施態様により得られるシルエットを模式的に示す。
本発明の発明者は次の知見を得た。すなわち、分析されるべき対象物の後ろに配置される背景に色が、前記対象物の色と異なるように設定されることができれば有利となる、ということである。前記対象物と前記背景と大きな色の違いがあると、前記対象物及び前記背景を含む画像の対象物に関する部分を区別することが容易となる。
図1は、前記明の考えによる対象物を分析するための例示的システム10を示す。前記システム10は手のジェスチャなどを認識するシステムであり得る。図1に示すように、システム10は背景110、制御装置120(第1のユニット)、カメラ130(第2のユニット)及び処理ユニット140を含み、前記処理ユニット140は、例えば検出ユニット141(第3のユニット)及び他の選択的機能ユニット142及び143(以下説明される)を含む。
図1に示されるように、例えば人の手などの分析されるべき対象物が、前記背景110及びカメラ130の間に置かれる。ここで前記背景110の位置及び高さは望むように調節され得る。例えば、異なるユーザに適合させるように調節され得る。カメラ130は対象物150及び背景110を含む画像を所得する。カメラ130はデジタルカメラ又はデジタルビデオカメラであり得る。カメラ130は、無線又は有線接続で前記処理装置140に接続されていて、取得画像が前記カメラ130から前記処理装置へ分析のために送られる。処置装置140は、ラップトップ、PDA、携帯電話又は全ての電子装置であって画像処理機能があるものすべてであり得る。前記処理ユニット140は受け取った画像を処理して、前記対象物150に関する少なくとも1つの特徴を検出する。前記対象物の特徴には、位置、サイズ、輪郭又は前記画像から検出され得る全ての他の特徴を含む。
図1の実施態様では、背景110の色は全ての種々の色から選択され得る。例えば、背景110は、複数のLEDが埋め込まれているLED照明ボードであってよい。LED照明ボードの色は、徐々に増加又は減少するR.G.B.値を持つ100通りの異なる色のいずれでもあり得る。しかし本発明はこれに限定されるものではない。背景色の数及びタイプは必要により決められる。背景110はLED照明ボードに限定されず温度制御可変色ボードなどであり得る。背景色以外、背景のテクスチャがまたユーザの好みに合わせて選択又は変更されてよい。それによりユーザフレンドリーなインタフェースが提供され得ることとなる。
図1では、制御装置120が、背景のための与えられた色を選択するために背景110と接続されている。前記与えられた色は前記対象物の色とは異なる。前記制御装置12はリモートコントロールユニット140として分離された装置として操作されることができ、また前記背景(単純な場合)又は前記処理ユニット140のいずれかに統合され得る。背景の与えられた色は、彩度、輝度又はそれらの両方で対象物の色と異なり得る。例えば、色はYUV又はRGBフォーマットで表され得る。YUVフォーマットでは、Yは輝度を表し、かつU、Vは彩度をさらわす。対象物の色の彩度のみ(皮膚色)が考慮される場合には、Uは80〜100及びVは120〜140であり、背景に与えられた色は対象物の色からはずっと離れたものであるべきである。例えば前記与えられた色のU及びVは共に約230である。この方法で、対象物の色と背景の色とに大きな違いが存在する。この色の差は、カメラ130で取得された画像の対象物に関する特徴(例えば、シルエット)を検出する助けとなる。
図2は、システム10の操作手順を例示する。図2に示されるように、ステップS210ではシステム10が初期化され、対象物150(例えば人の手)が背景110の前に置かれる。ステップS220で、制御装置120が、制御シグナルを背景110に送って背景の色を与えられた色に設定する。与えられた色は対象物の色とは大きく異なる色である。例えば、与えられた色が緑色などのデフォルト色であり得る。この色は明らかに黄色人種の皮膚の色とは異なる。前記制御装置120の例は図3及び4に関連して以下に説明される。
ステップS230において、カメラ130は対象物150及び配置された背景110を含む少なくとも1つの画像を取得する。取得画像はその後制御装置140へ送られる。カメラ130は前記制御装置ユニット又は制御装置からの命令により画像を取得するか、又は連続的に取得する。ステップS240で、前記処理ユニット140の検出ユニット141が受け取った画像を画像処理して少なくとも1つの対象物の特徴を検出する。背景色が対象物の色とは非常に異なるので、ユニット141が知られた技術を用いて取得画像から対象物の部分を区分することは容易である。例えば、前記区分化は自動決定閾値を用いることで実行できる。検出ユニット141では、区分化された対象物はさらに処理されて対象物についての特徴、例えば位置、サイズ及び対象物のシルエットなどをさらなる分析(認識など)のために、検出する。特徴を検出する例示的手順は図5に関連して以下説明される。
図1で、前記制御装置120は異なる方法で実行され得る。図3は前記制御装置120のいくつかの例を示す。
図3に示されるように、制御装置120は前記背景110の与えられた色を決めるための第1のモジュール310を含む。例えば、前記のように、初期化の際に、前記第1のモジュールが前記背景の色としてデフォルト色(例えば緑色)を選択し、前記背景110をその色に設定することができる。
また図3に示されるように、制御装置120はさらに、ユーザインタフェース320を含み、ユーザ入力を受け取る。前記ユーザ入力は、ユーザが選択を望む背景色を直接指示するものである。この場合、前記第1のモジュール310は、与えられた色として前記ユーザ入力の色を決める。これは簡単な方法である。というのはほとんどの場合に対象物の色と異なる背景色を主観的に選ぶことができるからである。
他の例では、制御装置120はさらに、対象物150の色分布を検出するための第2のモジュールを含む。この例では、ユーザインタフェース320からのユーザ入力は、対象物の色を指示する(例えば皮膚の色及び/又は袖の色)。前記ユーザ入力に基づき、前記第2のモジュール330が他の対象物の色分布を生成し、与えられた色が前記第1のモジュール310で前記色分布に基づき決められる。例えば、与えられた色は、100の異なる色の1つであり、その色は閾値よりもずっと大きく皮膚及び袖の色から離れた色を持つ。また与えられた色と対象物の色分布でのそれぞれの成分との間がより大きく異なるほど、よりよい結果が予期される。
さらなる実施態様では、前記制御装置120は前記第1のモジュール310及び第2のモジュール330のみを持つ。この例では、前記第2のモジュール330は自動的に対象物150の色分布を検出する。この方法は対象物の色が複雑な場合により適切である。例示的処理手順が図4に示される。
図4に示されるように、手順はステップS410から開始される。ステップS410で、背景110が、1組の色(例えば100の異なる色又はこれらの色のサブセット)を順に表すように構成されており、1組の異なる背景色が生成される。ステップS410は前記第2のモジュール330又は前記第2のモジュールの制御の下で第1のモジュール310により実行され得る。ステップS420で、背景色の異なる色のそれぞれについて、カメラ130が、前記第2の制御装置の制御の下で背景及び対象物を含む少なくとも1つの画像を取得する。それにより異なる背景色の1組の画像が取得されることとなる。ステップS430で前記画像の組みが前記第2のモジュール330へ直接又は前記処理ユニット140を介して送られる。ステップS440で、前記画像の組みが統計的に分析され対象物の色分布を検出する。
1例では、ステップS440で、前記画像の組のそれぞれについてR、G、B分布がヒストグラムを介して計算される。ここで対象物150の色分布が計算された色分布と比較して達成される。というのは、対象物は常に同じ又は類似の色分布を持つからである。より単純な例で、取得された画像は、R、G、B次元で累積される。これらの画像の対象物の部分は変化しないが、背景部分の色は大きい範囲で変更されることから、前記累積されたフレームのヒストグラムにおいて他の領域よりも明らかに高いピーク領域が存在し、前記ピーク領域は前記対象物の部分の色範囲、即ち対象物の色分布に対応する。対象物の色分布が検出されると、背景のための与えられる色は、前記中心又は前記色のピークから最も離れた色を持つ色として決められ得る。
図1〜4はシステム10のいくつかの実施態様を示す。システム10は異なる応用に利用され得る。例えば、手のジェスチャの認識のためのシステムである。この認識システムでは、前記処理ユニットはさらに、認識ユニット142を含み、前記検出ユニット141により検出された特徴に基づいてユーザの手のジェスチャを認識する。システム10はさらに、製品分類システムなどの他のシステムにも応用可能である。
図5は図1のシステム10がリハビリテーションシステムとして利用される実施態様を示す。リハビリテーションシステムは運動機能障害を持つ患者を助けて患者の失われた機能を回復させるものである。従来のリハビリテーションシステムには、電気刺激(FES)システム、ロボットなどがある。しかしこれらのリハビリテーションシステムは高価であり複雑であり、家庭内での使用を制限するものであった。従って、この実施態様で、低コスト、家庭内でのリハビリテーションシステムが提供され、患者が自分で例えば上肢及び手の運動学習訓練を実施することができる。
この実施態様では、図1のシステム10はリハビリテーションシステムで操作される。リハビリテーションシステムでは、処理ユニット140はさらに、命令ユニットを含み(図示されていない)、患者に対し音響又はビデオシグナルを介してある動きを行うように指示する。または前記処理ユニット140はさらに、前記の認識ユニット142及び判断ユニット143を含む。前記判断ユニット143は、ユニット142で認識されたジェスチャが正しいかどうかを判断し、フィードバックシグナルを患者に返して患者を促す。さらに、処理ユニット140は表示装置を含み、取得画像をリアルタイムで表示する。
図5は、前記リハビリテーションシステムの操作手順を例示する。図5に示されるように、ステップS510で、患者は彼の上肢及び手を対象物150として、背景110及びカメラ130の間に置くことを求められ、さらに求められ場合にはある動きを行うように求められる(例えば、こぶしをにぎる、など)。ステップS520で図2〜4の手順により、背景色が、患者の例えば皮膚及び袖の色と異なるように選択される。ステップS530で、図2と同様の方法で、カメラ130が患者の上肢及び手、及び背景を含む画像を取得して、上肢及び手の状況をキャプチャする。ステップS540で画像は処理ユニット140の検出ユニット141へ送られ、上肢及び手の特徴が検出される。例えば、ステップS540で、上肢及び手の部分、即ち対象物部分を区分した後、例えば幾何中心を得るためのアルゴリズム又はエロージョン(erosion)方法を用いて手の中心位置を検出する。前記中心位置は対象物の位置を表し、これを参照位置として使用され得る。さらにステップS540で区分化された対象物部分、即ち上肢及び手部分がさらにハイパスフルタでフィルタされ(例えば、ソーベル演算子を用いて)、上肢及び手のシルエットを得る。好ましくは、得られたシルエットはさらに明瞭化処理(de−blurred)してシルエットの不鮮明効果を取り除かれ得る。明瞭な境界線が非常に重要な場合、前記明瞭化処理は有用である。図6では上肢及び手の2つのシルエット610及び620が示されるが、これらは前記方法で少なくとも2つの順に取得された画像から得られるものである。
次にステップ550で、認識ユニット142はさらに前記検出された特徴(位置及び/又はシルエット)を処理して患者の為したジェスチャを認識する。前記認識のためには種々の方法が適用され得る。例えば、上肢のジェスチャは、前記検出された中心位置、及び前記検出されたシルエットにより示される前記上腕及び前腕間の角度に基づいて主に認識され得る。好ましくは、人口ニューラルネットワーク(ANN)又は最大近似推測装置(maximum likelihood estimator)をステップ550で適用する。ANNアルゴリズムのために、ANNへの入力は、前記検出されたシルエットの特徴であり、例えばシルエットの特徴点(極端点又は変曲点)、前記中心位置とシルエットのそれぞれの点との平均距離又は標準偏差などである。ANNの出力は前記認識されたジェスチャを同定することであり、例えば図6での手が開いている610及び閉じている620などである。ステップS560で、判断ユニット143が、前記認識されたジェスチャが既定の通り正しいかどうかを判断し、その結果に応じてフィードバックシグナル、例えば報酬シグナルを患者に返す。この動機付けにより、患者は自分で運動再学習訓練の実施を続行することができる。又は、複数のかかるリハビリテーションシステムをネットワークでリハビリテーションセンターに接続する。リハビリテーションセンターの医者は、2以上の患者を同時に、再学習訓練を行うことを助けることができる。
本発明は図面及び前記記載により詳細に説明されてきたが、かかる記載及び説明は説明及び例示を目的とするものであり、なんらを制限する目的ではない。本発明は実施態様に限定されるものではない。例えば、本発明は、下肢又は他の身体部分を認識するため、又はある装置の空間的動きを認識するために適用可能なものである。又は、本発明は製品の分類又は対象物の分析のためにも適用可能なものである。
開示された実施態様についての他の変法・変更については、本図面、詳細な説明及び特許請求の範囲から当業者には理解されるものである。特許請求の範囲において、用語「含む」は他のエレメント又はステップを除外するものではなく、「ひとつの」は複数を除外するものではない。単一のプロセッサ又は他のユニットは特許請求の範囲に記載のいくつかの事項の機能を満たすことができる。ある手段が相互に異なる従属請求項に記載されているという事実は、これらの手段の組み合わせが有利なものとして使用され得ない、ということを意味するものではない。コンピュータプログラムは適切な媒体、例えば光学記憶媒体又は半導体記憶媒体に、他のハードウェアと共に又はそれらの一部として供給されてよく、又は他の形、例えばインターネット又は他の有線又は無線通信システムを介して供給されてよい。特許請求の範囲で使用される符号は本発明の範囲を限定するものと解釈されるべきではない。

Claims (15)

  1. 対象物を分析する機能を有するリハビリテーションシステムであって:
    前記対象物に対する背景を提供するために前記対象物の後ろに配置された背景ユニットであり、前記背景ユニットの色は全ての色の組から選択され得る背景ユニットと;
    制御装置であり、自動的に、
    前記対象物の色分布を検出し、
    前記対象物の前記検出した色分布に基づいて前記背景のために前記色の組から色を決定し、前記色は前記対象物の色とは異なるものであり、かつ、
    前記背景の色を前記色に設定する、
    ように構成されている制御装置と;
    前記対象物及び前記色に設定された前記背景を含む画像を取得するカメラと;
    前記カメラで取得された前記画像に従って前記対象物に関連する少なくとも1つの特徴を検出するように構成された処理ユニットと、を含み、
    前記対象物が身体の部分であり、前記処理ユニットは、さらに:
    前記身体の部分のジェスチャを、前記検出された少なくとも1つの特徴に基づいて認識し、
    前記認識されたジェスチャが正しいかどうかを判断する、
    ように構成されている、システム。
  2. 請求項1に記載のシステムであり、前記色が、彩度及び/又は輝度において前記対象物の色と異なる、システム。
  3. 請求項1に記載のシステムであり、前記制御装置は、さらに、
    前記対象物の色が不変である一方で、複数の前記色の組のそれぞれに対して前記背景を設定し、
    前記複数の前記色の組のそれぞれを用いて前記対象物の画像を取得するように前記カメラをコントロールし、かつ、
    前記背景の色として、前記対象物の色から最も離れたところに位置する色を設定する、
    ように構成されているシステム。
  4. 請求項1に記載のシステムであり、前記制御装置は、さらに、
    前記対象物の色が不変である一方で、複数の前記色の組のそれぞれに対して前記背景を設定し、
    前記複数の前記色の組のそれぞれを用いて前記対象物の画像を取得するように前記カメラをコントロールし、
    前記画像を赤(R)、緑(G)、青(B)の色分布において累積し、
    前記累積された画像の色分布のヒストグラムを生成し、
    前記ヒストグラムのピーク領域を配置し、
    前記ピーク領域から最も離れたところの色を見積り、かつ、
    前記背景の色として、前記ピーク領域から最も離れた色を設定する、
    ように構成されているシステム。
  5. 請求項1に記載のシステムであり、前記制御装置は、さらに、
    前記背景から前記対象物を分離する、
    ように構成されているシステム。
  6. 請求項4に記載のシステムであり、前記第制御装置は、さらに、
    ユーザ入力を受け取るためのユーザインタフェースを含み、
    前記制御装置は、前記対象物の前記検出された色分布及び前記ユーザ入力に基づいて前記色を選択するように構成されている、システム。
  7. 請求項1に記載のシステムであり、前記処理ユニットは、さらに:
    前記判断の結果に応じて、フィードバックシグナルを患者に返すように構成されている、システム。
  8. 対象物の分析を支持する機能を有するリハビリテーションのための装置であり、前記装置は:
    前記対象物の後ろに背景を提供するために前記対象物の後ろに配置された背景ユニットであり、前記背景ユニットの色は全ての色の組から選択され得る背景ユニットと;
    一つまたはそれ以上のコンピュータープロセッサであり、
    前記背景の色をコントロールし、
    前記対象物の色が不変である一方で、複数の前記色の組のそれぞれに対して前記背景を設定し、
    前記複数の前記色の組のそれぞれを用いて前記対象物の画像を取得するようにカメラをコントロールし、かつ、
    前記背景の色として、前記対象物の色から最も離れたところに位置する色を設定する、
    ように構成されたプロセッサと、を含み、
    前記対象物が身体の部分であり、前記プロセッサは、さらに:
    前記身体の部分のジェスチャを、検出された少なくとも1つの特徴に基づいて認識し、
    前記認識されたジェスチャが正しいかどうかを判断する、
    ように構成されている、装置。
  9. 請求項8に記載の装置であり、前記一つまたはそれ以上のコンピュータープロセッサは、さらに、
    前記対象物の色分布に基づいて前記背景のために前記色の組から色を決定する、
    ように構成されており、
    前記色は前記対象物の色とは異なる、装置。
  10. 請求項8に記載の装置であり、前記一つまたはそれ以上のコンピュータープロセッサは、さらに、
    前記画像を赤(R)、緑(G)、青(B)の色分布において累積し、
    前記累積された画像の色分布のヒストグラムを生成し、
    前記ヒストグラムのピーク領域を配置し、
    前記ピーク領域から最も離れたところの色を見積り、かつ、
    前記背景の色として、前記ピーク領域から最も離れた色を設定する、
    ように構成されている、装置。
  11. 請求項8に記載の装置であり、前記背景ユニットが、少なくとも1つのLEDが埋め込まれているボードである、装置。
  12. 対象物を分析する機能を有するリハビリテーションのための方法であり、前記方法は:
    前記対象物の後ろに配置された背景ユニットを提供するステップであり、背景の色は全ての色の組から選択され得るステップと;
    前記背景を前記色の組の色に自動的に設定するステップであり、前記色が前記対象物の色と異なるステップと;
    前記色に設定された前記背景と前記対象物とを含む画像を取得するステップと;
    前記取得された画像に従って前記対象物に関連する少なくとも1つの特徴を検出するステップ、と、を含み、
    前記対象物が身体の部分であり、前記方法は、さらに:
    前記身体の部分のジェスチャを、前記検出された少なくとも1つの特徴に基づいて認識するステップと、
    前記認識されたジェスチャが正しいかどうかを判断するステップと、
    を含む、方法。
  13. 請求項12に記載の方法であり、前記方法は、さらに、
    前記対象物の色が不変である一方で、複数の前記色の組のそれぞれに対して前記背景を設定するステップと、
    前記複数の前記色の組のそれぞれを用いて前記対象物の画像を取得するようにカメラをコントロールするステップと、
    前記背景の色として、前記対象物の色から最も離れたところに位置する色を設定すると、を含む、方法。
  14. 請求項12に記載の方法であり、前記方法は、さらに、
    前記対象物の色が不変である一方で、複数の前記色の組のそれぞれに対して前記背景を設定するステップと、
    前記複数の前記色の組のそれぞれを用いて前記対象物の画像を取得するようにカメラをコントロールするステップと、
    前記画像を赤(R)、緑(G)、青(B)の色分布において累積するステップと、
    前記累積された画像の色分布のヒストグラムを生成するステップと、
    前記ヒストグラムのピーク領域を配置するステップと、
    前記ピーク領域から最も離れたところの色を見積るステップと、
    前記背景の色として、前記ピーク領域から最も離れた色を設定するステップと、
    を含む、方法。
  15. 請求項13に記載の方法であり、前記方法は、さらに、
    前記対象物の色分布を検出するために、前記背景から前記対象物を分離するステップを含む、方法。
JP2012516939A 2009-06-25 2010-06-23 クロマキーを用いたジェスチャ認識 Expired - Fee Related JP5793493B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN200910150894 2009-06-25
CN200910150894.1 2009-06-25
PCT/IB2010/052839 WO2010150201A1 (en) 2009-06-25 2010-06-23 Geture recognition using chroma- keying

Publications (2)

Publication Number Publication Date
JP2012531652A JP2012531652A (ja) 2012-12-10
JP5793493B2 true JP5793493B2 (ja) 2015-10-14

Family

ID=42931884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012516939A Expired - Fee Related JP5793493B2 (ja) 2009-06-25 2010-06-23 クロマキーを用いたジェスチャ認識

Country Status (8)

Country Link
US (1) US8817125B2 (ja)
EP (1) EP2446395A1 (ja)
JP (1) JP5793493B2 (ja)
KR (1) KR101783999B1 (ja)
CN (1) CN102804204B (ja)
BR (1) BRPI1010041A2 (ja)
RU (1) RU2556417C2 (ja)
WO (1) WO2010150201A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5413673B2 (ja) * 2010-03-08 2014-02-12 ソニー株式会社 情報処理装置および方法、並びにプログラム
CN103903000B (zh) * 2012-12-28 2020-01-31 联想(北京)有限公司 一种从背景中识别目标物体的方法及系统
JP6335695B2 (ja) * 2014-07-09 2018-05-30 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
WO2018215475A1 (de) * 2017-05-22 2018-11-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Beleuchtungssystem und aufnahmesystem für volumetrisches capturing
CN109214372B (zh) * 2018-11-01 2021-04-02 深圳蓝胖子机器智能有限公司 姿态确定方法、装置和计算机可读存储介质
CN112836692B (zh) * 2020-11-27 2023-03-24 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备和介质
US11386580B1 (en) * 2021-08-13 2022-07-12 Goodsize Inc. System apparatus and method for guiding user to comply with application-specific requirements

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5423554A (en) * 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
JPH09185711A (ja) * 1995-12-28 1997-07-15 Kobe Steel Ltd 形状認識方法及び装置
GB9619119D0 (en) * 1996-09-12 1996-10-23 Discreet Logic Inc Processing image
US5946500A (en) * 1997-09-18 1999-08-31 Oles; Henry J. Apparatus and method for chroma replacement
JP3241327B2 (ja) * 1998-08-22 2001-12-25 大聖電機有限会社 クロマキーシステム
US6674485B2 (en) * 1998-08-31 2004-01-06 Hitachi Software Engineering Co., Ltd. Apparatus and method for image compositing
JP2001246161A (ja) * 1999-12-31 2001-09-11 Square Co Ltd ジェスチャー認識技術を用いたゲーム装置およびその方法ならびにその方法を実現するプログラムを記憶した記録媒体
JP2002118859A (ja) * 2000-10-05 2002-04-19 Sony Corp 撮影装置及び撮影方法
US7253832B2 (en) * 2001-08-13 2007-08-07 Olympus Corporation Shape extraction system and 3-D (three dimension) information acquisition system using the same
KR100422709B1 (ko) * 2001-10-05 2004-03-16 엘지전자 주식회사 영상 의존적인 얼굴 영역 추출방법
JP3876985B2 (ja) * 2002-09-18 2007-02-07 オムロンエンタテインメント株式会社 写真シール販売機および画像印刷方法
RU2268497C2 (ru) * 2003-06-23 2006-01-20 Закрытое акционерное общество "ЭЛВИИС" Система и способ автоматизированного видеонаблюдения и распознавания объектов и ситуаций
US7593593B2 (en) 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
WO2006095779A1 (ja) * 2005-03-10 2006-09-14 Fuji Photo Film Co., Ltd. 撮影システム
JP2007156950A (ja) * 2005-12-07 2007-06-21 Toyota Motor Corp 車両用操作装置
US8589824B2 (en) 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
JP2008152622A (ja) * 2006-12-19 2008-07-03 Mitsubishi Electric Corp ポインティング装置
CN101398896B (zh) * 2007-09-28 2012-10-17 三星电子株式会社 用于成像设备的提取有强识别力的颜色特征的设备和方法

Also Published As

Publication number Publication date
US8817125B2 (en) 2014-08-26
KR20120112359A (ko) 2012-10-11
WO2010150201A1 (en) 2010-12-29
KR101783999B1 (ko) 2017-11-06
CN102804204A (zh) 2012-11-28
CN102804204B (zh) 2015-07-01
BRPI1010041A2 (pt) 2016-09-20
RU2012102412A (ru) 2013-07-27
US20120092519A1 (en) 2012-04-19
RU2556417C2 (ru) 2015-07-10
JP2012531652A (ja) 2012-12-10
EP2446395A1 (en) 2012-05-02

Similar Documents

Publication Publication Date Title
JP5793493B2 (ja) クロマキーを用いたジェスチャ認識
WO2020207423A1 (zh) 肤质检测方法、肤质等级分类方法及肤质检测装置
CN108351961B (zh) 以图像为基础的生物识别系统及计算机实施方法
US9547791B2 (en) Image processing system, image processing apparatus, image processing method, and program
WO2019080797A1 (zh) 一种活体检测方法、终端和存储介质
TWI362005B (ja)
US10013632B2 (en) Object tracking apparatus, control method therefor and storage medium
CN107710221B (zh) 一种用于检测活体对象的方法、装置和移动终端
CN111814745B (zh) 手势识别方法、装置、电子设备及存储介质
CN107169427B (zh) 一种适用于心理学的面部识别方法及装置
CN103000054B (zh) 智能厨房烹饪教学机及其控制方法
JP2019048026A (ja) 生体情報解析装置及び手肌解析方法
CN111880640A (zh) 屏幕控制方法、装置、电子设备及存储介质
CN111639582B (zh) 活体检测方法及设备
JP2010239499A (ja) 通信端末装置、通信制御装置、通信端末装置の通信制御方法、通信制御プログラム
KR101344851B1 (ko) 영상처리장치 및 영상처리방법
JP2002282210A (ja) 視線検出方法及びその装置
CN110610183A (zh) 谷物评估方法、装置和存储介质
JP2018113660A (ja) 情報処理装置、情報処理方法、システム
US20180276458A1 (en) Information processing device, method and storage medium
TW201621548A (zh) 人員使用手持裝置的偵測方法以及系統
US8538142B2 (en) Face-detection processing methods, image processing devices, and articles of manufacture
TWI650712B (zh) 指紋擷取方法及指紋擷取模組
WO2020240989A1 (ja) 撮像装置、撮像制御方法および撮像制御プログラム
JP7534913B2 (ja) 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150810

R150 Certificate of patent or registration of utility model

Ref document number: 5793493

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees