JP5174492B2

JP5174492B2 - 画像認識装置、画像認識方法、画像認識プログラム、ジェスチャ動作認識システム、ジェスチャ動作認識方法、及びジェスチャ動作認識プログラム

Info

Publication number: JP5174492B2
Application number: JP2008055564A
Authority: JP
Inventors: 亨山口; 翔一朗櫻井
Original assignee: Tokyo Metropolitan University
Current assignee: Tokyo Metropolitan University
Priority date: 2008-03-05
Filing date: 2008-03-05
Publication date: 2013-04-03
Anticipated expiration: 2028-03-05
Also published as: JP2009211563A

Description

本発明は、画像認識装置、画像認識方法、画像認識プログラム、ジェスチャ動作認識システム、ジェスチャ動作認識方法、及びジェスチャ動作認識プログラムに関する。

我々は、様々な情報ツールを使用して日々、様々な情報を取得している。しかし、そのようなツールは機能が多すぎるため、使いこなすことが難しい場合がある。そのため、可能な限り直感的に理解できるインターフェースが必要とされている。そこで、自然なコミュニケーションであるジェスチャインターフェースの一つである指差し動作をロボット等の機械に読み取らせるための研究が行われている（例えば、非特許文献１，２参照。）。

これらの画像処理では、２つのカメラにより得た画像に対し線形変換を行い、人の形状の特徴点をすべて抽出して、人間の３次元情報と動作とを取得している。また、特別な道具を使用しないで人のジェスチャをシステム側が理解できるよう、小型デジタルカメラから得られる人の頭及び手の色情報を利用する研究も行われている（例えば、非特許文献３参照。）。

Takahiro Suzuki and Akihisa Ohya andShin’ichi Yuta, "Operation Direction to aMobile Robot by Projection Lights," Proc. 2005 IEEE Workshop on AdvancedRobotics and its Social Impacts.2005 David J.Cannon, Geb Thomas, Collin Wangand T. Kesavadas, "A Virtual Reality BasedPointe-and-direct Robotics System with Instrumented Glove." InternationalJournal of Industrial Engineering vol.1, no.2, pp.139-148,1994 Toru Yamaguchi et al. "Intelligent Spaceand Human centered Robotics" IEEE Transactions on Industrial electronics, Vol.50, No. 5, pp.881-889, 2003

しかしながら、上記従来のジェスチャ動作認識装置では、ＲＧＢ情報をもとに被写体を追跡しているので、ジェスチャを判別するためには、予め所定の色の帽子と手袋を着用した上で頭と手の位置を特定しなければならないという問題がある。また、時間を異ならせて取得した画像情報の変化を利用するため、処理時間がかかる。

本発明は上記事情に鑑みて成されたものであり、ジェスチャの識別精度を向上するとともに短時間で処理を行うことができる画像認識装置、画像認識方法、画像認識プログラム、ジェスチャ動作認識システム、ジェスチャ動作認識方法、及びジェスチャ動作認識プログラムを提供することを目的とする。

本発明は、上記課題を解決するため、以下の手段を採用する。
本発明に係る画像認識装置は、異なる位置に配された第一カメラ及び第二カメラと接続され、前記第一カメラ及び前記第二カメラにより同一被写体の画像を撮像する撮像手段と、同一時刻における前記第一カメラ及び前記第二カメラの画像情報を対比して被写体領域と背景領域とを識別する検出手段と、識別された前記被写体領域からさらに被写体の頭領域及び手先領域を検出するとともに、前記領域の各々の特徴点を三次元座標算出する特定手段と、を備えていることを特徴とする。

また、本発明に係る画像認識方法は、異なる位置に配された第一カメラ及び第二カメラと接続され、前記第一カメラ及び前記第二カメラにより同一被写体の画像を撮像する撮像ステップと、同一時刻における前記第一カメラ及び前記第二カメラの画像情報を対比して被写体領域と背景領域とを識別する検出ステップと、識別された前記被写体領域からさらに被写体の頭領域及び手先領域を検出するとともに、前記領域の各々の特徴点を三次元座標算出する特定ステップと、を備えていることを特徴とする。

また、本発明に係る画像認識プログラムは、コンピュータを、異なる位置に配された第一カメラ及び第二カメラと接続され、前記第一カメラ及び前記第二カメラにより同一被写体の画像を撮像する撮像手段と、同一時刻における前記第一カメラ及び前記第二カメラの画像情報を対比して被写体領域と背景領域とを識別する検出手段と、識別された前記被写体領域からさらに被写体の頭領域及び手先領域を検出するとともに、前記領域の各々の特徴点を三次元座標算出する特定手段と、して機能させることを特徴とする。

この発明は、従来のように、被写体の特徴点として算出する頭と手とに、背景とは異なる色情報を予め付与しておかなくても、被写体の頭と手との３次元情報をそれぞれ得ることができる。

また、本発明に係る画像認識装置は、前記画像認識装置であって、前記検出手段が、前記第一カメラ及び前記第二カメラにおけるそれぞれの画素値の差の相対的に大きい領域を被写体領域とし、かつ、画素値の差の相対的に小さい領域を背景領域とすることを特徴とする。

また、本発明に係る画像認識方法は、前記画像認識方法であって、前記検出ステップが、前記第一カメラ及び前記第二カメラにおけるそれぞれの画素値の差の相対的に大きい領域を被写体領域とし、かつ、画素値の差の相対的に小さい領域を背景領域とすることを特徴とする。

また、本発明に係る画像認識プログラムは、前記画像認識プログラムであって、前記検出手段が、前記第一カメラ及び前記第二カメラにおけるそれぞれの画素値の差の相対的に大きい領域を被写体領域とし、かつ、画素値の差の相対的に小さい領域を背景領域とする処理を行うことを特徴とする。

この発明は、第一カメラ及び第二カメラからともに近い物体は視差が大きく、第一カメラ及び第二カメラからともに離れた物体は視差が小さいので、第一カメラ及び第二カメラの近くの被写体を背景から識別させることができる。

また、本発明に係る画像認識装置は、前記画像認識装置であって、前記特定手段が、前記被写体領域の頂部を前記頭領域、かつ該頂部よりも尖った領域を前記手先領域と特定することを特徴とする。

また、本発明に係る画像認識方法は、前記画像認識方法であって、前記特定ステップが、被写体領域の頂部を前記頭領域、かつ該頂部よりも尖った領域を前記手先領域と特定することを特徴とする。

また、本発明に係る画像認識プログラムは、前記画像認識プログラムであって、前記特定手段が、前記被写体領域の頂部を前記頭領域、かつ該頂部よりも尖った領域を前記手先領域と特定する処理を行うことを特徴とする。

この発明は、三次元座標で算出された特徴点の動きから手先の指す方向を特定することができる。

本発明に係るジェスチャ動作認識システムは、本発明に係る画像認識装置と、特定された前記特徴点を追跡して被写体のジェスチャを判別するジェスチャ判別手段と、備えていることを特徴とする。

また、本発明に係るジェスチャ動作認識方法は、本発明に係る画像認識方法と、特定された前記特徴点を追跡して被写体のジェスチャを判別するジェスチャ判別ステップと、を備えていることを特徴とする。

また、本発明に係るジェスチャ動作認識プログラムは、本発明に係る画像認識プログラムと、特定された前記特徴点を追跡して被写体のジェスチャを判別するジェスチャ判別手段と、を備えていることを特徴とする。

この発明は、被写体の意志とジェスチャとの関係を予め決めておくことによって、カメラが撮像した手の動きによりジェスチャを特定することができ、さらにこのジェスチャから被写体の意志を読み取ることができる。

本発明によれば、ジェスチャの識別精度を向上するとともに短時間で処理を行うことができる。

本発明に係る一実施形態について、図１から図３を参照して説明する。
本実施形態に係るジェスチャ動作認識システム１は、３次元情報算出用画像認識モジュール（画像認識装置）２と、３次元情報算出用画像認識モジュール２に接続された第一デジタルカメラ（第一カメラ）３Ａ及び第二デジタルカメラ（第二カメラ）３Ｂと、結果確認用ディスプレイ５と、コマンド入力用コンピュータ６と、ジェスチャ判定処理用コンピュータ７と、を備えている。

３次元情報算出用画像認識モジュール２は、画像認識プログラムＩＰ及び必要な処理を行うためのデータ等が記憶されたＲＯＭ（リードオンリーメモリ）、必要なデータを一時的に保存するためのＲＡＭ（ランダムアクセスメモリー）、ＲＯＭ等に記憶されたプログラムに応じた処理を行うＣＰＵ（中央演算処理装置）、を備えている。なお、３次元情報算出用画像認識モジュール２は、市販のトラッキングビジョン（富士通株式会社製）のハードウエア構成を利用してもよい。

第一デジタルカメラ３Ａ及び第二デジタルカメラ３Ｂは、被写体の三次元位置を算出できるようにキャリブレーションがかけられ、互いの位置関係がずれないように固定されている。コマンド入力用コンピュータ６は、３次元情報算出用画像認識モジュール２を動作させるプログラムが収容されるユーザアプリケーション用記憶領域８を備えている。

ジェスチャ判定処理用コンピュータ７も、ＲＯＭ、ＲＡＭ、ＣＰＵを備えている。このジェスチャ判定処理用コンピュータ７には、ジェスチャ動作認識プログラムＪＰの後述するジェスチャ判別手段１３部分やジェスチャとユーザー（被写体）の意思表示との対応テーブルが保存されている。

ジェスチャ動作認識プログラムＪＰは、機能手段（プログラムモジュール）として、第一デジタルカメラ３Ａ及び第二デジタルカメラ３Ｂにより同一ユーザーの画像を撮像する撮像手段１０と、同一時刻における第一デジタルカメラ３Ａ及び第二デジタルカメラ３Ｂの画像情報を対比してユーザー領域（被写体領域）ＵＡと背景領域ＢＡとを識別する検出手段１１と、識別されたユーザー領域ＵＡからさらにユーザーの頭領域Ａ１及び手先領域Ａ２を検出するとともに、領域Ａ１，Ａ２の各々の特徴点Ｐ１，Ｐ２を三次元座標算出する特定手段１２と、を有する画像認識プログラムＩＰと、特定された特徴点Ｐ１，Ｐ２を追跡してユーザーのジェスチャを判別するジェスチャ判別手段１３を有するジェスチャ判別プログラムＲＰと、を備えている。

検出手段１１は、自乗誤差の計算を行うことにより、第一デジタルカメラ３Ａ及び第二デジタルカメラ３Ｂにおけるそれぞれの画素値の差の相対的に大きい領域をユーザー領域ＵＡとし、かつ、画素値の差の相対的に小さい領域を背景領域ＢＡとする処理を行う。

特定手段１２は、ユーザー領域ＵＡの頂部を頭領域Ａ１、かつ該頂部よりも尖った領域を手先領域Ａ２、として特定する処理を行う。ジェスチャ判別手段１３は、特定された特徴点を追跡して得られた３次元的な挙動をジェスチャと判別する。そして、予め決められたジェスチャとユーザーの意思表示との対応テーブルに基づき、ユーザーの意思を認識する。

次に、本実施形態に係る画像認識方法及びジェスチャ動作認識方法について、ジェスチャ動作認識プログラムＪＰの処理の流れと合わせて説明する。

この画像認識方法、ジェスチャ動作認識方法及びそのプログラムによる処理は、３次元情報算出用画像認識モジュール２、第一デジタルカメラ３Ａ及び第二デジタルカメラ３Ｂ、コマンド入力用コンピュータ６、ジェスチャ判定処理用コンピュータ７の間で行われる。
そして、第一デジタルカメラ３Ａ及び第二デジタルカメラ３Ｂにより同一ユーザーの画像を撮像する撮像ステップ（ＳＴ１）と、同一時刻における第一デジタルカメラ３Ａ及び第二デジタルカメラ３Ｂの画像情報を対比してユーザー領域ＵＡと背景領域ＢＡとを識別する検出ステップ（ＳＴ２）と、識別されたユーザー領域ＵＡからさらにユーザーの頭領域Ａ１及び手先領域Ａ２を検出するとともに、領域Ａ１，Ａ２の各々の特徴点Ｐ１，Ｐ２を三次元座標算出する特定ステップ（ＳＴ３）と、特定された特徴点Ｐ１，Ｐ２を追跡して被写体のジェスチャを判別するジェスチャ判別ステップ（ＳＴ４）と、を備えている。なお、これらの処理は、各種処理と並行してマルチタスクで実行される。

撮像ステップ（ＳＴ１）では、まず、所定のコマンドをコマンド入力用コンピュータ６に入力することにより、第一デジタルカメラ３Ａ及び第二デジタルカメラ３Ｂから撮像データ３ａ，３ｂを取得する。

ここで、同時刻の二つのデジタルカメラ３Ａ，３Ｂから得た撮像データ３ａ，３ｂを対比したとき、デジタルカメラ３Ａ，３Ｂの近くの物体は視差が大きく、またデジタルカメラ３Ａ，３Ｂから離れている物体は視差が小さい。そこで、検出ステップ（ＳＴ２）では、自乗誤差の計算を行い、ユーザー領域ＵＡを背景領域ＢＡから抽出する。

特定ステップ（ＳＴ３）では、ユーザー領域ＵＡの肌色部分のうち、頂部の頭領域Ａ１から特徴点Ｐ１を算出し、頂部よりも尖った領域の手先領域Ａ２から特徴点Ｐ２を算出して、その２点のみを追跡して画像解析を行う。

ジェスチャ判別ステップ（ＳＴ４）では、ジェスチャとユーザーの意思表示との対応テーブルに基づき、得られた特徴点Ｐ１，Ｐ２の動きと、ジェスチャとの対応付けの処理が行われる。

この３次元情報算出用画像認識モジュール２、画像認識方法及び画像認識プログラムＩＰによれば、検出手段１１と特定手段１２とを備えているので、従来のように予めユーザーに所定の色の帽子を被らせ、手には所定の色の手袋をはめさせて背景とは異なる色情報を付与しておかなくても、ユーザーの頭と手との３次元情報を得ることができる。したがって、ジェスチャとしての識別精度を向上するとともに短時間で処理を行うことができる。

また、検出手段１１によって、第一デジタルカメラ３Ａ及び第二デジタルカメラ３Ｂにおける視差を利用してそれぞれの画素値の差の相対的に大きい領域（視差大）をユーザー領域ＵＡとし、かつ、画素値の差の相対的に小さい領域（視差小）を背景領域ＢＡとすることができる。

さらに、特定手段１２によって、ユーザー領域ＵＡのうち、頭領域Ａ１及び手先領域Ａ２のそれぞれの三次元座標で算出された特徴点Ｐ１，Ｐ２の動きから手先の指す方向を特定することができる。

また、ジェスチャ動作認識システム１は、３次元情報算出用画像認識モジュール２に加えてジャスチャ判定処理用コンピュータ７を備えている。そして、特定された特徴点Ｐ１，Ｐ２を追跡してユーザーのジェスチャを判別するジェスチャ判別手段１３を備えている。したがって、ユーザーの意志とジェスチャとの関係を予め決めておくことによって、カメラ３Ａ，３Ｂが撮像した手の動きによりユーザーのジェスチャを特定することができ、さらにこのジェスチャからユーザーの意志を読み取ることができる。

なお、本発明の技術範囲は上記実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
例えば、上記実施形態ではカメラを２台としているが、３台以上のカメラを使用するものでも構わない。

また、図４に示すように、ロボットのような移動体１５にジェスチャ動作認識システム１が搭載されていてもよい。この場合、ジェスチャによってロボットとコミュニケーションを図ることができる。

さらに、図５に示すように、明るさが調節可能な照明Ｌと、開閉可能な窓Ｗと、チャンネル変更及び音量調節が可能なテレビＴＶと、再生・停止、巻き戻し、早送りが可能なビデオＶと、が操作制御機器Ｃと接続された部屋の中で、これらの機器を操作する際にジェスチャ動作認識システム１が適用されてもよい。この場合、図６に示すように、機器の選択のためのジェスチャ及び選択した機器の操作のためのジェスチャとユーザーの意思表示との対応テーブルを予め用意しておく。これにより、ユーザーのジェスチャによって各機器の操作を自動的に行うことができる。

従来の画像処理技術では人の頭と手の位置の画像処理に２００ｍｓ要していたが、本願の手法であげた画像認識モジュール２等を用いることにより、５０ｍｓと処理の高速化を行うことができた。ここで、図７は、人を上から見たときの頭と手の位置の画像処理結果を示す。図７に示すように、精度比較においても従来の画像処理技術では、ｐｏｉｎｔ１〜３における自乗誤差平均が１６．３ｃｍなのに対し、本願手法では１３．４ｃｍとなり、より良い精度を得ることができた。

本発明の一実施形態に係るジェスチャ動作認識システムを示す全体構成機能ブロック図である。本発明の一実施形態に係るジェスチャ動作認識方法を示すフロー図である。本発明の一実施形態に係るジェスチャ動作認識処理の流れを示す説明図である。本発明の一実施形態に係るジェスチャ動作認識システムを移動体に搭載した応用例を示す図である。本発明の一実施形態に係るジェスチャ動作認識システムの他の応用例を示す全体概要図である。図６に示す応用例におけるジェスチャ対応テーブルを示す図である。本発明の一実施形態に係るジェスチャ動作認識システムと従来例との処理結果の比較を示すグラフである。

符号の説明

１ジェスチャ動作認識システム
２３次元情報算出用画像認識モジュール（画像処理装置）
３Ａ第一デジタルカメラ（第一カメラ）
３Ｂ第二デジタルカメラ（第二カメラ）
１０撮像手段
１１検出手段
１２特定手段
１３ジェスチャ判別手段
Ａ１頭領域
Ａ２手先領域
ＢＡ背景領域
ＩＰ画像認識プログラム
ＪＰジェスチャ認識プログラム
ＵＡユーザー領域（被写体領域）
Ｐ１，Ｐ２特徴点

Claims

異なる位置に配された第一カメラ及び第二カメラと接続され、
前記第一カメラ及び前記第二カメラにより同一被写体の画像を撮像する撮像手段と、
同一時刻における前記第一カメラ及び前記第二カメラの画像情報を対比して被写体領域と背景領域とを識別する検出手段と、
識別された前記被写体領域からさらに被写体の頭領域及び手先領域を検出するとともに、前記領域の各々の特徴点を三次元座標算出する特定手段と、
を備え、
前記特定手段における頭領域及び手先領域の検出は、前記被写体領域の頂部を前記頭領域、かつ該頂部よりも尖った領域を前記手先領域と特定することにより行う
ことを特徴とする画像認識装置。
前記検出手段が、前記第一カメラ及び前記第二カメラにおけるそれぞれの画素値の差の相対的に大きい領域を被写体領域とし、かつ、画素値の差の相対的に小さい領域を背景領域とすることを特徴とする請求項１に記載の画像認識装置。
前記特定手段において、前記頭領域から算出される特徴点と、前記手先領域から算出される特徴点との２点のみを特定し、これら２点のみ画像解析を行うことにより画像の認識を行う
請求項１又は２記載の画像認識装置。
請求項３に記載の画像認識装置と、
特定された前記頭領域から算出される特徴点と、前記手先領域から算出される特徴点との２点のみを追跡して、ジェスチャとユーザーの意思表示との対応テーブルに基づき、得られた特徴点Ｐ１，Ｐ２の動きと、ジェスチャとの対応付けの処理を行うことにより、被写体のジェスチャを判別するジェスチャ判別手段と、
を備えていることを特徴とするジェスチャ動作認識システム。
異なる位置に配された第一カメラ及び第二カメラと接続され、
前記第一カメラ及び前記第二カメラにより同一被写体の画像を撮像する撮像ステップと、
同一時刻における前記第一カメラ及び前記第二カメラの画像情報を対比して被写体領域と背景領域とを識別する検出ステップと、
識別された前記被写体領域からさらに被写体の頭領域及び手先領域を検出するとともに、前記領域の各々の特徴点を三次元座標算出する特定ステップと、
を備え、
前記特定ステップが、被写体領域の頂部を前記頭領域、かつ該頂部よりも尖った領域を前記手先領域と特定する
ことを特徴とする画像認識方法。
前記検出ステップが、前記第一カメラ及び前記第二カメラにおけるそれぞれの画素値の差の相対的に大きい領域を被写体領域とし、かつ、画素値の差の相対的に小さい領域を背景領域とすることを特徴とする請求項５に記載の画像認識方法。
前記特定ステップが、前記頭領域から算出される特徴点と、前記手先領域から算出される特徴点との２点のみを特定し、これら２点のみ画像解析を行うことにより画像の認識を行うことを特徴とする請求項５又は６に記載の画像認識方法。
請求項７記載の画像認識方法と、
前記特定手段において、前記頭領域から算出される特徴点と、前記手先領域から算出される特徴点との２点のみを特定し、これら２点のみを追跡して、ジェスチャとユーザーの意思表示との対応テーブルに基づき、得られた特徴点Ｐ１，Ｐ２の動きと、ジェスチャとの対応付けの処理を行うことにより被写体のジェスチャを判別するジェスチャ判別ステップと、
を備えていることを特徴とするジェスチャ動作認識方法。
コンピュータを、
異なる位置に配された第一カメラ及び第二カメラと接続され、
前記第一カメラ及び前記第二カメラにより同一被写体の画像を撮像する撮像手段と、
同一時刻における前記第一カメラ及び前記第二カメラの画像情報を対比して被写体領域と背景領域とを識別する検出手段と、
識別された前記被写体領域からさらに被写体の頭領域及び手先領域を検出するとともに、前記領域の各々の特徴点を三次元座標算出する特定手段と、
して機能させ、
前記特定手段が、前記被写体領域の頂部を前記頭領域、かつ該頂部よりも尖った領域を前記手先領域と特定する処理を行うことを特徴とする画像認識プログラム。
前記検出手段が、前記第一カメラ及び前記第二カメラにおけるそれぞれの画素値の差の相対的に大きい領域を被写体領域とし、かつ、画素値の差の相対的に小さい領域を背景領域とする処理を行うことを特徴とする請求項９に記載の画像認識プログラム。
前記特定手段が、前記頭領域から算出される特徴点と、前記手先領域から算出される特徴点との２点のみを特定し、これら２点のみ画像解析を行うことにより画像の認識を行うことを特徴とする請求項９又は１０に記載の画像認識プログラム。
請求項１１記載の画像認識プログラムと、前記頭領域から算出される特徴点と、前記手先領域から算出される特徴点との２点のみを特定し、これら２点のみを追跡して、ジェスチャとユーザーの意思表示との対応テーブルに基づき、得られた特徴点Ｐ１，Ｐ２の動きと、ジェスチャとの対応付けの処理を行うことにより被写体のジェスチャを判別するジェスチャ判別手段と、
を備えていることを特徴とするジェスチャ動作認識プログラム。