JP6866467B2 - ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置 - Google Patents
ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置 Download PDFInfo
- Publication number
- JP6866467B2 JP6866467B2 JP2019500150A JP2019500150A JP6866467B2 JP 6866467 B2 JP6866467 B2 JP 6866467B2 JP 2019500150 A JP2019500150 A JP 2019500150A JP 2019500150 A JP2019500150 A JP 2019500150A JP 6866467 B2 JP6866467 B2 JP 6866467B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- gesture recognition
- person
- unit
- position data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Description
プロジェクタの操作は主にリモコンによって行われているが、プレゼンターがプレゼンテーションを円滑に行いながら操作するために、プレゼンターのジェスチャーによってプロジェクタを操作することが求められてきている。
また、プロジェクタからスクリーンなどへ投写された映像の中に人物の映像があると、映像中の人物の手、指を操作者の手、指と誤検出する可能性がある。
熱画像センサおよび3次元センサのいずれも解像度が低いため、上記のような広範囲の領域で手、指を検出するには解像度が足りない。
さらに、上記のようなプレゼンテーションではプレゼンターが2人以上いることもあり、プレゼンターが2人以上いる場合にはジェスチャーによりプロジェクタを操作する人物を特定する必要がある。また、操作を行う人物が変更される場合には特定する人物の切替えを行わなければならない。ジェスチャー操作する人物の切替えるときに、ある人物の手、指のジェスチャー認識を行いつつ、他の人物によるジェスチャー操作者切替えのためのジェスチャーを認識したりすることが必要で時間がかかるという問題がある。
前記第1の画像に示される人物の第1の特定部位を検出する第1特定部位検出部と、
前記第1の画像の前記第1の特定部位におけるジェスチャーから前記第1の画像に示される人物のうちの一人を特定する第1特定部位ジェスチャー認識部と、
前記第1特定部位ジェスチャー認識部により特定された人物の第2の特定部位を検出する第2特定部位検出部と、
第2の画像を取得して出力する第2の画像取得部と、
前記第2の画像の前記第2の特定部位におけるジェスチャーを検出する第2特定部位ジェスチャー認識部と、
を有する。
本発明のプロジェクタは、上記のジェスチャー認識装置を備え、前記第2特定部位ジェスチャー認識部にて検出されたジェスチャーに応じて動作を切替える。
本発明のジェスチャー認識方法は、撮像した画像内の人物を示す第1の画像を取得し、
前記第1の画像に示される人物の第1の特定部位を検出し、
前記第1の画像の前記第1の特定部位におけるジェスチャーから前記第1の画像に示される人物のうちの一人を特定し、
前記特定された人物の第2の特定部位を検出し、
第2の画像を取得し、
前記第2の画像の前記第2の特定部位におけるジェスチャーを検出する。
次に、本発明の実施形態について図面を参照して説明する。図1は、本発明によるジェスチャー認識装置の一実施形態の構成を示すブロック図である。本実施形態のジェスチャー認識装置は、第1の特定部位としての腕によるジェスチャーにより操作を行う人物を認識し、第2の特定部位としての手、および、指のジェスチャーにより操作内容を認識するものである。
図1に示すジェスチャー認識装置は、熱画像センサ1、人物熱画像抽出部2、人物検出部3、腕位置検出部4、腕ジェスチャー認識部5、前人物熱画像格納部6、人物追跡部7、前人物位置格納部8、手位置検出部9、キャリブレーションデータ格納部10、手位置カメラ座標変換部11、カメラ12、手指ジェスチャー認識部13、および、制御部14から構成されている。
熱画像センサ1はカメラ12と同様の撮影範囲の熱画像を撮影し、撮影内容を示す熱画像S1を人物熱画像抽出部2へ出力する。
人物熱画像抽出部2は、熱画像S1に示される熱画像の中で、人間の体温に近い領域を人物領域として抽出し、抽出した人物領域を示す人物熱画像S2を、人物検出部3、腕位置検出部4、腕ジェスチャー認識部5、前人物熱画像格納部6、人物追跡部7、および、手位置検出部9へ出力する。
人物検出部3は、人物熱画像S2に示される人物領域の全ての位置を検出し、人物位置信号S3として腕位置検出部4、および、人物追跡部7へ出力する。
腕ジェスチャー認識部5は腕位置検出部4から送られてくる腕位置検出信号S4に示される腕位置検出部4で検出された全ての人物の両腕の位置と、人物熱画像抽出部2から送られてくる人物熱画像S2から、すべての人物領域で行われる腕によるジェスチャーおよび該ジェスチャーが示す操作内容を認識する。ここで、認識した操作内容が手指ジェスチャーの対象となる人物を切替えるものである場合には、ジェスチャーを認識する対象人物を切替る旨を示す対象人物切替信号S5と対象人物の位置を示す対象人物位置信号S6を人物追跡部7へ出力する。
人物追跡部7は、人物熱画像抽出部2からの人物熱画像S2、人物検出部3からの人物位置信号S3、前人物熱画像格納部6に格納されている前フレームの人物熱画像、8に格納されている前フレームの対象人物の位置を示す対象人物位置追跡信号S8により対象人物を追跡し、現フレームでの位置を取得するとともに、その対象人物の位置を対象人物位置追跡信号S8として前人物位置格納部8、および、手位置検出部9へ出力する。また、腕ジェスチャー認識部5からの対象人物切替信号S5により対象人物の切替を認識したときには、追跡する対象人物を腕ジェスチャー認識部5からの対象人物位置信号S6で示される人物に切り替え、次のフレーム以降は新しい人物の位置を追跡する。なお、一番初めは、腕ジェスチャーにより対象人物を決め、追跡を開始する。
手位置検出部9は、人物追跡部7から出力された対象人物位置追跡信号S8に示される対象人物の位置から、人物熱画像S2における対象人物の両手の位置を検出し、手位置信号S9として手位置カメラ座標変換部11へ出力する。
キャリブレーションデータ格納部10は、熱画像センサ1の座標系とカメラ12の座標系の位置関係を計測した結果により得られた、熱画像センサ1の座標系をカメラ12の座標系に変換するキャリブレーションを行うためのパラメータを格納する。
手指ジェスチャー認識部13には、カメラ12により撮影された映像を示す映像信号S11が入力されており、手指ジェスチャー認識部13はカメラ座標信号S10に示される位置で行われている手指によるジェスチャー、および、該手指によるジェスチャーに示される内容を認識し、手指によるジェスチャーに示される内容を制御部14へ出力する。
本実施形態のジェスチャー認識装置は、PC(Personal Computer:パーソナル コンピュータ)やプロジェクタなどと組み合わされるもので、PCやプロジェクタの内部に組み込まれる形態も含まれる。
図2は、図1に示したジェスチャー認識装置が組み込まれたプロジェクタ101とその投写対象物における投写エリア、および、プレゼンターの移動エリアとの関係を示す図である。
熱画像センサ102とカメラ103の撮像範囲の設定にあたっては、図3に示すように投写対象物であるスクリーン109A,112Bまでの距離により投写対象物における投写エリア107A,110Bや必要なスクリーン109A,112Bの大きさは変わるが、プレゼンターの大きさや投写対象物であるスクリーン109A,112Bなどの両側のプレゼンターの立つ移動エリア108A,111Bの大きさは投写距離に関わらず一定なので、想定される最小の投写距離のプレゼンターの移動エリアに合わせて範囲を設定する必要がある。
図4に示す例においては、制御部14は、手指ジェスチャー認識部13で認識された手指によるジェスチャーの内容に応じて制御出力を行い、プロジェクタ101を制御するか、あるいは、通信手段を介して接続されているPC113を制御する。
上記のように構成される本実施形態においては、熱画像センサで人物を検出することにより、プロジェクタからスクリーンなどへ投写された映像の中の人物を誤検出することなく手指ジェスチャー認識することができる。
また、熱画像センサであらかじめ手の位置を検出することにより、カメラによる手指ジェスチャー認識を高速に認識することができる。
さらに、カメラよる手指ジェスチャー認識と並行して熱画像センサにより腕ジェスチャー認識を行うことから、手指ジェスチャーの対象となる人物の切替を高速に行うことができる。
図5は本発明によるジェスチャー認識装置の第2の実施形態の構成を示すブロック図である。
本実施形態は、第1の実施形態における熱画像センサの代わりに3次元センサを使用するもので、図1に示した熱画像センサ1の代わりに3次元センサ16が設けられ、人物熱画像抽出部2の代わりに人物3次元位置データ格納部18、前人物熱画像格納部6の代わりに前3次元位置データ格納部19が設けられ、新たに背景3次元位置データ格納部17が設けられている。
本実施例では、あらかじめスクリーンの周辺に人物がいないときに3次元センサ16によって3次元位置データを取得して背景の3次元データとして背景3次元位置データ格納部17に格納しておく。その後、3次元センサ16により、人物を含む3次元位置データを取得したときに、人物3次元位置データ格納部18において、取得した3次元位置データと背景3次元位置データ格納部17に格納されている背景の3次元位置データと異なる部分を人物領域として抽出し、人物3次元位置データとして出力する。その後の処理は、人物熱画像が人物3次元位置データに代わっただけで図1に示した第1の実施形態と同じである。
図6は本発明によるジェスチャー認識装置の第3の実施形態の構成を示すブロック図である。本実施形態は、図1におけるカメラとして、スクリーン、および、その周辺を撮像範囲とし、かつ、手指部分に対する十分な解像度が取れる高解像度のカメラが使用できないときに、低解像度のカメラを使用し、その向きを対象人物の手の位置に合わせて変えるものである。
本実施形態では、図1におけるカメラ10の代わりに、カメラ10よりも低解像度の低解像度カメラ20が設けられ、新たに低解像度カメラ20の向きを変えるためのパン・チルト機構21と、パン・チルト機構21を制御するためのパン・チルト駆動部22が設けられている。
図7は本発明によるジェスチャー認識装置の第4の実施形態の構成を示すブロック図である。
本実施形態は、第2の実施形態と同様に、第1の実施形態における熱画像センサの代わりに3次元センサを使用するもので、図1に示した熱画像センサ1の代わりに3次元センサ16が設けられ、人物熱画像抽出部2の代わりに人物3次元位置データ格納部18、前人物熱画像格納部6の代わりに前3次元位置データ格納部19が設けられ、新たに背景3次元位置データ格納部17が設けられている。
本実施形態では、図1におけるカメラ10の代わりに、カメラ10よりも低解像度の低解像度カメラ20が設けられ、新たに低解像度カメラ20の向きを変えるためのパン・チルト機構21と、パン・チルト機構21を制御するためのパン・チルト駆動部22が設けられている。
また、カメラによる手、指のジェスチャー認識を行いつつ、並行して、熱画像センサ、あるいは、3次元センサにより得られた画像から、腕によるジェスチャー認識を行い、ジェスチャー操作する人物の切替えを行うので、ジェスチャー操作する人物の切替えが高速に行われる。
また、熱画像センサ、あるいは、3次元センサを使うことにより、プロジェクタにより投写されている映像中の人物と実際の人物を区別できるので、誤検出を回避することができる。
図8はジェスチャー認識装置701がプロジェクタ702に組み込まれた形態を示している。ジェスチャー認識装置701は第1ないし第3の実施形態のいずれかに示した構成を備えている。プロジェクタ702は映像信号供給装置703より供給される映像信号に示される映像を投写しており、ジェスチャー認識装置701からの認識結果に応じて電源のオンオフ、投写映像の輝度の調整などを行う。映像信号供給装置303としては、PC、ゲーム機器、映像ディスク再生装置などが挙げられる。
図10はジェスチャー認識装置901が映像信号供給装置903に組み込まれた形態を示している。ジェスチャー認識装置901は第1ないし第3の実施形態のいずれかに示した構成を備えている。プロジェクタ902は映像信号供給装置903からの映像信号に応じた映像に示される映像を投写している。映像信号供給装置903は、PC、ゲーム機器などであり、ジェスチャー認識装置901からの認識結果に応じて映像信号の切替えや映像信号の内容の変更を行う。
2 人物熱画像抽出部
3 人物検出部
4 腕位置検出部
5 腕ジェスチャー認識部
6 前人物熱画像格納部
7 人物追跡部
8 前人物位置格納部
9 手位置検出部
10 キャリブレーションデータ格納部
11 手位置カメラ座標変換部
12 カメラ
13 手指ジェスチャー認識部
14 制御部
Claims (8)
- 撮像した画像内の人物を示す第1の画像を出力する第1の画像取得部と、
前記第1の画像に示される人物の第1の特定部位を検出する第1特定部位検出部と、
前記第1の画像の前記第1の特定部位におけるジェスチャーから前記第1の画像に示される人物のうちの一人を特定する第1特定部位ジェスチャー認識部と、
前記第1特定部位ジェスチャー認識部により特定された人物の第2の特定部位を検出する第2特定部位検出部と、
第2の画像を取得して出力する第2の画像取得部と、
前記第2の画像の前記第2の特定部位におけるジェスチャーを検出する第2特定部位ジェスチャー認識部と、
を有するジェスチャー認識装置。 - 請求項1記載のジェスチャー認識装置において、
前記第1の画像取得部は、熱画像を撮影する熱画像センサと、前記熱画像の中で人間の体温に近い領域を示す前記第1の画像を出力する人物熱画像抽出部と、を有し、
前記第2の画像取得部は、撮像範囲が前記熱画像センサと同じであり、前記熱画像センサよりも解像度が高いカメラである、ジェスチャー認識装置。 - 請求項1記載のジェスチャー認識装置において、
前記第1の画像取得部は、3次元位置データを取得する3次元センサと、前記3次元センサにより取得された人物がいないときの3次元位置データを格納する背景3次元位置データ格納部と、前記3次元センサにより取得された人物がいるときの3次元位置データと前記背景3次元位置データ格納部に格納された背景3次元位置データとの異なる部分を前記第1の画像として出力する人物3次元位置データ抽出部と、を有し、
前記第2の画像取得部は、撮像範囲が前記3次元センサと同じであり、前記3次元センサよりも解像度が高いカメラである、ジェスチャー認識装置。 - 請求項1記載のジェスチャー認識装置において、
前記第1の画像取得部は、熱画像を撮影する熱画像センサと、前記熱画像の中で人間の体温に近い領域を示す前記第1の画像を出力する人物熱画像抽出部と、を有し、
前記第2の画像取得部は、前記熱画像センサよりも解像度が低いカメラと、前記カメラの撮影画像の左右、上下方向を調整するパン・チルト機構と、前記パン・チルト機構により前記カメラを前記第2の特定部位に向かせるパン・チルト駆動部と、を有する、ジェスチャー認識装置。 - 請求項1記載のジェスチャー認識装置において、
前記第1の画像取得部は、3次元位置データを取得する3次元センサと、前記3次元センサにより取得された人物がいないときの3次元位置データを格納する背景3次元位置データ格納部と、前記3次元センサにより取得された人物がいるときの3次元位置データと前記背景3次元位置データ格納部に格納された背景3次元位置データとの異なる部分を前記第1の画像として出力する人物3次元位置データ抽出部と、を有し、
前記第2の画像取得部は、前記3次元センサよりも解像度が低いカメラと、前記カメラの撮影画像の左右、上下方向を調整するパン・チルト機構と、前記パン・チルト機構により前記カメラを前記第2の特定部位に向かせるパン・チルト駆動部と、を有する、ジェスチャー認識装置。 - 請求項1ないし請求項5のいずれかに記載のジェスチャー認識装置を備え、前記第2特定部位ジェスチャー認識部にて検出されたジェスチャーに応じて動作を切替えるプロジェクタ。
- 請求項1ないし請求項5のいずれかに記載のジェスチャー認識装置を備え、前記第2特定部位ジェスチャー認識部にて検出されたジェスチャーに応じて出力する映像の変更や動作を切替える映像信号供給装置。
- 撮像した画像内の人物を示す第1の画像を取得し、
前記第1の画像に示される人物の第1の特定部位を検出し、
前記第1の画像の前記第1の特定部位におけるジェスチャーから前記第1の画像に示される人物のうちの一人を特定し、
前記特定された人物の第2の特定部位を検出し、
第2の画像を取得し、
前記第2の画像の前記第2の特定部位におけるジェスチャーを検出する、
を有するジェスチャー認識方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/006121 WO2018150569A1 (ja) | 2017-02-20 | 2017-02-20 | ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018150569A1 JPWO2018150569A1 (ja) | 2019-12-12 |
JP6866467B2 true JP6866467B2 (ja) | 2021-04-28 |
Family
ID=63169192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019500150A Active JP6866467B2 (ja) | 2017-02-20 | 2017-02-20 | ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6866467B2 (ja) |
WO (1) | WO2018150569A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL264530B1 (en) * | 2019-01-29 | 2024-03-01 | Eyeway Vision Ltd | Device for tracking eye movement and method therefor |
CN111901527B (zh) * | 2020-08-05 | 2022-03-18 | 深圳市浩瀚卓越科技有限公司 | 追踪控制方法、装置、对象追踪部件和存储介质 |
JP2022136829A (ja) * | 2021-03-08 | 2022-09-21 | 本田技研工業株式会社 | 処理装置、移動体、処理方法、およびプログラム |
KR102559138B1 (ko) * | 2022-12-28 | 2023-07-25 | 에이아이다이콤 (주) | 차량용 비 접촉식 제어 시스템 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5228439B2 (ja) * | 2007-10-22 | 2013-07-03 | 三菱電機株式会社 | 操作入力装置 |
JP5217754B2 (ja) * | 2008-08-06 | 2013-06-19 | 株式会社デンソー | 行動推定装置、プログラム |
CN102959616B (zh) * | 2010-07-20 | 2015-06-10 | 苹果公司 | 自然交互的交互真实性增强 |
JP6381361B2 (ja) * | 2014-08-20 | 2018-08-29 | キヤノン株式会社 | データ処理装置、データ処理システム、データ処理装置の制御方法、並びにプログラム |
-
2017
- 2017-02-20 JP JP2019500150A patent/JP6866467B2/ja active Active
- 2017-02-20 WO PCT/JP2017/006121 patent/WO2018150569A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2018150569A1 (ja) | 2018-08-23 |
JPWO2018150569A1 (ja) | 2019-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11470377B2 (en) | Display apparatus and remote operation control apparatus | |
JP6372487B2 (ja) | 情報処理装置、制御方法、プログラム、および記憶媒体 | |
JP6866467B2 (ja) | ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置 | |
KR100936816B1 (ko) | 카메라와 마크 출력에의한 포인팅 장치 | |
JP2013076924A5 (ja) | ||
US20220122279A1 (en) | Imaging method and imaging control apparatus | |
JP6075122B2 (ja) | システム、画像投影装置、情報処理装置、情報処理方法およびプログラム | |
US20130135199A1 (en) | System and method for user interaction with projected content | |
KR101457976B1 (ko) | 입력 사용자 인터페이스 장치, 투영 장치, 커맨드 결정 방법 및 프로그램이 기록된 기록 매체 | |
JP2012238293A (ja) | 入力装置 | |
JP6381361B2 (ja) | データ処理装置、データ処理システム、データ処理装置の制御方法、並びにプログラム | |
JP2015215720A (ja) | 画像表示撮影システム、撮影装置、表示装置、画像の表示および撮影の方法、およびコンピュータープログラム | |
JP2016103137A (ja) | ユーザインタフェース装置、画像処理装置及び制御用プログラム | |
JP2011095985A (ja) | 画像表示装置 | |
US20220244788A1 (en) | Head-mounted display | |
KR20160055407A (ko) | 홀로그래피 터치 방법 및 프로젝터 터치 방법 | |
JP6057407B2 (ja) | タッチ位置入力装置及びタッチ位置入力方法 | |
JP2005190283A (ja) | 情報入力装置 | |
KR20190085620A (ko) | 공간 내의 물체 운동 분석 장치 및 그 제어 방법 | |
JP2013109590A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
JP2018173907A (ja) | 情報処理装置、および情報処理装置の制御方法、プログラム | |
KR20150137908A (ko) | 홀로그래피 터치 방법 및 프로젝터 터치 방법 | |
KR20160017020A (ko) | 홀로그래피 터치 방법 및 프로젝터 터치 방법 | |
CN117093124A (zh) | 一种调整ar显示界面的方法、装置、设备及介质 | |
JP2020149336A (ja) | 情報処理装置、表示制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200924 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210407 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6866467 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |