JP6124863B2 - ポインティング・ジェスチャ位置を認識する方法、コンピュータ、およびコンピュータ・プログラム - Google Patents
ポインティング・ジェスチャ位置を認識する方法、コンピュータ、およびコンピュータ・プログラム Download PDFInfo
- Publication number
- JP6124863B2 JP6124863B2 JP2014238449A JP2014238449A JP6124863B2 JP 6124863 B2 JP6124863 B2 JP 6124863B2 JP 2014238449 A JP2014238449 A JP 2014238449A JP 2014238449 A JP2014238449 A JP 2014238449A JP 6124863 B2 JP6124863 B2 JP 6124863B2
- Authority
- JP
- Japan
- Prior art keywords
- pointing
- display image
- image
- global coordinates
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 63
- 238000004590 computer program Methods 0.000 title claims description 4
- 238000004364 calculation method Methods 0.000 claims description 68
- 238000003384 imaging method Methods 0.000 claims description 51
- 230000009471 action Effects 0.000 claims description 12
- 230000000875 corresponding effect Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 18
- 230000036544 posture Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 230000014509 gene expression Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 210000000887 face Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
図1(A)は、会議支援システム100(図3)を構成するノートPC10のハードウェアの構成を説明するための概略の機能ブロック図で、図1(B)は外形を示す斜視図である。本発明との関連において、ノートPC10のハードウェアの構成は周知であるため説明は簡略化する。CPU11はグラフィック・コアを内蔵しておりLCD15とシステム・メモリ13が接続されている。チップセット17は、さまざまなインターフェースのコントローラを内蔵している。チップセット17のSATAコントローラにはHDD19が接続され、USBコントローラにはキーボード、ポインティング・デバイスまたはマイクロフォンなどの入力デバイス21が接続され、他のUSBコントローラには有線または無線で2個のカメラ23a、23bで構成したステレオ・カメラ23が接続され、DVIコントローラにはDVIポート25が接続されている。
図2は、会議支援システム100の利用環境の一例を説明するための平面図である。机50の上には、ノートPC10に有線または無線で接続されたプロジェクター51を配置している。プレゼンター61がスクリーン53の前面に立ち、机50の廻りの椅子に複数の参加者63が座っている。プレゼンター61が所有するノートPC10は、プロジェクター51で投影するための画像データをプロジェクター51に出力する。プロジェクター51はノートPC10が出力する画像データを受け取ってスクリーン53のスクリーン面53aにスクリーン画像201を投影する。
つぎに、会議支援システム100の動作を説明する。図10は、会議支援システム100の動作を説明するためのフローチャートである。ブロック301で、プロジェクター51が、画像データ出力部113が出力する画像データをスクリーン面53aにスクリーン画像201として投影している。台形補正機能を有効にしたプロジェクター51が投影するスクリーン画像201は、画像データ401のアスペクト比Aspを維持した矩形状になっている。
これまでの手順では、スクリーン画像201のアスペクト比ASPが既知であることを前提にして計算したが、アスペクト比が未知のときは、グローバル座標計算部105は撮影しないコーナーに対するポインティング・ジェスチャをしたときのポインティング直線253の式と、グローバル座標が既知の2個のコーナーが存在するスクリーン画像201の平面の式(7)と、スクリーン画像201が矩形であることを利用してポインティング位置251pに相当する撮影しないコーナーのグローバル座標を計算することができる。ポインティング直線253の2つの特徴点255a、255bのグローバル座標(Xa,Ya,Za)、(Xb,Yb,Zb)を通るポインティング直線253の式は(8)のとおりである。
さらに、式(8)に示した、コーナーCl1と位置605を通る直線の式と長さaからコーナーCl2のグローバル座標を計算し、コーナーCl1と位置607を通る直線の式と長さbからコーナーCr1のグローバル座標を計算する。スクリーン画像601が、矩形のスクリーン画像201または台形補正のない対称なスクリーン画像201a(図4)であれば3個のコーナーのグローバル座標から残りのグローバル座標Cr2を計算してブロック315(図10)に移行する。このとき、スクリーン画像201aの横辺651dと横辺651bが平行である条件と縦辺651aと横辺651dまたは横辺651bの角度に基づいて、撮像面289の画像から残りのコーナーCr2のグローバル座標を計算する。
23 ステレオ・カメラ
24 撮像面
51 プロジェクター
51a プロジェクターの特徴点
53 スクリーン
53a スクリーン面
61 プレゼンター
63 参加者
100 会議支援システム
201、201a、201b、601 スクリーン画像
203a、203c スクリーン画像の縦辺
203d、203b スクリーン画像の横辺
231 ステレオ・カメラの基準位置姿勢
233〜241、701、703 ステレオ・カメラの位置姿勢
251p ポインティング位置
252 スポット画像
253 ポインティング直線
255a 人体の特徴点(目の間)
255b 人体の特徴点(人指し指の指先)
280、281a、281b、283a、283b、285a、285b、287a、287b、289 ステレオ・カメラの撮像面
401、403 画像データ
451p ポインティング位置251pに対応するピクセル座標
452 スポット画像データ
461、463 スケール・データ
603 スケール画像
Claims (18)
- 画像データに対応する表示画像のポインティング位置を指示するポインティング・ジェスチャをステレオ・カメラで撮影して前記ポインティング位置を認識する方法であって、
アスペクト比が既知で矩形の前記表示画像を表示するステップと、
縦辺が形成する2個のコーナーを含む前記表示画像の一部を前記表示画像に対する基準位置姿勢から回転および平行移動した位置姿勢の前記ステレオ・カメラで撮影して撮影データを取得するステップと、
前記2個のコーナーのグローバル座標を計算するステップと、
前記アスペクト比および前記矩形の形状を利用して撮影していないコーナーのグローバル座標を計算するステップと、
前記ポインティング位置に対するポインティング・ジェスチャの撮影データから前記ポインティング位置のグローバル座標を取得するステップと、
4個の前記コーナーのグローバル座標に対する前記ポインティング位置のグローバル座標の相対位置から前記ポインティング位置に対応する前記画像データのピクセル座標を取得するステップと
を有する方法。 - 前記表示画像が、プロジェクターが投影するスクリーン画像である請求項1に記載の方法。
- 前記撮影していないコーナーのグローバル座標を計算するステップが、
前記ステレオ・カメラのX軸廻りの回転角度とY軸周りの回転角度を計算して前記撮影データのグローバル座標を前記基準位置姿勢のグローバル座標に変換するステップを含む請求項1に記載の方法。 - 前記ピクセル座標を取得するステップが、前記4個のコーナーのグローバル座標に対する前記ポインティング位置のグローバル座標の内分比を計算するステップを含む請求項1に記載の方法。
- 前記撮影していないコーナーのグローバル座標を計算するステップが、
前記ステレオ・カメラの撮像面における前記表示画像の縦辺と横辺が形成する角度と前記表示画像のアスペクト比から前記ステレオ・カメラの前記表示画像の面に対する位置姿勢を特定するステップを含む請求項1に記載の方法。 - 画像データに対応する表示画像のポインティング位置を指示するポインティング・ジェスチャをステレオ・カメラで撮影して前記ポインティング位置を認識する方法であって、
輪郭が左右対称で4個のコーナーを含む所定のピクセル数の前記表示画像を表示するステップと、
少なくとも1個のコーナーを含む前記表示画像の一部と前記表示画像に対する所定の割合のピクセル数のスケール画像を前記表示画像に対する基準位置姿勢から回転および平行移動した前記ステレオ・カメラで撮影して撮影データを取得するステップと、
前記撮影データから前記少なくとも1個のコーナーのグローバル座標を計算するステップと、
前記表示画像の形状と前記スケール画像を利用して撮影していないコーナーのグローバル座標を計算するステップと、
前記ポインティング位置に対するポインティング・ジェスチャの撮影データから前記ポインティング位置のグローバル座標を取得するステップと、
前記4個のコーナーのグローバル座標に対する前記ポインティング位置のグローバル座標の相対位置から前記ポインティング位置に対応する前記画像データのピクセル座標を取得するステップと
を有する方法。 - 前記スケール画像が、前記表示画像の縦方向と横方向に延びている請求項6に記載の方法。
- 前記スケール画像が、等間隔の繰り返しパターンで構成されている請求項6に記載の方法。
- 画像データに対応する表示画像のポインティング位置を指示するポインティング・ジェスチャをステレオ・カメラで撮影して前記ポインティング位置を認識する方法であって、
第1の位置姿勢の前記ステレオ・カメラが基準物体と前記表示画像を撮影した撮影データから前記基準物体の特徴点と前記表示画像の基準位置のグローバル座標を取得するステップと、
第2の位置姿勢の前記ステレオ・カメラが撮影した撮影データから前記基準物体の特徴点と前記ポインティング・ジェスチャが指示する前記ポインティング位置のグローバル座標を取得するステップと、
前記基準物体の特徴点を基準にして前記第1の位置姿勢における前記基準位置のグローバル座標を前記第2の位置姿勢のグローバル座標に変換するステップと、
前記第2の位置姿勢の座標系において前記基準位置のグローバル座標に対する前記ポインティング位置のグローバル座標の相対位置から前記ポインティング位置に対応する前記画像データのピクセル座標を取得するステップと
を有する方法。 - 前記表示画像がプロジェクターのスクリーン画像で、前記基準物体が前記プロジェクターである請求項9に記載の方法。
- 画像データを投影した表示画像のポインティング位置を指示するポインティング・ジェスチャを撮影したステレオ・カメラが出力する撮影データを受け取って、前記画像データを生成するコンピュータに、
アスペクト比が既知で矩形の前記表示画像を表示するステップと、
縦辺が形成する2個のコーナーを含む前記表示画像の一部を前記表示画像に対する基準位置姿勢から回転および平行移動した位置姿勢の前記ステレオ・カメラで撮影して撮影データを取得するステップと、
前記撮影データから前記2個のコーナーのグローバル座標を計算するステップと、
前記アスペクト比および前記矩形の形状を利用して前記撮影データから撮影していないコーナーのグローバル座標を計算するステップと、
前記ポインティング・ジェスチャの撮影データから前記ポインティング位置のグローバル座標を計算するステップと、
4個の前記コーナーのグローバル座標に対する前記ポインティング位置のグローバル座標の相対位置から前記ポインティング位置に対応する前記画像データのピクセル座標を計算するステップと
を有する処理を実行させるためのコンピュータ・プログラム。 - 画像データを投影した表示画像のポインティング位置を指示するポインティング・ジェスチャを撮影したステレオ・カメラが出力する撮影データを受け取って、前記画像データを生成するコンピュータに、
輪郭が左右対称で4個のコーナーを含む所定のピクセル数の前記表示画像を表示するステップと、
少なくとも1個のコーナーを含む前記表示画像の一部と前記表示画像に対する所定の割合のピクセル数のスケール画像を前記表示画像に対する基準位置姿勢から回転および平行移動した前記ステレオ・カメラで撮影して撮影データを取得するステップと、
前記少なくとも1個のコーナーのグローバル座標を計算するステップと、
前記表示画像の形状と前記スケール画像を利用して撮影していないコーナーのグローバル座標を計算するステップと、
前記ポインティング・ジェスチャの撮影データから前記ポインティング位置のグローバル座標を計算するステップと、
前記4個のコーナーのグローバル座標に対する前記ポインティング位置のグローバル座標の相対位置から前記ポインティング位置に対応する前記画像データのピクセル座標を計算するステップと
を有する処理を実行させるためのコンピュータ・プログラム。 - 画像データを投影した表示画像のポインティング位置を指示するポインティング・ジェスチャを撮影したステレオ・カメラが出力する撮影データを受け取って、前記画像データを生成するコンピュータに、
第1の位置姿勢に対応する第1の座標系の前記ステレオ・カメラが撮影した前記表示画像と基準物体の撮影データから前記表示画像の基準位置と前記基準物体の特徴点のグローバル座標を計算するステップと、
第2の位置姿勢に対応する第2の座標系の前記ステレオ・カメラが撮影した前記基準物体の撮影データから前記基準物体の特徴点のグローバル座標を計算するステップと、
前記第2の座標系の前記ステレオ・カメラが撮影した前記ポインティング・ジェスチャの撮影データから前記ポインティング・ジェスチャが指示する前記ポインティング位置のグローバル座標を計算するステップと、
前記基準物体の特徴点を基準にして前記第1の座標系における前記基準位置のグローバル座標を前記第2の座標系のグローバル座標に変換するステップと、
前記第2の座標系において前記基準位置のグローバル座標に対する前記ポインティング位置のグローバル座標の相対位置から前記ポインティング位置に対応する前記画像データのピクセル座標を計算するステップと
を有する処理を実行させるためのコンピュータ・プログラム。 - 前記第1の位置姿勢で前記ステレオ・カメラが前記表示画像の4個の基準位置を撮影する請求項13に記載のコンピュータ・プログラム。
- 画像データに対応する表示画像のポインティング位置を指示するポインティング・ジェスチャの認識が可能なコンピュータであって、
アスペクト比が既知で矩形の前記表示画像の縦辺が形成する2個のコーナーを含む前記表示画像の一部と前記ポインティング・ジェスチャを前記表示画像に対する基準位置姿勢から回転および平行移動した位置姿勢で撮影したステレオ・カメラから撮影データを受け取って特徴点を認識する特徴点認識部と、
前記撮影データから前記2個のコーナーのグローバル座標を計算し、前記ポインティング・ジェスチャの特徴点と前記アスペクト比および前記矩形の形状を利用して撮影していないコーナーの特徴点のグローバル座標を計算し、前記ポインティング・ジェスチャから前記ポインティング位置のグローバル座標を計算するグローバル座標計算部と、
4個の前記コーナーに対する前記ポインティング位置の相対位置を計算するポインティング座標計算部と、
前記相対位置に対応する前記表示画像の画像データのピクセル座標を計算するピクセル座標計算部と、
前記ピクセル座標に対する所定のアクションを含む前記画像データを生成するアプリケーション実行部と
を有するコンピュータ。 - 前記コンピュータが前記ステレオ・カメラを実装し、かつ前記画像データを生成する携帯式コンピュータである請求項15に記載のコンピュータ。
- 画像データに対応する表示画像のポインティング位置を指示するポインティング・ジェスチャの認識が可能なコンピュータであって、
輪郭が左右対称で4個のコーナーを含む所定のピクセル数の前記表示画像の少なくとも1個のコーナーを含む前記表示画像の一部と前記表示画像に対する所定の割合のピクセル数のスケール画像と前記ポインティング・ジェスチャを前記表示画像に対する基準位置姿勢から回転および平行移動した位置姿勢で撮影したステレオ・カメラから撮影データを受け取って特徴点を認識する特徴点認識部と、
前記撮影データから前記少なくとも1個のコーナーのグローバル座標を計算し、前記表示画像の形状と前記スケール画像を利用して撮影していないコーナーのグローバル座標を計算し、前記ポインティング・ジェスチャから前記ポインティング位置のグローバル座標を計算するグローバル座標計算部と、
前記4個のコーナーに対する前記ポインティング位置の相対位置を計算するポインティング座標計算部と、
前記相対位置に対応する前記画像データのピクセル座標を計算するピクセル座標計算部と、
前記ピクセル座標に対する所定のアクションを含む前記画像データを生成するアプリケーション実行部と
を有するコンピュータ。 - 画像データに対応する表示画像のポインティング位置を指示するポインティング・ジェスチャの認識が可能なコンピュータであって、
前記表示画像を撮影したステレオ・カメラから撮影データを受け取って特徴点を認識する特徴点認識部と、
前記ステレオ・カメラの第1の位置姿勢で前記表示画像と基準物体を撮影して前記表示画像の基準位置と前記基準物体の特徴点のグローバル座標を計算し、前記ステレオ・カメラの第2の位置姿勢で前記基準物体の特徴点と前記ポインティング・ジェスチャの特徴点のグローバル座標を計算し、前記基準物体の特徴点を基準にして前記第1の位置姿勢における前記基準位置のグローバル座標を前記第2の位置姿勢のグローバル座標に変換するグローバル座標計算部と、
前記第2の位置姿勢の座標系において前記基準位置に対する前記ポインティング位置の相対位置を計算するポインティング座標計算部と、
前記相対位置に対応する前記画像データのピクセル座標を計算するピクセル座標計算部と、
前記ピクセル座標に対する所定のアクションを含む前記画像データを生成するアプリケーション実行部と
を有するコンピュータ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014238449A JP6124863B2 (ja) | 2014-11-26 | 2014-11-26 | ポインティング・ジェスチャ位置を認識する方法、コンピュータ、およびコンピュータ・プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014238449A JP6124863B2 (ja) | 2014-11-26 | 2014-11-26 | ポインティング・ジェスチャ位置を認識する方法、コンピュータ、およびコンピュータ・プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016099918A JP2016099918A (ja) | 2016-05-30 |
JP6124863B2 true JP6124863B2 (ja) | 2017-05-10 |
Family
ID=56077897
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014238449A Active JP6124863B2 (ja) | 2014-11-26 | 2014-11-26 | ポインティング・ジェスチャ位置を認識する方法、コンピュータ、およびコンピュータ・プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6124863B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019210758B4 (de) * | 2019-07-19 | 2021-05-12 | Volkswagen Aktiengesellschaft | Bereitstellung und Übertragung von Positionsdaten einer Umgebung eines Kraftfahrzeugs |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2974223B2 (ja) * | 1992-01-28 | 1999-11-10 | トヨタ自動車株式会社 | 光学式形状認識装置 |
JP3456735B2 (ja) * | 1994-02-21 | 2003-10-14 | 沖電気工業株式会社 | 情報入力装置及びそれを用いたプレゼンテーションシステム |
JPH1055446A (ja) * | 1996-08-09 | 1998-02-24 | Omron Corp | 物体認識装置 |
DE60133386T2 (de) * | 2000-05-17 | 2009-04-02 | Koninklijke Philips Electronics N.V. | Vorrichtung und verfahren zur anzeige eines ziels mittels bildverarbeitung ohne drei dimensionales modellieren |
JP2007043528A (ja) * | 2005-08-04 | 2007-02-15 | Noritsu Koki Co Ltd | 画像処理装置 |
JP4725383B2 (ja) * | 2006-03-24 | 2011-07-13 | カシオ計算機株式会社 | ポインティング装置、外部情報処理装置、指示位置特定装置、及び指示位置特定方法 |
-
2014
- 2014-11-26 JP JP2014238449A patent/JP6124863B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016099918A (ja) | 2016-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5474202B2 (ja) | 顔検出および画像測定に基づいて注視点を検出する方法および装置 | |
US8350896B2 (en) | Terminal apparatus, display control method, and display control program | |
JP2020182251A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4677281B2 (ja) | 画像処理方法、画像処理装置 | |
JP2001061121A (ja) | プロジェクタ装置 | |
JP6640294B1 (ja) | 複合現実システム、プログラム、携帯端末装置、及び方法 | |
JP2003296757A (ja) | 情報処理方法および装置 | |
JP2017188766A (ja) | カメラを備える電子機器、撮影映像の補正方法および記憶媒体 | |
JPWO2012144145A1 (ja) | ポインティング制御装置とその集積回路、およびポインティング制御方法 | |
WO2018154634A1 (ja) | 投写型表示装置、投写型表示装置の制御方法、及びプログラム | |
CN114286066A (zh) | 投影校正方法、装置、存储介质以及投影设备 | |
KR101349347B1 (ko) | 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템 및 방법 | |
JP5847610B2 (ja) | Ar技術を用いたコンピュータ・グラフィックス画像処理システム及び方法 | |
TW201337639A (zh) | 指向性影像操控裝置及其方法 | |
JP6124863B2 (ja) | ポインティング・ジェスチャ位置を認識する方法、コンピュータ、およびコンピュータ・プログラム | |
JP6124862B2 (ja) | ポインティング・ジェスチャに応じたアクションをする方法、会議支援システム、およびコンピュータ・プログラム | |
JP2011002292A (ja) | 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム | |
JP2013218423A (ja) | 指向性映像コントロール装置及びその方法 | |
JP2015149036A (ja) | タッチスクリーンに対する操作精度を向上する方法、電子機器およびコンピュータ・プログラム | |
JP6643825B2 (ja) | 装置及び方法 | |
JP6579706B2 (ja) | 画像処理装置、画像処理方法および画像処理用プログラム | |
JP2013257830A (ja) | 情報処理装置 | |
JP7118383B1 (ja) | 表示システム、表示方法、及び表示プログラム | |
JP7333559B2 (ja) | 位置検出システム、位置検出装置、位置検出方法、及びプログラム | |
TWI446214B (zh) | Remote control system based on user action and its method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6124863 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |