JP6124862B2 - ポインティング・ジェスチャに応じたアクションをする方法、会議支援システム、およびコンピュータ・プログラム - Google Patents
ポインティング・ジェスチャに応じたアクションをする方法、会議支援システム、およびコンピュータ・プログラム Download PDFInfo
- Publication number
- JP6124862B2 JP6124862B2 JP2014238448A JP2014238448A JP6124862B2 JP 6124862 B2 JP6124862 B2 JP 6124862B2 JP 2014238448 A JP2014238448 A JP 2014238448A JP 2014238448 A JP2014238448 A JP 2014238448A JP 6124862 B2 JP6124862 B2 JP 6124862B2
- Authority
- JP
- Japan
- Prior art keywords
- pointing
- arbitrary
- display image
- image
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 43
- 230000009471 action Effects 0.000 title claims description 16
- 238000004590 computer program Methods 0.000 title claims description 7
- 238000004364 calculation method Methods 0.000 claims description 60
- 230000014509 gene expression Effects 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 16
- 239000003550 marker Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
図1(A)は、会議支援システム100(図3)を構成するノートPC10のハードウェアの構成を説明するための概略の機能ブロック図で、図1(B)は外形を示す斜視図である。本発明との関連において、ノートPC10のハードウェアの構成は周知であるため説明は簡略化する。CPU11はグラフィック・コアを内蔵しておりLCD15とシステム・メモリ13が接続されている。チップセット17は、さまざまなインターフェースのコントローラを内蔵している。チップセット17のSATAコントローラにはHDD19が接続され、HDMI(登録商標)コントローラにはマイクロフォン21が接続され、USBコントローラには有線または無線でカメラ23a、23bが接続され、DVIコントローラにはDVIポート27が接続されている。
[会議支援システム]
図2は、会議支援システム100(図3)が機能する環境の一例を説明するための平面図である。机50の上には、ノートPC10に有線または無線で接続されたプロジェクター51を配置している。プレゼンター61がスクリーン53の前面に立ち、机50の廻りの椅子に複数の参加者63が座っている。プレゼンター61が所有するノートPC10は、プロジェクター51で投影するためのピクセル画像データをプロジェクター51に出力する。プロジェクター51はノートPC10が出力するピクセル画像データを受け取ってスクリーン53のスクリーン面53aにスクリーン画像401を投影する。
つぎに、図1〜図8を参照して会議支援システム100の動作を説明する。図5は、会議支援システム100の動作を説明するためのフローチャートである。ブロック201で、プロジェクター51が、画像出力部113が出力するピクセル画像データをスクリーン面53aにスクリーン画像401として投影している。プロジェクター51が映し出すスクリーン画像401の大きさはその都度変化するため事前に確定していない。プロジェクター51の光軸がスクリーン面53aに対して法線から左右方向に傾斜している場合がある。したがって、スクリーン画像401は左右方向に長くなって、そのアスペクト比がピクセル画像データのアスペクト比と異なることがある。また、光軸がスクリーン面53aに対して法線から上下方向に傾斜している場合がある。したがって、スクリーン画像401の輪郭は上下方向で逆台形になることがある。
ここに、a、b、cは平行平面407の法線ベクトルで、直線409上の2点405a、405bのグローバル座標から計算することができる。dは平行平面407とグローバル座標(X1,Y1,Z1)の原点の距離である。ブロック216でポインティング座標計算部105が、初期化をするプレゼンター61の特徴点405aからスクリーン面53a上の位置401qまでの距離を認識する。この手順は、利用モードにおいて、プレゼンター61が初期化した場所とは異なる場所でポインティングするときのポインティング位置の偏差を縮小することを目的にしているが、詳しい手順は図8を参照して説明する。ブロック217でポインティング座標計算部107は、平行平面407とポインティング直線403b〜403dの交点である仮想コーナー413b〜413dのグローバル座標(X2,Y2,Z2)〜(X4,Y4,Z4)を計算して平行平面407上に仮想コーナー413a〜413dを頂点とする仮想画像413を確定する。ここで、初期化をしたプレゼンター61からみたときにスクリーン画像401と仮想画像413は相似になる。
53 スクリーン
53a スクリーン平面
100 会議支援システム
301 アプリケーション画像
301a〜301c 基準ピクセル座標
361、363 スクリーン画像のマーカー画像
401 スクリーン画像
401a〜401d スクリーン画像のコーナー
401p ポインティング位置(スクリーン画像とポインティング直線411の交点)
401q 法線方向のポインティング直線上の点
403a〜403d コーナーに対するポインティング直線
409 法線方向のポインティング直線
411 任意の方向のポインティング直線
405a 人体の特徴点(目の間)
405b 人体の特徴点(人指し指の指先)
407 平行平面
413 仮想画像
413a〜413d 仮想画像のコーナー
413p 仮想ポインティング位置(平行平面413とポインティング直線411の交点)
X、Y,Z グローバル座標
Claims (18)
- ピクセル画像データを表示した表示画像に対するポインティング・ジェスチャに応じてコンピュータがアクションをする方法であって、
前記表示画像を撮影しない任意の方向を向いているステレオ・カメラが撮影したポインティング・ジェスチャの画像から特徴点のグローバル座標を取得するステップと、
前記表示画像に平行な平行平面を設定するステップと、
前記表示画像の基準ポインティング位置に対するポインティング・ジェスチャから前記基準ポインティング位置に対応する前記平行平面上の基準グローバル座標を取得するステップと、
前記表示画像の任意ポインティング位置に対するポインティング・ジェスチャから前記任意ポインティング位置に対応する前記平行平面上の任意グローバル座標を取得するステップと、
前記基準グローバル座標に対する前記任意グローバル座標の相対位置から任意ピクセル座標を取得するステップと、
前記コンピュータが前記任意ピクセル座標を認識して所定のアクションを実行するステップと
を有する方法。 - 前記基準ポインティング位置が前記表示画像の輪郭である請求項1に記載の方法。
- 前記基準ポインティング位置が前記表示画像のコーナーである請求項1に記載の方法。
- 前記任意ピクセル座標を取得するステップが、前記表示画像の輪郭に対応する前記基準グローバル座標を内分する前記任意グローバル座標の内分比を計算するステップを含む請求項1に記載の方法。
- 前記平行平面を設定するステップが、前記表示画像の垂直方向に対するポインティング・ジェスチャから法線の式を計算するステップを含む請求項1に記載の方法。
- 前記法線の式に前記ポインティング・ジェスチャをする位置から前記表示画像の表示面までの距離を設定して前記平行平面の位置を決定するステップを有する請求項5に記載の方法。
- 前記表示画像の表示面から前記ポインティング・ジェスチャをする位置までの距離を前記コンピュータが指定する請求項6に記載の方法。
- 前記表示画像の表示面から前記ポインティング・ジェスチャをする位置までの距離を操作者が前記コンピュータに設定する請求項6に記載の方法。
- 前記表示画像が、プロジェクターがスクリーン面に投影するスクリーン画像である請求項1に記載の方法。
- 前記プロジェクターが台形補正または前記スクリーン面に対する光軸調整をしない請求項9に記載の方法。
- 前記アクションが前記任意ピクセル座標にスポット画像を表示する処理である請求項1に記載の方法。
- 前記アクションが前記任意ピクセル座標に定義した入力を認識する処理である請求項1に記載の方法。
- 表示画像を表示する表示面に対して前記表示画像を撮影しない任意の位置に設置されるステレオ・カメラが撮影したポインティング・ジェスチャの画像から特徴点のグローバル座標を取得することが可能なコンピュータに、
前記表示面にピクセル画像データに対応する前記表示画像を表示するステップと、
前記表示画像の基準ポインティング位置に対するポインティング・ジェスチャから基準直線の式を取得するステップと、
前記表示面に平行な平行平面の式を取得するステップと、
前記平行平面の式と前記基準直線の式から前記平行平面上に前記表示画像に対応する仮想表示画像を設定するステップと、
前記表示画像の任意ポインティング位置に対するポインティング・ジェスチャから任意直線の式を取得するステップと、
前記任意直線の式と前記仮想表示画像の交点から前記任意ポインティング位置に対応する任意ピクセル座標を取得するステップと
を有する処理を実行させるためのコンピュータ・プログラム。 - 前記平行平面の式を取得するステップが、前記基準直線の式に所定の座標を設定するステップと、前記表示面の法線方向に対するポインティング・ジェスチャから法線ベクトルを取得するステップを含む請求項13に記載のコンピュータ・プログラム。
- 前記平行平面の式を取得するステップが、前記表示面に対するポインティング・ジェスチャから法線の式を計算するステップと、前記ポインティング・ジェスチャをする位置と前記表示面の距離に相当する長さを前記法線と前記平行平面の交点に設定するステップを含む請求項14に記載のコンピュータ・プログラム。
- 前記交点に設定するステップが、ポインティング・ジェスチャをする位置と前記表示面の距離を操作者から受け取るステップを含む請求項15に記載のコンピュータ・プログラム。
- 表示面が表示する表示画像に対するポインティング・ジェスチャでアクションをすることが可能な会議支援システムであって、
前記表示画像を撮影しない任意の位置に配置される複数のカメラと、
前記複数のカメラが撮影した画像からポインティング・ジェスチャの特徴点のグローバル座標を計算するグローバル座標計算部と、
前記表示面の法線方向に対するポインティング・ジェスチャから前記表示面に平行な平行平面を設定し、前記表示画像の基準ポインティング位置に対応するポインティング・ジェスチャから前記平行平面上の基準グローバル座標を計算し、前記表示画像の任意ポインティング位置に対応するポインティング・ジェスチャから前記平行平面上の任意グローバル座標を計算し、前記基準グローバル座標に対する前記任意グローバル座標の相対位置を計算するポインティング座標計算部と、
前記相対位置に対応する任意ピクセル座標を計算するピクセル座標計算部と、
前記任意ピクセル座標を認識してアプリケーション・プログラムを操作するアプリケーション実行部と
を有する会議支援システム。 - 表示画像を撮影しない任意の位置に配置される複数のカメラと、
前記表示画像を表示するプロジェクターに接続するインターフェースと、
前記複数のカメラが撮影した画像からポインティング・ジェスチャの特徴点のグローバル座標を計算するグローバル座標計算部と、
前記表示画像の法線方向に対するポインティング・ジェスチャから前記表示画像に平行な平行平面を設定し、ポインティング・ジェスチャにより計算した前記表示画像の基準ポインティング位置に対するポインティング直線と前記表示画像の任意ポインティング位置に対するポインティング直線と前記平行平面の交点から、前記基準ポインティング位置に対する前記任意ポインティング位置の相対位置を計算するポインティング座標計算部と、
前記相対位置から前記任意ポインティング位置に対応する任意ピクセル座標を計算するピクセル座標計算部と、
前記任意ピクセル座標を認識して所定のアクションをするアプリケーション実行部と
を有する携帯式コンピュータ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014238448A JP6124862B2 (ja) | 2014-11-26 | 2014-11-26 | ポインティング・ジェスチャに応じたアクションをする方法、会議支援システム、およびコンピュータ・プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014238448A JP6124862B2 (ja) | 2014-11-26 | 2014-11-26 | ポインティング・ジェスチャに応じたアクションをする方法、会議支援システム、およびコンピュータ・プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016099917A JP2016099917A (ja) | 2016-05-30 |
JP6124862B2 true JP6124862B2 (ja) | 2017-05-10 |
Family
ID=56077885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014238448A Active JP6124862B2 (ja) | 2014-11-26 | 2014-11-26 | ポインティング・ジェスチャに応じたアクションをする方法、会議支援システム、およびコンピュータ・プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6124862B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018083737A1 (ja) * | 2016-11-01 | 2018-05-11 | マクセル株式会社 | 表示装置及び遠隔操作制御装置 |
CN111580662A (zh) * | 2020-05-08 | 2020-08-25 | 北京奇艺世纪科技有限公司 | 一种视图滚动的控制方法、装置、电子设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3114813B2 (ja) * | 1991-02-27 | 2000-12-04 | 日本電信電話株式会社 | 情報入力方法 |
JP3456735B2 (ja) * | 1994-02-21 | 2003-10-14 | 沖電気工業株式会社 | 情報入力装置及びそれを用いたプレゼンテーションシステム |
JP2003044222A (ja) * | 2001-07-31 | 2003-02-14 | Fuji Photo Optical Co Ltd | プレゼンテーションシステムおよびプレゼンテーション方法 |
JP2011150609A (ja) * | 2010-01-22 | 2011-08-04 | Kyocera Corp | 投影制御装置及び投影方法、並びに投影制御用コンピュータプログラム |
JP5927845B2 (ja) * | 2011-11-01 | 2016-06-01 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
-
2014
- 2014-11-26 JP JP2014238448A patent/JP6124862B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016099917A (ja) | 2016-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6090140B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP4677281B2 (ja) | 画像処理方法、画像処理装置 | |
JP2013258614A (ja) | 画像生成装置および画像生成方法 | |
JP5798183B2 (ja) | ポインティング制御装置とその集積回路、およびポインティング制御方法 | |
KR20110099176A (ko) | 증강현실의 포인팅 장치 | |
JP7372061B2 (ja) | 遠隔作業支援システム | |
JP2012053631A (ja) | 情報処理装置、情報処理方法 | |
JP2020004325A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2003296757A (ja) | 情報処理方法および装置 | |
JP2019008623A (ja) | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 | |
US10901213B2 (en) | Image display apparatus and image display method | |
KR20230072757A (ko) | 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법 | |
JP2014203175A (ja) | 情報処理装置、情報処理方法及びプログラム。 | |
JP6124862B2 (ja) | ポインティング・ジェスチャに応じたアクションをする方法、会議支援システム、およびコンピュータ・プログラム | |
US10296098B2 (en) | Input/output device, input/output program, and input/output method | |
JP6452585B2 (ja) | 情報処理装置および位置情報取得方法 | |
JP2017134803A (ja) | 情報処理装置、情報処理方法 | |
JP6124863B2 (ja) | ポインティング・ジェスチャ位置を認識する方法、コンピュータ、およびコンピュータ・プログラム | |
JP2015201734A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
JP2014155635A (ja) | 視線計測装置、注視領域の表示方法および注視点のガウス分布の表示方法 | |
JP7012983B2 (ja) | 顔画像処理装置 | |
JP7118383B1 (ja) | 表示システム、表示方法、及び表示プログラム | |
WO2017098999A1 (ja) | 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、コンピュータープログラム | |
JP7427739B2 (ja) | 表示装置 | |
TWI779332B (zh) | 擴增實境系統與其錨定顯示虛擬物件的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6124862 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |