JP5798183B2 - ポインティング制御装置とその集積回路、およびポインティング制御方法 - Google Patents

ポインティング制御装置とその集積回路、およびポインティング制御方法 Download PDF

Info

Publication number
JP5798183B2
JP5798183B2 JP2013510860A JP2013510860A JP5798183B2 JP 5798183 B2 JP5798183 B2 JP 5798183B2 JP 2013510860 A JP2013510860 A JP 2013510860A JP 2013510860 A JP2013510860 A JP 2013510860A JP 5798183 B2 JP5798183 B2 JP 5798183B2
Authority
JP
Japan
Prior art keywords
instructor
face
cursor
fingertip
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013510860A
Other languages
English (en)
Other versions
JPWO2012144145A1 (ja
Inventor
山下　和彦
和彦 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2013510860A priority Critical patent/JP5798183B2/ja
Publication of JPWO2012144145A1 publication Critical patent/JPWO2012144145A1/ja
Application granted granted Critical
Publication of JP5798183B2 publication Critical patent/JP5798183B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、操作者が表示画面上の位置を指し示す指示操作を認識するポインティング制御技術に関する。
近年、パーソナルコンピュータなどの画面を大型ディスプレイ、プロジェクタ等によって映し出し、映し出された画面を見ながら会議をすることが広く行われている。このような会議において、画面上にある図や文字を指し示しながら説明、質問等をする、といったことが一般的に行われる。
画面上の図や文字を指し示す手段として、指示棒またはレーザーポインタなど、映し出されているディスプレイをダイレクトにポインティングする方法がある。また、他の手段として、マウス、ポインティングデバイス等の入力機器を使って、図や文字を表示している画面上にカーソルを表示してポインティングする方法もある（例えば、特許文献３参照）。
また、指示者が入力機器等を用いないポインティング方法として、指示者の指先を検出してカーソルを表示し、ポインティングする技術が知られている（例えば、特許文献１、特許文献２、特許文献４参照）。
特許文献１、特許文献２、特許文献４には、カメラなどの撮影手段を備え、撮影手段によって得られた複数の画像から、指示者の指先の位置を検出し、ポインティングを行う技術が開示されている。
特開平４−２７１４２３号公報 特開平５−１９９５７号公報 特開２００７−２２６３９７号公報 特開２００６−２０９３５９号公報
しかしながら、特許文献１、特許文献２、および特許文献４の技術は、１つのカーソルを用いてポインティングする技術であり、撮影手段によって得られた画像に含まれる指先の数は、カーソル数と同じ１つであることが前提である。ポインティングに用いるカーソルの数は１つに限られず２つ以上でもよいが、これら従来の技術では、撮影される指先の数がカーソル数より多い場合に、撮影される指先の中から、カーソルを定めるための指先を決定することができない課題を有している。
本発明は、複数の操作者が撮影されても、操作者の中から指示者を決定し、決定された指示者のみがポインティング動作を行うことができるポインティング制御技術を提供することを目的とする。
前記従来の課題を解決するために、本発明のポインティング制御装置は、指示操作を行う操作者のうちから、カーソル位置を指定できる指示者を決定するポインティング制御装置であって、各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを取得する位置取得部と、取得された各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを対応付けて、対応付けられた顔の位置と指先若しくはその代用部材の位置との間の距離を算出する距離算出部と、前記距離を用いて指示者を決定する指示者決定部と、決定された指示者の指先若しくはその代用部材の位置を用いてカーソル位置を算出し、算出されたカーソル位置を出力するカーソル位置算出部とを備えることを特徴とする。
本発明のポインティング制御装置によれば、顔の位置と指先若しくはその代用部材との間の距離を用いて複数の操作者の中からポインティング対象の位置を指定する指示者を特定し、他の操作者に影響されることなく指示者のみがポインティング動作を行うことが可能となる。
本発明の実施の形態１におけるポインティング制御装置を備えた表示制御装置の構成を示すブロック図 本発明の実施の形態１における表示制御装置に接続される入出力端末の外観を示すイメージ図 本発明の実施の形態１におけるポインティング制御装置の動作を示すフローチャート 本発明の実施の形態１における検出される指先とカメラとの位置関係を示す図 本発明の実施の形態１におけるカメラと、被写体の指先と顔の位置関係の一例を示す図 本発明の実施の形態１におけるカメラと、複数の被写体の指先と顔の位置関係の一例を示す図 本発明の実施の形態１におけるカメラ正面の位置からカメラ視野角の枠と、顔位置、指先位置の一例を示す図 本発明の実施の形態１における顔指間距離算出部の動作の一例を示すフローチャート 本発明の実施の形態１における指示者決定部の動作の一例を示すフローチャート 本発明の実施の形態１におけるカーソル合成部の動作の一例を示すフローチャート 本発明の実施の形態１におけるカーソル合成部が生成する合成表示画像の一例を示す図 本発明の実施の形態１の変形例１における顔指間距離の大小を示したイメージ図 本発明の実施の形態１の変形例１における顔指間距離とカーソル移動率の対応の一例を示した図 本発明の実施の形態２におけるカーソル合成部が生成する合成表示画像の一例を示す図 本発明の実施の形態２における複数の指示者を管理する管理情報の一例を示す図 本発明の実施の形態２における指示者決定部の動作の一例を示すフローチャート 本発明の実施の形態３における表示制御装置のシステム構成の一例を示す図 本発明の実施の形態１におけるポインティング制御装置を集積回路とした構成の一例を示す図
＜発明に至った経緯＞
従来の指先を撮影してポインティングする方法では、１つの指先が撮影されることを前提としているため、同時に２以上の指先が撮影される場合に、カーソル位置を定めるための１つの指先を決めることができない。つまり、カーソル数より多い指先が同時に撮影される場合に、カーソルと１対１で対応付けるための指先を選び出すことができない。
そこで、発明者らは、指示操作を行っている場合と指示操作を行っていない場合との間で、指先と顔との距離が異なることに着目した。
一般に、指示操作を行っている者は、手を伸ばして指先を画面に近づけるので、顔と指先との間の距離は大きく、また一定しないことが多い。これに対し、指示操作をしていない者は、一般に、手の動きが小さく、また肘を伸ばすことが少ないため、顔と指先との間の距離は小さく、また変動しないことが多い。したがって、顔と指先との間の距離を用いることで、複数の人物の中から、指示操作を行っている者のみを選び出すことが可能となる。
また、一人の操作者に着目した場合、指示操作を開始する前後、および終了する前後において、顔と指先との距離が大きく変化する。したがって、顔と指先との間の距離を用いて、操作者が指示操作を始めたこと、および、指示者が指示操作を止めたことを検出することができる。そのため、指示者が指示操作を止める場合に当該指示者を選び出す対象から外したり、さらに別の操作者が指示操作を始めた場合に当該操作者を選び出したりすることが可能となる。
このようにすることで、ポインティング動作を行っている者だけを指示者として選び出すことが可能となる。加えて、指示者が交代するような場合、直前の指示者がポインティング操作を止め、新たに指示者となる者がポインティング操作を開始するだけでよい。そのため、簡易な方法で指示者を決定することができ、また、指示者の交代も容易である。
＜実施の形態＞
以下本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、本発明の実施の形態におけるポインティング制御装置を備えた表示制御装置１００の構成を示すブロック図である。表示制御装置１００は、入出力端末２００と、表示画像を出力するパーソナルコンピュータ（図示せず）に接続されており、複数の操作者が、１つの表示装置に表示された画面を見ながら、指先でポインティング操作を行う場合を説明する。
＜構成＞
図１において、表示制御装置１００は、ポインティング制御装置１０１、表示画像入力部１０２、カーソル合成部１０３、画像出力部１０４を備えている。表示制御装置１００は、例えば、ＴＶ会議システムの主装置などで実現され、ポインティング制御装置１０１、表示画像入力部１０２、カーソル合成部１０３、画像出力部１０４は集積回路の一部として実現される。また、入出力端末２００は、カメラ２０１と表示装置２０２を備えている。表示装置２０２は、例えば、大型の液晶ディスプレイで実現される。
カメラ２０１は、表示装置の画面上の位置を指定するポインティング操作を行う操作者を撮影し、表示制御装置１００に出力する。なお、カメラ２０１が出力するカメラ画像は、被写体の検出だけでなく、被写体との距離を取得できる情報を含んでいる。カメラ２０１は、左右２つのカメラ２０１ａ、２０１ｂの一組からなり、撮影された２つの画像をステレオ画像として表示制御装置１００に出力する。表示制御装置１００は、カメラ２０１ａ、２０１ｂが撮影するステレオ画像における、左画像と右画像との視差を用いて、カメラから被写体までの距離を算出する。
ポインティング制御装置１０１は、カメラ２０１から画像を受け取り、被写体として撮影された操作者の顔と指先間の距離を取得する。複数の操作者が撮影されている場合、取得した複数の顔指間距離を用いて、ポインティング対象の位置を指定する指示者を決定する。ポインティング制御装置１０１は、決定した指示者の情報から、表示するカーソルの位置を算出し、カーソル位置情報として出力する。ポインティング制御装置１０１は、表示制御装置１００のＣＰＵ（不図示）と記憶部（不図示）とから構成される。記憶部は、例えばＥＥＰＲＯＭなどの不揮発性メモリにより実現され、ＣＰＵは記憶部に記憶されるプログラムを読み出して実行する。
表示画像入力部１０２は、例えば、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）入力端子を有し、画面に表示する情報を表示画像として、当該入力端子を介してパーソナルコンピュータから取得する。
カーソル合成部１０３は、ポインティング制御装置１０１からカーソル位置情報を受け取り、表示画像入力部１０２が取得した画像にカーソルを重畳する合成を行って、合成表示画像を生成する。また、カーソル合成部１０３は、ポインティング制御装置１０１からカーソル位置情報を受け取るまでは、所定のカーソル位置を、カーソル位置情報として使用し、カーソルを合成する。所定のカーソル位置は、表示画像の左上の隅である。
画像出力部１０４は、カーソル合成部１０３で生成した合成表示画像を受け取り、表示装置２０２に出力する。表示装置２０２は、画面上に、合成表示画像を表示する。
ポインティング制御装置１０１は、位置取得部１１１、顔指間距離算出部１１２、指示者決定部１１３、カーソル位置算出部１１４を備えている。
位置取得部１１１は、カメラ２０１から画像を受け取り、被写体として撮影された操作者の顔と指先間の位置とを検出して、検出した位置情報を顔指間距離算出部１１２に出力する。位置取得部１１１は、画像入力部１２１、顔検出部１２２、指先検出部１２３を備えている。
画像入力部１２１は、カメラ２０１から画像を受け取り、顔検出部１２２と指先検出部１２３に出力する。
顔検出部１２２は、画像入力部１２１より受け取ったカメラ画像から、被写体として撮影された操作者の顔を検出して位置情報を出力する。顔検出部１２２は、カメラ画像に人物の顔が写っている場合、写っている人物の顔を全て操作者の顔として検出する。顔検出部１２２は、検出した顔の位置情報を、顔指間距離算出部１１２に出力する。位置情報は、カメラからの距離および、水平、垂直位置の３つの情報を含んでいる。
指先検出部１２３は、画像入力部１２１より受け取ったカメラ画像から、被写体として撮影された操作者の指先を検出して位置情報を出力する。指先検出部１２３は、カメラ画像に人物の指先が写っている場合、写っている指先を全て操作者の指先として検出する。指先検出部１２３は、検出した指先の位置情報を、顔指間距離算出部１１２に出力する。位置情報は、カメラからの距離および、水平、垂直位置の３つの情報を含んでいる。
顔指間距離算出部１１２は、位置取得部１１１が出力した顔の位置と指先の位置とから、操作者の顔と操作者の指先とを対応付け、対応付けた顔と指先との距離（顔指間距離）を算出する。被写体として複数の操作者が写っている場合、位置取得部１１１は上述のように顔の位置情報を複数出力する。顔指間距離算出部１１２は、位置取得部１１１が出力した複数の顔の位置に対し、各々対応する指先を一つ決定し、複数の操作者に対する顔指間距離を算出する。
指示者決定部１１３は、顔指間距離算出部１１２が算出した顔指間距離を用いて、ポインティング対象の位置を指定する、カーソル移動権限を持つ指示者を決定する。指示者決定部１１３は、決定した指示者の情報である顔と指先との位置情報と、当該指示者の顔指間距離とを出力する。指示者とは、カーソル移動権限を有する唯一の操作者である。本実施の形態において、指示者決定部１１３は、被写体として複数の操作者が写っている場合、顔指間距離が最も大きい操作者を指示者と決定する。また、指示者決定部１１３は、顔指間距離算出部１１２が一つの顔指間距離のみを算出した場合、顔指間距離が取得できたその操作者を、指示者として決定する。また、指示者決定部１１３は、顔指間距離算出部１１２が一つも顔指間距離を算出しなかった場合、指示者なしと決定する。
カーソル位置算出部１１４は、指示者決定部１１３から受け取った指示者の情報である顔と指先との位置情報と、指示者の顔指間距離とから、表示するカーソルの位置を算出し、カーソル位置情報として出力する。カーソル位置算出部１１４は、表示中のカーソル位置と、そのカーソル位置を指定した指示者の顔と指先との位置情報を保持しており、新しく受け取った指示者の顔と指先との位置情報から、指示者の変更があったか否かを判断する。指示者の変更があった場合、カーソル位置算出部１１４は、カーソル初期位置を、現在のカーソル位置情報として出力する。カーソル初期位置は、画像の中央位置である。指示者の変更がなかった場合、カーソル位置算出部１１４は、後述する計算方法でカーソル位置を計算し、現在のカーソル位置情報として出力する。
図２は、本実施の形態における、表示制御装置１００に接続される入出力端末２００の外観を示したイメージ図である。入出力端末２００は、画面表示するための１つの表示装置２０２と、撮影のための１組のカメラ２０１からなる。カメラ２０１は、左右２つのカメラ２０１ａ、２０１ｂを一組としたステレオカメラであり、ステレオ画像を出力する。
図２では、カメラ２０１は、表示装置２０２の上部に設置している。カメラ２０１と表示装置２０２が同じ方向を向いて近接設置されていると、操作者が、表示装置２０２に表示されている画面を見ながらポインティング操作を行うと、操作者の顔と指先がカメラ２０１の視角内に入りやすくなるというメリットがある。
＜動作＞
図３は、本実施の形態におけるポインティング制御装置１０１を含む表示制御装置１００の動作を示すフローチャートである。
表示制御装置１００は、カメラ２０１の画像を取得する（Ｓ１０）。位置取得部１１１は顔検出部１２２と指先検出部１２３を起動する。
次に、顔検出部１２２は画像入力部１２１が取得した画像を解析し、映っている人物の顔を全て検出してそれぞれの位置情報を顔指間距離算出部１１２に出力する（Ｓ２０）。
同様に、指先検出部１２３は画像入力部１２１が取得した画像を解析し、映っている人物の指先を全て検出してそれぞれの位置情報を顔指間距離算出部１１２に出力する（Ｓ３０）。
ここで、顔と指先の位置情報を取得する方法について説明する。まず、顔または指先を外枠（輪郭）または含まれるパーツ、肌の色などを用いた画像認識によって検出した後、検出された領域よりカメラ２０１に最も近い特徴点を抽出する。顔を検出する場合、一般に顔の外枠（輪郭）を検出するため、特徴点として、顔の外枠の範囲内でカメラ２０１から最も距離の近いポイントを用いる。この場合、特徴点は通常、鼻の頭となるため、以下鼻の頭を顔の位置として説明する。同様に指先を検出する場合、一般には輪郭線を検出し、特徴点として、カメラに最も近いポイントを用いる。この場合、特徴点は通常、人差し指の先端となるため、以下、人差し指の先端を指先の位置として説明する。
次に、特徴点の位置を求める。以下、指先の位置の取得方法について説明するが、顔の位置の取得方法も同じである。
図４にカメラ２０１ａと指先との位置関係を示す。３０１は指先の位置である。また、視野角の枠３００は、カメラ２０１ａから指先３０１までの距離におけるカメラ２０１ａの視野角の範囲である。
まず、カメラ２０１ａの画像とカメラ２０１ｂの画像とから、指先３０１の視差を検出し、カメラから指先までの距離Ｚを算出する。次に、指先３０１からカメラ２０１ａに向かうベクトルを法線ベクトルとする平面を導出し、カメラ視野角を当該平面に射影することで視野角の枠３００を得る。視野角の枠３００の大きさ、すなわち垂直方向の長さと水平方向の長さは、いずれもカメラの画角と距離Ｚによって定まる。本実施の形態では、視野角の枠３００内の水平方向の位置Ｘ、垂直方向の位置Ｙを用いて、指先の位置（Ｘ，Ｙ，Ｚ）を取得する。すなわち、ＸとＹは視野角の枠３００の大きさに依存した相対値であり、視野角の枠３００における向かって左下の角を原点（０，０）とし、向かって右上の角を（２００，１５０）とする。
次に、顔指間距離算出部１１２は、顔と指先とを対応付け、対応付けた顔と指先との間の顔指間距離を算出する（Ｓ４０）。
図５は、カメラ２０１ａと、被写体の指先と顔の位置関係を横方向から示した関係図である。３１１は指先の位置、３２１は顔の位置である。３１０は、指先位置３１１におけるカメラ視野角の枠、３２０は、顔位置３２１におけるカメラ視野角の枠である。なお、２つのカメラ視野角の枠３１０、３２０は、真横から見た場合、直線として表される。
図６は、カメラ２０１ａと、複数の被写体の、指先および顔との位置関係を横方向から示した関係図である。３３１は被写体ａの指先位置、３４１は被写体ａの顔位置、３５１は被写体ｂの指先位置、３６１は被写体ｂの顔位置である。３３０、３４０、３５０、３６０はそれぞれ、被写体ａの指先位置３３１、被写体ａの顔位置３４１、被写体ｂの指先位置３５１、被写体ｂの顔位置３６１における、カメラ視野角の枠である。図６では、被写体ａと被写体ｂの二人が検出されており、被写体ａは、被写体ｂと比べて、カメラに近くに位置している。図７は図６の位置関係をカメラ２０１ａの光軸上の点から見た図である。
図８は、顔指間距離算出部１１２の動作のフローチャートである。図８を用いて、顔指間距離算出部１１２が、顔の位置と指先の位置から、操作者の顔と指先を対応付け、顔指間距離を取得する動作について説明する。
なお、本実施の形態では、顔指間距離算出部１１２は、「条件１：顔位置より指先位置の方がカメラに近い」と「条件２：顔位置と指先位置が最も近いものを対応付ける」の双方を満たすように顔と指先を対応付ける。
顔指間距離算出部１１２は、位置取得部１１１から取得した顔位置の中から、まだ選択されておらず、かつ最もカメラ２０１ａに近い１つの顔位置を選択する（Ｓ４１０）。
次に、顔指間距離算出部１１２は、位置取得部１１１から取得した指先位置の中から、どの顔とも対応付けられていない１つの指先位置を選択する（Ｓ４２０）。
次に、顔指間距離算出部１１２は、選択した顔位置と選択した指先位置を組み合わせ、どちらがカメラ２０１ａに近いかを判定する（Ｓ４３０）。
指先位置の方がカメラ２０１ａに近い場合（Ｓ４３０）、組み合わせた顔と指先間の距離を取得する（Ｓ４４０）。さらに、顔指間距離算出部１１２は、選択中の顔に対して顔指間距離を保持していなければ（Ｓ４５０）、取得した顔指間距離を保持し、選択中の指を選択中の顔と対応付ける（Ｓ４６０）。また、顔指間距離算出部１１２は、選択中の顔に対して顔指間距離を保持していれば、保持している顔指間距離と新たに取得した顔指間距離を比較し（Ｓ４５０）、新たな顔指間距離の方が小さい場合には、選択中の顔に関する対応付けと顔指間距離を消去し、取得した顔指間距離を保持し、選択中の指を選択中の顔と対応付ける（Ｓ４６０）。
一方、顔位置の方がカメラ２０１ａに近い場合（Ｓ４３０）、顔指間距離算出部１１２は、この組み合わせは、対応付ける条件から外れると判断する。
次に、選択した１つの顔位置に対して選択していない指先位置がある場合（Ｓ４７０がＹｅｓ）、Ｓ４２０に戻って新しく選択した指先位置との組み合わせ判定を繰り返す。
一方、選択した１つの顔位置に対し、全ての指先位置を選択した場合（Ｓ４７０がＮｏ）、選択していない顔位置があるかどうかを判定し（Ｓ４８０）、選択されていない顔位置がある場合はＳ４１０に戻って新しく顔位置を選択して指先位置との組み合わせ判定を繰り返す。
全ての顔位置を選択済みの場合（Ｓ４８０がＮｏ）、顔指間距離算出部１１２は、対応付けの処理を終了する。
以上により、顔指間距離算出部１１２は、被写体として複数の操作者が写っている場合、選択した一つの顔位置に対し、最も適切な位置にある指先位置を、順に対応付ける。これにより、顔指間距離算出部１１２は、被写体として写っている操作者に対し、顔と指先を対応付け、顔指間距離を取得することができる。
以下に、顔指間距離算出部１１２が、複数の操作者の顔と指先を対応付ける処理の具体例を、図６と図７とを用いて説明する。
顔指間距離算出部１１２は、検出された顔位置３４１、３６１と、指先位置３３１、３５１に対し、対応付けを見つけるために、それぞれの顔位置に対して、最も適切な位置にある指先位置を順に組み合わせていく。
まず、顔指間距離算出部１１２は、顔位置のうちカメラに近い顔位置３４１を選択する（Ｓ４１０）。
次に、顔指間距離算出部１１２は、指先位置３３１を選択する（Ｓ４２０）。次に、顔指間距離算出部１１２は顔位置３４１と指先位置３３１のいずれがカメラ２０１ａに近いか判断し（Ｓ４３０）、指先位置３３１の方がカメラに近いため顔位置３４１と指先位置３３１との間の距離を取得する（Ｓ４４０）。顔位置３４１に対して対応付けられている指先はないので（Ｓ４５０）、顔指間距離算出部１１２は、顔位置３４１と指先位置３３１を対応付け、顔指間距離を保持する（Ｓ４６０）。
次に、顔位置３４１に対して指先位置３５１が選択されていないので（Ｓ４７０でＹｅｓ）、顔指間距離算出部１１２は、指先位置３５１を選択する（Ｓ４２０）。次に、顔指間距離算出部１１２は顔位置３４１と指先位置３５１のいずれがカメラ２０１ａに近いか判断し（Ｓ４３０）、顔位置３４１の方がカメラに近いため、顔位置３４１に対して選択されていない指先がないか判断し（Ｓ４７０）、選択されていない指先がないため、選択されていない顔があるか判断する（Ｓ４８０）。顔指間距離算出部１１２は、未選択の顔位置３６１を選択する（Ｓ４１０）。
次に、顔指間距離算出部１１２は、指先位置３５１を選択する（Ｓ４２０）。次に、顔指間距離算出部１１２は顔位置３６１と指先位置３５１のいずれがカメラ２０１ａに近いか判断し（Ｓ４３０）、指先位置３５１の方がカメラに近いため顔位置３６１と指先位置３５１との間の距離を取得する（Ｓ４４０）。顔位置３６１に対して対応付けられている指先はないので（Ｓ４５０）、顔指間距離算出部１１２は、顔位置３６１と指先位置３５１を対応付け、顔指間距離を保持する（Ｓ４６０）。
次に、顔位置３６１に対して選択されていない指先がないか判断し（Ｓ４７０）、指先３３１は既に顔位置３４１と対応付けられていて選択できないため、選択されていない顔があるか判断する（Ｓ４８０）。顔指間距離算出部１１２は、未選択の顔位置がないので処理を終了する。
このようにして、顔位置３４１と指先位置３３１が対応付けられて顔指間距離が算出され、顔位置３６１と指先位置３５１が対応付けられて顔指間距離が算出される。
次に、指示者決定部１１３は、顔指間距離から指示者を決定する（Ｓ５０）。
図９は、指示者決定部１１３の動作を示すフローチャートである。図９を用いて、指示者決定部１１３が、指示者を決定する動作について説明する。
指示者決定部１１３は、顔指間距離算出部１１２が対応付けた顔と指先の対応関係（以下、ペアと呼ぶ）の中から、１つのペアを選択する。選択したペアは、比較元ペアである（Ｓ５１０）。
次に、指示者決定部１１３は、顔指間距離算出部１１２が対応付けたペアが他に存在するか判定し（Ｓ５２０でＹｅｓ）、存在する場合にはその中から１つのペアを選択する（Ｓ５３０）。選択されたペアは、比較先のペアである。
指示者決定部１１３は、比較元ペアと比較先ペアとで、いずれの顔指間距離が大きいか判定し（Ｓ５４０）、比較先ペアの顔指間距離の方が大きい場合、指示者決定部１１３は、比較先顔指間距離を、新たな比較元ペアとする（Ｓ５５０）。
次に、指示者決定部１１３は、顔指間距離算出部１１２が対応付けたペアが他に存在するか判定し（Ｓ５２０）、存在する場合は１つのペアを比較先として選択する処理を繰り返す。
一方、顔指間距離算出部１１２が対応付けたペアが全て一度以上比較元または比較先として選択された場合には（Ｓ５２０でＮｏ）、指示者決定部１１３は、比較元ペアが、顔指間距離が最大と判定し、当該ペアを、指示者と決定する（Ｓ５６０）。
次に、カーソル位置算出部１１４は、決定された指示者の情報から、カーソル位置を算出して出力する（Ｓ６０）。
カーソル位置算出部１１４は、１名分の指示者の情報を、指示者決定部１１３から受け取る。カーソル位置算出部１１４は、表示中のカーソル位置と、そのカーソル位置を指定した指示者の情報（顔の位置情報、および指先の位置情報）を保持しており、新しく受け取った指示者の情報から、指示者の変更があったか否かを判断し、次に、カーソル位置の算出を行う。これは、新たな指示者が直前の指示者と同一か否かで、カーソル位置の算出方法が異なるからである。
カーソル位置算出部１１４は、指示者の変更の有無を、指示者の顔位置に大きな移動があったか否かで判断する。
本実施の形態に係るポインティング制御装置１０１は、操作者が自分の座席から移動することなく、ポインティング操作を行うことを前提としている。そのため、カーソル位置算出部１１４は、隣り合う座席の中心間の距離の１／２をしきい値として、直前の指示者の顔の位置と現在の指示者の顔の位置との間の距離が、しきい値を超えていれば指示者の変更があったと判断し、そうでない場合は、直前の指示者と新たな指示者が同じ座席にいると推測できるので、指示者の変更がないと判断する。
指示者の変更があった場合、カーソル位置算出部１１４は、予め保持しているカーソル初期位置を、現在のカーソル位置情報として出力する。カーソル初期位置は、上述したように、画面の中央位置である。
指示者の変更がない場合、カーソル位置算出部１１４は、指先から表示装置へ向かう直線と、表示装置のディスプレイ面との交点の位置を、現在のカーソル位置として出力する。
以上Ｓ１０〜Ｓ６０の各動作によって、ポインティング制御装置１０１は、カメラ２０１から取得した画像を基にカーソル位置を出力する。
続けて、表示制御装置１００が指示内容を出力する動作について説明する。
表示画像入力部１０２は、表示装置２０２に表示すべき画像をパーソナルコンピュータから取得し、カーソル合成部１０３は、表示画像入力部１０２から取得した画像に対し、ポインティング制御装置１０１が出力するカーソル位置にカーソルを重畳合成して画像出力部１０４に出力する（Ｓ７０）。
図１０は、カーソル合成部１０３の動作を示すフローチャートである。
カーソル合成部１０３は、表示画像入力部１０２から、表示画像を受け取る（Ｓ７１０）。この表示画像は、表示用の原画像のデータである。
次に、カーソル合成部１０３は、ポインティング制御装置１０１からカーソル位置の指定を受けているか否かを判定する（Ｓ７２０）。
位置指定がない場合（Ｓ７２０）、カーソル合成部１０３は、表示画像の所定の位置にカーソルを合成して、合成表示画像を生成する（Ｓ７３０）。ここで、所定の位置とは、上述したように画面の左上の隅である。
位置指定がある場合（Ｓ７２０）、カーソル合成部１０３は、表示画像における、カーソル位置情報が示す指定位置にカーソルを合成し、合成表示画像を生成する（Ｓ７４０）。
最後に、カーソル合成部１０３は、生成した合成表示画像を、画像出力部１０４に出力する（Ｓ７５０）。
図１１は、カーソル合成部１０３が生成する合成表示画像の一例を示している。図１１（Ａ）の４０１は、カーソル合成部１０３が表示画像入力部１０２から受け取る表示画像である。４０２は、カーソルのイメージデータである。４０３は、カーソル合成部１０３がポインティング制御装置１０１から受け取るカーソル位置情報が示す指定位置を示している。
図１１（Ｂ）の４０４は、図１１（Ａ）に示した各情報を用いて生成した、合成表示画像である。カーソル合成部１０３は、表示画像入力部１０２から受け取った表示画像４０１の、カーソル位置情報が示す指定位置４０３に、カーソルのイメージデータ４０２を重ね合わせて合成し、合成表示画像４０４を生成する。
＜まとめ＞
以上により、ポインティング制御装置を備えた表示制御装置は、複数の操作者の中から、ポインティング対象の位置を指定する指示者を決定し、決定した指示者が指定する位置に、カーソル表示することが可能となる。
ポインティング制御装置は、複数の操作者がポインティング操作を行う場合に、被写体として写っている操作者の顔指間距離を用いて、複数の操作者の中から、カーソル移動権限を持つ指示者を決定する。
操作者は、現在操作中の指示者より、カメラに向かって自分の手を延ばすことで、カーソル移動権限を得ることができる。操作者が、現在操作中の指示者より、自分の手をカメラに向かって延ばす動作は、操作者エリアに移動する場合と比べて会議の進行を妨げないため、会議進行の効率を向上できる。特に、物理的に狭い部屋では、困難な座席の移動が不必要となるため有効である。
また、指示者は顔指間距離によって選択され、カメラと操作者との間の距離には依存しないので、操作者よりカメラより近い位置に他の参加者がいる場合であっても、操作者が、現在操作中の指示者より、自分の手をカメラに向かって延ばす動作を行うことで、指示者としてカーソル移動権限を得ることができる。
また、ポインティング制御装置は、カーソルの操作権を持つ指示者が変更した際、カーソルを初期位置、例えば、画面の中央に移動することで、直前の指示者が指した位置に関係なく、カーソルを動かし始めることが可能となる。
（変形例１）
実施の形態１におけるカーソル位置算出部１１４は、指先から表示装置へ向かう直線と、表示装置のディスプレイ面との交点の位置を、カーソル位置としたが、指先の移動可能範囲に対して表示装置のディスプレイ面が大きい場合、指示者が指し示すことができない領域が発生することがある。このような場合に、例えば、マウスを用いたカーソル移動であれば、マウスを動かす平面上の端まで動かしてしまった時には、一旦マウスを浮かせて戻すことで、さらに同じ方向に移動させることが可能である。しかしながら、実施の形態１のポインティング制御装置では、カーソルを動かすための指先の移動と、カーソル移動を伴わない指先の移動を区別することができないため、このような方法でカーソルの移動範囲を拡張することができない。
そこで、表示中のカーソル位置から、指先の動いた方向へ動かした位置を、新たなカーソル位置とする、カーソル位置算出方法がある。この場合において、カーソルの移動距離を決定する必要があるが、通常、指先の移動した距離を用いてカーソルの移動距離を決定する。しかしながら、カーソルの移動距離が指先の移動距離の定数倍であるとした場合、当該定数が小さいと、カーソルの移動不可能な範囲が発生する場合がある。また、逆に、当該定数が大きいと指先を少し動かしただけでカーソルが大きく動いてしまい、微小なカーソル移動が難しく、カーソルを適切に操作できないことがある。
本変形例において、カーソル位置算出部１１４は、カーソルの移動量を、指示者の顔指先間距離を用いて、決定する。これにより、指示者が、顔に指先を近づけたポインティングと、顔から指先を遠ざけたポインティングを使い分けることで、カーソルを適切に操作することができる。
本変形例に係るポインティング制御装置は、カーソル位置算出の方法を除き実施の形態１と同一であるので、実施の形態１と同一の構成及び動作については説明を省略し、カーソル位置算出の方法のみについて説明する。
図１２は、顔と指先の距離の大小を示したイメージ図である。
図１２（Ａ）は、顔と指先の距離が長い場合を例示している。図１２（Ｂ）は、顔と指先の距離が短い場合を例示している。
図１２において、５０１は顔の位置を示している。また、図１２（Ａ）は顔と指先の距離が長い場合を示しており、５０２は指先の位置、５０３は顔の位置５０１と指先の位置５０２との間の顔指間距離である。これに対し、図１２（Ｂ）は顔と指先の距離が短い場合を示しており、５０４は指先の位置、５０５は顔の位置５０１と指先の位置５０４との間の顔指間距離を示している。
図１３は、顔指間距離とカーソル移動率の対応の一例を示したグラフである。
図１３において、横軸は顔指間距離、縦軸はカーソル移動率を示している。６０１が顔指間距離とカーソル移動率の対応を示すグラフである。与えられた顔指間距離に従って、６０１のグラフに対応するカーソル移動率が設定される。例えば、顔指間距離が５０３の場合、カーソル移動率は６０３の大きさとなる。顔指間距離が５０５の場合、カーソル移動率は６０５の大きさとなる。
図１３に示されるように、本実施の形態では、顔指間距離が小さくなるほどカーソル移動率が大きくなるように設定されている。したがって、カーソルを大きく動かしたい場合、指示者は指先を自身の顔に近づければよい。また、指示者は指先を自身の顔から遠ざけることにより、カーソルの微小な動きを指示することが可能となる。
カーソル位置算出部１１４は、図１３に示されるカーソル移動率に対して、指先の移動した距離を掛けた値を算出し、その値をカーソル移動距離とする（カーソル移動距離＝カーソル移動率×指先移動距離）。
以上により、カーソル位置算出部１１４は、指示者が指先を動かしたときに方向と距離を算出し、表示中のカーソル位置から算出した方向と距離に移動した位置を、現在のカーソル位置情報として出力する。
＜まとめ＞
以上により、本変形例に係るポインティング制御装置は、指示者が顔と指先との距離を変更することでカーソルの移動距離を制御できるので、指示者は、指先の移動距離を保ったままカーソルの移動距離を変化させることが可能になり、より指示者の意図通りにカーソルを制御することが可能となる。また、指示者の指先の移動可能な範囲が狭い場合に、顔指間距離の制御によってカーソル移動率を大きくすることで、画面上にカーソルの移動不可能な範囲が生じる問題を防ぐことができる。
（実施の形態２）
本実施の形態におけるポインティング制御装置を備えた表示制御装置は、複数のカーソルを同時に表示可能とし、複数の指示者が、複数のカーソルをそれぞれ操作する点に特徴がある。
本変形例に係る表示制御装置は、指示者決定部とカーソル位置算出部、カーソル合成部の動作が異なることを除き実施の形態１と同一であるので、実施の形態１と同一の構成及び動作については説明を省略し、差分のみについて説明する。
本変形例に係る表示制御装置１５０は、ポインティング制御装置１０１とカーソル合成部１０３とのそれぞれに代えて、ポインティング制御装置１５１とカーソル合成部１５３とを備える。また、ポインティング制御装置１５１は、指示者決定部１１３とカーソル位置算出部１１４とのそれぞれに代えて、指示者決定部１６３とカーソル位置算出部１６４とを備える。
なお、指示者決定部１６３は複数の指示者を決定することを除き、指示者決定部１１３と同じ機能を有する。また、カーソル位置算出部１６４は複数の指示者の情報を得て複数のカーソル位置を出力することを除き、カーソル位置算出部１１４と同じ機能を有する。同様に、カーソル合成部１５３は複数のカーソル位置を得て複数のカーソルを合成することを除き、カーソル合成部１０３と同じ機能を有する。
図１４は、カーソル合成部１５３が生成する合成表示画像の一例であり、複数のカーソルを合成した場合を示している。
図１４において、７００は合成表示画像、７０１、７０２、７０３はそれぞれがカーソルを示している。
以下に、指示者決定部１６３とカーソル位置算出部１６４、カーソル合成部１５３の動作を説明する。
指示者決定部１６３は、顔指間距離算出部１１２が取得した顔指間距離を用いて、表示可能なカーソル数に対応する人数の指示者を決定する。指示者決定部１６３は、決定した指示者の情報（顔と指先との位置情報、顔指間距離）を、出力する。本実施の形態では、指示者決定部１６３は、顔指間距離が大きい順に、表示可能なカーソル数を越えない数の指示者を選択する。
図１６は、指示者決定部１６３の動作の一例を示すフローチャートである。図１６を用いて、指示者を選択する動作について説明する。
指示者決定部１６３は、顔指間距離算出部１１２から受け取った対応する顔と指先とのペアの中から、１つのペアを選択する。選択したペアは、比較元ペアである（Ｓ８１０）。
次に、指示者決定部１６３は、比較元ペアを指示者として選択する（Ｓ８２０）。
次に、指示者決定部１６３は、他に顔と指先の対応関係があるかどうかを判定する（Ｓ８３０）。他に顔と指先の対応関係がある場合、一つのペアを比較先ペアとして選択する（Ｓ８４０）。
次に、指示者決定部１６３は、現在の指示者数がカーソル数上限未満であるか判定する（Ｓ８５０）。既に現在の指示者数がカーソル数上限に達している場合（Ｓ８５０でＮｏ）、指示者決定部１６３は、比較元ペアと比較先ペアの間で顔指間距離の大きさを比較する（Ｓ８６０）。
比較先ペアの顔指間距離が大きい場合（Ｓ８７０でＮｏ）、比較元ペアを指示者から外し、比較先ペアを指示者として選択する（Ｓ８８０）。続けて、指示者として選択されているペアのうち、最も顔指間距離が小さいペアを新たな比較元ペアとして選択する（Ｓ８９０）。その後、指示者決定部１６３は残りのペアについて判定する（Ｓ８３０に戻る）。
逆に、比較元ペアの顔指間距離が大きい場合（Ｓ８７０でＹｅｓ）、指示者決定部１６３は現在の比較先ペアに対しては何も行わず、指示者決定部１６３は残りのペアについて判定する（Ｓ８３０に戻る）。
一方、現在の指示者数がカーソル数上限未満である場合（Ｓ８５０でＹｅｓ）、比較先ペアを指示者として選択し（Ｓ８６０）、続けて、指示者として選択されているペアのうち、最も顔指間距離が小さいペアを新たな比較元ペアとして選択する（Ｓ８９０）。その後、指示者決定部１６３は残りのペアについて判定する（Ｓ８３０に戻る）。
全てのペアに対して判定が終了すると（Ｓ８３０でＮｏ）、指示者決定部１６３は、現在指示者として選択しているペアを指示者であると決定する。
また、カーソル位置算出部１６４は、指示者決定部１６３から受け取った複数の指示者の情報から、表示する複数のカーソルの位置を算出し、カーソル位置情報として出力する。
また、カーソル合成部１５３は、ポインティング制御装置１５１が出力した複数のカーソル位置情報を受け取り、複数のカーソルを、表示画像に重畳して合成して、合成表示画像を生成する。
図１５は、複数の指示者を管理する管理情報の一例を示している。図１５では、図１４と同様に表示可能なカーソル数が３つであるとし、管理情報の形式がテーブルである例を示している。
図１５では、管理情報は、一人の指示者に対して、指示者を識別するための識別子（Ｎｏ．）、顔位置、指先位置、カーソルの形状を保持している。指示者を識別するための識別子（Ｎｏ．）は、実施の形態１で説明したような指示者同一判定に基づき作成する。カーソル合成部１５３は、例えば、識別子Ｎｏ．１の直前の指示者の顔位置との距離がしきい値以下である顔位置と対応する新たな指示者の識別子をＮｏ．１とする。
カーソル合成部１５３は、識別子ごとに異なるカーソル形状を割当て、その指示者がカーソル移動権限を保持している間は、一度割当てたカーソル形状を維持し、操作の途中でカーソルの形状が変わらないように制御する。
＜まとめ＞
以上により、本実施の形態に係るポインティング制御装置は、複数の指示者を決定し、それぞれの指示者に個別のカーソルを割り当てることが可能となる。
また、本実施の形態に係るポインティング制御装置は、ポインティングを行っていない被写体人物に対してはカーソルを割り当てず、不必要なカーソルの表示を防ぐことが可能となる。
（実施の形態３）
本実施の形態におけるポインティング制御装置を備えた表示制御装置は、複数の入出力端末との接続を可能とし、複数の拠点において同一の画面を共有し同一のカーソルを操作する点に特徴がある。
多拠点で会議を行う場合、それぞれの拠点に、表示装置とカメラを設置し、会議に参加する操作者が、それぞれの拠点に設置された表示装置に表示された画面を見ながら、ポインティング操作を行う。
図１７は、本実施の形態に係る表示制御装置のシステム構成を示した図である。
図１７は、３拠点（会議室Ａ、Ｂ、Ｃ）会議の例である。会議室Ａには、入出力端末８１０ａを設置し、会議室Ｂには、入出力端末８１０ｂとポインティング制御装置を備えた表示制御装置８００を設置し、会議室Ｃには、入出力端末８１０ｃを設置している。
ポインティング制御装置を備えた表示制御装置８００は、ネットワーク８２１を介して会議室Ａの入出力端末８１０ａと、ネットワーク８２２を介して会議室Ｃの入出力端末８１０ｃに接続している。
ポインティング制御装置を備えた表示制御装置８００は、ネットワーク８２１、８２２を介して、他の拠点の入出力端末８１０ａ、８１０ｃのそれぞれのカメラが撮影したカメラ画像を入力する。表示制御装置８００は、入出力端末８１０ａ、８１０ｂ、８１０ｃそれぞれのカメラが撮影した画像から顔位置と指先位置を検出し、指示者を決定してカーソル位置を算出する。表示制御装置８００は、例えば、顔の位置情報と指先の位置情報に対して撮影した入出力端末の情報を付加するなど、顔と指先を拠点に関連付けて、顔位置と指先位置の対応付けと、顔指間距離の算出を行うことが可能である。
また、表示制御装置８００は、ネットワーク８２１、８２２を介して、他の拠点の入出力端末８１０ａ、８１０ｃの表示装置に同じ画面を出力する。ポインティング制御装置を備えた表示制御装置８００は、多拠点で参加している操作者の中から、カーソル移動権限を有する指示者を決定し、カーソルを合成して生成した合成表示画像を、複数の拠点の表示装置に出力する。
＜まとめ＞
以上により、本実施の形態に係る画面制御装置は、多拠点で会議を行う場合、ネットワークを介して、複数の拠点で同じ画面を共有することができる。また、本実施の形態に係るポインティング制御装置は、多拠点で参加している操作者の中から、カーソル移動権限を有する指示者を決定し、容易に指示者を切り替えることができる。また、指示者は、操作中のカメラからの距離に関係なく、カメラに向かって指先を動かす動作を行なうことで、ポインティング対象の位置を指定するカーソルを適切に移動することができる。
また、本実施の形態に係るポインティング制御装置は、顔と指先の間の距離を用いて指示者を決定するため、カメラと指先との距離によって指示者を決定する場合と比べて、拠点毎に、会議室の広さ、会議室内の配置が異なる場合でも、これらの外部要因に関わらず、適切に指示者を決定することが可能となる。
＜本実施の形態に係るその他の変形例＞
（１）実施の形態１では、顔と指先の位置を取得するために、カメラ２０１は２つのカメラからなる一組のカメラである場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、カメラ２０１は、１つのカメラと赤外線センサーカメラなど距離検出手段との組み合わせで実現されてもよい。この場合、顔検出部１２２と指先検出部１２３は、通常のカメラの画像を用いて顔と指の水平方向、垂直方向の位置検出を行い、赤外線センサーカメラによってそれらの被写体とカメラとの間の距離を検出することで、顔と指先との位置を検出することができる。
（２）実施の形態１では、入出力端末２００は、大型の液晶ディスプレイで実現される表示装置２０２と、表示装置２０２の上部に設置されるカメラ２０１により構成される場合について説明したが、本発明は必ずしもこの場合に限定されない。表示装置２０２は、例えば、プラズマディスプレイ、有機ＥＬディスプレイ、あるいはプロジェクタで実現されてもよい。また、例えば、表示装置２０２はテレビ受像機で実現され、表示制御装置１００は当該テレビ受像機に含まれる集積回路の一部として実現されてもよい。また、カメラ２０１は、表示装置２０２の上部に限られず、例えば、会議室の壁面または天井など、操作者を被写体とすることができる任意の位置に設置されてもよい。
（３）実施の形態１では、顔の特徴点が顔の外枠の範囲内でカメラ２０１から最も距離の近いポイントである場合について説明したが、本発明は必ずしもこの場合に限定されない。顔の特徴点は、例えば、カメラ２０１からの距離に関わらず鼻の頭であるとしてもよいし、あるいは、操作者が眼鏡を掛けている場合は、眼鏡上の一点を顔の特徴点とするなど、顔と一体で動き、かつ撮影中に分離しないものを顔の一部とみなしてもよい。
また、指先の特徴点が手の輪郭線の範囲内でカメラ２０１から最も距離の近いポイントである場合について説明したが、本発明は必ずしもこの場合に限定されない。指先の特徴点は、例えば、カメラ２０１からの距離に関わらず人差し指の先端であるとしてもよい。
（４）実施の形態１では、ポインティング操作を指先で行う場合について説明したが、本発明は必ずしもこの場合に限定されない。ポインティング操作は、例えば、手に持った筆記具、指示棒等の先端で行われるとしてもよい。これは、指先検出部１２３が、手および手に持った筆記具等の物体を外枠、色等を用いた画像認識によって検出し、手に持った筆記具等の先端を特徴点として、特徴点の位置を指先の位置として取得することで実現できる。このようにすることで、手に持った筆記具等の先端を指先の代用部材とすることができる。
なお、指先の代用部材は筆記具、指示棒等に限られない。位置または方向を指示できるものであって、顔に容易に近づけ、または遠ざけることができるものであれば、指先の代用部材として用いることが可能である。
（５）実施の形態１では、位置取得部１１１が画像入力部１２１、顔検出部１２２と指先検出部１２３を備えている場合について説明したが、本発明は必ずしもこの場合に限定されない。位置取得部１１１は、例えば、他のポインティング制御装置、あるいは顔と指先との位置を検出する装置などから顔の位置情報と指先の位置情報とを取得するものとしてもよい。
（６）実施の形態１では、顔または指先の水平位置と、垂直位置とを算出するためのカメラ視野角の枠において、枠の左下隅を原点とし、右上隅を（２００，１５０）としたが、本発明は必ずしもこの場合に限定されない。カメラ視野角の枠の４辺の長さは、カメラの解像度に応じて任意の値であってもよく、また長方形の形状に限られない。また、原点の位置は、枠の中央、または枠の左上隅など任意の位置であってもよい。また、水平方向についてＸ軸を向かって左から右への方向、垂直方向についてＹ軸を下から上への方向としたが、Ｘ軸を向かって右から左への方向とする、あるいはＹ軸を上から下への方向とするなど、任意の座標系を用いてよい。
（７）実施の形態１では、顔指間距離算出部１１２は、最もカメラに近い顔から順に対応する指先を探す場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、顔指間距離算出部１１２は、最もカメラに遠い顔から順に対応する指先を探してもよいし、位置取得部１１１から取得した順で顔に対応する指先を探してもよい。あるいは、例えば、顔指間距離算出部１１２は、指先を先に選択してから対応する顔を探すとしてもよい。
（８）実施の形態１では、顔指間距離算出部１１２は、顔よりカメラ２０１ａに近く、かつ顔と最も近い指先を対応付けるとしたが、本発明は必ずしもこの場合に限定されない。例えば、顔検出部１２２と指先検出部１２３は、それぞれ位置情報に加えて顔ごとまたは指先ごとに固有の識別情報を出力し、識別情報を用いて対応付けを行うとしてもよい。また、顔指間距離に閾値を設け、顔指間距離が閾値を超える顔と指先との組み合わせを排除するとしてもよい。また、顔と指先との位置において、Ｚの値の差分またはＸの値の差分を用いて、閾値以上の差分がある組み合わせを排除するとしてもよい。
（９）実施の形態１では、カーソル位置算出部１１４は、隣り合う座席の中心間の距離の１／２をしきい値として、直前の指示者の顔の位置と新たな指示者の顔の位置との距離が、しきい値を超えた場合に指示者が切り替わったと判断する場合について説明したが、本発明は必ずしもこの場合に限定されない。しきい値は、隣り合う座席の中心間の距離の１／２に限られず、例えば、座席の幅であってもよく、また、会議室に依存しない所定の値であるなど、任意の値を用いてよい。また、例えば、カーソル位置算出部１１４は位置取得部１１１より指示者以外の顔の位置情報も取得し、指示者の顔と、指示者の顔に最も近い他の顔との距離の１／２を閾値としてもよい。
あるいは、顔検出部１２２は、顔ごとに固有の識別情報を顔の位置情報とともに出力し、カーソル位置算出部１１４は、顔検出部１２２が出力する顔の識別情報が一致するかどうかによって、指示者が切り替わったか否かを判断してもよい。このようにすることで、画像認識を用いた、より正確な指示者の同一性判断を行うことができる。
（１０）実施の形態１では、カーソル位置算出部１１４は、カーソル初期位置を画面の中央位置とする場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、カーソル初期位置は、画面の左上位置など、特定の位置であってよい。また、カーソル初期位置は、指先から表示装置への直線と、表示装置のディスプレイ面との、交点の位置である、としてもよい。
（１１）実施の形態１では、カーソル合成部１０３における所定のカーソル位置が表示画面の左上の隅である場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、所定のカーソル位置は、表示画像の中央位置など、任意の座標位置であってよい。あるいは、所定のカーソル位置は、前回カーソルが合成されていた位置であってもよい。なお、所定のカーソル位置はカーソル位置算出部１１４が保持しているカーソル初期位置と同一であってもよいし、異なっていてもよい。
また、カーソル合成部１０３は所定のカーソル位置を保持せず、ポインティング制御装置１０１がカーソル位置を出力しない場合に、カーソル合成部１０３はカーソルを合成せず表示画像入力部１０２から入力された画像をそのまま画像出力部１０４から出力するとしてもよい。このようにすることで、指示者が存在しない場合に、表示画像の妨げとならないようカーソルを消すことが可能となる。
（１２）実施の形態１において、表示画像入力部１０２がＨＤＭＩ入力端子を介してパーソナルコンピュータより表示画像を取得する場合について説明したが、本発明は必ずしもこの場合に限定されない。表示画像入力部１０２は、例えば、アナログＲＧＢ入力端子、ＤＶＩ入力端子、ＤｉｓｐｌａｙＰｏｒｔ入力端子、あるいはコンポジット入力端子など、表示画像を受け付けることが可能な任意のインターフェースを備えてよい。また、表示画像の取得元はパーソナルコンピュータに限られず、ＢＤプレイヤーなど任意の画像出力装置であってもよい。
あるいは、表示画像入力部１０２は、例えば、ＳＤＸＣメモリカード等のメモリデバイスから表示画像をファイルとして取得するメモリカードリーダなど、表示画像を記憶媒体またはネットワークから取得するインターフェースを備えていてもよい。
（１３）実施の形態１において、カーソル位置算出部１１４が出力するカーソル位置情報に従って、カーソル合成部１０３が表示画像入力部１０２より入力された画像にカーソルを合成する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、表示制御装置１００は、表示画像入力部１０２、カーソル合成部１０３および画像出力部１０４を備えず、ポインティング制御装置１０１はＨＩＤ（Ｈｕｍａｎ Ｉｎｔｅｒｆａｃｅ Ｄｅｖｉｃｅ）クラスのＵＳＢインターフェース、あるいはＰＳ／２マウスインターフェースを備え、カーソル位置算出部１１４が算出するカーソル位置情報をパーソナルコンピュータに出力し、パーソナルコンピュータがカーソル位置情報を用いて表示画像にカーソルを合成するとしてもよい。このようにすることで、表示制御装置でカーソルを合成する必要がなく、パーソナルコンピュータにカーソル合成処理を行わせることで、パーソナルコンピュータから表示装置２０２へ直接画像を出力することが可能となる。
（１４）実施の形態１の変形例１において、顔指間距離とカーソル移動率との関係が１次関数で表される場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、顔指間距離とカーソル移動率とは反比例する関係であってもよいし、その他の関数で表されてもよい。また、例えば、顔指間距離とカーソル移動率との関係は変換テーブルを用いて定義され、当該テーブルを用いて顔指間距離をカーソル移動率に変換し、カーソル移動距離を算出するとしてもよい。
（１５）実施の形態２において、指示者を識別するための識別子（Ｎｏ．）は、実施の形態１で説明したような指示者同一判定に基づき作成する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、その他の変形例（９）で説明したように、顔検出部１２２が顔ごとに固有の識別情報を出力し、指示者を識別するための識別子（Ｎｏ．）は当該顔固有の識別情報に基づいて生成されるとしてもよい。
また、管理情報に記憶されるカーソルの形状には、カーソルの大きさや色など、形状以外にカーソルを特定する情報が含まれてもよい。
（１６）実施の形態３において、ポインティング制御装置を備えた表示制御装置８００は、顔の位置情報と指先の位置情報に対して撮影した入出力端末の情報を付加する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、拠点Ａ、拠点Ｂ、拠点Ｃのそれぞれに対し、互いに座標値が重複しないように座標系（原点の位置）を定めて、指先と顔の位置情報を取得するものとしてもよい。このようにすることで、ある拠点の顔と、別の拠点の指とが対応付けられることを防ぐことができる。
（１７）実施の形態３において、ポインティング制御装置を備えた表示制御装置８００は、ネットワーク８２１、８２２を介して、他の拠点の入出力端末８１０ａ、８１０ｃのカメラが撮影したカメラ画像を受け付ける場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、入出力端末８１０ａはカメラに接続される位置取得部１１１を備え、入出力端末８１０ａはネットワーク８２１を介して表示制御装置８００の位置取得部１１１に顔の位置情報と指先の位置情報とを出力するとしてもよい。あるいは、入出力端末８１０ａはカメラに接続される位置取得部１１１と顔指間距離算出部１１２とを備え、入出力端末８１０ａはネットワーク８２１を介して表示制御装置８００の指示者決定部１１３に顔指間距離情報を出力するとしてもよい。このようにすることで、ネットワーク８２１はカメラ画像を直接伝送する必要がなく、ネットワーク利用効率を向上させることができる。なお、入出力端末８１０ｃとネットワーク８２２とが同様の構成であってもよいのは勿論である。
または、会議室Ｃに、入出力端末８１０ｃと接続され、ポインティング制御装置１０１を欠く表示制御装置を設置し、表示制御装置８００はネットワーク８２２を介して、会議室Ｃの表示制御装置にカーソル位置情報を出力するものとしてもよい。このようにすることで、会議室Ｃの表示制御装置はカーソル位置情報を用いてカーソルを入出力端末８１０ｃに出力できるので、ネットワーク８２２はカーソル合成後の表示画像を直接伝送する必要がなく、ネットワーク利用効率を向上させることができる。なお、入出力端末８１０ａとネットワーク８２１とが同様の構成であってもよいのは勿論である。
または、会議室Ａの入出力端末８１０ａはカメラとディスプレイ、ネットワーク機能とを内蔵する、カメラ付き携帯電話端末によって実現されてもよい。このようにすることで、当該携帯電話端末を所有する操作者の自宅の一室を用いて会議室Ａを実現し、操作者は自宅などから会議に参加することが可能となる。
（１８）各実施の形態および各変形例に係るポインティング制御装置は、その構成要素の全部又は一部を、１チップ又は複数チップの集積回路で実現してもよいし、コンピュータのプログラムで実現してもよいし、その他どのような形態で実施してもよい。例えば、ポインティング制御装置を含む表示制御装置を１チップで実現してもよいし、ポインティング制御装置のみを１チップで実現し、カーソル合成部等を別のチップで実現してもよい。
集積回路で実現する場合、典型的には、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路、又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩、又は派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。
例えば、集積回路で実現する一例として、図１８の構成で実現することが可能である。
図１８において、表示制御装置１００は、集積回路で実装されている。表示制御装置１００の各部は実施の形態１と同一であるので同一の符号を付し、同一の構成については説明を省略する。表示制御装置１００は、カメラ画像入力部２１１からカメラ画像を入力し、画像出力部２１２へ合成表示画像を出力する。カメラ画像入力部２１１は、画像入力部１２１にカメラ画像を入力する。また、画像出力部２１２は画像出力部１０４（不図示）より出力される画像を出力する。
また、本発明に係るポインティング制御装置は、記憶媒体に書き込まれたプログラムと、プログラムを読み込んで実行するコンピュータとで実現されてもよい。記憶媒体は、メモリカード、ＣＤ−ＲＯＭなどいかなる記録媒体であってもよい。また、本発明に係るポインティング制御装置は、ネットワークを経由してダウンロードされるプログラムと、プログラムをネットワークからダウンロードして実行するコンピュータとで実現されてもよい。このプログラムは、各操作者の顔の位置と、各操作者の指先の位置とを取得する位置取得ステップと、取得された各操作者の顔の位置と、各操作者の指先の位置とを対応付けて、対応付けられた顔の位置と指先の位置との間の顔指間距離を算出する顔指間距離算出ステップと、前記顔指間距離を用いて指示者を決定する指示者決定ステップと、決定された指示者の指先の位置を用いてカーソル位置を算出し、算出されたカーソル位置を出力するカーソル位置算出ステップとからなるポインティング処理を実行させるプログラムである。なお、この場合、表示画像を出力するパーソナルコンピュータは、上記プログラムを読み込んでプログラムを実行するコンピュータと同一のハードウェアであってもよい。
また、本発明は、会議室という特定の場所での使用だけでなく、家庭内のテレビにおけるポインティング操作、パーソナルコンピュータ、携帯電話、携帯情報端末、ビデオカメラ、デジタルカメラ等のポインティング装置としても有用である。
（１９）各実施の形態および各変形例は、あくまで例示であって、本記述内容に限定されるものではなく、本発明の範囲に示された種々の変更を行うことも意図されている。
以下に、実施の形態に係るポインティング制御装置とその集積回路、およびポインティング制御方法の構成及び効果について説明する。
（ａ）実施の形態に係るポインティング制御装置は、指示操作を行う操作者のうちから、カーソル位置を指定できる指示者を決定するポインティング制御装置であって、各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを取得する位置取得部と、取得された各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを対応付けて、対応付けられた顔の位置と指先若しくはその代用部材の位置との間の距離を算出する距離算出部と、前記距離を用いて指示者を決定する指示者決定部と、決定された指示者の指先若しくはその代用部材の位置を用いてカーソル位置を算出し、算出されたカーソル位置を出力するカーソル位置算出部とを備えることを特徴とする。
また、実施の形態に係る集積回路は、指示操作を行う操作者のうちから、カーソル位置を指定できる指示者を決定する集積回路であって、各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを取得する位置取得部と、取得された各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを対応付けて、対応付けられた顔の位置と指先若しくはその代用部材の位置との間の距離を算出する距離算出部と、前記距離を用いて指示者を決定する指示者決定部と、決定された指示者の指先若しくはその代用部材の位置を用いてカーソル位置を算出し、算出されたカーソル位置を出力するカーソル位置算出部とを備えることを特徴とする。
また、実施の形態に係るポインティング制御方法は、指示操作を行う操作者のうちから、カーソル位置を指定できる指示者を決定するポインティング制御方法であって、各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを取得する位置取得ステップと、取得された各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを対応付けて、対応付けられた顔の位置と指先若しくはその代用部材の位置との間の距離を算出する距離算出ステップと、前記距離を用いて指示者を決定する指示者決定ステップと、決定された指示者の指先若しくはその代用部材の位置を用いてカーソル位置を算出し、算出されたカーソル位置を出力するカーソル位置算出ステップとを含むことを特徴とする。
これら上記の構成によれば、顔と指先若しくはその代用部材との間の距離を用いてポインティング対象の位置を指定する指示者を特定し、指示者が他の操作者に影響されることなくポインティング動作を行うことが可能となり、また、指示者と他の操作者とが当該距離を変動させることで、容易に指示者を変更することが可能となる。
（ｂ）また、実施の形態に係る上記（ａ）のポインティング制御装置は、前記位置取得部は、各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを３次元情報として取得し、前記距離算出部は、１の顔の位置と、前記１の顔の位置に対応付けられた１の指先若しくはその代用部材の位置からなるペアを複数作成し、前記ペアの全てに対して前記距離を算出する、としてもよい。
このようにすることで、顔と指先若しくはその代用部材との位置関係にかかわらず顔と指先若しくはその代用部材との間の距離を正確に取得することが可能になるとともに、１の顔と１の指先若しくはその代用部材とを対応付けて複数のペアを作成し、各ペアから指示者を決定することが可能となる。
（ｃ）また、実施の形態に係る上記（ｂ）のポインティング制御装置は、前記指示者決定部は、前記ペアの間で前記距離の大きさを比較し、前記指示者を決定する、としてもよい。
このようにすることで、顔と指先若しくはその代用部材との間の距離の大小を変化させることで任意の操作者が指示者となることができ、指示者の変更が容易となる。
（ｄ）また、実施の形態に係る上記（ｃ）のポインティング制御装置は、前記指示者決定部は、前記全てのペアのうち、前記距離が最も大きいペアを前記指示者として決定する、としてもよい。
このようにすることで、指先若しくはその代用部材を顔から遠ざけている操作者が指示者となることができる。
（ｅ）また、実施の形態に係る上記（ｂ）のポインティング制御装置は、同時に複数のカーソル位置情報を出力するポインティング制御装置であって、前記指示者決定部は、前記複数ペアの間で前記距離の大きさを比較して、全てのペアの中から複数のペアを指示者として決定し、前記カーソル位置算出部は、前記指示者の指先若しくはその代用部材の位置それぞれからカーソル位置を算出し、前記指示者それぞれのカーソル位置情報を出力する、としてもよい。
このようにすることで、複数の指示者が同時にポインティングを行うことが可能となる。
（ｆ）また、実施の形態に係る上記（ｅ）のポインティング制御装置は、前記指示者決定部は、前記複数のペアのうち、前記距離の大きいものから順に複数の指示者を決定する、としてもよい。
このようにすることで、指先を顔から遠ざけている複数の操作者が同時に指示者となることができる。
（ｇ）また、実施の形態に係る上記（ａ）のポインティング制御装置は、前記位置取得部は、複数のカメラ画像を取得する画像取得部と、前記複数のカメラ画像から操作者の顔の位置を検出する顔位置検出部と、前記複数のカメラ画像から操作者の指先若しくはその代用部材の位置を検出する指先位置検出部とを含む、としてもよい。
このようにすることで、ポインティング制御装置は複数のカメラを用いて撮影された画像から、顔と指先若しくはその代用部材との距離を取得し、指示者を決定することが可能となる。
（ｈ）また、実施の形態に係る上記（ａ）のポインティング制御装置は、前記カーソル位置算出部は、現在の指示者を特定するための情報を保持し、前記指示者決定部が決定する新たな指示者が前記現在の指示者と同一であるか判断し、前記判断の結果が同一である場合、前記指示者の指先若しくはその代用部材の位置が移動した方向をカーソルの移動方向としてカーソル位置を算出する、としてもよい。
このようにすることで、同一の指示者がポインティングを続ける場合に、カーソルの移動方向が指先若しくはその代用部材の移動方向と一致しているので、指示者が直感的にカーソル位置を制御することが可能となる。
（ｊ）また、実施の形態に係る上記（ｈ）のポインティング制御装置は、前記カーソル位置算出部は、現在のカーソル位置を保持し、前記指示者の前記距離を用いてカーソルの移動距離を算出し、前記現在のカーソル位置から前記カーソルの移動距離だけ前記カーソルの移動方向に移動させた位置を、新たなカーソル位置として出力する、としてもよい。
このようにすることで、指先若しくはその代用部材の移動距離とカーソルの移動距離との関係を、指先若しくはその代用部材を顔に近づけたり遠ざけたりすることにより、指示者の意図通りに制御することができ、指示者がカーソルの動きをより詳細に制御することが可能となる。
（ｋ）また、実施の形態に係る上記（ｈ）のポインティング制御装置は、前記カーソル位置算出部は、前記指示者決定部が決定した新たな指示者が前記現在の指示者と同一でない場合、初期位置をカーソル位置として出力する、としてもよい。
このようにすることで、指示者が変更された場合に、現在のカーソル位置に関わらず、新たな指示者が所定のカーソル位置を基準としてポインティングを開始することが可能となる。
本発明に係るポインティング制御装置は、操作者の顔と指先若しくはその代用部材との間の距離を用いて、ポインティング対象の位置を指定する指示者を決定する機能を有し、会議システムにおいて有用である。また、パーソナルコンピュータ、携帯電話、携帯情報端末、ビデオカメラ、デジタルカメラ等の用途にも応用できる。
１００、８００ 表示制御装置
１０１ ポインティング制御装置
１０２ 表示画像入力部
１０３ カーソル合成部
１０４ 画像出力部
１１１ 位置取得部
１１２ 顔指間距離算出部
１１３ 指示者決定部
１１４ カーソル位置算出部
１２１ 画像入力部
１２２ 顔検出部
１２３ 指先検出部
２００、８１０ａ、８１０ｂ、８１０ｃ 入出力端末
２０１ カメラ
２０２ 表示装置
２１１ カメラ画像入力部
２１２ 表示画像入力部

Claims (12)

  1. 指示操作を行う操作者のうちから、カーソル位置を指定できる指示者を決定するポインティング制御装置であって、
    各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを取得する位置取得部と、
    取得された各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを対応付けて、対応付けられた顔の位置と指先若しくはその代用部材の位置との間の距離を算出する距離算出部と、
    前記距離を用いて指示者を決定する指示者決定部と、
    決定された指示者の指先若しくはその代用部材の位置を用いてカーソル位置を算出し、算出されたカーソル位置を出力するカーソル位置算出部と
    を備えることを特徴とするポインティング制御装置。
  2. 前記位置取得部は、各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを３次元情報として取得し、
    前記距離算出部は、１の顔の位置と、前記１の顔の位置に対応付けられた１の指先若しくはその代用部材の位置からなるペアを複数作成し、前記ペアの全てに対して前記距離を算出する
    ことを特徴とする請求項１に記載のポインティング制御装置。
  3. 前記指示者決定部は、
    前記ペアの間で前記距離の大きさを比較し、前記指示者を決定する
    ことを特徴とする請求項２記載のポインティング制御装置。
  4. 前記指示者決定部は、
    前記全てのペアのうち、前記距離が最も大きいペアを前記指示者として決定する
    ことを特徴とする請求項３記載のポインティング制御装置。
  5. 同時に複数のカーソル位置情報を出力するポインティング制御装置であって、
    前記指示者決定部は、前記複数ペアの間で前記距離の大きさを比較して、全てのペアの中から複数のペアを指示者として決定し、
    前記カーソル位置算出部は、前記指示者の指先若しくはその代用部材の位置それぞれからカーソル位置を算出し、前記指示者それぞれのカーソル位置情報を出力する
    ことを特徴とする請求項２記載のポインティング制御装置。
  6. 前記指示者決定部は、前記複数のペアのうち、前記距離の大きいものから順に複数の指示者を決定する
    ことを特徴とする請求項５記載のポインティング制御装置。
  7. 前記位置取得部は、
    複数のカメラ画像を取得する画像取得部と、
    前記複数のカメラ画像から操作者の顔の位置を検出する顔位置検出部と、
    前記複数のカメラ画像から操作者の指先若しくはその代用部材の位置を検出する指先位置検出部とを含む
    ことを特徴とする請求項１記載のポインティング制御装置。
  8. 前記カーソル位置算出部は、現在の指示者を特定するための情報を保持し、
    前記指示者決定部が決定する新たな指示者が前記現在の指示者と同一であるか判断し、
    前記判断の結果が同一である場合、前記指示者の指先若しくはその代用部材の位置が移動した方向をカーソルの移動方向としてカーソル位置を算出する
    ことを特徴とする請求項１記載のポインティング制御装置。
  9. 前記カーソル位置算出部は、現在のカーソル位置を保持し、
    前記指示者の前記距離を用いてカーソルの移動距離を算出し、前記現在のカーソル位置から前記カーソルの移動距離だけ前記カーソルの移動方向に移動させた位置を、新たなカーソル位置として出力する
    ことを特徴とする請求項８記載のポインティング制御装置。
  10. 前記カーソル位置算出部は、前記指示者決定部が決定した新たな指示者が前記現在の指示者と同一でない場合、初期位置をカーソル位置として出力する
    ことを特徴とする請求項８記載のポインティング制御装置。
  11. 指示操作を行う操作者のうちから、カーソル位置を指定できる指示者を決定する集積回路であって、
    各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを取得する位置取得部と、
    取得された各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを対応付けて、対応付けられた顔の位置と指先若しくはその代用部材の位置との間の距離を算出する距離算出部と、
    前記距離を用いて指示者を決定する指示者決定部と、
    決定された指示者の指先若しくはその代用部材の位置を用いてカーソル位置を算出し、算出されたカーソル位置を出力するカーソル位置算出部と
    を備えることを特徴とする集積回路。
  12. 指示操作を行う操作者のうちから、カーソル位置を指定できる指示者を決定するポインティング制御方法であって、
    各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを取得する位置取得ステップと、
    取得された各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを対応付けて、対応付けられた顔の位置と指先若しくはその代用部材の位置との間の距離を算出する距離算出ステップと、
    前記距離を用いて指示者を決定する指示者決定ステップと、
    決定された指示者の指先若しくはその代用部材の位置を用いてカーソル位置を算出し、算出されたカーソル位置を出力するカーソル位置算出ステップと
    を含むことを特徴とするポインティング制御方法。
JP2013510860A 2011-04-22 2012-04-05 ポインティング制御装置とその集積回路、およびポインティング制御方法 Expired - Fee Related JP5798183B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013510860A JP5798183B2 (ja) 2011-04-22 2012-04-05 ポインティング制御装置とその集積回路、およびポインティング制御方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011095745 2011-04-22
JP2011095745 2011-04-22
JP2013510860A JP5798183B2 (ja) 2011-04-22 2012-04-05 ポインティング制御装置とその集積回路、およびポインティング制御方法
PCT/JP2012/002376 WO2012144145A1 (ja) 2011-04-22 2012-04-05 ポインティング制御装置とその集積回路、およびポインティング制御方法

Publications (2)

Publication Number Publication Date
JPWO2012144145A1 JPWO2012144145A1 (ja) 2014-07-28
JP5798183B2 true JP5798183B2 (ja) 2015-10-21

Family

ID=47041280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013510860A Expired - Fee Related JP5798183B2 (ja) 2011-04-22 2012-04-05 ポインティング制御装置とその集積回路、およびポインティング制御方法

Country Status (4)

Country Link
US (1) US9081430B2 (ja)
JP (1) JP5798183B2 (ja)
CN (1) CN102959491B (ja)
WO (1) WO2012144145A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5499106B2 (ja) * 2012-06-22 2014-05-21 ヤフー株式会社 表示制御装置、表示制御方法、情報表示システム、およびプログラム
EP2851281B1 (en) * 2013-09-19 2016-04-06 Airbus Operations GmbH System and method for interactive visualization of information in an aircraft cabin
JP6008904B2 (ja) * 2014-07-03 2016-10-19 Ｎｅｃパーソナルコンピュータ株式会社 表示制御装置、表示制御方法、及び、プログラム
US10102423B2 (en) * 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
JP2022008717A (ja) * 2016-08-19 2022-01-14 ヒュンダイ・アイティー カンパニー リミテッド 音声と動作認識に基づいたスマートボードを制御する方法およびその方法を使用した仮想レーザーポインター
US10902243B2 (en) * 2016-10-25 2021-01-26 Deep North, Inc. Vision based target tracking that distinguishes facial feature targets
US10942575B2 (en) * 2017-06-07 2021-03-09 Cisco Technology, Inc. 2D pointing indicator analysis
WO2019027506A1 (en) * 2017-08-01 2019-02-07 Apple Inc. DETERMINATION OF CLEAR-PATTERN LIGHTING VERSUS DENSE
JP6971788B2 (ja) * 2017-11-09 2021-11-24 シャープ株式会社 画面表示制御方法および画面表示制御システム
CN110008802B (zh) * 2018-12-04 2023-08-29 创新先进技术有限公司 从多个脸部中选择目标脸部及脸部识别比对方法、装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0519957A (ja) * 1991-07-15 1993-01-29 Nippon Telegr & Teleph Corp <Ntt> 情報の入力方法
JPH11134089A (ja) * 1997-10-29 1999-05-21 Takenaka Komuten Co Ltd ハンドポインティング装置
JPH11327753A (ja) * 1997-11-27 1999-11-30 Matsushita Electric Ind Co Ltd 制御方法及びプログラム記録媒体
JP2001513244A (ja) * 1997-12-22 2001-08-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オプション選択に基づくジェスチャー方法及び装置
JP2005216061A (ja) * 2004-01-30 2005-08-11 Sony Computer Entertainment Inc 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2006277666A (ja) * 2005-03-30 2006-10-12 Nhk Engineering Services Inc 表示画面上位置解析装置及び表示画面上位置解析プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3114813B2 (ja) 1991-02-27 2000-12-04 日本電信電話株式会社 情報入力方法
DE69830295T2 (de) * 1997-11-27 2005-10-13 Matsushita Electric Industrial Co., Ltd., Kadoma Steuerungsverfahren
EP0991011B1 (en) * 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
US7893920B2 (en) * 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
JP4608326B2 (ja) 2005-01-26 2011-01-12 株式会社竹中工務店 指示動作認識装置及び指示動作認識プログラム
JP2007226397A (ja) 2006-02-22 2007-09-06 Sharp Corp ポインティング装置、ポインティング方法、ポインティングプログラムおよびポインティングプログラムを記録した記録媒体
US8589824B2 (en) * 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0519957A (ja) * 1991-07-15 1993-01-29 Nippon Telegr & Teleph Corp <Ntt> 情報の入力方法
JPH11134089A (ja) * 1997-10-29 1999-05-21 Takenaka Komuten Co Ltd ハンドポインティング装置
JPH11327753A (ja) * 1997-11-27 1999-11-30 Matsushita Electric Ind Co Ltd 制御方法及びプログラム記録媒体
JP2001513244A (ja) * 1997-12-22 2001-08-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オプション選択に基づくジェスチャー方法及び装置
JP2005216061A (ja) * 2004-01-30 2005-08-11 Sony Computer Entertainment Inc 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2006277666A (ja) * 2005-03-30 2006-10-12 Nhk Engineering Services Inc 表示画面上位置解析装置及び表示画面上位置解析プログラム

Also Published As

Publication number Publication date
JPWO2012144145A1 (ja) 2014-07-28
CN102959491A (zh) 2013-03-06
US9081430B2 (en) 2015-07-14
CN102959491B (zh) 2016-03-23
WO2012144145A1 (ja) 2012-10-26
US20130076625A1 (en) 2013-03-28

Similar Documents

Publication Publication Date Title
JP5798183B2 (ja) ポインティング制御装置とその集積回路、およびポインティング制御方法
US10565437B2 (en) Image processing device and method for moving gesture recognition using difference images
US10001844B2 (en) Information processing apparatus information processing method and storage medium
US10095458B2 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
JP5762892B2 (ja) 情報表示システム、情報表示方法、及び情報表示用プログラム
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
JP6361714B2 (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
US20150301596A1 (en) Method, System, and Computer for Identifying Object in Augmented Reality
US20150145762A1 (en) Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program
US20120319949A1 (en) Pointing device of augmented reality
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
JP2010134738A (ja) 端末装置、表示制御方法および表示制御プログラム
JP2018192230A (ja) 眉形状ガイド装置およびその方法
US11199946B2 (en) Information processing apparatus, control method, and program
JP2012238293A (ja) 入力装置
JP2017191492A (ja) 情報処理装置、情報処理方法および映像生成システム
JP2004265222A (ja) インタフェース方法、装置、およびプログラム
KR20130018004A (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
US10345595B2 (en) Head mounted device with eye tracking and control method thereof
US20220383586A1 (en) Image processing apparatus, method for controlling the same, and non-transitory computer-readable storage medium
US11703682B2 (en) Apparatus configured to display shared information on plurality of display apparatuses and method thereof
JP6124862B2 (ja) ポインティング・ジェスチャに応じたアクションをする方法、会議支援システム、およびコンピュータ・プログラム
US11323688B2 (en) Information processing apparatus and information processing method for generating a virtual viewpoint
US20230351632A1 (en) Method for providing visual content, host, and computer readable storage medium
US20230079969A1 (en) Information processing apparatus, information processing method, and storage medium

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140606

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150820

R150 Certificate of patent or registration of utility model

Ref document number: 5798183

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees