JPH05265639A - 画像表示装置とそれを用いたテレビ電話機 - Google Patents

Abstract

(57)【要約】 【目的】 人物カメラを利用して指示入力ができるよう
にしたテレビ電話機を提供すること。 【構成】 検出容易な検出用ヘッドを先端部に有する空
間マウス３０と、人物カメラ１を用い、その信号から検
出用ヘッドを検出，追跡するマウス先端部検出追跡回路
１１と、カーソルの位置を決定するマウス先端部マッピ
ング回路１２と、この回路で得られたカーソル位置にカ
ーソルを発生させる第１のカーソル発生回路１３と、相
手のポインティングした位置にカーソルを発生させる第
２のカーソル発生回路１６を備え、第１，第２のカーソ
ルと共有映像とをディスプレイに重畳して表示すること
を特徴としている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、大画面（数十インチ四
方から数メートル四方）を使用するテレビ電話機等の画
像表示装置において、表示中の画像の特定部分を指し示
す指示入力を可能としたものである。以下、画像表示装
置の１つであるテレビ電話機を例として説明する。

【０００２】

【従来の技術】これまでの電話機に代わる新しいサービ
ス端末として、動画像をメディアの主体としたテレビ電
話機の開発が活発に行われている。従来の音声のみのコ
ミュニケーションと異なり、画像メディアでは共有画面
という形で共通の「話題」を双方で見ながらコミュニケ
ーションできる。その場合、自分が何に注目しているか
を相手に言葉を使用しないで指し示すことが必要であ
り、指示入力（ポインティング）に関する開発が多方面
で行われている。

【０００３】指示入力デバイスとして、現在、以下のも
のが考案され使用されている。 １．タッチパネル ２．キーボード ３．マウス ４．ＬＥＤによるＯＨＰ画面のポインティング ５．ＰＵＴ ＴＨＡＴ ＴＨＥＲＥ（ＭＩＴ） ６．指先を用いたＨＩ（ＡＴＲ） ７．３Ｄマウス（富士通） ８．finger pointer（ＮＴＴ） ９．プロキシマ・コーポレーション方式（Proxima Cor
p.) 上記１〜３の方式は接触型のポインティングデバイスで
ある。１の方式は画面上の透明タッチパネルに直接触れ
ることにより、また、２〜３の方式は至近距離からディ
スプレを見ながら、指示入力デバイスにより画面中のカ
ーソルを動かしポインティングするものであり、卓上型
のテレビ電話機に適用できる優れたポインテイングデバ
イスである。しかし、大画面を使用して、ある距離を置
いた場所からポインティングするためには、画面に触れ
ることは困難である。キーボードやマウスはワークステ
ーションを念頭においたポインティングデバイスで、使
用場所に台等を用意する必要があり、リラックスした状
態でのポインティングには不向きである。

【０００４】一方、上記４〜９の方式は、大画面上の特
定領域を、ある距離をおいた場所からポインティングす
るためのツールや方式である。

【０００５】４の方式は、ポインティング位置を算出し
ていないので、ポインティング位置を通信することは不
可能である。

【０００６】５，６の方式は、ポインティング位置を磁
気的に検出するものであり、ポインティング位置に磁場
をつくるための磁気的な機構が必要である。

【０００７】７の方式は、ポインティング位置を超音波
で検出するものであり、ポインティング位置に超音波環
境を作るための機構が必要である。

【０００８】８の方式は、画像処理によりポインティン
グ位置を検出するが、検出のための専用のカメラが必要
であり、ポインティング可能範囲にも制限がある。

【０００９】９の方式は、ワークステーション等のディ
スプレイに表示された像をプロジェクタによって大画面
に映し出し、ＬＥＤを先端につけた指示棒で前記大画面
を指示し、大画面に写ったＬＥＤの光をポインティング
する人の側からカメラで撮像してポインティング位置を
検出し、大画面を指示することでワークステーションを
操作することを可能としたポインティング方式である。
つまり、前記４の方式をカメラを用いてポインティング
位置を算出できるように改良したものである。しかし、
この方式をテレビ電話機を用いた通信に適用しようとす
ると、ＬＥＤの光を検出するために新たに別のカメラを
必要とし、また、解像度の劣化をともなう。

【００１０】

【発明が解決しようとする課題】テレビ電話は、人物像
を撮像する人物カメラは基本機能として備えている。大
画面を使用するテレビ電話機に前出の従来技術を適用す
ると、ポインティングのために特別な環境（磁気、超音
波）が必要であったり、検出専用のカメラを用意しなけ
ればならないという問題点があった。

【００１１】本発明は、前述のテレビ電話機が基本機能
として備えている人物撮像機能を利用して、指示入力が
できる新しい指示入力手段を有する画像表示装置とそれ
を用いたテレビ電話機を提供することを目的とするもの
である。

【００１２】

【課題を解決するための手段】本発明にかかる画像表示
装置は、カメラと、ディスプレイと、先端部に検出用ヘ
ッドを有する空間マウスと、カメラから撮像された空間
マウスの検出用ヘッドを画像処理によって検出，追跡す
るマウス先端部検出追跡回路と、このマウス先端部検出
追跡回路より得られるマウス先端部位置信号から発生す
るカーソルの位置を決定するマウス先端部マッピング回
路と、このマウス先端部マッピング回路によって得られ
たカーソル位置にカーソルを発生させるカーソル発生回
路と、カーソル位置信号を相手端末に送信するカーソル
位置信号送信回路と、カーソルと映像をディスプレイに
重畳して表示するスーパインポーズ回路とを備えたもの
である。

【００１３】また、マウス先端部検出追跡回路は、人物
カメラから得られる映像から輝度信号をＴを１以上の数
としてＴ／３０秒毎に出力するクロック回路と、クロッ
ク回路から出力される映像から輝度値の高いところを空
間マウス先端部として抽出する輝度信号処理回路と、こ
の輝度信号処理回路から得られるマウス先端部より切り
出し領域を算出し、領域内のマウス先端部の座標を求め
る座標算出回路とを有するものである。

【００１４】さらに、マウス先端部マッピング回路は、
マウス先端部検出追跡回路より得られるマウス先端部位
置信号を切り出し領域とポインティングされる画面の大
きさの比とを乗算し、カーソルの画面上の位置を決定す
るものである。

【００１５】また、本発明にかかるテレビ電話機は、上
記画像表示装置を用い、受信した相手端からのカーソル
も表示するためのカーソル位置信号受信回路と、第２の
カーソル発生回路とを備えたものである。

【００１６】

【作用】本発明の画像表示装置によれば、手に持った空
間マウスのポインティングデバイス位置をカメラの映像
から抽出し、抽出した位置情報からポインティング用の
カーソル位置を制御するので、大画面を用いるテレビ電
話に適したポインティング機能を有するテレビ電話機を
小型に、かつ特別な設備を設けることなく実現できる。
また、前述の手段によってマウスの概念を空間に拡張
し、眼によるフィードバックの効果を最大限に引き出せ
るため、人間の行動様式に近いポインティングを実現で
きる。

【００１７】そして、本発明の画像表示装置を用い、さ
らに、カーソル位置信号受信回路と第２のカーソル発生
回路とを設けてテレビ電話機を構成してあるので、相手
のポインティングも同時に表示できる。

【００１８】

【実施例】図１は本発明によるテレビ電話機の構成例を
示す図で、１０は人物カメラ、１１はマウス先端部検出
追跡回路、１２はマウス先端部マッピング回路、１３は
第１のカーソル発生回路、１４はカーソル位置信号送信
回路、１５はカーソル位置信号受信回路、１６は第２の
カーソル発生回路、１７はモニタ表示映像選択スイッ
チ、１８はスーパーインポーズ回路、２０は外部映像入
力端子、２１は送信映像選択スイッチ、２２はネットワ
ークインタフェース回路、３０は空間マウス、１９はマ
ウス信号検出回路、４０はディスプレイである。

【００１９】図２は本方式の全体像を示す図で、１０は
人物カメラ、３０は空間マウス、４０はディスプレイ、
１９はマウス信号検出回路、５０はカーソルである。

【００２０】図３は本方式の空間マウス３０の外観を示
す図であり、３１はポインティングモード切替えボタ
ン、３２はスタート・ストップボタン、３３は先端部の
検出用ヘッドである。検出用ヘッド３３は、例えば高輝
度な赤い光を発光するようにして、画像処理で発見し易
いようにしてある。また、ポインティングモード切替え
ボタン３１，スタート・ストップボタン３２からの信号
は、内部の送信手段により無線で送出される。

【００２１】テレビ電話機は、互いの人物像を送受信し
て、相手の顔を見ながら通話する場合がもっとも多い。
一般的には、この状態にセットされる。送信映像選択ス
イッチ２１はｂ側にあり、モニタ表示映像選択スイッチ
１７もｂ側にある。人物カメラ１０で撮られた映像がネ
ットワークインタフェース回路２２を通して相手端末に
送信され、相手の映像はネットワークインタフェース回
路２２を介してディスプレイ４０に表示されている。

【００２２】しかし、通話中に外部映像入力端子２０か
らビデオや文書画像を送信して、相手と画面を共有する
形で通信をする要求もある。特に、会議などの場合は、
相手の画像を見ているよりも、共有画面について議論を
進めることのほうに意義がある。この場合は、共有映像
をこちら側から提供するとすると、送信映像選択スイッ
チ２１をａ側にし、また、モニタ表示映像選択スイッチ
１７もａ側にする。この場合、外部映像入力端子２０か
ら共有したい映像を入力し、ネットワークインタフェー
ス回路２２を介して相手に送信する。これにより、両者
ともに同じ映像をディスプレイ４０で見ている状態にな
る。共有映像を両者で見ているときに、より円滑な会話
を進めるためにポインティング手段が必要となる。

【００２３】話を単純化し、こちら側が共有映像を提供
している場合で、こちらがボインティングを行う場合を
想定し、全体的なポインティングの実施例を以下に示
す。両者で共有画面を見ていて、画面のある位置をポイ
ンテイングしようとするとき、空間マウス３０のポイン
ティングモード切替えボタン３１を押すと、デバイスの
先端部の検出ヘッド３３からリモコンの原理でテレビ電
話機が通常モードからポインティングモードに切り替わ
り、カーソル５０がディスプレイ４０の画面中央に現れ
る。すなわち、マウス信号検出回路１９がポインティン
グモード信号を検出し、第１のカーソル発生回路１３が
カーソル位置（画面の中央であることを示す）信号をカ
ーソル位置信号送信回路１４に送り、同時に発生された
カーソル画像を自画面の共有画像にスーパーインポーズ
回路１８によってスーパーインポーズし、自分のディス
プレイ４０に映し出す。また、前記カーソル位置信号
は、カーソル位置信号送信回路１４によってネットワー
クインタフェース回路２２を介して相手に送信される。
相手側では、カーソル位置信号受信回路１５が前記カー
ソル位置信号を受信し、第２のカーソル発生回路１６に
送られカーソル画像を発生する。該カーソル画像はスー
パーインポーズ回路１８によって共有映像にスーパーイ
ンポーズされ、ディスプレイ４０に表示する。

【００２４】次に、空間マウス３０のスタート・ストッ
プボタン３２を押しながら手を動かすと、マウス先端部
検出追跡回路１１が画像処理によって空間マウス３０の
検出用ヘッド３３の認識，追跡を行い、手の動きに比例
させてカーソル５０を移動させる。カーソル５０の位置
は逐次受信側にも送信し、受信側のディスプレイ４０の
カーソル５０を同時に移動させる。すなわち、空間マウ
ス３０のスタート・ストップボタン３２を押し始めたと
きに、空間マウス３０から出力されるスタート信号をマ
ウス信号検出回路１９が検出し、追跡開始信号がマウス
先端部検出追跡回路１１に送られる。このマウス先端部
検出追跡回路１１がこの追跡開始信号を検出すると、人
物カメラ１０から入力されている映像信号中の前記空間
マウス３０の検出用ヘッド３３を検出，追跡し、マウス
先端部位置信号をマウス先端部マッピング回路１２に送
る。該マウス先端部マッピング回路１２では、発生する
カーソル位置を決定する。決定されたカーソル位置は、
第１のカーソル発生回路１３に送られ、前述のように自
分と相手のディスプレイ４０上にカーソル５０が共有映
像にスーパーインポーズされて表示される。前記スター
ト・ストップボタン３２が押されている間、眼によって
人間に情報がフィードバックされ行動の修正が行われ、
空間マウス３０による空間描画が続行される。空間マウ
ス３０のスタート・ストップボタン３２を離すと、空間
マウス３０からストップ信号が発せられ、マウス信号検
出回路１９が該スタート・ストップ信号を検出し、マウ
ス先端部検出追跡回路１１に追跡終了信号を送信する。

【００２５】これで、カーソル５０はディスプレイ４０
の画面上のその位置に固定され、１回目の空間描画が完
了する。１回の空間描画でカーソル５０がターゲットに
到達しない場合は、上記の操作を繰り返し、カーソル５
０がターゲットに到達した時、空間マウス３０のスター
ト・ストップボタン３２を２回連続して押すなどしてク
リックする。これで、ポインティングが完了する。さら
に、ポインティングモード切替えボタン３１を解除すれ
ばカーソル５０は消滅する。画像処理は検出しやすくし
たデバイスの先端部の動きの認識と追跡のみを行い、そ
の他の信号のやりとりはリモコンに任せることで、クリ
ックなど処理を高速化することができる。

【００２６】図４は本発明におけるマウス先端部検出追
跡回路１１の詳細を示す図で、１１１はクロック回路、
１１２は輝度信号処理回路、１１３は座標算出回路であ
る。

【００２７】次に、本方式のマウス先端部を検出追跡す
る様子を以下に示す。クロック回路１１１にスタート・
ストップ信号が入ってくると、人物カメラ１０から撮像
された一画面分のＲ信号がＴ／３０秒毎（Ｔ＞１）に取
り出され、輝度信号処理回路１１２に送られる。輝度信
号処理回路１１２では、赤の色相を持つ領域からｗ−ｈ
（幅と高さ）領域指定信号がなければそのままの大きさ
の画像を、輝度信号のしきい値ＴＨ以上の領域を空間マ
ウス３０の先端部として取り出し、ｗ−ｈ領域指定信号
があれば指定された矩形領域内のみを処理し、座標算出
回路１３へ送信する。このことで、処理量を軽減でき
る。座標算出回路１１３では、前記輝度信号処理回路１
１２で抽出された領域の重心を求め、ここより垂直方向
ｈ／２、水平方向ｗ／２の矩形領域をｗ−ｈ領域とし、
前記重心を原点とするｗ−ｈ領域指定信号を輝度信号処
理回路１１２にフィードバックする。領域が指定される
と輝度信号処理回路１１２は該領域のみ処理を行う。座
標算出回路１１３で、重心位置の移動度を求め、マウス
先端部マッピング回路１２に送信される。前記ｗ−ｈ領
域はスタート・ストップ信号がＯＦＦになるまで不変で
あり、空間マウス３０の先端部の動きをマウス先端部マ
ッピング回路１２に送り続ける。再びスタート・ストッ
プ信号がＯＮになると、最初のフレームの映像からマウ
ス先端の重心が算出され、該重心を原点とした前出ｗ−
ｈ領域が新しく更新される。以下、ポインティングモー
ド信号がＯＦＦになるまでこの処理が繰り返される。

【００２８】以上の説明で明らかなように、空間マウス
３０の先端部の検出用ヘッド３３は高輝度の赤い光を発
光するとしたが、白色、緑などの色であっても良く、白
の場合は輝度信号を、緑の場合はＧ信号を処理すればよ
い。

【００２９】図５は本発明のマッピングの様子を示す図
である。

【００３０】次に、本発明のマウス先端部マッピング回
路１２におけるマッピングアルゴリズムの詳細を以下に
示す。マウス先端部マッピング回路１２では以下のよう
な処理をする。ｗ−ｈ平面における先端部の検出ヘッド
３３の軌跡をｐで表す。また、Ｗ−Ｈ平面上のカーソル
５０の位置をＰで表す。ここで、ポインティングモード
でスタート・ストップボタン３２がＯＮのとき、Ｐの軌
跡をＰ（Ｘ_k ，Ｙ_k ）、ｐの軌跡をｐ（ｘ_k ，ｙ_k ）と
する。ただし、ｋはスタート・ストップ信号ＯＮになっ
てからｋフレーム目の映像である。マッピングは以下の
式に基づいて行われる。

【００３１】Ｘ₀ ＝Ｙ₀ ＝ｘ₀ ＝ｙ₀ ＝０ Ｘ_k ＝ｃ（ｘ_k −ｘ_k-1 ）＋ｘ_k-1 Ｙ_k ＝ｃ（ｙ_k −ｙ_k-1 ）＋ｙ_k-1 ｃは任意の定数である。ポインティングモード時で、ｎ
回目のトライ後のＰの座標をＰ_n とすると、次のＰの値
はこの値からの変位を足したものとする。マッピングの
様子を図５に示した。

【００３２】なお、上記の実施例は、テレビ電話機の場
合であるが、本発明は、相手からの送信がない画像表示
装置として用いることができる。すなわち、図１の構成
中、人物カメラ（カメラ）１０，ディスプレイ４０，空
間マウス３０，マウス先端部検出追跡回路１１，マウス
先端部マッピング回路１２，第１のカーソル発生回路
（カーソル発生回路）１３，スーパーインポーズ回路１
８等で画像表示装置を構成すればよい。

【００３３】

【発明の効果】本発明は、カメラと、ディスプレイと、
先端部に検出用ヘッドを有する空間マウスと、カメラか
ら撮像された空間マウスの検出用ヘッドを画像処理によ
って検出，追跡するマウス先端部検出追跡回路と、この
マウス先端部検出追跡回路より得られるマウス先端部位
置信号から発生するカーソルの位置を決定するマウス先
端部マッピング回路と、このマウス先端部マッピング回
路によって得られたカーソル位置にカーソルを発生させ
るカーソル発生回路と、カーソルと映像をディスプレイ
に重畳して表示するスーパーインポーズ回路とを備えた
ので、リモコンのセンサを確かな場所に設置し、カメラ
がポインティングデバイスを認識できれば、どんな場所
からでも画面をポインティングできる。また、マウスを
空間的に拡張したために見ている方向とポインティング
する方向が同じであり、視線を画面から外す必要がなく
なる。指している方向とスクリーンの交点がターゲット
であるという方式を退け、眼による情報のフィードバッ
クを考慮したマウス方式を採用したため、リラックス状
態でポインティングできる利点がある。

【００３４】また、本発明にかかるテレビ電話機は、前
記画像表示装置にカーソル位置信号を相手端末に送信す
るカーソル位置信号送信回路と、相手端末から送られて
くるカーソル位置信号を受信するカーソル位置信号受信
回路と、受信したカーソル位置信号に基づき相手のポイ
ンティングした位置を前記ディスプレイにカーソルを発
生させる第２のカーソル発生回路とを設けたので、相手
のポインティングした位置を第２のカーソルとして表示
できる利点がある。

【図面の簡単な説明】

【図１】本発明の一実施例を示す図である。

【図２】本発明の全体像を説明する図である。

【図３】本発明の空間マウスの外観を示す斜視図であ
る。

【図４】本発明のマウス先端部検出追跡回路の詳細を示
す図である。

【図５】本発明のマッピングの様子を示す図である。

【符号の説明】

１０ 人物カメラ １１ マウス先端部検出追跡回路 １１１ クロック回路 １１２ 輝度信号処理回路 １１３ 座標算出回路 １２ マウス先端部マッピング回路 １３ 第１のカーソル発生回路 １４ カーソル位置送信回路 １５ カーソル位置受信回路 １６ 第２のカーソル発生回路 １７ モニター表示映像選択スイッチ １８ スーパーインポーズ回路 １９ マスク信号検出回路 ２０ 外部映像入力端子 ２１ 送信映像選択スイッチ ２２ ネットワークインタフェース回路 ３０ 空間マスク ３１ ポインティングモード切替えボタン ３２ スタート・ストップボタン ３３ 検出用ヘッド ４０ ディスプレイ ５０ カーソル

───────────────────────────────────────────────────── フロントページの続き (72)発明者 酒井 洋 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内

Claims (4)

【特許請求の範囲】
1. 【請求項１】 カメラと、ディスプレイと、先端部に検
   出用ヘッドを有する空間マウスと、前記カメラから撮像
   された空間マウスの検出用ヘッドを画像処理によって検
   出，追跡するマウス先端部検出追跡回路と、このマウス
   先端部検出追跡回路より得られるマウス先端部位置信号
   から発生するカーソルの位置を決定するマウス先端部マ
   ッピング回路と、このマウス先端部マッピング回路によ
   って得られたカーソル位置にカーソルを発生させるカー
   ソル発生回路と、カーソルと映像を前記ディスプレイに
   重畳して表示するスーパインポーズ回路とを備えたこと
   を特徴とする画像表示装置。
2. 【請求項２】 マウス先端部検出追跡回路は、人物カメ
   ラから得られる映像から輝度信号をＴを１以上の数とし
   てＴ／３０秒毎に出力するクロック回路と、前記クロッ
   ク回路から出力される映像から輝度値の高いところを前
   記空間マウス先端部として抽出する輝度信号処理回路
   と、この輝度信号処理回路から得られるマウス先端部よ
   り切り出し領域を算出し、領域内のマウス先端部の座標
   を求める座標算出回路とを有することを特徴とする請求
   項１に記載の画像表示装置。
3. 【請求項３】 マウス先端部マッピング回路は、マウス
   先端部検出追跡回路より得られるマウス先端部位置信号
   を切り出し領域とポインティングされる画面の大きさの
   比とを乗算し、カーソルの画面上の位置を決定するもの
   であることを特徴とする請求項１または２に記載の画像
   表示装置。
4. 【請求項４】 人物カメラとディスプレイとを備えたテ
   レビ電話機において、先端部に検出用ヘッドを有する空
   間マウスと、前記人物カメラから撮像された空間マウス
   の検出用ヘッドを画像処理によって検出，追跡するマウ
   ス先端部検出追跡回路と、このマウス先端部検出追跡回
   路より得られるマウス先端部位置信号から発生するカー
   ソルの位置を決定するマウス先端部マッピング回路と、
   このマウス先端部マッピング回路によって得られたカー
   ソル位置にカーソルを発生させる第１のカーソル発生回
   路と、カーソル位置信号を相手端末に送信するカーソル
   位置信号送信回路と、相手端末から送られてくるカーソ
   ル位置信号を受信するカーソル位置信号受信回路と、受
   信したカーソル位置信号に基づき相手のポインティング
   した位置を前記ディスプレイにカーソルを発生させる第
   ２のカーソル発生回路と、前記第１のカーソル発生回路
   のカーソルと第２のカーソル発生回路のカーソルと共有
   映像を前記ディスプレイに重畳して表示するスーパイン
   ポーズ回路とを備えたことを特徴とするテレビ電話機。