JPH1139094A - 電子会議装置 - Google Patents

電子会議装置

Info

Publication number
JPH1139094A
JPH1139094A JP9196896A JP19689697A JPH1139094A JP H1139094 A JPH1139094 A JP H1139094A JP 9196896 A JP9196896 A JP 9196896A JP 19689697 A JP19689697 A JP 19689697A JP H1139094 A JPH1139094 A JP H1139094A
Authority
JP
Japan
Prior art keywords
electronic conference
image
information
translucent surface
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9196896A
Other languages
English (en)
Other versions
JP4296606B2 (ja
Inventor
Jiyunichi Rekimoto
純一 暦本
Nobuyuki Matsushita
伸行 松下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP19689697A priority Critical patent/JP4296606B2/ja
Publication of JPH1139094A publication Critical patent/JPH1139094A/ja
Application granted granted Critical
Publication of JP4296606B2 publication Critical patent/JP4296606B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Information Transfer Between Computers (AREA)
  • Position Input By Displaying (AREA)
  • Computer And Data Communications (AREA)
  • User Interface Of Digital Computer (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Interconnected Communication Systems, Intercoms, And Interphones (AREA)

Abstract

(57)【要約】 【課題】インタラクティブな操作を行うことができる電
子会議装置の提供。 【解決手段】半透明面2の背面側に対して、赤外線光を
定常的に照射する赤外線LEDパネル3と、半透明面2
側から入射してくる赤外線光のみを撮像するCCDカメ
ラ4と、半透明面2に対して画像(赤外線光を含まな
い)を投影表示するプロジェクタ5を設ける。これによ
り、ユーザが半透明面2の前面側で操作を行うと赤外線
反射光量が変化するので、制御装置6においてはCCD
カメラ4の撮像信号に基づいて反射光量の変化を検出画
像情報として検出し、この画像情報に基づいて得られる
操作情報に従って各種制御を実行するようにした。ま
た、この半透明面2を各種画像を表示する表示パネルと
して機能させるようにした。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、インタラクティブ
な入出力が可能な表示システムを利用した電子会議装置
に関するものである。
【0002】
【従来の技術】近年、例えば離れた場所にある複数のコ
ンピュータ装置などを一般回線網や総合デジタル回線網
等の公衆通信回線網で構築された通信ネットワークある
いは公衆通信回線網を経由しないで接続されるある範囲
内のネットワーク(LAN:Local Area Network)によ
って接続し、コンピュータ装置に接続されたモニタ装置
の画面を利用して会議を行う、いわゆる電子会議システ
ムが知られている。
【0003】
【発明が解決しようとする課題】ところで、上記したよ
うなコンピュータ装置等を用いた従来の電子会議システ
ムにおいては、一般にコンピュータ装置の画面に各種書
類データを表示すると共に、マウスやキーボード、タッ
チパネル(又はトラックパッド)等の入力装置によって
入力操作を行うようにされているが、さらに拡大した入
出力環境を考えた場合には、上記したようなコンピュー
タ装置によって構成するには限界が有る。例えば、コン
ピュータ装置のモニタ画面を大型化する場合を考えて
も、非常にコストがかかるという問題点がある。また、
タッチパネルやトラックパッドを例に採った場合、ポイ
ンティングの操作は概して指などに限定される。また、
通常タッチパネルやトラックパッドの面上の空間での操
作は行えず、操作面に対して指などの物理的な操作体を
パネル面に接触させる必要がある。さらに、タッチパネ
ルやトラックパッドは、その構造上比較的高価なので大
型の操作パネルとしては好適でない。また、タッチパネ
ルやトラックパッドは本体とは別体とされるモニタ装置
等に対して、例えばメニュー画面の画像として表示され
るので、その操作も間接的になる。
【0004】
【課題を解決するための手段】そこで、本発明は上記し
た課題を解決するため、ネットワークを介して電子会議
を行うための電子会議システムを構築するために設けら
れる電子会議装置として、半透明面と、この半透明面側
の方向から入射する所定の波長帯域の光又は電磁波のみ
を像として捉える撮像手段と、この撮像手段から入力さ
れた撮像信号に基づいて、上記半透明面に対して与えら
れた操作が反映される検出用画像情報を生成し、この検
出用画像情報に基づいて操作情報を得る操作情報識別手
段と、撮像手段が撮像すべき光又は電磁波の波長帯域を
含まない可視光による画像を半透明面に対して投影表示
可能に設けられる投影表示手段と、通信ネットワークを
介して接続された他の電子会議装置との間で各種情報信
号の通信を行うために設けられる通信手段と、操作情
報、及び他の電子会議装置から送信されて通信手段によ
り受信した所定の情報信号に基づいて、少なくとも、所
要の画像を生成して、この画像を上記半透明面に対して
投影表示させるための投影表示手段に対する表示制御
と、他の電子会議装置に対して送信すべき所定の情報信
号を送信させるための上記通信手段に対する通信制御と
を含む所要の制御処理を実行可能に構成される制御処理
手段とを備えることとした。
【0005】上記構成においては、例えば半透明面に近
づいた物理的対象によって撮像手段に入射する光又は電
磁波の状態が変化するのであるが、本発明ではこのよう
な光又は電磁波の状態変化を画像情報として捉えること
になる。そして、このようにして得られる画像情報を操
作情報としている。つまり、半透明面の付近においてポ
インティングデバイスとしての何らかの物理的対象を近
づけたり動かしたりすることにより、操作情報を与える
ことで半透明面を操作パネルとして機能させるようにし
ている。また、投影表示手段から半透明面に画像を投影
することによって、半透明面を各種画像を表示する表示
パネルとして機能させるようにしている。これにより、
半透明面を操作パネルと表示パネルとを一体化させたも
のとすることができ、直接的な操作を行うことができる
ようになる。また、本発明においては操作パネル及び表
示パネルとして機能するのは単なる半透明面であること
から、この半透明面としては容易に大型なものを形成す
ることができる。
【0006】
【発明の実施の形態】以下、本発明の実施の形態として
の電子会議装置について説明する。なお、以降の説明は
次の順序で行う。 <1、電子会議装置の構成及び操作情報の検出動作> <2、ホストとして機能させる場合の処理動作例> <3、端末として機能させる場合の処理動作例> <4、他の実施の形態としての電子会議装置の構成>
【0007】<1、電子会議装置の構成及び操作情報の
検出動作>先ず、図1〜図6を参照して、本発明の実施
の形態としての電子会議装置の構成例及び基本的な操作
情報の検出動作について説明する。図1は、本発明の実
施の形態として本出願人が提案した表示システムを用い
た電子会議装置の構成例を概念的に示したものである。
この図に示す電子会議装置1は通信回線網を介して他の
電子会議装置と接続されることで、電子会議システムと
してのネットワークを構築するものであり、後述するよ
うに電子会議システムにおけるサーバ(ホスト)又はク
ライアント(端末)として機能するものであある。な
お、本明細書において「電子会議」とは、一般的な意味
での会議にとどまらず、ネットワークを介した複数のユ
ーザに依る集中作業や公開討論のようなグループウェア
やコラボレーティング・ワーク等もいうものとする。
【0008】この図に示す本実施の形態としての電子会
議装置1は、半透明面2、赤外線発光ダイオード素子
(LED:Light Emitted Diode )パネル3、CCD
(ChargeCoupled Device )カメラ4、プロジェクタ
5、及び制御装置6を備えて構成される。赤外線LED
パネル3、CCDカメラ4及びプロジェクタ5は半透明
面2の背面側に対して設けられる。
【0009】半透明面2は、例えば透明なガラス板に対
してトレーシングペーパーのような見え方をする半透明
膜を貼り合わせる、あるいは磨りガラスのような半透明
の性質を有するものを利用するなどして形成され、後述
するようにして表示システムにおける操作パネルと表示
パネルとの両者の機能を併せ持つ。赤外線LEDパネル
3は、例えばパネル面に対して多数の赤外線LEDが集
合的に配列されることによって構成され、上記赤外線L
EDパネル3から発光出力される赤外線光が半透明面2
の背面全体に対して照射されるように設けられる。上記
赤外線LEDパネル3は制御装置6によって定常的に赤
外線を発光するように駆動される。
【0010】なお、赤外線LEDパネル3としては、発
光出力される赤外線光が半透明面2全体に対して照射さ
れるのに充分な数の赤外線LEDが設けられればよい。
また、後述するように初期の赤外線画像に対する現在の
赤外線画像の差分に基づいて半透明面2側から反射して
くる画像情報を得るようにされることから、半透明面2
全体に対して照射される赤外線光量が一律である必要も
ない。従って赤外線LEDパネル3のサイズは、半透明
面2よりもはるかに小さいもので済ませることができ
る。
【0011】CCDカメラ4は、撮像素子としてCCD
を用いたカメラ装置であり、この場合には、半透明面2
に映る画像光として赤外線光の成分のみを撮像すること
により、半透明面2に対して行われた操作を画像情報と
して認識するために設けられる。このため、CCDカメ
ラ4の光学系の部位に対しては、赤外線領域の波長帯域
のみを透過する赤外線透過フィルタ4aが設けられる。
また、CCDカメラ4により撮影されるアングルが半透
明面2全体を含むようにその配置位置が設定される。
【0012】プロジェクタ5は、制御装置6から供給さ
れる画像情報に基づいて、可視光による画像光を半透明
面2の背面に対して投影表示する。例えばユーザは、半
透明面2に投影表示されたプロジェクタ5の画像を、半
透明面2の前面側から観察することができる。ここで、
プロジェクタ5の光学系には赤外線領域の波長を遮断す
る赤外線遮断フィルタ5aが設けられているが、これに
より半透明面2に投影表示される画像光には赤外線が含
まれなくなるため、プロジェクタ5の投影画像はCCD
カメラ4からは不可視となる。なお、上記赤外線LED
パネル3、CCDカメラ4及びプロジェクタ5の配置位
置は、それぞれが果たすべき役割が充分機能することを
考慮して設定されればよい。
【0013】制御装置6は、例えばマイクロコンピュー
タを備えて構成され、CCDカメラ4から供給される撮
像信号から画像情報(映像データ)を得て、更にこの画
像情報をもとに操作情報を得る。そして、この操作情報
に基づいて、例えばプロジェクタ5により半透明面2に
表示させる画像に関する表示制御を実行するといった各
種所要の制御処理を行う。また、赤外線LEDパネル3
の赤外線LEDの発光駆動を行う。
【0014】また、制御装置6は操作情報に基づいて、
例えば通信ネットワーク7を介して電子会議システムを
構成する図示しない他の電子会議装置との接続を制御す
るようにされる。また、例えば公衆通信回線網やネット
ワーク(LAN)で構築された通信ネットワーク7を介
して接続されている他の電子会議装置からの各種制御情
報や指示情報、映像信号データなどを受信することがで
きるようにされる。
【0015】図2は、上記制御装置6の内部構成例を示
すブロック図である。この図に示す制御装置6におい
て、LED駆動部10は、赤外線LEDパネル3に設け
られた複数の赤外線LEDを発光駆動するための回路部
位である。画像入力部11は、CCDカメラ4から供給
された撮像信号について所要の信号処理を施すことによ
って映像信号を生成して入力画像処理部12に供給す
る。つまり、画像入力部11では、半透明面2側からC
CDカメラ4を介して入射してきた赤外線光を映像情報
として出力する。
【0016】入力画像処理部12では、例えば画像入力
部11から供給された映像信号をデジタル信号による映
像信号データに変換する。入力画像処理部12において
は、この映像信号データに基づいて得られる「画像情報
(例えばフレーム単位の映像データ)」を利用して所要
の解析処理等を実行することで、半透明面2に対して行
われた操作情報を得るようにされる。ここで画像情報に
基づいて得られる操作情報としては、例えば、半透明面
2に対して操作を行っている操作体の画像上の位置(座
標)や画像の信号レベルなどが用いられる。この操作情
報はデータベース駆動部14に伝送される。また、上記
映像信号データは、画像合成部17や通信制御部19に
対して供給可能とされている。
【0017】しきい値制御部13は、入力画像処理部1
2にて実行される操作情報に関する処理に必要なしきい
値を設定して入力画像処理部12に伝送する。上記入力
画像処理部12では、しきい値制御部13において設定
されるしきい値を利用して画像情報について解析を行う
など所要の処理を実行することで操作情報を得る。ま
た、本実施の形態では後述するようにして入力画像デー
タのフレーム差分を算出することにより、現在の半透明
面2の画像状態(検出画像情報)を得るようにされる
が、フレーム差分演算に利用する基準値(基準画像入力
レベル)等の情報も、後述するようにして、しきい値制
御部13に格納されるものとする。
【0018】データベース駆動部14は、入力画像処理
部12により得られた操作情報を取り込み、この操作情
報に基づいて適宜所要の処理を実行する。この際、デー
タベース駆動部14が実行すべき制御処理に必要なプロ
グラムデータはデータベースメモリ15に格納されてお
り、データベース駆動部14は、このデータベースメモ
リ15に格納されたプログラムデータに基づいて所要の
制御処理を実行することになる。
【0019】特に、本実施の形態のデータベースメモリ
15には、電子会議装置1が通信ネットワーク7を介し
て構築される電子会議システムのホストまたは端末とし
ての機能を実現するためのプログラムデータも格納され
ているものとされる。このため、データベース駆動部1
4は、入力画像処理部12からの操作情報に基づいて、
当該電子会議装置1と通信ネットワーク7を介して接続
されている図示しない他の電子会議装置を接続するため
のコマンド情報や他の電子会議装置の動作を制御するた
めの各種制御情報や指示情報を生成して通信制御部19
に対して供給可能とされている。
【0020】画像生成部16は、データベース駆動部1
4の制御によって、必要な画像データ(デジタル信号に
よる映像信号データ)を生成して画像合成部17に出力
する。また通信制御部19から供給される画像信号デー
タとデータベース駆動部14からの画像信号データを合
成して、画像合成部17に対して出力することも可能と
される。
【0021】画像合成部17においては、必要があれば
上記画像生成部16から供給された画像信号データに対
して、入力画像処理部12から供給された画像信号デー
タを合成してRGB信号生成部18に対して出力する。
RGB信号生成部18では、上記画像合成部17から供
給された画像信号データについて、例えばアナログによ
るRGB信号に変換してプロジェクタ5に対して出力す
る。これによりプロジェクタ5からは、半透明面2に対
して行われる操作に対応した映像による画像光が半透明
面2に対して照射出力されることになる。
【0022】通信制御部19は、通信ネットワーク7を
介して入力画像処理部12からの画像信号データや、デ
ータベース駆動部14からの各種制御情報や指示情報等
を通信ネットワーク7を利用してデータ伝送を行うのに
適合した所定の信号形態に変換(変調)して伝送できる
ようにされる。また、通信ネットワーク7を介して図示
しない他の電子会議装置からデータとして伝送されてく
る画像データやコマンド情報及び後述するID情報等の
各種通信データは、制御装置6内部で処理可能な形式の
データに復調することができるようにされる。上記コマ
ンド情報及び後述するID情報等の各種通信データは、
データベース駆動部14へ、画像データは画像生成部1
6にそれぞれ供給される。
【0023】上記図1、図2においては、例えば音声信
号を通信データとして扱い、通信により得られた音声信
号を音声として出力する構成は示されていないが、本実
施の形態の電子会議装置1においては、音声信号も通信
データとして通信可能とされており、例えば通信制御部
19において制御装置6に入力された音声信号を送信可
能とされていると共に、受信された音声信号を制御装置
6に供給して所要の信号処理を施すことで音声として出
力することも可能とされる。
【0024】前述したように、本実施の形態では半透明
面2が操作パネルとして機能する。そこで、上記構成に
よる表示システムを用いた電子会議装置1における操作
情報の基本的な検出方法について説明する。前述のよう
に、図1に示す半透明面2全体に対しては、その背面か
ら赤外線LEDパネル3により赤外線光が照射されるの
であるが、この赤外線光は半透明面2が半透明であるこ
とから、全ての赤外線光が半透明面2を通過するのでは
なく、幾分かの赤外線光が半透明面2の作用によって反
射されることになる。そこで、本実施の形態とされる電
子会議装置1においては、この半透明面2にて反射され
る赤外線光から操作情報を検出するようにしている。
【0025】すなわち、本実施の形態においては半透明
面2に対して何も操作が行われていないとされる状態の
もとで、半透明面2にて反射される赤外線光をCCDカ
メラ4により撮像して得られる映像信号データの初期レ
ベルを「基準入力画像レベル」として記憶する。この基
準入力画像レベルは、入力された映像信号データに基づ
いて例えば1フレームにおける画素ごとの信号レベルを
検出することにより行うようにすればよい。この検出処
理は、入力画像処理部12により行われるものとされ
る。このようにして検出された基準入力画像レベルの情
報はしきい値検出部13に出力されて保持されることに
なる。
【0026】上記基準入力画像レベルの検出処理は、例
えば図3のフローチャートに示すものとなる。この図に
示すように、先ず入力画像処理部12では、ステップS
101において、CCDカメラ4から画像入力部11を
介して供給された映像信号から得られる1フレーム分の
画像データに基づいて、上述のようにして画素ごとに信
号レベルを検出し、この検出結果を基準入力画像レベル
Lintとして得る。なお、具体的には画素ごとの輝度
信号成分のレベルを検出してこれを基準入力画像レベル
Lintとすることが考えられる。入力画像処理部12
は、続くステップS102において、上記基準入力画像
レベルLintをしきい値制御部13に出力して記憶さ
せるように処理を実行する。
【0027】なお、基準入力画像レベルLintを検出
して、しきい値制御部13に記憶させる処理(上記図3
に示す処理動作)は、例えば当該電子会議装置1の電源
オン時などに実行させたり、あるいは何らかのユーザの
指示によって必要なときに基準入力画像レベルLint
を更新させるように構成することが考えられる。
【0028】上記のようにして基準入力画像レベルLi
ntの情報が保持された状態のもとで、操作情報として
扱われる画像情報は次のようにして得るようにされる。
図4は、操作情報のもととなる画像情報(以下、この
「画像情報」については特に「検出画像情報」という)
を得るための入力画像処理部12の処理動作を示すフロ
ーチャートである。この場合、入力画像処理部12は、
先ずステップS201において現在の入力画像レベルL
prsを検出する処理を実行する。ここでいう入力画像
レベルLprsは、現在においてCCDカメラ4により
撮像された赤外線光に基づく半透明面2の画像について
のフレーム単位のデータであり、このフレーム単位の画
像データにおける画素ごとの信号レベルを検出して得ら
れる情報である。
【0029】続いて、入力画像処理部12はステップS
202において、基準入力画像レベルLintと上記現
在の入力画像レベルLprsの差分を演算する(L=L
prs−Lint)ことによって差分入力画像レベルL
を算出する。具体的には、基準入力画像レベルLint
と上記入力画像レベルLprsとして得られたデータ値
を、同一位置の画素ごとに差分を求めることによって差
分入力画像レベルLを得るようにされる。従って、差分
入力画像レベルLとしては、常に基準入力画像レベルL
intに対する現在の入力画像レベルLprsとの信号
レベル差が画素ごとに得られることになる。そして、入
力画像処理部12は、ステップS203において、上記
差分入力画像レベルLに基づいて、現在の検出画像情報
(1フレーム分の映像データ)を生成するようにされ
る。
【0030】上記のごとき検出画像情報の検出動作を、
実際のユーザの半透明面2の前面側での動きと共に説明
する。例えばユーザは、半透明面2の前面側において赤
外線を反射可能な何らかの物体を利用して半透明面2の
前面側において操作を行うようにするのであるが、ここ
では、説明の簡単のためにユーザ自身の指や身体を用い
ることとする。
【0031】ここで、例えば図1に示すように半透明面
2の前面側においてユーザが半透明面2から遠く離れた
距離にいるときには、例えば半透明面2を通過してユー
ザの身体で反射された赤外線光量は少ないことから、そ
のほとんどが半透明面2の前面から背面側に対して通過
して戻ることはない。このとき、上述した基準入力画像
レベルLintと上記現在の入力画像レベルLprsと
は同等であり、入力画像処理部12では、差分入力画像
レベルLとしてほぼ0であると検出することになる。つ
まり、差分入力画像レベルLに基づいて生成される検出
画像情報としては、初期状態と同様の変化の無い状態が
得られることになる。
【0032】ここで、例えば上記の状態からユーザが徐
々に半透明面2に対して近づいていったとすると、半透
明面2を通過してユーザの身体で反射する赤外線光のう
ち、半透明面2を通過して背面側に到達する光量が次第
に増加していくことになる。この状態を、入力画像処理
部12からみた場合には、ユーザの身体に対応する画像
部分の基準入力画像レベルLintに対する現在の入力
画像レベルLprsのレベルが徐々に増加していく状態
として捉えられる。これに応じて、検出画像情報として
は算出される差分入力画像レベルLに応じて、半透明面
2に接近するユーザの姿が徐々に捉えられていくことに
なる。
【0033】そして、半透明面2に対して例えばユーザ
の体が非常に接近した状態(しきい値の設定にもよるが
例えば半透明面2から30cm以内)では、その人体に
反射した赤外線光がほとんど半透明面2を通過して背面
側に到達することになるので、その人体形状がより鮮明
な状態の検出画像情報が生成されることになる。
【0034】また、ここでユーザがその身体を半透明面
2からある程度距離を置いた状態で、例えば自身の指を
手前にかざして半透明面2の非常に近い位置においたと
する。この場合、半透明面2に近接するユーザの指は、
他の身体部分よりも多くの赤外線光を反射するため、入
力画像処理部12において得られる画像情報としては、
ユーザの指にあたる位置の画像領域のレベルが強く、そ
の背景となる部分においてユーザの身体部分にあたる位
置の画像領域のレベルは半透明面2からの距離に応じて
弱くなることになる。そして、例えばこの状態のもと
で、しきい値制御部13にて設定された所定のしきい値
と画像情報とを比較すれば、容易にユーザの指にあたる
部分のみの画像を背景から分離させることが可能であ
り、同様にしきい値の設定によっては、半透明面2から
離れた距離にあるユーザの身体部分のみを抽出した画像
情報を得ることも可能である。このようなしきい値は、
前述のように実際に必要とされる条件に応じた値がしき
い値制御部13において設定されるものである。
【0035】このようにして、半透明面2の前面側の状
態を赤外線光に依る画像として検出する構成を採ること
により、この半透明面2を例えばインタラクティブなイ
ンターフェイスのための操作パネルとして機能させるこ
とが可能になるため、次のような利点が得られる。先
ず、本実施の形態では半透明面2側からの赤外線の反射
光量によって得られる画像に基づいて操作情報を得るこ
とになるので、操作を行うための操作体としては、特に
特殊なポインティングデバイスを必要とせず、赤外線を
反射する物体であればその種類は問わないことになる。
つまり、操作体としては、上述のように人体全体もしく
はその一部や、その他の何らかの物体を問題なく使用す
ることができる。
【0036】また、例えばタッチパネルなどでは操作パ
ネル面に対して指などの操作体を接触させる必要がある
が、操作体の位置や動きは赤外線光の反射として検出さ
れればよいことから、半透明面2に操作体を接触させる
必要性はなく、その前面の空間において操作を行うよう
な方法を採ることができる。
【0037】また、上述したように赤外線の反射光量
は、操作体の半透明面2に対する距離に応じて変化する
ために、例えば操作体の半透明面2からの距離を操作情
報として利用することも考えられる。
【0038】更に、半透明面2は前述のように例えば透
明のガラス板などに対してトレーシングペーパーのよう
な半透明の薄膜を組み合わせたり、磨りガラスのような
ものを利用するなどの簡略な手段により構成可能とさ
れ、特にパネルに固有の駆動回路などは不要なので、低
コストで容易に大型化を実現することができ、この点で
大型化が困難なタッチパネルなどとは大きく異なる。
【0039】そして、半透明面2側からの赤外線の反射
光により得られる画像に基づいて操作情報を得ること
で、画像認識さえ可能であれば複数の操作体を同時に認
識して所要の制御を実行させることが可能である。つま
り、複数の異なる操作対象に対する同時操作が可能とな
るものであり、特に半透明面2が大画面として構成され
る場合には半透明面2上のいろいろな領域を利用して異
なる種類の操作を同時に行うことができることにもなる
ので非常に有効となる。
【0040】そして、半透明面2は画像表示パネルとし
ての機能も有することから、例えば後述するように操作
対象となるメニュー画面のようなものを表示させた上
で、ユーザがこのメニュー画面に対して指などにより操
作を行えるようにするなどの直接的な操作を実現するこ
とも容易に可能となる。このように、本実施の形態とさ
れる電子会議装置1では、その操作情報を入力するのに
多くの可能性が得られるために、これまでには無かった
ようなインタラクティブな入出力環境を容易に構築する
ことができる。
【0041】本実施の形態とされる電子会議装置1で
は、例えばメニュー画面を表示させて適宜所要の操作を
行うことにより電子会議を運営していくようにされる。
図5には電子会議装置1においてユーザがメニュー操作
を行う場合が示されており、ここでは半透明面2を前面
側から見た状態が示されている。なお、以降説明するメ
ニュー画面に関する操作は、本実施の形態における半透
明面2に対する操作の基本を成すものである。
【0042】例えば、この図5に示すように、ユーザが
半透明面2の前面に近付いたとすると、本実施の形態で
ある電子会議装置1では、この時に得られる検出画像情
報に基づいてユーザが近付いた半透明面2上の位置を認
識する。そして、半透明面2上においてユーザが近付い
たと認識された位置に対して、図のようにメニュー画面
Mを表示するように表示制御を行う。このメニュー画面
Mは当然のこととしてプロジェクタ5から半透明面2に
対して投影された画像である。そして、ユーザ自身が位
置している付近の半透明面2上にメニュー画面Mが表示
された状態のもとで、例えばユーザは自身の指を用い
て、メニュー画面Mにおいて任意の操作項目が表示され
ている任意領域を指すように指定したとする。この時、
ユーザの指先は、半透明面2上から3cm〜30cm程
度の範囲内の距離にあるようにされる。
【0043】これにより、例えばメニュー画面Mにおい
てユーザが指し示した操作項目の領域は選択されたこと
を示す何らかの指示表示(例えばカーソルの配置表示や
所定の形態による強調表示など)が行われることにな
る。この強調表示のための表示制御は、検出画像情報に
基づいてユーザの指が指し示している領域の座標を検出
することにより実現される。
【0044】ここでは、上記のようにして指示表示が開
始された状態から所定時間(例えば数秒程度)経過した
時にエンター操作が行われたとみなすこととする。そし
て、ユーザがエンター操作を行った、つまり特定の操作
項目が強調表示された状態を所定時間以上維持させたと
すると、指定された操作項目に従った所要の制御動作を
実行することになる。例えば、指定された操作項目に従
って、他の階層のメニュー画面を表示させたり、当該電
子会議装置1に対して所望の動作を実行させたりするこ
とになる。なお、ユーザが半透明面2の前面から離れて
いき、ユーザと半透明面2との間にある程度以上の距離
があいた場合には、それまで表示されていたメニュー画
面Mは自動的に消去されるものとする。
【0045】ここで、上記図5に示したメニュー操作を
行う場合の制御装置6の処理動作例のフローチャートを
図6に示す。この図6に示す処理動作は、主として制御
装置6内の入力画像処理部12が検出画像情報に基づい
て操作情報を認識すると共に、データベース駆動部14
がデータベースメモリ15に格納されたプログラムに従
って適宜処理動作を実行することにより実現される。
【0046】先ず、ステップS301において、現在の
検出画像情報から「接近体」が検出されるか否かについ
て判別を行う。ここで、「接近体」とは半透明面2に対
して所定の距離範囲まで接近した何らかの操作体(図5
ではユーザ自身の身体とされている)をいうものとされ
る。この「接近体」の検出は、例えば入力画像処理部1
2が検出画像情報と接近体の検出ように設定されたしき
い値(しきい値制御部13により設定される)を比較し
て、例えば検出画像情報のある領域において、このしき
い値以上の値が得られた場合には「接近体有り」と検出
し、しきい値以上の値が得られる領域がない場合には、
「接近体無し」と検出することになる。上記接近体検出
用のしきい値は、例えば通常、人体(ユーザ)が半透明
面2にある程度(例えば数十cm)近付いた時に検出画
像情報として得られる人体部分の画像レベルに基づいて
設定すれば良い。
【0047】上記ステップS301において接近体が検
出されなかった場合にはステップS308に進んで、現
在メニュー画面Mが表示中で有るか否かについての判別
が行われ、メニュー画面Mが表示されていない場合に
は、再度ステップS301の処理に移行するが、メニュ
ー画面Mが表示中の状態である場合にはステップS30
9に進み、メニュー画面Mを消去するするための制御処
理を実行する。このメニュー画面Mの消去処理は、例え
ばデータベース駆動部14が画像生成部16に対するメ
ニュー画面Mの画像データの生成処理を停止することで
実現される。
【0048】これに対して、ステップS301において
接近体が検出された場合には、ステップS302に進ん
で、半透明面2上における上記接近体の位置が検出され
る。この処理は、例えば検出画像情報における接近体の
部分が占有する領域の座標を検出することで可能とな
る。この場合、検出すべき座標としては接近体の領域の
所定の一地点であっても、所定規則に従って求められる
複数地点であってもよく、実際の使用環境等に応じて任
意に設定されれば良い。
【0049】続くステップS303においては、上記ス
テップS302で検出された接近体の位置に応じた半透
明面2の領域に対してメニュー画面Mを表示させるため
の制御を実行する。この制御処理は、例えばデータベー
ス駆動部14がデータベースメモリ15に格納されてい
るメニュー画面表示用のプログラムに基づいて、画像生
成部16において所要の書類のメニュー画面Mの画像デ
ータが作成されるように制御を行うことになる。この
際、データベース駆動部14はステップS302にて検
出された接近体の位置に対応する表示領域に対して、例
えばメニュー画面Mの画像データをマッピングするよう
にして、表示用画像データを作成する。この結果、最終
的にプロジェクタ5から投影される画像としては、半透
明面2におけるユーザが近付いた位置に対してメニュー
画面Mが表示されたものとなる。
【0050】次に、ステップS304においては、現在
表示中のメニュー画面Mの操作項目とされる表示領域内
において、「操作体」が検出されたか否かについて判別
が行われる。ここで、「操作体」とは半透明面2の前面
において至近距離(しきい値の設定にもよるが3cm〜
30cm程度)にある物体のことをいうものとされる。
つまり、図5においてはメニュー画面Mを指し示す指が
対象となる。そして、この「検出体」の検出処理は、先
ず操作体検出用として、しきい値制御部13において設
定されたしきい値と、検出画像情報の画像レベルとを比
較することにより、操作体の有無を検出することが行わ
れる。このとき設定されるしきい値としては、半透明面
2の前面において至近距離にある物体を背景から分離し
て検出する必要上、前述した接近体検出用しきい値より
大きい値が設定される。そして、例えばしきい値と比較
した結果、操作体が検出されたとすれば、その操作体が
検出された検出画像情報上の座標位置を検出し、この検
出位置とメニュー画面Mが表示されている画像情報上の
位置が一致しているか否かを判別することで、現在表示
中のメニュー画面の表示領域内における操作体の有無を
検出することになる。
【0051】上記ステップS304においてメニュー画
面Mの操作項目とされる表示領域内において操作体が検
出されない場合とは、検出画像情報上に操作体が検出さ
れなかったか、或は検出画像情報上に操作体を検出した
としてもこの操作体の検出位置がメニュー画面Mの表示
領域内に対応する画像情報上の領域になかった場合とさ
れ、この場合にはステップS301に戻るようにされ
る。
【0052】これに対して、ステップS304において
メニュー画面Mの操作項目とされる表示領域内において
操作体が検出されたと判別された場合には、ステップS
305に進んで、操作体が検出された位置に対応するメ
ニュー画面Mの操作項目について指示表示が行われるよ
うな制御を実行してステップS306に進む。
【0053】ステップS306においては、ステップS
304にて検出された操作体の検出状態が所定時間以上
維持されるか否かについて検出を行うようにしている。
この検出処理は、入力画像処理部12において現在の検
出画像の状態遷移を監視することにより行われる。そし
て、例えば現在の検出画像情報上から操作体が検出され
なくなったり、或は検出画像情報上における操作体の検
出位置がステップS304にて検出されたメニュー画面
Mの操作項目とされる表示領域内から外れたことが検出
されたような場合には、ステップS301からの処理に
戻ることになる。
【0054】また、ステップS306において、ステッ
プS304にて検出された操作体の検出状態が所定時間
以上維持されたと判別された場合には、エンター操作が
行われたものとしてステップS307に進む。ステップ
S307においては、メニュー画面M上において操作体
が検出された位置の操作項目に応じた所要の制御処理が
実行される。この処理はデータベース駆動部14がデー
タベースメモリ15に格納されたプログラムに従って実
行することになる。
【0055】次に、これまで説明した電子会議装置1の
構成及び操作情報の検出方法及び操作形態を踏まえて、
電子会議装置1を利用した電子会議の運営について概略
的に説明する。本実施の形態である電子会議装置1を含
む電子会議システムにより、電子会議を運営するにあた
っては、先ず当該電子会議装置1と通信ネットワーク7
を介して少なくとも1以上の他の電子会議装置とを接続
する必要がある。なお、電子会議装置1と通信ネットワ
ーク7を介して接続されることにより電子会議システム
を構築する他の電子会議装置は、本実施の形態とされる
電子会議装置1と同一構成のものであっても、例えば通
信機能を有するパーソナルコンピュータ装置等の他の構
成の電子会議装置であっても良い。
【0056】この場合、通信ネットワーク7を介して接
続されることになる複数の電子会議装置のうち、何れか
1つの電子会議装置を電子会議システム全体をコントロ
ールするホストとして機能させると共に、他の電子会議
装置を端末(クライアント)として機能させることにな
る。ここで、例えば当該電子会議装置1をホストとして
機能させる場合は、ホストとしての電子会議装置1から
最初に通信ネットワーク7を介して接続すべき端末とさ
れる他の電子会議装置に対して接続要求を行い電子会議
システムのネットワークを構築する必要がある。
【0057】このとき、例えばホストである電子会議装
置1のユーザ(司会者)は上記接続要求を行うための操
作を行うようにされるが、このときの操作方法例につい
て、再度図5を参照して説明する。図5にはメニュー画
面Mが示されているが、このときのメニュー画面Mに
は、選択項目として接続要求のための項目が提示されて
いるものとされる。そして、ユーザはたとえば先に図5
にて説明したような操作方法によって、接続要求のため
の項目に対する選択操作を行うようにされる。これによ
り、電子会議装置1からは通信ネットワーク7を介して
端末とされる他の電子会議装置に対して接続要求のため
のコマンド情報が伝送される。そして、この接続要求の
コマンド情報に応答して他の端末の電子会議装置から伝
送されてくる接続確認のコマンド情報を確認すること
で、ホストである当該電子会議装置1と端末である他の
電子会議装置が通信ネットワーク7を介して相互通信可
能な状態で接続されることになり、これによって電子会
議システムのネットワークが形成される。
【0058】そして、上記のように電子会議のネットワ
ークを形成した後に、実際の電子会議が運営されていく
のであるが、例えばこの時の運営形態の一例を図7に示
す。図7には半透明面2に対して書類画像20が表示さ
れている状態が示されているが、この書類画像20は、
会議の進行に従って適宜必要となる書類としての画像で
ある。この書類画像20は、たとえばホストの選択によ
って、電子会議に参加したすべての電子会議装置におい
て同時タイミングで表示されるようになっている。つま
り、各電子会議装置のユーザ(会議参加者)は、同時に
表示される同一の書類画像を見ながら議事を進行してい
くようにされる。
【0059】上記のようにして書類画像が各電子会議装
置において同時に表示されるようにするためには、各種
方法が考えられるのであるが、例えばここでは、予め会
議に必要な書類画像のデータが、各会議参加者の電子会
議装置に分配されて、装置内の記憶装置に格納済みとさ
れているものとする。その分配方法としては、例えば通
信ネットワーク7を介してホストとしての電子会議装置
1から他の端末の電子会議装置に配信するようにすれば
よい。そして、議事の進行に従って逐次書類画像20を
表示させるためには、例えばホストの電子会議装置のユ
ーザが、必要な書類画像を呼び出すための操作を行うよ
うにされる。
【0060】例えばホストが本実施の形態の電子会議装
置1を利用しているのであれば、所定の操作に従って書
類選択のための項目が提示されたメニュー画面を呼び出
して半透明面2に表示させ、このメニュー画面に対する
操作によって必要な書類画像を指定して表示させるため
の操作を行うようにされる(このときの操作方法は図5
にて説明した方法と同様でよい)。
【0061】これにより、例えばホストの電子会議装置
では指定された書類画像を自身でも表示させるための制
御を実行するとともに、他の電子会議装置に対して、指
定された書類画像を表示させる旨の指示信号を通信デー
タとして配信する。そして、この通信データに応答し
て、他の電子会議装置が、すでに格納済みとされた書類
画像データの中から指定された書類画像データを読み出
して表示するようにされる。
【0062】また、図7においてはシルエット画像21
が半透明面2に表示された状態が示されている。このシ
ルエット画像21は、ホストが本実施の形態の電子会議
装置1である場合に、この電子会議装置1の半透明面2
の前において議事進行を行っているユーザ(司会者)を
CCDカメラ4により撮像した画像である。このシルエ
ット画像21は、他の電子会議装置に対しても通信ネッ
トワーク7を介して画像データとして配信可能とされて
おり、他の電子会議装置がこれに対応する表示機能を有
していれば図7のようにして、書類画像20と共にシル
エット画像21を表示させることができる。
【0063】例えば、進行役であるホストの電子会議装
置1のユーザが、半透明面2に表示された書類画像20
を実際に指し示すようにして説明を行うようにすると、
この動作が反映された画像が各端末に表示されることに
なるので、例えば参加者は、書類画像20においてシル
エット画像21により指示された位置を見ながら議事の
進行に従っていくことができる。つまり、シルエット2
1が書類画面20と共に表示されることで、電子会議を
円滑に進行させることができる。
【0064】<2、ホストとして機能させた場合の処理
動作例>以下、上述したような電子会議システムの運営
を実現するために、電子会議装置1の制御装置6で実行
される処理動作例を図8乃至図10を参照しながら説明
する。先ず、本実施の形態とされる電子会議装置1をホ
ストとして機能させた場合の制御装置6における処理動
作例について説明する。図8は、本実施の形態とされる
電子会議装置1と、図示しない他の電子会議装置を通信
ネットワーク7を介して接続するために制御装置6で実
行される処理動作を示したフローチャートである。
【0065】この図8に示す処理動作は、例えば図6に
示した処理動作において、メニュー画面Mから接続のた
めの操作項目が選択された際に、制御装置6の入力画像
処理部12から供給される操作情報に基づいて、データ
ベース駆動部14がデータベースメモリ15に格納され
たプログラムに従って適宜処理動作を実行することによ
り実現されるものである。
【0066】この場合は、先ずステップS400におい
て、電子会議システム用のメニュー画面を表示させるた
めの所定の操作が行われたかどうか判別する。ステップ
S400において、電子会議システム用のメニュー画面
を表示させるための所定の操作が行われたと判別された
場合は、ステップS401に進み、半透明面2上に電子
会議システムを行うためのメニュー画面を表示するよう
な制御を実行する。この制御処理は上記図7に示した処
理同様にデータベース駆動部14がデータベースメモリ
15に格納されている電子会議システムのメニュー画面
表示用のプログラムに基づいて、画像生成部16におい
て画像データが作成されるように制御を行うことで実現
される。
【0067】上記ステップS401の処理が実行された
後は、ステップS402において、現在表示中の電子会
議システムのメニュー画面から当該電子会議装置1と端
末とされる他の電子会議装置とを通信ネットワーク7を
介して接続するための項目が選択されたか否かの判別を
行うようにされる。接続のための項目が選択されたか否
かの判別は、上記図6において説明したように、メニュ
ー画面が表示されている領域内において操作体の検出を
行い、操作体が検出された位置の項目が所定時間維持さ
れることによって、入力画像処理部12からデータベー
ス駆動部14に対して供給される操作情報(エンター情
報)に基づいて行われることになる。そして、ステップ
S402において接続のための項目が選択されたと判別
された場合は、ステップS403に進んで、接続される
端末とされる他の電子会議装置に対して接続要求のため
のコマンド情報を通信制御部19から通信ネットワーク
7を介して出力するようにされる。このような処理動作
は、データベース駆動部14がデータベースメモリ15
に格納されている接続要求のためのコマンド情報を通信
制御部19に対して出力し、これを受けて通信制御部1
9が上記コマンド情報を送信出力するための通信処理を
実行することで実現される。
【0068】これに対して、ステップS402におい
て、電子会議システムのメニュー画面から接続要求のた
めの項目が選択されずに、他の項目に対する選択操作が
あったと判別された場合は、ステップS405に進ん
で、選択された項目に応じた処理を実行する制御が行わ
れることになる。なお、電子会議システムのメニュー画
面の項目には、メニュー画面を消去するための項目等が
含まれており、例えばメニュー画面消去用の項目が選択
されれば当該メニュー画面を消去するように処理を実行
する。
【0069】続くステップS404においては、通信ネ
ットワーク7を介してコマンド情報が伝送された他の電
子会議装置からのコマンド情報が正常に伝送されたかど
うかを判別しており、例えば端末とされる他の電子会議
装置から応答が有った場合は、接続処理動作を終了する
ことになる。また、ステップS404において、端末と
される他の電子会議装置から応答が無い場合は、ステッ
プS403に戻って、以降の処理動作を実行することに
なる。
【0070】また、図8に示したような電子会議装置1
における接続のための処理は、ホスト側の電子会議装置
1のユーザが半透明面2に接近することによって自動的
に実行することも可能である。この場合の制御装置6に
おける処理動作としては、例えばユーザが先に図6に示
したようなメニュー操作を行う処理動作において、現在
の検出画像情報から接近体を検出し(S301)、接近体の
位置(座標)を検出した時に(S302)、図8に示した接
続のための処理動作のステップS403に移行する。そ
して、端末とされる他の電子会議装置に対して、接続の
ためのコマンド情報を通信ネットワーク7を介して出力
し、コマンド情報が伝送された他の電子会議装置から応
答の有無(S404)を判別すればよい。
【0071】図9は上記のようにしてホストである電子
会議装置1と端末である他の電子会議装置が通信ネット
ワーク7を介した接続された状態で、電子会議装置1と
他の電子会議装置の画面に共通の書類を表示させるため
に、制御装置6で実行される処理動作を示したフローチ
ャートである。なお、電子会議システムを構築する全て
の電子会議装置のメモリには、予め電子会議に用いられ
る書類の画像情報が格納されているものとする。すなわ
ち、ホストである電子会議装置1から通信ネットワーク
7を介して端末である他の電子会議装置に予め書類の画
像データが配信されているものとする。
【0072】この図9に示す処理動作は、例えば図6に
示した処理動作において、メニュー画面Mから書類表示
のための書類表示項目が選択された際に、制御装置6の
入力画像処理部12から供給される操作情報に基づい
て、データベース駆動部14がデータベースメモリ15
に格納されたプログラムに従って適宜処理動作が実行さ
れる。
【0073】この場合は、先ずステップS500におい
て、電子会議システム用のメニュー画面を表示させるた
めの所定の操作が行われたかどうか判別する。ステップ
S500において、電子会議システム用のメニュー画面
を表示させるための所定の操作が行われたと判別された
場合は、ステップS501に進み、半透明面2上に電子
会議システムを行うためのメニュー画面を表示するよう
な制御を実行する。この制御処理は上記図7に示した処
理同様にデータベース駆動部14がデータベースメモリ
15に格納されている電子会議システムのメニュー画面
表示用のプログラムに基づいて、画像生成部16におい
て画像データが作成されるように制御を行うことで実現
される。
【0074】上記ステップS501の処理が実行された
後は、ステップS502において、現在表示中の電子会
議システムのメニュー画面から当該電子会議装置1の画
面と通信ネットワーク7を介して接続されている他の電
子会議装置の画面に書類を表示させるための書類表示項
目が選択されたか否かの判別を行うようにされる。書類
表示項目が選択されたか否かの判別は、先に図6におい
て説明したように、メニュー画面が表示されている領域
内において操作体の検出を行い、操作体が検出された位
置の項目が所定時間維持されることによって、データベ
ース駆動部14に対して供給される操作情報に基づいて
判別されることになる。そして、ステップS502にお
いて、書類表示項目が選択されたと判別された場合は、
ステップS503に進んで、書類ごとに認識情報として
付加されているID情報を端末である他の電子会議装置
に対して、通信制御部19から通信ネットワーク7を介
して出力するようにされる。
【0075】これに対して、ステップS502におい
て、書類表示項目が選択されていないと判別された場合
は、ステップS507に進んで、選択された項目に応じ
た処理を実行するような制御が行われることになる。な
お、電子会議システムのメニュー画面の項目には、上述
したようにメニュー画面を消去するための項目等が含ま
れているものとする。
【0076】続くステップS504においては、ステッ
プS503において、通信ネットワーク7を介して書類
のID情報が伝送された端末側の電子会議装置から書類
のID情報が正常に伝送されたことを示す応答の有無を
判別しており、端末である他の電子会議装置から応答が
有った場合は、ステップS505に進む。また、ステッ
プS504において端末である電子会議装置から応答が
無い場合は、ステップS503に戻って、ステップS5
03からの処理動作を実行することになる。
【0077】次に、ステップS505において、データ
ベース駆動部14は選択された書類データをデータベー
スメモリ15から取り込み、この書類データを画像生成
部16に供給する。そして、ステップS506におい
て、この書類を表示するための画像データを作成するよ
うに制御を行い、作成された書類の画像データが画像合
成部17を介してRGB信号生成部18に供給する。そ
して、プロジェクタ5から半透明面2に投影表示するた
めの所要の制御処理を実行することになる。
【0078】<3、端末として機能させた場合の処理動
作例>次に、本実施の形態とされる電子会議装置1を端
末として機能させた場合の制御装置6における処理動作
例について説明する。図10は、ホストである他の電子
会議装置から端末装置としての当該電子会議装置1に対
して各種情報が伝送された場合の電子会議装置1の制御
装置6で実行される処理動作を示したフローチャートで
ある。この図10に示す処理動作もまた、上記同様に制
御装置6のデータベース駆動部14が適宜処理動作を実
行することにより実現されるものである。また、前述の
ように電子会議に用いられる書類画面20としての画像
データは、予めホストから伝送されており電子会議装置
1のデータベースメモリ15に既に格納されているもの
である。
【0079】この場合は、先ずステップ601におい
て、通信ネットワーク7を介してホストである他の電子
会議装置から当該電子会議装置1に対して接続要求のた
めのコマンド情報が入力されたか否かの判別を行ってお
り、接続のためのコマンド情報が入力されたと判別した
場合は、ステップS602に進む。なお、このステップ
S601の処理動作は、通信ネットワーク7を介して接
続のためのコマンド情報が入力されたと判別されるまで
実行される。そして、ステップS602において、通信
ネットワーク7を介して接続確認情報をホストとしての
電子会議装置に出力するようにされる。このような処理
動作は、データベース駆動部14が接続確認情報を通信
制御部19から通信ネットワーク7を介してホストであ
る他の電子会議装置に対して伝送することで実現され
る。このステップS602までの処理が他追えば各端末
の全てにおいて行われることで、前述したようにしてネ
ットワークを介して電子会議システムが形成される。
【0080】続くステップS603においては、通信ネ
ットワーク7を介して他の電子会議装置から表示すべき
書類を特定するID情報が入力されたか否かの判別を行
っており、書類のID情報が入力されたと判別した場合
は、ステップS604に進む。なお、このステップS6
03の処理動作は、通信ネットワーク7を介して書類の
ID情報が入力されたと判別されるまで実行される。
【0081】そして、ステップS604において、通信
ネットワーク7を介して書類IDを受信したことを知ら
せるための確認情報をホストとしての電子会議装置に出
力するようにされる。このような処理動作も、上記同様
にデータベース駆動部14が書類IDの確認情報を通信
制御部19に対して出力し、この情報がネットワークを
介して送信されるように制御を実行する。
【0082】次に、ステップS605において、データ
ベース駆動部14はデータベースメモリ15に格納され
ている書類情報からID情報により指定された書類を選
択して、データベースメモリ15から取り込み、この書
類データを画像生成部16に供給する。そして、ステッ
プS606において、この書類を表示するための画像デ
ータを作成するような制御を行い、作成された書類の画
像データが画像合成部17を介してRGB信号生成部1
8に供給する。そして、プロジェクタ5から半透明面2
に投影表示するための所要の制御処理を実行することに
なる。
【0083】ところで、先に図7に示したように、制御
装置6の制御によってプロジェクタ5から選択された書
類画像20と共に、通信ネットワーク7を介して接続さ
れている例えばホストの電子会議装置1にいる司会者の
画像(シルエット画像)21を端末の電子会議装置に画
像信号データとして伝送する場合の制御装置6の処理動
作としては、画像入力部11でCCDカメラ4を介して
入射される赤外線光から生成された司会者の画像情報を
入力画像処理部12でデジタル信号に変換し、この変換
した映像信号データを通信制御部19に供給する。そし
て、通信制御部19において、通信に適合するデータ形
態とするための所要の処理を施して通信ネットワーク7
を介して出力すれば良い。
【0084】また、電子会議装置1が端末として機能し
ており、ホストの電子会議装置から伝送されてくる画像
信号データを半透明面2上に表示するための制御装置6
の処理動作としては、通信ネットワーク7を介してホス
トの電子会議装置から伝送されてくる通信用の画像デー
タを通信制御部19において所要の処理を施して画像信
号データとした後、画像生成部16においてデータベー
ス駆動部14から供給される書類の画像信号データと合
成し、画像合成部17を介してRGB信号生成部18に
出力する。そしてRGB信号生成部18では、この合成
され画映像信号データを、例えばアナログのRGB信号
に変換してプロジェクタ5に対して出力する。これによ
り、プロジェクタ5から半透明面2に対して照射される
表示画像としては、書類画面20に対してホストである
電子会議装置1の司会者の説明の様子が示されることに
なる。
【0085】<4、他の実施の形態としての電子会議装
置の構成>ところで、本実施の形態としての電子会議装
置としては、図11に示すように、図1に示す構成から
赤外線LEDパネル3を省略することも可能である。例
えば、本発明に基づく電子会議装置を屋外などの外光の
強い環境で使用する場合は、日中の自然光に含まれる赤
外線が強いために、図1に示すような赤外線LEDパネ
ル3から照射される赤外線光を操作情報検出用の光源と
する構成では、赤外線LEDパネル3から照射される赤
外線光の強度が自然光に含まれる赤外線に対して相対的
に弱まるので、場合によっては適切な操作情報の検出が
行われない(つまり操作情報を認識可能な適正な検出画
像情報が得られない)可能性がある。
【0086】そこで、このような場合には、本実施の形
態のように赤外線LEDパネル3を省略する代わりに、
自然光に含まれる赤外線光を操作情報検出用の光源とし
て利用するものである。この場合、検出画像情報を得る
ために必要な基準入力画像レベルLintは、例えば接
近体及び操作体等の検出対象が無い(半透明面2に対し
て何の操作も行われていない)とされる状態のもとで、
その前面側から半透明面2を透過してCCDカメラ4に
おいて撮像される撮像信号から得た画像情報に基づいて
検出するようにされる。
【0087】そして、例えば半透明面2に対して何らか
の操作が行われるとすると、このときの半透明面2にお
ける接近体及び操作体などの部分をCCDカメラ4側か
らみた場合には、接近体及び操作体などにより自然光の
赤外線が遮られることから、これを自然光に含まれる赤
外線光の影として見ることができる。本実施の形態のい
制御装置6では、基準入力画像レベルLintに対し
て、画像レベルがより低くなる(暗くなる)ようにして
変化する画像情報を操作情報として扱うことになる。こ
の場合、図2に示す制御装置の内部構成としては、赤外
線LEDパネル3が省略されたことに応じて、LED駆
動部10が設けられないことになる。
【0088】また、本実施の形態の電子会議装置として
は、図1に示す構成において、例えば赤外線LEDパネ
ル3の代わりにマイクロ波発生器を設け、また、CCD
カメラ4の代わりにマイクロ波受信器を設けて構成する
ことも考えられる。この場合、図2に示す制御装置6に
おいては、LED駆動部10(図1参照)の代わりに、
マイクロ波発生器を駆動するためのマイクロ波駆動回路
が備えられる。また、マイクロ波受信器から供給される
受信マイクロ波を入力して例えば所定形式のデータに変
換して出力する画像信号入力回路と、この画像信号入力
回路から供給されるマイクロ波の受信データを入力して
所要の処理を行うことにより、例えば検出画像情報を得
ると共にこの検出画像情報に基づいて操作情報を得る入
力データ処理回路が設けられる必要がある。画像信号入
力回路及び入力データ処理回路は、それぞれ図2に示す
画像入力部11及び入力画像処理部12に代わる機能回
路部である。また、操作情報検出用の媒体としてマイク
ロ波を利用するため、CCDカメラ4に備えられた赤外
線透過フィルタ4aや、プロジェクタ5に備えられた赤
外線遮断フィルタ5aは不要となる。
【0089】このように、それが照射された物体に反射
する性質を有するマイクロ波のような媒体を操作情報の
検出に利用するように構成しても、これまで説明してき
た実施の形態(赤外線を操作情報の検出に利用した例)
と同様にして本発明としての電子会議装置を構成するこ
とが可能である。
【0090】なお、これまで説明した本発明の電子会議
装置の操作方法や処理動作は、あくまでも一例であり、
これに限定されることなく、他にも各種考えられるもの
である。また、本実施の形態においては音声出力系の説
明は省略したが、各種インタラクティブな応答を音声に
より行うことは当然可能である。また、本実施の形態に
おいては、半透明面2が垂直に設置された状態(壁面
状)とした場合について説明したきたが、本発明として
の半透明面2の機能(表示パネル機能及び操作パネル機
能)を考慮すればこれに限定されることなく、水平に設
置したり、あるいは半透明面2を球面状等の画面として
形成することも可能である。さらにまた、本実施の形態
においては、ホスト側のCCDカメラ4から得られる画
像情報を、通信ネットワーク7を介して端末側に伝送
し、端末側の半透明面2に表示するようにしているが、
例えばCCDカメラ4の他に撮像装置を設け、この撮像
装置から得られた画像をホスト側から端末側に伝送する
ようにすることも考えられる。
【0091】
【発明の効果】以上、説明したように本発明は、所定の
波長帯域の光又は電磁波を反射するなどして、これに状
態変化(この状態変化が検出画像情報として反映され
る)を与えることのできる物体で有れば、操作を行うた
めの操作体として成立するものである。つまり操作のた
めに特殊なポインティングデバイスを必要としないこと
になる。従って、これまで説明したように、本発明の電
子会議装置は例えばユーザ自身の手や指を用いることに
よって直接的な操作が可能になるため、自由度の高い入
力操作を行うことができる。また、この半透明面に投影
表示手段から各種画像を投影することによって表示パネ
ルとして機能させることができるため、この半透明面に
よって操作パネルと表示パネルを一体化することができ
るようになる。また、操作パネル及び表示パネルとして
機能するのは単なる半透明面である電子から、この半透
明面としては容易に大型なものを形成することが可能な
る。従って、このような本発明の電子会議装置によれ
ば、これまでにないような電子会議の運営を図ることが
できるようになる。
【図面の簡単な説明】
【図1】本発明の実施の形態としての電子会議装置の構
成例を示す概念図である。
【図2】本発明の実施の形態としての電子会議装置に備
えられる制御装置の内部構成を示す図である。
【図3】基準入力画像レベルを検出及び保持するための
処理動作を示すフローチャートである。
【図4】検出画像情報を生成するための処理動作を示す
フローチャートである。
【図5】本実施の形態の電子会議装置における基本的な
操作例を示す説明図である。
【図6】図5に示す操作を実現するための処理動作を示
すフローチャートである。
【図7】本実施の形態の電子会議装置における操作例を
示す説明図である。
【図8】本実施の形態の電子会議装置をホストとして機
能させた場合の接続要求のための処理動作を示すフロー
チャートである。
【図9】本実施の形態の電子会議装置をホストとして機
能させた場合の書類表示のための処理動作を示すフロー
チャートである。
【図10】本実施の形態の電子会議装置を端末として機
能させた場合の処理動作を示すフローチャートである。
【図11】本発明の実施の形態としての電子会議装置の
他の構成例を示す概念図である。
【符号の説明】
1 電子会議装置、2 半透明面、3 赤外線LEDパ
ネル、4 CCDカメラ、5 プロジェクタ、6 制御
装置、10 LED駆動部、11 画像入力部、12
入力画像処理部、13 しきい値制御部、14 データ
ベース駆動部、15 データベースメモリ、16 画像
生成部、17 画像合成部、18 RGB信号生成部、
19 通信制御部

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 ネットワークを介して電子会議を行う
    ための電子会議システムを構築するために設けられる電
    子会議装置として、 半透明面と、 上記半透明面側の方向から入射する所定の波長帯域の光
    又は電磁波のみを像として捉える撮像手段と、 上記撮像手段から入力された撮像信号に基づいて、上記
    半透明面に対して与えられた操作が反映される検出用画
    像情報を生成し、この検出用画像情報に基づいて操作情
    報を得る操作情報識別手段と、 上記撮像手段が撮像すべき光又は電磁波の波長帯域を含
    まない可視光による画像を上記半透明面に対して投影表
    示可能に設けられる投影表示手段と、 通信ネットワークを介して接続された他の電子会議装置
    との間で各種情報信号の通信を行うために設けられる通
    信手段と、 上記操作情報、及び他の電子会議装置から送信されて上
    記通信手段により受信した所定の情報信号に基づいて、
    少なくとも、所要の画像を生成して、この画像を上記半
    透明面に対して投影表示させるための上記投影表示手段
    に対する表示制御と、他の電子会議装置に対して送信す
    べき所定の情報信号を送信させるための上記通信手段に
    対する通信制御とを含む所要の制御処理を実行可能に構
    成される制御処理手段と、 を備えることを特徴とする電子会議装置。
  2. 【請求項2】 上記制御処理手段は、他の電子会議装置
    に対して上記撮像手段で得られた画像情報を情報信号と
    して送信するための上記通信手段に対する通信制御を実
    行可能とされていることを特徴とする請求項1に記載の
    電子会議装置。
  3. 【請求項3】 上記制御処理手段は、他の電子会議装置
    から送信されて上記通信手段により受信した画像情報
    を、上記半透明面に対して投影表示するための表示制御
    を実行可能とされていることを特徴とする請求項1に記
    載の電子会議装置。
  4. 【請求項4】 上記制御処理手段は、上記半透明面に対
    して特定の操作情報が与えられたときは、上記通信ネッ
    トワークを介して当該電子会議装置と他の電子会議装置
    間が接続されるための通信接続が自動的に行われるよう
    に通信制御を実行可能とされていることを特徴とする請
    求項1に記載の電子会議装置。
  5. 【請求項5】 上記撮像手段が受像すべき所定の波長帯
    域の光又は電磁波を上記半透明面に対して輻射する輻射
    手段を備えていることを特徴とする請求項1に記載の電
    子会議装置。
JP19689697A 1997-07-23 1997-07-23 電子装置及び表示方法 Expired - Lifetime JP4296606B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19689697A JP4296606B2 (ja) 1997-07-23 1997-07-23 電子装置及び表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19689697A JP4296606B2 (ja) 1997-07-23 1997-07-23 電子装置及び表示方法

Publications (2)

Publication Number Publication Date
JPH1139094A true JPH1139094A (ja) 1999-02-12
JP4296606B2 JP4296606B2 (ja) 2009-07-15

Family

ID=16365461

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19689697A Expired - Lifetime JP4296606B2 (ja) 1997-07-23 1997-07-23 電子装置及び表示方法

Country Status (1)

Country Link
JP (1) JP4296606B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007108678A (ja) * 2005-09-14 2007-04-26 Sony Corp リモートコマンダおよび電子機器の操作入力方法
JP2009295031A (ja) * 2008-06-06 2009-12-17 Canon Inc 画像投影装置及びその制御方法
JP2011239291A (ja) * 2010-05-12 2011-11-24 Seiko Epson Corp プロジェクターおよび制御方法
JP2012133525A (ja) * 2010-12-21 2012-07-12 Sony Corp 画像表示制御装置および画像表示制御方法
JP2019012499A (ja) * 2017-07-03 2019-01-24 Necネッツエスアイ株式会社 電子筆記板システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007108678A (ja) * 2005-09-14 2007-04-26 Sony Corp リモートコマンダおよび電子機器の操作入力方法
JP2009295031A (ja) * 2008-06-06 2009-12-17 Canon Inc 画像投影装置及びその制御方法
JP2011239291A (ja) * 2010-05-12 2011-11-24 Seiko Epson Corp プロジェクターおよび制御方法
JP2012133525A (ja) * 2010-12-21 2012-07-12 Sony Corp 画像表示制御装置および画像表示制御方法
EP2469393A3 (en) * 2010-12-21 2016-09-28 Sony Corporation Image display control apparatus and image display control method
JP2019012499A (ja) * 2017-07-03 2019-01-24 Necネッツエスアイ株式会社 電子筆記板システム

Also Published As

Publication number Publication date
JP4296606B2 (ja) 2009-07-15

Similar Documents

Publication Publication Date Title
US11561519B2 (en) Systems and methods of gestural interaction in a pervasive computing environment
JPH1124839A (ja) 情報入力装置
CN105683867B (zh) 将触摸屏显示器配置用于会议
JP4130957B2 (ja) ホログラフィックなオペレータ・インタフェース
JPH1157216A (ja) ゲーム装置
CN101271620B (zh) 激光遥控信号接收器及其配套的激光遥控信号发射器
JP2001125738A (ja) プレゼンテーション制御システム及びその制御方法
TW200411527A (en) Device and method for generating pseudo keyboard/monitor
CN102685440A (zh) 显示信息的自动选择及切换
CN104159360A (zh) 照明控制方法、装置及设备
US20210233325A1 (en) Video synthesis device, video synthesis method and recording medium
US20210174544A1 (en) Video synthesis device, video synthesis method and recording medium
JP4296607B2 (ja) 情報入出力装置及び情報入出力方法
JP6665194B2 (ja) 照明装置
CN107479710A (zh) 智能镜及其控制方法、装置、设备及存储介质
JP4296606B2 (ja) 電子装置及び表示方法
CN111343329B (zh) 锁屏显示控制方法、装置及存储介质
JP4712754B2 (ja) 情報処理装置及び情報処理方法
US10928927B2 (en) Video interactive system
JP4687820B2 (ja) 情報入力装置及び情報入力方法
JPH1138967A (ja) 電子楽器
CN102693042A (zh) 一种影像键盘生成方法和装置
CN110543234A (zh) 信息处理装置和非暂时性计算机可读介质
JP2007272927A (ja) 情報入出力装置、及び情報入出力方法
CN112295221A (zh) 人机交互的处理方法、装置及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040722

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090324

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090406

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140424

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term