JPH0784715A

JPH0784715A - 情報処理装置

Info

Publication number: JPH0784715A
Application number: JP22594993A
Authority: JP
Inventors: Soshiro Kuzunuki; 壮四郎葛貫; Toshifumi Arai; 俊史荒井; Yasushi Fukunaga; 泰福永; Hiroshi Shojima; 正嶋　　博
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1993-09-10
Filing date: 1993-09-10
Publication date: 1995-03-31

Abstract

(57)【要約】【目的】文書データの人間の感覚に合致した操作を行な
うことのできる情報処理装置を提供する。【構成】操作する文書１０４を机上に表示する平面デイ
スプレイ１０１と、平面デイスプレイ１０１上に置かれ
た手の動作を撮影する頭上カメラ３００と、表示オブジ
ェクトを両手もしくは片手で押さえたかどうかを判定
し、もし、押さえた場合、手の移動、手の傾き、指振り
の動作に応じて、表示した文書の表示を操作する処理装
置４００と、平面ディスプレイ１０１上に積層された座
標入力装置と、処理装置４００とを備える。処理装置４
００は、頭上カメラ３００の映像より、文書の表示が手
で押さえられたかどうかを判定し、もし、押さえられた
場合、押さえた手が片手か両手かを判定し、これと、手
の移動、手の傾き、指振りの動作に応じて、表示した文
書の表示を操作する。また、座標入力装置よりの入力座
標に応じて、表示した文書の編集を行う。【効果】現実に手を用いて行う操作に対応する操作をデ
ィスプレイ上の文書に対して施すことができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ディスプレイに表示さ
れた文書を人の手で直接操作可能な情報処理装置に関す
るものである。

【０００２】

【従来の技術】近年、利用者がコンピュータを意識する
必要のないマンマシンインタフェースを備えたコンピュ
−タとして、紙とペンを用いた作業と同様な感覚でコン
ピュ−タへの入力を行うことのできるマンマシンインタ
フェ−スを実現したペンコンピュータが注目されてい
る。

【０００３】このようなペンコンピュ−タとしては、た
とえば、特開平4-329457号公報記載の装置が知られてい
る。この特開平4-329457号公報記載の装置は、一体化し
た液晶表示装置と入力タブレットを備えており、利用者
は、ペンで、文字や図形のオブジェクトをタブレットに
直接書き込むことにより、コンピュ−タに入力すること
ができる。また、利用者は、さらにジェスチャ記号によ
る編集等も行うことができる。

【０００４】このように、ペンコンピュータは、紙にペ
ンを用いて書き込むという慣れ親しんだ作業に近い操作
で、コンピュ−タへの入力を行うことができるため、キ
−ボ−ドやマウスに比べ進化したマンマシンインタフェ
−スということができる。

【０００５】一方、人の手の操作を直接、コンピュータ
の操作として受け入れる技術として以下の技術が知られ
ている。

【０００６】すなわち、センサで検出した手の動きや指
の動きに応じて、表示画面の操作や、表示したオブジェ
クトの移動や回転や拡大や縮小の操作を受付ける技術と
して、Proceedings of UIST'89,ACM,1989,"A SYNTHETIC
VISUAL ENVIROMENT WITH HAND GESTURING AND VOICE I
NPUT”や、特開平4-257014号公報記載の技術が知られて
いる。

【０００７】また、頭上に設置したカメラより、手の位
置や動きを監視し、その動作に対応した表示オブジェク
トの操作や、指先で選択された紙上の文字列の入力等を
行う技術として、Proceedings of UIST'91,ACM,1991, "
The DigitalDesk Calculator:Tangible Manipulation o
n a Desk Top Display"に記載の技術が知られている。

【０００８】また、手の動きを２台のカメラにより監視
し、手による目標物の指示を受付ける技術として、特開
平5-19957号公報記載の技術が知られている。

【０００９】また、この他、直接手を用いた操作に関連
する技術として、特開平２−２８８６００号公報、特開
平４−３０８８９５号公報、特開平５−１９９５８号公
報記載の技術が知られている。

【００１０】

【発明が解決しようとする課題】前記ペンコンピュータ
は、文字や図形等の入力を、ペンを用いて書くのと同様
な感覚で行うことができる。しかし、文字や図形の入力
編集以外の、より高度な操作については、ペンを用いた
操作では人間の感覚に応じた操作を実現することができ
ない。

【００１１】また、Proceedings of UIST'89,ACM,198
9,"A SYNTHETIC VISUAL ENVIROMENT WITH HAND GESTURI
NG AND VOICE INPUT”、特開平4-257014号公報、特開平
5-19957号公報記載の技術によれば、手によって操作対
象物の指示や、操作の指示の入力を行うことはできる
が、表示されたオブジェクトを、あたかも実際に存在す
るものの如く、手によって操作することはできなかっ
た。したがい、利用者は、その操作へのコンピュ−タの
介在を認識する必要があった。

【００１２】また、Proceedings of UIST'91,ACM,1991,
"The DigitalDesk Calculator:Tangible Manipulation
on a Desk Top Display"の技術によれば、表示された
オブジェクトを、あたかも実際に存在するものの如く、
手で移動することができるなど、利用者が、コンピュ−
タを意識する必要は、より少ないが、本技術でサポ−ト
される操作は限られている。

【００１３】そこで、本発明は、表示されたオブジェク
トを、あたかも実際に存在するものの如く、人間の感覚
に合致した手順により、より統合的に操作することので
きる情報処理装置を提供することを目的とする。

【００１４】

【課題を解決するための手段】前記目的達成のために、
本発明は、デイスプレイと、ディスプレイの表示面上の
映像を撮影するカメラと、前記ディスプレイとカメラに
接続した処理装置とを備え、前記処理装置は、前記ディ
スプレイに処理する文書データの表す文書を表示する手
段と、前記カメラが撮影した映像に含まれる操作者の手
と当該手の位置および動作を認識する手段と、認識した
手の位置より、操作者の手が前記ディスプレイ表示面上
の前記文書の表示位置に置かれたかどうかを判定する手
段と、手が前記文書の表示位置に置かれた場合に、認識
した手と手の位置より、片手が前記文書の表示位置に置
かれているのか、両手が前記文書の表示位置に置かれて
いるのかを判定する手段と、手が前記文書の表示位置に
置かれた場合に、その後の認識した操作者の手の動作
と、前記文書の表示位置に置かれているのが片手か両手
の判定に応じて、異なる操作を、前記手が表示位置に置
かれている文書の表示に施す表示操作手段とを有するこ
とを特徴とする情報処理装置を提供する。

【００１５】また、さらに、操作者より座標の入力を受
付ける、前記ディスプレイ表示面上に積層された座標入
力装置を備え、前記処理装置は、前記座標入力装置が受
付けた座標が前記文書の表示位置に対応する位置であっ
た場合に、前記座標入力装置が受付けた座標の軌跡より
操作者が描いた文字もしくは図形の種別を認識する手段
と、認識した種別の文字もしくは図形を、前記座標入力
装置が受付けた座標に対応する表示位置に表示されてい
る文書中に入力し、当該文書の表示を、認識した種別の
文字もしくは図形を入力した文書の表示に更新する手段
とを有することを特徴とする情報処理装置を提供する。

【００１６】

【作用】本発明に係る情報処理装置によれば、前記処理
装置は、前記カメラが撮影した映像に含まれる操作者の
手と当該手の位置および動作を認識し、認識した手の位
置より、操作者の手が前記ディスプレイ表示面上の前記
文書の表示位置に置かれたかどうかを判定し、手が前記
文書の表示位置に置かれた場合には、認識した手と手の
位置より、片手が前記文書の表示位置に置かれているの
か、両手が前記文書の表示位置に置かれているのかを判
定し、手が前記文書の表示位置に置かれた場合に、その
後の認識した操作者の手の動作と、前記文書の表示位置
に置かれているのが片手か両手の判定に応じて、異なる
操作を、前記手が表示位置に置かれている文書の表示に
施す。

【００１７】このように、本発明に係る情報処理装置に
よれば、文書の表示上に置かれたのが片手か両手かと、
その後の手の動作に応じて、文書の表示に施す操作を決
定するので、多様な操作を実現することができる。

【００１８】また、現実の紙に書かれた文書を人間が扱
う場合を考えると、一般的に片手で行われる操作と、一
般的両手で行われる操作が存在し、また、異なる操作は
異なる手の動作で行われるのが通常であるので、このよ
うに、文書の表示上に置かれたのが片手か両手かと、操
作者の手の動作に応じて、文書の表示に施す操作を、現
実の紙に書かれた文書を人間が扱う場合に対応するよう
に切り替えるようにすれば、より、人間の感覚に合致し
たマンマシンインタフェ−スを提供することができる。

【００１９】また、さらに、前記ディスプレイ表示面上
に積層された座標入力装置を備え、前記処理装置が、前
記座標入力装置が受付けた座標の軌跡より操作者が描い
た文字もしくは図形の種別を認識し、認識した種別の文
字もしくは図形を、前記座標入力装置が受付けた座標に
対応する表示位置に表示されている文書中に入力し、表
示を更新するようにすれば、たとえば、ペンを用いて実
際に書き込むことにより、文字等を表示されている文書
中に直接入力することができる。すなわち、手を用いた
文書の操作とペンを用いた文字入力とを、現実の紙に書
かれた文書を人間が扱う場合と同様の操作で受付けるこ
とのできる、より統合化されたマンマシンインタフェ−
スを実現することができる。

【００２０】

【実施例】以下、本発明に係る情報処理装置の一実施例
について説明する。

【００２１】図１に、本実施例に係る情報処理装置の外
観を示す。

【００２２】１００は机形状の筐体で、天板上に水平に
設置された平面デイスプレイ１００と、天板と垂直に設
置された前面デイスプレイ１０２を備えている。この２
つのデイスプレイは約４０インチ程度のサイズのディス
プレイであり、記憶した文書データファイルの表す文書
を１０３、１０４を実サイズで表示することができる。
この表示された文書を表示オブジェクトと呼ぶ。また、
本情報処理装置は、頭上カメラ３００を備えており、操
作者２００の手の動きや、文書１０３、１０４等をモニ
タする。なお、平面デイスプレイ１００には座標入力装
置ＴＢが積層されており、ペンコンピュータと同様に、
ペンを用いた文字等の入力を受付けることができる。ま
た、図中、４００は処理装置であり、平面デイスプレイ
１００と前面デイスプレイ１０２の表示の制御や、頭上
カメラ３００や、座標入力装置ＴＢの入力の処理等を行
う。なお、処理装置は、実際は、筐体１００内の天板下
等に設置されるが、図１では各部の関係を示すために別
途示した。

【００２３】さて、平面デイスプレイ１００と前面デイ
スプレイ１０２の２つのデイスプレイのうち、平面デイ
スプレイ１００は、表示オブジェクトの表示や、ペンを
用いた入力や編集、さらに、表示オブジェクトの手によ
るハンドリングに利用し、もう、一方の前面デイスプレ
イ１０２は、その他の情報の表示に用いる。その他の情
報には、作業を中断し保留状態のオブジェクトや、組織
図や電話番号等の情報がある。

【００２４】さて、処理装置４００は、図示するよう
に、画像取込処理５００、手の動作理解処理６００、オ
ブジェクトハンドリング処理７００、座標取込処理８０
０、文字・図形認識処理９００、ジェスチャ認識処理１
１００、ドキュメント処理１０００、編集処理１２００
を行う。

【００２５】すなわち、処理装置４００において、頭上
カメラ３００の撮影した画像は画像取込処理５００によ
り取り込まれ、手の動作理解処理６００により画像処理
され、手の移動や、回転、指の動きが判断される。そし
て、その結果はオブジェクトハンドリング処理７００に
より処理され、表示オブジェクトの移動や回転やページ
めくり等のハンドリング処理を実施する。

【００２６】一方、文書データファイルへの文字、図形
の入力、編集は処理８００〜１２００によって行なわれ
る。平面デイスプレイ１００に積層された座標入力装置
ＴＢの出力座標は座標取込処理８００により取り込まれ
る。そして、この座標は、その時点のモ−ドに応じて処
理される。すなわち、入力モ−ドの時、この座標は文字
・図形認識処理９００に渡される。一方、編集モ−ドの
時は、ジェスチャ認識処理１１００に渡される。

【００２７】文字・図形認識処理９００は、渡された座
標列より入力された文字、図形の種別等を判断し、ドキ
ュメント処理１０００に渡す。ジェスチャ認識１１００
は、渡された座標列より利用者の行ったジェスチャを認
識し、認識結果を編集処理１２００に渡す。

【００２８】ドキュメント処理１０００は、認識された
文字、図形を編集中の文書データファイル中に加えると
共に、平面ディスプレイ１０１上の対応する表示オブジ
ェクトを更新する。さらに、ジェスチャ認識１１００
は、認識されたジェスチャに対応する操作を編集中の文
書データと平面ディスプレイ１０１上の対応する表示オ
ブジェクトに施す。

【００２９】以上のような、処理を処理装置において行
うことにより、本実施例に係る情報処理装置は、頭上カ
メラ３００より、手の動きをモニタし、その結果に応じ
て表示オブジェクトをハンドリングすることにより、実
際の紙を操作するのと同様な感覚で、平面ディスプレイ
１０１に表示した文書等を操作できる環境を提供する。

【００３０】さて、処理装置４００は、実際は、図２に
示す構成を有するコンピュ−タにより実現され、処理装
置４００の行う各処理は、コンピュ−タのＣＰＵ４０１
が行うプロセスとして実現される。図２に示すメモリ４
０２は、実際には、ＲＯＭとＲＡＭより構成されてお
り、ＲＯＭには、ＣＰＵ４０１が実行する各プロセスを
定義するプログラム等が格納されている。また、ＲＡＭ
には、平面ディスプレイ１０１に表示した文書を定義す
る文書データファイルが格納されており、ＣＰＵ４０１
は、文書データファイルに従い、この文書データファイ
ルの定義する文書の表示を行う。また、後述する文書へ
の文字、図形の入力や文書の編集の結果は、この文書デ
ータファイルに反映される。また、後述する文書データ
ファイルの記憶や送信は、実際には、このＲＡＭ上の文
書データファイルを補助メモリ４０３やＦＡＸＩ／Ｆに
転送することにより実現される。

【００３１】また、平面デイスプレイ１０１、前面デイ
スプレイ１０２は各々プロジェクタ１０５、１０７、な
らびにミラー１０６、１０８で構成する。

【００３２】平面デイスプレイ１０１への画像は、処理
装置４００の画像出力Ｉ／Ｆ１４０８から出力され、
プロジェクタ１０５に供給される。プロジェクタ１０５
の光はミラー１０６で反射し、平面デイスプレイ１０１
の半透明スクリーン（すりガラス等）に結像される。前
面デイスプレイ１０２への画像についても、同様に画像
出力Ｉ／Ｆ２４０９、プロジェクタ１０７、ミラー１
０８を介して前面デイスプレイ１０２の半透明スクリー
ンに結像される。なお、図２では、スクリーンに背面か
ら投射しているが、背面からではなく正面から投射する
ようにしてもよい。ただし、正面から投射すると周辺の
照明がコントラストに影響すること、さらに、光路に障
害物があると、その影がスクリーンに映るなどの点を考
慮する必要がある。

【００３３】さて、頭上カメラ３００の画像は画像入力
Ｉ／Ｆ４０６に取り込まれ、メモリ４０２に格納され
る。メモリ４０２のデータは、ＣＰＵ４０１が行う画像
取込処理５００、手の動作理解処理６００、オブジェク
トハンドリング処理７００で処理され、その結果は画像
出力Ｉ／Ｆ１あるいは画像出力Ｉ／Ｆ２を介して、それ
ぞれプロジェクタ１０５，１０７に出力される。

【００３４】一方、座標入力装置ＴＢよりの入力は、座
標入力Ｉ／Ｆ４０７を介して、ＣＰＵ４０１に取り込ま
れ、ＣＰＵ４０１が行う座標取込処理８００、文字・図
形認識処理９００、ジェスチャ認識処理１１００、ドキ
ュメント処理１０００、編集処理１２００で処理され、
その結果は画像出力Ｉ／Ｆ１あるいは画像出力Ｉ／Ｆ２
を介して、それぞれプロジェクタ１０５，１０７に出力
される。

【００３５】また、本処理装置は、音声Ｉ／Ｆｚ４１１
を介してスピーカ４１２から効果音の出力を行う。

【００３６】なお、その他、ＣＰＵ４０１には、通常の
パーソナルコンピュータやワークステーションと同様に
文書データファイルを格納する補助メモリ４０３や通信
インタフェースＬＡＮＩ／Ｆ４０４、ＦＡＸＩ／Ｆ４０
５が接続されている。通信インタフェースＬＡＮＩ／Ｆ
４０４はネットワーク機能を利用して文書データファイ
ルを送受信するためのもの、通信インタフェースＦＡＸ
Ｉ／Ｆ４０５は電話回線を利用して、文書データファイ
ルのファクシミリの通信を行なうものである。

【００３７】さて、本実施例では、あらかじめ、手の動
作と表示オブジェクトの処理を次のように対応付けてお
く。

【００３８】（１）操作する表示オブジェクトを片手で
押さえる動作と、表示オブジェクト全体のレイアウト処
理およびファイル処理とを対応付ける。ここで、レイア
ウト処理とは、表示オブジェクトの移動、回転等の処理
をいう。また、ファイル処理とは、補助記憶装置（補助
メモリ）への表示オブジェクトに対応する文書データの
記憶や、外部ネットワーク（ＬＡＮ，ＦＡＸ）への文書
データ転送等を行う処理をいう。なお、現実の文書の移
動等や格納等は片手で行なわれることが多いことを考え
ると、このように、片手で押さえる動作とレイアウト処
理やファイル処理を対応付けることにより、利用者に違
和感の無い操作環境を提供することできる。

【００３９】（２）表示オブジェクトを両手で押さえる
動作と、表示オブジェクトのページハンドリングを対応
付ける。ここで、ページハンドリングとは、ページめく
り、所定ページの出し入れ、ページばらし、ページ揃
え、ならびにページ入れ換え等の処理をいう。なお、机
の上の現実の文書のページめくりやページばらしは両手
で行なわれることが多いことを考えると、このような対
応付けにより、利用者に違和感の無い操作環境を提供す
ることできる。

【００４０】（３）手の動作として、（ａ）表示オブジ
ェクトの押さえ（ホールド）、（ｂ）表示オブジェクト
のリリース、（ｃ）押さえての移動、（ｄ）押さえての
回転、（ｅ）親指の振りの５つの動作を考える。そし
て、（ｃ）の押さえての移動は、表示オブジェクトの移
動に対応づけ、（ｄ）の押さえての回転は、表示オブジ
ェクト全体の回転とページめくりの度合いに対応づけ、
（ｅ）の親指の振りは、ページめくりに対応付ける。

【００４１】このような対応付けと、前述したＣＰＵ４
０１の行う各処理により、手とペンを用いた、より進化
した統合的なマンマシンインタフェ−スが実現される。

【００４２】ここで、前述したＣＰＵ４０１の行う各処
理の内容を説明する前に、あらかじめ、各処理によって
実現される情報処理装置の動作について説明しておく。

【００４３】図３は、表示対象物の移動／回転処理動作
を説明する図である。

【００４４】図３（ａ）は表示オブジェクト１０４を左
手２００−１でホールドしている状態を表している。

【００４５】ここで、表示オブジェクト１０４をホール
ドしたかどうかは、表示オブジェクト１０４のエリアに
手の画像２００−１があり、かつ、手の画像のサイズ
が、予め学習した手のサイズとほぼ等しいかどうかで判
断することができる。すなわち、取り込んだ手の画像サ
イズが予め学習した手のサイズとがほぼ等しいとき、オ
ブジェクトをホールドしたと判断し、これが大きいと
き、オブジェクトをリリースしたと判断する。これは、
手が机上から頭上カメラに近づくと画像がぼけると同時
に手の画像サイズが大きくなることを利用しているもの
である。

【００４６】図３（ａ）において、右手２００−２は表
示オブジェクト１０４をホールドしていないため、この
動作は片手の操作と判断される。そして、この状態で右
手２００−２が回転せずに移動されると、前記対応付け
に従い、図３（ｂ）に示すように表示オブジェクト全体
を移動（１０４’−＞１０４）する。一方、図３（ｃ）
に示すように、左手２００−１の手首が回転すると、前
記対応付けに従い、表示オブジェクト全体を回転（１０
４’−＞１０４）する。

【００４７】次に、図４は、表示オブジェクトのファイ
リング動作を説明する図である。

【００４８】この図４（ａ）においても、図３と同様に
片手の操作と判断される。ここで、平面デイスプレイ１
０１には、ファイルＡとファイルＢのアイコンが予め表
示されており、さらに、ファイルＡは必要なページが開
かれているものとする。各ファイルは、補助メモリ等の
ファイル記憶装置やＦＡＸＩ／ＦやＬＡＮＩ／Ｆ等のフ
ァイル入出力装置に対応して設けられている。いま、フ
ァイルＡは補助メモリ４０３もしくは補助メモリ４０３
上に設けたディレクトリに対応しているものとする。

【００４９】さて、図４（ｂ）のように表示オブジェク
ト１０４を押さえ、手を移動すると前記対応付けに従い
オブジェクト１０４も移動（１０４’−＞１０４）す
る。しかし、表示オブジェクト１０４がファイルＡに重
なるとファイルＡの表示輝度が変化し、ファイル動作の
受け付けアクションを表示する。ここで、オブジェクト
のリリースが行われると、処理装置は、表示オブジェク
ト１０４に対応する文書データをファイルとして、ファ
イルＡに対応する補助メモリ４０３もしくはディレクト
リへの格納を行い、表示オブジェクト１０４の表示を消
去する。この後、格納された文書データファイルは、フ
ァイルＡの１ペ−ジをして表示される。

【００５０】次に、図５は、オブジェクトのＦＡＸ転送
動作を説明する図である。

【００５１】この図５（ａ）においても、図３と同様に
片手の操作と判断される。図５（ａ）では、予めＦＡＸ
送受信ファイルが平面デイスプレイ１０１に有り、しか
も、送り先が開かれているものとする。ＦＡＸ送受信フ
ァイル１１２には、送り先として選択できる相手の名称
と電話番号の組がペ−ジ毎に記憶されており、対応する
ペ−ジを開くことにより送り先を選択できるようになっ
ている。この例では（株）Ａ社鈴木様がＦＡＸの送り
先である。

【００５２】さて、図４と同様にオブジェクトをＦＡＸ
送受信ファイル１１２まで移動させると、ＦＡＸ送受信
ファイル１１２の表示輝度が変化し、受付可能であるこ
とを操作者に知らせる（図５ｂ）。ここで、表示オブジ
ェクト１０４がリリースされると、この送信先に自動的
にダイヤリングされ、表示オブジェクト１０４に対応す
る文書ファイルデータが送信される。

【００５３】図６は、ページめくりの動作を示してい
る。

【００５４】表示オブジェクトが両手で押さえられる
と、前記対応付けに従い、ページハンドリング動作と判
断する。そして、表示オブジェクトが両手で押さえられ
た状態で親指の振りが行われると、前記対応付けに従い
ペ−ジめくりが行われる。ここで、ペ−ジめくりとは、
複数のペ−ジから文書オブジェクトが構成されている場
合に、ペ−ジの一部をめくった状態で、順次、ペ−ジの
並びに従い異なるペ−ジの一部を表示していく動作であ
る。

【００５５】図６（ａ）〜（ｄ）に示すように左手の中
指の方向Ｄ１〜Ｄ２、親指と人差し指の中間くぼみ点座
標Ｐ１〜Ｐ４により、めくり個所とめくり量が指定され
る。図６（ａ）（ｂ）では、方向Ｄ１〜Ｄ２が左上り方
向のため、めくり個所は右上の個所になる。しかも、中
間くぼみ点座標Ｐが下に来るほどめくり度合いが大きく
なる。一方、図６（ｃ）（ｄ）では、方向Ｄ１〜Ｄ２が
右上り方向のため、めくり個所は右下の個所となる。以
上のように、方向Ｄと中間くぼみ点座標Ｐによりめくり
個所とめくり量が自由に変更することが出来る。

【００５６】さらに、ページめくり方向（順方向／逆方
向）は、親指の振りで判断する。本実施例では、手でオ
ブジェクトをホールドした後、親指を人差し指に対し広
げた状態が所定時間あったとき、以後親指の振りは順方
向とする。一方、親指と人差し指が合わせた状態が所定
時間あったとき、以後親指の振りは逆方向とする。逆方
向の振りが行われると、めくられているペ−ジのめくり
が、順次戻される。ここで、めくり方向を切り換えると
きは、一旦、指振りを中止した後、親指が人差し指に対
して開いた状態に所定時間停れば、以後の振りは順方
向、閉じた状態であれば以後の振りは逆方向に切り替わ
る。めくりのスピードは指振りの振り速度に比例する。

【００５７】なお、図６の例は左手でページめくり操作
をしている例であるが、これを右手で行なっても良い。
どちらの手で操作するかは押さえている手がオブジェク
トにどれだけかかっているかで判断する。また、表示オ
ブジェクトを両手でホールドした時の場所（４隅）でペ
ージめくり箇所やめくり度合いを決めるようにしてもよ
い。またページめくり方向も左手の指振りは順方向、右
手の指振りは逆方向とするようにしてもよい。

【００５８】なお、ページめくりは、手をリリース（表
示オブジェクトから手を離す）したとき、リセットされ
る。すなわち、ペ−ジがめくられていない状態に戻され
る。

【００５９】次に、図７にページの出し入れ動作を示
す。

【００６０】ページの出し入れはページめくり途中で目
的とするページが見つかった場合に行われる。図７
（ａ）のように、ページめくりの途中において、めくり
動作を行っていない、もう一方の手を同図（ｂ）のよう
に、めくり個所から引き抜くように移動すると、そのペ
ージのみが抜き出されて表示される（ページ出し）。逆
に、移動した手を戻せばページが元の位置に表示される
（ページ入れ）。

【００６１】次に、図８と図９はページバラシとページ
集めの動作を説明したものである。

【００６２】ページバラシの動作はページめくりがされ
ていない状態で、表示オブジェクトを押さえた両手のう
ち、一方の手を移動するとそれに連れてページをバラバ
ラに表示する（図８（ａ）（ｂ））動作である。移動距
離により、ページ間の距離が決定される。すなわち、移
動距離が小さいとページ間の重なりも大きい、一方、移
動距離が大きいとページ間の重なりが小さくバラバラに
なる。

【００６３】一方、図９はページ集めの動作を示してい
る。ペ−ジ集めは、バラバラになったページをかき集め
る動作である。

【００６４】ページの差し替えはページめくりの状態で
入れ替えたいページを、ペ−ジ出し入れ動作によって一
旦抜き出し、入れたいページまでめくり動作を行ない、
その箇所にページ出し入れ動作によってペ−ジを入れる
ことによって実現できる。また、ページバラシを行な
い、次に、前述したのと同様に移動動作を受付け、ペー
ジ間の並びを変えることによっても実現することができ
る。

【００６５】次に、表示オブジェクトにペン（図２の１
０９）で文字や図形を入力したり、入力した文字や図形
を編集する動作について説明する。

【００６６】図１０に、この動作を示す。

【００６７】図１０（ａ）は表示オブジェクトを移動後
（１０４’ーー＞１０４）、その表示オブジェクト１０
４にペン１０９で文字を入力している状況を示してい
る。図１０（ａ）では、既に”文字入”の部分までは、
入力された文字の認識が終了され表示されている。一
方”力”の部分は入力途中であるので、文字の認識が終
了されておらず筆跡が表示されている。”力”の入力が
終了すると、文字認識が開始され、認識結果に対応する
文字が、筆跡の表示に代えて表示される。また、認識結
果に対応する文字のコ−ドが、メモリ４０２の文書デー
タファイルの対応する位置に記述される。なお、各文字
の入力の終了は、文字切り出し（枠切り出しやタイムア
ウト切り出し等）処理により認識される。

【００６８】次に、既に入力されている文字や図形を編
集する場合には、図１０（ｂ）に示すように、まず、ペ
ン１０９を入力モードから編集モードに切り換える。こ
のモ−ドに切り替えは、たとえば、モ−ド切り替え用の
メニュー表示を行い、ペン入力によるメニュ−の指定に
応じて切り換えるようにしてもよいし、編集対象物とペ
ン入力のストロークの長さの関係に応じて切り換えるよ
うにしてもよく、また、ペン上に専用のスイッチ設け、
これを用いて切り換えるようにしてもよい。

【００６９】編集モ−ド時、編集対象物、ここでは”文
字入力”の文字列の上に、たとえば、Ｘ印の編集ジェス
チャが入力されると、この編集ジェスチャが認識され、
文字列”文字入力”の表示は、直ちに消去される。これ
は丁度、紙の上から赤ペン等で校正する方法と同様であ
る。また、このとき、メモリ４０２の文書データファイ
ル中の、対応する文字列”文字入力”のコ−ド列も消去
される。

【００７０】なお、文字入力や文字編集ばかりでなく、
図形入力、図形編集でも同様な動作により実現される。

【００７１】ところで、以上の説明では、表示オブジェ
クトが両手で押さえられている場合、前述したページハ
ンドリングの処理を行うモードに移行したが、利用者が
ペンを持ったときには、このモードへの移行を禁止する
ようにするのが好ましい。図１０に示したように、両手
を用いたペン入力操作を可能とするためである。このよ
うな制御は、監視カメラで手の動作をモニタし、ペンを
持ったことを検出し、これに応じて、ページハンドリン
グの処理を行うモ−ドへの移行を禁止するようにすれば
実現することができる。

【００７２】以下、このような動作を実現するＣＰＵ４
０１の各処理の内容について説明する。

【００７３】まず、画像取り込み処理５００について説
明する。

【００７４】図１１に、画像取込処理５００の処理手順
を示す。

【００７５】さて、図２に示す処理装置４００の画像入
力Ｉ／Ｆ４０６は頭上カメラから画像データをリアルタ
イムで取り込む動画メモリを備えている。画像取込処理
５００では、この動画メモリの内容を、一旦、処理装置
内のメモリ４０２に取り込む。

【００７６】すなわち、この処理では、まず、動画メモ
リへの画像取り込みを禁止（ステップ５１０）し、動画
メモリの内容を処理装置内のメモリ４０２に取り込む
（ステップ５２０）、そしてメモリ４０２への取り込み
が終了したら、動画メモリへの画像取り込みを許可する
（ステップ５３０）。動画メモリへの画像取り込みが許
可されると、画像入力Ｉ／Ｆ４０６は頭上カメラから画
像データを動画メモリにリアルタイムに取り込んでい
く。

【００７７】次に、手の動作理解処理６００について説
明する。

【００７８】この処理では、メモリ４０２に取り込まれ
た画像より、手の動作を認識し、これに応じた操作コマ
ンドとパラメータを求める。

【００７９】図１２に、手の動作理解処理６００の処理
手順を示す。

【００８０】図示するように、この処理では、まず、手
の画像のみを抽出するため、表示画像（表示オブジェク
ト）と画像取込処理５００でメモリ４０２に取り込んだ
画像との差分を抽出する（ステップ６０５）。

【００８１】次に、ステップ６０５で求めた差分画像
に、フィルタリング処理を施し、ノイズの除去を行なう
（ステップ６１０）。なお、フィルタリング処理は、こ
の目的で広く用いられている空間フィルタを用いて行う
ことができる。

【００８２】次に、手の画像が抽出できたら、手形状を
抽出する（ステップ６１５）。これにより、平面ディス
プレイ１０１上の手以外のものを除去する（手の形を認
識し、この形以外を除去））ことができる。また、求め
た手形状より、手の位置、手の移動方向や傾き等を検知
することができる。なお、このような、手形状の認識
は、たとえば、「非接触手形状認識とその応用」（岡村
泉、隅元昭、信学技報ＨＣ９３−６（１９９３−
０５）、電気情報通信学会）記載の技術を用いて実現す
ることができる。

【００８３】次に、手形状が認識できたら、手形状のサ
イズが、予め学習した手のサイズとほぼ等しいかどうか
を判定し、ほぼ等しければ、手の位置（平面デイスプレ
イ１０１に対する）が表示オブジェクトの上に重なって
いるかどうか判断する（ステップ６２０）。手形状のサ
イズが予め学習した手のサイズと異なっているか、表示
オブジェクトと重なっていなければ、表示オブジェクト
を離していると判断し、”オブジェクトリリース”モー
ドを設定する（ステップ６５５）。一方、手形状のサイ
ズが予め学習した手のサイズとほぼ等しく、表示オブジ
ェクトと重なっていれば、表示オブジェクトを押さえて
いると判断し”オブジェクトホールド”モードを設定す
る（ステップ６２５）。

【００８４】そして、”オブジェクトホールド”モード
になっているときには、次に、両手ともが表示オブジェ
クトを押さえているかどうか判定する（ステップ６３
０）。そして、この判定で片手のみのとき、”レイアウ
ト／ファイル”モードを設定し（ステップ６３５）、両
手ともあるとき、”ページハンドリング”モードを設定
する（ステップ６４５）。

【００８５】一方、レイアウト／ファイル”モードが設
定されたら、手形状の変化を追跡し、オブジェクトをホ
ールドしている一方の手の各種パラメータを演算する
（ステップ６４０）。パラメータとしては、手形状の移
動後の座標ならびに手首の傾き等を用いる。なお、手首
の傾きは図６に示した中指の方向Ｄより判断することが
できる。

【００８６】また、”ページハンドリング”モードが設
定されたら、手形状の変化を追跡し、オブジェクトをホ
ールドしている両方の手の各種パラメータを演算する
（ステップ６５０）。前述した片手のパラメータに付け
加え、親指の振り状態を検出する。親指の振り状態は親
指の先端の手のひらに対する相対的な位置の変化より求
めることができる。

【００８７】以上の処理により、モードの設定とパラメ
ータの演算が終了したら、これをオブジェクトハンドリ
ング処理７００が行われる。

【００８８】以下、このオブジェクトハンドリング処理
７００について説明する。

【００８９】図１３に、オブジェクトハンドリング処理
７００の処理手順を示す。

【００９０】この処理では、まず、最初に、手の動作理
解処理６００で設定されたモードを判定し、”レイアウ
ト／ファイル”、”ページハンドリング”、”リリー
ス”のいずれかを判定する（ステップ７０５）。

【００９１】そして、”レイアウト／ファイル”モード
のときには、まず、レイアウト処理を行なう（ステップ
７１０）。そして、オブジェクトの移動先が、ファイル
やＦＡＸの表示座標位置に重なったとき、ファイル処理
を行なう（ステップ７１５、７２０）。

【００９２】レイアウト処理では、図３に示したよう
に、手形状の移動先座標と傾きデータを元に、ホールド
された表示オブジェクトの移動表示や回転表示を行う。
なお、回転表示のとき、文字や図形等の内容そのもの全
体を回転表示し、あたかも紙を傾けたと同じように表示
する。また、レイアウト処理で表示オブジェクトの移動
や回転操作を行なったとき、机と紙の間で発生するよう
な摩擦音を議事的に発生し、音声Ｉ／Ｆｚ４１１を介し
てスピ−カ４１２より出力するようにしてもよい。これ
により臨場感を高めることができる。

【００９３】ファイル処理は、表示オブジェクトが重な
った表示が、補助メモリを表しているか外部への通信を
行うデバイス（ＦＡＸ等）を表しているかにより異なる
処理を行う。図４に示したように、補助メモリ上のディ
レクトリを表している場合は表示オブジェクトに対応す
る文書データファイルを補助メモリ４０３もしくは対応
するディレクトリに格納する。また、図５に示すように
ＦＡＸを表している場合にはＦＡＸＩ／Ｆ４０５を介し
て文書データファイルを送信する。また、ＬＡＮを表し
ている場合にはＬＡＮＩ／Ｆ４０４を介して、文書デー
タファイルを送信する。

【００９４】一方、ステップ７０５において、”ページ
ハンドリング”モードが判定されたときには、まず、親
指の振りが有るかどうかより、ページめくり動作中かど
うかを判定する（ステップ７２５）。もし、ページめく
り動作中であれば、図６、図７に示した”ページめくり
／ページ出し入れ”処理を行なう（ステップ７３０）。

【００９５】ページめくりでなければ、図８、図９に示
した”ページバラシ／ページ集め”処理を行なう（ステ
ップ７３５）。”ページバラシ／ページ集め”処理では
図８〜図９のように、移動された一方の手の座標の変化
と、固定された、もう一方の手の座標との関係からペー
ジバラシかページ集めかを処理する。なお、ページめく
りのとき、レイアウト処理と同様にめくり音（パラパラ
等）を生成し、音声Ｉ／Ｆｚ４１１を介してスピ−カ４
１２より出力するようにしてもよい。

【００９６】最後に、ステップ７０５で、”リリース”
モードが判定された場合には、リリース処理を行う（ス
テップ７４０）。リリース処理は、表示オブジェクトか
ら手が離された場合に行う処理で、たとえば、レイアウ
ト処理中にリリースする場合、ページハンドリング中に
一方の手をリリースして、その手でペン入力する場合等
に行う。リリース処理では、手の動作理解処理６００で
設定されたモ−ドをクリアし、手の動作理解処理６００
で、次のモ−ド設定とパラメ−タの算出が行われるまで
待機する。

【００９７】なお、ペン入力中はその手が表示オブジェ
クトの上に有っても、オブジェクトをホールドしている
と判断しないようにする。

【００９８】次に、座標取り込み処理８００について説
明する。

【００９９】図１４に座標取り込み処理８００、文字図
形認識処理９００、ジェスチャ認識処理１１００、ドキ
ュメント処理１０００、編集処理１２００の処理手順を
示す。

【０１００】図示するように、まず、座標取り込み処理
８００において、座標入力装置ＴＢの入力座標を取り込
み（ステップ８１０）、次に、この座標を表示オブジェ
クトのレイアウト情報（移動先、回転）により補正し、
表示オブジェクトの座標空間に変換する。これにより、
座標入力装置ＴＢ座標空間と表示オブジェクトの座標空
間のリンクが図られたことになる。そして、次に、入力
モードか編集モードかを判定する（ステップ８３０）。
ここでの判定は、ストローク長が所定値より長く、か
つ、ストロークの下に編集対象物が有った場合、編集モ
ード、長くなかった場合、入力モードとする。

【０１０１】さて、入力モードの場合には、文字図形認
識処理９００において、文字・図形の認識を実行する
（ステップ９００）。そして、ドキュメント処理１００
０は認識結果を、文書データファイルと表示オブジェク
トに反映させる（ステップ１０００）。一方、編集モー
ドでは、ジェスチャ認識処理１１００において、入力さ
れたストロークを編集ジェスチャとして認識する（ステ
ップ１１００）。編集処理１２００は、認識されたジェ
スチャに応じた編集処理を、文書データファイルと表示
オブジェクトに施す（ステップ１２００）。

【０１０２】以上、本発明に係る情報処理装置の一実施
例を説明した。

【０１０３】なお、以上の説明では、水平、垂直ディス
プレイとしてプロジェクタを用いたが、代わりにＣＲＴ
や液晶デイスプレイ等の他の表示装置を用いるようにし
てもよい。ただし、曲面であるＣＲＴの表示面に、透明
な座標入力装置を積層したばあい視差を生ずる点を考慮
するようにする。また、液晶デイスプレイパネルを用い
る場合には、単体では大型の表示面を構成することが困
難であるため、複数枚の液晶ディスプレイパネルを組み
合わせて大きな画面を構成するようにする。

【０１０４】また、表示オブジェクトの手のホールド、
リリースを初期に入力した手の画像サイズと比較して行
なったが、平面デイスプレイのパネル面に感圧センサを
張り付け、このセンサの検知結果に応じて手のホール
ド、リリースを判断するようにしてもよい。

【０１０５】すなわち、感圧センサーが手のひらを平面
ディスプレイ上に置かれたかを検知し、平面ディスプレ
イ上に置かれていない場合には、常にリリ−ス状態にあ
ると判定するようにする。なお、感圧センサは複数箇所
を同時に検知できるものが望ましい。

【０１０６】または、感圧センサを用いる代わりに、手
のひらを平面デイスプレイ上の水平面をカメラもしくは
光センサで検知し、これによって表示オブジェクトの手
のホールド、リリースを判定するようにしてもよい。

【０１０７】また、以上、補助メモリへの格納、ＦＡＸ
を用いた送信について説明したが、同様な手法によりＬ
ＡＮ上に接続されたプリントサーバやファイルサーバ等
を利用可能としてもよい。この場合は、これらのデバイ
スも平面デイスプレイにこのデバイスを表すアイコンを
表示し、利用者が使用可能とするようにする。

【０１０８】また、本実施例では、手の動作を頭上カメ
ラにより監視したが、これに代えて、頭上に照明を設
け、平面デイスプレイの下（背面側）にカメラを置くこ
とにより、手の影絵を画監視することにより手の動作を
監視するようにしてもよい。このようにすることによ
り、頭上のカメラの監視による心理的な圧迫を無くすこ
とができる。

【０１０９】また、平面デイスプレイを普通の机と同じ
く水平に設置することで説明したが、これを垂直に設置
し、黒板と同様な使い方を可能としてもよい。このよう
な配置は、プレゼンテーションを行う場合等に有用であ
る。

【０１１０】以上のように、本発明の実施例によれば、
平面デイスプレイ上に表示された表示オブジェクトと操
作者の手を頭上カメラで監視して手の動作を理解し、そ
れに応じて表示オブジェクトをハンドリングできるた
め、あたかも、実際の紙を操作しているがごとく文書デ
ータを操作できるマンマシンインタフェースを提供する
ことが出来る。

【０１１１】また、手の動作理解を片手か両手かでハン
ドリング内容を区別（レイアウト・ファイル、ページハ
ンドリング）するため、操作方法を簡単に修得すること
ができる。また、文書データファイルの格納、送信につ
いても、必要な表示の上に表示オブジェクトを重ねる操
作を行なうだけで実現することができる。ページハンド
リングについても、同様に手の移動・回転と指振りを組
み合わせることで簡単に行なうことが出来る。

【０１１２】また、疑似効果音を発生することにより、
オブジェクトハンドリングの臨場感を高めることができ
る。

【０１１３】また、水平設置の平面デイスプレイ以外に
垂直の前面デイスプレイがあるため、この前面デイスプ
レイに、オフイスのレイアウト図や組織図などの抽象画
を、またスケジュール表や業務成績表など掲示版的なも
のを表示することができ、オフイスの業務効率を高める
ことができる。

【０１１４】また、ペン入力環境が存在するため、必要
に応じて、文字や図形入力が容易に出来る。また、ペン
によるジェスチャコマンドを用いて、簡単に編集を行う
ことが出来る。

【０１１５】

【発明の効果】以上のように、本発明によれば、表示さ
れたオブジェクトを、あたかも実際に存在するものの如
く、人間の感覚に合致した操作方法により統合的に操作
することのできる情報処理装置を提供することができ
る。

【図面の簡単な説明】

【図１】本発明の実施例に係る情報処理装置の外観を示
す説明図である。

【図２】本発明の実施例に係る情報処理装置の構成を示
すブロック図である。

【図３】本発明の実施例に係る情報処理装置の動作を示
す説明図である。

【図４】本発明の実施例に係る情報処理装置の動作を示
す説明図である。

【図５】本発明の実施例に係る情報処理装置の動作を示
す説明図である。

【図６】本発明の実施例に係る情報処理装置の動作を示
す説明図である。

【図７】本発明の実施例に係る情報処理装置の動作を示
す説明図である。

【図８】本発明の実施例に係る情報処理装置の動作を示
す説明図である。

【図９】本発明の実施例に係る情報処理装置の動作を示
す説明図である。

【図１０】本発明の実施例に係る情報処理装置の動作を
示す説明図である。

【図１１】本発明の実施例に係る画像取り込み処理の処
理手順を示すフロ−チャ−トである。

【図１２】本発明の実施例に係る手の動作理解処理の処
理手順を示すフロ−チャ−トである。

【図１３】本発明の実施例に係るオブジェクトハンドリ
ング処理の処理手順を示すフロ−チャ−トである。

【図１４】本発明の実施例において文字・図形の入力、
編集を行う処理の処理手順を示すフロ−チャ−トであ
る。

【符号の説明】

１００電子机１０１平面デイスプレイ１０２前面デイスプレイ１０３、１０４表示オブジェクト２００操作者３００頭上カメラ４００処理装置５００画像取込処理６００手の動作理解処理７００オブジェクトハンドリング処理。

───────────────────────────────────────────────────── フロントページの続き (72)発明者正嶋博茨城県日立市大みか町七丁目１番１号株式会社日立製作所日立研究所内

Claims

【特許請求の範囲】

【請求項１】デイスプレイと、ディスプレイの表示面上
の映像を撮影するカメラと、前記ディスプレイとカメラ
に接続した処理装置とを備え、前記処理装置は、処理する文書データの表す文書を前記
ディスプレイに表示する手段と、前記カメラが撮影した
映像に含まれる操作者の手と当該手の位置および動作を
認識する手段と、認識した手の位置より、操作者の手が
前記ディスプレイ表示面上の前記文書の表示位置に置か
れたかどうかを判定する手段と、手が前記文書の表示位
置に置かれた場合に、認識した手と手の位置より、片手
が前記文書の表示位置に置かれているのか、両手が前記
文書の表示位置に置かれているのかを判定する手段と、
手が前記文書の表示位置に置かれた場合に、その後の認
識した操作者の手の動作と、前記文書の表示位置に置か
れているのが片手か両手かの判定に応じて、異なる操作
を、前記手が表示位置に置かれている文書の表示に施す
表示操作手段とを有することを特徴とする情報処理装
置。
【請求項２】請求項１記載の情報処理装置であって、さらに、操作者より座標の入力を受付ける、前記ディス
プレイ表示面上に積層された座標入力装置を備え、前記処理装置は、前記座標入力装置が受付けた座標が前
記文書の表示位置に対応する位置であった場合に、前記
座標入力装置が受付けた座標の軌跡より操作者が描いた
文字もしくは図形の種別を認識する手段と、認識した種
別の文字もしくは図形を、前記座標入力装置が受付けた
座標に対応する表示位置に表示されている文書中に入力
し、当該文書の表示を、認識した種別の文字もしくは図
形を入力した文書の表示に更新する手段とを有すること
を特徴とする情報処理装置。
【請求項３】請求項１または２記載の情報処理装置であ
って、前記文書データは、複数のペ−ジを有する文書であっ
て、前記処理装置の表示操作手段は、手が前記文書の表示位置に置かれた場合に、前記文書の
表示位置に置かれているのが両手である場合は、当該文
書のペ−ジの表示に関する操作を、その後の認識した操
作者の手の動作に応じて行い、前記文書の表示位置に置
かれているのが片手である場合には、当該文書全体の表
示に対する操作を、その後の認識した操作者の手の動作
に応じて行うことを特徴とする情報処理装置
【請求項４】デイスプレイと、ディスプレイの表示面上
の映像を撮影するカメラと、前記ディスプレイとカメラ
に接続した処理装置とを備え、前記処理装置は、処理する文書データの表す複数ペ−ジ
を含む文書を前記ディスプレイに表示する手段と、前記
カメラが撮影した映像に含まれる操作者の手と当該手の
位置および動作を認識する手段と、認識した手の位置よ
り、操作者の手が前記ディスプレイ表示面上の前記文書
の表示位置に置かれたかどうかを判定する手段と、手が
前記文書の表示位置に置かれた場合に、その後の認識し
た操作者の手の動作が、親指を振る動作であった場合
に、前記手が表示位置に置かれている文書の各ペ−ジの
一部もしくは全部を、順次、表示していく操作を、当該
文書の表示に施す表示操作手段とを有することを特徴と
する情報処理装置。
【請求項５】請求項１、２、３もしくは４記載の情報処
理装置であって、前記処理装置は、さらに、前記表示操作手段が表示に施
す操作に応じて定まる効果音を出力する手段を有するこ
とを特徴とする情報処理装置。