JP3378604B2 - 情報処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、情報処理装置の操作性
を改善するユーザインタフェースに関する。特に、大画
面入力表示一体型ディスプレイ装置を有する情報処理装
置、または複数のディスプレイ装置を有する情報処理装
置の操作性を向上させるユーザインタフェースに関す
る。

【０００２】

【従来の技術】机全面を表示領域および入力領域として
用いる情報処理システムの例として、ピエール・ウェル
ナー(Pierre Wellner)による論文“The Digital Desk C
alculator: Tangible Manipulation on a Desk Top Dis
play", Proceedings of UIST'91, ACM, 1991 に記載の
システムがある。このシステムは、机の上方にコンピュ
ータ制御されたカメラとプロジェクタとを備えている。
プロジェクタは表示用、カメラは入力用に用いられる。
このシステムでは、例えば、机上の紙の文書をカメラで
読み込んで電子的な文書に変換し、これを机上にプロジ
ェクタで表示する、あるいは電子文書をプリンタで印刷
して紙の文書に変換する等の機能を備えた“デジタルデ
スク”を構成している。また、机上での利用者の指によ
る机上の位置や物をポインティングするユーザインタフ
ェースを開示している。さらに、消ゴムなどの現実の小
物を用いて、それと対応付けられた処理が行なえること
を示唆している。

【０００３】さらに、ウィリアム・ニューマン(william
Newman)およびピエール・ウェルナー(Pierre Wellner)に
よる論文“A Desk Supporting Computer-based Interac
tionwith Paper Documents", 1992, ACMには、指による
指示よりさらに高精度の指示が行えるタブレットを机上
の一部に載置し、このタブレット上をペンで指示するシ
ステムを開示している。

【０００４】また、複数のディスプレイを有する情報処
理装置として、日経MAC Macintoshビジネス活用のすべ
て、p59、1992.11 に記載のコンセプト提示がある。こ
のコンセプト提示では、入力表示一体型ディスプレイ装
置を含む複数のディスプレイを有する情報処理装置が提
示されている。本コンセプト提示では、寝かせて使用す
る入力表示一体型ディスプレイ装置と、立てて使用する
ディスプレイ装置を組み合せている。両者の使い分けに
ついては明記されていない。

【０００５】また、特開平４−２４６７２１号公報に
は、複数のディスプレイ装置を接続できるパーソナルコ
ンピュータの装置構成について提示されている。この例
では、装置の構成方法についてのみ言及されており、複
数接続されたディスプレイの使い方については言及して
いない。

【０００６】

【発明が解決しようとする課題】上記２件の論文に開示
されたデジタルデスクのような従来技術において、その
ユーザインタフェースには、大画面入力表示一体型ディ
スプレイ装置、または複数のディスプレイ装置を使いこ
なすための配慮がなされていなかった。

【０００７】すなわち、上記従来技術では、利用者の手
の動きや現実の小物の動きを検出し、ユーザインタフェ
ースとして利用するという考えは提示されているが、利
用者の位置により表示対象（以下、オブジェクトととい
う）の表示位置を決定したり、机上の障害物を避けてオ
ブジェクトの表示位置を決定するという考えは提示され
ていない。つまり、入力表示一体型ディスプレイ装置が
机全体に及ぶほどサイズが大きくなった場合に新たに生
じると考えられる問題について考慮が不十分であるか、
全く考慮されていない。

【０００８】例えば、大画面入力表示一体型ディスプレ
イ装置の問題点とは、次のようなものである。例えば４
０インチ、すなわち対角約１ｍのディスプレイ装置が手
元に水平に置いてある場合、従来のＣＲＴによるディス
プレイ装置のように少し離れたところから見る場合とは
異なり、オブジェクトを表示する位置と利用者の座って
いる位置との関係によって、そのオブジェクトの表示が
見えにくい場合が生じたり、利用者から離れた位置では
入力操作に支障が出たりするおそれがある。

【０００９】また、このような大型の入力表示一体型デ
ィスプレイ装置は机上の大部分を占めるため、利用者は
入力表示一体型ディスプレイ装置の上を作業スペースと
して使用すると考えられる。例えば、入力表示一体型デ
ィスプレイ装置の上に、本やノートなどの参考資料など
をのせて作業をすることもあるであろう。したがって、
これらの障害物によって、表示されているオブジェクト
が隠されてしまうおそれがある。

【００１０】このように、上記従来技術では、水平に置
かれた大画面入力表示一体型ディスプレイ装置におい
て、利用者から離れた位置にオブジェクトが提示された
場合は、利用者がオブジェクト表示位置に合わせて身体
を移動するか、オブジェクトを見易い位置に移動するな
どの操作が必要であり、利用者に負荷を強いることにな
ってしまう。

【００１１】したがって、本発明の目的は、利用者の状
態や机上の状態等に応じて、オブジェクトを提示する位
置を自動的に決定することができる入力表示一体型ディ
スプレイ装置を提供することにある。

【００１２】また、上記従来技術では、大画面入力表示
一体型ディスプレイ装置の他に、従来のＣＲＴによるデ
ィスプレイ装置のようにほぼ垂直に立ててあるディスプ
レイ装置をも有する情報処理装置での操作性について
も、考慮が不十分であるか、全く考慮されていない。

【００１３】このような情報処理装置では、利用者にオ
ブジェクトを提示する時に、入力表示一体型ディスプレ
イ装置に表示するのか、垂直に立ててあるディスプレイ
装置に表示するのかを何等かの方法で決定しなければな
らない。この場合、利用者がキーボードを目の前に置い
ているのに、入力表示一体型ディスプレイ装置に表示し
たり、利用者がペンを持っているのに垂直に立ててある
ディスプレイに表示したりしては、利用者にとって非常
に使いにくいシステムとなってしまう。

【００１４】本発明の他の目的は、大画面入力表示一体
型ディスプレイ装置および複数のディスプレイ装置を有
する情報処理装置において、操作性の向上のために利用
者の状態や机上の状態に合わせて情報処理装置の動作を
自動的に切り替えることができる情報処理装置を提供す
ることにある。

【００１５】

【課題を解決するための手段】本発明による情報処理装
置は、表示領域内の複数の位置に選択的に表示対象を表
示可能なディスプレイ、および該ディスプレイの表示面
上に重ねて入力面を有するペン座標入力装置からなり、
入力表示面がほぼ水平に配置される入力表示一体型ディ
スプレイ装置と、利用者に対して表示対象を前記ディス
プレイの表示領域内に提示する際に、前記利用者の状
態、前記入力表示面上の状態および前記ディスプレイの
表示状態のうちの少なくとも一つに基づいて、当該表示
対象を表示する位置を自動的に決定する表示位置決定手
段とを備えたことを特徴とする。

【００１６】前記表示位置決定手段は、利用者位置に応
じて、その利用者位置に合わせるように、または、入力
表示面上に載置された物体の位置を避けるように、ある
いは、既に表示された表示対象の表示位置を避けるよう
に、新たな表示対象の表示位置を決定する。

【００１７】前記入力表示一体型ディスプレイ装置に対
して、表示画面が直立した他のディスプレイ装置を備え
る場合、利用者が前記ペン座標入力装置のペンを持って
いるか否かによって、あるいは利用者の前にキーボード
が置かれているか否かによって、表示対象を前記入力表
示一体型ディスプレイ装置に表示するか、あるいは前記
他のディスプレイ装置に表示するかを自動的に決定す
る。

【００１８】さらに、水平の表示面上に載置された物体
を検出する方法として、表示面上を撮像手段により撮像
する際、前記ディスプレイにおける表示対象の表示を一
時的に停止し、該表示停止時に撮像された画像に基づい
て、表示面上に載置された物体を検出する表示面上物体
の検出方法を提供する。

【００１９】

【作用】本発明の情報処理装置では、ほぼ水平の入力表
示面において利用者に表示対象（情報）を提示する時
に、利用者の状態、入力表示面上の状態およびディスプ
レイの表示状態の少なくとも一つをもとに情報を提示す
る位置を自動的に決定する。

【００２０】また、水平の入力表示面に加え、直立した
表示面をさらに有する場合には、利用者が座標入力のた
めのペンを手にしているのか、あるいはキーボードを操
作しようとしているのかを検出し、いずれかによって、
表示対象表示のために水平の表示面を利用するか、ある
いは直立した表示面を利用するかを自動的に切り換え
る。

【００２１】このように、本発明によれば、利用者の状
態等に対応して、利用者から利用しやすい位置に表示対
象を提示することができる。その結果、利用者がその都
度、表示位置を指定する必要がなくなり、操作性のよい
情報処理装置を提供することが可能になる。

【００２２】

【実施例】図１は、本発明の一実施例である情報処理装
置の機能ブロック図である。ディスプレイ部は、机１０
１とパーティション１０２を組み合せて構成されてい
る。利用者は、椅子１０３に座って本情報処理装置を操
作する。利用者が情報を入力または操作するために、ペ
ン１０４、キーボード１０５、マウス１０６が使用でき
る。

【００２３】図２に、机１０１の上面の断面、およびパ
ーティション１０２の上部の断面を示す。机１０１の上
面には机１０１のほぼ全領域を表示領域とする平面ディ
スプレイ１１１が内蔵されており、その表面には透明な
座標入力装置１１２が装着されている。座標入力装置１
１２は、ペン１０４（図１）の座標を読み取る。直立し
たパーティション１０２の表面には、平面ディスプレイ
１２１が埋め込まれている。平面ディスプレイ１２１の
代わりに、大画面ＣＲＴを用いることも可能である。以
下、ディスプレイ１１１を水平ディスプレイと呼び、デ
ィスプレイ１２１を垂直ディスプレイと呼ぶ。

【００２４】図１に戻り、机１０１の上方には、カメラ
１０７が設置されており、机上の状態を撮影している。
カメラ１０７からの映像は、画像処理部１５１に入力さ
れる。画像処理部１５１は、机上の映像から机上に載せ
られた物体の位置を検出したり、利用者の手の動きを認
識したりする。認識した結果は机上監視部１５３へ送ら
れる。机上監視部１５３は、利用者が情報処理装置に対
して何等かの処理を実行したことを検出したら、その情
報を入力処理部１５５に報告する。例えば、利用者が指
で何かを指示したということを検出したら、それに関す
る情報を入力処理部１５５に報告する。また、机上監視
部１５３は、机上に置かれた物体の位置を常に記憶して
おり、他の機能ブロックからの問い合わせに対して、机
上の状態を報告する機能を持つ。

【００２５】机上監視部１５３が保持する情報は、例え
ば図１０に示すようなテーブルになっている。このテー
ブル１５３１の左欄の各項目は各情報の意味を示し、右
欄はその情報の状態（または値）の保持の仕方を示して
いる。本実施例では、これらの情報として、「利用者の
右手の状態」、「利用者の左手の状態」、「利用者の右
手の座標」、「利用者の左手の座標」、「ペン１０４の
座標」、「キーボード１０５の座標」、「マウス１０６
の座標」、「利用者がペンを使っているか」、「利用者
がキーボードを使っているか」、「机上の障害物の
数」、「机上で障害物が占める領域」が含まれる。

【００２６】利用者の手の状態は、例えば机上にない
（Ｎ）、何かを指している（Ｐ）、これら以外（Ｃ）の
３つの状態に分けて保持している。各種座標は、ディス
プレイ１１１上の表示系の座標を示す２つの整数値で保
持する。また、利用者がペンを使っているか、利用者が
キーボードを使っているか、の情報は、ＹＥＳまたはＮ
Ｏの２つの状態で保持する。机上の障害物の数は、個数
を示す整数値で保持する。机上で障害物が占める領域
は、各障害物を内包する矩形領域の集合として保持す
る。

【００２７】なお、図１０に示した情報およびその状態
の持ち方は、単なる例示であり、本発明はこれらに制限
されるものではない。

【００２８】パーティション１０２の上方には、カメラ
１０８が設置されており、利用者の状態を撮影してい
る。カメラ１０８からの映像は、画像処理部１５２に入
力される。画像処理部１５２は、利用者の映像から利用
者の位置や向きを検出し、その結果を利用者監視部１５
４に送る。利用者監視部１５４は、利用者の状態を常に
記憶しており、他の機能ブロックからの問い合わせに対
して、利用者の状態を報告する機能を持つ。

【００２９】図１１に、利用者監視部１５４が保持する
情報のテーブルを示す。このテーブル１５４１は、図１
０のテーブル１５３１と同様、左欄に情報項目、右欄に
その状態を保持する。この情報として、本実施例では、
「利用者がいるか」、「利用者の頭部の位置」、「利用
者の顔の向き」を記憶している。

【００３０】利用者がいるかどうかは、ＹＥＳまたはＮ
Ｏの２つの状態で保持し、利用者の頭部の位置は、机の
幅に対し左から何％の位置にあるかで保持し、利用者の
顔の向きは、正面から何度右に傾いているかで保持す
る。

【００３１】入力処理部１５５は、利用者の入力、すな
わち、キーボード１０５、マウス１０６、座標入力装置
１１２からの信号、および机上監視部１５３からの入力
を受け取り、それに対応して実行すべき処理手続きを決
定する。起動すべき処理手続きを決定する際には、利用
者からの入力の種類や位置情報の他に、画面に表示され
ているオブジェクト（文書イメージ、アイコン、表、グ
ラフ等）の情報が考慮される。この情報は、表示内容保
持部１６１に記憶されている。表示内容保持部１６１
は、ディスプレイを特定する情報と座標を与えられたと
きに、そこに表示されているオブジェクトの情報を返答
することができる。また、表示内容保持部１６１は、表
示の空き領域を見つけるための情報を提供するため、表
示されているオブジェクトが画面上で占める領域を、矩
形領域の集合として保持しているものとする。

【００３２】入力処理部１５５が入力に対して選択すべ
き処理手続きは、入力の種類と、入力が起った位置に表
示されていたオブジェクトの属性によって決定できる。
例えば、利用者がペン１０４でディスプレイ１１１上の
ある位置を指示したとすると、それは座標入力装置１１
２（図２）によって検出され、入力処理部１５５に報告
される。入力処理部１５５は、ディスプレイ１１１上で
利用者が指示した位置に何が表示されているのかを表示
内容保持部１６１へ問い合わせ、その結果と、利用者が
ペン１０４で指示したという事実をもとに、起動すべき
処理手続きを決定する。例えば、利用者が指示した位置
に、文書のページイメージが表示されているような場合
は、その文書に編集を加えるような処理手続きが選択さ
れる。

【００３３】このように、オブジェクトの種類と入力の
種類から、起動すべき処理を決定するために、入力処理
部１５５は入力処理定義データ１５６を参照する。入力
処理定義データ１５６の内容は、情報処理装置が扱うこ
とができる全てのオブジェクトの種類に関する、入力の
種類と起動すべき処理の対応表である。すなわち、図１
６に示すように、各オブジェクトについて、個々の入力
指示の種類に基づいて実行すべき処理手続きを規定して
いる。図の例では、文書アイコンのオブジェクトに関し
て、ダブルクリックの如きマウスボタン押下の操作があ
れば、これに応じてワードプロセッサ（ワープロ）を起
動することが定められている。また、文書アイコンに対
してペンの押下移動があれば、これに応じてそのアイコ
ンの移動が行われるよう規定されている。

【００３４】入力処理部１５５は、決定した処理手続き
を、処理手続き実行部１５７に通知する。処理手続き実
行部１５７は、入力処理部１５５により指定された処理
手続きを、処理手続き群１５８から引きだして実行す
る。

【００３５】処理手続き実行部１５７は、実行している
処理手続きの内容に従い、あらかじめ定められた何等か
の処理を進める。以下では、その処理の最中に、利用者
に何等かのオブジェクトを提示する必要が生じた場合に
ついて説明する。

【００３６】処理手続き実行部１５７は、利用者に提示
しようとするオブジェクトの内容を把握しているので、
それが表示されたときにどれだけの大きさになるかを計
算できる。処理手続き実行部１５７は、表示位置を決定
するために、オブジェクト表示領域の大きさ情報を表示
位置決定部１５９に渡す。

【００３７】表示位置決定部１５９は、机上監視部１５
３、利用者監視部１５４、表示内容保持部１６１に対し
て、必要な情報を問い合わせ、その情報をもとに表示位
置を決定する。すなわち、利用者の前の見易いあるいは
操作のしやすい位置（水平ディスプレイ１１１上に表示
する場合には机上に障害物がなく、オブジェクトを表示
するための空き領域がある場所）が理想的な表示位置で
ある。また、机上監視部１５３が、利用者がキーボード
１０５を使おうとしていると報告した場合は、キーボー
ド入力が容易であるように、水平ディスプレイ１１１で
はなく、垂直ディスプレイ１２１にオブジェクトを表示
する必要がある。また、机上監視部１５３が、利用者が
ペン１０４を使おうとしていると報告した場合は、ペン
入力で使いやすいように、直立ディスプレイ１２１でな
く、水平ディスプレイ１１１にオブジェクトを表示す
る。しかし、全ての条件を常に同時に満たせるとは限ら
ない。したがって、どの条件を優先するかを決めるため
の情報が必要である。その優先度は、自動配置定義デー
タ１６０として用意されている。この自動配置定義デー
タ１６０の具体例については後述する。

【００３８】表示位置決定部１５９は、決定した表示位
置を処理手続きに返答する。処理手続き実行部１５７
は、その表示位置にしたがい、表示制御部１６２へオブ
ジェクトを表示するのための描画指令を発行する。表示
制御部１６２は、受け取った描画指令にしたがい、水平
ディスプレイ１１１または垂直ディスプレイ１２１に描
画を行う。また、処理手続き実行部１５７は、表示した
オブジェクトを表示内容保持部１６１に報告し、表示内
容保持部１６１はそれにしたがい保持している情報を更
新する。

【００３９】図１に示すような大画面の平面ディスプレ
イの代りに、例えば、“The Digital Desk Calculator:
Tangible Manipulation on a Desk Top Display", Pro
ceedings of UIST'91, ACM, 1991 に記載されるよう
な、情報処理装置の画面を投射型ディスプレイを用いて
机上に投影する方法を用いてもよい。この様子を図３に
示す。情報処理装置の出力は、映像投射装置３０２によ
り机３０１の上に表示される。この場合、机３０１に
は、ペン座標を入力するための座標入力装置は内蔵され
ているが、ディスプレイは内蔵されていない。

【００４０】図４に、情報処理装置全体のハードウェア
ブロック図を示す。中央情報処理装置４０１は、入力機
器インタフェース４０２、ＣＰＵ４０３、主記憶４０
４、ディスプレイメモリ（ＤＭ）４０５および４０６、
ディスプレイインタフェース（ＤＩＦ）４０７および４
０８、二次記憶インタフェース（ＳＩＦ）４０９、二次
記憶装置４１０、画像処理装置（ＧＰ）４１１および４
１３、画像メモリ（ＩＭ）４１２および４１４等からな
る。画像処理装置４１１はカメラ１０７に接続され、画
像処理装置４１３はカメラ１０８に接続される。

【００４１】図１で説明した、机上監視部１５３、利用
者監視部１５４、入力処理部１５５、処理手続き実行部
１５７、表示位置決定部１５９、表示内容保持部１６
１、表示制御部１６２の一部、は全て主記憶４０４に格
納されたプログラムとして実現され、ＣＰＵ４０３によ
って実行される。また、入力処理定義データ１５６、処
理手続き群１５８、自動配置定義データ１６０は、主記
憶４０４または二次記憶装置４１０に格納され、上記プ
ログラムにより参照または更新される。

【００４２】中央情報処理装置４０１は、入力機器イン
タフェース４０２を介し、各入力機器、すなわち座標入
力装置１１２、キーボード１０５、マウス１０６からの
信号を取り込む。ＣＰＵ４０３は、主記憶４０４に格納
されているプログラムの内容に従い、各入力機器からの
入力を処理し、その結果として、主記憶４０４の内容を
参照または変更したり、ディスプレイメモリ４０５およ
び４０６の内容を参照または変更したり、二次記憶イン
タフェース４０９を介して二次記憶装置４１０に格納さ
れているデータを参照または更新したりする。ディスプ
レイメモリ４０５の内容は、ディスプレイインタフェー
ス４０７により、ディスプレイ１１１に出力される。同
様に、ディスプレイメモリ４０６の内容は、ディスプレ
イインタフェース４０８により、ディスプレイ１２１に
出力される。

【００４３】図１で説明した、画像処理部１５１は、画
像処理装置４１１により実現される。カメラ１０７で撮
影した机上の様子は、画像処理装置４１１に入力され、
画像メモリ４１２に格納される。ここで、机上の物体を
認識するためには、カメラ１０７で撮影した映像にディ
スプレイ１１１の表示内容が含まれていないほうが都合
がよい。ディスプレイ１１１の表示内容が含まれていな
ければ、表示内容と机上の物体を識別する処理が不要に
なるからである。そのことは、カメラ１０７が撮像する
タイミングに合わせて、ディスプレイ１１１の表示を一
時的に消すようにすれば実現できる。取り込んだ映像を
処理する時間に較べ撮像時間は極めて短いので、撮像の
間の表示が消えていても、利用者に違和感を与えること
はない。カメラ１０７が撮像するタイミングは画像処理
装置４１１が制御しているので、上記の処理は、画像処
理装置４１１とディスプレイインタフェース４０７が同
期をとって行うことができる。

【００４４】机上の物だけの映像が得られたら、画像処
理装置４１１は、例えば、REAL-TIME DETECTION OF POI
NTING ACTION FOR A GLOVE-FREE INTERFACE, M.FUKUMOT
O ET.AL, MVA'92 IAPR Workshop on Machine Vision Ap
plications, 1992 に記載の方法などにより机上での利
用者の手の動きを検出したり、例えば「視覚パターン認
識技術」、pp117〜128、（株）トリケップス、1983 に
記載の方法などにより、机上の物体の属性と動きを認識
したりする。

【００４５】図１で説明した、画像処理部１５２は、画
像処理装置４１３により実現される。カメラ１０７の場
合と同様に、カメラ１０８で撮影された利用者の様子
は、画像処理装置４１３に入力され、画像メモリ４１４
に格納される。画像処理装置４１３は、例えば、「画像
処理アルゴリズムの最新動向」、pp128〜144、（株）新
技術コミュニケーションズ、1986に記載の方法などによ
り、利用者の位置や身体の向きや動きを認識する。ま
た、ヘッドリーダ：画像による頭部動作の実時間検出、
電子情報通信学会論文誌 D-II Vol.J74-D-II No.3 pp.3
98-406、1991に記載されている方法などにより頭部の動
きを検出することによっても利用者の位置を推定するこ
とができる。

【００４６】図１２に、本実施例の情報処理装置を使用
している状況における机回りの様子を示す。便宜上、利
用者は図示省略している。垂直ディスプレイ１２１に
は、グラフを示すウィンドウＡ０１、ファイル構成の木
構造を示すウィンドウＡ０２、時計Ａ０３が表示されて
いる。水平ディスプレイ１１１には、文書のページイメ
ージＡ０４が表示されている。

【００４７】また、机１０１の上、すなわち水平ディス
プレイ１１１の上には、実際の物体として、花瓶Ａ１
１、ノートＡ１２、ペン１０４、キーボード１０５、マ
ウス１０６が置かれている。このように、大画面入力表
示一体型ディスプレイを用いる場合は、ディスプレイが
什器としての机の上の作業スペースを兼ねているので、
上記のような種々の物が載置されることも考慮しなけれ
ばならない。

【００４８】図５は、利用者が二次記憶装置４１０に格
納されている電子的な文書を開くときの操作の一例を示
している。この場合、文書は垂直ディスプレイ１２１に
例えばアイコン５０１のような状態で表示されているも
のとする。利用者は、机１０１の上に置いてあるマウス
１０６により、垂直ディスプレイ１２１または水平ディ
スプレイ１１１に表示されているポインタ５０２を動か
し、ポインタ５０２がアイコン５０１の上に重なってい
るときに、マウス１０６のボタンを例えば２回続けて押
し下げる（ダブルクリックする）ことで、文書をページ
イメージの状態に変更してその内容を見ることができる
ものとする。ポインタ５０２は、ディスプレイ１１１と
ディスプレイ１２１に共通であり、それらの境界を意識
せずに、マウスの動きに対応して移動できるものとす
る。

【００４９】この場合の情報処理装置の動作を、図１の
機能ブロックの動作で説明する。入力処理部１５５は、
利用者がマウス１０６のボタンを操作したことと、その
ときのポインタ５０２の位置を知ることができるので、
まずポインタ５０２の位置に何が表示されているかを表
示内容保持部１６１に問い合わせる。表示内容保持部１
６１は、その位置には文書ファイルを示すアイコンがあ
ると返答するので、入力処理部１５５は、入力処理定義
データ１５６を参照し、文書を開くための処理手続きを
選択し、それを処理手続き実行部１５７に通知する。処
理手続き実行部１５７は、指定された処理手続きを処理
手続き群１５８から引きだして実行を開始する。文書の
表示は、処理手続き実行部１５７が、選択した処理手続
きの内容に従い実行する。

【００５０】処理手続き実行部１５７が文書の表示位置
を得るためには、表示位置決定部１５９の機能が使われ
る。以下で、表示位置決定部１５９がどのように表示位
置を決定するかを説明する。

【００５１】まず、表示位置決定部１５９は、オブジェ
クトの表示を水平ディスプレイ１１１に出力すべきなの
か、垂直ディスプレイ１２１に出力すべきなのかを決定
する。そのためには、例えば、利用者がキーボード１０
５を使っているかどうかの情報を利用できる。その情報
は、前述のように、机上監視部１５３がテーブル１５３
１（図１０）に保持している。表示位置決定部１５９
は、利用者がキーボード１０５を使っているかどうかを
机上管理部１５問い合わせ、利用者がキーボード１０５
を使っている場合は、オブジェクトの表示を垂直ディス
プレイ１２１に出力すべきと判断し、そうでない場合
は、オブジェクトの表示を水平ディスプレイ１１１に出
力すべきと判断する。

【００５２】オブジェクトを表示するディスプレイが決
まったら、表示位置決定部１５９は、そのディスプレイ
の表示領域内のどこにオブジェクトを表示するかを決定
する。以下、オブジェクトの表示を水平ディスプレイ１
１１に出力する場合について、表示位置決定のための処
理の流れを説明する。

【００５３】本実施例では、オブジェクト表示位置を決
めるために、「利用者の位置に合わせる」、「机上の障
害物を避ける」、「表示の重なりを防ぐ」、という３つ
の条件を考慮するものとする。これらの条件のうち、ど
れを優先すべきかの情報は、自動配置定義データ１６０
に格納されている。ここで、自動配置定義データ１６０
の内容例を、図１３に示す。

【００５４】図１３に示した自動配置定義データ１６０
のテーブル１６０１は、それぞれの条件と、その条件を
満たせない場合のペナルティ値とを対応付けている。こ
の例では、「Ａ．利用者の位置に合わせる」ことができ
ない場合のペナルティ値を“５”、「Ｂ．机上の障害物
を避ける」ことができない場合のペナルティ値を“１
０”、「Ｃ．表示の重なりを防ぐ」ことができない場合
のペナルティ値を“３”と定めている。これらの条件お
よび対応するペナルティ値は、この例に限定されるもの
ではない。ペナルティ値は、予め固定であってもよい
が、好ましくはシステムまたは利用者が設定変更できる
ようにする。

【００５５】図１４に、各条件Ａ，Ｂ，Ｃの個々の条件
および任意の組み合わせに対して、それらのみを満たし
た場合に課されるペナルティ値の合計を示す。例えば、
「Ａ．利用者の位置に合わせる」と、「Ｂ．机上の障害
物を避ける」の条件のみが満たされた場合は、「Ｃ．表
示の重なりを防ぐ」の条件が満たされなかった（判断さ
れなかった）場合に他ならないから、図１３から分かる
ようにペナルティ値の合計は“３”になる。同様に、
「Ｂ．机上の障害物を避ける」のみが満たされた場合
は、「Ａ．利用者の位置に合わせる」および「Ｃ．表示
の重なりを防ぐ」の条件が判断されない場合であるか
ら、ペナルティ値の合計は５＋３すなわち“８”とな
る。

【００５６】表示位置決定部１５９は、ペナルティ値の
合計が少ない組み合わせから順に、表示位置の決定を試
みる。すなわち、まず、条件Ａ，Ｂ，Ｃをすべて満たす
表示位置があるか否かを調べ、あればその表示位置を採
用し、なければ次に条件Ａ，Ｂをともに満たす表示位置
があるか否かを調べる。あればその表示位置を採用し、
なければ次に、条件Ｂ，Ｃをともに満たす表示位置があ
るかを調べる、という風に順次、条件を緩和していく。

【００５７】試みるべき条件の組み合わせが与えられた
とき、表示位置決定部１５９は、まず、それぞれの条件
によってオブジェクトの表示に使用できない領域を求め
る。そして、オブジェクトの表示に十分な大きさの領域
が、それらの領域のどれとも重ならないように確保でき
るかどうかを確かめる。確保できれば、その領域をオブ
ジェクトの表示位置とし、確保できなければ、その与え
られた条件を満たす表示位置はないと判断する。

【００５８】条件によってオブジェクトの表示に使用で
きない領域は、次のようにして求める。まず、条件が
「Ａ．利用者の位置に合わせる」であった場合について
説明する。利用者の位置は、利用者監視部１５４に問い
合わせれば分かる。利用者監視部１５４が、例えば、利
用者の頭部が机の左端から３０％の位置にあると報告し
たとき、表示に使用できない領域は、例えば、図１５の
斜線の部分のように求められる。すなわち、条件Ａを満
たす領域を、利用者の頭部を中心して例えばオブジェク
ト表示の幅の１．５倍の幅の領域と定めると、これ以外
の領域が表示に使用できない領域となる。

【００５９】条件が「Ｂ．机上の障害物を避ける」であ
った場合、その条件によってオブジェクトの表示に使え
ない領域は、机上監視部１５３に問い合わせることによ
り分かる。机上監視部１５３は、机上で障害物が占める
領域を矩形領域の集合で保持しているので、その矩形領
域の集合がすなわち、オブジェクトの表示に使用できな
い領域である。

【００６０】また、条件が「Ｃ．表示の重なりを防ぐ」
であった場合、その条件によってオブジェクトの表示に
使えない領域は、表示内容保持部１６１に問い合わせる
ことにより分かる。表示内容保持部１６１は、表示され
ているオブジェクトが占める領域を矩形領域の集合で保
持しているので、その矩形領域の集合がすなわちオブジ
ェクトの表示に使用できない領域となる。

【００６１】このように、それぞれの条件によってオブ
ジェクト表示に使用できない領域を求めることができ
る。

【００６２】以上、オブジェクトを水平ディスプレイ１
１１に表示する場合の処理について説明した。オブジェ
クトを垂直ディスプレイ１２１に表示する場合の処理に
ついても同様の方法で表示位置を決定できる。但し、デ
ィスプレイ１２１は直立しているので、障害物を載せら
れることがないので、障害物を避けるための処理は省略
できる。

【００６３】以下では、利用者から見易い（あるいは操
作しやすい）位置を求める方法、机上の障害物を避ける
方法、キーボードを使うかペン入力を使うかを判定する
方法について説明する。

【００６４】まず、利用者から見易い位置を求める方法
について説明する。

【００６５】本実施例のような情報処理装置では、入力
表示一体型ディスプレイ装置の表示画面はは机の上面と
同程度の大きさであり、従来のＣＲＴによるディスプレ
イ装置のように少し離れたところから見る場合とは異な
り、利用者の座っている位置や身体の向きによって表示
が見にくくなる位置が生じることがある。したがって、
利用者にオブジェクトを提示する場合は、利用者の座っ
ている位置や身体の向きを考慮して表示位置を決めるこ
とが好ましい。例えば、図６（ａ）のように利用者が机
の左寄りに座っているときには、情報処理装置は利用者
が文書を見易いように、机１０１、すなわち水平ディス
プレイ１１１上の左寄りの位置に表示を出すことが望ま
れる。

【００６６】利用者の状態はカメラ１０８で撮影されて
おり、その状態は上述のように画像処理装置４１３、す
なわち画像処理部１５２により認識され、その認識結果
は利用者監視部１５４のテーブル１５４１（図１１）に
より記憶されている。したがって所望の動作は、表示位
置決定部１５９が、文書の表示位置を決定する際に利用
者監視部１５４に利用者の位置を問い合わせ、その結果
によって表示を適切な位置に出すようになっていること
で実現される。

【００６７】例えば、利用者監視部１５４が、利用者の
頭の中心が机１０１の左側から３０％の位置にあると報
告した場合、図６（ｂ）のように文書のページイメージ
の中心が、机１０１の左側から３０％の位置に来るよう
に文書を表示できれば、利用者から見易く、入力操作も
しやすいと推定できる。

【００６８】次に、机上の障害物を避ける方法について
説明する。

【００６９】前述のように、本実施例のような情報処理
装置では、ディスプレイ１１１は机１０１と一体化され
ており、通常の机の上での作業を行うスペースとしても
使用されると考えられる。すなわち利用者は、水平ディ
スプレイ１１１の上にキーボード１０５とマウス１０６
を置いて作業することもありうるし、ノートや辞書やカ
ップなどを載せることもありうる。

【００７０】したがって、水平ディスプレイ１１１にオ
ブジェクトを表示する場合は、机上に載せられている物
を避けて表示位置を決定することが望ましい。例えば、
アイコン状態の文書を新たに開こうとした時に、机１０
１の上から見た様子が図７（ａ）のような状態であり、
水平ディスプレイ１１１は図７（ｂ）のような内容を表
示しているとする。この時、机上の物体だけ抜き出す
と、図７（ｃ）のようになる。図７（ｃ）ような映像
は、前述のようにカメラ１０７の撮像するタイミングに
合わせてディスプレイ１１１の表示を一時的に消すこと
で得られる。この映像から画像処理装置４１１、すなわ
ち画像処理部１５１は机上の物体が占める領域を検出で
き、その情報は机上監視部１５３に記憶される。

【００７１】したがって所望の動作は、表示位置決定部
１５９が、文書の表示位置を決定する際に、机上監視部
１５３に障害物の位置を問い合わせ、その結果によって
表示を適切な位置に出すようになっていることで実現さ
れる。図７の例のような場合は、図７（ｄ）に示される
ように、障害物を避けた場所に新たな文書のページイメ
ージを表示すればよいことがわかる。

【００７２】次に、利用者がキーボードを使おうとして
いることを検出する方法について述べる。

【００７３】本実施例の情報処理装置は、複数のディス
プレイを有しているので、実際には、水平ディスプレイ
１１１に表示すべきなのか、垂直ディスプレイ１２１に
表示すべきなのかを判定する必要がある。本実施例で
は、机上の状態を監視する手段としてカメラ１０７が設
置されているので、その映像を画像処理した結果を用い
て、どちらのディスプレイにオブジェクトを提示すべき
なのかを判定できる。

【００７４】例えば、情報処理装置が文書のページイメ
ージを表示するときに、カメラ１０７からの映像を画像
処理して机上の障害物を検出した結果、利用者の手とキ
ーボードが図８（ａ）に示されるような関係になってい
た場合、利用者はキーボードを用いて文書を操作しよう
としていると考えられる。具体的な判定には、例えば、
画像処理の結果として得られる、手の映像の重心位置と
キーボードの映像の重心位置８０４を用いる。キーボー
ドの重心位置８０４が、例えば図８（ｂ）の陰影部分で
示される多角形８０１に入るときに、利用者がキーボー
ドを使って作業をしているものと判定する。多角形８０
１の領域は、例えば、机１０１の手前の辺と、利用者の
左手の映像の重心８０２を通り机１０１の手前の辺と直
交する線と、利用者の右手の映像の重心８０３を通り机
１０１の手前の辺と直交する線と、利用者の左手の映像
の重心８０２と利用者の右手の映像の重心８０３を結ん
だ線分からの前方への距離が３０ｃｍの線とにより囲ま
れる領域である。図８の場合、キーボードの映像の重心
位置８０４は多角形８０１の領域内部にあるので、利用
者がキーボードを使って作業しようとしていると判定で
きる。

【００７５】上記のような方法により、利用者がキーボ
ード１０５を使おうとしていることを検出でき、その情
報は机上監視部１５３に保持される。その情報は表示位
置決定部１５９によって使われ、結果として、情報処理
装置は、利用者がキーボード入力で使いやすいように、
ディスプレイ１２１に文書のページイメージを表示すれ
ばよいと判断できる。

【００７６】次に、利用者がペン入力を使おうとしてい
ることを検出する方法を説明する。

【００７７】情報処理装置が文書のページイメージを表
示するときに、カメラ１０７からの映像を、画像処理部
１５１が処理して机上の障害物を検出した結果、図９
（ａ）に示されるように利用者がペン１０４を持ってい
ることが分かった場合、利用者はペン入力で文書を操作
しようとしていると考えられる。具体的な判定には、例
えば、画像処理の結果として得られる、手の映像の重心
位置９０２とペンの映像の重心位置９０３を用いる。ペ
ン１０４の重心位置９０３が、例えば図９（ｂ）の陰影
部分で示される円９０１内に入るときに、利用者がペン
１０４を使って作業をしているものと判定する。すなわ
ち、ペン１０４の映像の重心位置９０３と、ペン１０４
を持つ手の映像の重心位置９０２からの距離が、例えば
８ｃｍ以下の場合である。図９の場合は、ペン１０４の
映像の重心９０３は、円９０１の内部にあるので、利用
者はペン１０４で作業をしようとしていると判定でき
る。

【００７８】上記のような方法により、利用者がペン１
０４を使おうとしていることを検出でき、その情報は机
上監視部１５３に保持される。その情報は表示位置決定
部１５９によって使われ、結果として、情報処理装置
は、利用者がペン入力しやすい水平ディスプレイ１１１
上の位置に文書のページイメージを表示すればよいと判
断できる。

【００７９】本実施例では、利用者の位置および方向を
検出する手段として、カメラからの映像を画像処理する
方法を用いたが、机１０１またはパーティション１０２
と椅子１０３の相対位置を検出する手段を用いて利用者
の状態を推定してもよい。また、利用者の頭部または手
の位置を入力する手段が提供されている情報処理装置に
おいては、それらからの情報を用いて利用者の状態を推
定してもよい。そのような位置入力手段としては、位置
測定対象に小型の磁界発生装置を付け、そこから発せら
れる磁界を机などに固定された受信装置で測定し、磁界
の変化から測定対象の３次元位置および方向を推定する
方法がある。また、磁界の代りに超音波を用いる方法も
提案されている。

【００８０】また、本実施例では、利用者がペンを持っ
ていることを検出する手段として、机上を撮影するカメ
ラからの映像を画像処理する方法を用いたが、画像処理
以外の手法で手とペンの座標を検出する機能が提供され
ていれば、同様のことができる。例えば、上述の磁界や
超音波の変化を読み取る方法などが利用できる。

【００８１】また、本実施例では、利用者の前にキーボ
ードが置いてあることを検出する手段として、机上を撮
影するカメラからの映像を画像処理する方法を用いた
が、画像処理以外の手法で手あるいは身体とキーボード
の座標を検出する手段が提供されていれば、同様のこと
ができる。例えば、上述の磁界や超音波の変化を読み取
る方法などが利用できる。

【００８２】

【発明の効果】本発明の情報処理装置によれば、利用者
に情報を提示する時に、利用者の状態や机上の状態をも
とに情報を提示する位置を自動的に決定することができ
る。これにより、大画面入力表示一体型ディスプレイ装
置や複数ディスプレイ装置を有する情報処理装置におい
て、利用者の状態や机上の状態にかかわらず、利用者が
利用しやすい位置に情報を提示することができ、操作性
のよいユーザインタフェースを得ることができる。

【図面の簡単な説明】

【図１】本発明の一実施例である情報処理装置の概観お
よび機能を示す説明図、

【図２】図１の机１０１の上面およびパーティション１
０２上部の断面図、

【図３】投射型ディスプレイを用いた他の実施例の大画
面入力表示一体型ディスプレイの概観図、

【図４】図１の情報装置全体のハードウェアブロック構
成図、

【図５】実施例において利用者が電子的な文書を開く操
作の一例を示す説明図、

【図６】実施例において利用者の位置を考慮したオブジ
ェクト表示の一例を示す説明図、

【図７】実施例において机上の障害物の位置を考慮した
オブジェクト表示の一例を示す説明図、

【図８】実施例において利用者がキーボードを使ってい
る場合を示す説明図、

【図９】実施例において利用者がペンを持っている場合
を示す説明図、

【図１０】実施例において机上監視部が保持する情報の
説明図、

【図１１】実施例において利用者監視部が保持する情報
の説明図、

【図１２】実施例の情報処理装置の使用例の説明図、

【図１３】実施例における自動配置定義データの一例を
示す説明図、

【図１４】実施例における条件の組み合わせに対するペ
ナルティ計算の一例の説明図、

【図１５】実施例においてオブジェクト表示に使用でき
ない領域を求める方法の一例の説明図、

【図１６】実施例における入力処理定義データの一例を
示す説明図、

【符号の説明】

１０１…ディスプレイおよびペン座標検出装置を内蔵し
た机、１０２…ディスプレイを内蔵したパーティショ
ン、１０３…利用者が座る椅子、１０４…机１０１に内
蔵されている座標入力装置が座標を読み取るペン、１０
５…キーボード、１０６…マウス、１０７…机上の状態
を撮影するカメラ、１０８…利用者の状態を監視するカ
メラ、１５１…机上の状態を認識する画像処理部、１５
２…利用者の状態を認識する画像処理部、１５３…机上
監視部、１５４…利用者監視部、１５５…入力処理部、
１５６…入力処理定義データ、１５７…処理手続き実行
部、１５８…処理手続き群、１５９…表示位置決定部、
１６０…自動配置定義データ、１６１…表示内容保持
部、１６２…ディスプレイ表示部、１１１…机１０１に
内蔵されているディスプレイ、１１２…机１０１に内蔵
されているペン座標入力装置、１２１…パーティション
１０２に内蔵されているディスプレイ、３０１…映像投
射装置、４０１…中央情報処理装置、４０２…周入力機
器インタフェース、４０３…ＣＰＵ、４０４…主記憶、
４０５…ディスプレイメモリ、４０６…ディスプレイメ
モリ、４０７…ディスプレイインタフェース、４０８…
ディスプレイインタフェース、４０９…二次記憶インタ
フェース、４１０…二次記憶装置、４１１…画像処理装
置、４１３…画像処理装置、４１２…画像メモリ、４１
４…画像メモリ、５０１…文書アイコン、５０２…ポイ
ンタ、８０１…利用者がキーボードを使っているかどう
かを判定するための多角形、８０２…利用者の左手の映
像の重心位置、８０３…利用者の右手の映像の重心位
置、８０４…キーボードの映像の重心位置、９０１…利
用者がペンを使っているかどうかを判定するための円、
９０２…利用者の右手の映像の重心位置、９０３…ペン
の映像の重心位置。

フロントページの続き (72)発明者 三浦 雅樹 茨城県日立市大みか町七丁目１番１号 株式会社 日立製作所 日立研究所内 (72)発明者 横田 登志美 茨城県日立市大みか町七丁目１番１号 株式会社 日立製作所 日立研究所内 (72)発明者 郡司 圭子 茨城県日立市大みか町七丁目１番１号 株式会社 日立製作所 日立研究所内 (72)発明者 相坂 一夫 東京都国分寺市東恋ケ窪一丁目280番地 株式会社 日立製作所 中央研究所内 (72)発明者 沼田 徹 神奈川県横浜市戸塚区吉田町292番地 株式会社 日立製作所 マイクロエレク トロニクス機器開発研究所内 (72)発明者 坂尾 秀樹 神奈川県川崎市麻生区王禅寺1099 株式 会社日立製作所 システム開発研究所内 (56)参考文献 特開 平４−195625（ＪＰ，Ａ) 特開 平２−139620（ＪＰ，Ａ) 特開 平２−268317（ＪＰ，Ａ) 特開 平２−224011（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 3/033 G06F 3/14

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】表示領域内の複数の位置に選択的に表示対
   象を表示可能なディスプレイ、および該ディスプレイの
   表示面上に重ねて入力面を有するペン座標入力装置から
   なり、入力表示面がほぼ水平に配置される入力表示一体
   型ディスプレイ装置と、利用者に対して提示する表示対象の、前記ディスプレイ
   の表示領域内における位置を自動的に決定する表示位置
   決定手段 とを備え、 前記表示位置決定手段は、 前記入力表示面上に載置された物体を検出する物体検出
   手段を備え、 前記物体検出手段により検出された物体の位置を避ける
   ように前記表示対象の表示位置を決定し、 前記物体検出手段は、 前記入力表示面を撮像する撮像手段と、 前記撮像手段により撮像された画像を処理する画像処理
   手段とを備え、 前記画像処理手段は、前記撮像手段により撮像された画
   像により物体の位置を検出することを特徴とする情報処
   理装置。
2. 【請求項２】前記物体検出手段は、 前記撮像手段による撮像時に前記表示対象の表示を一時
   的に停止する表示制御手段をさらに備え、 前記画像処理手段は、表示停止時に撮像された画像に基
   づいて前記表示面上に載置された物体を検出することを
   特徴とする請求項１記載の情報処理装置。
3. 【請求項３】前記表示位置決定手段は、前記入力表示一
   体型ディスプレイ装置に対する前記利用者の位置を検出
   する利用者位置検出手段を有し、前記表示対象を提示す
   る表示として、前記検出された利用者の位置に近接した
   位置を決定することを特徴とする請求項１記載の情報処
   理装置。
4. 【請求項４】前記利用者位置検出手段を、前記利用者を
   撮像する撮像手段と、該撮像手段により撮像された画像
   を処理する画像処理手段とにより構成したことを特徴と
   する請求項３記載の情報処理装置。
5. 【請求項５】前記表示位置決定手段は、前記入力表示面
   上に表示された表示対象の表示位置情報を保持する位置
   情報保持手段を有し、前記表示位置決定手段は、前記位
   置情報保持手段により保持された表示対象の表示位置を
   避けるように前記表示対象の表示位置を決定することを
   特徴とする請求項１記載の情報処理装置。
6. 【請求項６】前記表示位置決定手段は、利用者の状態、
   入力表示面上の状態およびディスプレイの表示状態に関
   して複数の判断条件を用意し、該複数の判断条件および
   それらの組み合わせに対して優先順位を付して、該優先
   順位に従い、順次、前記表示対象を表示すべき位置を探
   索し決定する請求項１記載の情報処理装置。
7. 【請求項７】表示領域内の複数の位置に選択的に表示対
   象を表示可能なディスプレイ、および、該ディスプレイ
   の表示面上に重ねて入力面を有するペン座標入力装置を
   備えた入力表示面がほぼ水平に配置される入力表示一体
   型ディスプレイ装置において、前記ディスプレイの使用
   時に前記表示面上に載置された物体を検出する方法であ
   って、 前記表示面上を撮像手段により撮像する際、 前記ディスプレイにおける前記表示対象の表示を一時的
   に停止し、 該表示停止時に撮像された画像に基づいて前記表示面上
   に載置された物体を検出する、 ことを特徴とする表示面上物体の検出方法 。