JPH1055249A

JPH1055249A - 指示入力検出装置および記録再生装置

Info

Publication number: JPH1055249A
Application number: JP8229296A
Authority: JP
Inventors: Takashi Osawa; 隆大澤
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1996-08-12
Filing date: 1996-08-12
Publication date: 1998-02-24

Abstract

(57)【要約】【課題】ユーザの指示入力に関し、指示の位置の正確
さの度合いを判断する機能を有する指示入力検出装置を
提供する。【解決手段】指示入力手段１１により、ユーザが指示
した表示画面１２上の指示位置を指示位置検出手段１３
で検出する。指示入力手段１１を用いて指示入力するユ
ーザが注視している位置または方向を姿勢検知手段３で
検知する。指示位置検出手段１３で検出された指示入力
手段１１による指示位置と、姿勢検知手段３の出力情報
とから、ユーザの指示の正確さの度合いを演算手段４で
演算して求める。指示位置検出手段からの指示位置の検
出出力と、演算手段からの指示の正確さの度合いの情報
とを対として出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は指示入力検出装置
およびそれを用いた記録再生装置に関する。

【０００２】

【従来の技術】ユーザの指示入力を検出するための装置
としては、座標入力装置、タッチパネル、タッチスクリ
ーンなど、従来から種々提案されている。

【０００３】そして、これらの指示入力検出装置におい
て、ユーザの指示意思のない入力もユーザ指示入力とし
て検出してしまうと、この指示入力検出装置を用いたシ
ステムでの後処理が繁雑になるので、ユーザの指示意思
のないユーザ指示入力は、できるだけユーザ指示入力と
して検出しないように排除する試みが従来からなされて
いる。すなわち、指示者の入力意思をも反映して指示入
力を検出するようにする指示入力検出装置が、従来から
提案されている。

【０００４】例えば、特開平２−１４０８１８号公報に
記載の座標入力装置は、使用者の手が装置に触れられて
いることを感知し、その場合にのみ入力信号を図形処理
装置本体に伝達することを特徴としている。この公報の
発明は、外的要因による信号伝達を防ぐ目的で、指示入
力検出装置が、物体、通常は使用者の手が接触している
ことを使用者の座標入力の意志の表れとして解釈するも
のである。

【０００５】また、特開昭６４−４６１２２号公報に記
載の視線入力装置は、ユーザの視線による指示入力を検
出する装置である。この公報の発明は、視線による指示
入力が使用者の意志を伴っているかを判断するために、
使用者の大脳生理的興奮を脳磁界の変化として検出する
脳磁界検出装置を具備し、脳磁界検出装置と視線による
指示入力の相関を計測することで視線による指示が意志
の伴ったものかを判断するものである。

【０００６】また、特開平３−２５２７１８号公報に記
載の入力位置識別方法および装置およびこれを用いたプ
ラント監視制御装置は、タッチスクリーンに対するオペ
レータのタッチ動作が、意図する正確な位置で認識され
ることを目的としている。そして、その特徴は、タッチ
時あるいはアンタッチ時をタッチ入力とする方式では、
タッチスクリーンに対する不用意なタッチ、アンタッチ
が入力されてしまうおそれがあることから、検知された
複数時点でのタッチ入力が、ある条件を満たした時にの
み、入力を検知する手段を設けている点である。

【０００７】また、特開平３−２７６２２２号公報に記
載の超音波距離計測装置は、超音波距離計測装置、さら
に超音波の伝播を利用する距離計測技術を取り入れた各
種応用装置に関するものである。この公報の技術はペン
入力が無意味なものか、正式のものかを判断するため
に、ペンの押しつけ力が、予測された押しつけ力以上か
それより弱いかを判断する手段を設けている。

【０００８】

【発明が解決しようとする課題】ところで、会議やプレ
ゼンテーションなどにおける会議参加者やプレゼンテイ
ターの、指示棒などを用いた表示画面としてのスクリー
ン上での指示行為には、指示した位置を正確に指示する意志で指示を行う場
合、指示した位置を大まかに指示する意志で指示する場
合、見掛け上、指示手段を用いて指示行為を行ってはいる
が、その指示行為そのものにはほとんど意味のない場
合、が存在する。すなわち、ユーザの指示について、そ
の正確さの度合いが異なる場合がある。

【０００９】これらの指示行為は、実際に会議やプレゼ
ンテーションの場で、指示者の行為を見ていた場合には
その区別がつく。しかし、これらの指示操作の記録を、
その指示位置の軌跡の記録として保存するようにした場
合に、その指示位置の軌跡の再生画面上では、直接、指
示者の行為を見ることができないため、マウスカーソル
や指示棒の指し示している位置の変化だけから、その指
示の指示者の意志（どの程度の確からしさで指示するか
の意思）を判断することになるが、これは非常に難し
い。

【００１０】そこで、前述したような従来の技術を用い
て、前記〜の場合を区別することができるようにす
ることが考えられる。

【００１１】しかし、前記の従来技術の中には、指示入
力が、ユーザの指示入力意志を伴ったものかを判断する
ものもあるがあっても、それは、ユーザの指示につい
て、入力意思があったか否かを判断するだけのものであ
る。このため、上述の従来技術の場合には、例えば、ユ
ーザの指示箇所が不正確であったとしても、所定の条件
さえ満たせば、その指示箇所における有効な指示入力と
解釈されてしまう。

【００１２】すなわち、従来技術は、その指示入力につ
いての意志の有無を判断するだけであって、どの程度の
正確さの度合いで指示していたものかを判断する手段を
備えるものはない。上述の従来の技術は、正確に入力し
ようとしていることが前提となっており、指示しただけ
の行為、すなわち何らかの意味のあるレスポンスを期待
した入力でない場合に、その指示が、いかなる正確さを
伴った指示であるかを判断する技術ではない。

【００１３】この発明は、以上の点に鑑みて、ユーザの
指示入力に関し、指示の位置の正確さの度合いを判断す
る機能を有する指示入力検出装置を提供し、併せて、こ
の指示入力検出を使用した記録再生装置を提供すること
を目的とするものである。

【００１４】

【課題を解決するための手段】正確に指示操作をすると
きには、指示者は、指示しようとする位置を正確に認識
するため、その位置を注視しながら指示操作を行う。あ
るいは少なくとも、頭部は、その指示しようとする位置
方向を向く。

【００１５】一方、大まかな指示をするときには、指示
者は、指示しようとする位置は注視する必要はないの
で、わずかな時間だけ、視線を指示位置に向けて指示位
置を確認しておき、その指示操作のときには、だいたい
の見当を付けて、指示位置近傍を指示し、顔は、会議や
プレゼンテーションの参加者の方向に向けているような
状態になる。

【００１６】また、指示者が、まったく指示意思のない
状態で、見掛け上、指示手段が指示行為を行っている状
態では、指示者は、指示位置を注視しないと考えられ
る。

【００１７】この発明は、以上の観点から、上記課題を
解決しようとするものである。すなわち、後述の実施の
形態の参照符号を対応させると、請求項１に記載の発明
による指示入力検出装置は、表示画面上に対するユーザ
の指示入力を検出する装置であって、ユーザの指示入力
手段（１１）と、前記指示入力手段で指示された前記表
示画面上の位置を検出する指示位置検出手段（１３）
と、前記指示入力手段を用いて指示入力するユーザが注
視している位置または方向を検知する姿勢検知手段
（３）と、前記指示位置検出手段で検出された前記指示
入力手段による指示位置と、前記姿勢検知手段の出力情
報とから、ユーザの指示の正確さの度合いを演算する演
算手段（４）とを備え、前記指示位置検出手段からの前
記指示位置の検出出力と、前記演算手段からの前記指示
の正確さの度合いの情報とを出力することを特徴とす
る。

【００１８】また、請求項２に記載の指示入力検出装置
は、請求項１記載の指示入力検出装置において、前記演
算手段（４）は、前記指示入力手段による指示位置と、
前記姿勢検知手段により検知される前記ユーザが注視し
ている位置または方向との隔たりを計算するものであっ
て、前記指示操作以前の時刻方向における、複数個の時
刻での前記隔たりの計算結果のそれぞれに対して、予め
定めた重み係数を掛けて、その総合の計算結果に基づい
てユーザの指示の正確さの度合いを演算することを特徴
とする。

【００１９】また、請求項３に記載の指示入力装置は、
請求項１または請求項２の指示入力検出装置において、
姿勢検知手段（３）として視線認識装置を用いることを
特徴とする。

【００２０】そして、請求項４に記載の記録再生装置
は、画像情報、音声情報、文字情報のうちの少なくとも
一つの情報を、順次に記録する主情報記録手段（４１
２）と、ユーザの指示入力手段（１１）と、前記指示入
力手段で指示された前記表示画面上の位置を検出する指
示位置検出手段（３０）と、前記指示入力手段を用いて
指示入力するユーザが注視している位置または方向を検
知する姿勢検知手段（３３）と、前記指示位置検出手段
で検出された前記指示入力手段による指示位置と、前記
姿勢検知手段の出力情報とから、ユーザの指示の正確さ
の度合いを演算する演算手段（４５）と、前記指示入力
検出装置で検出された前記表示画面上における指示位置
の情報と、その指示位置に対するユーザの指示の正確さ
の度合いの情報と、その指示入力時点に時間的に対応す
る前記主情報記録手段の情報記録位置を特定する情報と
を、対応付けて記録する指示記録手段（４６）と、を備
えることを特徴とする。

【００２１】また、請求項５に記載の記録再生装置は、
請求項４に記載の記録再生装置において、表示画面
に、前記主情報記録手段からの視覚的な情報を表示する
と共に、それに重ね合わせて、前記指示記録手段の前記
指示位置の情報のそれぞれに基づく指示表示およびその
ユーザの指示の正確さの度合いの情報の表示を行う制御
手段（４１０）を設けたことを特徴とする。

【００２２】さらに、請求項６に記載の記録再生装置
は、請求項５に記載の記録再生装置において、前記表示
画面に、表示された前記指示位置の情報に基づく指示表
示の中から所望のユーザ指示箇所を指定する指定手段
（４１４）と、前記指定手段によって指定された表示画
面上の指示箇所位置に、時間的に異なる複数のユーザ指
示情報がある場合に、前記ユーザの指示の正確さの度合
いの情報に基づいてユーザ指示情報を選択し、当該選択
したユーザ指示情報の指示入力時点に時間的に対応する
前記主情報記録手段の主情報を、前記指示記録手段の前
記指示入力に対応する前記主情報記録手段における情報
記録位置を特定する情報に基づいて再生する制御手段
（４１０）を有することを特徴とする。

【００２３】請求項７に記載の記録再生装置は、請求項
６に記載の記録再生装置において、前記指定手段（４１
４）が、当該指定手段によって指定された表示画面上の
指示箇所位置に、複数のユーザ指示情報がある場合に、
いずれのユーザ指示情報を選択するかの選択条件として
のユーザの指示の正確さの度合いを指定する機能を備え
ることを特徴とする。

【００２４】

【作用】上述の構成を有する請求項１に記載の指示入力
検出装置においては、ユーザが指示入力操作をしたとき
に、演算手段は、指示位置検出手段からの指示位置座標
の情報と、姿勢検知手段からのユーザが注視している位
置または方向の検知情報を取得する。この姿勢検知手段
からのユーザが注視ている位置または方向の情報は、ユ
ーザがどこを見て指示をしたかの情報であり、ユーザ指
示入力操作以前の情報を用いる。

【００２５】そして、演算手段は、指示位置の情報と、
指示以前の前記姿勢検知手段の、例えば時系列出力とか
らユーザの指示の正確さの度合いを演算する。そして、
指示位置の検出出力と、ユーザの指示の正確さの度合い
の情報とを、対として出力する。これにより、直接ユー
ザの指示行為を見ていない人物でも、その指示の正確さ
を知ることができ、指示の意味についての誤解がなくな
る。そして、ユーザはごく自然な指示行為を行いながら
も、その指示の正確さを他者に知らせることができる。

【００２６】また、請求項２に記載の指示入力検出装置
においては、演算手段はユーザの指示の正確さを演算す
る際に、指示箇所と、その指示以前の時刻における姿勢
検知手段より求まるユーザの注視箇所との間の隔たりを
計算する。この場合に、指示操作以前の複数個のそれぞ
れの時刻での計算結果に対して、重み係数を掛けてユー
ザの指示の正確さを演算する。その重み係数としては、
例えば、指示時を正確さに対する寄与率を最大とし、そ
れより時間的に以前になるにつれて寄与率が減少するも
のを使用する。

【００２７】したがって、この請求項３に記載の発明に
よれば、ユーザの指示以前の姿勢の時系列情報に対し
て、指示操作からの時間の隔たりを考慮して、ユーザの
姿勢が指示の正確さの度合いに寄与するような演算を行
うために、ユーザの指示の正確さを、より正確に認識で
きる。

【００２８】請求項３に記載の指示入力検出装置は、姿
勢検知手段として視線認識装置を使用することで、ユー
ザの見ている場所を直接検知することができる。したが
って、より正確にユーザの指示の正確さの度合いを認識
できる。

【００２９】請求項４に記載の記録再生装置は、上述の
この発明による指示入力検出装置の機能を備えている。
そして、主情報としての、例えば画像情報、音声情報、
文字情報（例えばテキスト情報）が主情報記録手段に記
録されると共に、指示位置検出手段で検出された表示画
面上における指示位置の情報および前記演算手段で演算
された、その指示位置に対するユーザの指示の正確さの
度合いの情報からなるユーザ指示情報と、各ユーザ指示
情報の指示入力時点に時間的に対応する主情報記録手段
の情報記録位置を特定する情報とが、対応付けられて、
指示記録手段に記録される。

【００３０】この請求項４に記載の記録再生装置によれ
ば、指示記録手段の記録情報中のユーザの指示の正確さ
の度合いの情報により、表示画面に表示されている画像
あるいは文字文書などの視覚情報に対して行われた、ユ
ーザの指示の正確さの度合いを把握でき、その指示とそ
の指示位置に表示されている視覚情報との関連性が推測
可能となる。したがって、その指示位置に対応する主情
報を再現するか否かの判断材料を提供することができ
る。また、情報再現時においては、ユーザの指示の正確
さの度合いを反映させた表示を表示画面上において行う
ことにより、対応するユーザの指示の意味が明確に理解
できるようになる。

【００３１】請求項５記載の記録再生装置においては、
制御手段により、表示画面に、主情報記録手段からの視
覚情報に重ね合わせて、ユーザ指示の指示位置およびそ
の正確さの度合いが表示される。したがって、ある視覚
情報の上における指示の正確さを容易に把握でき、その
ユーザの指示の意味がより明確に理解できるようにな
る。

【００３２】また、ユーザの指示と、その指示位置に表
示されている視覚情報との関連性が容易に推測可能とな
り、対応する主情報を再現するか否かの判断材料が提供
される。また、更に、情報再現時においては、その指示
の意味がより明確に理解できるようになる。

【００３３】請求項６記載の記録再生装置においては、
指定手段により、表示画面上に再現されたユーザ指示情
報が指定されると、そのユーザ指示情報の入力時点の主
情報が、主情報記録手段から取り出されて再生される。
このユーザ指示情報の選択指定の際に、指定された表示
画面位置に、複数のユーザ指示情報があった場合には、
それらの複数のユーザ指示情報のユーザの指示の正確さ
の度合いの情報に基づいていずれか一つが選択される。
例えば、正確さが一番高い、ユーザ指示情報が選択され
る。

【００３４】したがって、指定手段により指定された表
示画面位置に、複数のユーザ指示情報があった場合に、
例えば、ユーザが、指示記録手段の内容を調べて制御手
段に特定情報を入力するなどという操作を行う必要なし
に容易に情報を再現できる。

【００３５】さらに、請求項７に記載の記録再生装置に
おいては、請求項６の記録再生装置において、指定手段
は、指定した表示画面位置に、複数のユーザ指示情報が
ある場合に、どのユーザ指示情報を選択するかの条件と
して、ユーザの指示の正確さの度合いの程度を指定する
ことができる。したがって、指定した指示箇所の中に、
さまざまな正確さをもつ指示が混在している場合に、所
望の正確さのユーザ指示のみを指定できる。これによっ
て無駄な検索や再生が少なくなる。

【００３６】

【発明の実施の形態】以下、この発明による指示入力検
出装置および記録再生装置の実施の形態について、図を
参照しながら説明する。

【００３７】まず、この発明による指示入力検出装置
を、プレゼンテーションや会議用として使用する場合の
一実施の形態について、図１〜図４について説明する。

【００３８】図１は、この実施の形態の指示入力検出装
置の全体の構成を示すブロック図である。この実施の形
態の指示入力検出装置は、表示画面を備える指示入力検
出部１と、指示入力検出部１の表示画面に表示する画像
情報を提供する表示画像提供部２と、姿勢検知部３と、
ユーザ指示の正確さの度合いの演算部（以下、指示正確
さ演算部という）４とからなっている。

【００３９】指示入力検出部１は、機能的には、ユーザ
が指示操作を行う手段としての指示操作部１１と、表示
画面を備える表示部１２と、表示画面上の指示位置を、
表示画面上の座標値に変換する指示位置検出部１３とか
らなる。

【００４０】指示入力検出部１としては、この例では、
図２に示すような構成の大画面ディスプレイ装置１０を
用いる。この大画面ディスプレイ装置１０は、表示画面
としてのスクリーン１２Ｄを備え、表示画面提供部２を
構成する例えばパーソナルコンピュータから、会議やプ
レゼンテーションで使用されるデータや文書などの資料
の画像情報の提供を受け、表示部１２が、その資料の画
像をスクリーン１２Ｄに拡大投影する。

【００４１】会議参加者やプレゼンテイター５は、指示
棒１１Ｐにより、スクリーン１２Ｄ上を指示しながら、
説明やプレゼンテーションを行う。

【００４２】この例の場合、指示棒１１Ｐは、遠隔操作
可能なペン状のデバイスで、その先端部１１Ｐｔに赤外
線発光手段を備え、赤外線ビームにより、大画面ディス
プレイ装置１０のスクリーン１２Ｄ上の任意の位置を指
示できる。

【００４３】大画面ディスプレイ装置１０のスクリーン
１２Ｄ上では、指示棒１１Ｐからの赤外線ビームのスポ
ットが、ユーザの指示棒１１Ｐを用いた指示操作に応じ
て移動する。ただし、この指示操作軌跡の線が、スクリ
ーン１２Ｄ上に表示されるわけではない。

【００４４】大画面ディスプレイ装置１０では、そのス
クリーン１２Ｄ上の赤外線スポット光が鏡１３１により
反射され、赤外線スポットの位置を、当該スクリーン２
Ｄ上の位置座標として検知するためのカメラユニット１
３２に入射させるように構成している。そして、カメラ
ユニット１３２の撮像出力がコントロールユニット１３
３に供給され、このコントロールユニット１３３におい
て、前記赤外線スポットの位置を、当該スクリーン１２
Ｄ上の座標データに変換する。

【００４５】図１の指示位置検出部１３は、この例で
は、鏡１３１、カメラユニット１３２、コントロールユ
ニット１３３で構成されている。そして、指示棒１１Ｐ
の指示位置出力としての座標データ出力が、指示正確さ
演算部４に供給されると共に、出力端６を通じて出力さ
れる。出力端６からの出力は、実際的には、図２に示す
ように、コントロールユニット１３３から、例えば、Ｒ
Ｓ−２３２Ｃインターフェースポートを介して、座標デ
ータ出力を記録したり、処理したりするコンピュータへ
送られる。

【００４６】なお、指示操作部１１としては、上述の例
に限らず、マウス、トラックボールなど、コンピュータ
によって指示座標データが取り込み可能であるものであ
れば、どのようなものでもよい。

【００４７】姿勢検知部３は、ユーザが指示操作を行っ
たときに、指示位置を注視して行ったかどうかの情報を
提供するもので、ユーザの注視位置や注視方向の情報と
して、その情報を得るものである。

【００４８】この姿勢検知部４は、この例では、頭部の
動きを許容した注視点検出装置（飯田、伴野：頭部の動
きを許容した注視点検出装置と指示入力への応用、電子
情報通信学会論文誌、Ｊ７４−Ｄ−II，４，pp.520-527
(1991)．参照）と同様なシステムで構成されている。こ
の場合、注視点検出の対象者は、図２における指示者５
であり、図２では省略したが、指示者５が、この注視点
検出装置を構成する視線情報出力装置を装着するもので
ある。

【００４９】この例の場合、頭部座標系おける眼球の向
きを検出する方法としては、角膜（黒目）と強膜（白
目）の赤外光に対する反射率の違いを利用した角膜強膜
反射法（ＬｉｍｂｕｓＢｏｕｎｄａｒｙＭｅｔｈｏ
ｄ）を用いた、いわゆるアイカメラを用いている。ま
た、頭部の位置および方向を検出するために、三次元磁
気センサを用いている。

【００５０】この実施の形態では、両眼の視線情報を検
知することにより視点（見ている場所）を求める。そし
て、アイカメラと三次元磁気センサとの出力を統合処理
することにより、参加者の絶対座標系における視線情報
を求めるようにしている。なお、この視線情報の検知方
法自体は、この発明の本質的な内容ではなく、前記文献
に詳細に記述されているので、この明細書においては、
さらに詳しい説明は省略する。

【００５１】なお、視線検知をするための方法として
は、角膜、水晶体、瞳孔などの光学的な性質を用いて眼
球の特徴点を検出する方法や、眼球の動きに伴い眼球周
辺部の電位が変化することを利用したＥＯＧ（ｅｌｅｃ
ｔｒｏ−ｏｃｕｌｏｇｒａｐｈｙ）法などさまざまな方
法を用いることができる。また、言うまでもないが、本
発明ではそれらの方法のうちどれかに限定するものでは
ない。

【００５２】また、この姿勢検知部３は、簡略化した方
法として、頭部位置と方向のみを用いるもので構成した
ものであってもよい。その場合には、頭部位置と方向
は、三次元磁気センサを用いることで求めることができ
る。

【００５３】この姿勢検知部３から得られる視線情報
は、指示正確さ演算部４に送られて、前記指示位置検出
部１３からのユーザの指示位置の座標データと共に、ユ
ーザの指示の正確さの度合いを求めるために用いられ
る。

【００５４】演算部４は、実際的には、コンピュータに
より構成される。このコンピュータは、大画面ディスプ
レイ装置１０に内蔵されたものを用いてよいし、大画面
ディスプレイ装置１０とは、別体の構成のものを用いて
も、もちろんよい。

【００５５】この演算部４では、指示位置検出部１３か
らの指示位置の座標データと、指示者について検知され
た視点情報を用いて、指示の正確さを計算する。

【００５６】この例では、指示者の注視点は、指示入力
時点よりも、予め定めた所定時間前までの間で、複数個
を、次のようにして求める。すなわち、図３に示すよう
に、指示入力時点ｔよりも、所定時間だけ前の時点ｓ
（図３のｓ０，ｓ１，ｓ２…）から予め定めた一定時間
Δｔ前までの間において、ある範囲内に視点が収まって
いるかどうかを判断し、収まっていれば、その範囲の中
心を注視点とする。視点が収まっている範囲を検出する
方法としては、例えば画面を単位領域に分け、各単位領
域について視線位置のヒストグラムを作成し、そのヒス
トグラムの値が所定のスレッショールド値を超えたか否
かにより判定して、検出する方法を用いることができ
る。

【００５７】図３を用いてさらに説明すると、まず、前
記指示入力時点ｔよりも所定時間まえの時点Ｓまでの間
で、時点ｓを、ｓ０，ｓ１，ｓ２，…と示すように、順
次Δｓづつ、指示入力時点ｔから前記時点Ｓの方向に、
時点Ｓまで遠ざけて行く。そして、注視点を求める区間
を、時点ｓ０，ｓ１，ｓ２，…から、それぞれ時間的に
遡る方向の前記一定時間Δｔの範囲とし、この範囲での
注視点をそれぞれ求める。すなわち、時刻（ｔ−ｎ・Δ
ｓ）（ｎは自然数）における視点は、その時刻よりもΔ
ｔだけ前の時間の間、所定の範囲に収まっている場合
に、それが注視点とされる。これにより、時点ｓ０（＝
指示操作時点ｔ）から時点Ｓまでの間で、複数個の注視
点を求める。

【００５８】今、時刻ｔにおける指示点をＰ（ｔ）、時
刻ｔにおける視点をＰｅ（ｔ）とする。これら指示点Ｐ
（ｔ）および視点Ｐｅ（ｔ）は、模式的には図４に示す
ように表すことができる。すなわち、視点の軌跡２１に
おいて、前述したように、所定時間Δｔの間に、ある範
囲内に視点が集中したのが、注視点Ｐｅ（ｔ）であり、
模式図に示すように、このとき、指示者の眼球２２は、
その注視点の方向を見ている。このように、視点は単に
目が向いている位置であり、注視点は視点の軌跡の中の
一部である。

【００５９】演算部４は、時刻ｔにおける指示の正確さ
ａ（ｔ）を、前述した時刻ｔ以前の視点情報、すなわ
ち、複数個の注視点の情報を用いる次式（数１）によっ
て求める。

【００６０】

【数１】ここで、数１の演算式（１）において、ｆ（Ｐ（ｔ），
Ｐｅ（ｔ−ｓ））は、時刻ｔにおける指示位置と、時刻
（ｔ−ｓ）における視点（注視点）との距離が離れる
（大きくなる）に従って減少する関数である。また、ｗ
（ｓ）は、重み係数を定める関数で、時刻ｓが指示入力
時刻ｔから徐々に遠ざかるにつれて減少する重み付け関
数である。すなわち、この関数ｗ（ｔ）で定まる重み係
数は、指示入力時刻ｔで最も大きく、時刻ｓが時刻ｔか
ら離れるに従い小さくなる。

【００６１】したがって、数１の演算式（１）によれ
ば、指示者の注視位置と、指示位置が離れていれば離れ
ているほど指示の正確さａ（ｔ）が小さくなり、指示入
力時刻ｔから時間的に以前になるほど、指示の正確さへ
の寄与が小さくなる。そして、これらの値を掛け合わせ
た値の一定時間分の総和を、時刻ｔにおける指示位置Ｐ
（ｔ）の正確さａ（ｔ）としたものである。なお、この
例では、演算式（１）におけるＰｅ（ｔ−ｓ）として注
視点のみ用い、サッケード成分（眼の素早い動き）は、
一般に、人間は物を見ていないと考えられているので、
計算から除外した。

【００６２】以上説明した演算部４における指示の正確
さの度合いを計算する手順を、図５のフローチャートに
示す。

【００６３】まず、ステップ１００おいて、検知された
両眼視線情報から説明者の注視点を、前述したようにし
て求める。そして、ステップ１０１に進み、数１の演算
式（１）を用いて、ユーザの指示入力の指示座標に対し
て、その指示の正確さを求める。

【００６４】以上の例では、指示者の視線情報による注
視点を用いて、指示の正確さの度合いを求めるようにし
たが、他の実施例として、頭部方向を近似的に視線方向
とみなす方法を用いてもよい。その場合は、前記数１の
演算式（１）の関数ｆとしては、例えば、頭部方向を表
す直線とスクリーンとの交点と、指示位置との距離に反
比例するような関数を用いることで実現できる。実際の
頭部方向の検知は前述の三次元磁気センサを用いること
で実現できる。

【００６５】以上説明した実施の形態の指示入力検出装
置によれば、ユーザの指示の正確さを、ユーザの指示点
や指示軌跡の表示情報から認識できる。したがって、直
接ユーザの指示行為を見ていない人物でもその指示の正
確さを知ることができ、指示の意味についての誤解がな
くなる。また、ユーザは、ごく自然な指示行為を行いな
がらも、その指示の正確さを他者に知らせることができ
る。

【００６６】そして、ユーザ指示入力時点以前の姿勢情
報を斟酌して指示の正確さを演算するようにしたので、
ユーザの指示以前の姿勢の時系列情報を、より的確に扱
えるようになるため、ユーザの指示の正確さをより正確
に認識できる。

【００６７】また、上述の実施の形態では、ユーザの見
ている場所を検知する視線認識装置を用いるようにした
ので、より正確にユーザの指示の正確さを認識できる。

【００６８】次に、この発明による記録再生装置の実施
の形態について、図６以下を参照して、説明する。

【００６９】この記録再生装置は、以上のように構成さ
れる指示入力検出装置の機能を用いて構成されるもので
ある。図６は、この実施の形態の記録再生装置を、会議
記録システムに適用した場合の全体構成図を示すもので
ある。また、図７は、この実施の形態の記録再生装置の
機能を中心とした構成を示すブロック図である。

【００７０】図６に示すように、この実施の形態の記録
再生装置は、会議の資料提示および指示入力検出用とし
て、前述の図２に示したような大画面ディスプレイ装置
３０を用いると共に、記録再生を実行する装置として、
パーソナルコンピュータを用いた記録再生部４０を用い
る。図６では、この記録再生部４０の内部は、記録部の
みを示している。

【００７１】そして、図６の例の場合には、会議風景を
ビデオカメラ３１で撮影し、得られる動画の画像信号を
記録再生部４０に記録して格納する。すなわち、ビデオ
カメラ３１からのビデオ信号は、記録再生部４０のビデ
オキャプチャボード４１によりデジタル信号として取り
込まれ、マルチメディア情報記録部４２に順次格納され
る。

【００７２】また、会議参加者用のマイクロホン３２で
会議中の音声を収音し、その音声信号を記録再生部４０
に記録して格納する。すなわち、マイクロホン３２から
の音声信号は、Ａ／Ｄ変換器４３でデジタル信号に変換
され、マルチメディア情報記録部４２に順次格納され
る。

【００７３】また、大画面ディスプレイ装置３０に表示
する画像を提供する図１に示した表示画像提供部は、こ
の例では、記録再生部４０内に設けられる。すなわち、
記録再生部４０のパーソナルコンピュータの表示画像提
供部４８は、会議のための統計グラフデータやその説明
文や画像などからなる資料の電子文書を予め格納して保
持しており、会議中に、ユーザからの提出要求がある
と、それに応じて必要な資料をこれより読み出して、大
画面ディスプレイ装置３０に供給し、そのスクリーン３
０Ｄに表示するように構成されている。

【００７４】なお、電子文書の各ページ（１枚の画像）
ごとに、それを識別するための識別データＩＤ（以下、
画面ＩＤと呼ぶ）が付与されており、それにより、資料
の電子文書の何ページが大画面ディスプレイ装置３０に
表示されたかが識別できるようにしている。

【００７５】そして、大画面ディスプレイ装置３０に提
供された電子文書のデータは、それが大画面ディスプレ
イ装置３０に提供されて表示されたタイミングで、マル
チメディア情報記録部４２に記録される。

【００７６】この実施の形態においては、マルチメディ
ア情報記録部４２には、タイマ部４７からの時刻情報
が、画像情報、音声情報および電子文書のデータの記録
アドレスに対応して記録されている。したがって、時刻
情報を参照することで、各時刻に記録された音声、画
像、電子文書の情報を読み出すことが可能である。

【００７７】この例では、マルチメディア情報記録部４
２は、ハードディスク装置により構成される。なお、こ
のマルチメディア情報記録部４２としては、ハードディ
スク装置に限らず、半導体メモリや光磁気ディスクなど
マルチメディア情報を記録できるものならいかなるもの
でもよい。また、ビデオカメラ３１としてデジタルカメ
ラを使用した場合や、音声信号がデジタル信号に変換さ
れたものであれば、Ａ／Ｄ変換器４３やビデオキャプチ
ャボード４１は不要となる。

【００７８】また、大画面ディスプレイ装置３０の表示
画面において、指示棒１１Ｐを用いて指示しながら説明
等を行う会議参加者５は、前述した姿勢検知手段を構成
する視線情報出力装置３３を装着するように定められて
いる。そして、この視線情報出力装置３３からの視線情
報は記録再生部４０に供給される。また、大画面ディス
プレイ装置３０からの指示位置の座標データも、ＲＳ−
２３２Ｃインターフェースポートを通じて記録再生部４
０に供給される。

【００７９】したがって、図１の例の指示入力検出装置
の演算部は、この実施の形態では、記録再生部４０を構
成するパーソナルコンピュータが備える構成としてい
る。すなわち、視線情報出力装置３３からの視線情報
は、Ａ／Ｄ変換器４４でデジタルデータに変換された
後、演算部４５に供給されると共に、大画面ディスプレ
イ装置３０からの表示画面上の指示位置の座標データ
が、この演算部４５に供給される。そして、この演算部
４５で前述と同様の指示者５の指示の正確さの度合い
（指示の正確さの度合いを、以下、指示精度という）の
演算が行われ、その演算結果が、指示記録部４６に格納
される。

【００８０】また、大画面ディスプレイ装置３０からの
表示画面上の指示位置の座標データは、指示記録部４６
に供給されており、演算部４５の演算結果と対応が付け
られて、この指示位置の座標データが記録される。ま
た、表示画像提供部４８からは、そのときに、大画面デ
ィスプレイ装置３０に提供されて表示されている電子文
書の識別データＩＤ（画面ＩＤ）が、この指示記録部４
６に供給されており、指示座標データは、この画面ＩＤ
に関連付けて、記録されている。

【００８１】なお、一つの電子文書が一つの画面に対応
している場合は、この実施の形態の通りであるが、一つ
の画面に複数の電子文書が存在する場合には、一つの画
面ＩＤに対して、当該複数の電子文書のそれぞれについ
て、その電子文書ＩＤ、表示位置、大きさ情報等を併せ
て記録するようにする。

【００８２】さらに、大画面ディスプレイ装置３０から
の表示画面上に対する指示情報は、タイマ部４７に供給
される。このタイマ部４７は、時々刻々の時刻の情報
を、前述したようにマルチメディア情報記録部４２に出
力すると共に、大画面ディスプレイ装置３０でユーザに
より指示入力があった時点の時刻の情報ＴＭを指示記録
部４６に出力する。指示記録部４６は、この指示入力時
刻の情報ＴＭを、前記指示座標データと指示精度の情報
と関連付けて記録する。この場合、指示入力時刻の情報
ＴＭは、マルチメディア情報記録部４２におけるマルチ
メディア情報の記録アドレスを特定する特定情報を構成
することになる。

【００８３】なお、指示記録部４６は、このように、指
示入力時刻情報ＴＭを記録する代わりに、この時刻にお
けるマルチメディア情報記録部４２の記録アドレスを記
録するようにしてもよい。その場合には、マルチメディ
ア情報記録部４２は、タイマ部４７から、指示入力時点
のタイミング信号ＴＭを受けると、そのときの動画画像
（カメラ出力）、音声、表示画像（電子文書）のマルチ
メディア情報の記録アドレスを、指示記録部４６に供給
するようにする。

【００８４】図７は、図６の記録再生部４０の処理機能
を中心とした機能ブロック図であり、殆どの処理ブロッ
クは、実際的には、パーソナルコンピュータによるソフ
トウエアにより実現されるものである。

【００８５】すなわち、図７に示すように、記録再生部
４０は、システムバス４０１に対して、全体の制御を司
る制御部４１０が接続されると共に、音声入力部４０
２、動画入力部４０３、表示画像取込部４０４、指示入
力検出部４０５、視線情報入力部４０６、指示精度演算
部４０７、表示部４０８、音声出力部４０９が接続され
ている。システムバス４０１には、また、マルチメディ
ア情報記録部４１１、指示記録部４１２、タイマ部４１
３、指定部４１４が接続されている。

【００８６】音声入力部４０２は、図６のＡ／Ｄ変換器
４３に相当する。動画入力部４０３は、図６のビデオキ
ャプチャボード４１に相当する。表示画像取込部４０４
は、表示画像提供部４８からマルチメディア情報記録部
４２に、大画面ディスプレイ装置３０の画面に表示した
電子文書を送る処理を行う。

【００８７】指示入力検出部４０５は、前述したよう
に、大画面ディスプレイ装置３０からの座標データを、
ＲＳ−２３２Ｃインターフェースポートにより取得して
システムバスに出力する。

【００８８】視線情報入力部４０６は、図６のＡ／Ｄ変
換器４４に相当し、視線情報出力装置３３からの視線情
報を取り込むものである。指示精度演算部４０７は、図
６の演算部４５に相当し、指示者の指示の正確さの度合
いである指示精度を、指示入力データが到来するごとに
演算する。

【００８９】表示部４０８は、再生時に、会議の際に提
示された資料の電子文書にユーザ指示情報を重ねて表示
したり、動画を表示したりするためのもので、いわゆる
マルチウインドウ機能を備える。表示部４０８は、図６
に示すモニターディスプレイ５０を備えるものである。
音声出力部４０９は、マルチメディア情報として記録さ
れた音声を再生して出力するもので、図６のスピーカ６
０を備えている。

【００９０】制御部４１０は、マルチメディア情報の入
出力や記録再生の制御、また、ユーザ指示情報の記録再
生の制御を行う。

【００９１】タイマ部４１３は、時刻情報を提供するも
ので、図６のタイマ部４７に相当する。

【００９２】マルチメディア情報記録部４１１は、図６
のマルチメディア情報記録部４２に相当するもので、前
述もしたように、音声入力部４０２からの会議中の音声
情報と、動画入力部４０３からの会議風景の画像情報
と、表示画像取込部４０４からの会議資料の電子文書と
を、タイマ部４１３の時刻情報により関連付けて記録す
るものである。

【００９３】指示記録部４１２は、図６の指示記録部４
６に相当するもので、前述もしたように、指示入力検出
部４０５からの指示者の指示座標データと、指示精度演
算部４０７からの指示精度の情報と、マルチメディア情
報記録部４１２の指示操作時点における記録アドレスを
特定するための情報としてのタイマ部４１１の時刻情報
（指示操作時点の時刻）を、対応付けて記録している。

【００９４】指示記録部４１２の記録データの記録フォ
ーマットの例を図８に示す。この図８において、画面Ｉ
Ｄは、前述した電子文書の識別データＩＤであり、指示
座標は、その電子文書画面上の指示座標位置を表してい
る。指示時刻はその指示が行われた時刻を表す。指示精
度は、その指示の正確さの度合いを表す数値であり、前
述したように演算部４５（演算部４０７）で演算されて
求められた値である。なお、これらの情報に加えて、検
知された姿勢情報などの情報を、併せて記録したフォー
マットであっても構わない。

【００９５】図９は、この指示記録部４１２で制御部４
１０の制御に基づいて行われる記録処理手順のフローチ
ャートである。この記録処理ルーチンは、例えば一定時
間毎に繰り返し実行される。

【００９６】すなわち、ステップ２０１において、指示
入力があるか否か判断し、指示入力がないと判断したと
きには、この処理ルーチンを終了し、次の機会を待つ。
指示入力があると判断したときには、ステップ２０２に
進み、その時の画面ＩＤと、指示座標データと、指示精
度演算部４０７からの指示精度とを取得する。また、ス
テップ２０３で、その時点の時刻情報をタイマ部４１３
から取得し、次のステップ２０４で、それら取得した各
データを、図８のように対応付けて、ハードディスクに
追加記録する。

【００９７】制御部４１０は、上記のような記録制御を
行うほか、記録された会議情報の再生制御を行う。すな
わち、制御部４１０は、記録された音声、動画、電子文
書の時間順の再生を行うほか、指定された特定情報、こ
の例では、時間情報に基づいて、マルチメディア情報記
録部４１１から、大画面ディスプレイ装置３０に表示さ
れた１ページの電子文書を呼び出して表示部４０８のモ
ニターディスプレイ５０の画面に出力すると共に、この
電子文書が表示されていた時間に相当する区間の音声、
動画を、表示部４０８および音声出力部４０９により再
生するようにする。

【００９８】また、このとき、制御部４１０は、表示部
４０８の表示画面に表示されている電子文書の画像上
に、この電子文書のときにユーザにより指示入力された
情報および指示精度の情報を指示記録部４１２から読み
出して表示する再生を行う。複数のユーザ指示情報があ
る場合には、それらは重ねて表示される。

【００９９】この場合、ユーザ指示の位置情報の連続か
らなる指示軌跡を、指示精度の情報と共に、表示部４０
８に重ねて表示してゆく。指示精度の情報の表示態様と
しては、例えば、指示精度について、例えば「高い」
「中程度」「低い」の３段階のランクを設け、各ランク
ごとのスレッショールド値を予め定めておき、各指示座
標データに付随する指示精度がどのランクかを判定し
て、ランクごとに色分けして表示するようにしている。

【０１００】図１０は、この例の場合に制御部４１０で
実行する、前記ユーザ指示情報の表示処理のフローチャ
ートの例である。この表示処理ルーチンは、ある電子文
書が特定されたときに起動される。

【０１０１】まず、ステップ３０１では、指示記録部４
１２の記録データの、指定された時刻における画面ＩＤ
を検出する。次に、ステップ３０２に進み、指示記録部
４１２の記録データ中で、同じ画面ＩＤの指示データの
コラムを読み出す。次にステップ３０３に進み、そのコ
ラムの指示精度についてのランク判定をする。

【０１０２】ランクが「高い」のときには、ステップ３
０４に進み、これを示す第１の色、例えば赤色で、指示
座標が示す画面位置に指示点を表示する。ランクが「中
程度」のときには、ステップ３０５に進み、これを示す
第２の色、例えば緑色で、指示座標が示す画面位置に指
示点を表示する。ランクが「低い」のときには、ステッ
プ３０６に進み、これを示す第３の色、例えば黒色で、
指示座標が示す画面位置に指示点を表示する。

【０１０３】ステップ３０４〜ステップ３０６の後は、
ステップ３０７に進み、指示記録部４１２の記録データ
中に、未だ表示していない同じ画面ＩＤの指示データが
残っているか判断し、存在すれば、ステップ３０２に戻
り、以上の処理を繰り返す。残っていないときには、こ
の処理ルーチンを終了する。

【０１０４】図１１に、モニターディスプレイ５０の表
示画面の様子の例を示す。図１１において、×××××
は文字などのテキスト情報を表すものであり、実線や破
線は、指示点の指示精度を表すもので、この例では、色
の違いを模式的に表したものであり、図１１の場合は、
指示精度が、「高い」（実線）、「低い」（破線）の２
通りとした場合である。

【０１０５】図１１における破線の部分は、ユーザがそ
の部分を注視した指示点ではなく、ほかの箇所を見なが
ら指示した、正確さが低い指示点である。ある指示点と
それに同期して記録されているマルチメディア情報の関
連性が、その指示点の正確さ情報から１００％把握する
ことは不可能であるが、少なくとも指示した時に、それ
を正確に指示したか否かは、その指示と場所との関連性
の大きさを示唆する重要な情報である。

【０１０６】ユーザは、この指示精度の表示を参考にし
ながら、ユーザ指示入力情報に対するマルチメディア情
報を検索することができるので、漫然とユーザ指示入力
を選択してマルチメディア情報を検索する場合に比べ
て、ユーザの意図を反映した検索を行うことができるよ
うになる。

【０１０７】なお、このように色分けにより、指示精度
の違いを表す方法のほかに、表示する指示点の大きさ
を、指示精度に応じて変えるようにしてもよい。その
他、指示点の連続である指示軌跡の線種を、指示精度に
応じて部分ごとに変える、線の太さを変える、指示精度
に応じて指示点に異なるマークを表示する等、種々の変
更が可能である。

【０１０８】ユーザは、上述のようにして、表示部４０
８の表示画面に再現されたユーザ指示点や指示軌跡のう
ちから、その際の会議内容を再現したいと思われる指示
箇所を、指示精度の表示情報をも参照して指定入力する
ことができる。このユーザによる指定入力は指定部４１
４が受ける。そして、指定部４１４は、指示記録部４１
２の記録データを参照し、指定された指示座標に対応す
る指示時刻情報を、指示記録部４１２から取り出し、制
御部４１０に送る。

【０１０９】制御部４１０は、この指定部４１４からの
指示時刻情報に基づいて、マルチメディア情報記録部４
１１（ハードディスク）から、その時刻に対応するマル
チメディア情報を取り出し、モニターディスプレイ５０
や、スピーカ６０に再現したり、その時刻の電子文書を
モニター５０に出力する。電子文書の情報は、プリンタ
等の他の出力手段に出力することもできる。

【０１１０】制御部４１０は、指定部４１４を通じて入
力される時間情報だけではなく、ユーザから直接入力さ
れる時間情報に基づいても、前記と同様にして、マルチ
メディア情報を、その記録部４１１から読み出して再生
する機能も備えている。

【０１１１】指定部４１４で受け取るユーザの指定入力
としては、表示部４０８に、重ね合わせて表示されてい
るユーザ指示情報の特定の点領域だけではなく、この実
施の形態では、例えば図１２の円軌跡５００で示すよう
な所定の大きさを有する閉領域として指定することも可
能とされている。

【０１１２】この場合、この例では、マウスによって円
や矩形領域を設定し、その内部を指定された閉領域とし
ている。もっとも、マウスではなく、ペン入力手段を用
いた手描きによる閉領域の設定であってもよいし、ま
た、その他の入力手段により閉領域を設定するようにし
ても、もちろんよい。

【０１１３】指定部４１４は、上述のように、重ね合わ
せて表示されるユーザ指示情報の特定箇所が指定された
ときに、その指定箇所のユーザ指示に対応する時間情報
を、指示記録部４１２から取得して、制御部４１０に送
るのであるが、この際に、特に、前記のように所定の大
きさを持つ閉領域として指定された場合には、ユーザが
指定した箇所に、複数個のユーザ指示入力情報が存在し
ている場合がある。

【０１１４】このように、指定された箇所に複数個のユ
ーザ入力情報が存在しているときには、この実施の形態
では、指定部４１４は、それら複数個のユーザ指示入力
情報についての指示精度情報を参照して、いずれのユー
ザ指示入力に対応する時刻情報を制御部４１０に送るか
を定めるようにする。

【０１１５】その場合に、指定部４１４に対して、指示
精度について、どのような条件で、ユーザ指示入力情報
の選択を行うかをユーザが指定できるようにしている。
そして、ユーザがこの条件の指定をしないときには、最
も、指示精度が高いユーザ指示入力情報を選択するよう
に定められている。

【０１１６】図１３は、この場合の指定部４１４の処理
動作のフローチャートである。この処理は、例えば一定
時間間隔で、繰り返し行われる。

【０１１７】すなわち、ユーザが、表示部４０８の表示
画面に再現されたユーザ指示軌跡のうちから、会議内容
を再現したいと思われる指示箇所を、指示精度の表示情
報をも参照して入力指定すると、その指定入力がステッ
プ５０１で検知され、次のステップ５０２に進み、指示
記録部４１２の記録データを参照して、同じ画面ＩＤに
おいて、指定された箇所に複数のユーザ指示入力情報が
存在するか否かを判別する。

【０１１８】ステップ５０２で、指定された箇所には一
つのユーザ指示入力情報しか存在していないと判別され
たときには、ステップ５０３に進み、そのユーザ指示入
力情報に対応する時刻情報を指示記録部４１２から取り
出し、ステップ５０７に進んで、その時刻情報を制御部
４１０に送る。

【０１１９】ステップ５０２で、指定された箇所に複数
のユーザ入力情報が存在すると判別されたときには、ス
テップ５０４に進んで、指示精度についての選択条件が
設定されているか否か判断する。選択条件が設定されて
いなければ、ステップ５０５に進み、最も高い指示精度
のユーザ入力情報についての時刻情報を指示記録部４１
２から読み出し、ステップ５０７に進んで、その時刻情
報を制御部４１０に送る。

【０１２０】ステップ５０４で、指示精度についての選
択条件が設定されていないと判別されたときには、ステ
ップ５０６に進んで、選択条件に合致する指示精度のユ
ーザ入力情報を選定し、それについての時刻情報を指示
記録部４１２から読み出し、ステップ５０７に進んで、
その時刻情報を制御部４１０に送る。

【０１２１】前述したように、制御部４１０は、この時
刻情報を元にマルチメディア情報を読み出して再生す
る。図１４は、制御部４１０によるマルチメディア情報
の再生処理のフローチャートである。この処理は、例え
ば一定時間間隔で、繰り返し行われる。

【０１２２】まず、ステップ６０１で、ユーザから直接
入力された時刻情報、あるいは指定部４１４からの時刻
情報があるか否か判断する。時刻情報が送られてきてい
ないときには、この処理ルーチンを終了して、次の機会
を待つ。

【０１２３】ステップ６０１で、時刻情報が送られてき
たと判別したときには、ステップ６０２に進み、送られ
てきた時刻情報に基づいて、その時刻のマルチメディア
情報を、マルチメディア情報記録部４１２から読み出し
て、前述したように、モニターディスプレイ５０および
スピーカ６０を用いて再生出力する。このときのマルチ
メディア情報の再生時間は、例えば、指示記録部４１２
から、対応する時刻のユーザ指示情報の時間的に次のユ
ーザ指示情報の時刻情報を取得して、その時刻に対応す
る時間を終了時点とするようにする。なお、一定の時間
は、必ず、再生を継続して終了するようにしてもよい
し、また、ユーザの明示の停止要求があるまで、再生を
継続するようにしてもよい。

【０１２４】ステップ６０２での指定されたユーザ入力
情報に対応するマルチメディアの再生が終了すると、ス
テップ６０３で、マルチメディア情報の再現モードを終
了する旨のユーザの入力があるか否か判断し、なければ
ステップ６０１に戻り、以上の動作を繰り返す。マルチ
メディア情報の再現モードを終了する旨の入力があれ
ば、この処理ルーチンを終了する。

【０１２５】以上のようにして、ユーザが希望する、例
えば正確な指示操作が行われた部分におけるマルチメデ
ィア情報を自動的に検索して再生することができる。

【０１２６】なお、以上の例では、制御部４１０は、一
つの電子文書画面に、すべてのユーザ指示入力を表示す
るようにしたが、例えば、図１３に示した指定された箇
所に複数のユーザ指示入力があった場合の処理と同様に
して、指示精度を参照して、指示精度が、所定以上のユ
ーザ指示入力情報のみを選択して、その指示精度と合わ
せて表示部４０８の表示画面に表示するようにしたり、
指示精度の高い方の情報を優先して表示するようにして
もよい。

【０１２７】このようにすれば、例えば、ある点が複数
回指示され、しかも、その指示の正確さが異なる場合
は、指示が正確であることを示す情報が優先的に表示さ
れる。すなわち、例えば、ある点を正確に指示した後、
目を離したが、その場所を指示し続けている場合は、時
間が経つにつれてその指示の正確さは悪くなる。しか
し、上述のようにすれば、その点の指示の正確さを表示
する場合に、最も正確であると判断される指示の最初の
時の正確さ情報が表示され、正しい指示精度が表示され
ることになる。

【０１２８】以上の実施の形態の記録再生装置によれ
ば、指示精度をユーザ指示入力情報に対応させて表示す
るようにしたので、ある表示画面上における指示の正確
さを容易に把握でき、その指示と、その指示位置に表示
されている視覚情報との関連性を容易に推測可能とし、
対応する記録情報がある時に、それを再現するか否かの
判断材料を提供することができる。更に、情報再現時に
おいては、その指示の意味がより明確に理解できるよう
になる。

【０１２９】そして、表示画面上のユーザ指示入力情報
を指定するだけで、指示の正確さに応じた、対応するマ
ルチメディア情報を再生するようにすることができる。
その場合に、指定した指示箇所の中に、さまざまな正確
さをもつ指示が混在しているときに、所望の正確さの指
示のみを指定することできる。これによって無駄な検索
や再生が少なくなる。

【０１３０】

【発明の効果】以上説明したように、この発明による指
示入力検出装置によれば、ユーザの指示の正確さを認識
できる。それによって、直接、ユーザの指示行為を見て
いない人物でも、その指示の正確さを知ることができ、
指示の意味についての誤解がなくなる。そして、ユーザ
は、ごく自然な指示行為を行いながらも、その指示の正
確さを他者に知らせることができる。

【０１３１】また、この発明による記録再生装置によれ
ば、表示画面に表示された画像に重ねて表示されるユー
ザ指示入力についての指示の正確さを把握でき、その指
示とその指示位置に表示されている視覚情報との関連性
が推測可能となる。また、指示入力に関連して記録され
ている情報を、再現するか否かの判断材料を提供するこ
とができる。

【図面の簡単な説明】

【図１】この発明による指示入力検出装置の一実施の形
態の構成を示すブロック図である。

【図２】この発明による指示入力検出装置の実施の形態
に用いた指示入力検出部の構成を示す図である。

【図３】ユーザ指示の正確さの演算を説明するための図
である。

【図４】視点とユーザ指示入力位置との関係を示す図で
ある。

【図５】ユーザ指示の正確さの演算のフローチャートを
示す図である。

【図６】この発明による記録再生装置のシステム概観を
示す図である。

【図７】この発明による記録再生装置の一実施の形態の
構成を示すブロック図である。

【図８】この発明による記録再生装置の一実施の形態の
指示記録部の記録フォーマットの一例を示す図である。

【図９】この発明による記録再生装置の一実施の形態の
指示記録部への記録処理の一例のフローチャートであ
る。

【図１０】この発明による記録再生装置の一実施の形態
の制御部のユーザ指示入力情報の再現処理の一例のフロ
ーチャートである。

【図１１】表示画面に、表示画像に重ねて表示されたユ
ーザ指示の軌跡を表示した時の様子を示す図である。

【図１２】図１１の表示画面において、表示されたユー
ザ指示軌跡の特定箇所を、ユーザが選択指定した時の様
子を示す図である。

【図１３】この発明による記録再生装置の一実施の形態
の指定部の処理ルーチンの一例を示す図である。

【図１４】この発明による記録再生装置の一実施の形態
の制御部のマルチメディア情報再生処理ルーチンの一例
を示す図である。

【符号の説明】

１指示入力検出部２表示画像提供部３姿勢検出部４指示正確さ演算部１０大画面ディスプレイ装置１１指示操作部１２表示部３１ビデオカメラ３２マイクロホン３３視線情報出力装置４０記録再生部４０１システムバス４０２音声入力部４０３動画入力部４０４表示画像取込部４０５指示入力検出部４０６視線情報入力部４０７指示精度演算部４０８表示部４０９音声出力部４１０制御部４１１マルチメディア情報記録部４１２指示記録部４１３タイマ部４１４指定部

Claims

【特許請求の範囲】

【請求項１】表示画面上に対するユーザの指示入力を検
出する装置であって、ユーザの指示入力手段と、前記指示入力手段で指示された前記表示画面上の指示位
置を検出する指示位置検出手段と、前記指示入力手段を用いて指示入力するユーザが注視し
ている位置または方向を検知する姿勢検知手段と、前記指示位置検出手段で検出された前記指示入力手段に
よる指示位置と、前記姿勢検知手段の出力情報とから、
ユーザの指示の正確さの度合いを演算する演算手段とを
備え、前記指示位置検出手段からの前記指示位置の検出出力
と、前記演算手段からの前記指示の正確さの度合いの情
報とを出力することを特徴とする指示入力検出装置。
【請求項２】請求項１記載の指示入力検出装置におい
て、前記演算手段は、前記指示入力手段による指示位置と、前記姿勢検知手段
により検知される前記ユーザが注視している位置または
方向との隔たりを計算するものであって、前記指示操作以前の時刻方向における、複数個の時刻で
の前記隔たりの計算結果のそれぞれに対して、予め定め
た重み係数を掛けて、その総合の計算結果に基づいてユ
ーザの指示の正確さの度合いを演算することを特徴とす
る指示入力検出装置。
【請求項３】請求項１または請求項２に記載の指示入力
検出装置において、前記姿勢検知手段として視線認識装
置を用いることを特徴とする指示入力検出装置。
【請求項４】画像情報、音声情報、文字情報のうちの少
なくとも一つの情報を、順次に記録する主情報記録手段
と、ユーザの指示入力手段と、前記指示入力手段で指示された前記表示画面上の指示位
置を検出する指示位置検出手段と、前記指示入力手段を用いて指示入力するユーザが注視し
ている位置または方向を検知する姿勢検知手段と、前記指示位置検出手段で検出された前記指示入力手段に
よる指示位置と、前記姿勢検知手段の出力情報とから、
ユーザの指示の正確さの度合いを演算する演算手段と、前記指示位置検出手段で検出された前記表示画面上にお
ける指示位置の情報と、その指示位置に対するユーザの
指示の正確さの度合いの情報と、その指示入力時点に時
間的に対応する前記主情報記録手段の情報記録位置を特
定する情報とを、対応付けて記録する指示記録手段と、を備えることを特徴とする記録再生装置。
【請求項５】請求項４に記載の記録再生装置において、表示画面に、前記主情報記録手段からの視覚的な情報を
表示すると共に、それに重ね合わせて、前記指示記録手
段の前記指示位置の情報のそれぞれに基づく指示表示お
よびそのユーザの指示の正確さの度合いの情報の表示を
行う制御手段を設けたことを特徴とする記録再生装置。
【請求項６】請求項５に記載の記録再生装置において、前記表示画面に表示された前記指示位置の情報に基づく
指示表示の中から所望のユーザ指示箇所を指定する指定
手段と、前記指定手段によって指定された表示画面上のユーザ指
示箇所位置に、時間的に異なる複数のユーザ指示情報が
ある場合に、前記ユーザの指示の正確さの度合いの情報
に基づいてユーザ指示情報を選択し、当該選択したユー
ザ指示情報の指示入力時点に時間的に対応する前記主情
報記録手段の主情報を、前記指示記録手段の前記主情報
記録手段における情報記録位置を特定する情報に基づい
て再生する制御手段を有することを特徴とする記録再生
装置。
【請求項７】請求項６に記載の記録再生装置において、
前記指定手段は、当該指定手段によって指定された表示
画面上のユーザ指示箇所位置に、複数のユーザ指示情報
がある場合に、いずれのユーザ指示情報を選択するかの
選択条件としてのユーザの指示の正確さの度合いの程度
を指定する機能を備えることを特徴とする記録再生装
置。