JPH06318235A

JPH06318235A - 資料呈示装置

Info

Publication number: JPH06318235A
Application number: JP5074723A
Authority: JP
Inventors: Miyoshi Fukui; 美佳福井; Mieko Asano; 三恵子浅野; Akira Morishita; 明森下
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1993-03-31
Filing date: 1993-03-31
Publication date: 1994-11-15
Anticipated expiration: 2017-12-24
Also published as: JP3359948B2

Abstract

(57)【要約】【目的】本発明は、適切に頁めくりをしながら資料の呈
示を行うことができる安価で実用的な資料呈示装置を提
供する。【構成】データ入力部１１より入力される頁内容データ
と頁制御データを記憶部１２の頁内容データ記憶部１２
１と頁制御データ記憶部１２２に記憶するとともに、頁
内容データ記憶部１２１に記憶された頁内容データを複
数頁同時に表示部１４に表示可能にしていて、頁制御デ
ータ記憶部１２２に記憶された頁制御データから表示部
１４に対する各頁内容データの呈示順序と呈示位置を頁
データ呈示部１３より決定するとともに、表示部１４の
ユーザの注視点かを検出する注視点検出部１８とユーザ
の行動を検出するユーザ行動検出部１７より検出される
出力に基づき頁めくり判定部１６により頁めくりタイミ
ングを判定し、頁データ呈示部１３に対し表示部１４に
対する頁内容データの頁めくりを指示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、資料の頁めくりを自動
的に行う資料呈示装置に関する。

【０００２】

【従来の技術】近年、楽器の自動演奏や、譜面読みと
り、音楽データベース化、作曲、編曲など、音楽のいろ
いろな局面にコンピュータが利用されている。特に電子
楽器はＭＩＤＩ（Musical Instrument Digital Interfa
ce）規格で統一されており、演奏情報のやりとりは一般
的になっている。ＭＩＤＩ楽器を対象とする演奏支援は
複数商品化されており、演奏に追随して楽譜を呈示した
り、伴奏をつけるシステムなどがある。また電子キーボ
ードなどでは、次に弾くべきキーの位置をＬＥＤで示す
教示用の機能を持つものも多い。

【０００３】しかし、ＭＩＤＩが適用されないアコース
ティックな楽器は依然として存在している。そして、こ
のような電子化されていない楽器の練習支援、あるいは
デモ演奏用として、ピアノの自動演奏システムのように
演奏情報を記憶して再生するものは知られているが、演
奏にあわせて楽譜を呈示するシステムはない。

【０００４】従って、演奏者は、従来通り、紙の楽譜を
見るか暗譜をするかしかなく、楽譜の譜めくりをしよう
とすると、切れ目のない曲の場合演奏の中断を余儀なく
され、また、折れ、破れなどの楽譜の破損や、めくりそ
こない、楽譜の転落などもおこしやすい。また、演奏す
る場所や演奏者の視力によっては楽譜がみえにくいこと
もあり、演奏者の心理的・物理的な負担となっている。
また、ピアノで他の楽器に伴奏をつける時に限って、演
奏者以外の人間が横に座って譜めくりを行う慣例がある
が、これも演奏への集中を乱される点が多く、演奏者の
心理的負担が大きい。

【０００５】ところで、最近になって、録音された演奏
データから演奏情報を抽出し、印刷された楽譜の認識結
果と対応づけする技術が開発されている。このような技
術で比較的容易な方法として、演奏データからピッチを
抽出し、楽譜と対応させることは可能ではある。

【０００６】しかし、これらの技術では、いまだ精度が
十分でなく、実際の演奏や練習中によくある、誤りや省
略・アドリブ、曲の途中から演奏を開始する場合や、任
意の位置での繰り返し等には対応できない。例えば、ま
ったく同じフレーズが何度も出てくる曲の場合、演奏デ
ータだけでは楽譜の位置を特定することは不可能であ
る。これらの問題点を解決しようとすると大きくて高価
な商品となり、紙の楽譜の代用品にはならない。

【０００７】一方、一般の資料呈示装置に目をむける
と、キーボード・マウス・ペンやタッチパネル・リモコ
ン・フットペダル・音声認識など、さまざまな形態のイ
ンターフェースを用いて頁めくりの指示が与えるものが
考えられている。

【０００８】しかし、時間遅れが許されない緊迫した状
況で、両手が使えず声を出して指示することもできず、
フットペダルも使いづらいような状況下では、上述のイ
ンターフェースでは十分でない。

【０００９】例えば、放送用や劇場用・音楽スタジオ等
で、照明、舞台装置、音響効果、あるいは音声のミキシ
ングやカメラの切り替え等を指示する場合のように、声
は他の部屋との連絡を行うために使っており、両手は操
作盤、足元は暗くてフットペダルを操作しにくく、台本
の頁めくりを行う余裕がない場合が考えられ、また、テ
レビのアナウンサーが、カメラに向かいながら台本や手
元資料を頁めくりするような場合も考えられるが、いず
れの場合も従来の頁めくりの指示方法では不十分であ
る。

【００１０】同様にして、最近、客先や会議などでプレ
ゼンテーションの機会が増えているが、ＯＨＰやビデオ
の操作は、緊張している発表者（プレゼンタ）にとって
は大きな負担になっている。もちろん、聴衆にとっても
見苦しく、話の中断によって発表への興味を阻害され
る。スライドのようにプレゼンタとは別に操作者がいる
場合は、プレゼンタの音声を用いて操作者への指示を行
っているが、やはり聴衆にとっては聞き苦しい。多くの
場合、会場でリハーサルをする時間的余裕がないため、
プレゼンタの望むタイミングが操作者に伝わらず、スラ
イドの入れ替え時にミスが起こりやすい。

【００１１】最近では、プレゼンタの手元にパーソナル
コンピュータ等の計算機とモニタを用意し、モニタと同
じ表示画面をスクリーンに投影して、呈示資料の頁めく
りや、ビデオの再生・中断・巻き戻し・早送りなどの指
示を、マウス等を用いて行うプレゼンテーション装置も
ある。計算機になれているプレゼンタにとっては、ＯＨ
Ｐの取り替えやビデオのリモコン操作よりは負担が少な
い。しかし、一般のプレゼンタにとっては、負担が増す
ことになりかねない。計算機を用いる場合は、手元のモ
ニタかスクリーンに対して正面に位置しないと、正確な
操作が行えない。マウスなどの操作具も場所を取り、自
由に持ち歩けない。このためプレゼンタは計算機の前に
座ったままプレゼンテーションを行わなくてはならず、
行動半径が極端にせまくなってしまう。プレゼンタ自身
の表現能力をいかすためには、発表中もある程度自由に
動き回れなくてはならない。

【００１２】また、このようにプレゼンタと聴衆の間に
明示的に計算機が割り込むと、聴衆との親密な関係が築
きにくいという問題が生じる。プレゼンタは計算機の操
作に没頭するあまり、聴衆の状態に無関心になり、聴衆
は計算機の呈示画面に集中するあまり、プレゼンタ自身
の言葉への興味をなくす状況がみられる。双方向通信機
能を活かした会議などの場合はともかく、プレゼンタと
聴衆が実際にその場に居合わせている際は、直接的なコ
ミュニケーションが第一の目的のはずである。計算機の
存在がプレゼンタ以上には目立ってはならない。そのた
めには、プレゼンタも聴衆も頁めくりの指示を意識しな
いようなインタフェースが不可欠である。現在のとこ
ろ、このような問題を解決するようなプレゼンテーショ
ン装置は存在していない。

【００１３】人間の頭の位置・向きなどから算出した視
点位置を、コンピュータの入力情報として活用する試み
が、臨場感会議や仮想現実感（バーチャルリアリィテ
ィ）、遠隔地監視などの分野で行われている。実際の視
点位置とディスプレイに表示された空間上の視点位置を
対応させることにより、首振りなどの自然な動作で表示
内容を変化させることができる。ただし、これらは精度
が低く装置も大がかりなため、頁めくり指示には不適当
である。精度の高いものとしては、眼球運動などから直
接視点位置を算出する方法がある。ディスプレイに表示
された物体や、特定の操作を意味するアイコンを指示す
るために、ユーザは一定時間その物体を凝視させるシス
テムがある。ただし、人間の視点制御は無意識のうちに
行われることが多く、特に両手が使えないような極限状
態においては、集中してディスプレイの一点を凝視する
ことは不可能なので、これだけでは有効な頁めくり指示
インタフェースとはなり得ない。

【００１４】

【発明が解決しようとする課題】このように、資料呈示
装置は、楽器演奏の際の楽譜の譜めくり、放送用や劇場
用・音楽スタジオ等での演出の際の台本の頁めくり、客
先や会議などでのプレゼンテーションの際のスクリーン
に投影した呈示資料の頁めくりなど、さまざまな用途へ
の利用が考えられているが、これら利用に応じて適切に
頁めくりをしながら資料呈示するものはなく、利用者に
とって十分に満足いくものが存在していないのが現状で
あった。

【００１５】本発明は、上記事情に鑑みてなされたもの
で、適切に頁めくりをしながら資料の呈示を行うことが
できる、安価で実用的な資料呈示装置を提供することを
目的とする。

【００１６】

【課題を解決するための手段】本発明は、少なくとも頁
内容データと頁制御データを入力するデータ入力手段
と、このデータ入力手段より入力される各データを記憶
する記憶手段と、

【００１７】この記憶手段に記憶された頁内容データを
複数頁同時に表示可能にした表示手段と、前記記憶手段
に記憶された頁制御データから前記表示手段に対する各
頁内容データの呈示順序と呈示位置を決定する頁データ
呈示手段と、前記表示手段のどの頁の表示をユーザが注
視しているかを検出する注視点検出手段と、この注視点
検出手段によって前記表示手段を注視していると判断さ
れたユーザの行動を検出するユーザ行動検出手段と、こ
のユーザ行動検出手段より検出されたユーザ行動データ
と前記注視点検出手段によって検出された注視点データ
に基づいて頁めくりタイミングを判定するとともに前記
頁データ呈示手段に対し前記表示手段に対する頁内容デ
ータの頁めくりを指示する頁めくり判定手段により構成
されている。

【００１８】また、本発明は、原稿よりイメージデータ
を読み取るイメージデータ読み取り手段と、前記原稿に
対するコードデータを入力するコードデータ入力手段
と、前記イメージデータ読み取り手段より入力されるイ
メージデータおよび前記コードデータ入力手段より入力
されるコードデータを記憶する記憶手段と、この記憶手
段に記憶されたイメージデータとコードデータを同時に
表示可能にする表示手段と、前記記憶手段にそれぞれ記
憶されたコードデータ量とイメージデータを比較し前記
コードデータに相当する前記イメージデータ部分を当該
コードデータとともに前記表示手段に呈示させるデータ
呈示手段により構成されている。

【００１９】

【作用】この結果、本発明によれば、ユーザの注視点と
行動の履歴から、自動的に頁めくりを行うタイミングを
決定することができるので、楽器の演奏時など両手が使
えない状態でも、適切なタイミングで頁を切り替えるこ
とにより、ユーザの頁めくり操作に伴う物理的・心理的
負担を軽減できる。

【００２０】また、本発明によれば、手書き原稿をスキ
ャンで読み取ったイメージデータとワープロで入力した
コードデータを同一画面に表示することにより、ワープ
ロ入力とともに、原稿も表示画面で見られるようにな
り、しかも、イメージデータの表示領域は、ユーザが入
力したワープロデータ量に応じてスクロールするなど、
ユーザの入力データに応じて見易く原稿を移動、改頁で
きるようになる。

【００２１】

【実施例】以下、本発明の一実施例を図面に従い説明す
る。図１は、同実施例の概略構成を示すもので、ここで
は楽器演奏の際の楽譜の譜めくりを可能にした電子楽譜
に適用した例を示している。

【００２２】図において、１１はデータ入力部で、この
データ入力部１１は、ＦＤドライブなどからななってい
て、頁内容の実データ（頁ごとの楽譜データ）、曲名や
各頁の順序関係などのデータ（頁制御データ）などを、
例えば３．５インチフロッピーディスク（ＦＤ）から読
み取るようにしている。そして、この入力部１１で読み
取られたデータは、ハードディスクなどからなる記憶部
１２に送られる。記憶部１２は、頁内容データ記憶部１
２１、頁制御データ記憶部１２２、履歴記憶部１２３か
らなっている。

【００２３】ここで、頁内容データ記憶部１２１は、入
力部１１から与えられる頁内容の実データ（頁ごとの楽
譜データ）を記憶し、頁制御データ記憶部１２２は、入
力部１１から与えられる曲名や各頁の順序関係などのデ
ータ（頁制御データ）を記憶するようにしている。ま
た、履歴記憶部１２３は、ユーザ行動抽出部１７、注視
点検出部１８、頁めくり指示検出部１５および頁データ
呈示部１３からの出力が与えられ、ユーザの行動および
注視点、頁めくり指示などからユーザの頁めくり指示情
報と演奏中かどうかの情報とを関係づけて、頁操作に関
する履歴を保存するようにしている。

【００２４】そして、記憶部１２の頁内容データ記憶部
１２１および頁制御データ記憶部１２２からの出力は、
頁データ呈示部１３に送られ、頁制御データ記憶部１２
２および履歴記憶部１２３からの出力は、頁めくり判定
部１６に送られる。

【００２５】頁めくり判定部１６は、頁めくり指示検出
部１５を通して与えられるユーザの頁めくり指示情報
や、記憶部１２の頁制御データ記憶部１２２の頁制御デ
ータと履歴記憶部１２３からの履歴情報をもとに、次に
どのタイミングでどの頁をどの位置に呈示するかなどを
決定するようにしている。

【００２６】頁データ呈示部１３は、頁制御データ記憶
部１２２の頁制御データ、頁めくり判定部１６から送ら
れる頁めくり情報をもとに、次に表示する頁内容データ
記憶部１２１の頁内容データを表示部１４へ送るように
している。表示部１４では、頁めくり判定部１６から送
られた頁内容データを指定された位置に表示する。

【００２７】なお、ユーザ行動抽出部１７は、ユーザの
現在の行動から楽器を演奏中かを検出するものである。
また、注視点検出部１８は、現在ユーザが注視している
ディスプレイ上の位置を検出し、注視し始めた時間と継
続時間などの情報を検出するようにしている。図２は、
このように構成した電子楽譜の外観を示すものである。

【００２８】この場合、２０は電子楽譜本体で、この電
子楽譜本体２０は、Ａ４×２枚サイズの折り畳み構造に
なっていて、表示部１４として２頁分同時表示可能な薄
型ディスプレイ２１を有している。この場合、電子楽譜
本体２０の外観は、図２の形状にはこだわらず、複数頁
同時表示できる大きさで譜面台に乗る重さであればよ
い。

【００２９】電子楽譜本体２０の各ディスプレイ２１の
上部に、注視点検出部１８の小型カメラ２４を設けてい
る。この場合、図示のように左右の頁に分かれて設けら
れる場合は、左右に微弱なレーザー光の発射装置と小型
カメラを用意し、どちらの頁を注視しているか検出する
ようにできる。そして、どちらの頁を、何時から何秒間
注視していたかの情報は、上述した履歴記憶部１２３に
送られる。

【００３０】また、電子楽譜本体２０の一方のディスプ
レイ２１の上部に、ユーザ行動検出部１７の内蔵マイク
２３を設けている。この場合、内蔵マイク２３は、周囲
の音響データを収集するもので、対象とする楽器の演奏
データが含まれているかによって、演奏中かどうかな
ど、ユーザの現在の状態を判断するものである。そし
て、ユーザの現在の状態情報は、、上述した履歴記憶部
１２３に送られる。

【００３１】また、電子楽譜本体２０の各ディスプレイ
２１の下部に、頁めくりキー２２を設けている。この頁
めくりキー２２は、手を使える場合に手によるめくり操
作を可能にするものである。

【００３２】しかして、図１のデータ入力部１１に入力
されるデータは、例えば、図３（ａ）に示す各楽譜の曲
名・作曲者名などの文字情報３１、同図（ｂ）に示す楽
譜本体のコードデータ（あるいはイメージデータ）３２
および同図（ｃ）に示す各曲の頁データの呈示順序を示
す楽譜構造データ３３からなっていて、これらは３．５
インチフロッピーなどに保存され、ユーザは曲名を選択
するなどにより、所望の曲の楽譜が頁内容記憶部１２１
および頁制御データ記憶部１２２に読み出される。

【００３３】頁データ呈示部１３では、記憶部１２に新
規の楽譜データが読み込まれると、頁制御データ記憶部
１２２から呈示順序データにより、頁内容記憶部１２１
に記憶された楽譜本体の先頭から２頁までの楽譜が読み
出され、表示部１４に、初期状態として図４（ａ）に示
すよう左頁に１頁目、右頁に２頁目の楽譜が表示される
ようになる。そして、これらの表示状況は履歴記憶部１
２３へ送られ記憶される。

【００３４】ここで、次頁を見たいとき、手を使える場
合は手で頁めくり操作を行うことが可能であり、この場
合は、図２に示す頁めくりキー２２を操作する。する
と、頁めくり指示検出部１５より頁めくり判定部１６に
頁めくり情報が与えられ、この情報に基づいて、次に表
示する頁内容データ記憶部１２１の頁内容データが表示
部１４に表示される。

【００３５】図５（ａ）（ｂ）（ｃ）（ｄ）は、頁めく
りキー２２に付される表示の具体例を示すもので、同図
（ａ）は、頁のめくり方向に応じた矢印５１、同図
（ｂ）は、頁をめくる様子を表すアイコン５２、同図
（ｃ）は、キーの形そのものが折れた頁下部の様子の模
擬表示５３がそれぞれ付され、同図（ｄ）は、右頁下と
左頁下にキー表示５４が一組づつ配置され、左右どちら
の手でも頁めくりをし易くしている。

【００３６】そして、これらのキー２２を押すと、紙の
頁めくりと同じように見開き２頁同時にめくることがで
きる。つまり、右側のキーで次頁と次々頁が、左側のキ
ーで前々頁と前頁が、それぞれ左右の頁に表示されるよ
うになる。

【００３７】ここで、図２２に示す右側の頁めくりキー
２２を押したあとの表示部１４の状態を図４（ｃ）に示
す。左頁に３頁目が、右頁に４頁目が表示されている。
この場合、左の頁のみ先に書き換え（図４（ｂ））、少
し時間をおいて右頁を書き換える（図４（ｃ））ように
してもよい。この間の時間設定が変えられるようにする
ことも可能である。

【００３８】また、片方の頁のみをめくるようにするこ
とも可能であり、この場合、片方の頁のみめくるための
キーを別に用意してもよい。この場合、左頁のみめくる
と図４（ｂ）のような状態になり、その後、右頁のみ頁
めくりの指示を与えると、図４（ｃ）の状態になる。そ
して、これらの手作業における頁めくり操作と、それに
よって現在どの頁が表示されているかの情報は、履歴記
憶部１２３へ送られ記憶される。ユーザが、楽器の演奏
中は、主に自動頁めくりが行われる。この場合の自動頁
めくりを実現する頁めくり判定部１６の動作を図６に従
い説明する。

【００３９】いま、楽譜は全４頁からなっているものと
し、表示部１４には、初期状態として図４（ａ）に示す
よう左頁に１頁目、右頁に２頁目の楽譜が表示されてい
るものとする。

【００４０】まず、頁めくり判定部１６では、履歴記憶
部１２３から現在表示中の頁の後の頁を見て、この頁と
頁制御データ記憶部１２２のデータと比較し、次に呈示
すべき頁がまだ残っているかを判定する（ステップ６
１）。この場合、表示される最新の頁は２頁目であるか
ら、呈示すべき頁はあと２頁残っている。

【００４１】次に、ユーザ行動検出部１７によりユーザ
の現在の状態を判断する（ステップ６２）。この場合、
図２に示すような内臓マイク２３で収集した音響データ
を解析し、対象とする楽器の演奏データが含まれている
かによって、ユーザが演奏中かどうかを判定する。そし
て、演奏中か否かの検出結果は、履歴記憶部１２３に記
憶され、演奏中でなければ演奏がはじまるまで、ステッ
プ６２の状態が保持される。

【００４２】ユーザが演奏中の場合は、現在まで演奏が
継続していた時間（継続演奏時間）を履歴記憶部１２３
のデータから算出する。そして、継続演奏時間がある基
準時間のＡ秒を越えいれば、次ステップ６４に進み、越
えていなければステップ６２へ戻る（ステップ６３）。

【００４３】この状態で、注視点検出部１８により注視
頁を検出する。この場合、図２に示す小型カメラ２４に
より、どちらの頁を何時から何秒間注視していたかを検
出し、この検出情報は、逐次、履歴記憶部１２３へ送ら
れ記憶される。

【００４４】ここでの注視状態とは、あるていどの時間
視点がどちらかの頁に留まっていることと規定し、あま
り短い時間は注視したと判定しないようにする。つま
り、ちらっと確認するために見たような場合は省かれ
る。

【００４５】これにより、演奏が始まり継続演奏時間が
Ａ秒を越えたなら、現在までの注視点履歴情報を用い
て、表示中の前の方の頁（この場合は１頁目）を最後に
注視してからどれくらいの時間が経過しているか（非注
視時間）を算出する。そして、非注視時間が基準時間Ｂ
秒を越えていれば、次ステップ６５に進み、越えていな
ければ、ステップ６２へ戻る（ステップ６４）。

【００４６】前の頁への非注視時間がＢ秒を越えている
場合は、表示されている最新頁（この場合は２頁目）へ
の注視時間の合計を、履歴記憶部１２３の注視点履歴情
報を用いて算出し、この合計時間と基準時間Ｃ秒を比較
する（ステップ６５）。

【００４７】ここで、合計時間がＣ秒を越えていれば、
前の頁の表示位置に対して、次に表示すべき頁データを
表示するよう頁データ呈示部１３へ指示を送る（ステッ
プ６６）。一方、越えていない場合は、最新頁への非注
視時間を算出して基準時間Ｄ秒と比較し（ステップ６
７）、ここで基準時間Ｄを越えていたら前の頁を書き換
える指示を出力し、越えていない場合はステップ６２へ
戻るようになる。

【００４８】頁データ呈示部１３では、頁めくり判定部
１６から前頁を書き換える指示が与えられると、この指
示に従い、１頁目のデータが表示されていた左頁を３頁
目のデータに書き換える（図４の（ｂ））。また、演奏
がつづき、注視点が３頁目に移動して、２頁目に対する
非注視時間がＢ秒経過すると、今度は右頁が４頁目に書
き換えられることになる。

【００４９】このようにして、ユーザが楽器の演奏中
は、ユーザ行動検出部１７と注視点検出部１８からの検
出情報に従って、楽譜の１頁目から４頁までが自動的に
めくられるようになる。

【００５０】なお、このような演奏時の履歴を楽譜デー
タとともに記憶しておけば、自動譜めくりがうまく働か
ない場合でも、手動でめくったタイミングを学習させる
ことができる。

【００５１】この場合、演奏後に、履歴記憶部１２３の
内容から、図７に示すような頁めくりタイミングデータ
を切り出して、頁制御データの付加情報として記憶する
ようになる。また、記憶させた頁めくりタイミングデー
タを使って、演奏が始まってから終わるまでの間、前回
と同じタイミングで頁をめくることも可能である。

【００５２】この場合、図８乃至図１０に示すように、
頁めくりタイミングデータを編集するエディタを用意
し、自動頁めくりがうまくいかない頁のみ、決められた
時間になったら頁めくりするように指定することができ
る。

【００５３】例えば、図８（ａ）に示すように「タイミ
ング」ボタン８１を押すと、同図（ｂ）に示すように、
現在表示中の楽譜に対応する頁めくりタイミングデータ
の一覧が表示される。

【００５４】そして、このような一覧から、例えば、カ
ーソルボタン８２を押すと、斜線で示すカーソル位置が
上下する。この例では、画面の下に操作を誘導するメッ
セージ８０が表示されている。

【００５５】そして、このメッセージに従って所望する
タイミングデータの位置にカーソルをあわせて、選択ボ
タン８３を押すと、図９（ａ）に示すようにタイミング
データが表示される。この例では、手動で頁めくりを行
った動作には、手の形のマークがついている。

【００５６】ここで、図９（ｂ）に示すように、斜線で
示すカーソル位置を「手動頁めくり」８４に合わせて、
上述の選択ボタン８３を押すと、変更画面８９が表示さ
れる。そして、この変更画面８９の「時刻」８５にカー
ソルを合わせて選択ボタン８３を押すと、時刻が変更で
きる。また、この時刻を変更したあと選択ボタン８３を
押し、同様にカーソルを動かして、図１０（ａ）に示す
「動作」８６を選択すると、手動から「タイミング」に
変更され、時間がきたら頁めくりを行うようになる。な
お、手動では両頁一度に頁めくりをする動作だったが、
図１０（ｂ）の「右頁」８７を選んで、右頁は変更しな
いようにもできる。

【００５７】そして、最後に図１０（ｃ）に示す「変
更」８８を選択し、データの変更を完了する。同様にし
て、すべての頁めくりを時間で行うように指定すること
もできる。このようにして編集したタイミングデータを
頁制御データとともに記憶することで、再利用すること
ができる。次に、練習中に楽譜に対して、紙の楽譜と同
様に、速度、演奏方法の指示などのメモ情報を書き込め
るようにもできる。この場合、例えば電子ペンなどの入
力デバイスを用いて入力し、楽譜データとともに記憶す
るようになる。

【００５８】図１１は、予め用意されるメモ情報や音
名、強弱記号等のコードの呈示方法を指示する画面を示
している。また、この画面は、メモ情報の一部だけ表示
したり、強弱記号を点滅させる、色を変えて表示するな
どの演奏支援機能を指定できるようになる。

【００５９】図１２に譜面中にメモ情報１２１を書き込
んだ表示例を示している。この場合、図１１のかわり
に、図１３に示すように、直接メモ情報１３１を表示
し、表示の有無や表示方法を指定してもよい。また、表
示スケールの指定を加えれば、楽譜の複雑な部分や視力
の不十分な人へはズームアップして見せることも可能で
ある。次に、本発明の他の実施例を説明する。この他の
実施例では、上述の楽譜の頁めくり手法をプレゼンテー
ション資料呈示装置に応用するようにしている。

【００６０】この場合、ユーザの行動は、楽器の演奏デ
ータではなく、講演する音声によって検出する。また、
図１４に示すように、プレゼンタには二つのモニタ画面
１４１、１４２が用意される。この場合のモニタ１４
１、１４２は、例えば机の上に２枚広げておける程度の
大きさで、立ったままで文字が見えるものとする。

【００６１】プレゼンタのモニタ１４１、１４２は、楽
譜と同じような仕組みで頁めくりが行われる。そして、
聴衆へは、プレゼンタのモニタ１４１、１４２の一方と
同じ表示をスクリーン１４３に投影してみせる。ただ
し、スクリーン１４３へ投影するデータの切り替えは、
モニタ１４１、１４２の頁めくりと同期させず、プレゼ
ンタがある一定の基準時間（Ｅ秒）連続して注視した方
のモニタ１４１、１４２のデータを見せるようにする。
次に、その動作を簡単に説明する。

【００６２】この場合、図１４（ａ）で、プレゼンタが
左のモニタ１４１をＥ秒間注視すると、スクリーン１４
３の表示は左モニタ１４１と同じ１番の資料が呈示され
る。次に、同図（ｂ）に示すように、プレゼンタが右の
モニタ１４２をＥ秒間注視すると、スクリーン１４３の
表示は右のモニタ１４２と同じ２番の資料に切り替わ
る。

【００６３】その間、プレゼンタは左モニタ１４１を見
ても聴衆を見てもスクリーン１４３を見ても良く、Ｅ秒
に満たなければ右モニタ１４２を確認のためにちらっと
見てもよいし、自由に動き回ることも可能である。

【００６４】図１４（ｂ）の状態になったあと、上述し
た図６の頁めくり判定規則により、基準時間Ｃ秒たつ
と、図１５（ａ）に示すように、左のモニタ１４１には
次の資料３番が呈示され、同図（ｂ）のように、左のモ
ニタ１４１をＥ秒以上注視すればスクリーン１４３の表
示が左モニタ１４１のものに切り替わる。

【００６５】このようにすれば、プレゼンタは、新しい
資料を聴衆に呈示する際、必ずその資料を確認するため
に注視するので、非常に自然に呈示する資料を切り替え
ることができる。ただし、基準時間Ｅを長くしすぎると
切り替えが遅れ、短すぎると誤動作が多くなるので、プ
レゼンタごとに時間を変更できるようにすることが必要
である。次に、本発明の異なる他の実施例を説明する。

【００６６】図１６は、異なる他の実施例の概略構成を
示している。図において、１６１は原稿１６０を読み取
るスキャナーで、このスキャナ１６１で読み取ったイメ
ージデータは、記憶部１６２のイメージデータ記憶部１
６２１に書き込まれる。このイメージ読み取りの際、原
稿１６０が複数頁に及ぶ場合には、その頁データが頁デ
ータ記憶部１６２２に記憶される。

【００６７】また、イメージデータ記憶部１６２１に記
憶されるイメージデータは、コード変換（認識）されな
いものの、その文字の位置情報（例えば何行分とか、何
文字程度のもの）が文字位置検出部１６３で検出され
る。

【００６８】一方、１６８はキーボードで、このキーボ
ード１６８からは、原稿１６０に書かれた文章がかな情
報で入力される。この入力されるかな情報は、かな漢字
変換部１６９に与えられ、ここで辞書１７０を参照して
かな漢字変換され、原稿１６０の文章と同じ内容がコー
ドデータとしてコードデータ記憶部１６２３に記憶され
る。

【００６９】また、キーボード１６８から入力されるコ
ードデータの入力位置を示すカーソル位置は、カーソル
位置検出部１６７で検出される。そして、このカーソル
位置検出部１６７のコードデータの入力位置に基づいて
スクロール指示部１６６よりコードデータの入力量に応
じた表示領域の変更や改頁情報が出力され、データ提示
制御部１６４にスクロール指示情報として与えられる。

【００７０】データ提示制御部１６４では、イメージデ
ータ記憶部１６２１のデータ内容とコードデータ記憶部
１６２３のデータ内容データがそれぞれ与えら、これら
データを表示部１６５に表示するようにしている。表示
部１６５では、図１７に示すように同一画面上に用意さ
れたスキャナイメージ領域Ａとワープロ文字領域Ｂにそ
れぞれイメージデータ記憶部１６２１とコードデータ記
憶部１６２３からのデータが表示される。

【００７１】この状態で、コードデータ記憶部１６２３
に入力されたデータ量と文字位置検出部１６３で検出さ
れた文字数（データ量）が比較され、コードデータ記憶
部１６２３のデータに相当するイメージデータ部分が領
域Ａに表示されるようになっている。つまり、表示部１
６５での領域Ｂでのコードデータのユーザに対するイメ
ージデータの見え方が最適になるように領域Ａでの表示
が変化する。

【００７２】従って、このようにすれば、手書き原稿を
スキャンで読み取ったイメージ領域Ａとワープロで入力
したデータを表示する領域Ｂを同一画面に表示すること
ができる。つまり、ワープロ入力とともに、原稿も表示
画面で見られるようにしたことが特徴で、領域Ａはユー
ザが入力したワープロデータ量に応じてスクロールし
て、領域Ａはユーザの入力データに応じて見易く原稿を
移動、改頁してくれるのである。例えば、同一行内の未
表示部分があれば左右に移動（スクロール）し、あるい
は同一画面に未表示行があれば、上下にスクロールし、
また、次の頁ならば改頁を行うようになる。

【００７３】なお、上述では、表示部１６５でのスキャ
ナイメージデータの表示領域Ａに対してワープロ入力に
よるコードデータ表示領域Ｂを並べて表示するようにし
たが、スキャナイメージデータとコードデータを２段に
して表示するようにしていもよい。なお、本発明は、上
記実施例にのみ限定されず、要旨を変更しない範囲で適
宜変形して実施できる。

【００７４】

【発明の効果】本発明によれば、ユーザの注視点と行動
の履歴から、自動的に頁めくりを行うタイミングを決定
することができるので、楽器の演奏時など両手が使えな
い状態でも、適切なタイミングで頁を切り替えることに
より、自然な頁めくり操作が可能になり、従来の画面の
特定位置を見なくてはいけない従視点位置検出手法を採
用したものと比べても、眼精疲労もおこりにくいなど、
ユーザの頁めくり操作に伴う物理的・心理的負担を軽減
できる。そして、特に電子楽譜として使用すれば、印刷
された楽譜の管理・運搬の負担が大幅に軽減される。ま
た、プレゼンテーション装置に応用すれば、発表者も聴
衆も頁めくり操作に煩わされることなく、発表内容に集
中することができる利点もある。

【００７５】また、本発明によれば、手書き原稿をスキ
ャンで読み取ったイメージデータとワープロで入力した
コードデータを同一画面に表示することで、ワープロ入
力とともに原稿も表示画面で見られるようにでき、しか
も、イメージデータの表示領域は、ユーザが入力したワ
ープロデータ量に応じてスクロールするなど、ユーザの
入力データに応じて見易く原稿を移動、改頁することも
できる。

【図面の簡単な説明】

【図１】本発明の一実施例の概略構成を示す図。

【図２】一実施例の外観を示す図。

【図３】入力データの一例を示す図。

【図４】頁めくりによる表示状態の変化を示す図。

【図５】頁めくりキーの表示例をを示す図。

【図６】頁めくり判定部の処理の流れを示す図。

【図７】頁めくりタイミングデータの一例を示す図。

【図８】頁めくりタイミングデータ編集用のエディタの
一例を示す図。

【図９】頁めくりタイミングデータ編集用のエディタの
一例を示す図。

【図１０】頁めくりタイミングデータ編集用のエディタ
の一例を示す図。

【図１１】メモ情報呈示方法の指示画面の一例を示す
図。

【図１２】メモ情報の呈示例を示す図。

【図１３】メモ情報の呈示例を示す図。

【図１４】本発明の他の実施例であるプレゼンテーショ
ン資料呈示装置への一応用例を示す図。

【図１５】同じくプレゼンテーション資料呈示装置への
一応用例を示す図。

【図１６】本発明の異なる他の実施例の概略構成を示す
図。

【図１７】表示画面例を示す図。

【符号の説明】

１１…データ入力部、１２…記憶部、１２１…頁内容デ
ータ記憶部、１２２…頁制御データ記憶部、１２３…履
歴記憶部、１３…頁データ呈示部、１４…表示部、１５
…頁めくり指示検出部、１６…頁めくり判定部、１７…
ユーザ行動抽出部、１８…注視点検出部、２０…電子楽
譜本体、２１…ディスプレイ、２２…頁めくりキー、２
３…内蔵マイク、２４…小型カメラ、１４１…モニタ、
１４２…モニタ、１４３…スクリーン、１６０…原稿、
１６１…イメージデータ記憶部、１６２…記憶部、１６
２１…イメージデータ記憶部、１６２２…頁データ記憶
部、１６２３…コードデータ記憶部、１６３…文字位置
検出部、１６４…データ提示制御部、１６５…表示部、
１６７…カーソル位置検出部、１６８…キーボード、１
６９…かな漢字変換部、１７０…辞書。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 1/00 Ｃ 7232−5Ｃ

Claims

【特許請求の範囲】

【請求項１】少なくとも頁内容データと頁制御データ
を入力するデータ入力手段と、このデータ入力手段より入力される各データを記憶する
記憶手段と、この記憶手段に記憶された頁内容データを複数頁同時に
表示可能にした表示手段と、前記記憶手段に記憶された頁制御データから前記表示手
段に対する各頁内容データの呈示順序と呈示位置を決定
する頁データ呈示手段と、前記表示手段のどの頁の表示をユーザが注視しているか
を検出する注視点検出手段と、この注視点検出手段によって前記表示手段を注視してい
ると判断されたユーザの行動を検出するユーザ行動検出
手段と、このユーザ行動検出手段より検出されたユーザ行動デー
タと前記注視点検出手段によって検出された注視点デー
タに基づいて頁めくりタイミングを判定するとともに前
記頁データ呈示手段に対し前記表示手段に対する頁内容
データの頁めくりを指示する頁めくり判定手段とを具備
したことを特徴とする資料呈示装置。
【請求項２】原稿よりイメージデータを読み取るイメ
ージデータ読み取り手段と、前記原稿に対するコードデータを入力するコードデータ
入力手段と、前記イメージデータ読み取り手段より入力されるイメー
ジデータおよび前記コードデータ入力手段より入力され
るコードデータを記憶する記憶手段と、この記憶手段に記憶されたイメージデータとコードデー
タを同時に表示可能にする表示手段と、前記記憶手段にそれぞれ記憶されたコードデータ量とイ
メージデータを比較し前記コードデータに相当する前記
イメージデータ部分を当該コードデータとともに前記表
示手段に呈示させるデータ呈示手段とを具備したことを
特徴とする資料呈示装置。