JP5618634B2 - 情報処理装置およびその動作方法 - Google Patents

Description

本発明は、画面上に表示する画像を制御する技術に関する。

近年、電子データの表示と、表示する電子データへの書き込みが可能なシステムが普及してきている。

これにより、図や画像などの様々な電子データを用いたり、状況に応じて電子データに直接書き込みを行ったりする効果的なプレゼンテーションも可能である。

しかしながら、データ切り替えや、データへの書き込みを行う操作者と、データを閲覧する人の立ち位置が異なる場合に、データの表示方向や、データの書き込み位置を適切に調整するためには様々な課題がある。

この課題解決のため、データ表示数と表示位置を自動的に調整したり、書き込まれるデータの表示位置を自動的に調整したりする方法がある。

例えば、特許文献１には、原稿のデータを保存しておき、あらかじめ保存してある原稿データとの差分データおよびその座標を取得する発明が提案されている。また、余白に１つ以上の差分データを配置でき、差分データ同士が重なる場合には優先度に応じて位置をずらして配置する技術、位置をずらしても余白に差分データが入らない場合には、差分データを縮小して配置する技術も記載されている。

特開２００９−１４７４３５号公報

しかしながら、上記特許文献１に記載の技術は、書き込まれる差分データをどう配置するかを目的としているため、書き込まれる差分データの書き込み方向については考慮されていない。このため、元のデータ表示方向と、データを書き込む方向が異なる場合、書き込む人が書きやすい方向で書いてしまうと読みにくい、あるいは、書き込む人が元のデータ表示方向に合わせて書き込もうとすると書き込む人が書きにくい、という課題がある。

本発明はこのような問題を解決し、自分の書きやすい位置から入力したデータを、簡単に違う位置から見ている人に見やすいように表示することを目的とする。

上記課題を解決するための本発明の情報処理装置は、複数の立ち位置のいずれかに存在するユーザによって、各立ち位置に従った入力方向で前記表示画像に書きこまれる手書き入力を受付可能な情報処理装置であって、表示部に表示された表示画像に対して、手書き入力された入力データを取得する取得手段と、前記取得手段が取得した入力データを、前記表示画像に追加して表示させる表示制御手段と、前記取得手段が取得した入力データのうち第１の軌跡に基づいて、前記表示画像に含まれる少なくとも１つの対象オブジェクトと、前記取得手段によって取得された入力データの入力方向とを特定する特定手段と、を備え、前記表示制御手段は、前記特定手段が特定した少なくとも１つの対象オブジェクトと入力方向とに基づいて、前記取得手段が取得した入力データのうち第２の軌跡を表示させる方向を、前記少なくとも１つの対象オブジェクトが表示されている方向に合わせる。

本発明によれば、複数の立ち位置のいずれかに存在するユーザが、それぞれ自分の書きやすい位置から入力したデータを、簡単に違う位置から見ている人に見やすいように表示することができる。

本発明に係る情報処理装置の機能構成を示す図である。 オブジェクトの向きを揃える処理の流れを示すフローチャートである。 オブジェクトの向きを揃える処理の流れを模式的に示す図である。 本発明に係る情報処理装置の機能構成を示す図である。 オブジェクトを回転させるか否か判定する処理、回転角度を決定する処理の流れを示すフローチャートである。

以下、図面を参照しながら本発明の実施の形態について説明する。

（第１の実施形態）
図１（ａ）は本発明を適用できるデータ表示装置（情報処理装置）１０１の構成を示す図である。

データ表示装置１０１は、ふきだし記号を入力するふきだし入力部１０２と、ふきだし入力部によって入力されるふきだしの内容を入力するふきだし内容入力部１０３と、ふきだし対象の表示方向を取得する表示方向取得部１０４とを備えることを特徴とする。

さらに、ふきだし内容入力部１０３によって入力されるふきだしの内容を回転させるふきだし内容回転部１０５とを備える。また、データを表示する表示部１０６を備える。

また、データ表示装置１０１は、少なくともＣＰＵ１０７と、このＣＰＵ１０７により実行される処理プログラムを記憶するプログラムメモリ１０９、ＣＰＵ１０７による処理時にワークエリアを提供して各種データを一時的に格納するメモリ１０８を有する。

上記各部の機能及び以後に示すフローチャートの処理は、この処理プログラムにもとづきＣＰＵ１０７によって実現される。

図２はふきだし入力部１０２によって表示中のデータに対してユーザからふきだしが入力された場合に、入力されたふきだし内容の表示方向を変換する際の動作例を示すフローチャートである。

ふきだし入力部１０２によって任意のデータ（オブジェクト）がユーザからふきだしの起点対象として指定されると、ステップＳ２０１でデータ表示装置１０１に表示中のデータのうち、新たに書き込まれたデータとしてふきだし入力データ（注釈情報）を取得する。

即ち、ステップＳ２０１の処理は、任意のデータ（オブジェクト）とふきだし入力データ（注釈情報）とを関連付ける処理に相当する。

続けてステップＳ２０２で、書き込まれたふきだしの起点となっていて、書き込みの対象となっている入力対象データを取得する。

次にステップＳ２０３で表示方向取得部１０４によってステップＳ２０２で取得した入力対象データの表示方向（例えば、上下方向、左右方向等）を取得する。

実際には入力対象データとなる画面の表示方向や、画面中に表示される画像の表示方向、あるいはテキストの文字フォントの表示角度指定などから表示方向を取得する。

その後、ステップＳ２０４で、ふきだしの内容を、ふきだし内容回転部１０５によってステップＳ２０３で取得した表示方向に回転表示して処理を終了する。

即ち、ステップＳ２０４の処理は、任意のデータ（オブジェクト）とふきだし入力データ（注釈情報）とが関連付けられた場合には、ふきだし入力データの表示方向を任意のデータの表示方向に合わせて、ふきだし入力データを表示させる表示制御に相当する。

ところで、ふきだしの入力方法としては、例えば罫線と楕円で指定し、双方を線で結ぶことによって、罫線がひかれた文字列をふきだし対象とする。

また、楕円で囲まれたふきだし内容を新たに書き込まれたデータとして回転の変換対象とする。

図３に、ふきだしの入力方法と、ふきだし入力によって表示内容が変換される画面例を示す。

図３の（ａ）はオリジナルの画像データ（オブジェクト）を表示中の画面例である。尚、本図において、画像データ（オブジェクト）の表示方向（表示角度）は０度とする。

図３の（ｂ）はふきだし対象を罫線３０１で指定した画面例である。

図３の（ｃ）が罫線３０１から引出し線を描いた先に、「再検討」という書き込みデータ文字列３０２をふきだし内容として、表示とは逆の方向から新たに書き込んでいる画面例である。尚、本図において、ふきだし内容（注釈情報となるデータ）の表示方向（表示角度）は１８０度とする。

図３の（ｄ）は書き込みデータ文字列３０２を楕円３０３で囲む画面例で、ふきだし内容であるデータ文字列３０２がふきだし内容回転部１０５によって変換される対象となる。

図３の（ｅ）が逆方向から書き込まれた書き込みデータ文字列３０２が、ふきだし対象データと同じ方向に変換表示された画面例である。即ち、本図において、ふきだし内容（注釈情報となるデータ）の表示方向（表示角度）は０度である。

ここではふきだし内容が逆から記入される例のため上下反転となっているが、横から記入された場合にも、同様にふきだし対象にそろえればよい。

ふきだし内容がどの向きで、どの程度回転させればよいかは、ふきだしの形状やふきだしの書き順から自動的に判断することが好ましい。

例えば、図３では楕円で示した、ふきだしの内容を書き込む部分に該当する枠はかならず左上や上下いずれかの中心など、一意の方向から書き始めることにしておけば、ふきだし方向が容易に判断可能となる。

即ち、まず、前記画面上に表示されたふきだしの内容（データ）の周囲を囲む操作によって、ふきだしの内容をふきだし入力データ（注釈情報）として特定する。

更に、前記操作の端点（例えば、書き始め、書き終わりの点）と軌跡とに基づいて、前記ふきだし入力データ（注釈情報）の表示方向を決定する。

なお、ここでは変換対象として文字列の例を示したが、記号やシンボルなどを含む文字列や、それらの単一文字、あるいは文字ではない絵などでもよく、方向があるものであれば何でもよい。

ところで、ステップＳ２０４でふきだし内容回転部１０５によってふきだし内容を回転表示する際、新たに書き込まれたデータが表示中の他のデータ表示するのに妨げになることによってデータが見づらくなっていないかを判定してもよい。

この判定結果をもとに、表示方向だけでなく表示位置も変換することが可能になる。この場合のデータ表示装置の構成を図１（ｂ）に示す。データ表示装置４０１において、４０２〜４０９はデータ表示装置１０１と同様のため説明を省略するが、加えて、表示位置制御部４１０を備え、表示データの重なりを判定する。

ステップＳ２０５の処理が終了後、表示位置制御部４１０によって、入力データの表示位置が、表示中の他のデータに重なることによって、他のデータの表示を妨げていないか判定する。表示の重なりが判定された場合、表示位置制御部４１０によって、入力データの表示位置を余白部分へ移動させる。表示の重なりが特にない場合には表示位置の変更は行わずに処理を終了する。

ただし、重なっている場合でも、ユーザが意図的に重ねて記入した場合などは、この処理を行わず、ユーザが書き込んだ位置を変更しないようにしてもよい。

以上説明したように、本実施形態によれば、自分の書きやすい位置から入力したデータを、簡単に違う位置から見ている人に見やすいように表示することができる。

（第２の実施形態）
次に、第２の実施形態として、第１の実施形態において、ふきだしの入力形状などによって、書き込まれるふきだし内容の表示方向を変換するのかしないのかを判定する例を説明する。

これにより、ふきだし内容とふきだし対象の表示方向が異なっても変換を行わないことで書き込み内容を書き込んだユーザのメモとして扱えるようにすることなどが可能になるため、利便性が向上する。

なお、第２実施形態のデータ表示装置の構成を図４（ａ）に示す。データ表示装置５０１において、５０２〜５０９はデータ表示装置１０１と同様のため説明を省略するが、加えて、判定部５１０を備え、状況に応じてふきだし内容の表示方向を変換するかどうかを判定する。

図５（ａ）はふきだし入力部１０２によってふきだしがユーザから入力された場合に、ユーザの入力したふきだし形状によって、ふきだしとその内容の表示方向を変換するのかしないのかを判定する際の動作例を示すフローチャートである。

ステップＳ６０１でデータ表示装置５０１に表示中のデータのうち、新たに書き込まれたデータとしてふきだしとふきだし内容を取得する。

続けてステップＳ６０２で、ステップＳ６０１で取得されたふきだしデータを変換すべきかどうかを判定部５１０で判定する。

判定部５１０は、ふきだし内容の範囲を指定する軌跡の形状種類や、範囲指定の有無で決定する。

ステップＳ６０２の判定の結果、変換するデータであると判定された場合にはＹｅｓとなりステップＳ６０３へ進み、変換しないデータであると判定された場合にはＮｏとなり処理を終了する。

ステップＳ６０３では、図２で示したステップＳ２０２の処理以降、つまり、書き込まれたふきだし対象データの取得からステップＳ２０４で入力されたふきだし内容の回転表示処理を行うまでの表示方向変換処理を行って処理を終了する。

ここで、ふきだしの形状としては、例えば、第１の実施形態で示したように楕円で囲んだ場合には変換し、特に囲まない場合、あるいは楕円で囲まずに四角形で囲んだ場合には変換しないといった設定が考えられる。

以上説明したように、本実施形態によれば、自分の書きやすい位置から入力した文字を、指定方法によって、簡単に違う位置から見ている人に見やすいように表示変換するか、あるいは書き込み者に見やすいままにするかどうかを決定することができる。

（第３の実施形態）
次に、第３の実施形態を説明する。本実施形態では、第１の実施形態において、入力内容の方向を取得することで回転角度を決定する。

これにより、ふきだし入力部によって入力されるふきだしの形状や書き方を限定しなくても、回転すべき角度をより正確に判断することができるので、利便性が向上する。

なお、第３実施形態のデータ表示装置の構成を図４（ｂ）に示す。データ表示装置７０１において、７０２〜７０９はデータ表示装置１０１と同様のため説明を省略するが、加えて、ふきだし内容方向取得部７１０を備え、書き込まれたふきだしの内容から、その方向を取得する。

図５（ｂ）は入力内容の表示方向を取得することで回転角度を決定する際の動作例を示すフローチャートである。

ステップＳ８０１からステップＳ８０３までは第１の実施形態で示した動作と同様のため説明を省略する。

ステップＳ８０４で、ふきだし内容方向取得部７１０によって、ふきだしに書き込まれた入力内容の方向を検知する。

次に、ステップＳ８０５において、ステップＳ８０３で取得したふきだしの入力対象データの表示方向と、ステップＳ８０４で取得したふきだし内容の方向との差を算出する。

ステップＳ８０６では、ステップＳ８０５の算出結果から、ふきだしの入力対象と、入力されたふきだし内容の方向に差があるかどうか判定する。

ステップＳ８０６でＹｅｓとなる場合にはステップＳ８０７へ進み、ふきだし内容回転部１０５によってふきだし内容を回転させ表示方向を変換してから再度表示する処理を行って処理を終了する。

一方で、ふきだし入力が表示中のデータに合わせて行われた場合などには、ステップＳ８０６でＮｏとなるため、特に変換は行わずに処理を終了する。

ここで、入力されるふきだし内容の方向検知手段としては、入力されるデータの方向が検知できればどのような手段であってもよい。例えば、書き込まれたデータが文字であれば書き込み開始位置と終了位置で判定するほか、光学文字認識Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ（ＯＣＲ）などの手書き文字認識技術によって方向を判定してもよい。

また、文字でなくとも、記号や絵なども一般的な形状であれば、方向がわかるので、あらかじめ登録される辞書を用いて内容を認識させるなどの認識手段を用いても良い。

あるいは、文字毎の入力軌跡座標回転手段と座標回転手段により複数の角度で回転した複数の入力軌跡座標データを認識する認識技術により方向を判定しても良い。

あるいは、入力するユーザの頭や身体など入力者の位置、あるいは書き込み位置などを認識する認識部を備えることで、ふきだし内容方向取得部７１０が、入力者の位置で方向を判定することが可能になる。

より具体的には、入力者の位置を検出できるセンサをデータ表示装置に接続し、センサからの入力信号に基づいて入力方向を認識することによって判定するなどの方法が考えられる。

あらかじめ、位置を検出する方法のほか、画像や温度・深度などの情報から差異によって変化を検出する方法など、入力者の位置が検出できればどのような方法であってもよい。

以上説明したように、本実施形態によれば、ユーザの書きやすい位置から入力された内容を、その内容から方向を判断することで、簡単に入力対象の表示方向と合わせることができる。

また、本発明によれば、書きやすい方向で入力されたデータの方向を、簡単に違う位置から見ている人に見やすいように変換して表示することができる。

また、入力形状によって、変換しないようにすることもできる。加えて、入力されたデータの内容や、入力された方向からどのように変換すべきかを判定することもできる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 複数の立ち位置のいずれかに存在するユーザによって、各立ち位置に従った入力方向で前記表示画像に書きこまれる手書き入力を受付可能な情報処理装置であって、
   表示部に表示された表示画像に対して、手書き入力された入力データを取得する取得手段と、
   前記取得手段が取得した入力データを、前記表示画像に追加して表示させる表示制御手段と、
   前記取得手段が取得した入力データのうち第１の軌跡に基づいて、前記表示画像に含まれる少なくとも１つの対象オブジェクトと、前記取得手段によって取得された入力データの入力方向とを特定する特定手段と、
   を備え、
   前記表示制御手段は、前記特定手段が特定した少なくとも１つの対象オブジェクトと入力方向とに基づいて、前記取得手段が取得した入力データのうち第２の軌跡を表示させる方向を、前記少なくとも１つの対象オブジェクトが表示されている方向に合わせることを特徴とする情報処理装置。
2. 前記表示制御手段は、前記特定手段によって特定された入力方向と、前記特定手段によって特定された少なくとも１つの対象オブジェクトが表示されている方向が異なる場合に、
   前記第２の軌跡を表示させる方向を、前記少なくとも１つの対象オブジェクトが表示されている方向に合わせて回転させることを特徴とする請求項１に記載の情報処理装置。
3. 前記特定手段は、前記表示画像において、表示された複数のオブジェクトから、少なくとも１つの前記対象オブジェクトを特定し、前記入力データと関連付け、
   前記表示制御手段は、前記第２の軌跡を表示させる方向を、前記関連付け手段によって前記入力データに関連付けられた対象オブジェクトが表示されている方向に合わせることを特徴とする請求項１又は２のいずれか１項に記載の情報処理装置。
4. 前記特定手段は、前記表示画像において、前記取得手段が取得した入力データのうち、所定の形状を有する前記第１の軌跡が書きこまれたオブジェクトを、前記対象オブジェクトとすることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記表示制御手段は、前記取得手段が取得した入力データのうち、周囲を囲む軌跡が入力された部分を、前記第２の軌跡として表示制御することを特徴とする請求項２に記載の情報処理装置。
6. 複数の立ち位置のいずれかに存在するユーザによって、各立ち位置に従った入力方向で前記表示画像に書きこまれる手書き入力を受付可能な情報処理装置の動作方法であって、
   取得手段により、表示部に表示された表示画像に対して、手書き入力された入力データを取得する取得工程と、
   表示制御手段により、前記取得工程で取得した入力データを、前記表示画像に追加して表示させる表示制御工程と、
   特定手段により、前記取得工程で取得した入力データのうち第１の軌跡に基づいて、前記表示画像に含まれる少なくとも１つの対象オブジェクトと、前記取得工程で取得された入力データの入力方向とを特定する特定工程と、
   を有し
   前記表示制御工程では、前記特定手段が特定した少なくとも１つの対象オブジェクトと入力方向とに基づいて、前記取得工程で取得した入力データのうち第２の軌跡を表示させる方向を、前記少なくとも１つの対象オブジェクトが表示されている方向に合わせることを特徴とする情報処理装置の動作方法。
7. コンピュータに読み込ませ実行させることで、請求項６に記載の動作方法をコンピュータに実行させるためのプログラム。

Images