JP7388153B2

JP7388153B2 - 表示装置、表示プログラム、表示方法

Info

Publication number: JP7388153B2
Application number: JP2019214057A
Authority: JP
Inventors: 広大浅沼
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2019-11-27
Filing date: 2019-11-27
Publication date: 2023-11-29
Anticipated expiration: 2039-11-27
Also published as: JP2021085965A

Description

本発明は、表示装置、表示プログラム、表示方法に関する。

近年では、電子黒板やタブレット端末等の表示装置を用いて、話し手が聞き手の前でプレゼンテーション等を実施するケースがある。また、近年では、プレゼンテーションをより効率的に行うために、画面に対する文字やマーク等の手書き入力を受け付ける技術が知られている。

上述した従来の表示装置は、例えば、話し手と聞き手との間に、表示装置を挟むように配置される場合がある。この場合、表示装置は、一般的には、画面に表示された表示内容が聞き手の方に向くように配置される。したがって、この場合、話し手が表示装置の画面に対し書き込みをする際には、表示内容が話し手に向くように表示装置を回転させるか、又は、話し手が逆向きに文字を書き込むことになる。

前者の場合は、話し手が書き込みをする度に表示装置を回転させることになり、煩雑である。後者の場合、話し手にとっては文字が書きにくく、特殊な技法が必要になるうえ、聞き手にとっては読みにくい文字となる可能性がある。

開示の技術は、上記事情に鑑みてなされたものであり、画面に対する書き込みを容易にすることを目的とする。

開示の技術は、話し手と聞き手とで用いられる表示装置であって、前記話し手からのストローク画像の入力を受け付ける入力受付部と、前記入力受付部により受け付けたストローク画像が複数の場合に、最初に描画されたストローク画像の開始点の座標と、最後に描画されたストローク画像の開始点の座標とを比較するとともに、前記受け付けたストローク画像が一画の場合に、該ストローク画像の開始点の座標と、該ストローク画像の終了点の座標とを比較する座標比較部と、前記座標比較部によって比較された座標の大小関係が所定の条件を満たす場合に、前記受け付けたストローク画像が文字として認識されたか否かを判定する反転判定部と、前記反転判定部が、前記受け付けたストローク画像が文字として認識されたと判定する場合、前記座標比較部による座標の比較から検出される、前記受け付けたストローク画像が描画される方向に基づき、前記受け付けたストローク画像を前記聞き手に対して正方向となるように反転させる表示制御部と、を有する表示装置である。

画面に対する書き込みを容易にできる。

第一の実施形態の利用シーンを説明する図である。表示装置の全体構成例を示す図である。表示装置のハードウェア構成図の一例を示す図である。第一の実施形態の表示装置の機能構成を説明する図である。第一の実施形態の表示装置の処理を説明するフローチャートである。第一の実施形態の表示装置の処理を説明する第一の図である。第一の実施形態の表示装置の処理を説明する第二の図である。第二の実施形態の利用シーンを説明する図である。

（第一の実施形態）
以下に図面を参照して、第一の実施形態について説明する。図１は、第一の実施形態の利用シーンを説明する図である。図１（Ａ）は、第一の実施形態の表示装置の利用シーンを説明する第一の図であり、図１（Ｂ）は、第一の実施形態の表示装置の利用シーンを説明する第二の図である。

図１（Ａ）に示す表示装置１００は、話し手Ｐ１と聞き手Ｐ２との間に挟むように配置され、話し手Ｐ１による聞き手Ｐ２に対するプレゼンテーション等に用いられる。

この場合、表示装置１００のディスプレイ１２０に表示された画面１には、聞き手Ｐ２に向けて情報が表示される。言い換えれば、画面１は、表示された情報の上下方向が、聞き手Ｐ２にとっての上下方向と一致するように表示される。

以下の説明では、画面１に表示された情報を表示内容と表現する場合がある。また、以下の説明では、上下方向が聞き手Ｐ２にとっての上下方向と一致するように表示された情報を、聞き手Ｐ２に対して正方向に表示された表示内容、と表現する場合がある。

本実施形態では、図１（Ａ）に示す状態において、話し手Ｐ１によって、領域２に手書きにより手書き文字が入力されたとする。このとき、話し手Ｐ１にとっての上下方向は、表示内容に上下方向とは一致していない。また、領域２には、話し手Ｐ１にとっての上下方向が一致するように手書き文字が入力される。つまり、領域２には、上下方向が表示内容と逆になるように、手書き文字が入力される。

このため、画面１では、領域２に入力された手書き文字は、聞き手Ｐ２から見た場合、上下方向が反転した文字となる。

以下の説明では、入力された文字が表示内容と上下方向が逆方向となることを、聞き手Ｐ２に対して逆向きに入力された文字と表現する場合がある。

本実施形態の表示装置１００は、領域２に対し、聞き手Ｐ２に対して逆向きの文字が入力されたことを検知すると、領域２内の文字の上下方向を反転させる。

具体的には、本実施形態の表示装置１００は、画面１における基準点と、文字が入力されていく方向とに基づき、領域２内の文字が聞き手Ｐ２に対して逆向きであるか否かを検知する。

本実施形態では、聞き手Ｐ２から見た左下の点Ｒが画面１における基準点である。この基準点Ｒは、表示装置１００のハードウェアに対して決められていても良い。

図１（Ａ）の例では、領域２内において、基準点Ｒから遠ざかる方向へ文字が入力されていく。本実施形態では、手書き文字が、文字を書く人の左側から右側へ向かうように書かれる横書きの言語としている。したがって、この場合、表示装置１００は、領域２内に、聞き手Ｐ２に対して逆向きに文字が入力されていることがわかる。

表示装置１００は、領域２内に聞き手Ｐ２に対して逆向きの文字が入力されたことを検知すると、領域２内の文字の上下方向を反転させる。

図１（Ｂ）に示す画面１Ａでは、領域２内の文字の上下方向が反転し、聞き手Ｐ２に対して正方向の文字とされている。

本実施形態では、このように、手書きによって、表示内容と上下方向が逆向きに文字が入力された場合に、この文字の向きを反転させる。

したがって、本実施形態によれば、話し手が表示装置の画面に対し書き込みをする際に、表示装置を回転させたり、話し手が逆向きに文字を書き込んだりする必要がなく、画面に対する書き込みを容易にすることができる。

以下に、本実施形態の表示装置１００について説明する。図２は、表示装置の全体構成例を示す図である。

本実施形態の表示装置１００は、例えば、机３００等に平置きされる。また、表示装置１００の上部にはディスプレイ１２０が設置されている。ユーザＵ（話し手Ｐ１等）は、電子ペン１５０を用いて、ディスプレイ１２０に文字等を手書きする（入力、描画ともいう）ことができる。

また、本実施形態の表示装置１００は、厚みが１ｃｍ程度なので、一般の机に平置きしても机の高さを調整する必要がなき、さらに、容易に移動できる。

尚、図２の例では、表示装置１００は、机３００等に平置きされて利用されるものとたが、これに限定されない。例えば、表示装置１００は、壁につり下げられた横長又は横長の電子黒板として使用されても良い。

本実施形態の表示装置１００は、専用の表示装置でもよいし、ＰＣ、スマートフォン、又は、タブレット端末などの情報処理装置がアプリケーションソフトを実行することで表示装置１００として使用されてもよい。

本実施形態では、ユーザがディスプレイ１２０に入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作によって入力される連続的な座標点列の軌跡をストロークと呼ぶ。また、ストロークを示すデータをストロークデータと呼ぶ。ストロークデータは１つ以上の座標点を示す座標情報群を有し、手書き文字は１つ以上のストロークデータを有する。また、本実施形態のストロークデータは、各点の座標情報と、点毎の座標情報を取得した時刻を示す時刻情報とが含まれても良い。

また、以下の説明では、ストロークデータをディスプレイ１２０に描画した画像をストローク画像と呼ぶ。ストローク画像は、ディスプレイ１２０に対して、電子ペン１５０やユーザの指等を用いて手書きで入力された一画毎の軌跡の画像である。

本実施形態の入力手段とは、例えば、電子ペン１５０であっても良いし、ユーザＵの指等であっても良い。

また、本実施形態において、文字という場合、数字、アルファベット、アルファベット以外の各種言語の文字を含む。

次に、図３を参照して、表示装置１００のハードウェア構成について説明する。図３は、表示装置のハードウェア構成図の一例を示す図である。図３に示されているように、表示装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、及び、ＳＳＤ１０４を備えている。

これらのうち、ＣＰＵ１０１は、表示装置１００全体の動作を制御する。ＲＯＭ１０２は、ＣＰＵ１０１やＩＰＬ等のＣＰＵ１０１の駆動に用いられるプログラムを記憶する。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される。ＳＳＤ１０４は、表示装置１００用のプログラム等の各種データを記憶する。

また、表示装置１００は、ディスプレイコントローラ１１３、タッチセンサコントローラ１１５、タッチセンサ１１６、チルトセンサ１１７、シリアルインタフェース１１８、スピーカ１１９、ディスプレイ１２０、マイク１２１、無線通信装置１２２、赤外線Ｉ／Ｆ１２３、電源制御回路１２４、ＡＣアダプタ１２５、バッテリ１２６、及び、電源スイッチ１２７を備えている。

ディスプレイコントローラ１１３は、出力画像をディスプレイ１２０等へ出力するために画面表示の制御及び管理を行う。タッチセンサ１１６は、ディスプレイ１２０上に電子ペン１５０やユーザの手等（電子ペン１５０やユーザの手は入力手段となる）が接触したことを検知する。また、タッチセンサ１１６は電子ペン１５０と通信し、三次元座標やペンＩＤ等を受信する。

タッチセンサコントローラ１１５は、タッチセンサ１１６の処理を制御する。タッチセンサ１１６は、座標の入力及び座標の検出を行う。この座標の入力及び座標を検出する方法は、例えば、光学式の場合、ディスプレイ１２０の上側両端部に設置された２つ受発光装置が、ディスプレイ１２０に平行して複数の赤外線を放射し、ディスプレイ１２０の周囲に設けられた反射部材によって反射されて、放射した光の光路と同一の光路上を戻って来る光を受光素子が受光する方法である。タッチセンサ１１６は、物体によって遮断された２つの受発光装置が放射した赤外線の位置情報をタッチセンサコントローラ１１５に出力し、タッチセンサコントローラ１１５が、物体の接触位置である座標位置を特定する。また、タッチセンサコントローラ１１５は通信ユニット１１５ａを有しており、この通信ユニット１１５ａが電子ペン１５０と無線で通信してもよい。この場合、例えば、Bluetooth（登録商標）やZigBee（登録商標）などの通信規格で通信してよい。汎用的な通信規格で通信する場合、電子ペン１５０として市販されている電子ペンを使用することができる。また、表示装置１００の出荷時に予め１つ以上の電子ペン１５０を通信ユニット１１５ａに登録しておくと、ユーザは電子ペン１５０を表示装置１００と通信させる接続設定を行わなくても通信できる。

チルトセンサ１１７は、表示装置１００の傾き角度を検出するセンサである。主に、表示装置１００がどのような設置状態（平置き、つり下げ等）で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。

シリアルインタフェース１１８はＵＳＢなどの外部との通信インタフェースである。外部からの情報の入力などに使用される。スピーカ１１９は音声の出力に使用され、マイク１２１は音声の入力に使用される。無線通信装置１２２は、ユーザが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置１２２はWi－FiやBluetooth（登録商標）などで通信するが、通信規格は問われない。無線通信装置１２２はアクセスポイントを形成しており、ユーザが入手したＳＳＩＤ（Service Set Identifier）とパスワードをユーザが携帯する端末に設定すると、アクセスポイントに接続できる。

尚、無線通信装置１２２には２つのアクセスポイントが用意されているとよい。具体的には、インターネットに接続するためのアクセスポイントと、インターネットに接続するための社内ネットワークに接続するためのアクセスポイントが用意されるとよい。

前者のアクセスポイントは社外のユーザ用で、ユーザは社内ネットワークにはアクセスできないが、インターネットを利用できる。後者のアクセスポイントは、社内のユーザ用で、ユーザは社内ネットワーク及びインターネットを利用できる。

赤外線Ｉ／Ｆ１２３は隣に配置された表示装置１００を検出する。赤外線の直進性を利用して、隣に配置された表示装置１００のみを検出できる。赤外線Ｉ／Ｆ１２３は各辺に１つずつ設けられることが好ましく、表示装置１００のどの方向に他の表示装置１００が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置１００に過去に手書きされた手書き情報（１つのディスプレイ１２０の広さを１ページとして別のページの手書き情報）等を表示できる。

電源制御回路１２４は表示装置１００の電源であるＡＣアダプタ１２５とバッテリ１２６を制御する。ＡＣアダプタ１２５は商用電源が共有する交流を直流に変換する。電源スイッチ１２７は、表示装置１００の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。

ディスプレイ１２０は、表示部の一例である。ディスプレイ１２０がいわゆる電子ペーパの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリ１２６による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置１００を使用することが可能になる。

更に、表示装置１００は、バスライン１１０を備えている。バスライン１１０は、ＣＰＵ１０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

尚、タッチセンサ１１６は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。タッチセンサ１１６は、電子ペン１５０先のタッチの有無を検知するのに電子ペン１５０が必要ない方式であってよい。この場合はタッチ操作をするのに指先や電子ペン１５０型の棒を使用できる。ただし、三次元座標を算出して送信する機能は必要である。なお、電子ペン１５０は、細長い電子ペン１５０型である必要はない。

次に、図４を参照して、本実施形態の表示装置１００の機能構成について説明する。図４は、第一の実施形態の表示装置の機能構成を説明する図である。

本実施形態の表示装置１００は、入力受付部１５１、座標検出部１５２、領域特定部１５３、座標比較部１５４、文字認識部１５５、反転判定部１５６、表示制御部１５７、記憶部１５８を有する。

入力受付部１５１は、表示装置１００に対する各種の入力を受け付ける。例えば、入力受付部１５１は、表示装置１００のディスプレイ１２０に対する電子ペン１５０の接触を検知しても良い。

座標検出部１５２は、ディスプレイ１２０に電子ペン１５０が接触したときの、ディスプレイ１２０における電子ペン１５０の接触位置を示す点の座標情報を検出し、記憶部１５８に格納する。また、座標検出部１５２は、電子ペン１５０がディスプレイ１２０に押しつけてから連続的に移動され、ディスプレイ１２０から離されるまでの電子ペン１５０の軌跡（ストローク）を示す点群を示す座標情報群を検出し、記憶部１５８に格納する。言い換えれば、座標検出部１５２は、電子ペン１５０により入力されたストロークデータを取得し、記憶部１５８に格納する。

尚、座標検出部１５２によって取得される座標情報は、基準点ＲのＸ座標とＹ座標をそれぞれ０としたときの座標情報である（図１参照）。

領域特定部１５３は、記憶部１５８に格納された座標情報群に基づき、ディスプレイ１２０において、ストローク画像が描画された領域を特定する。

座標比較部１５４は、記憶部１５８に格納された座標情報群に基づき、領域特定部１５３によって特定された領域内に描画されたストローク画像の特定の点の座標情報を比較する。

文字認識部１５５は、領域特定部１５３によって特定された領域に対して、文字認識処理を実行する。

反転判定部１５６は、座標比較部１５４による比較の結果と、文字認識部１５５による文字認識処理の結果と、に基づき、領域特定部１５３において特定された領域内のストローク画像の上下方向を反転させるか否かを判定する。領域特定部１５３、座標比較部１５４、反転判定部１５６の処理の詳細は後述する。

表示制御部１５７は、反転判定部１５６による判定結果に応じて、領域内に描画されたストローク画像を反転させる。

次に、図５を参照して、本実施形態の表示装置１００の処理について説明する。図５は、第一の実施形態の表示装置の処理を説明するフローチャートである。

本実施形態の表示装置１００は、入力受付部１５１により、ストロークの入力を受け付けて、座標検出部１５２により、ストロークデータ（座標情報群）を取得する（ステップＳ５０１）。

尚、本実施形態では、例えば、電子ペン１５０等の入力手段が、ディスプレイ１２０から離れてから一定時間が経過した場合に、ストロークの入力が完了したものとしても良い。

続いて、表示装置１００は、ストロークの入力が終了すると、領域特定部１５３により、ストロークデータに基づき、文字認識を行う対象となる領域を特定する（ステップＳ５０２）。

続いて、表示装置１００は、座標比較部１５４により、ストロークデータから、領域内に描画されたストローク画像のうち、最初に描画されたストローク画像における入力が開始された点の座標情報を取得する（ステップＳ５０３）。最初に入力されたストローク画像は、ストロークデータに含まれる時刻情報に基づき特定されても良い。

続いて、座標比較部１５４は、最初に描画されたストローク画像における入力が開始された点の座標情報と、最後に描画されたストローク画像における入力が開始された点の座標情報とを比較し、処理を継続するか否かを判定する（ステップＳ５０４）。

以下の説明では、ストローク画像を示すストロークデータのうち、最初に取得された座標情報をストローク画像の開始点の座標情報と呼ぶ場合がある。

具体的には、座標比較部１５４は、最初に入力されたストローク画像の開始点の座標情報に含まれるＸ座標をＸ１とし、最後に入力されたストローク画像の開始点の座標情報に含まれるＸ座標をＸｎとした場合に、Ｘ１－Ｘｎ＞０という所定の条件を満たすか否かを判定する。

ステップＳ５０４において、所定の条件を満たさない場合、表示装置１００は、処理を終了する。

ステップＳ５０４において、所定の条件を満たす場合、表示装置１００は、領域特定部１５３により特定された領域内に描画されたストローク画像に対して、文字認識部１５５による文字認識処理を行う（ステップＳ５０５）。

言い換えれば、本実施形態では、最初に入力されたストローク画像の開始点の座標値と、最後に入力されたストローク画像の開始点の値との大小関係が所定の条件を満たす場合に、文字認識処理が行われる。

続いて、表示装置１００は、反転判定部１５６により、領域内に描画されたストローク画像が文字として認識されたか否かを判定する（ステップＳ５０６）。ステップＳ５０６において、文字として認識されない場合、表示装置１００は、処理を終了する。

ステップＳ５０６において、文字として認識された場合、表示装置１００は、表示制御部１５７により、領域内に描画されたストローク画像を１８０度回転させ（ステップＳ５０７）、処理を終了する。つまり、表示制御部１５７は、領域内に描画されたストローク画像の上下方向を反転させる。

以下に、図６と図７を参照して、表示装置１００の処理について具体的に説明する。図６は、第一の実施形態の表示装置の処理を説明する第一の図である。

図６では、領域特定部１５３の処理について説明する。図６の例では、「Ｐｏｉｎｔ」という手書き文字を示すストローク画像が描画されている。

本実施形態の領域特定部１５３は、描画された複数のストローク画像を示すストロークデータに含まれる座標情報群の中から、Ｘ座標とＹ座標のそれぞれについて、最大値と最小値とを取得する。

図６の例では、Ｘ座標が最大値となる点は、点Ｒ６１であり、Ｘ座標が最小値となる点は、点Ｒ６２である。また、図６の例では、Ｙ座標が最大値となる点は、点Ｒ６３であり、Ｙ座標が最小値となる点は、点Ｒ６４である。

本実施形態の領域特定部１５３は、これらの値から、４辺の合計値が最も小さくなるような矩形Ｋを特定し、この矩形を文字認識部１５５による文字認識処理の対象領域とする。

図７は、第一の実施形態の表示装置の処理を説明する第二の図である。図７では、座標比較部１５４と反転判定部１５６の処理について説明する。

領域特定部１５３により、領域が特定されると、座標比較部１５４は、領域Ｋ内に描画された複数のストローク画像のうち、最初に描画（入力）されたストローク画像の開始点の座標情報（Ｘ１，Ｙ１）と、最後に描画されたストローク画像の開始点の座標情報（Ｘｎ，Ｙｎ）とを取得する。

図７の例では、領域Ｋ内に描画されたストローク画像は、全部で８つ（８画）であるため、ｎ＝８である。また、図７の例では、８つのストローク画像のうち、ストローク画像７１が最初に描画されたストローク画像であり、ストローク画像７２が最後に描画されたストローク画像である。

ここで、座標比較部１５４は、ストローク画像７１の開始点ＲｆのＸ座標であるＸ１と、ストローク画像７２の開始点ＲｅのＸ座標であるＸ８と、を比較する。

図７の例では、基準点ＲのＸ座標を０とした場合、Ｘ１の方がＸ８よりも大きくなる。つまり、Ｘ１－Ｘｎ＞０を満たす。これは、領域Ｋ内で、ストローク画像が右から左に向かって描画されたことを示す。

本実施形態では、手書き入力される文字は、左から右に向かって入力される言語の文字であるため、領域Ｋ内に描画されたストローク画像が手書き文字である場合には、文字の上下方向が反転している可能性があることがわかる。

つまり、本実施形態の座標比較部１５４は、複数のストローク画像のそれぞれの開始点を示すＸ座標を比較して、各ストローク画像が描画される方向を検出し、反転判定部１５６は、ストローク画像が描画される方向に応じて、反転させる処理を継続するか否かを判定する。

本実施形態では、Ｘ１－Ｘｎ＞０を満たす場合には、領域Ｋ内に対して文字認識処理を行い、反転判定部１５６により、描画されたストローク画像が手書き文字であるか否かを判定する。

図７の例では、領域Ｋ内に描画されたストローク画像は、手書き文字であるため、反転判定部１５６は、表示制御部１５７により、領域Ｋ内のストローク画像の上下方向を反転させる。

このように、本実施形態によれば、表示装置１００が聞き手と話し手とに挟まれるように配置された状態で、話し手が、聞き手に対して上下方向が逆向きとなるように、手書き文字を入力した場合に、話し手が入力した手書き文字を聞き手の正方向とする。

このため、本実施形態では、話し手が文字を入力する度に表示装置１００の配置を変更したり、話し手が逆向きに文字を入力したりする必要がなくなり、画面に対する書き込みを容易にすることができる。

また、本実施形態では、文字認識処理によって、描画されたストローク画像が文字と認識された場合にのみ、ストローク画像の上下方向を反転させる。言い換えれば、本実施形態では、例えば、矢印やマーク等といった、反転させる必要がない簡単な図形等は反転させない。したがって、本実施形態では、表示装置１００の処理負荷を軽減することができる。

尚、本実施形態では、横書きの文字は左から右へ入力されるものとしたが、これに限定されない。本実施形態では、横書きの文字を左から右へ入力する言語の場合等には、座標比較部１５４によって比較される座標値の大小関係を示す条件を変更すれば良い。

尚、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

尚、表示装置１００は、例えば、ＰＪ（Projector：プロジェクタ）、ＩＷＢ（Interactive White Board：相互通信が可能な電子式の黒板機能を有する白板）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、自動車（Connected Car）、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣまたはデスクトップＰＣ等であってもよい。

また、本実施形態の反転判定部１５６による判定結果は、機械学習の学習効果によって得られるものでも良い。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが，データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し，新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

（第二の実施形態）
以下に図面を参照して、第二の実施形態について説明する。第二の実施形態は、左から右へ向かって入力されるストローク以外のストロークも入力される点が第一の実施形態と相違する。以下の第二の実施形態では、第一の実施形態との相違点について説明する。

図８は、第二の実施形態の利用シーンを説明する図である。図８（Ａ）は、第二の実施形態の表示装置の利用シーンを説明する第一の図であり、図８（Ｂ）は、第二の実施形態の表示装置の利用シーンを説明する第二の図である。

図８（Ａ）に示す表示装置１００のディスプレイ１２０に表示された画面１では、話し手Ｐ１が、縦書きで手書き文字を入力した場合を示している。

この場合、表示装置１００は、例えば、領域特定部１５３によって特定された領域２Ａが示す矩形の長辺がＹ方向の辺であり、短辺がＸ方向の辺となる場合に、文字認識部１５５によって、縦書きの文字に対する文字認識処理を実行しても良い。

言い換えれば、本実施形態では、領域２Ａに最初に入力されたストローク画像の開始点
のＹ座標であるＹ１と、最後に入力されたストローク画像の開始点のＹ座標であるＹｎの関係が、Ｙｎ－Ｙ１＞０を満たす場合に、領域２Ａ内に縦書きの文字に対する文字認識処理を実行しても良い。

そして、表示装置１００は、領域２Ａ内に描画されたストローク画像が手書き文字であった場合に、領域２Ａ内に描画されたストローク画像を上下方向が逆になるように反転させても良い。
ることを、聞き手Ｐ２に対して逆向きに入力された文字と表現する場合がある。図８（Ｂ）に示す画面１Ａでは、領域２Ａ内の文字の上下方向が反転し、聞き手Ｐ２に対して正方向の文字とされている。

尚、上述した各実施形態では、領域特定部１５３により特定される領域内に複数のストローク画像が描画されることを前提としているが、これに限定されない。

例えば、アルファベットの筆記体文字や、ひらがな等には、一画で表される文字が存在する。また、話し手Ｐ１が手書き入力する文字が一文字である可能性がある。

このような場合には、一画で一表される文字の大半が左から右へ向かうストローク又は上から下へ向かうストロークによって表現されることに着目し、ストローク画像を反転させるか否かを判定しても良い。

この場合、例えば、ストローク画像の開始点の座標と、ストローク画像の描画が終了した点である終了点の座標とを比較し、開始点のＸ座標とＹ座標のそれぞれと、終了点のＸ座標とＹ座標のそれぞれとの大小関係に応じて、文字認識処理を行うか否かを判定しても良い。

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

１００表示装置
１５１入力受付部
１５２座標検出部
１５３領域特定部
１５４座標比較部
１５５文字認識部
１５６反転判定部
１５７表示制御部
１５８記憶部

特開２００３－０５８１３７号公報

Claims

話し手と聞き手とで用いられる表示装置であって、
前記話し手からのストローク画像の入力を受け付ける入力受付部と、
前記入力受付部により受け付けたストローク画像が複数の場合に、最初に描画されたストローク画像の開始点の座標と、最後に描画されたストローク画像の開始点の座標とを比較するとともに、前記受け付けたストローク画像が一画の場合に、該ストローク画像の開始点の座標と、該ストローク画像の終了点の座標とを比較する座標比較部と、
前記座標比較部によって比較された座標の大小関係が所定の条件を満たす場合に、前記受け付けたストローク画像が文字として認識されたか否かを判定する反転判定部と、
前記反転判定部が、前記受け付けたストローク画像が文字として認識されたと判定する場合、前記座標比較部による座標の比較から検出される、前記受け付けたストローク画像が描画される方向に基づき、前記受け付けたストローク画像を前記聞き手に対して正方向となるように反転させる表示制御部と、を有する表示装置。
前記受け付けたストローク画像を示すストロークデータに基づき、前記受け付けたストローク画像が描画された領域を特定する領域特定部をさらに有する、請求項１記載の表示装置。
検出された前記方向に応じて、前記領域に対する文字認識処理を行う文字認識部をさらに有する、請求項２記載の表示装置。
前記反転判定部は、前記文字認識部による文字認識処理の結果に基づき、前記受け付けたストローク画像が文字として認識されたか否かを判定する、請求項３記載の表示装置。
前記座標比較部は、
前記受け付けたストローク画像が複数の場合に、前記最初に描画されたストローク画像の開始点のＸ座標の値が、前記最後に描画されたストローク画像の開始点のＸ座標の値より大きい場合に、前記大小関係が前記所定の条件を満たすと判定し、
前記受け付けたストローク画像が一画の場合に、該ストローク画像の開始点のＸ座標の値が、該ストローク画像の終了点のＸ座標の値より大きい場合に、前記大小関係が前記所定の条件を満たすと判定する、請求項１乃至４のうちいずれか一項に記載の表示装置。
前記座標比較部は、
前記受け付けたストローク画像が複数の場合に、前記最初に描画されたストローク画像の開始点のＹ座標の値が、前記最後に描画されたストローク画像の開始点のＹ座標の値より小さい場合に、前記大小関係が前記所定の条件を満たすと判定し、
前記受け付けたストローク画像が一画の場合に、該ストローク画像の開始点のＹ座標の値が、該ストローク画像の終了点のＹ座標の値より小さい場合に、前記大小関係が前記所定の条件を満たすと判定する、請求項１乃至５のうちいずれか一項に記載の表示装置。
前記表示制御部は、
前記座標比較部によって比較された座標の大小関係が所定の条件を満たさない場合、または、前記反転判定部が、前記受け付けたストローク画像が文字として認識されないと判定する場合、前記受け付けたストローク画像を反転させない、請求項１乃至６のうちいずれか一項に記載の表示装置。
話し手と聞き手とで用いられる表示装置による表示方法であって、前記表示装置が、
前記話し手からのストローク画像の入力を受け付け、
受け付けたストローク画像が複数の場合に、最初に描画されたストローク画像の開始点の座標と、最後に描画されたストローク画像の開始点の座標とを比較するとともに、前記受け付けたストローク画像が一画の場合に、該ストローク画像の開始点の座標と、該ストローク画像の終了点の座標とを比較し、
前記比較された座標の大小関係が所定の条件を満たす場合に、前記受け付けたストローク画像が文字として認識されたか否かを判定し、
前記受け付けたストローク画像が文字として認識されたと判定する場合、前記座標の比較から検出される、前記受け付けたストローク画像が描画された方向に基づき、前記受け付けたストローク画像を前記聞き手に対して正方向となるように反転させる、表示方法。
話し手と聞き手とで用いられるコンピュータに、
前記話し手からのストローク画像の入力を受け付け、
受け付けたストローク画像が複数の場合に、最初に描画されたストローク画像の開始点の座標と、最後に描画されたストローク画像の開始点の座標とを比較するとともに、前記受け付けたストローク画像が一画の場合に、該ストローク画像の開始点の座標と、該ストローク画像の終了点の座標とを比較し、
前記比較された座標の大小関係が所定の条件を満たす場合に、前記受け付けたストローク画像が文字として認識されたか否かを判定し、
前記受け付けたストローク画像が文字として認識されたと判定する場合、前記座標の比較から検出される、前記受け付けたストローク画像が描画された方向に基づき、前記受け付けたストローク画像を前記聞き手に対して正方向となるように反転させる、処理を実行させる表示プログラム。