以下、本発明の実施の形態について説明する。
<第一実施形態>
<システム構成>
図1は、本発明の一実施形態に係る情報処理システムの全体構成の一例を説明する概略図である。
情報処理システム1は、情報処理装置11Aと、サーバ12とを有する構成等である。以下、図1で示す構成の場合を例に説明する。
情報処理装置11A、サーバ12、及び情報処理装置11Bは、LAN(Local Area Network)、又はインターネット等のネットワークによって、相互に接続される。情報処理装置11A、サーバ12、及び情報処理装置11Bは、ネットワークによって遠隔通信を行う。
情報処理システム1では、操作者が情報処理装置11Aに文字を書き込む書込操作を行った場合、情報処理装置11Aが書込操作を受け付け、書き込まれた文字を文字として認識する認識処理を行う。情報処理装置11Aは、認識処理で文字として認識した文字のデータをサーバ12に送信する処理を行う。サーバ12は、送信された文字のデータを変換する変換処理を行う。サーバ12は、図1で示す構成の場合、変換処理した文字のデータを情報処理装置11Bに送信する処理を行う。情報処理装置11Bは、送信された変換処理後の文字を表示する等の出力処理を行う。なお、システム構成は、他の構成でもよい。
また、システム構成は、出力側に情報処理装置11Bを用いる構成に限られない。システム構成は、情報処理装置11Bに代えてプロジェクタ、又はディスプレイ等の出力装置を有する構成でもよい。
なお、情報処理装置11A、情報処理装置11B、及びサーバ12は、複数の装置で構成されてもよい。
<各装置のハードウェア構成>
図2は、本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を説明するブロック図である。
情報処理装置11A、及び情報処理装置11Bは、同様のハードウェア構成である。以下、情報処理装置11Aを例に説明し、情報処理装置11Bの説明を省略する。情報処理装置11Aは、いわゆるインタラクティブホワイトボード(interactive whiteboard)である。
情報処理装置11Aは、タッチパネル11D1と、センサ11D2と、CPU(Central Processing Unit)11D3と、記憶装置11D4と、ネットワークI/F(interface)11D5とを有する。
タッチパネル11D1は、操作者が書込操作を行う際、書き込んだ内容を電子的に変換できるセンサ11D2と一体になっている電子黒板である。操作者は、ペンを用いて文字、又は図形等をタッチパネル11D1に書き込む。
センサ11D2は、操作者が書込操作を行う際、タッチパネル11D1がペン等で押される位置を検出する。
なお、情報処理装置11Aの構成は、タッチパネル11D1、及びセンサ11D2を有する構成に限られない。タッチパネル11D1、及びセンサ11D2の構成は、例えばポイントティングデバイス等の位置入力装置と、ディスプレイ等の出力装置とを組み合わせた構成でもよい。
CPU11D3は、情報処理装置11Aが行う各種処理、及び情報処理装置11Aが有するハードウェアの制御を行う。CPU11Dは、プログラム等に基づいて動作する。
記憶装置11D4は、メモリ等であり、各種データ、及びプログラム等を記憶する。
ネットワークI/F11D5は、情報処理装置11Aがネットワークを介してサーバ12等である情報処理装置11Aの外部装置と文字データ等を送受信するためのインタフェースである。
なお、ハードウェア構成は、図2に示す構成に限られない。例えばハードウェア構成は、情報処理装置11Aの内部又は外部に演算装置、又は記憶装置等をさらに有し、情報処理装置11Aが分散、冗長、又は並行して演算等を行うハードウェア構成であってもよい。
図3は、本発明の一実施形態に係るサーバのハードウェア構成の一例を説明するブロック図である。
サーバ12は、CPU12D1と、記憶装置12D2と、ネットワークI/F12D3とを有する。サーバ12は、情報処理装置の一例である。
CPU12D1は、サーバ12が行う各種処理を実現するための演算、及びサーバ12が有するハードウェアの制御を行う。
記憶装置12D2は、メモリ等であり、各種データを記憶する。
ネットワークI/F12D3は、サーバ12がサーバ12の外部装置とネットワークを介して、各種データを送受信するためのインタフェースである。
なお、ハードウェア構成は、図3に示す構成に限られない。例えばハードウェア構成は、サーバ12の内部又は外部に演算装置、又は記憶装置等を有し、サーバ12が分散、冗長、又は並行して演算等を行うハードウェア構成であってもよい。
<全体処理>
図4は、本発明の一実施形態に係る情報処理システム、及び情報処理装置による全体処理の一例を示すシーケンス図である。
ステップS0101では、情報処理装置11Aは、操作者が文字を書き込む書込操作を受け付ける処理を行う。書込操作では、操作者は、図2のタッチパネル11D1上に文字を書き込む。情報処理装置11Aは、受け付けた文字を表示する処理を行う。
ステップS0102では、情報処理装置11Aは、文字の開始位置、及び文字の書き込まれた方向である書込方向を操作者に入力させる入力処理を行う。ステップS0102では、情報処理装置11Aは、ステップS0101で書き込まれる文字の開始位置、及び書込方向を操作者に入力させる。操作者は、例えば矢印等の印で文字の開始位置、及び書込方向を書き込む。情報処理装置11Aは、矢印等の印が書き込まれた場合、書き込まれた印から文字の開始位置、及び書込方向を入力する。
ステップS0103では、情報処理装置11Aは、書込操作で受け付けた文字のデータを、情報処理装置11Bに送信する処理を行う。情報処理装置11Bは、送信される翻訳前の文字を表示する処理を行う。ステップS0103で送信されるデータは、一回の操作で行われる文字を構成する直線又は曲線の情報、いわゆるストローク(stroke)情報等である。情報処理装置11Bは、ストローク情報等に基づいて翻訳前の文字、即ち、ステップS0101で操作者が書き込んだ文字を、情報処理装置11Bの図2のタッチパネル11D1上に、そのまま表示する処理を行う。
ステップS0104では、情報処理装置11Aは、書込操作で書き込まれた文字を、入力処理で入力される開始位置から書込方向に向かって認識する認識処理を行う。ステップS0104では、情報処理装置11Aは、ステップS0101で受け付けた文字を、ステップS0102で入力される文字の開始位置から、ステップS0102で同様に入力された書込方向に向かって認識する認識処理を行う。認識処理は、いわゆるOCR(Optical Character Recognition)処理である。認識処理は、書込操作で受け付ける位置データ、又は画像データを、テキスト(text)データにする処理である。
ステップS0105では、情報処理装置11Aは、認識処理で生成されるテキストデータを、サーバ12に送信する処理を行う。
ステップS0106では、サーバ12は、翻訳等の変換処理で必要となる変換後の言語等を設定する処理を行う。ステップS0106では、サーバ12は、例えば情報処理装置11Bから、情報処理装置11Bの設置されている地域を示すデータ等を取得する。サーバ12は、取得する地域を示すデータに基づいて、変換後の言語を特定し、認識処理で認識される文字を特定される変換後の言語に翻訳するように設定する処理を行う。
ステップS0107では、サーバ12は、認識処理で認識される文字を他の文字に変換する変換処理を行う。変換処理は、例えば翻訳を行う処理である。ステップS0101で受け付けた文字が日本語、かつ、ステップS0106で設定された言語が英語である場合、ステップS0107では、サーバ12は、日本語を英語に翻訳する変換処理を行う。
ステップS0108では、サーバ12は、変換処理で生成されるテキストデータを、情報処理装置11Bに送信する処理を行う。変換処理で生成されるテキストデータは、翻訳後の文字のデータ、ステップS0106で設定される言語が英語である場合、英語の文字のデータである。
ステップS0109では、情報処理装置11Bは、変換処理された文字を出力する処理を行う。ステップS0109では、情報処理装置11Bは、ステップS0108で送信されるテキストデータを出力する処理を行う。ステップS0109では、情報処理装置11Bは、ステップS0103で表示される翻訳前の文字に置き換えて、ステップS0108で送信される翻訳後の文字を表示する処理を行う。
図5は、本発明の一実施形態に係る各装置による全体処理の一例を示すフローチャートである。
図5(A)は、本発明の一実施形態に係る情報処理装置11Aによる全体処理の一例を示すフローチャートである。
ステップS11A01では、情報処理装置11Aは、文字を書き込む書込操作を受け付ける処理を行う。ステップS11A01の処理は、図4のステップS0101の処理に相当する。
ステップS11A02では、情報処理装置11Aは、受け付けた文字のデータを表示する処理を行う。
ステップS11A03では、情報処理装置11Aは、文字の開始位置、及び書込方向の入力処理を行う。ステップS11A03の処理は、図4のステップS0102の処理に相当する。
図6は、本発明の一実施形態に係る書込操作、及び入力処理の一例を示す図である。
図6は、操作者が変換前の文字2である「りんご」を、情報処理装置11Aに書き込む場合を例にして説明する図である。図6で示す状態では、書込操作において、「り」の文字が最初に書き込まれる文字である。同様に、図6で示す状態では、書込操作において、「ご」の文字が最後に書き込まれる文字である。
図6(A)は、本発明の一実施形態に係る書込操作が行われた場合の一例を示す図である。即ち、図6(A)は、ステップS11A01、及びステップS11A02の処理が行われた場合を示す図である。
ステップS11A01では、図示するように、情報処理装置11Aは、「りんご」の文字を、図2のタッチパネル11D1上に、変換前の言語である日本語で、書き込ませる書込操作を、操作者に行わせる処理を行う。
ステップS11A02では、図示するように、情報処理装置11Aは、書込操作で書き込まれた「りんご」の日本語の文字を、日本語のまま表示する処理を行う。
図6(B)は、本発明の一実施形態に係る矢印の書込操作が行われた場合の一例を示す図である。
図6(B)で示す状態は、書込操作で書き込んだ文字の開始位置、及び書込方向を矢印で入力する場合の一例である。文字の開始位置、及び書込方向は、例えば矢印3で示される。
矢印3は、図示するように、終端にアローヘッド(arrowhead)を有する線分である。印が矢印3である場合、開始位置は、矢印3の始点で示される。印が矢印3である場合、書込方向は、矢印3の始点から終端に線分が記載された方向で示される。なお、終端は、アローヘッドで示される場合に限られない。終端は、例えば丸印等の別の図形でもよい。また、文字の開始位置、及び書込方向は、矢印に代えて始点を丸印等で操作者に書き込ませ、他の一端を終端と判定される方法に基づいて、入力されてもよい。なお、例えば一文字の文字を書き込む場合、書込方向は、書き込みが省略されてもよい。
操作者が矢印3を書き込む場合、情報処理装置11Aは、矢印3のアローヘッドが書き込まれた点を終点と判定し、他の一端を始点として判定することができる。情報処理装置11Aは、始点と、終点との二点から、二点を通過する直線を算出することができ、情報処理装置11Aは、算出された直線から書込方向を判定することができる。
印が図示する矢印3である場合、矢印3の始点は、「り」の文字の位置を示し、かつ、矢印3の終端であるアローヘッドは、「ご」の文字の位置を示す。矢印3のアローヘッドが変換前の文字2の「ご」の文字の位置に入力されるため、情報処理装置11Aは、変換前の文字2の「ご」の文字の位置が終点と判定できる。さらに、矢印3のアローヘッドが変換前の文字2の「ご」の文字の位置に書き込まれるため、情報処理装置11Aは、他の一端である変換前の文字2の「り」の文字の位置を、始点と判定することができる。
図6(B)に示す状態では、「りんご」の文字の書込方向は、変換前の文字2の「り」の文字の位置、つまり、図の左上から、変換前の文字2の「ご」の文字の位置、つまり、図の右下に向かう方向であると矢印3によって示された場合である。
なお、文字の開始位置、及び書込方向を示す印は、矢印に限られない。文字の開始位置、及び書込方向を示す印は、文字の開始位置、及び書込方向が判定できる印であればよい。
図6(C)に示す状態は、書込操作で書き込んだ文字の開始位置、及び書込方向を、線分で書き込む場合の一例である。文字の開始位置、及び書込方向は、例えば線分4で示される。
文字の開始位置、及び書込方向を線分4で示す場合、操作者は、図示するように、変換前の文字2の「り」の文字の位置から、図の右下に向かって、文字に沿って変換前の文字2の「ご」の文字の位置まで、線分4を書き込む。情報処理装置11Aは、線分4の書き込みが開始されると、図2のセンサ11D2によって、線分4の書き込みが開始された点、変換前の文字2の「り」の文字の位置を始点とし、始点の座標を検出する。
情報処理装置11Aは、線分4の書き込みが終了すると、図2のセンサ11D2によって、線分4の書き込みが終了した点、変換前の文字2の「ご」の文字の位置を終点とし、終点の座標を検出する。情報処理装置11Aは、線分4の始点の位置を、文字の開始位置と判定できる。情報処理装置11Aは、線分4の始点と、終点との二点から、二点を通過する直線を算出することができ、情報処理装置11Aは、算出される直線から書込方向を判定することができる。
なお、開始位置は、書込操作で書き込んだ文字の最初の文字を対象とする場合に限られない。操作者が複数の文字を書き込み、途中の部分を対象とする場合等では、開始位置は、最初の文字の位置でなくともよい。例えば操作者が書込操作で「これは、りんごです。」との文字を書き込み、「りんご」の部分を後段の認識処理の対象とする場合等である。この場合、操作者が矢印3を、最初の文字である「こ」の位置ではなく、途中の文字である「り」の位置から「ご」の文字の位置までを示すように書き込む。情報処理装置11Aは、矢印3で示される「り」の文字の位置を、開始位置と判定することができる。情報処理装置11Aは、矢印3で示される「りんご」の文字が書き込まれた方向を、書込方向と判定することができる。
図6(D)で示す状態は、書込操作で書き込んだ文字の開始位置、及び書込方向を二点の印で入力する場合の一例である。文字の開始位置、及び書込方向は、例えば開始点5A、及び終了点5Bの二点の印で示される。
文字の開始位置、及び書込方向が開始点5A、及び終了点5Bで示される場合、操作者は、図示するように、変換前の文字2の「り」の文字の位置に、開始点5Aを書き込む。同様に、操作者は、図示するように、変換前の文字2の「ご」の文字の位置に、終了点5Bを書き込む。情報処理装置11Aは、開始点5Aの書き込みが行われると、図2のセンサ11D2によって、開始点5Aが書き込まれた点、変換前の文字2の「り」の文字の位置を始点とし、始点の座標を検出する。情報処理装置11Aは、終了点5Bの書き込まれると、図2のセンサ11D2によって、終了点5Bが書き込まれた点、変換前の文字2の「ご」の文字の位置を終点とし、終点の座標を検出する。
情報処理装置11Aは、開始点5Aである始点の位置を、文字の開始位置と判定できる。情報処理装置11Aは、開始点5Aと、終了点5Bとの二点から、二点を通過する直線を算出することができ、情報処理装置11Aは、算出される直線から、書込方向を判定することができる。なお、印は、点に限られない。印は、点に代えて、他の図形、又は記号等でもよい。
入力処理は、文字の書き込まれた範囲を示す処理範囲を入力する処理であってもよい。
図7は、本発明の一実施形態に係る処理範囲の入力の一例を示す図である。
図示するように、入力処理は、処理範囲を入力する処理でもよい。処理範囲は、図7では、囲み線6で示される範囲である。図7は、図6(A)の操作者が、変換前の文字2の「りんご」の文字を、図2のタッチパネル11D1上に書き込む書込操作を行った場合の例である。
図7で示す状態では、操作者は、書込操作で書き込んだ変換前の文字2である「りんご」の文字の範囲を示す囲み線6を書き込む。即ち、操作者は、情報処理装置11Aに、後段の認識処理、及び変換処理を行わせる処理範囲を、囲み線6で示す。図7では、処理範囲は、囲み線6で囲まれた範囲である。情報処理装置11Aは、囲み線6で示された処理範囲を後段の処理の対象とする。
なお、囲み線6は、図7で示す形状に限られない。例えば囲み線6は、四角等の他の形状であってもよい。
囲み線6で操作者が処理の対象となる範囲を特定することによって、情報処理システム1は、処理を行う範囲を漏れなく特定できる。また、囲み線6で操作者が処理の対象となる範囲を特定することによって、操作者が後段の処理を行って欲しい範囲を特定できるため、情報処理システム1は、処理を行う範囲を無駄なく特定できる。
囲み線6で操作者が処理の対象となる範囲を入力するため、操作者が処理して欲しい範囲を、情報処理システム1が特定することができる。よって、情報処理システム1は、囲み線6を用いる入力処理によって、文字を精度よく処理できる。また、情報処理システム1が処理を行う範囲を、囲み線6の内側の範囲に特定できるため、情報処理システム1は、処理コストを少なくできる。
ステップS11A04では、情報処理装置11Aは、受け付けた文字のデータを、送信する処理を行う。ステップS11A04の処理は、図4のステップS0103の処理に相当する。即ち、ステップS11A04では、情報処理装置11Aは、ステップS11A01で、日本語の文字が書き込まれた場合、日本語の文字のデータを送信する処理を行う。
ステップS11A05では、情報処理装置11Aは、認識処理を行う。ステップS11A05では、情報処理装置11Aは、OCR処理等の認識処理によって、ステップS11A01で書き込まれた文字を認識し、情報処理装置11Aは、テキストデータを生成する処理を行う。認識処理は、ステップS11A01の書込操作で書き込まれた文字を、ステップS11A03の入力処理で入力される文字の開始位置から、書込方向に向う順序で情報処理装置11Aによって処理が行われる。
図8は、本発明の一実施形態に係る認識処理の際の効果の一例を示す図である。
図6(B)の矢印3等が入力されているため、認識処理の際、情報処理装置11Aは、認識処理を文字の開始位置から開始し、書込方向に向かって処理することができる。図2のタッチパネル11D1が用いられる場合、操作者は、図2のタッチパネル11D1上のどの位置からでも書き込みを開始でき、かつ、様々な書込方向を選択することができる。したがって、書込操作で書き込まれる文字の書込方向は、図6(A)で示すように、左上から右下に向かう方向に限られない。
図8(A)は、縦方向に、書込操作が行われた場合の一例を示す図である。
図示するように、図8(A)は、操作者が「りんご」の文字を、図の上から図の下方向に向かう、いわゆる縦書きで文字を書き込む場合の書込操作の例を示す図である。
図8(B)は、右から左向き方向に、書込操作が行われた場合の一例を示す図である。
図示するように、図8(B)は、操作者が「りんご」の文字を、図の右から図の左方向に向かって書き込む書込操作の場合の例を示す図である。
図6(B)で示す矢印3等が入力されているため、認識処理の際、情報処理装置11Aは、図8(A)、及び図8(B)で示すように、書込操作の最初の文字である「り」の文字の位置を判定することができる。図8(B)は、例えば書込方向が右から左方向の書き込みであることが多いアラビア語、又はヘブライ語等の言語で、書込操作が行われた場合等である。
矢印3等が書き込まれるため、認識処理の際、情報処理装置11Aは、図8(A)、及び図8(B)で示すように、書込方向を判定することができる。入力処理によって、情報処理装置11Aは、変換前の文字2Aが縦書きで書き込まれた場合、書込方向が上から下方向であると判定することができる。同様に、入力処理によって、情報処理装置11Aは、変換前の文字2Bが右から左に書き込まれた場合、書込方向が右から左方向であると判定することができる。
なお、認識処理は、文字と矢印3等との距離を利用する処理でもよい。例えば認識処理は、矢印3が書き込まれた位置から所定の距離以内に書き込まれた文字を、処理の対象とする。つまり、距離を利用する場合、情報処理装置11Aは、矢印3の近くに書き込まれた文字を認識処理し、矢印3から離れた位置に書き込まれた文字は、認識処理の対象から外す処理を行う。距離は、例えば情報処理装置11Aに予め設定される。
具体的には、情報処理装置11Aは、例えば文字と矢印3との距離が最も近くなる箇所の距離を文字と矢印3との距離として計算する。計算される文字と矢印3との距離の値が、情報処理装置11Aに予め設定される距離の値以下である場合、情報処理装置11Aは、文字を処理の対象と判定する。情報処理装置11Aは、書き込まれた各々の文字について、距離を利用した判定を行う。
距離を利用することによって、情報処理装置11Aは、矢印3の近くに書き込まれた文字を認識処理するため、認識処理の対象を精度よく特定できる。
ステップS11A06では、情報処理装置11Aは、認識処理で生成されたテキストデータを、サーバ12に送信する処理を行う。ステップS11A06の処理は、図4のステップS0105の処理に相当する。
図5(B)は、本発明の一実施形態に係るサーバ12による全体処理の一例を示すフローチャートである。
ステップS1201では、サーバ12は、変換後の言語等を設定する処理を行う。ステップS1201では、サーバ12は、後段の処理である翻訳等の変換処理の設定として、変換後の言語等を設定する処理を行う。ステップS1201の処理は、図4のステップS0106の処理に相当する。サーバ12は、例えば情報処理装置11Bから地域を示すデータを取得し、サーバ12が変換後の言語を特定する。サーバ12は、認識処理で認識された文字を、地域のデータから特定した言語の文字に、翻訳する設定を行う。
以下、情報処理装置11Bが米国等の英語圏の地域に設置されている場合を例に説明する。情報処理装置11Bが英語圏に設定されている場合、ステップS1201では、サーバ12は、地域を示すデータから、変換後の言語を、英語と設定する処理を行う。なお、変換後の言語等を設定する処理は、変換後の言語を設定する処理に限られない。例えば変換前の言語が変換処理で必要な場合、サーバ12は、情報処理装置11Aから変換前の言語を設定するためのデータを取得し、変換前の言語を設定する処理を行う。
ステップS1202では、サーバ12は、翻訳等の変換処理を行う。ステップS1202の処理は、図4のステップS0107の処理に相当する。ステップS1202では、サーバ12は、ステップS11A06で送信されたテキストデータが「りんご」である場合、「りんご」の日本語を、対応する英語である「apple」に、英訳する処理を行う。
なお、翻訳は、日本語を英語にする英訳に限られない。例えば翻訳は、英語を日本語にする和訳でもよい。また、翻訳は、日本語、及び英語以外の言語を対象としてもよい。
なお、翻訳等の変換処理は、翻訳の処理に限られない。変換処理は、テキストデータを絵文字、又は記号等に、変換する処理であってもよい。
ステップS1203では、サーバ12は、変換処理されたテキストデータを、情報処理装置11Bに、送信する処理を行う。ステップS1203の処理は、図4のステップS0108の処理に相当する。ステップS1203では、サーバ12は、ステップS11A06で送信されたテキストデータが「りんご」である場合、「apple」のテキストデータを、送信する処理を行う。
図5(C)は、本発明の一実施形態に係る情報処理装置11Bによる全体処理の一例を示すフローチャートである。
ステップS11B01では、情報処理装置11Bは、送信された翻訳前の文字を表示する処理を行う。ステップS11B01の処理は、ステップS11A04の処理で情報処理装置11Aが送信したデータである、情報処理装置11Aが受け付けた文字のデータを表示する処理である。ステップS11B01では、情報処理装置11Bは、ステップS11A01で、日本語による「りんご」の文字が書き込みされた場合、日本語の「りんご」の文字を表示する処理を行う。
ステップS11B02では、情報処理装置11Bは、地域を示すデータ等を送信する処理を行う。ステップS11B02の処理は、サーバ12がステップS1201の処理を行うために必要なデータを、情報処理装置11Bが送信する処理である。ステップS11B02では、情報処理装置11Bは、例えばサーバ12が翻訳等の変換処理の設定に必要なデータを送信する処理を行う。なお、ステップS11B02の処理は、ステップS1201の処理の内容に応じて、情報処理装置11A等の他の装置が行ってもよい。
ステップS11B03では、情報処理装置11Bは、変換処理された文字を出力する処理を行う。ステップS11B03の処理は、図4のステップS0109の処理に相当する処理である。
図9は、本発明の一実施形態に係る変換処理された文字を出力する処理の一例を示す図である。
図9(A)は、本発明の一実施形態に係る変換処理された文字を出力する処理前の状態の一例を示す図である。
図6(A)で示す書込操作が行われる場合、情報処理装置11Bは、変換処理された文字を情報処理装置11Bが出力する処理を行うまで、変換前の文字2を情報処理装置11Bが表示する処理を行う。図9(A)は、図5のステップS11B01の処理が行われた状態を示す図である。図9(A)では、図5のステップS11A01で書込操作が日本語で行われた場合、情報処理装置11Bは、日本語の表示を行う。
図9(B)は、本発明の一実施形態に係る変換処理された文字を出力する処理が行われた状態の一例を示す図である。
図5のステップS1203で、変換処理されたテキストデータがサーバ12から情報処理装置11Bに送信される場合、情報処理装置11Bは、図示するように、変換後の文字7を出力する処理を行う。図示するように、変換後の文字7は、英語である。変換処理された文字を出力する処理は、図9(A)で示す変換前の文字2を、変換後の文字7に、置換する処理等である。なお、出力する処理は、置換する処理に限られない。出力する処理は、例えば変換後の文字7を、変換前の文字2と併記する表示の処理等でもよい。
<機能構成>
図10は、本発明の一実施形態に係る情報処理システムの機能構成の一例を説明する機能ブロック図である。
情報処理システム1は、受付部1F1と、入力部1F2と、認識部1F3と、変換部1F4と、出力部1F5とを有する。
受付部1F1は、文字を書き込む書込操作を受け付ける。受付部1F1は、操作者が書込操作によって書き込む文字を、受け付ける。受付部1F1は、例えば図2のタッチパネル11D1、及びセンサ11D2等によって実現される。
入力部1F2は、文字の開始位置、及び文字の書込方向を入力する入力処理を行う。受付部1F1は、操作者が受付部1F1によって書き込んだ文字に対して、文字の開始位置、及び文字の書込方向、即ち、書き込まれた文字を認識部1F3が認識する順番を示す情報を入力する入力処理を行う。入力部1F2は、例えば図2のタッチパネル11D1、及びセンサ11D2等によって実現される。
認識部1F3は、認識処理を行う。認識部1F3は、操作者が受付部1F1によって書き込んだ文字を、入力部1F2が入力する文字の開始位置、及び文字の書込方向に基づいて、認識処理を行う。認識部1F3は、例えば図2のCPU11D3等によって実現される。
変換部1F4は、認識処理で認識された文字を、他の文字に変換する変換処理を行う。変換部1F4は、認識部1F3が認識処理によって生成したテキストデータを、翻訳等によって他の言語等に変換する変換処理を行う。変換部1F4は、例えば図3のCPU12D1等によって実現される。
出力部1F5は、変換部1F4が変換処理したデータを、出力する処理を行う。出力は、例えばデータがネットワークを介して出力側の情報処理装置11Bに送信され、情報処理装置11Bによって文字が表示される処理等である。出力部1F5は、例えば図2のタッチパネル11D1、図2のネットワークI/F11D5、及び図3のネットワークI/F12D3等によって実現される。
情報処理システム1は、文字の開始位置、及び文字の書込方向を、操作者が書き込む図6(B)で示す矢印3等の印に基づいて入力する入力処理を行う。情報処理システム1は、図6(B)で示す矢印3等の印によって、文字の開始位置、及び文字の書込方向を、判定することができる。情報処理システム1は、文字を、文字の開始位置、及び文字の書込方向に基づいて認識処理することができる。
情報処理システム1は、文字の開始位置、及び文字の書込方向から、認識処理を開始する位置、及び認識処理を行う方向を、精度よく判定することができる。
認識処理を開始する位置が精度よく判定される場合、認識処理では、情報処理システム1は、処理の対象となる文字について、操作者が意図する文字から文字が抜ける脱字となる場合、及び変換処理の対象とする必要がない文字が加わる場合を少なくできる。
文字の書込方向が精度よく判定される場合、認識処理では、情報処理システム1は、処理の対象となる文字の順序を、操作者が意図した文字の順序と相違して処理する場合を少なくできる。認識処理が精度よく行われる場合、変換処理の対象となるテキストデータが操作者の所望の文字を示すデータとなる可能性が高くなるため、情報処理システム1は、翻訳等の変換処理を精度よく行うことができる。
<他のシステム構成>
<第二実施形態>
図11は、本発明の一実施形態に係る第二実施形態の情報処理システムの全体構成の一例を説明する概略図である。
本発明の実施形態に係る情報処理システムは、図1で示すように、図1の情報処理装置11Aが入力専用の装置、及び図1の情報処理装置11Bが出力専用の装置となる一方向の通信を行う構成に限られない。
本発明の実施形態に係る情報処理システムは、図11で図示する第二実施形態のように、双方向の通信を行う構成でもよい。第二実施形態の情報処理システム1Aでは、情報処理装置11A、及び情報処理装置11Bの間で、双方向の通信が行われる。情報処理システム1Aの情報処理装置11A、情報処理装置11B、及びサーバ12は、第一実施形態の情報処理装置11A、情報処理装置11B、及びサーバ12と同様の装置である。したがって、各装置の説明は、省略する。
情報処理システム1Aでは、情報処理装置11A、及び情報処理装置11Bは、いずれもが情報処理システム1の入力側、及び出力側である。例えば情報処理装置11Aが日本語圏に設置され、かつ、情報処理装置11Bが英語圏に設置されている場合を例に説明する。
情報処理システム1Aは、日本語圏の情報処理装置11Aで書込操作が行われる場合、情報処理装置11Aが入力側となり、サーバ12が日本語を英語に翻訳する変換処理を行って、情報処理装置11Bが英語を表示する処理を行う。情報処理システム1Aは、英語圏の情報処理装置11Bで書込操作が行われる場合、情報処理装置11Bが入力側となり、サーバ12が英語を日本語に翻訳する変換処理を行って、情報処理装置11Aが日本語を表示する処理を行う。
情報処理システム1Aは、情報処理装置11A、及び情報処理装置11Bが設置される二拠点の双方向のコミュニケーションを、より円滑にすることができる。
<第三実施形態>
図12は、本発明の一実施形態に係る第三実施形態の情報処理システムの全体構成の一例を説明する概略図である。
本発明の実施形態に係る情報処理システムは、図1で図示するように、図1のサーバ12を有する構成、いわゆるクライアント−サーバの構成に限られない。
本発明の実施形態に係る情報処理システムは、図12で図示する第二実施形態のように、いわゆるP2P(Peer to Peer)の構成でもよい。図12で示す全体構成では、図1のサーバ12が有した機能は、情報処理装置11A、又は情報処理装置11Bが有する。
情報処理システム1B、及び情報処理システム1Cの情報処理装置11A、及び情報処理装置11Bは、第一実施形態の情報処理装置11A、及び情報処理装置11Bと同様のハードウェア構成の装置である。したがって、各装置の説明は、省略する。
図12(A)は、本発明の一実施形態に係る第三実施形態の情報処理システムの全体構成の一例を説明する概略図である。図12(A)で示す情報処理システム1Bでは、図1のサーバ12が有する機能は、情報処理装置11Aが有する。図12(A)で示す全体構成では、変換処理は、情報処理装置11Aが行う。情報処理システム1Bでは、情報処理装置11Aによって変換処理された変換後の文字のデータは、情報処理装置11Aから出力側に出力され、変換後の文字が情報処理装置11Bによって表示される。
図12(B)は、本発明の一実施形態に係る第三実施形態の情報処理システムの全体構成の一例を説明する概略図である。図12(B)で示す情報処理システム1Cでは、図1のサーバ12が有する機能は、情報処理装置11Bが有する。図12(B)で示す全体構成では、変換処理は、情報処理装置11Bが行う。情報処理システム1Cでは、変換処理される前のデータである変換前の文字のデータが、情報処理装置11Aから出力側に出力され、情報処理装置11Bが変換処理の後、変換後の文字が情報処理装置11Bによって表示される。
情報処理システム1B、及び情報処理システム1Cは、図1のサーバ12が不要となるため、第一実施形態の情報処理システム1より少ない装置で、システムを構成することができる。
<第四実施形態>
図13は、本発明の一実施形態に係る第四実施形態の情報処理システムの全体構成の一例を説明する概略図である。
第四実施形態は、第一実施形態と比較して、操作者が書き込みで、書込装置を用いる点が異なる。情報処理装置11A、情報処理装置11B、及びサーバ12のハードウェア構成は、第一実施形態と同様であるため、説明は省略する。
情報処理システム1は、書込装置を有してもよい。書込装置は、例えばペンデバイス20A、及びペンデバイス20Bである。以下、書込装置がペンデバイス20A、及びペンデバイス20Bである場合を例に説明する。
操作者は、図6等で説明した情報処理装置11Aに、文字を書き込む場合に、ペンデバイス20A、及びペンデバイス20Bを用いる。同様に、操作者は、図6等で説明した情報処理装置11Aに、開始位置、及び書込方向を示す印である矢印3等を書き込む場合に、ペンデバイス20A、及びペンデバイス20Bを用いる。
図13は、図示するように、操作者が操作者A、及び操作者Bであり、操作者が二人いる場合の例である。操作者A、及び操作者Bは、それぞれペンデバイス20A、及びペンデバイス20Bを用いて書き込みを行う。図13で示す全体構成では、操作者Aがペンデバイス20Aを用い、操作者Bがペンデバイス20Bを用いる。操作者A、及び操作者Bは、同時に情報処理装置11Aに、書き込みを行ってもよい。
なお、実施形態は、書込装置がペンデバイス20A、及びペンデバイス20Bである場合に限られない。実施形態は、情報処理システム1が3以上の書込装置を有する構成でもよい。
<ペンデバイスのハードウェア構成>
図14は、本発明の一実施形態に係るペンデバイスのハードウェア構成の一例を説明するブロック図である。
ペンデバイス20A、及びペンデバイス20Bは、同様のハードウェア構成である。以下、ペンデバイス20Aのハードウェア構成を例に説明する。
ペンデバイス20Aは、記憶装置20D1と、ネットワークI/F20D2とを有する。
記憶装置20D1は、各種データを記憶する。記憶装置20D1には、識別データが記憶される。
識別データは、ペンデバイス20Aを識別するデータである。識別データは、例えば1ビット(bit)のデータ等である。識別データが1ビットのデータである場合、ペンデバイス20Aに、例えば識別データとして、「0」が設定される。同様に、ペンデバイス20Bに、例えば識別データとして、「1」が設定される。なお、識別データは、ペンデバイスのデバイス名、又は識別番号等でもよい。
ネットワークI/F20D2は、データを外部の装置に送信するインタフェースである。ネットワークI/F20D2は、例えばアンテナ、送信処理用IC(Integrated Circuit)、及びドライバ等である。ネットワークI/F20D2は、識別データ等を、送信先となる情報処理装置11A等が有するセンサ、又はネットワークI/F等に送信する。
情報処理装置11A等は、書込装置の識別データを取得し、取得した識別データが「0」である場合、書込装置がペンデバイス20Aであると識別する。同様に、情報処理装置11A等は、書込装置の識別データを取得し、取得した識別データが「1」である場合、書込装置がペンデバイス20Bであると識別する。
なお、書込装置のハードウェア構成は、図14で示す構成に限られない。書込装置は、識別データが設定され、かつ、設定される識別データを送信する処理が実現できるハードウェア構成であればよい。したがって、書込装置は、例えば演算装置等を有してもよい。
<第四実施形態の全体処理>
図15は、本発明の一実施形態に係る第四実施形態の情報処理システム、及び情報処理装置による全体処理の一例を示すシーケンス図である。
図15は、操作者Aがペンデバイス20Aを用いる場合を例に説明している図である。
図15の第四実施形態の全体処理は、図4の第一実施形態の全体処理と比較して、書き込みに、ペンデバイス20Aを用いる点が異なる。図15の第四実施形態の全体処理は、図4の第一実施形態の全体処理と比較して、操作者が文字を書き込むと、ペンデバイス20Aから識別データが取得される処理であるステップS0110が加わっている点が異なる。図15の第四実施形態の全体処理は、図4の第一実施形態の全体処理と比較して、操作者が矢印3等の印を書き込むと、ペンデバイス20Aから識別データが取得される処理であるステップS0111が加わっている点が異なる。図15の第四実施形態の全体処理は、図4の第一実施形態の全体処理と比較して、ステップS0110、及びステップS0111で取得される識別データが一致するか否かを判断する処理であるステップS0112が加わっている点が異なる。
図15では、図4で示す第一実施形態の全体処理と同様の処理は、同じ符号を付し、説明を省略する。
ステップS0110では、情報処理装置11Aは、受け付けた文字を書き込んだ書込装置の識別データ(以下、第一識別データという。)を取得する処理を行う。ステップS0110では、情報処理装置11Aは、第一識別データとして、ステップS0101の書込操作で用いられた書込装置が有する識別データを書込装置から取得する。ステップS0101の書込操作でペンデバイス20Aが用いられた場合、情報処理装置11Aは、ペンデバイス20Aの識別データを取得し、ステップS0101の書込操作で受け付けた文字に対応させてペンデバイス20Aの第一識別データを記憶する。
ステップS0110では、識別データは、例えば1ストロークごとに、情報処理装置11Aによって取得される。識別データは、各ストロークに対応して、情報処理装置11Aに記憶される。したがって、情報処理装置11Aは、第一識別データに基づいて、各ストロークがそれぞれどの書込装置によって書き込まれたかを識別できる。
なお、識別データは、1ストロークごとに、取得、及び記憶される場合に限られない。識別データは、例えば1文字ごとに、取得、又は記憶されてもよい。また、情報処理装置11Aは、文字を所定の文字数で1グループと設定し、情報処理装置11Aは、1グループごとに、識別データを、取得、又は記憶してもよい。同様に、情報処理装置11Aは、図7の処理範囲が入力される場合、処理範囲ごとに、識別データを、取得、又は記憶してもよい。
ステップS0111では、情報処理装置11Aは、開始位置、及び書込方向を示す印を書き込んだ書込装置の識別データ(以下、第二識別データという。)を取得する処理を行う。ステップS0111では、情報処理装置11Aは、第二識別データとしてステップS0102の書込操作で用いられた書込装置が有する識別データを書込装置から取得する。ステップS0102の書込操作でペンデバイス20Aが用いられた場合、情報処理装置11Aは、ペンデバイス20Aの識別データを取得し、ステップS0102の入力処理で入力された印に対応させて、ペンデバイス20Aの第二識別データを記憶する。ステップS0111では、第二識別データは、例えば第一識別データと同様に1ストロークごと、又は矢印3ごとに対応して、記憶される。したがって、情報処理装置11Aは、第二識別データに基づいて、各矢印がそれぞれどの書込装置によって書き込まれたかを識別できる。
ステップS0112では、情報処理装置11Aは、第一識別データと、第二識別データとが一致するか否かを判断する処理を行う。第一識別データと、第二識別データとが一致する場合(ステップS0112でYES)、情報処理装置11Aは、ステップS0104に進む。第一識別データと、第二識別データとが一致しない場合(ステップS0112でNO)、情報処理装置11Aは、全体処理を終了する。
第一識別データと、第二識別データとが一致する場合は、文字を書き込んだ書込装置と、矢印3を書き込んだ書込装置とが同じ場合である。情報処理装置11Aは、矢印3を書き込んだ書込装置と同じ書込装置によって書き込まれた文字を処理の対象として認識処理を行う。
図16は、本発明の一実施形態に係る第四実施形態の各装置による全体処理の一例を示すフローチャートである。
図16(A)は、本発明の一実施形態に係る第四実施形態の情報処理装置11Aによる全体処理の一例を示すフローチャートである。
図16(A)は、図5(A)で示す第一実施形態の全体処理と比較して、ステップS11A07乃至ステップS11A09が加わっている点が異なる。図16(A)では、図5(A)で示す第一実施形態の全体処理と同様の処理は、同じ符号を付し、説明を省略する。
ステップS11A07では、情報処理装置11Aは、第一識別データを取得する処理を行う。ステップS11A07の処理は、ステップS0110の処理に相当する。
ステップS11A07では、情報処理装置11Aは、ステップS11A01で受け付けた文字を書き込んだ書込装置の識別データを取得する。なお、ステップS11A07の処理は、図16(A)に示すタイミングで処理が行われる場合に限られない。第一識別データを取得する処理は、例えばステップS11A01の処理と並行して行われてもよい。
ステップS11A08では、情報処理装置11Aは、第二識別データを取得する処理を行う。ステップS11A08の処理は、ステップS0111の処理に相当する。
ステップS11A08では、情報処理装置11Aは、ステップS11A03で入力処理される文字の開始位置、及び書込方向を示す印を書き込んだ書込装置の識別データを取得する。なお、ステップS11A08の処理は、図16(A)に示すタイミングで処理が行われる場合に限られない。第二識別データを取得する処理は、例えばステップS11A03の処理と並行して行われてもよい。
ステップS11A09では、情報処理装置11Aは、識別データが一致するか否かを判断する。ステップS11A09では、情報処理装置11Aは、第一識別データと第二識別データとが一致するかを判断する。ステップS11A09の処理は、ステップS0112の処理に相当する。
第一識別データと第二識別データとが一致する場合(ステップS11A09でYES)、情報処理装置11Aは、ステップS11A05に進む。第一識別データと第二識別データとが一致しない場合(ステップS11A09でNO)、情報処理装置11Aは、全体処理を終了する。
図16(B)は、本発明の一実施形態に係る第四実施形態のサーバ12による全体処理の一例を示すフローチャートである。図16(B)で示す処理は、図5(B)で示す処理と同様であるため、説明を省略する。
図16(C)は、本発明の一実施形態に係る第四実施形態の情報処理装置11Bによる全体処理の一例を示すフローチャートである。図16(C)で示す処理は、図5(C)で示す処理と同様であるため、説明を省略する。
図16(D)は、本発明の一実施形態に係る第四実施形態のペンデバイス20Aによる全体処理の一例を示すフローチャートである。
ステップS20A01では、ペンデバイス20Aは、識別データを送信する処理を行う。ステップS20A01では、ペンデバイス20Aは、記憶装置20D1に予め設定される識別データを情報処理装置11Aに送信する。ステップS20A01でペンデバイス20Aが識別データを送信するタイミングは、例えばステップS11A07のタイミングに対応する。したがって、ステップS20A01で送信される識別データは、情報処理装置11Aに第一識別データとして記憶される。
ステップS20A02では、ペンデバイス20Aは、識別データを送信する処理を行う。ステップS20A02では、ペンデバイス20Aは、記憶装置20D1に予め設定される識別データを情報処理装置11Aに送信する。ステップS20A02の処理は、ステップS20A01の処理と同様である。ステップS20A02でペンデバイス20Aが識別データを送信するタイミングは、例えばステップS11A08のタイミングに対応する。したがって、ステップS20A02で送信される識別データは、情報処理装置11Aに第二識別データとして記憶される。
図17は、本発明の一実施形態に係る第四実施形態における認識処理の際の効果の一例を示す図である。
図17(A)は、操作者A、及び操作者Bが文字の書込操作を行う場合の一例を示す図である。
図示するように、図17(A)は、操作者Aがペンデバイス20Aを用いて文字の書込操作を行う場合、かつ、同時に操作者Bがペンデバイス20Bを用いて文字の書込操作を行う場合の例である。操作者Aが書き込む文字をペンデバイス20Aで書き込まれた変換前の文字(以下、第一文字という。)220Aとする。操作者Bが書き込む文字をペンデバイス20Bで書き込まれた変換前の文字(以下、第二文字という。)220Bとする。
図17(A)は、操作者A、及び操作者Bが文字の書込操作を行う場合の一例を示す図である。
図17(B)は、操作者Aが開始位置、及び書込方向を示す印として矢印3を書き込む場合の一例を示す図である。図17(B)は、図17(A)で示す操作の後に行われる操作である。
図17(C)は、図17(B)で示す操作に対する処理結果の一例を示す図である。
情報処理装置11Aは、第一文字220A、及び第二文字220Bの書込操作を受け付けると、各文字について識別データを取得する。
図17で示す状態では、第一文字220Aは、書込操作に、ペンデバイス20Aが用いられているため、情報処理装置11Aは、第一文字220Aに対する第一識別データにペンデバイス20Aの識別データを対応させて記憶する。
図17で示す状態では、第二文字220Bは、書込操作にペンデバイス20Bが用いられているため、情報処理装置11Aは、第二文字220Bに対する第一識別データに、ペンデバイス20Bの識別データを対応させて記憶する。
情報処理装置11Aは、矢印3の書き込みが行われると、矢印3について識別データを取得する。
図17で示す状態では、矢印3は、書き込みにペンデバイス20Aが用いられているため、情報処理装置11Aは、矢印3に対する第二識別データにペンデバイス20Aの識別データを対応させて記憶する。
情報処理装置11Aは、第一文字220Aに対する第一識別データと、矢印3に対する第二識別データとが一致すると判断する(ステップS0112でYES)。
したがって、情報処理装置11Aは、第一文字220Aを処理の対象として、認識処理を行う。情報処理装置11Aは、第一文字220Aを認識処理し、同様に、ステップS0105以降の処理を行う。よって、情報処理装置11Bは、図17(C)で図示するように、第一文字220Aを変換した文字(以下、第三文字という。)720Aを表示する。情報処理装置11Aは、第一文字220Aを認識処理し、サーバ12に第一文字220Aを変換前の文字として送信する。サーバ12は、送信された第一文字220Aを変換処理し、第三文字720Aに変換する。情報処理装置11Bは、サーバ12が変換処理した第三文字720Aを表示する。
図17で示す状態では、情報処理装置11Aは、第一文字220A、及び第二文字220Bの書込操作を受け付けるが、矢印3に基づく認識処理では、処理の対象が第一文字220Aであると特定できる。つまり、情報処理装置11Aは、第一文字220Aを認識処理する際に、第二文字220Bの書き込みがあるのに係わらず、第一文字220Aを精度よく認識処理できる。
図17で示す状態では、第二文字220Bの第一識別データと、矢印3に対する第二識別データとが一致しないことから、情報処理装置11Aは、矢印3に基づく認識処理では、第二文字220Bが処理の対象ではないと判断することができる。
情報処理装置11Aは、識別データを用いることで、認識処理で処理の対象となる文字を精度よく判別することができる。情報処理装置11Aは、識別データを用いることで、第一文字220Aを認識処理する場合、第二文字220Bである「みかん」の文字を含んで認識処理することを少なくできる。
情報処理システム1は、情報処理装置11Aが認識処理で第一文字220Aを精度よく処理できるため、認識処理の後段の処理である変換処理等で、精度よく処理することができる。
<第四実施形態の機能構成>
図18は、本発明の一実施形態に係る第四実施形態の情報処理システムの機能構成の一例を説明する機能ブロック図である。
図18は、図10で示す第一実施形態の機能構成と比較して、取得部1F6と、判断部1F7とが追加されている点が異なる。図18では、図10で示す第一実施形態の機能構成と同様の構成については、同じ符号を付し、説明を省略する。
情報処理システム1は、受付部1F1と、入力部1F2と、認識部1F3と、変換部1F4と、出力部1F5と、取得部1F6と、判断部1F7とを有する。
取得部1F6は、操作者が書込装置を用いて文字を書き込むと、書込装置から識別データを第一識別データとして取得する。
取得部1F6は、操作者が書込装置を用いて開始位置、及び書込方向を示す印である矢印等を書き込むと、書込装置から識別データを第二識別データとして取得する。
取得部1F6は、例えば図2のネットワークI/F11D5、図14の記憶装置20D1、及びネットワークI/F20D2等によって実現される。
判断部1F7は、取得部1F6が取得する第一識別データ、及び第二識別データが一致するか否かを判断する。取得部1F6は、例えば図2のCPU11D3等によって実現される。
判断部1F7は、判断結果を認識部1F3に送信し、認識部1F3は、判断結果に基づいて、第一識別データ、及び第二識別データが一致する文字を認識処理の対象とする。
取得部1F6が第一識別データ、及び第二識別データを取得するため、判断部1F7は、文字の書込操作に用いられた書込装置と、矢印等の書き込みに用いられた書込装置とが同じ装置であるか否かを判断することができる。認識部1F3は、判断部1F7が第一識別データ、及び第二識別データが一致すると判断する文字を処理の対象とするため、処理の対象とする文字を精度よく処理できる。したがって、情報処理システム1は、識別データを用いることで、翻訳等の際に文字を精度よく処理できる。
なお、実施形態で説明したネットワークを用いたシステム構成は一例であり、用途、又は目的に応じて様々なシステム構成があることは言うまでもない。例えば、各処理は、ネットワークを介して1以上の外部装置によって分散、冗長、又は並列に処理されてもよい。
また、実施形態は、説明した情報処理装置によって実現される場合に限られない。実施形態は、例えばCPUを有する情報処理装置、又は情報処理システムに各種処理を実行させるためのプログラムによって実現されてもよい。
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。