JP5652647B2 - 小型電子機器、処理方法及びプログラム - Google Patents

Description

本発明は、筺体が空中の任意の平面内で移動されながら行われた文字を書く動作を認識する小型電子機器、処理方法及びプログラムに関する。

従来、人が文字を書く動作を慣性センサによって計測してコンピュータに取り込む技術としては、多々提案されている。例えば、ペン先に加速度センサを収容することによって、この加速度センサの計測結果をペン先の移動軌跡として抽出するようにした技術（特許文献１参照）が提案され、また、携帯電話装置において加速度センサの検出結果に応じた装置本体の移動情報に基づいて手書き動作により特定される入力情報を認識するようにした技術（特許文献２参照）が提案されるなど、色々な提案がなされている。

特開２００９−０９９０４１号公報 特開２００８−０７０９２０号公報

しかしながら、加速度センサを使用して文字認識を行う技術の多くは、加速度センサの計測結果を２回積分することにより加速度から速度を算出すると共に、この速度から位置を算出し、この位置の移動軌跡を文字認識に利用するようにしているが、このような方法では、積分初期状態（書き始め位置）不明の問題や積分誤差の問題があり、さらには重力という強力な外乱を計測データから除去するために重力方向の変化の追跡に角速度センサの出力を積分する必要があり、その積分にも上述の積分初期状態不明の問題や積分誤差の問題が存在しているために確実な文字認識を実現することは極めて困難であった。一方、ユーザにあっても、いつでも筺体を同じ姿勢にしなければならず、文字を書く平面も同じにしなければならないなど、文字を手書き入力する際の操作に注意を払いながら行う必要があり、ユーザに大きな負担をかけることにもなる。

そこで、本出願人は、先に、加速度センサを内蔵した機器を動かすことによって空中の平面内に書かれた文字を加速度センサの計測結果に基づいて認識できるようにした文字認識装置を提案した（特願２０１０−１６７１４３号、特願２０１０−１７１８３０号）。これらの文字認識装置にあっては、文字を手書き入力する際のユーザの負担を大幅に軽減しながら文字認識を円滑かつ確実に行うことができるようにしたものであるが、空中の平面内に書かれた文字を認識することのみを行い、各種のコマンドの発行は、キーボードなどの別の手段で行うようにしていた。

本発明の課題は、本出願人が先に提案した技術をさらに発展させるために、任意の平面内で書かれた文字を認識する場合に、文字認識と共にその文字を書く動作に応じて所定の処理を行えるようにすることである。

上述した課題を解決するために請求項１記載の発明は、
筐体の移動方向を検出する移動方向検出手段と、
前記移動方向検出手段により検出された、前記筐体が空中の任意の平面内で移動されながら行われた文字又は文字列を書く動作に基づいて、文字又は文字列を認識する認識手段と、
前記平面内に前記書く動作により書かれた文字又は文字列の姿勢とその文字又は文字列を書く動作の間の筐体の姿勢との相対姿勢、文字又は文字列を書く動作の間の筐体の姿勢、前記平面内に前記書く動作により書かれた文字又は文字列の姿勢のうち、少なくともいずれかの姿勢を算出する算出手段と、
前記算出手段により算出された文文字又は文字列の姿勢と筐体の姿勢との相対姿勢、筐体の姿勢、文字又は文字列の姿勢、前記認識手段により認識された文字又は文字列の種類のうち、少なくともいずれかの組み合わせに応じて、所定の処理を行う処理手段と、
を具備したことを特徴とする。

請求項１に従属する発明として、
前記算出手段は、前記移動方向検出手段により計測された重力方向に対する前記筐体の傾きをその姿勢として算出する、
ようにしたことを特徴とする、請求項２記載の発明であってもよい。

請求項１に従属する発明として、
方位を計測する方位計測手段をさらに備え、
前記算出手段は、前記移動方向検出手段により計測された重力方向及び前記方位計測手段により計測された方位に対する前記筐体の傾きをその姿勢として算出する、
ようにしたことを特徴とする、請求項３記載の発明であってもよい。

請求項１〜請求項３のいずれかに従属する発明として、
前記算出手段は、前記移動方向検出手段により計測された重力方向に対する前記平面の傾きを前記文字の姿勢として算出する、
ようにしたことを特徴とする、請求項４記載の発明であってもよい。

請求項１〜請求項３のいずれかに従属する発明として、
方位を計測する方位計測手段をさらに備え、
前記算出手段は、前記移動方向検出手段により計測された重力方向及び前記方位計測手段により計測された方位に対する前記平面の傾きを前記文字の姿勢として算出する、
ようにしたことを特徴とする、請求項５記載の発明であってもよい。

請求項４あるいは請求項５に従属する発明として、
前記算出手段は、前記平面内での文字又は文字列の上下方向、表裏方向のうち、少なくともそのいずれかの方向を含めて前記文字又は文字列の姿勢として算出する、
ようにしたことを特徴とする、請求項６記載の発明であってもよい。

請求項１に従属する発明として、
前記処理手段は、前記所定の処理として、所定のコマンドを発行する、
ようにしたことを特徴とする、請求項７記載の発明であってもよい。

請求項７に従属する発明として、
前記処理手段により発行されたコマンドを外部に送信する送信手段をさらに備える、
ようにしたことを特徴とする、請求項８記載の発明であってもよい。

請求項７あるいは請求項８のいずれかに従属する発明として、
前記処理手段は、前記認識手段により認識された文字又は文字列の属性を指定するコマンドを発行する、
ようにしたことを特徴とする請求項９記載の発明であってもよい。

請求項７あるいは請求項８のいずれかに従属する発明として、
前記処理手段は、動作種を指定するコマンドを発行する、
ようにしたことを特徴とする、請求項１０記載の発明であってもよい。

請求項７あるいは請求項８のいずれかに従属する発明として、
前記処理手段は、動作モードを切り替えるコマンドを発行する、
ようにしたことを特徴とする、請求項１１記載の発明であってもよい。
また、上述した課題を解決するために請求項１２記載の発明は、
筐体の移動方向を検出する移動方向検出手段を備えた小型電子機器における処理方法であって、
前記移動方向検出手段により検出された、前記筐体が空中の任意の平面内で移動されながら行われた文字又は文字列を書く動作に基づいて、文字又は文字列を認識する認識工程と、
前記平面内に前記書く動作により書かれた文字又は文字列の姿勢とその文字又は文字列を書く動作の間の筐体の姿勢との相対姿勢、文字又は文字列を書く動作の間の筐体の姿勢、前記平面内に前記書く動作により書かれた文字又は文字列の姿勢のうち、少なくともいずれかの姿勢を算出する算出工程と、
前記算出工程により算出された文字又は文字列の姿勢と筐体の姿勢との相対姿勢、筐体の姿勢、文字又は文字列の姿勢、前記認識工程により認識された文字又は文字列の種類のうち、少なくともいずれかの組み合わせに応じて、所定の処理を行う処理工程と、
を含むことを特徴とする。

また、上述した課題を解決するために請求項１３記載の発明は、
筐体の移動方向を検出する移動方向検出手段を備えたコンピュータに、
前記移動方向検出手段により検出された、前記筐体が空中の任意の平面内で移動されながら行われた文字又は文字列を書く動作に基づいて、文字又は文字列を認識する認識機能、
前記平面内に前記書く動作により書かれた文字又は文字列の姿勢とその文字又は文字列を書く動作の間の筐体の姿勢との相対姿勢、文字又は文字列を書く動作の間の筐体の姿勢、前記平面内に前記書く動作により書かれた文字又は文字列の姿勢のうち、少なくともいずれかの姿勢を算出する算出機能、
前記算出機能により算出された文字又は文字列の姿勢と筐体の姿勢との相対姿勢、筐体の姿勢、文字又は文字列の姿勢、前記認識機能により認識された文字又は文字列の種類のうち、少なくともいずれかの組み合わせに応じて、所定の処理を行う処理機能、
を実現させるためのプログラム、であることを特徴とする。
また、上述した課題を解決するために請求項１４記載の発明は、
筐体の移動方向を検出する移動方向検出手段と、
前記移動方向検出手段により検出された、前記筐体が空中の任意の平面内で移動されながら行われた文字又は文字列を書く動作に基づいて、文字又は文字列を認識する認識手段と、
前記平面内に前記書く動作により書かれた文字又は文字列を書く動作の間の筐体の姿勢と、前記平面内に前記書く動作により書かれた文字又は文字列の姿勢を算出する算出手段と、
前記算出手段により算出された筐体の姿勢と文字又は文字列の姿勢との相対姿勢と、前記認識手段により認識された文字又は文字列の種類との組み合わせに応じて、所定の処理を行う処理手段と、
を具備したことを特徴とする。
また、上述した課題を解決するために請求項１５記載の発明は、
筐体の移動方向を検出する移動方向検出手段と、
前記移動方向検出手段により検出された、前記筐体が空中の任意の平面内で移動されながら行われた文字又は文字列を書く動作に基づいて、文字又は文字列を認識する認識手段と、
前記平面内に前記書く動作により書かれた文字又は文字列を書く動作の間の筐体の姿勢と、前記平面内に前記書く動作により書かれた文字又は文字列の姿勢を算出する算出手段と、
前記算出手段により算出された筐体の姿勢と文字又は文字列の姿勢との組み合わせに応じて、所定の処理を行う処理手段と、
を具備したことを特徴とする小型電子機器。

本発明によれば、任意の平面内で書かれた文字を認識する場合に、文字認識と共にその文字を書く動作に応じて所定の処理を行うことができ、利便性に富んだものとなる。

（１）は、小型電子機器として適用したテレビ受像機用のリモートコントローラ（テレビリモコン）の外観図、（２）は、テレビリモコンの基本的な構成要素を示したブロック図。 一般的なｚ−ｙ−ｘ系のオイラー角を説明するための図。 コマンドテーブルＴＭを説明するための図で、（１）は、文字の属性としての修飾種コマンドを記憶する修飾種コマンドテーブルＴＭ１を示し、（２）は、ボリューム調整や明度調整などの動作種コマンドを記憶する動作種コマンドテーブルＴＭ２を示した図。 （１）〜（２４）は、パラメータ（αs,βs,γs）を９０度刻みに制限した場合における文字の姿勢を説明するための図。 筐体座標系のＺ軸に垂直でその軸のプラス側に対向する面を文字を書く人の手前側にした状態で文字“ａ”を書いたときに、認識された文字（入力文字）がどのように修飾されるかを説明するための図。 筐体座標系のＹ軸に垂直でその軸のマイナス側に対向する面を文字を書く人の手前側にして文字“ａ”を書いたときに、認識された文字（入力文字）がどのように修飾されるかを説明するための図。 筐体座標系のＸ軸に垂直でその軸のプラス側に対向する面を文字を書く人の手前側にして文字“ａ”を書いたときに、認識された文字（入力文字）がどのように修飾されるかを説明するための図。 （１）〜（４）は、文字認識時に文字の姿勢を変えながら、色々な文字又は文字列を書いたときに、その文字又は文字列によってどのような動作が行われるかを説明するための図。 ユーザが文字を手書き入力する際の操作手順や操作方法を示したフロー図。 テレビリモコンの全体動作のうち、本実施形態の特徴部分の動作概要として、文字認識機能がオンされて文字入力処理が開始された場合の概要動作を示したフローチャート。

以下、図１〜図１０を参照して本発明の実施形態を説明する。
この実施形態は、小型電子機器としてテレビ受像機用のリモートコントローラ（テレビリモコン）に適用した場合を例示したもので、図１（１）は、テレビリモコンの外観図、（２）は、テレビリモコンの基本的な構成要素を示したブロック図である。
このテレビリモコンは、図１（１）に示すように、その全体は正立方体（サイコロ型）の筐体で、そのテレビリモコン（筐体）がユーザの指先で持たれている状態において、空中の任意の平面内で筺体が移動されながら行われた文字を書く動作を後述の加速度センサの計測結果に基づいて認識するようにした文字認識機能と、その手書き入力時の状況（筺体の姿勢や文字の姿勢など）に応じて各種のコマンドを発行するコマンド発行機能を有する構成となっている。すなわち、各種のリモコンボタンに代えて、上述の文字認識機能及びコマンド発行機能を有する構成となっている。そして、この実施形態においては、筺体のどの面をテレビ受像機側に向けてもよいようにテレビ受像機（図示省略）に対して電波によってリモートコントロール信号を送信するようにしている。

制御部１は、二次電池を備えた電源部２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのテレビリモコンの全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部３は、ＲＯＭ、ＲＡＭなどの内部メモリで、図示しないプログラム領域とデータ領域とを有し、この記憶部３内のプログラム領域には、後述する図１０に示す動作手順に応じて本実施形態を実現するためのプログラムが格納されている。また、記憶部３内のデータ領域には、文字認識用の基本文字データを記憶する認識辞書メモリＤＭ、コマンドを発行するコマンドテーブルＴＭのほか、各種の動作に必要な情報が記憶されている。

ＵＡＲＴ（Universal Asynchronous Receiver Transmitter）４は、ブルートゥース（Bluetooth：登録商標）通信されるデータに対してシリアル／パラレル変換などのデータ処理を行うもので、制御部１は、ＵＡＲＴ４を介してテレビ用のリモートコントロール信号をリモコン通信部５に与えると、リモコン通信部５は、テレビ用のリモートコントロール信号を近距離通信（ブルートゥース通信）により発信するようにしている。なお、ブルートゥース通信の通信可能エリアは、例えば、略半径５ｍ程度となっているが、その範囲は問わない。操作部６は、電源ボタン、モード切替ボタン、文字入力終了ボタンなどの操作ボタンを有しているが、チャンネルボタンやその他の各種コマンドボタンを省略した構成となっている。なお、上述した各ボタンは、筐体の６面に一つずつ配置した構成としてもよく、その配置の仕方は任意であり、また、後述するが、操作部６を一切有しない構成としてもよい。

加速度センサ７は、筐体に内蔵（固定）された３軸の加速度センサであり、上述の文字認識機能を構成する要素の一つで、制御部１は、筺体が空中の任意の平面内で移動されながら行われた文字を書く動作を加速度センサ７の計測結果、つまり、１文字の書き始めから書き終わりまでの間における１文字分の加速度センサ７の計測結果と認識辞書メモリＤＭの内容とを比較することにより文字認識を行うようにしている。その際、加速度ベクトルの集合状態などから文字が書かれた空中の２次元平面を文字平面として抽出すると共に、その文字平面内での文字の天地（上下）・表裏方向を抽出しながら文字認識を行うようにしている。

すなわち、制御部１は、加速度センサ７の計測結果、つまり、互いに直交する３軸方向（Ｘ・Ｙ・Ｚ方向）の加速度成分に基づいて文字認識を行うようにしたもので、加速度を積分して軌跡を出すものとは異なり、加速度をそのまま文字認識に使用するようにしている。その結果、文字入力の途中において筐体の姿勢が変化することによる重力方向の少々の変化や揺らぎに対して対応可能となり、文字認識のロバスト性もあるほか、ジャイロなど加速度センサ以外のセンサも不用となり、また、文字を構成する要素（画＝ストローク）の分離を必要とする文字認識の方法では無く、空中で文字を書くという状況においてペンアップやペンダウンに相当する面倒でやりづらい操作や動きを必要とせず、自然でスムーズで速やかな文字入力が可能となる。

地磁気センサ８は、筐体に内蔵（固定）されていて、筐体の方位を計測する３軸の地磁気センサであり、加速度センサ７と共に上述のコマンド発行機能を構成する要素の一つとして利用される。制御部１は、加速度センサ７及び地磁気センサ８の計測結果に基づいて常時計測された筐体の加速度と地磁気の計測値から、例えば、重力方向に平行な軸をＺ軸とし、水平面における北向きをＸ軸とし、東向きをＹ軸とした基準座標系を決めて、この基準座標系内での筐体の姿勢をｚ−ｙ−ｘ系のオイラー角で算出するようにしている。

図２は、一般的なｚ−ｙ−ｘ系のオイラー角を説明するための図である。
ここで、図中、（Ｘｒ，Ｙｒ，Ｚｒ）は、基準座標系を示したもので、（Ｘｒ´，Ｙｒ´，Ｚｒ´）は、この（Ｘｒ，Ｙｒ，Ｚｒ）を角度α回転させたときの座標系を示している。また、（Ｘｒ´´，Ｙｒ´´，Ｚｒ´´）は、この（Ｘｒ´，Ｙｒ´，Ｚｒ´）を角度β回転させたときの座標系を示し、（Ｘｒ´´´，Ｙｒ´´´，Ｚｒ´´´）は、この（Ｘｒ´´，Ｙｒ´´，Ｚｒ´´）を角度γ回転させたときの座標系を示している。そして、（Ｘ，Ｙ，Ｚ）は、姿勢を求めたい対象座標系であり、上述の（Ｘｒ´´´，Ｙｒ´´´，Ｚｒ´´´）と同じである。なお、図２の例では、ｚ−ｙ−ｘ系を示したが、これに限らず、オイラー角において、どの軸の回りで回転させるかの順番により表現される１２通りの表現のうち、どの表現を用いてもかまわない。

ここで、この基準座標系が世界座標の場合には、姿勢を求めたい対象座標系の対象は、テレビリモコン（筐体）の姿勢となるが、基準座標系が筐体の場合には、姿勢を求めたい対象座標系の対象は、文字の姿勢となる。ここで、本実施形態においては、筐体の姿勢をオイラー角として算出しておき、空中の任意の平面内で筺体が移動されながら行われた文字を書く動作に応じて文字の認識を行うようにしているが、その認識の過程において文字が書かれた文字平面及びその平面内での文字の天地（上下）・表裏方向が抽出されるので、文字の姿勢として文字が書かれた文字平面の傾き及び文字平面内での文字の裏表・天地方向を求めることができるようになる。この場合、文字の姿勢は、筐体を基準座標系としたときのオイラー角として求められる。

図３は、コマンドテーブルＴＭを説明するための図である。
コマンドテーブルＴＭは、筐体の姿勢及び文字の姿勢に対応付けて、各種のコマンドを記憶する複数のコマンドテーブルを有する構成で、図３（１）は、文字の属性としての修飾種コマンドを記憶する修飾種コマンドテーブルＴＭ１を示し、図３（２）は、ボリューム調整や明度調整などの動作種コマンドを記憶する動作種コマンドテーブルＴＭ２を示している。ここで、筐体の姿勢のオイラー角を（αc，βc，γc）とし、筐体の姿勢に対する文字の相対的な姿勢のオイラー角を（αs，βs，γs）とすると、制御部１は、この２種類の回転を表すパラメータ（αc，βc，γc，αs，βs，γs）に基づいて修飾種コマンドテーブルＴＭ１を参照し、そのパラメータに対応する修飾種のコマンドを読み出してそのコマンドを発行するようにしている。また、このパラメータ（αc，βc，γc，αs，βs，γs）のほかに、認識結果（認識した文字又は文字列）に基づいて動作種コマンドテーブルＴＭ２を参照し、このパラメータ及び認識結果に対応する動作種のコマンドを読み出してそのコマンドを発行するようにしている。

ここで、上述の修飾種コマンドテーブルＴＭ１を使用してコマンドを発行するか、動作種コマンドテーブルＴＭ２を使用してコマンドを発行するかは、入力モードの切り替えに応じて決定するようにしている。この場合、入力モードとしては、修飾種コマンドテーブルＴＭ１を使用する文字修飾モードと、動作種コマンドテーブルＴＭ２を使用する動作制御モードとを有し、この実施形態では、上述した操作部６上のモード切替ボタンを操作することにより任意に切り替え可能としているが、これに限らず、後述するが、筐体の姿勢及び文字の姿勢に応じて入力モードの切り替えを行うようにしてもよい。

修飾種コマンドテーブルＴＭ１は、図３（１）に示すように２種類の回転を表すパラメータ「αc、βc、γc」、「αs、βs、γs」に対応して「文字修飾種コマンド」の項目を有する構成となっている。なお、図示の例は、２種類の回転を表すパラメータ（αc，βc，γc，αs，βs，γs）のうち、（αc，βc，γc）を無視し（“Don’t care”）、（αs，βs，γs）だけを有効とした場合である。すなわち、筐体の姿勢（重力方向及び方位）を無視することにより操作者の筐体の持ち方に意味があり、操作者の姿勢、例えば、立って書いているのか、座って前かがみで書いているのか、仰向けに寝て書いているのか、横向きに寝て書いているのかなどを問わないようにした場合、つまり、筐体と文字の姿勢との相対姿勢の関係だけを有効とした場合である。また、ｚ−ｙ−ｘ系のオイラー角では、０≦α＜２π、−π／２≦β＜π／２、−π≦γ＜πの範囲となっている。

さらに、文字の姿勢を表すパラメータ（αs，βs，γs）に関連付ける値をそれぞれ９０度刻みとするようにしている。図４は、この文字の姿勢を表すパラメータ（αs，βs，γs）を９０度刻みに制限した場合における文字の姿勢を説明するための図である。このような制限を行ったとしても、ある文字を書いたときの操作者の筐体の持ち方により、同じ姿勢の重複表現を除外することにより、２４種類に区別できることになり、このときの文字姿勢は、第４図の（１）〜（２４）で表される。

すなわち、（０，０，−π）、（０，０，−π／２）、（０，０，０）、（０，０，π／２）、…（３π／２，−π／２，０）、（３π／２，π／２，０）の２４種類となる。なお、β＝−π／２、又はβ＝π／２の点は、特異点であり、（０，π／２，π／２）、（π／４，π／２，π／４）、（π／２，π／２，０）などは同じ姿勢を表しているために、その重複表現は除外される。なお、図中、“文字上”とは、その文字の天方向で、その反対方向が文字の下方向（地方向）となる。また、“文字表”とは、その文字の表方向で、その反対方向が文字の裏方向となる。なお、文字の姿勢が９０度やその整数倍の角度の間の角度（例えば２３度、１５５度等）となったときには、算出された値が丁度その値ではなくても、近い値が算出された場合には、その値であるとみなすようにしている。

また、図３（１）において、文字の座標系は、文字の右方向がＸ軸のプラス、文字の上方向がＹ軸のプラス、文字の表方向がＺ軸のプラスとなっている。また、オイラー角によるジンバルロック姿勢、つまり、β角がπ／２又はπ／２の値を持つ姿勢では、その姿勢を表す（α，β，γ）の値を、上述の範囲、０≦α＜２π、−π／２≦β＜π／２、−π≦γ＜πに制限したとしても、その値は無数に存在してしまうため、β角がπ／２又はπ／２の値のときには、角γ＝０となるようなαの値で姿勢を表現するものとしている。なお、「αs、βs、γs」は、算出された値が丁度その値ではなくても、近い値が算出された場合には、その値であるとみなすようにしている。

「文字修飾種コマンド」は、認識された文字をどのように修飾するかを示す文字属性で、文字の大きさ・太さ・フォント種・色・変形加工などを指定するためのコマンドである。図３（１）に示すように「文字修飾種コマンド」には、例えば、文字の姿勢を表すパラメータ「αs、βs、γs」が（０，０，０）に対応して“細字の黒い色の文字”が記憶され、（π／４，０，０）に対応して“やや細字の黒い色の文字”が記憶されている。また、（π／２，０，０）に対応して“標準の黒い色の文字”が記憶され、（３π／４，０，０）に対応して“やや太字の黒い色の文字”が記憶され、（π，０，０）に対応して“太字の黒い色の文字”、…が記憶されている。

このように文字の姿勢に応じて対応する「文字修飾種コマンド」の内容を読み出してそのコマンドを発行するようにしている。そして、制御部１は、この発行コマンドに応じて認識文字を修飾する処理を行った後、この修飾文字をリモコン通信部５を介してテレビ受像機側に送信するようにしている。なお、認識文字を修飾する処理をテレビリモコン側で行う代わりに、テレビ受像機側で行うようにしてもよい。すなわち、制御部１は、発行コマンドを認識文字と共にリモコン通信部５を介してテレビ受像機側に送信すると、テレビ受信機側では、発行コマンドに応じて認識文字を修飾する処理を行った後、この修飾された認識文字をテレビ画面に表示させるようにしてもよい。

図５〜図７は、文字認識時に文字の姿勢を変えながら文字“ａ”を書いたときに、認識された文字（入力文字）がどのように修飾されるかを説明するための図である。ここで、図５は、筐体座標系のＺ軸に垂直でその軸のプラス側に対向する面を文字を書く人の手前側にした状態で文字“ａ”を書いた場合にその文字が修飾される様子を具体的に示した図である。また、図６は、筐体座標系のＹ軸に垂直でその軸のマイナス側に対向する面を文字を書く人の手前側にして文字“ａ”を書いた場合にその文字が修飾される様子を具体的に示した図である。また、図７は、筐体座標系のＸ軸に垂直でその軸のプラス側に対向する面を文字を書く人の手前側にして文字“ａ”を書いた場合にその文字が修飾される様子を具体的に示した図である。

すなわち、図５に示すように、筐体座標系のＺ軸に垂直でプラス側の面を文字を書く人の手前側にしたとき、つまり、「αs、βs、γs」が（０，０，０）のときに、文字は黒色となり、筐体座標系のＹ軸のプラス方向を文字の上方向（天方向）に一致させたときに、文字は細字となる。この状態において、図中、筐体を右方向に回転させると、４５°回転毎に、つまり、「αs、βs、γs」が（π／４，０，０）、（π／２，０，０）、（３π／４，０，０）、（π，０，０）に変化する毎に、文字の太さは、“やや細字”、“太さ標準”、“やや太字”、“太字”のように徐々に太くなるように変化してゆく。

同様に、図６に示すように、筐体座標系のＹ軸に垂直でその軸のマイナス側に対向する面を文字を書く人の手前側にしたときには、つまり、「αs、βs、γs」が（３π／２，π／２，０）のときに、文字は赤色となり、筐体座標系のＸ軸のプラス方向を文字の上方向に一致させたときに、文字は細字となる。この状態において、図中、筐体を右方向に回転させると、４５°回転毎に、つまり、「αs、βs、γs」が（０，π／４，π／２）、（０，０，π／２）、（０，−π／４，π／２）、（π／２，−π／２，０）に変化する毎に、文字の太さは、４５°回転毎に徐々に太くなる。

さらに図７に示すように、筐体座標系のＸ軸に垂直でその軸のプラス側に対向する面を文字を書く人の手前側にしたときに、つまり、「αs、βs、γs」が（０，π／２，０）のときに、文字は青色となり、筐体座標系のＹ軸のプラス方向を文字の上方向に一致させたときに、文字は細字となる。この状態において、図中、筐体を右方向に回転させると、４５°回転毎に、つまり、「αs、βs、γs」が（π／２，π／４，π／２）、（π／２，０，π／２）、（π／２，−π／４，π／２）、（π，−π／２，０）に変化する毎に、徐々に太くなる。

なお、図３（１）に示すような修飾種コマンドテーブルＴＭ１の内容の場合に、筐体の３つの面を黒色、赤色、青色で着色したり、色の印を付加したりして、その色の面を文字を書く人の手前側にしたときにその色が現れるようにしている。また、各々の色において太さが標準となるときに、文字の上方向と筐体面の外向き法線方向が一致する筐体の面に印を付けるなどして、筐体の姿勢と文字修飾種の関係を明示するようにしている。また、修飾種コマンドテーブルＴＭ１の場合は、任意であり、「文字修飾種コマンド」としては、文字の加工などであってもよい。修飾種コマンドテーブルＴＭ１の内容は、認識された１文字を修飾するようにしたが、例えば、「Ｖｏｌ」又は「Ｂｒ」のように複数の文字を一括して認識させて、この複数の文字を一括して修飾するようにしてもよい。

動作種コマンドテーブルＴＭ２は、図３（２）に示すように「αc、βc、γc、」、「αs、βs、γs」に対応して、「認識された文字又は文字列」、「動作種コマンド」の項目を有する構成となっている。この場合においても（αc，βc，γc）を無視し（“Don’t care”）、（αs，βs，γs）だけを有効とし、また、文字の座標系は、文字の右方向がＸ軸のプラス、文字の上方向がＹ軸のプラス、文字の表方向がＺ軸のプラスとなっている。また、オイラー角によるジンバルロック姿勢についても同様であり、「αs、βs、γs」は、算出された値が丁度その値ではなくても、近い値が算出された場合には、その値であるとみなすようにしている。

「認識された文字又は文字列」は、文字認識機能により認識された文字又は文字列である。「動作種コマンド」は、チャンネル切り替え、ボリューム調整などの動作を指示するコマンドである。図３（２）に示すように「動作種コマンド」には、「αs、βs、γs」が（π−ａ，０，−π）で、「認識された文字又は文字列」が“Ｖｏ”に対応して“ａ÷（π／８）段階ボリュームを変化させる”が記憶され、（π−ａ，０，−π）、“Ｂｒ”に対応して“ａ÷（π／８）段階明度を変化させる”が記憶されている。また、（π−ａ，０，−π）、“Ｃｏｎ”に対応して“ａ÷（π／８）段階コントラストを変化させる”が記憶されている。

この場合、「βs、γs」及び「認識された文字又は文字列」がコマンドの種類を指定し、「αs」がパラメータとなっているが、「αs、βs、γs」及び「認識された文字又は文字列」の全体でコマンドの種類を指定したり、パラメータを含んでいたりすればよい。なお、図示の例においては、文字の姿勢が同一でも認識された文字又は文字列が異なる場合、つまり、「αs、βs、γs」が同一の（π−ａ，０，−π）で、「認識された文字又は文字列」が“Ｖｏ”、“Ｂｒ”、“Ｃｏｎ”のように異な場合に、「動作種コマンド」は、認識された文字又は文字列に応じて異なる内容となる。

また、図３（２）に示すように、「動作種コマンド」には、「αs、βs、γs」が（０，０，−π／２）で、「認識された文字又は文字列」が“文字又は文字列”に対応して“地デジ（地上デジタル）放送の「文字又は文字列」のチャンネルを画面に映す”が記憶され、（π，０，−π／２）、“文字又は文字列”に対応して“ＢＳ放送の「文字又は文字列」のチャンネルを画面に映す”が記憶されている。また、（０，−π／２，０）、“文字又は文字列”に対応して“ＣＳ放送の「文字又は文字列」のチャンネルを画面に映す”が記憶されている。この場合、「αs、βs、γs」がコマンドの種類を指定し、「認識された文字又は文字列」がパラメータとなっているが、「αs、βs、γs」及び「認識された文字又は文字列」の全体でコマンドの種類を指定したり、パラメータを含んでいたりすればよい。

図８は、文字認識時に文字の姿勢を変えながら、色々な文字又は文字列を書いたときに、その文字又は文字列によってどのような動作が行われるかを説明するための図である。図８（１）の場合には、「αs、βs、γs」が（５π／４，０，−π）の姿勢で文字列“Ｖｏ”を書いたときであり、パラメータ「αs」の“π−ａ”において、その“ａ”の値は−１π／４、従って“ａ÷（π／８）”の値は“２”となるためにボリュームを２段階ダウンすることを指示するコマンドが発行される。同様に、図８（２）の場合には、「αs、βs、γs」が（π／２，０，−π）の姿勢で文字列“Ｃｏｎ”を書いたときであり、“ａ”の値は−π／２、従って“ａ÷（π／８）”の値は“４”となるためにコントラストを４段階アップすることを指示するコマンドが発行される。

図８（３）の場合には、「αs、βs、γs」が（０，０，−π／２）の姿勢で文字“４”を書いたときであり、この文字“４”がそのままパラメータとなるために地デジ放送の「４」のチャンネルを画面に写すことを指示するコマンドが発行される。また、図８（４）の場合には、「αs、βs、γs」が（０，−π／２，０）の姿勢で文字“１２”を書いたときであり、この文字“１２”がそのままパラメータとなるためにＣＳ放送の「１２」のチャンネルを画面に写すことを指示するコマンドが発行される。

このようにして発行されたコマンドは、リモコン通信部５を介してテレビ受像機側に送信される結果、例えば、テレビリモコンを持って「４」と書いたら地デジの４チャンネルに変わり、リモコンを右に９０度回した状態で「４」と書いたらＢＳの４チャンネル、左に９０度回した状態で「４」と書いたらＣＳの４チャンネルに切り替えることができるようになる。

なお、「ボリューム」、「明度」、「コントラスト」などを変化させるときにユーザの手前を向く筐体の向きは、いつも同じであるためにその面に印を付けておくことにより、コマンドを発行する際に手前に向ける面を明示して、コマンド発行時の筐体の姿勢を分かり易くするようにしてもよい。これに合わせて、例えば、「αs、βs、γs」が（π，０，−π）の姿勢が分かるように印を付けておき、これを基準に右に回した位置で文字を書くと、パラメータが増加し、左に回すと、パラメータが減少するということが分かるようにしてもよい。同様に「地デジ」、「ＢＳ」、「ＣＳ」のときの姿勢が分かるように印を付けるようにしてもよい。

次に、本実施形態におけるテレビリモコンの動作概念を図１０に示すフローチャートを参照して説明する。ここで、このフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。

ここで、図１０に示すフローチャートを説明する前に、図９を参照して、ユーザが文字を手書き入力する際の操作手順や操作方法について簡単に説明しておく。
先ず、ユーザは、文字認識機能をオンさせた後、筺体を手に持って空中平面内を移動させながら文字を書くようにする。この場合、１文字を書き始める前には筐体を略静止させた後に（図９のステップＡ１）、文字の書き始め位置まで筐体をゆっくり滑らかに移動させる（ステップＡ２）。

その後、文字を書き始める。その際、空中の任意の２次元平面内で文字を書くようにし、１文字の入力中は筺体の姿勢を大きく変化させないものとし、かつ、１画（ストローク）毎に筐体を移動させるが、この場合、１文字入力中は書く動きを止めずに一筆書きのように連続して滑らかに書くようにし、１つの画の終点から次の画の始点への移動も滑らに行う（ステップＡ３）。そして、１文字が書き終わった時点で再び、筐体を略静止させる（ステップＡ４）。その後、次の文字の書き始め位置までゆっくり滑らかに筐体を移動させた後（ステップＡ５）、次の文字を書き始める。以下、文字入力を終了させるまで（ステップＡ６でＮＯ）、上述のステップＡ３に戻り、手書き操作を繰り返すことにより複数の文字を順次手書き入力する。

図１０は、テレビリモコンの全体動作のうち、本実施形態の特徴部分の動作概要として、文字認識機能がオンされて文字入力処理が開始された場合の概要動作を示したフローチャートである。なお、この図１０のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。
先ず、制御部１は、予めテレビリモコン（筐体）を基準とした座標系を決めた後（ステップＢ１）、操作部６上のモード切替ボタンの操作に応じて入力モードの変更が指示されたかを調べ（ステップＢ２）、入力モードの変更が指示されたときには（ステップＢ２でＹＥＳ）、入力モードとしての文字修飾モードと動作制御モードとの切り替えを行う（ステップＢ３）。

そして、加速度センサ７の計測結果に基づいて文字を書き始めたか否かを調べ（ステップＢ４）、文字が書き始められるまで待機状態となる。ここで、筐体が文字の書き始め位置まで滑らかに移動された後に文字が書き始められると、それに応じた加速度変化に基づいて文字が書き始められたことを判断することができる（ステップＢ４でＹＥＳ）。そして、加速度センサ７及び地磁気センサ８からその計測結果を取得しながらこの重力加速度と地磁気の計測値から重力方向に平行な軸をＺ軸、水平面における北向きをＸ軸、東向きをＹ軸とした座標系を世界座標とすると共に（ステップＢ５）、この世界座標の中での筐体の姿勢を表す回転行列を加速度と地磁気の計測値から求め、そのパラメータをｚ−ｙ−ｘ系のオイラー角（αc，βc，γc）として算出する（ステップＢ６）。

そして、１文字入力中のデータを逐次蓄える処理を行った後（ステップＢ７）、１文字を書き終えたかを調べる（ステップＢ８）。この場合、ユーザは、文字を書き始めてから筐体の姿勢を保ったまま１文字を書き終わるまでは筐体を連続して移動させながら文字を書く手を止めずに一筆書きのようにして書き、１つの画の終点から次の画の始点へは滑らかな軌跡を描くように筐体を移動させ、１文字を書き終えたら筐体の移動を止めるようにしているために１文字の書き終えを判断することができる。いま、１文字の書き終えを検出したときには（ステップＢ８でＹＥＳ）、文字認識を行いながら文字の姿勢を表す回転行列を求め、そのパラメータをｚ−ｙ−ｘ系のオイラー角として（αs，βs，γs）を算出する（ステップＢ９）。

すなわち、手書きされた１文字分の入力データと認識辞書メモリＤＭの内容とを比較しながら文字認識処理を開始するが、その際、文字が書かれた文字平面を抽出すると共に、その平面内での文字の上下（天地）・表裏方向を抽出し、文字平面の法線方向をZ軸、文字平面の中で書かれた文字の上下方向をY軸、左右方向をX軸とした座標系が、筐体を基準とした座標系からどのように回転しているかを表す回転行列を求め、そのパラメータ（αs，βs，γs）を算出する。

そして、現在の入力モードを判別し（ステップＢ１０）、文字修飾モードであれば、２種類の回転を表すパラメータ（αc，βc，γc，αs，βs，γs）に基づいて修飾種コマンドテーブルＴＭ１を参照し、対応する「文字修飾種コマンド」を読み出して（ステップＢ１１）、文字修飾種を指定するコマンドを発行する（ステップＢ１２）。これによって認識した文字をこの修飾種に応じた入力文字に生成する処理を行う（ステップＢ１３）。なお、
この時点でこの生成文字をリモコン通信部５を介してテレビ受像機側に送信するようにしてもよく、又は、図１０のフローから抜けた際に、この発行コマンドをリモコン通信部５を介してテレビ受像機側に送信するようにしてもよい。このようにして入力文字を生成した後は、文字入力終了ボタンの操作有無を調べ（ステップＢ１４）、その終了ボタンが操作されるまで（ステップＢ１４でＮＯ）、上述のステップＢ２に戻る。

また、現在の入力モードが動作制御モードであれば（ステップＢ１０）、認識された文字又は文字列及び２種類の回転を表すパラメータ（αc，βc，γc，αs，βs，γs）に基づいて動作種コマンドテーブルＴＭ２を参照し、対応する「動作種コマンド」を読み出して（ステップＢ１５）、動作種コマンドを発行する（ステップＢ１６）。なお、この時点でこの発行コマンドをリモコン通信部５を介してテレビ受像機側に送信して、チャンネル切り替えなどを遠隔制御するようにしてもよく、又は、図１０のフローから抜けた際に、この発行コマンドをリモコン通信部５を介してテレビ受像機側に送信するようにしてもよい。
そして、文字入力終了ボタンの操作有無を調べ（ステップＢ１４）、その終了ボタンが操作されるまで（ステップＢ１４でＮＯ）、上述のステップＢ２に戻るが、文字入力終了ボタンが操作されたときには（ステップＢ１４でＹＥＳ）、この図１０のフローから抜ける。

以上のように、本実施形態において制御部１は、空中の任意の平面内で筺体が移動されながら行われた文字を書く動作によりその平面内で書かれた文字を認識する場合に、筐体の姿勢のオイラー角（αc，βc，γc）と、文字の姿勢のオイラー角（αs，βs，γs）の２種類の回転を表すパラメータ（αc，βc，γc，αs，βs，γs）を算出して、このパラメータ（αc，βc，γc，αs，βs，γs）に基づいて修飾種コマンドテーブルＴＭ１を参照し、又はパラメータ（αc，βc，γc，αs，βs，γs）及び認識された文字又は文字列に基づいて動作種コマンドテーブルＴＭ２を参照して、所定のコマンドを発行するようにしたので、任意の平面内で書かれた文字を認識する場合に、文字認識と共にその文字を書く動作に応じて各種のコマンドを発行することができ、特別なボタン操作（キー操作）を行うことなく、所定の処理を実行させることができ、利便性に富んだものとなる。さらに操作ボタン（操作キー）を一切不要又は大幅に削減することも可能となり、デザイン性、防水防塵性、小型薄型化などの促進効果も合わせ持つ。

加速度センサ７により計測された重力方向に対する筐体の傾きをその姿勢として算出するようにしたので、例えば、操作者が仰向けに寝て書いているのかなど、操作者の姿勢に応じてコマンドを発行することができる。

加速度センサ７により計測された重力方向及び地磁気センサ８により計測された方位に対する筐体の傾きをその姿勢として算出するようにしたので、筐体の向きに応じてコマンドを発行することができ、重力方向との組み合わせにより発行コマンド数も多くすることができる。

加速度センサ７により計測された重力方向に対する文字平面の傾きを文字の姿勢として算出するようにしたので、文字平面の傾きに応じてコマンドを発行することができる

加速度センサ７により計測された重力方向及び地磁気センサ８により計測された方位に対する文字平面の傾きを文字の姿勢として算出するようにしたので、文字をどの向きに書いたかに応じてコマンドを発行することができ、重力方向との組み合わせにより発行コマンド数も多くすることができる。

文字平面内での文字又は文字列の上下方向、表裏方向を含めて文字又は文字列の姿勢として算出するようにしたので、文字平面内において文字の天地や表裏をどの方向に向けて書いたとしても文字を正確に認識することが可能となると共に、それだけ発行コマンド数も多くすることができる。

リモコン通信部５から発行コマンドを外部（テレビ受像機）に送信するようにしたので、文字認識と共にその文字を書く動作に応じてテレビ受像機を遠隔操作することができる。

発行コマンドに応じた処理を実行するようにしたので、発行コマンドに応じて内部処理することができる。

認識文字の属性を指定するコマンドを発行するようにしたので、認識文字をどのように修飾するかを示す文字属性として、文字の大きさ・太さ・フォント種・色・変形加工などを文字を書く動作に応じて指定することができる。

動作種を指定するコマンドを発行するようにしたので、文字を書く動作に応じた各種の動作としてテレビ受像機を遠隔操作することができる。

なお、上述した実施形態においては、修飾種コマンドテーブルＴＭ１を使用する文字修飾モードと、動作種コマンドテーブルＴＭ２を使用する動作制御モードを、操作部６上のモード切替ボタンを操作することにより切り替えるようにしたが、入力モード切替用のコマンドテーブル（図示省略）を設け、文字を書く動作に応じて文字修飾モードと動作制御モードとを切り替えるようにしてもよい。これによってモード切替ボタンを不要とすることができる。同様に、電源ボタン、文字入力終了ボタンなどの操作ボタンも全て不要とするために、それらのボタンに対応するコマンドを発行するためのコマンドテーブル（図示省略）を設けるようにすれば、操作部６自体を不要とすることができる。

上述した実施形態においては、テレビリモコンに表示部を省略した場合を例示したが、表示情報をテレビ受像機に送信してそのテレビ画面に表示させるようにしてもよく、また、専用の外部表示装置を設け、この外部表示装置に表示情報を送信して表示させるようにしてもよい。

上述した実施形態においては、加速度センサ７に加えて地磁気センサ８も備えるようにしたが、加速度センサ７のみを備え、地磁気センサ８を省略するようにしてもよい。この場合、方位は関係がなくなるので、図２からも分かるように、世界座標から筐体の姿勢を求めるときの角度αは意味がなくなるので、この場合は算出される角度のパラメータは（βｃ，γｃ，αｓ，βｓ，γｓ）の５種類となる。それに伴い、図１０のステップＢ５の処理内容は、「加速度センサ７の計測結果を取得しながらこの重力加速度の計測値から重力方向に平行な軸をＺ軸とした座標系を世界座標とする」となり、また、ステップＢ６の処理内容は、「世界座標の中での筐体の姿勢を表すパラメータを二種類の角（βｃ，γｃ）として算出する」となる。また、ステップＢ１１は、「（βｃ，γｃ，αｓ，βｓ，γｓ）に基づいて修飾種コマンドテーブルＴＭ１を参照し、対応する「文字修飾種コマンド」を読み出す」となり、ステップＢ１５は、「認識された文字又は文字列及び（βｃ，γｃ，αｓ，βｓ，γｓ）に基づいて動作種コマンドテーブルＴＭ２を参照し、対応する「動作種コマンド」を読み出す」となる。

また、上述した実施形態においては、２種類の回転を表すパラメータ（αｃ，βｃ，γｃ，αｓ，βｓ，γｓ）と各コマンドとを対応付けるようにしたが、その場合、例えば、（αｃ，βｃ，γｃ，αｓ，βｓ，γｓ）のいくつかのパラメータを無視するようにしてもよい。また、このパラメータ（αｃ，βｃ，γｃ，αｓ，βｓ，γｓ）の一つ一つにコマンドを一つずつ対応付けるのではなく、（αｃ，βｃ，γｃ，αｓ，βｓ，γｓ）を変数に持つ関数の値とコマンドとを対応付けるようにしてもよい。

また、パラメータ（αｃ，βｃ，γｃ，αｓ，βｓ，γｓ）の値とコマンドを対応付ける際に、各パラメータのうちの離散的な値のみに対応付けて、実際に算出されたパラメータ（αｃ，βｃ，γｃ，αｓ，βｓ，γｓ）の値から対応付けられた最も近い離散値を取るようにしてもよい。さらにまた、パラメータ（αc，βc，γc，αs，βs，γs）、つまり、世界座標における筐体の姿勢とこの座標を基準とした文字の姿勢を条件にするのではなく、これらを合成して世界座標を基準とした文字の姿勢（α，β，γ）をパラメータとしてもよい。また、上述した実施形態においては、パラメータ（αs，βs，γs）に関連付ける値をそれぞれ９０度刻みとするようにしたが、４５度刻みなどというように他の角度にしてもよい。

上述した実施形態においては、筐体に対する文字の姿勢（相対姿勢）のみに着目した例示したが、例えば、（１）、重力方向に対する筐体の姿勢（βc，γc）、（２）、重力方向と方角に対する筐体の姿勢（αc，βc，γc）に適用するようにしてもよく、さらに、上述の（１）、（２）に筐体に対する文字の姿勢も組み合わせて種類を増やしてもよく、また、筐体の姿勢だけを除外して、重力方向に対する文字の姿勢、及び重力方向と方角に対する文字の姿勢に適用してもよい。

さらに、（αc，γc，αs，βs，γs）を無視し、（βc）のみに適用してもよい。例えば、テレビリモコンを重力方向に対して右に２０度傾けて「Ｖ」と書けば、ボリュームを２段階アップ、左に３０度傾けて「Ｖ」と書けば、ボリュームを３段階ダウン、右に３０度傾けて「Ｂ」と書けば、ブライトネスを３段階アップ、などというように、書いた文字をコントロール種に意味づけさせて、角度量にそのコントロール種のパラメータを意味づけるようにしてもよい。すなわち、平面内に書かれた文字又は文字列の姿勢とその文字又は文字列を書いている間の筐体の姿勢との相対姿勢、文字又は文字列を書いている間の筐体の姿勢、平面内に書かれた文字又は文字列の姿勢のうち、少なくともいずれかの姿勢を算出するようにすればよい。

また、認識しようとする文字において、例えば「Ｖ」のような文字の場合、左右対象のため形の上では文字の表と裏を区別することはできないが、加速度によって文字を認識する場合は、文字の書き順も考慮して認識するようにすれば、文字の表と裏を区別することができる。しかし、数字の「１」のような文字の場合は、上から下へ書くという書き順を利用すれば上下を区別できるが、それでも左右の区別をつけることはできない。また、図４（１）の姿勢で「１」を書いた場合、図４（５）、（１２）、（１５）の姿勢で「１」を書いた場合と同じになる。同様に、記号「＞」と「＜」について、それぞれ片方の文字だけの場合は上下左右裏表の区別をつけることができるが、認識しようとする文字の中に双方の文字がある場合は、それぞれが裏表の関係となり、例えば図４（１）の「＞」と（５）の「＜」とを区別することができない。このように認識しようとする文字の中に、これらのような文字が含まれている場合には、区別できなくなる姿勢を除外するようにすればよい。

例えば、図４の場合において、認識させる文字の中に「１」がある場合は、図４（１）、（５）、（１２）、（１５）の姿勢、（２）、（６）、（１８）、（２２）の姿勢、（３）、（７）、（１０）、（１４）の姿勢、（４）、（８）、（２０）、（２４）の姿勢、（９）、（１３）、（１７）、（２１）の姿勢、（１１）、（１５）、（１９）、（２３）の姿勢の６種の姿勢に限定することにより、区別できなくなる不具合を回避するようにすればよい。また、記号「＞」「＜」のように、書き順を含めても表裏が区別できないものに対しては、機器に対する文字の姿勢のうちの半分、例えば、図４（５）〜（８）、（１３）〜（１６）、（２１）〜（２４）を操作者に禁止するようにして、区別できなくなる不具合を回避するようにすればよい。これにより、例えば、認識させようとする文字列の中に「１」、「＞」、「＜」の３文字があった場合で、かつ、（αc，βc，γc）を使用せず、かつ、（αs，βs，γs）を９０度刻みに限定したとしても、図４（１）、（１２）の姿勢、（２）、（１８）の姿勢、（３）、（１０）の姿勢、（４）、（２０）の姿勢、（９）、（１７）の姿勢、（１１）、（１９）の姿勢の６姿勢の区別をつけることが可能となる。

上述した実施形態においては、２種類の回転を表すパラメータ（αc，βc，γc，αs，βs，γs）を使用して筐体や文字の姿勢をオイラー角で算出するようにしたが、姿勢はオイラー角で表される回転表現に限らず、回転を表現できるものであれば、その他、回転行列、クォータニオンなど他の関数表現を用いるようにしてもよい。

上述した実施形態においては、テレビリモコンに適用するようにしたが、これに限らず、例えば、電子黒板用の文字入力リモコンに適用してもよく、認識された文字を入力する場合に、文字を書くときの文字の姿勢により、その文字の色を変化させるようにしてもよい。つまり、上述と同様に９０度刻みで姿勢を判断して色を変化させるようにして、任意の２４色で文字が書けるようにしてもよい。また、文字姿勢によって色を変化させる場合に限らず、フォント種、大きさ、太さなどを変化させるようにしてもよい。すなわち、右に傾ければ傾けるほど太くしたり、左に傾けたらその分だけ細く表示したりできるほか、文字色やフォントの大きさ、文字の縦書き、横書き、斜め書きとその角度、大文字と小文字、全角半角などを変えるようにしてもよい。

また、腕時計に適用して、ある姿勢で数字を入力したときは（例えば、時計の文字盤を上に向けて数字を書いたときは）、設定したい目覚まし時刻の入力、別のある姿勢で数字を入力したときは、タイマー時間の入力というように、入力する数字、文字の意味を姿勢によって変化させるようにしてもよい。

その他、文字認識機能付きのデジタルカメラ・携帯電話機・卓上電子計算機・腕時計・パーソナルコンピュータ（ノートパソコン）・ＰＤＡ・音楽プレイヤー、楽器などのほか、それらのリモコンに適用するようにしてもよい。例えば、デジタルカメラに適用した場合に、文字を書いているときの筐体の姿勢により、画像ファイルに各種の情報を記録したり、単なるメモに文字を入力したりするようにしてもよい。

また、上述した各実施形態において示した“装置”や“機”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

１ 制御部
３ 記憶部
５ リモコン通信部
７ 加速度センサ
８ 地磁気センサ
ＤＭ 認識辞書メモリ
ＴＭ コマンドテーブル
ＴＭ１ 修飾種コマンドテーブル
ＴＭ２ 動作種コマンドテーブル

Claims (15)

1. 筐体の移動方向を検出する移動方向検出手段と、
   前記移動方向検出手段により検出された、前記筐体が空中の任意の平面内で移動されながら行われた文字又は文字列を書く動作に基づいて、文字又は文字列を認識する認識手段と、
   前記平面内に前記書く動作により書かれた文字又は文字列の姿勢とその文字又は文字列を書く動作の間の筐体の姿勢との相対姿勢、文字又は文字列を書く動作の間の筐体の姿勢、前記平面内に前記書く動作により書かれた文字又は文字列の姿勢のうち、少なくともいずれかの姿勢を算出する算出手段と、
   前記算出手段により算出された文字又は文字列の姿勢と筐体の姿勢との相対姿勢、筐体の姿勢、文字又は文字列の姿勢、前記認識手段により認識された文字又は文字列の種類のうち、少なくともいずれかの組み合わせに応じて、所定の処理を行う処理手段と、
   を具備したことを特徴とする小型電子機器。
2. 前記算出手段は、前記移動方向検出手段により計測された重力方向に対する前記筐体の傾きをその姿勢として算出する、
   ようにしたことを特徴とする請求項１記載の小型電子機器。
3. 方位を計測する方位計測手段をさらに備え、
   前記算出手段は、前記移動方向検出手段により計測された重力方向及び前記方位計測手段により計測された方位に対する前記筐体の傾きをその姿勢として算出する、
   ようにしたことを特徴とする請求項１記載の小型電子機器。
4. 前記算出手段は、前記移動方向検出手段により計測された重力方向に対する前記平面の傾きを前記文字の姿勢として算出する、
   ようにしたことを特徴とする請求項１〜請求項３のいずれかに記載の小型電子機器。
5. 方位を計測する方位計測手段をさらに備え、
   前記算出手段は、前記移動方向検出手段により計測された重力方向及び前記方位計測手段により計測された方位に対する前記平面の傾きを前記文字の姿勢として算出する、
   ようにしたことを特徴とする請求項１〜請求項３のいずれかに記載の小型電子機器。
6. 前記算出手段は、前記平面内での文字又は文字列の上下方向、表裏方向のうち、少なくともそのいずれかの方向を含めて前記文字又は文字列の姿勢として算出する、
   ようにしたことを特徴とする請求項４あるいは請求項５記載の小型電子機器。
7. 前記処理手段は、前記所定の処理として、所定のコマンドを発行する、
   ことを特徴とする請求項１記載の小型電子機器。
8. 前記処理手段により発行されたコマンドを外部に送信する送信手段をさらに備える、
   ようにしたことを特徴とする請求項７記載の小型電子機器。
9. 前記処理手段は、前記認識手段により認識された文字又は文字列の属性を指定するコマンドを発行する、
   ようにしたことを特徴とする請求項７あるいは請求項８のいずれかに記載の小型電子機器。
10. 前記処理手段は、動作種を指定するコマンドを発行する、
    ようにしたことを特徴とする請求項７あるいは請求項８のいずれかに記載の小型電子機器。
11. 前記処理手段は、動作モードを切り替えるコマンドを発行する、
    ようにしたことを特徴とする請求項７あるいは請求項８のいずれかに記載の小型電子機器。
12. 筐体の移動方向を検出する移動方向検出手段を備えた小型電子機器における処理方法であって、
    前記移動方向検出手段により検出された、前記筐体が空中の任意の平面内で移動されながら行われた文字又は文字列を書く動作に基づいて、文字又は文字列を認識する認識工程と、
    前記平面内に前記書く動作により書かれた文字又は文字列の姿勢とその文字又は文字列を書く動作の間の筐体の姿勢との相対姿勢、文字又は文字列を書く動作の間の筐体の姿勢、前記平面内に前記書く動作により書かれた文字又は文字列の姿勢のうち、少なくともいずれかの姿勢を算出する算出工程と、
    前記算出工程により算出された文字又は文字列の姿勢と筐体の姿勢との相対姿勢、筐体の姿勢、文字又は文字列の姿勢、前記認識工程により認識された文字又は文字列の種類のうち、少なくともいずれかの組み合わせに応じて、所定の処理を行う処理工程と、
    を含むことを特徴とする処理方法。
13. 筐体の移動方向を検出する移動方向検出手段を備えたコンピュータに、
    前記移動方向検出手段により検出された、前記筐体が空中の任意の平面内で移動されながら行われた文字又は文字列を書く動作に基づいて、文字又は文字列を認識する認識機能、
    前記平面内に前記書く動作により書かれた文字又は文字列の姿勢とその文字又は文字列を書く動作の間の筐体の姿勢との相対姿勢、文字又は文字列を書く動作の間の筐体の姿勢、前記平面内に前記書く動作により書かれた文字又は文字列の姿勢のうち、少なくともいずれかの姿勢を算出する算出機能、
    前記算出機能により算出された文字又は文字列の姿勢と筐体の姿勢との相対姿勢、筐体の姿勢、文字又は文字列の姿勢、前記認識機能により認識された文字又は文字列の種類のうち、少なくともいずれかの組み合わせに応じて、所定の処理を行う処理機能、
    を実現させるためのプログラム。
14. 筐体の移動方向を検出する移動方向検出手段と、
    前記移動方向検出手段により検出された、前記筐体が空中の任意の平面内で移動されながら行われた文字又は文字列を書く動作に基づいて、文字又は文字列を認識する認識手段と、
    前記平面内に前記書く動作により書かれた文字又は文字列を書く動作の間の筐体の姿勢と、前記平面内に前記書く動作により書かれた文字又は文字列の姿勢を算出する算出手段と、
    前記算出手段により算出された筐体の姿勢と文字又は文字列の姿勢との相対姿勢と、前記認識手段により認識された文字又は文字列の種類との組み合わせに応じて、所定の処理を行う処理手段と、
    を具備したことを特徴とする小型電子機器。
15. 筐体の移動方向を検出する移動方向検出手段と、
    前記移動方向検出手段により検出された、前記筐体が空中の任意の平面内で移動されながら行われた文字又は文字列を書く動作に基づいて、文字又は文字列を認識する認識手段と、
    前記平面内に前記書く動作により書かれた文字又は文字列を書く動作の間の筐体の姿勢と、前記平面内に前記書く動作により書かれた文字又は文字列の姿勢を算出する算出手段と、
    前記算出手段により算出された筐体の姿勢と文字又は文字列の姿勢との組み合わせに応じて、所定の処理を行う処理手段と、
    を具備したことを特徴とする小型電子機器。
    
    

Images