JP7340031B2 - 入力システム、入力方法およびプログラム - Google Patents

Description

本発明は入力システム、入力方法およびプログラムに関する。

シートに位置情報が符号化されたパターンが印刷されている既存の入力システムでは、ペンの先などに設けられたカメラにより撮影されたパターンを復号して位置情報を取得する。位置情報はシート内の座標を示しており、取得された位置情報はペンの先などが指しているシート上の位置を示す。入力システムは取得された位置情報が予め定められた複数の領域のうちいずれに含まれるかを判定し、判定された領域に応じた情報を入力する。入力された情報はその後の処理に用いられる。

特許文献１には、ゲーム選択領域が印刷された紙を、入力デバイスに内蔵されたカメラにより読みとり、その読取結果に応じてゲームを開始することが開示されている。

国際公開第２０１８／０２５４６７号

従来の入力手法では、一度の操作により入力することが可能な情報量が少ない。情報量を増やすため、例えば領域の数を多くする必要が生じる。

本発明は上記課題を鑑みてなされたものであって、その目的は、位置情報が符号化されたパターンが印刷されたシートに対する入力インターフェースを改良する技術を提供することにある。

上記課題を解決するために、本発明にかかる入力システムは、位置が符号化されたパターンが印刷されるシートと、前記パターンを撮影するカメラを含む入力デバイスと、前記カメラが撮影した画像に含まれるパターンに基づいて、前記入力デバイスの位置および向きを取得する取得手段と、前記取得手段により取得された位置および向きに基づいて処理を実行する実行手段と、を含む。

また、本発明にかかる入力方法は、位置が符号化されたパターンが印刷されるシートが撮影された画像であって、入力デバイスにより撮影された画像から認識される、前記入力デバイスの位置および向きを取得するステップと、前記取得された位置および向きに基づいて処理を実行するステップと、を含む。

また、本発明にかかるプログラムは、位置が符号化されたパターンが印刷されるシートが撮影された画像であって、入力デバイスにより撮影された画像から認識される、前記入力デバイスの位置および向きを取得する取得手段、および、前記取得された位置および向きに基づいて処理を実行する実行手段、としてコンピュータを機能させる。

本発明によれば、位置情報が符号化されたパターンが印刷されたシートに対する入力インターフェースが改良される。

本発明の一形態では、前記実行手段は音を出力し、前記取得された位置及び向きに基づいて、ユーザの操作に応じて出力される音のパラメータを決定してもよい。

本発明の一形態では、前記シートは設定領域を含み、前記実行手段は、前記入力デバイスの位置が前記設定領域に含まれる場合に、前記取得された向きに基づいて、前記ユーザの操作に応じて出力される音の種類、高さ、音量のうちいずれかを決定してもよい。

本発明の一形態では、前記実行手段は、前記入力デバイスの位置が前記設定領域に含まれる場合に、前記取得された向きに基づいて、前記ユーザの操作に応じて出力される音の種類、高さ、音量のうちいずれかを決定し、決定された音を出力してもよい。

本発明の一形態では、前記シートは複数の演奏領域をさらに含み、前記実行手段は、前記入力デバイスの位置が前記複数の演奏領域のいずれかである場合に、前記入力デバイスの位置を含む演奏領域に応じた高さの音を出力し、前記実行手段は、前記入力デバイスの位置が前記設定領域に含まれる場合に、前記取得された向きに基づいて、前記出力される音の種類、高さ、音量、音階のスケールのうちいずれかを変更してもよい。

本発明の一形態では、前記実行手段は、前記取得された位置が所定の領域内にある間における前記取得された向きの変化量に応じて、出力される音のパラメータを決定してもよい。

本発明の一形態では、前記実行手段は、前記取得された位置が所定の範囲にある場合に、前記入力デバイスが取得した、シートに対する入力デバイスの向きに基づいて出力される音のパラメータを決定してもよい。

本発明の一形態では、前記実行手段は、前記取得された位置及び向きに基づいて情報を選択し、前記選択された情報に基づいて処理を実行してもよい。

第１の実施形態にかかる操作システムの一例を示す図である。 操作システムのハードウェア構成を示す図である。 入力デバイスの底面を示す図である。 シートおよび入力デバイスの一例を示す図である。 シートの一例を示す図である。 シート上のパターンを概略的に示す図である。 操作システムが実現する機能を示すブロック図である。 操作システムの処理の概要を示すフロー図である。 シートの他の一例を示す図である。 シートの他の一例を示す図である。 設定領域についての処理の一例を示すフロー図である。 鍵盤領域についての処理の一例を示すフロー図である。 リズム領域についての処理の一例を示すフロー図である。 文字領域について入力情報を取得し音を出力する処理の一例を示すフロー図である。 蛇口領域について入力情報を取得する処理の一例を示すフロー図である。 第２の実施形態にかかるシートの一例を示す図である。 入力情報を取得し入力デバイスを制御する処理の一例を示す図である。 カバーの一例を示す図である。

以下では、本発明の実施形態について図面に基づいて説明する。出現する構成要素のうち同一機能を有するものには同じ符号を付し、その説明を省略する。本発明の実施形態では、ユーザは、自走可能な入力デバイスを保持し、また領域を指し示すことにより情報を入力する。また入力された情報に応じて処理が実行される。

［第１の実施形態］
図１は、第１の実施形態にかかる操作システムの一例を示す図である。本発明にかかる操作システムは、デバイス制御装置１０と、位置入力デバイス２０ａ，２０ｂと、コントローラ１７と、カートリッジ１８とを含む。位置入力デバイス２０ａ，２０ｂはカメラ２４を有する自走可能なデバイスであり、どちらも同じ機能を有する。以下では特に区別する必要がない限り、これらの位置入力デバイス２０ａ，２０ｂを位置入力デバイス２０と記載する。デバイス制御装置１０は、無線を介して位置入力デバイス２０を制御する。デバイス制御装置１０は凹部３２を有し、位置入力デバイス２０が凹部３２にはめ込まれると、デバイス制御装置１０は位置入力デバイス２０を充電する。コントローラ１７はユーザによる操作を取得する入力装置であり、ケーブルによりデバイス制御装置１０に接続されている。カートリッジ１８は不揮発性メモリを内蔵する。

図２は、本発明の実施形態にかかる操作システムのハードウェア構成の一例を示す図である。デバイス制御装置１０は、プロセッサ１１、記憶部１２、通信部１３、入出力部１４を含む。位置入力デバイス２０は、プロセッサ２１、記憶部２２、通信部２３、カメラ２４、２つのモータ２５を含む。デバイス制御装置１０は、位置入力デバイス２０の制御に最適化された専用の装置であってもよいし、汎用的なコンピュータであってもよい。

プロセッサ１１は、記憶部１２に格納されているプログラムに従って動作し、通信部１３、入出力部１４などを制御する。プロセッサ２１は、記憶部２２に格納されているプログラムに従って動作し、通信部２３、カメラ２４、モータ２５などを制御する。上記プログラムは、カートリッジ１８内のフラッシュメモリ等のコンピュータで読み取り可能な記憶媒体に格納されて提供されるが、インターネット等のネットワークを介して提供されてもよい。

記憶部１２は、デバイス制御装置１０に内蔵されるＤＲＡＭおよび不揮発性メモリと、カートリッジ１８内の不揮発性メモリ等によって構成されている。記憶部２２は、ＤＲＡＭおよび不揮発性メモリ等によって構成されている。記憶部１２，２２は、上記プログラムを格納する。また、記憶部１２，２２は、プロセッサ１１，２１や通信部１３，２３等から入力される情報や演算結果を格納する。

通信部１３，２３は他の機器と通信するための集積回路やアンテナなどにより構成されている。通信部１３，２３は、例えばBluetooth(登録商標)プロトコルに従って互いに通信する機能を有する。通信部１３，２３は、プロセッサ１１，２１の制御に基づいて、他の装置から受信した情報をプロセッサ１１，２１や記憶部１２，２２に入力し、他の装置に情報を送信する。なお、通信部１３はＬＡＮなどのネットワークを介して他の装置と通信する機能を有してもよい。

入出力部１４は、コントローラ１７などの入力デバイスからの情報を取得する回路と、音声出力デバイスや画像表示デバイスなどの出力デバイスを制御する回路とを含む。入出力部１４は、入力デバイスから入力信号を取得し、その入力信号が変換された情報をプロセッサ１１や記憶部１２に入力する。また入出力部１４は、プロセッサ１１などの制御に基づいて、音声をスピーカに出力させ、画像を表示デバイスに出力させる。

モータ２５は、プロセッサ２１により回転方向、回転量および回転速度が制御される、いわゆるサーボモータである。

カメラ２４は、位置入力デバイス２０の下方を撮影するように配置され、位置入力デバイス２０が置かれているシート３１（図４，５参照）に印刷されたパターン７１（図６参照）を撮影する。本実施形態では、シート３１には赤外線の周波数領域で認識されるパターン７１が印刷されており、カメラ２４は、その赤外線の画像を撮影する。

図３は、位置入力デバイス２０の一例を示す図である。図３は、位置入力デバイス２０を下からみた図である。位置入力デバイス２０は、電源スイッチ２５０、スイッチ２２２、２つの車輪２５４をさらに含む。２つの車輪２５４のそれぞれには、１つのモータ２５が割り当てられており、モータ２５は、割り当てられた車輪２５４を駆動する。

図４は、シート３１および位置入力デバイス２０ａ，２０ｂの一例を示す図である。図４に示されるように、位置入力デバイス２０には、カバー７５が取り付けられている。カバー７５は、カメラ２４によりシート３１の撮影の邪魔にならず、かつ、位置入力デバイス２０の方向をユーザが容易に認識できるような形状を有する。図４の例では、カバー７５は、位置入力デバイス２０に被され、位置入力デバイス２０の下面以外を覆っている。図１８は、カバー７５の一例を示す図であり、カバー７５の正面および側面を示す図である。図１８に示されるカバー７５は、位置入力デバイス２０ａの上方から被されている。カバー７５により、位置入力デバイス２０の正面をユーザが認識することが容易になる。

図４の例では、ユーザは右手で位置入力デバイス２０ａを把持し、左手で位置入力デバイス２０ｂを把持する。そして、ユーザが位置入力デバイス２０をシート３１上の領域に置くと、その領域に応じた情報が入力され、その入力された情報に応じた音がデバイス制御装置１０から出力される。

図５は、シート３１の一例を示す図である。シート３１には、ユーザが視認できる画像が印刷される。図５に示されるシート３１ａの上には、複数の設定領域４１ａ～４１ｉと、複数の鍵盤領域４３と、複数のリズム領域４４と、複数のコード領域４５とが設けられ、またユーザはそれらの領域を視認できる。シート３１には、さらに、カメラ２４により読み取り可能なパターン７１が印刷されている。

図６は、シート３１上のパターン７１を概略的に示す図である。シート３１上には、所定の大きさ（例えば０．２ｍｍ角）のパターン７１がマトリクス状に並んでいる。パターン７１のそれぞれは、そのパターン７１が配置される位置の座標が符号化された画像である。シート３１には、符号化された座標が表現することが可能な座標空間のうち、シート３１の大きさに対応する領域が割り当てられている。本実施形態にかかる操作システムでは、位置入力デバイス２０のカメラ２４がシート３１等に印刷されたパターン７１を撮影し、位置入力デバイス２０またはデバイス制御装置１０がそのパターン７１を復号して座標を取得する。これにより、位置入力デバイス２０のシート３１等の上における位置が認識される。また、位置入力デバイス２０またはデバイス制御装置１０は、カメラ２４により撮影された画像内にあるパターン７１の傾きを検出することにより、位置入力デバイス２０の方向（例えば基準方向からの角度Ａ）を検出する。

複数の鍵盤領域４３は、横方向に並んで配置されている。鍵盤領域４３は演奏音の出力の指示のための領域である。鍵盤領域４３に位置入力デバイス２０が配置されると音が出力される。位置入力デバイス２０が置かれる鍵盤領域４３が右側にあるほど出力される音が高くなる。

複数のリズム領域４４は、図５において鍵盤領域４３の上側に配置されている。リズム領域４４は演奏音の出力の指示のための領域である。位置入力デバイス２０がリズム領域４４のいずれかの上に配置されると、その配置されたリズム領域４４に対応する音がデバイス制御装置１０から出力される。

複数のコード領域４５は、図５においてリズム領域４４の右側に配置されている。コード領域４５は演奏音の出力の指示のための領域である。位置入力デバイス２０がコード領域４５のいずれかの上に配置されると、その配置されたコード領域４５に対応する高さのコードがデバイス制御装置１０から出力される。

複数の設定領域４１ａ～４１ｉは、鍵盤領域４３またはリズム領域４４に位置入力デバイス２０が配置された際に出力される音のパラメータを設定する指示を取得するための領域である。以下では、区別が不要な場合にはこれらを設定領域４１と呼ぶ。設定領域４１は出力される音のパラメータに対応する。複数の設定領域４１のいずれかの上に位置入力デバイス２０が配置されると、その配置された設定領域４１に対応するパラメータに、その位置入力デバイス２０の方向に応じた値が設定される。

設定領域４１ａは出力される音のボリュームのパラメータを指定する領域であり、設定領域４１ｂは鍵盤領域４３に位置入力デバイス２０が配置された際に出力される音の高さのパラメータを調整する領域である。設定領域４１ｄは複数の鍵盤領域４３に対応付けられる音についての音階のスケール（例えばメジャー、マイナー、ペンタトニック、琉球音階のいずれか）のパラメータを設定する領域である。設定領域４１ｈ，４１ｉ，４１ｇは、それぞれ、鍵盤領域４３、リズム領域４４、コード領域４５に位置入力デバイス２０が配置された際に出力される音の種類のパラメータを設定する領域である。

本実施形態にかかる操作システムでは、ユーザが把持する位置入力デバイス２０をシート３１上の領域に配置すると、その配置された領域および位置入力デバイス２０の向きに応じた情報が入力され、その入力された情報に応じて音が出力される。以下では、この操作システムの動作について説明する。

図７は、操作システムが実現する機能を示すブロック図である。操作システムは、機能的に、位置取得部５１、情報入力部５２、アプリケーション実行部５８、音声出力部５９を含む。情報入力部５２は機能的に領域判定部５３、入力情報決定部５５を含む。これらの機能は、主に、デバイス制御装置１０に含まれるプロセッサ１１が記憶部１２に格納されるプログラムを実行し、通信部１３を介して位置入力デバイス２０を制御することにより実現される。また、位置取得部５１などの機能の一部は、位置入力デバイス２０に含まれるプロセッサ２１が記憶部２２に格納されるプログラムを実行し、通信部２３を介してデバイス制御装置１０とデータをやり取りし、カメラ２４やモータ２５を制御することにより実現されてよい。

位置取得部５１は、カメラ２４により撮影された画像から、座標が符号化されたパターン７１を認識し、そのパターン７１が示す座標から、位置入力デバイス２０の位置する座標と位置入力デバイス２０の向きとを取得する。

情報入力部５２は、位置取得部５１により取得された位置および向きに基づいて、ユーザにより入力される入力情報を取得する。情報入力部５２に含まれる領域判定部５３は、位置入力デバイス２０の位置がどの領域に含まれるかを判定する。情報入力部５２に含まれる入力情報決定部５５は、位置入力デバイス２０の位置を含む領域に基づいて入力情報を決定する。また、入力情報決定部５５は、位置入力デバイス２０の位置を含む領域が予め定められた領域である場合には、その領域と、その位置入力デバイス２０の向きとに基づいて、入力情報を決定する。入力情報決定部５５は、位置入力デバイス２０のうち一方の位置がある領域に含まれるか否かと、位置入力デバイス２０のうち他方の位置が他の１つの領域に含まれるか否かとに基づいて、入力情報を決定する。

アプリケーション実行部５８は、取得された入力情報に基づいて処理を実行する。アプリケーション実行部５８は、取得された入力情報に基づいて音のパラメータを設定する。アプリケーション実行部５８に含まれる音声出力部５９は、設定されたパラメータに応じた音を出力する。

以下ではこの操作システムが実行する処理についてより詳細に説明する。図８は、操作システムの処理の概要を示すフロー図である。以下では、説明の容易のため、位置入力デバイス２０ａを第１デバイス、位置入力デバイス２０ｂを第２デバイスと記載する。図８に示される処理は繰り返し実行される。

はじめに、位置取得部５１は、第１デバイスがシート３１の表面を撮影したか判定する（ステップＳ１０１）。位置取得部５１は、第１デバイスのカメラ２４が撮影された画像にパターン７１に特有の画像要素が存在するか否かに基づいて、第１デバイスがシート３１の表面を撮影したか否か判定してよい。第１デバイスがシート３１の表面を撮影した場合には（ステップＳ１０１のＹ）、位置取得部５１は、第１デバイスのシート３１上の位置である第１の位置および第１デバイスの方向を取得し（ステップＳ１０２）、領域判定部５３は取得された第１の位置を含む領域を検出する（ステップＳ１０３）。位置取得部５１はステップＳ１０２において、第１デバイスのカメラ２４により撮影されたパターン７１の画像内の傾きに基づいて、第１デバイスの向きを取得する。領域判定部５３はステップＳ１０３において、複数の領域のそれぞれと、シート３１上の座標範囲とを関連付ける情報と、第１の位置の座標とに基づいて、第１の位置が含まれる領域を選択する。

第２デバイスに対してもステップＳ１０１～Ｓ１０３に相当する処理が行われる。第２デバイスがシート３１の表面を撮影した場合には（ステップＳ１０４のＹ）、位置取得部５１は、第２デバイスのシート３１上の位置である第２の位置および第２デバイスの方向を取得し（ステップＳ１０５）、領域判定部５３は取得された第２の位置を含む領域を検出する（ステップＳ１０６）。

領域判定部５３が判定する領域は、単一のシート３１上にある設定領域４１ａ～４１ｉ、鍵盤領域４３、リズム領域４４、コード領域４５だけでなくてよい。領域判定部５３は第１の位置または第２の位置が他のシート３１上の領域に含まれるか否かを判定してもよい。互いに異なるシート３１には、互いに異なる範囲の座標が符号化されたパターン７１が印刷されている。これにより、複数のシート３１上に領域が配置されていても、単に第１の位置または第２の位置の座標により領域が判定される。

図９は、シート３１の他の一例を示す図である。図９に示されるシート３１ｂの上には、複数の文字領域４６と、複数の切替領域４７と、フリー領域４２とが設けられ、またユーザはそれらの領域を視認できる。ユーザは、図８に示すシート３１ｂの上に位置入力デバイス２０を配置して文字領域４６および切替領域４７を指し示すことにより、操作システムは指し示された領域に対応する文字の音声を出力させる。

複数の文字領域４６は、文字を選択するための領域である。文字領域４６の数は、入力が可能な文字の種類の数より少ない。具体的には、文字領域４６は、日本語の主に清音を示す文字が表示される領域である。文字領域４６は、濁音、半濁音、拗音そのものを示す領域ではなく、後述の切替領域４７と文字領域４６との組み合わせにより濁音、半濁音、拗音、またそれらの組み合わせを入力することが可能となる。

複数の切替領域４７は、文字領域４６の数より多くの種類の文字を入力するための領域である。入力される情報（例えば文字）の候補値のセット（候補セット）が複数存在し、候補セットの数は切替領域４７の数に１を加えた数である。複数の文字領域４６のそれぞれは、ある候補セットに含まれる複数の候補値のいずれかに対応づけられている。また他の候補セットに含まれる複数の候補値のいずれかにも対応づけられている。切替領域４７に一つの位置入力デバイス２０が配置された状態で、複数の文字領域４６のいずれかが他の位置入力デバイス２０により指し示されると、切替領域４７に対応する候補セットに含まれる複数の候補値のうち、指し示された文字領域４６に対応する候補値が入力情報として選択される。ここで、複数の切替領域４７は、具体的には、濁音を示す領域と、半濁音を示す領域と、拗音を示す領域と、促音を示す領域と、濁音と拗音との組み合わせを示す領域と、半濁音と拗音を示す領域とを含む。これらの領域に関する処理については後述する。

シート３１ｂに含まれるフリー領域４２は、その上に位置入力デバイス２０が配置された際に、その平面的な位置に応じた設定値を入力するための領域である。図９のフリー領域４２上には破線によりｘ軸Ｌｘおよびｙ軸Ｌｙが記載されているが、これらは記載されていなくてもよい。フリー領域４２においては、一つの入力デバイス２０のｘ方向の移動およびｙ方向の移動に基づいて、複数の項目の設定が設定可能であってよい。例えば、入力デバイス２０の位置のｙ座標に応じて出力される音声のピッチが決定され、ｘ座標に応じてＬ／Ｒスピーカーに対するミキシングのボリュームが決定されてもよい。このような例では位置入力デバイス２０の向きは用いられておらず、フリー領域４２は、ｘ軸方向の動きに対応するスライダーとｙ軸方向に対応するスライダーとの２つに相当する入力を１つの位置入力デバイス２０で可能にする。

図１０は、シート３１の他の一例を示す図である。図１０に示されるシート３１ｃの上には、蛇口領域４８と、グラス領域４９とが設けられ、またユーザはそれらの領域を視認できる。蛇口領域４８は、その上に配置される位置入力デバイス２０の回転量により、疑似的にグラスに水を入れるか否かの指示を取得するための領域である。グラス領域４９は、疑似的に水の入ったグラスの音を出力させるための領域である。これらの領域に関する処理については後述する。

ステップＳ１０１からＳ１０６により、第１の位置が含まれる領域および第２の位置が含まれる領域のうち少なくとも一方が検出されると、情報入力部５２は、第１の位置が含まれる領域の種類に応じた処理により入力情報を取得し、音声出力部５９は音を出力する（ステップＳ１０７）。情報入力部５２は、第２の位置が含まれる領域の種類に応じた処理により入力情報を取得し、音声出力部５９は音を出力する（ステップＳ１０８）。以下では、ステップＳ１０７の処理の詳細、つまり、領域の種類に応じた処理について説明する。ステップＳ１０８の処理は、ステップＳ１０７における第１デバイスの第１の位置及び方向および第２デバイスの第２の位置及び方向を、第２デバイスの第２の位置及び方向および第１デバイスの第１の位置及び方向に変えるだけでよいため、詳細の説明は省略する。

図１１は、設定領域４１についての処理の一例を示すフロー図である。図１１は、ステップＳ１０７において第１の位置が設定領域４１に含まれる場合に、入力情報を取得し音を出力する処理を示す。

はじめに、入力情報決定部５５は、第１の位置を含む設定領域４１に応じて、位置入力デバイス２０の方向と入力値との対応を示す対応情報を取得する（ステップＳ３０１）。対応情報は、複数のアイテムを含み、各アイテムは方向の範囲と入力値とを関連付けるものであってよい。入力値は設定領域４１に対応するパラメータの設定値となる。対応情報は設定領域４１ａ～４１ｉごとに予め準備されている。次に入力情報決定部５５は、取得された対応情報と第１デバイスの方向とに基づいて、入力値を取得する（ステップＳ３０２）。入力情報決定部５５は、例えば、対応情報に含まれるアイテムのうち、第１デバイスの方向を含む範囲を有するアイテムにおいてその範囲と関連付けられている入力値を取得する。

入力値が取得されると、アプリケーション実行部５８は、第１の位置が属する設定領域４１に対応するパラメータに、取得された入力値を設定する（ステップＳ３０３）。

例えば、図５の設定領域４１ａに第１デバイスが配置されると、その方向に応じてボリュームが設定される。その方向とシート３１の基準方向との角度Ａが小さいほどボリュームが大きくなってよい。設定領域４１ｂに第１デバイスが配置されると、その方向に応じて鍵盤領域４３のうちいずれかが指し示された際に出力される音の高さ（基準音の高さ）が変化する。また、鍵盤領域４３どうしの相対的な音の高さの差が維持されつつ鍵盤領域４３のそれぞれの高さが方向に応じて設定される。

設定領域４１ｄに第１デバイスが配置されると、アプリケーション実行部５８は、その第１デバイスが配置された方向に応じて複数の鍵盤領域４３に対応付けられる音についての音階のスケール（例えばメジャー、マイナー、ペンタトニック、琉球音階のうちいずれか）を設定してよい。設定領域４１ｈ，４１ｉ，４１ｇに第１デバイスが配置されると、アプリケーション実行部５８は、その第１デバイスが配置された方向に応じて、それぞれ鍵盤領域４３、リズム領域４４、コード領域４５に位置入力デバイス２０が配置された際に出力される音の種類を設定してよい。

方向を用いて入力値を取得することにより、情報の入力に必要な領域を減らすことができる。また、位置入力デバイス２０の回転はつまみの操作を連想させるため、ユーザがより直観的に値を入力することもできる。

パラメータに入力値が設定されると、音声出力部５９は、そのパラメータによる確認用の音を出力する（ステップＳ３０４）。確認用の音を出力することにより、ユーザが容易に現在の設定を認識することができ、設定がより容易になる。

図１２は、鍵盤領域４３についての処理の一例を示すフロー図である。図１２は、ステップＳ１０７において第１の位置が鍵盤領域４３に含まれる場合に、入力情報を取得し音を出力する処理を示す。

はじめに、入力情報決定部５５は、第１の位置を含む鍵盤領域４３に応じて、いずれの鍵盤領域４３であるか識別する情報を取得する（ステップＳ４０１）。入力情報決定部５５は、第１デバイスの方向に基づいて、音の高さの変更の有無を取得する（ステップＳ４０２）。入力情報決定部５５は、より具体的には、第１デバイスの方向がシートの基準方向に対して右側に所定の角度以上傾いている場合に、音の高さを半音上げる指示を入力情報として取得する。また入力情報決定部５５は、第１デバイスの方向がシート３１の基準方向に対して左側に所定の角度以上傾いている場合に、音の高さを半音下げる指示を入力情報として取得してもよい。

そして、アプリケーション実行部５８は、スケールおよび基準音の高さと、取得された識別情報および音の高さの変更の有無とに基づいて、出力する音の高さを決定する（ステップＳ４０３）。より具体的には、アプリケーション実行部５８は、スケールと鍵盤領域４３の識別情報とに基づいて相対的な音の高さを求め、求められた相対的な音の高さと基準音の高さとに基づいて出力する音の絶対的な高さを求め、さらに音の高さの変更が有りの場合には音の高さを半音変化させる。アプリケーション実行部５８に含まれる音声出力部５９は、決定された高さを有し、パラメータとして設定された音の種類およびボリュームの音を出力する（ステップＳ４０４）。

これらの処理により、鍵盤領域４３を指し示す際の位置入力デバイス２０の方向を用いて出力される音の高さを半音上げる、または下げることができる。これにより鍵盤領域４３のデザインをシンプルにすることが可能になる。なお、アプリケーション実行部５８は、位置入力デバイス２０の方向に応じて出力される音の長さ（出力される音に対応する音符の種類）を決定してもよい。例えば子どものユーザは位置入力デバイス２０を鍵盤領域４３に置く時間を正確に調整することは難しいので、方向を用いることで子どものユーザがより容易に音の長さを指示することが可能になる。

図１３は、リズム領域４４についての処理の一例を示すフロー図である。図１３は、ステップＳ１０７において第１の位置がリズム領域４４に含まれる場合に、入力情報を取得し音を出力する処理を示す。

はじめに、入力情報決定部５５は、以前に設定領域４１ｉにより設定されたパラメータに基づいて、複数のリズム領域４４のそれぞれとリズム音の種類との対応を示す情報（リズムセット）を取得する（ステップＳ５０１）。複数のリズムセットが存在し、複数のリズム領域４４のそれぞれは、あるリズムセットに含まれる複数のリズム音の種類のいずれかに対応づけられている。また複数のリズム領域４４のそれぞれは、他のリズムセットに含まれる複数のリズム音の種類のいずれかにも対応づけられている。リズム音の種類は、例えば、ドラム、パーカッション、和太鼓、動物の鳴き声などであり、リズムセットの選択に用いるパラメータは設定領域４１ｉが指し示された際の位置入力デバイス２０の方向に応じて設定されている。

入力情報決定部５５は、取得されたセットに基づいて、第１の位置を含むリズム領域４４に対応するリズム音の種類を入力情報として取得する（ステップＳ５０２）。そして、音声出力部５９は、設定された音量で、取得された種類のリズム音を出力する（ステップＳ５０３）。

図１４は、文字領域４６についての処理の一例を示すフロー図である。図１４は、ステップＳ１０７において第１の位置が文字領域４６に含まれる場合に、入力情報を取得し音声を出力する処理を示す。

はじめに、入力情報決定部５５は、第２の位置が複数の切替領域４７のいずれかに含まれるか否か判定する（ステップＳ６０１）。第２の位置がどの切替領域４７にも含まれない場合は（ステップＳ６０１のＮ）、入力情報決定部５５は、複数の候補セットのうちデフォルトの候補セットを選択する（ステップＳ６０２）。複数の文字領域４６のそれぞれは、ある候補セットに含まれる複数の候補値のいずれかに対応づけられている。また他の候補セットに含まれる複数の候補値のいずれかにも対応づけられている。

一方、第２の位置が複数の切替領域４７のいずれかに含まれる場合には（ステップＳ６０１のＹ）、入力情報決定部５５は、複数の候補セットのうち第２の位置を含む切替領域４７に応じた候補セットを選択する（ステップＳ６０３）。何らかの候補セットが選択されると、入力情報決定部５５は、選択された候補セットから、第１の位置を含む文字領域４６に対応する候補地を入力値として取得する（ステップＳ６０４）。また、入力情報決定部５５は、第１デバイスの方向に基づいて、出力される音声の種類およびピッチの指示を取得する（ステップＳ６０５）。より具体的には、入力情報決定部５５は、角度Ａの３６０度の範囲を２つの範囲に分割し、第１デバイスの角度Ａが片方の範囲にある場合には音声の種類として男性の声を指示として取得し、角度Ａが他方の範囲にある場合には音声の種類として女性の声を指示として取得してよい。また、入力情報決定部５５は、それぞれの範囲における基準角度と角度Ａとの差に基づいて音のピッチの指示を取得してよい。

そして、音声出力部５９は、取得された音声の種類およびピッチにより、取得された入力値に対応する音声を出力する（ステップＳ６０６）。

切替領域４７を用いて、入力値の候補セットを切り替えることが可能になり、少ない文字領域４６でも多くの種類の情報を入力できる。また、図１４に示される処理では、位置入力デバイス２０を切替領域４７に置いたままにすることで候補セットの切り替えが可能である。位置入力デバイス２０が置いてある切替領域４７からユーザがどの候補セットの情報（例えば濁音や半濁音の文字）が入力されるかを常に確認できるため、印刷された領域を指し示すことで情報を入力する場合により直観的に入力することが可能になる。また、位置入力デバイス２０の方向を用いることで、容易に音声のピッチを調整することが可能になる。

なお、これまでの説明ではフリー領域４２における処理の記載を省略している。ステップＳ１０７において第１の位置がフリー領域４２に含まれる場合には、入力情報決定部５５は、フリー領域４２により設定するパラメータの項目と位置との関係を示す位置対応情報を取得し、その位置対応情報と、取得された第１デバイスの位置（ｘ座標およびｙ座標）とに基づいて、入力値を取得する。そして、アプリケーション実行部５８は、そのパラメータの項目に、取得された入力値を設定する。

図１５は、蛇口領域４８についての処理の一例を示すフロー図である。図１５は、ステップＳ１０７において第１の位置が蛇口領域４８に含まれる場合に、入力情報を取得し音声を出力する処理を示す。この処理では、第１デバイスの方向の変化量に応じて処理が実行される。

はじめに、入力情報決定部５５は、前回に取得された第１の位置が、蛇口領域４８に含まれていたか判定する（ステップＳ７０１）。前回の第１の位置が蛇口領域４８に含まれない場合には（ステップＳ７０１のＮ）、入力情報決定部５５は現在の第１デバイスの方向を初期方向として記憶する（ステップＳ７０２）。

前回の第１の位置が蛇口領域４８に含まれる場合には（ステップＳ７０１のＹ）、入力情報決定部５５は初期方向と現在の第１デバイスの方向との差（方向の変化量）に基づいて、流水モードのオンまたはオフの指示を取得する（ステップＳ７０３）。より具体的には、入力情報決定部５５は、方向の変化量が閾値以上の場合には流水モードのオンの指示を取得し、閾値未満の場合には流水モードのオフの指示を取得する。

そして、流水モードのオンの指示が取得された場合には、アプリケーション実行部５８は流水モードをオンにし、音声出力部５９は水が流れる音を出力する（ステップＳ７０４）。またアプリケーション実行部５８は流水モードがオンである期間に応じて、グラス領域４９が指し示された場合に出力する音の高さを決定する（ステップＳ７０５）。

グラス領域４９が指し示された場合に出力される音（出力音）は、水の入ったグラスをたたいた際に出力される音に相当する。通常のグラスが水の量が多いほど高い音が鳴るので、流水モードの期間が長いほど出力音も高くなる。蛇口が印刷された蛇口領域４８に位置入力デバイス２０を配置し方向を変える操作は、蛇口をひねる操作に類似するため、ユーザは直観的に操作することが可能である。

なお、位置入力デバイス２０の方向の変化量に応じて設定値が増減されてもよい。例えば、入力情報決定部５５は、設定領域４１ａ，４１ｂの上における入力デバイス２０の回転量に応じて、それぞれボリュームの変化量および鍵盤領域４３のキー（例えば基準音）の高さの増減を決定してもよい。アプリケーション実行部５８は、決定されたその増減と、前回設定されたボリュームまたはキーの高さとに基づいて、ボリュームまたは鍵盤領域４３のキーの高さを設定してよい。入力デバイス２０の回転量に応じて例えばボリュームといった設定値が変化することにより、直観的な操作が可能となる。またこの効果は図１１に示される処理でも得られる。

［第２の実施形態］
第２の実施形態では、２つの位置入力デバイス２０を用いて情報を入力する構成について、主に第１の実施形態との相違点について説明する。第１の実施形態の図１４の例では２つの位置入力デバイス２０が置かれた位置に応じて文字を入力していたが、第２の実施形態では、文字と異なる情報、例えば指示が入力される。

図１６は、第２の実施形態にかかるシート３１ｄの一例を示す図である。図１６に示されるシート３１ｄには、９×９のマス８０が印刷されている。また、その四隅のうち１つが第１の判定領域８１であり、もう１つが第２の判定領域８２である。図１６の例では、アプリケーション実行部５８により、シート３１ｄ上を位置入力デバイス２０が走行するゲームの処理が実行されている。アプリケーション実行部５８は、予め記憶部１２に格納された複数の初期状態のいずれかからゲームを開始し、ユーザの操作に応じて、内部の変数の値や位置入力デバイス２０の位置を変更する。初期状態における位置入力デバイス２０の初期位置も予め定められており、ゲームの開始の際には位置入力デバイス２０は初期位置へ向けて自走する。

図１７は、入力情報を取得し位置入力デバイス２０を制御する処理の一例を示す図であり、図８のステップＳ１０７およびＳ１０８に対応する処理である。入力情報決定部５５は、第１の位置が第１の判定領域８１に含まれ（ステップＳ９０１のＹ）、かつ、第２の位置が第２の判定領域８２に含まれる（ステップＳ９０２のＹ）場合には、リスタート指示を入力値として取得する（ステップＳ９０３）。また、第１の位置が第１の判定領域８１に含まれない（ステップＳ９０１のＮ）、または、第２の位置が第２の判定領域８２に含まれない（ステップＳ９０２のＮ）場合には、入力情報決定部５５は第１の位置および第２の位置が含まれる領域に応じて入力値を取得する（ステップＳ９０４）。なお、第１の位置が第２の判定領域８２に含まれ、第２の位置が第１の判定領域８１に含まれる場合にもリスタート指示が入力値として取得されてもよい。

そして、入力値としてリスタート指示が取得された場合には（ステップＳ９０６のＹ）、アプリケーション実行部５８は現在実行されているゲームの変数を初期化し、位置入力デバイス２０が初期位置へ移動するよう制御する（ステップＳ９０７）。一方、入力値としてリスタート指示が取得されない場合には（ステップＳ９０６のＮ）、アプリケーション実行部５８はゲームの処理を続行する（ステップＳ９０８）。

第２の実施形態では、特別な位置に２つの位置入力デバイス２０を配置することにより、情報を入力することが可能になる。これにより、シート３１上の領域をより有効活用できる。

これまでの説明では、位置入力デバイス２０は自走可能であったが、自走できなくてもよい。また本発明は、音の出力やゲームのリスタートだけでなく、汎用的な情報の入力に用いられてもよい。

Claims (7)

1. 位置が符号化されたパターンが印刷され、第１の領域を含むシートと、
   前記パターンを撮影するカメラを含む入力デバイスと、
   前記カメラが撮影した画像に含まれるパターンに基づいて、前記入力デバイスの位置および向きを取得する取得手段と、
   前記取得手段により取得された位置および向きに基づいて処理を実行する実行手段と、
   を含み、
   前記実行手段は、前記取得された前記入力デバイスの位置が前記第１の領域に含まれると判定された場合に、前記入力デバイスの位置が前記第１の領域に含まれると最初に判定された際の当該入力デバイスの方向から現在の入力デバイスの方向への変化量に基づいて、前記第１の領域に関連付けられた音のパラメータであって、ユーザの操作に応じて出力される音のパラメータを決定する、
   入力システム。
2. 請求項１に記載の入力システムにおいて、
   前記シートは設定領域を含み、
   前記実行手段は、前記入力デバイスの位置が前記設定領域に含まれる場合に、前記取得された向きに基づいて、前記ユーザの操作に応じて出力される音の種類、高さ、音量のうちいずれかを決定する、
   入力システム。
3. 請求項２に記載の入力システムにおいて、
   前記実行手段は、前記入力デバイスの位置が前記設定領域に含まれる場合に、前記取得された向きに基づいて、前記ユーザの操作に応じて出力される音の種類、高さ、音量のうちいずれかを決定し、決定された音を出力する、
   入力システム。
4. 請求項２に記載の入力システムにおいて、
   前記シートは複数の演奏領域をさらに含み、
   前記実行手段は、前記入力デバイスの位置が前記複数の演奏領域のいずれかである場合に、前記入力デバイスの位置を含む演奏領域に応じた高さの音を出力し、
   前記実行手段は、前記入力デバイスの位置が前記設定領域に含まれる場合に、前記取得された向きに基づいて、前記出力される音の種類、高さ、音量、音階のスケールのうちいずれかを変更する、
   入力システム。
5. 請求項１から４のいずれかに記載の入力システムにおいて、
   前記実行手段は、前記取得された位置が所定の範囲にある場合に、前記入力デバイスが取得した、シートに対する入力デバイスの向きに基づいて出力される音のパラメータを決定する、
   入力システム。
6. 位置が符号化されたパターンが印刷され、第１の領域を含むシートが撮影された画像であって、入力デバイスにより撮影された画像から認識される、前記入力デバイスの位置および向きを取得するステップと、
   前記取得された位置および向きに基づいて処理を実行するステップと、
   を含み、
   前記実行するステップでは、前記取得された前記入力デバイスの位置が前記第１の領域に含まれると判定された場合に、前記入力デバイスの位置が前記第１の領域に含まれると最初に判定された際の当該入力デバイスの方向から現在の入力デバイスの方向への変化量に基づいて、前記第１の領域に関連付けられた音のパラメータであって、ユーザの操作に応じて出力される音のパラメータを決定する、
   入力方法。
7. 位置が符号化されたパターンが印刷され、第１の領域を含むシートが撮影された画像であって、入力デバイスにより撮影された画像から認識される、前記入力デバイスの位置および向きを取得する取得手段、および、
   前記取得された位置および向きに基づいて処理を実行する実行手段、
   としてコンピュータを機能させ、
   前記実行手段は、前記取得された前記入力デバイスの位置が前記第１の領域に含まれると判定された場合に、前記入力デバイスの位置が前記第１の領域に含まれると最初に判定された際の当該入力デバイスの方向から現在の入力デバイスの方向への変化量に基づいて、前記第１の領域に関連付けられた音のパラメータであって、ユーザの操作に応じて出力される音のパラメータを決定する、
   プログラム。

Images