JP7070245B2 - 情報処理装置、動作制御プログラム、及び動作制御方法 - Google Patents

Description

本件は、情報処理装置、動作制御プログラム、及び動作制御方法に関する。

人間の関節に取り付けられた反射マーカに赤外光を照射し、赤外光の反射光を含む撮像画像に基づいて、反射マーカの３次元座標上の位置を測定するモーションキャプチャ装置が知られている（例えば特許文献１参照）。

特許第６２５３８３４号公報

ところで、バーチャルYouTuberやVTuberなどと呼ばれる３Ｄモデルキャラクターが知られている。３ＤモデルキャラクターはYouTube（登録商標）といった動画投稿サイトに投稿された動画の中の仮想空間上に出現する３次元モデルの画像である。３Ｄモデルキャラクターは例えばコンピュータグラフィックス（以下、ＣＧという）技術を用いて容姿などが特徴付けられている。近年、YouTuberといった現実の動画投稿者（以下、ユーザという）に代えて、ユーザに相当する３Ｄモデルキャラクターが動画に出演していることがある。

ここで、各種のセンサが搭載された電子機器を利用して、３Ｄモデルキャラクターの動作を制御する場合、センサの出力値に基づいてその動作を制御することが想定される。例えば、スマートフォンといった電子機器をユーザが北方向や東方向などに動かした場合に、地磁気センサの出力値に基づいて３Ｄモデルキャラクターの腕部を前後に動かすことが想定される。また、ユーザがその電子機器を傾けた場合に、加速度センサの出力値に基づいて３Ｄモデルキャラクターの腕部を上下に動かすことが想定される。このように、ユーザは電子機器を利用して自身の腕部の動作を３Ｄモデルキャラクターの腕部の動作と連動させることができる。

しかしながら、３Ｄモデルキャラクターの腕部の動作を複雑に制御する場合、センサの出力値だけでは不十分である。例えば、センサの出力値だけでは、３Ｄモデルキャラクターの腕部における肘や手首の動作を制御できない可能性がある。尚、上述したモーションキャプチャ装置は高額であり、また、操作方法の習得が難しいため、モーションキャプチャ装置を利用した３Ｄモデルキャラクターの動作の制御は実施しづらいという欠点がある。

そこで、１つの側面では、ユーザに相当する画像の腕部における肘及び手首の動作を制御することを目的とする。

１つの実施態様では、電子機器にそれぞれ設けられた第１のセンサ、前記第１のセンサと種類が異なる第２のセンサ、及び入力機器の各出力値に基づいて、前記入力機器を操作するユーザに対応する画像の腕部の動作を制御する情報処理装置であって、前記入力機器に対する第１の操作方向の出力値に基づいて、前記腕部における肘の動作を制御し、前記入力機器に対する第２の操作方向の出力値に基づいて、前記腕部における手首の動作を制御する、制御部を備える情報処理装置である。

ユーザに対応する画像の腕部における肘及び手首の動作を制御することができる。

図１は情報処理システムの一例を説明するための図である。 図２は携帯端末のハードウェア構成の一例である。 図３は端末装置のハードウェア構成の一例である。 図４は携帯端末のブロック図の一例である。 図５は端末装置のブロック図の一例である。 携帯端末と端末装置の処理シーケンス図（その１）の一例である。 携帯端末と端末装置の処理シーケンス図（その２）の一例である。 図８（ａ）は携帯端末の方向及び傾きの一例を説明するための図である。図８（ｂ）はセンサ値の一例を説明するための図である。 図９（ａ）は入力部に対するタッチ操作の一例を説明するための図である。図９（ｂ）は加工前後の座標値の一例を説明するための図である。 図１０は制御データの一例を説明するための図である。 図１１は角度差分の一例を説明するための図である。 図１２は座標差分の一例を説明するための図である。 図１３は補正後の座標差分の一例を説明するための図である。 図１４（ａ）は右腕を前後に動かす動作の一例を説明するための図である。図１４（ｂ）は携帯端末の方向の一例を説明するための図である。 図１５（ａ）は右腕を上下に動かす動作の一例を説明するための図である。図１５（ｂ）は携帯端末の傾きの一例を説明するための図である。 図１６（ａ）は肘を伸ばす動作の一例を説明するための図である。図１６（ｂ）は第１の操作方向（正側）の一例を説明するための図である。 図１７（ａ）は肘を曲げる動作の一例を説明するための図である。図１７（ｂ）は第１の操作方向（負側）の一例を説明するための図である。 図１８（ａ）は手首を曲げる動作の一例を説明するための図である。図１８（ｂ）は第２の操作方向（正側）の一例を説明するための図である。 図１９（ａ）は手首を伸ばす動作の一例を説明するための図である。図１９（ｂ）は第２の操作方向（負側）の一例を説明するための図である。 図２０（ａ）はキャラクタ画像の第１の状態の一例である。図２０（ｂ）はキャラクタ画像の第２の状態の一例である。図２０（ｃ）はキャラクタ画像の第３の状態の一例である。図２０（ｄ）はキャラクタ画像の第４の状態の一例である。 図２１（ａ）は２台の携帯端末を利用した場合の一例を説明するための図である。図２１（ｂ）は２台の操作コントローラを利用した場合の一例を説明するための図である。

以下、本件を実施するための形態について図面を参照して説明する。

（第１実施形態）
図１は情報処理システムＳＴの一例を説明するための図である。情報処理システムＳＴは電子機器としての携帯端末１００と情報処理装置としての端末装置２００とを含んでいる。図１では、携帯端末１００の一例としてスマートフォンが示されているが、スマートデバイスであれば特に限定されず、タブレット端末やスマートウォッチなどであってもよい。特に、スマートウォッチの場合、ユーザ１０が手首に締め付けずに手に握り持てば、スマートフォンと同様に扱うことができる。一方、端末装置２００としては例えばPersonal Computer（ＰＣ）などがある。上述したスマートデバイスを端末装置２００として利用してもよい。

携帯端末１００と端末装置２００は無線通信ＷＬによって互いに接続されている。無線通信ＷＬとしては、例えばBluetooth（登録商標）やWi-Fi（登録商標）といった近距離通信がある。これにより、例えば携帯端末１００は無線通信ＷＬを利用して端末装置２００に各種のデータを送信することができる。尚、このように、携帯端末１００は無線通信ＷＬを利用できるため、携帯端末１００を無線通信器と呼んでもよい。

ここで、携帯端末１００には種類が異なる複数のセンサが設けられている。いずれかのセンサは例えば地磁気を検出する。このセンサは、検出した地磁気に基づいて、携帯端末１００の方向を特定する角度を算出し、算出した角度をセンサ値として出力する。このセンサと種類が異なる別のセンサは重力加速度を検出する。この別のセンサは検出した重力加速度に基づいて、携帯端末１００の傾きを特定する角度を算出し、算出した角度をセンサ値として出力する。また、携帯端末１００には入力部１３０が設けられている。ユーザ１０が入力部１３０に対して親指１１を接触した状態で移動させる操作（以下、タッチ操作という）を行うと、入力部１３０はタッチ操作によって特定された位置の座標を座標値として出力する。携帯端末１００はセンサ値及び座標値といった出力値を含む制御データを端末装置２００に送信する。

端末装置２００は携帯端末１００から送信された制御データを受信する。詳細は後述するが、端末装置２００は制御データを受信すると、種々の処理を実行して、キャラクタ画像２０やそのキャラクタ画像２０を含む３次元の仮想空間ＶＳを描画して表示する。キャラクタ画像２０は事前に用意され、端末装置２００に格納されている。キャラクタ画像２０は例えばＣＧ技術を用いてキャラクタ化された３次元モデルの画像である。キャラクタ化は、擬人化、デザイン化、イラスト化、ＣＧ化、アニメ-ション化、特徴付けなどの概念を含んでいる。端末装置２００は、受信した制御データを利用して、携帯端末１００の動きとキャラクタ画像２０の動きを関連付けている。したがって、例えばユーザ１０が右腕を上に動かす動作を行うと、端末装置２００は、ユーザ１０が右手に持つ携帯端末１００のセンサの出力値を利用して、キャラクタ画像２０の右腕を上に動かす処理を実行する。すなわち、ユーザ１０の右腕の動きとキャラクタ画像２０の右腕の動きが連動する。

次に、図２を参照して、携帯端末１００のハードウェア構成について説明する。

図２は携帯端末１００のハードウェア構成の一例である。図２に示すように、携帯端末１００は、ハードウェアプロセッサとしてのCentral Processing Unit（ＣＰＵ）１００Ａ、Random Access Memory（ＲＡＭ）１００Ｂ、Read Only Memory（ＲＯＭ）１００Ｃ、Non-Volatile Memory（ＮＶＭ）１００Ｄ、及び近距離通信回路１００Ｅを含んでいる。近距離通信回路１００Ｅにはアンテナ１００Ｅ´が接続されている。近距離通信回路１００Ｅに代えて通信機能を実現するＣＰＵ（不図示）が利用されてもよい。

また、携帯端末１００は、地磁気センサ１００Ｆ、加速度センサ１００Ｇ、入力機器としてのタッチパネル１００Ｈ、ディスプレイ１００Ｉ、及びスピーカ１００Ｊを含んでいる。携帯端末１００にカメラやマイクなどを含めてもよい。ＣＰＵ１００Ａからスピーカ１００Ｊまでは、内部バス１００Ｋによって互いに接続されている。すなわち、携帯端末１００は無線通信機能を有するコンピュータによって実現することができる。尚、ＣＰＵ１００Ａに代えてMicro Processing Unit（ＭＰＵ）をハードウェアプロセッサとして利用してもよい。

上述したＲＡＭ１００Ｂには、ＲＯＭ１００ＣやＮＶＭ１００Ｄに記憶されたプログラムがＣＰＵ１００Ａによって格納される。格納されたプログラムをＣＰＵ１００Ａが実行することにより、ＣＰＵ１００Ａは後述する各種の機能を実現する。また、格納されたプログラムをＣＰＵ１００Ａが実行することにより、ＣＰＵ１００Ａは後述する各種の処理を実行する。尚、プログラムは後述する処理シーケンス図に応じたものとすればよい。

次に、図３を参照して、端末装置２００のハードウェア構成について説明する。

図３は端末装置２００のハードウェア構成の一例である。図３に示すように、端末装置２００は、少なくともハードウェアプロセッサとしてのＣＰＵ２００Ａ、ＲＡＭ２００Ｂ、ＲＯＭ２００Ｃ、及び近距離通信回路２００Ｄを含んでいる。また、端末装置２００は、Hard Disk Drive（ＨＤＤ）２００Ｅ、キーボード２００Ｆ、ディスプレイ２００Ｇ、及び入出力Ｉ／Ｆ（インタフェース）２００Ｈを含んでいる。

端末装置２００は、必要に応じて、ドライブ装置２００Ｉやポインティングデバイス（不図示）などを含んでいてもよい。ＣＰＵ２００Ａ、・・・、ドライブ装置２００Ｉは、内部バス２００Ｊによって互いに接続されている。すなわち、端末装置２００はコンピュータによって実現することができる。尚、ＣＰＵ２００Ａに代えてGraphics Processing Unit（ＧＰＵ）をハードウェアプロセッサとして利用してもよい。

入出力Ｉ／Ｆ２００Ｈには、半導体メモリ７３０が接続される。半導体メモリ７３０としては、例えばUniversal Serial Bus（ＵＳＢ）メモリやフラッシュメモリなどがある。入出力Ｉ／Ｆ２００Ｈは半導体メモリ７３０に記憶されたプログラムやデータを読み取る。入出力Ｉ／Ｆ２００Ｈは、例えばＵＳＢポートを備えている。ドライブ装置２００Ｉには、可搬型記録媒体７４０が挿入される。可搬型記録媒体７４０としては、例えばCompact Disc（ＣＤ）－ＲＯＭ、Digital Versatile Disc（ＤＶＤ）といったリムーバブルディスクがある。ドライブ装置２００Ｉは、可搬型記録媒体７４０に記録されたプログラムやデータを読み込む。近距離通信回路２００Ｄは、例えばRadio Frequency（ＲＦ）回路を備えている。

上述したＲＡＭ２００Ｂには、ＨＤＤ２００Ｅに記憶されたプログラムがＣＰＵ２００Ａによって格納される。ＲＡＭ２００Ｂには、可搬型記録媒体７４０に記録されたプログラムがＣＰＵ２００Ａによって格納される。格納されたプログラムをＣＰＵ２００Ａが実行することにより、ＣＰＵ２００Ａは後述する各種の機能を実現する。また、格納されたプログラムをＣＰＵ２００Ａが実行することにより、ＣＰＵ２００Ａは後述する各種の処理を実行する。尚、プログラムは後述する処理シーケンス図に応じたものとすればよい。

次に、図４を参照して、携帯端末１００の機能構成について説明する。

図４は携帯端末１００のブロック図の一例である。図４では携帯端末１００の機能の要部が示されている。図４に示すように、携帯端末１００は第１検出部１１０、第２検出部１２０、入力部１３０、記憶部１４０、処理部１５０、及び通信部１６０を備えている。第１検出部１１０、第２検出部１２０、入力部１３０、及び処理部１５０は機能的に互いに接続されている。また、記憶部１４０、処理部１５０、及び通信部１６０は機能的に互いに接続されている。

ここで、第１検出部１１０は上述した地磁気センサ１００Ｆによって実現することができる。第２検出部１２０は上述した加速度センサ１００Ｇによって実現することができる。入力部１３０は上述したタッチパネル１００Ｈによって実現することができる。したがって、第１検出部１１０は地磁気を検出し、携帯端末１００の方向を特定する角度をセンサ値として出力する。第２検出部１２０は重力加速度を検出し、携帯端末１００の傾きを特定する角度をセンサ値として出力する。入力部１３０はタッチ操作によって特定された位置の座標を座標値として出力する。

また、記憶部１４０は上述したＲＡＭ１００Ｂ及びＮＶＭ１００Ｄの少なくとも一方によって実現することができる。処理部１５０は上述したＣＰＵ１００Ａによって実現することができる。通信部１６０は上述した近距離通信回路１００Ｅ及びアンテナ１００Ｅ´によって実現することができる。図４に示すように、記憶部１４０はセンサ値記憶部１４１及び座標値記憶部１４２を構成要素として含んでいる。処理部１５０はセンサ値取得部１５１及び座標値取得部１５２を構成要素として含んでいる。

センサ値取得部１５１は第１検出部１１０及び第２検出部１２０から出力された各センサ値を取得して、センサ値記憶部１４１に保存する。これにより、センサ値記憶部１４１はセンサ値を記憶する。座標値取得部１５２は入力部１３０から出力された座標値を取得し、取得した座標値を加工する。例えば、座標値取得部１５２は取得した座標値に対し座標変換を実行する。座標値取得部１５２は加工後（例えば座標変換後）の座標値を座標値記憶部１４２に保存する。これにより、座標値記憶部１４２は加工後の座標値を記憶する。通信部１６０はセンサ値記憶部１４１と座標値記憶部１４２のそれぞれからセンサ値と座標値を取得し、取得したセンサ値と座標値を含む制御データを端末装置２００に向けて送信する。

次に、図５を参照して、端末装置２００の機能構成について説明する。

図５は端末装置２００のブロック図の一例である。図５では端末装置２００の機能の要部が示されている。図５に示すように、端末装置２００は記憶部２１０、制御部２２０、通信部２３０、及び表示部２４０を備えている。記憶部２１０は上述したＲＡＭ２００Ｂ及びＨＤＤ２００Ｅの少なくとも一方によって実現することができる。制御部２２０は上述したＣＰＵ２００Ａによって実現することができる。通信部２３０は上述した近距離通信回路２００Ｄによって実現することができる。表示部２４０は上述したディスプレイ２００Ｇによって実現することができる。記憶部２１０、制御部２２０、通信部２３０、及び表示部２４０は機能的に互いに接続されている。

ここで、記憶部２１０は制御データ記憶部２１１、角度差分記憶部２１２、及び座標差分記憶部２１３を構成要素として含んでいる。一方、制御部２２０は角度差分算出部２２１、座標差分算出部２２２、及び描画部２２３を構成要素として含んでいる。制御部２２０の各構成要素は記憶部２１０の各構成要素の少なくとも１つにアクセスして、各種の処理を実行する。尚、制御部２２０の各構成要素が実行する処理の詳細については、端末装置２００の動作を説明する際に詳しく記載する。

次に、図６から図２０を参照して、携帯端末１００及び端末装置２００の各動作について説明する。

まず、図６に示すように、携帯端末１００のセンサ値取得部１５１は第１検出部１１０及び第２検出部１２０のそれぞれから出力されたセンサ値を取得する（ステップＳ１０１）。ここで、第１検出部１１０は地磁気を検出する。第１検出部１１０は、検出した地磁気に基づいて、図８（ａ）に示すように、地面又は床面（以下、単に地面という）ＧＤに垂直な軸Ｚ１に対する携帯端末１００の方向を特定する角度を算出する。第１検出部１１０が算出する角度は「０度」から「３６０度」の範囲内である。ユーザ１０が携帯端末１００の方向を変える度に、図８（ｂ）に示すように、第１検出部１１０は携帯端末１００の現在の方向を特定する角度を算出し、センサ値として時系列に出力する。尚、第１検出部１１０が算出する角度は「－１８０度」から「１８０度」の範囲内であってもよい。

また、第２検出部１２０は重力加速度を検出する。第２検出部１２０は、検出した重力加速度に基づいて、図８（ａ）に示すように、地面ＧＤに平行な軸Ｚ２に対する携帯端末１００の傾きを特定する角度を算出する。第２検出部１２０が算出する角度は「－９０度」から「９０度」の範囲内である。ユーザ１０が携帯端末１００の傾きを変える度に、図８（ｂ）に示すように、第２検出部１２０は携帯端末１００の現在の傾きを特定する角度を算出し、センサ値として時系列に出力する。センサ値取得部１５１は第１検出部１１０及び第２検出部１２０からそれぞれ出力されたセンサ値を取得すると、取得したセンサ値を対応付けてセンサ値記憶部１４１に保存する。したがって、図８（ｂ）に示すように、センサ値記憶部１４１は携帯端末１００の現在の方向と傾きを一意に特定できるセンサ値を記憶する。

ステップＳ１０１の処理が完了すると、次いで、図６に示すように、座標値取得部１５２は入力部１３０から出力された座標値を取得する（ステップＳ１０２）。具体的には、図９（ａ）に示すように、入力部１３０に対してユーザ１０が親指１１でタッチ操作を行うと、入力部１３０は、図９（ｂ）に示すように、入力部１３０の左上隅を原点ＯとするＰＱ座標平面の座標値を出力する。例えば、入力部１３０の画素数がＰ軸方向に７２０画素である場合、入力部１３０が出力するＰ軸方向の座標値は「０」から「７２０」の範囲内である。また、入力部１３０の画素数がＰ軸に垂直なＱ軸方向に１０００画素である場合、入力部１３０が出力するＱ軸方向の座標値は「０」から「１０００」の範囲内である。このように、座標値取得部１５２は入力部１３０から出力されたＰＱ座標平面の座標値を取得する。

ステップＳ１０２の処理が完了すると、次いで、図６に示すように、座標値取得部１５２は取得した座標値を加工する（ステップＳ１０３）。より詳しくは、まず、座標値取得部１５２はＰＱ座標平面の各最大画素数を２等分する。上述したように、Ｐ軸方向に７２０画素、Ｑ軸方向に１０００画素である入力部１３０の場合、座標値取得部１５２がそれぞれの画素を２等分すると、Ｐ軸方向に３６０画素、Ｑ軸方向に５００画素になる。この画素の位置を座標値取得部１５２は新たにＸＹ座標平面の中心点Ｃの座標値として保持する。すなわち、中心点ＣのＸ軸方向の座標値が「０」になり、中心点ＣのＹ軸方向の座標値が「０」になる。そして、ＰＱ座標平面の原点ＯのＸ軸方向の座標値が「－３６０」になり、ＰＱ座標平面の原点ＯのＹ軸方向の座標値が「５００」になる。

このように、入力部１３０のＸ軸方向の座標値は「－３６０」から「３６０」の範囲内になり、Ｙ軸方向の座標値は「－５００」から「５００」の範囲内になる。座標値取得部１５２は中心点Ｃの座標値を保持すると、取得した座標値を加工する。具体的には、座標値取得部１５２は取得した座標値と中心点Ｃの座標値との差分を算出して、ＰＱ座標平面からＸＹ座標平面に座標値を座標変換する。これにより、図９（ｂ）に示すように、座標値取得部１５２はＰＱ座標平面で規定される各座標値からＸＹ座標平面で規定される各座標値を得る。座標値取得部１５２は取得した座標値を加工し終えると、加工後の座標値を座標値記憶部１４２に保存する。したがって、図９（ｂ）に示すように、座標値記憶部１４２は入力部１３０に対して行われたタッチ操作を特定できる加工後の座標値を記憶する。

ステップＳ１０３の処理が完了すると、次いで、図６に示すように、通信部１６０は制御データを送信する（ステップＳ１０４）。より詳しくは、通信部１６０はセンサ値記憶部１４１からセンサ値を定期的に取得する。通信部１６０は座標値記憶部１４２から加工後の座標値を定期的に取得する。特に、通信部１６０は出力タイミングが同じセンサ値と加工後の座標値を定期的に取得する。通信部１６０はセンサ値と座標値を取得すると、図１０に示すように、データ構造が所定のフォーマット（例えばカンマ区切りの形式など）で規定された制御データを生成して定期的に送信する。

ここで、制御データの送信単位は、１行単位であってもよいし、数行といった複数行単位であってもよい。しかしながら、制御データの送信単位が増加するに従い、携帯端末１００の動きとキャラクタ画像２０の動きの連動性が悪化する可能性がある。このため、制御データの送信単位は携帯端末１００の動きとキャラクタ画像２０の動きの連動性が確保できる範囲内であることが望ましい。制御データはセンサ値及び座標値に加え、キャラクタ画像２０の操作部位を識別する操作部位識別子を含んでいる。本実施形態では、キャラクタ画像２０の右腕を制御するため、キャラクタ画像２０の右腕を識別する操作部位識別子「Ｒ－ＡＲＭ」が制御データに含まれている。尚、操作部位識別子はキャラクタ画像２０の操作部位に応じて事前に定められている。

ステップＳ１０４の処理が完了すると、次いで、図６に示すように、端末装置２００の通信部２３０は制御データを受信する（ステップＳ２０１）。通信部２３０は制御データを受信すると、受信した制御データを制御データ記憶部２１１に保存する。これにより、制御データ記憶部２１１は制御データを記憶する。特に、通信部２３０は制御データを定期的に受信した場合、制御データ記憶部２１１は制御データを時系列に並べて記憶する。

ステップＳ２０１の処理が完了すると、次いで、角度差分算出部２２１は角度差分を算出する（ステップＳ２０２）。より詳しくは、角度差分算出部２２１は制御データ記憶部２１１から直近の制御データに含まれるセンサ値を現在の角度として取得する。また、角度差分算出部２２１は制御データ記憶部２１１から直近の制御データに連続する直前の制御データに含まれるセンサ値を前回の角度として取得する。現在の角度及び前回の角度はいずれも携帯端末１００の方向を特定する角度と携帯端末１００の傾きを特定する角度の両方を含んでいる。

角度差分算出部２２１は現在の角度と前回の角度を取得すると、携帯端末１００の方向及び傾き毎に角度差分を算出する。角度差分は現在の角度と前回の角度との差分である。これにより、図１１に示すように、携帯端末１００の方向と傾きのそれぞれについて角度差分が算出される。図１１では、現在の角度から前回の角度が減算されている。このように、角度差分を算出することにより、軸Ｚ１に対する回転方向及び回転量並びに軸Ｚ２に対する回転方向と回転量を特定することができる。ステップＳ２０２の処理が完了すると、角度差分算出部２２１は角度差分を角度差分記憶部２１２に保存する（ステップＳ２０３）。これにより、角度差分記憶部２１２は携帯端末１００の方向と傾きのそれぞれについて角度差分を記憶する。

ステップＳ２０３の処理が完了すると、次いで、座標差分算出部２２２は座標差分を算出する（ステップＳ２０４）。より詳しくは、座標差分算出部２２２は制御データ記憶部２１１から直近の制御データに含まれる座標値を現在の座標として取得する。また、座標差分算出部２２２は制御データ記憶部２１１から直近の制御データに連続する直前の制御データに含まれる座標値を前回の座標として取得する。現在の座標及び前回の座標はいずれも入力部１３０に対するタッチ操作の操作方向を特定するＸ座標とＹ座標の両方を含んでいる。

座標差分算出部２２２は現在の座標と前回の座標を取得すると、Ｘ座標及びＹ座標毎に座標差分を算出する。座標差分は現在の座標と前回の座標との差分である。これにより、図１２に示すように、Ｘ座標とＹ座標のそれぞれについて座標差分が算出される。図１２では、現在の座標から前回の座標が減算されている。このように、座標差分を算出することにより、入力部１３０に対するタッチ操作の操作方向と操作量を特定することができる。

ステップＳ２０４の処理が完了すると、座標差分算出部２２２は座標差分を補正する（ステップＳ２０５）。より詳しくは、座標差分算出部２２２は算出したＸ座標の座標差分とＹ座標の座標差分のそれぞれに対し所定の係数を掛けて補正する。所定の係数は、タッチ操作の現実の操作量を表す座標差分とキャラクタ画像２０の肘及び手首の回転量を調整するための係数である。本実施形態では、座標差分算出部２２２は、Ｘ座標の座標差分に対し所定の係数として２分の１を掛け、Ｙ座標の座標差分に対し所定の係数として３分の１を掛けている。これにより、図１３に示すように、Ｘ座標とＹ座標のそれぞれについて補正後の座標差分が算出される。尚、所定の係数は適宜変更してもよく、本実施形態の数値に限定されない。ステップＳ２０５の処理が完了すると、座標差分算出部２２２は座標差分を座標差分記憶部２１３に保存する（ステップＳ２０６）。これにより、座標差分記憶部２１３はＸ座標とＹ座標のそれぞれについて補正後の座標差分を記憶する。

ステップＳ２０６の処理が完了すると、図７に示すように、描画部２２３はキャラクタ画像２０の肩に角度差分を関連付ける（ステップＳ２０７）。より詳しくは、描画部２２３は角度差分記憶部２１２から携帯端末１００の方向の角度差分を取得する。描画部２２３は方向の角度差分を取得すると、取得した角度差分をキャラクタ画像２０の肩に相当する肩関節に関連付ける。特に、図１４（ａ）に示すように、描画部２２３は、キャラクタ画像２０の背骨に平行であり、かつ、肩関節２１を貫通する軸Ｚ３の回転方向に、方向の角度差分を関連付ける。これにより、図１４（ｂ）に示すように、軸Ｚ１に対してユーザ１０が携帯端末１００を回転させると、携帯端末１００の回転動作に応じて、描画部２２３はキャラクタ画像２０の肩関節２１を制御する。これにより、図１４（ａ）に示すように、キャラクタ画像２０の右腕２５が前後に動作する。

また、描画部２２３は角度差分記憶部２１２から携帯端末１００の傾きの角度差分を取得する。描画部２２３は傾きの角度差分を取得すると、取得した角度差分をキャラクタ画像２０の肩関節に関連付ける。特に、図１５（ａ）に示すように、描画部２２３は、キャラクタ画像２０の胸と背中の少なくとも一方に垂直であり、かつ、肩関節２１を貫通する軸Ｚ４の回転方向に、傾きの角度差分を関連付ける。これにより、図１５（ｂ）に示すように、軸Ｚ２に対してユーザ１０が携帯端末１００を回転させると、携帯端末１００の回転動作に応じて、描画部２２３はキャラクタ画像２０の肩関節２１を制御する。これにより、図１５（ａ）に示すように、キャラクタ画像２０の右腕２５が上下に動作する。

ステップＳ２０７の処理が完了すると、図７に示すように、描画部２２３はキャラクタ画像２０の肘にＹ座標の座標差分を関連付ける（ステップＳ２０８）。より詳しくは、描画部２２３は座標差分記憶部２１３からＹ座標の補正後の座標差分を取得する。描画部２２３はＹ座標の補正後の座標差分を取得すると、取得した座標差分をキャラクタ画像２０の肘に相当する肘関節に関連付ける。特に、図１６（ａ）及び図１７（ａ）に示すように、描画部２２３はキャラクタ画像２０の肘関節２２を貫通する軸Ｚ５の回転方向に、Ｙ座標の補正後の座標差分を関連付ける。軸Ｚ５は肩関節２１を貫通する特定の軸（不図示）の向きを起点として人間の骨格構造と同様に回転可能な軸である。

例えば、軸Ｚ５が軸Ｚ４（図１５参照）の向きを起点として回転可能な軸である場合に、図１６（ｂ）に示すように、ユーザ１０が入力部１３０に対して親指１１でＹ軸正方向にタッチ操作を行うと、入力部１３０に対するタッチ操作に応じて、描画部２２３はキャラクタ画像２０の肘関節２２を制御する。本実施形態において、第１の操作方向（正側）はＹ軸正方向である。これにより、図１６（ａ）に示すように、キャラクタ画像２０は例えば肘を曲げた状態から肘を伸ばす動作を行う。

また、軸Ｚ５が軸Ｚ４の向きを起点として回転可能な軸である場合に、図１７（ｂ）に示すように、ユーザ１０が入力部１３０に対して親指１１でＹ軸負方向にタッチ操作を行うと、入力部１３０に対するタッチ操作に応じて、描画部２２３はキャラクタ画像２０の肘関節２２を制御する。本実施形態において、第１の操作方向（負側）はＹ軸負方向である。これにより、図１７（ａ）に示すように、キャラクタ画像２０は例えば肘を伸ばした状態から肘を曲げる動作を行う。尚、図示しないが、軸Ｚ５が軸Ｚ３（図１４参照）の向きを起点として回転可能な軸である場合も軸Ｚ４の場合と同様である。

ステップＳ２０８の処理が完了すると、図７に示すように、描画部２２３はキャラクタ画像２０の手首にＸ座標の座標差分を関連付ける（ステップＳ２０９）。より詳しくは、描画部２２３は座標差分記憶部２１３からＸ座標の補正後の座標差分を取得する。描画部２２３はＸ座標の補正後の座標差分を取得すると、取得した座標差分をキャラクタ画像２０の手首に相当する手関節に関連付ける。特に、図１８（ａ）及び図１９（ａ）に示すように、描画部２２３はキャラクタ画像２０の手関節２３を貫通する軸Ｚ６の回転方向にＸ座標の補正後の座標差分を関連付ける。軸Ｚ６は人間の骨格構造と同様に回転可能な軸であって、手首を曲げたり伸ばしたりする回転方向を表す特定の回転軸であってもよいし、その特定の回転軸と垂直な回転軸であってもよい。

例えば、軸Ｚ６が上述した特定の回転軸である場合に、図１８（ｂ）に示すように、ユーザ１０が入力部１３０に対して親指１１でＹ軸と直交するＸ軸正方向にタッチ操作を行うと、入力部１３０に対するタッチ操作に応じて、描画部２２３はキャラクタ画像２０の手関節２３を制御する。本実施形態において、第２の操作方向（正側）はＸ軸正方向である。これにより、図１８（ａ）に示すように、キャラクタ画像２０は例えば手首を伸ばした状態から手首を曲げる動作を行う。

また、軸Ｚ６が特定の回転軸である場合に、図１９（ｂ）に示すように、ユーザ１０が入力部１３０に対して親指１１でＹ軸と直交するＸ軸負方向にタッチ操作を行うと、入力部１３０に対するタッチ操作に応じて、描画部２２３はキャラクタ画像２０の手関節２３を制御する。本実施形態において、第２の操作方向（負側）はＸ軸負方向である。これにより、図１９（ａ）に示すように、キャラクタ画像２０は例えば手首を曲げた状態から手首を伸ばす動作を行う。尚、図示しないが、軸Ｚ６が上述した特定の回転軸と垂直な軸である場合も特定の回転軸の場合と同様である。

ステップＳ２０９の処理が完了すると、図７に示すように、描画部２２３はキャラクタ画像２０を表示部２４０に描画する（ステップＳ２１０）。これにより、図２０（ａ）から図２０（ｄ）に示すように、通信部２３０が制御データを受信する度に、表示部２４０は関節の動きが関連付けられた複数の状態のキャラクタ画像２０を順次表示する。例えば、図２０（ａ）に示すように、右腕２５を上方に挙げている第１の状態のキャラクタ画像２０が表示されている最中に、ユーザ１０が携帯端末１００を所定の方向に向けけり傾けたりし、併せて、入力部１３０に対して所定のタッチ操作を行う。ユーザ１０によるこのような行為に基づく制御データに応じて、第１の状態から、図２０（ｂ）に示すように、キャラクタ画像２０は段階的に第２の状態に移行する。第２の状態は、キャラクタ画像２０が右腕２５の肘及び手首を伸ばし、右腕２５を仮想空間ＶＳの底面ＶＳ１と平行にして静止した状態である。

その後、第２の状態から、ユーザ１０が入力部１３０に対してＹ軸負方向へのタッチ操作を行う。ユーザ１０によるこのような行為に基づく制御データに応じて、図２０（ｃ）に示すように、第２の状態からキャラクタ画像２０は段階的に第３の状態に移行する。第３の状態は、キャラクタ画像２０が手首を伸ばして肘を曲げ、右腕２５における上腕部を仮想空間ＶＳの底面ＶＳ１と平行にして静止した状態である。上腕部は肩関節２１と肘関節２２の間の部位である（図１６（ａ）参照）。

そして、第３の状態から、ユーザ１０が入力部１３０に対してＸ軸正方向へのタッチ操作を行う。ユーザ１０によるこのような行為に基づく制御データに応じて、図２０（ｄ）に示すように、第３の状態からキャラクタ画像２０は段階的に第４の状態に移行する。第４の状態は、キャラクタ画像２０が肘と手首の両方を曲げ、右腕２５における上腕部を仮想空間ＶＳの底面ＶＳ１と平行にして静止した状態である。このように、仮想空間ＶＳに出演するキャラクタ画像２０の動作は携帯端末１００の動作と連動する。ステップＳ２１０の処理が完了すると、描画部２２３は処理を終える。

以上、第１実施形態によれば、携帯端末１００には地磁気センサ１００Ｆ、地磁気センサ１００Ｆと種類が異なる加速度センサ１００Ｇ、及びタッチパネル１００Ｈがそれぞれ設けられている。一方、端末装置２００は地磁気センサ１００Ｆ、加速度センサ１００Ｇ、及びタッチパネル１００Ｈの各出力値に基づいて、タッチパネル１００Ｈを操作するユーザ１０に対応するキャラクタ画像２０の腕部の動作を制御する。特に、端末装置２００は制御部２２０を備えている。制御部２２０はタッチパネル１００Ｈに対するＹ軸に関する操作方向の出力値に基づいて、キャラクタ画像２０の腕部における肘の動作を制御する。制御部２２０はタッチパネル１００Ｈに対するＸ軸に関する操作方向の出力値に基づいて、キャラクタ画像２０の腕部における手首の動作を制御する。これにより、ユーザ１０に対応するキャラクタ画像２０の腕部における肘及び手首の動作を制御することができる。

特に、片手で把持できる大きさの携帯端末１００の方向や傾きでキャラクタ画像２０の片腕の動作を制御できるだけでなく、親指１本でキャラクタ画像２０のその片腕の肘及び手首の動作を同じタイミングで制御できる。このため、キャラクタ画像２０に対する操作性が良好である。また、座標変換といった加工により異なる正負の操作方向を特定することができ、肘の曲げと伸ばし、手首の曲げと伸ばしをそれぞれ実現することができる。

（第２実施形態）
続いて、図２１を参照して、本件の第２実施形態について説明する。まず、図２１（ａ）に示すように、ユーザ１０は２台の携帯端末１００，１０１を利用してキャラクタ画像２０の両腕の動作を制御するようにしてもよい。２台の携帯端末１００，１０１はいずれも片手で把持できる大きさである。したがって、例えば、ユーザ１０は携帯端末１００を右手で持ち、携帯端末１０１を左手で持ち、携帯端末１００，１０１の方向や傾きを独立して変えることができる。これにより、第１実施形態と対比して、キャラクタ画像２０の両腕の複雑な動作を実現することができる。また、ユーザ１０は右手の親指１１でタッチ操作を行い、左手の親指１２でタッチ操作を行うこともできる。これにより、第１実施形態と対比して、キャラクタ画像２０の両肘及び両手首の複雑な動作も実現することができる。

また、図２１（ｂ）に示すように、ユーザ１０は２台の携帯端末１００，１０１に代え、電子機器として２台のスティック状の操作コントローラ３００，３０１を利用してもよい。操作コントローラ３００，３０１としては例えばゲーム機に使用するコンローラやリモコンなどがある。２台の操作コントローラ３００，３０１はいずれも片手で把持できる大きさである。操作コントローラ３００，３０１にはいずれも各種のセンサや入力機器としての入力キー３００Ａ，３０１Ａが設けられている。入力キー３００Ａ，３０１Ａは親指１１，１２で操作することができる。操作コントローラ３００，３０１はいずれも携帯端末１００，１０１と同様の無線通信ＷＬを利用することもできる。したがって、操作コントローラ３００，３０１を無線通信器と呼んでもよい。このように、操作コントローラ３００，３０１を利用してキャラクタ画像２０の両腕、両肘、及び両手首の動作を制御するようにしてもよい。尚、片腕の動作を制御する場合には、２台の操作コントローラ３００，３０１のいずれか一方を利用すればよい。

以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、上述した実施形態では、地磁気センサ１００Ｆ及び加速度センサ１００Ｇを用いて説明したが、携帯端末１００の方向及び傾きを検出できれば、ジャイロセンサや傾斜センサを利用してもよい。また、携帯端末１００の通信部１６０はセンサ値と加工前の座標値とＰＱ座標平面におけるＰ軸方向の画素数とＱ軸方向の画素数を含む制御データを送信してもよい。この場合、端末装置２００の座標差分算出部２２２がＰ軸方向の画素数とＱ軸方向の画素数を利用して加工前の座標値を加工してもよい。すなわち、座標差分算出部２２２がステップＳ１０３の処理に相当する処理を実行してもよい。さらに、上述した実施形態では、Ｙ軸方向を肘の制御とし、Ｘ軸方向を手首の制御としたが、Ｙ軸方向を手首の制御とし、Ｘ軸方向を肘の制御としてもよい。

なお、以上の説明に関して更に以下の付記を開示する。
（付記１）電子機器にそれぞれ設けられた第１のセンサ、前記第１のセンサと種類が異なる第２のセンサ、及び入力機器の各出力値に基づいて、前記入力機器を操作するユーザに対応する画像の腕部の動作を制御する情報処理装置であって、前記入力機器に対する第１の操作方向の出力値に基づいて、前記腕部における肘の動作を制御し、前記入力機器に対する第２の操作方向の出力値に基づいて、前記腕部における手首の動作を制御する、制御部を備える情報処理装置。
（付記２）前記制御部は、前記入力機器に対する特定の第１の操作方向の出力値に基づいて、前記肘を第１の方向に動作させ、前記入力機器に対する前記特定の第１の操作方向と逆方向の出力値に基づいて、前記肘を前記第１の方向と逆方向に動作させる、ことを特徴とする付記１に記載の情報処理装置。
（付記３）前記制御部は、前記入力機器に対する特定の第２の操作方向の出力値に基づいて、前記手首を第２の方向に動作させ、前記入力機器に対する前記特定の第２の操作方向と逆方向の出力値に基づいて、前記手首を前記第２の方向と逆方向に動作させる、ことを特徴とする付記１又は２に記載の情報処理装置。
（付記４）前記特定の第１の操作方向は、前記特定の第２の操作方向と直交する、ことを特徴とする付記３に記載の情報処理装置。
（付記５）前記制御部は、前記肘の動作及び前記手首の動作の動作速度を調整するための係数に基づいて、前記肘の動作及び前記手首の動作を補正する、ことを特徴とする付記１から４のいずれか１項に記載の情報処理装置。
（付記６）前記制御部は、前記入力機器に対する前記第１の操作方向に関する操作位置の座標を前記第１の操作方向の出力値に加工し、前記入力機器に対する前記第２の操作方向に関する操作位置の座標を前記第２の操作方向の出力値に加工する、ことを特徴とする付記１から５のいずれか１項に記載の情報処理装置。
（付記７）前記電子機器は、前記ユーザが片手で把持できる大きさの無線通信器である、ことを特徴とする付記１から６のいずれか１項に記載の情報処理装置。
（付記８）電子機器にそれぞれ設けられた第１のセンサ、前記第１のセンサと種類が異なる第２のセンサ、及び入力機器の各出力値に基づいて、前記入力機器を操作するユーザに対応する画像の腕部の動作を制御する処理をコンピュータに実行させるための動作制御プログラムであって、前記コンピュータに、前記入力機器に対する第１の操作方向の出力値に基づいて、前記腕部における肘の動作を制御し、前記入力機器に対する第２の操作方向の出力値に基づいて、前記腕部における手首の動作を制御する、処理を実行させることを特徴とする動作制御プログラム。
（付記９）電子機器にそれぞれ設けられた第１のセンサ、前記第１のセンサと種類が異なる第２のセンサ、及び入力機器の各出力値に基づいて、前記入力機器を操作するユーザに対応する画像の腕部の動作を制御する処理をコンピュータが実行する動作制御方法であって、前記コンピュータが、前記入力機器に対する第１の操作方向の出力値に基づいて、前記腕部における肘の動作を制御し、前記入力機器に対する第２の操作方向の出力値に基づいて、前記腕部における手首の動作を制御する、処理を実行することを特徴とする動作制御方法。
（付記１０）前記コンピュータは、前記入力機器に対する特定の第１の操作方向の出力値に基づいて、前記肘を第１の方向に動作させ、前記入力機器に対する前記特定の第１の操作方向と逆方向の出力値に基づいて、前記肘を前記第１の方向と逆方向に動作させる、ことを特徴とする付記９に記載の動作制御方法。
（付記１１）前記コンピュータは、前記入力機器に対する特定の第２の操作方向の出力値に基づいて、前記手首を第２の方向に動作させ、前記入力機器に対する前記特定の第２の操作方向と逆方向の出力値に基づいて、前記手首を前記第２の方向と逆方向に動作させる、ことを特徴とする付記９又は１０に記載の動作制御方法。
（付記１２）前記特定の第１の操作方向は、前記特定の第２の操作方向と直交する、ことを特徴とする付記１１に記載の動作制御方法。
（付記１３）前記コンピュータは、前記肘の動作及び前記手首の動作の動作速度を調整するための係数に基づいて、前記肘の動作及び前記手首の動作を補正する、ことを特徴とする付記９から１２のいずれか１項に記載の動作制御方法。
（付記１４）前記コンピュータは、前記入力機器に対する前記第１の操作方向に関する操作位置の座標を前記第１の操作方向の出力値に加工し、前記入力機器に対する前記第２の操作方向に関する操作位置の座標を前記第２の操作方向の出力値に加工する、ことを特徴とする付記９から１３のいずれか１項に記載の動作制御方法。
（付記１５）前記電子機器は、前記ユーザが片手で把持できる大きさの無線通信器である、ことを特徴とする付記９から１４のいずれか１項に記載の動作制御方法。

ＳＴ 情報処理システム
１００ 携帯端末
１１０ 第１検出部
１２０ 第２検出部
１３０ 入力部
１４０ 記憶部
１５０ 処理部
１６０ 通信部
２００ 端末装置
２１０ 記憶部
２１１ 制御データ記憶部
２１２ 角度差分記憶部
２１３ 座標差分記憶部
２２０ 制御部
２２１ 角度差分算出部
２２２ 座標差分算出部
２２３ 描画部
２３０ 通信部
２４０ 表示部

Claims (9)

1. 電子機器にそれぞれ設けられた第１のセンサ、前記第１のセンサと種類が異なる第２のセンサ、及び入力機器の各出力値に基づいて、前記入力機器を操作するユーザに対応する画像の腕部の動作を制御する情報処理装置であって、
   前記入力機器に対する第１の操作方向の出力値に基づいて、前記腕部における肘の動作を制御し、
   前記入力機器に対する第２の操作方向の出力値に基づいて、前記腕部における手首の動作を制御する、
   制御部を備える情報処理装置。
2. 前記制御部は、前記入力機器に対する特定の第１の操作方向の出力値に基づいて、前記肘を第１の方向に動作させ、前記入力機器に対する前記特定の第１の操作方向と逆方向の出力値に基づいて、前記肘を前記第１の方向と逆方向に動作させる、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記制御部は、前記入力機器に対する特定の第２の操作方向の出力値に基づいて、前記手首を第２の方向に動作させ、前記入力機器に対する前記特定の第２の操作方向と逆方向の出力値に基づいて、前記手首を前記第２の方向と逆方向に動作させる、
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記特定の第１の操作方向は、前記特定の第２の操作方向と直交する、
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記制御部は、前記肘の動作及び前記手首の動作の動作速度を調整するための係数に基づいて、前記肘の動作及び前記手首の動作を補正する、
   ことを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記制御部は、前記入力機器に対する前記第１の操作方向に関する操作位置の座標を前記第１の操作方向の出力値に加工し、前記入力機器に対する前記第２の操作方向に関する操作位置の座標を前記第２の操作方向の出力値に加工する、
   ことを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記電子機器は、前記ユーザが片手で把持できる大きさの無線通信器である、
   ことを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
8. 電子機器にそれぞれ設けられた第１のセンサ、前記第１のセンサと種類が異なる第２のセンサ、及び入力機器の各出力値に基づいて、前記入力機器を操作するユーザに対応する画像の腕部の動作を制御する処理をコンピュータに実行させるための動作制御プログラムであって、
   前記コンピュータに、
   前記入力機器に対する第１の操作方向の出力値に基づいて、前記腕部における肘の動作を制御し、
   前記入力機器に対する第２の操作方向の出力値に基づいて、前記腕部における手首の動作を制御する、
   処理を実行させることを特徴とする動作制御プログラム。
9. 電子機器にそれぞれ設けられた第１のセンサ、前記第１のセンサと種類が異なる第２のセンサ、及び入力機器の各出力値に基づいて、前記入力機器を操作するユーザに対応する画像の腕部の動作を制御する処理をコンピュータが実行する動作制御方法であって、
   前記コンピュータが、
   前記入力機器に対する第１の操作方向の出力値に基づいて、前記腕部における肘の動作を制御し、
   前記入力機器に対する第２の操作方向の出力値に基づいて、前記腕部における手首の動作を制御する、
   処理を実行することを特徴とする動作制御方法。

Images