JP7284385B2 - Object attitude control program and object attitude control system - Google Patents
Object attitude control program and object attitude control system Download PDFInfo
- Publication number
- JP7284385B2 JP7284385B2 JP2019057267A JP2019057267A JP7284385B2 JP 7284385 B2 JP7284385 B2 JP 7284385B2 JP 2019057267 A JP2019057267 A JP 2019057267A JP 2019057267 A JP2019057267 A JP 2019057267A JP 7284385 B2 JP7284385 B2 JP 7284385B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- target part
- attitude control
- setting
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明はオブジェクト姿勢制御プログラムおよびオブジェクト姿勢制御システムに関する。 The present invention relates to an object attitude control program and an object attitude control system.
近年、電子機器の発展により、高精細の静止画および動画をスマートフォンやパーソナルコンピュータなどの端末に表示することが可能となった。さらに、情報処理技術の研究開発も進展しており、拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を用いて仮想空間と現実空間を融合させた表示技術も実用可能になりつつある。例えば、特許文献１には情報端末の表示領域に仮想空間に配置されたオブジェクトを表示する技術が開示されている。
In recent years, with the development of electronic devices, it has become possible to display high-definition still images and moving images on terminals such as smartphones and personal computers. Furthermore, research and development of information processing technology is progressing, and a display technology that combines virtual space and real space using augmented reality (AR) is becoming practical. For example,
一方で、表示領域に表示されたオブジェクトの姿勢の制御は、対象となる部位を指定するうえで、入力処理が複雑となる場合がある。 On the other hand, in order to control the posture of the object displayed in the display area, the input processing may become complicated when specifying the target part.
このような課題に鑑み、本発明の目的の一つは、仮想空間に配置されたオブジェクトの姿勢を容易に制御することにある。 In view of such problems, one of the objects of the present invention is to easily control the orientation of an object placed in a virtual space.
本発明の一実施形態によれば、情報処理装置に、仮想空間に配置された、複数の連動する部位を有するオブジェクトを表示部に表示し、前記情報処理装置の動きに関する情報に基づいて、複数の連動する部位のうち一部の対象部位を移動するように前記オブジェクトの姿勢を制御することを実行させるためのオブジェクト姿勢制御プログラムが提供される。 According to one embodiment of the present invention, an information processing device displays an object having a plurality of interlocking parts arranged in a virtual space on a display unit, and based on information about the movement of the information processing device, a plurality of objects are displayed. An object attitude control program is provided for controlling the attitude of the object so as to move a part of the target parts among the interlocking parts.
上記オブジェクト姿勢制御プログラムにおいて、前記情報処理装置は、設定部を有し、前記設定部は、前記表示部に表示されたオブジェクトの一部がタッチ操作されたときに入力された情報に基づいて、前記複数の連動する部位のうち一部の対象部位を設定してもよい。 In the above object posture control program, the information processing device has a setting unit, and the setting unit, based on information input when part of the object displayed on the display unit is touch-operated, A part of the target parts may be set among the plurality of interlocking parts.
上記オブジェクト姿勢制御プログラムにおいて、前記設定部は、前記複数の連動する部位のうち前記一部であって、前記オブジェクトの移動可能な第１対象部位を設定し、前記複数の連動する部位のうち第２対象部位は、設定された前記第１対象部位に基づいて前記設定部により設定され、前記第１対象部位は、前記第２対象部位を基準として移動してもよい。 In the above object posture control program, the setting unit sets a first target portion, which is the part of the plurality of interlocking parts and is movable of the object, and sets a first target part among the plurality of interlocking parts. The second target part may be set by the setting unit based on the set first target part, and the first target part may be moved based on the second target part.
上記オブジェクト姿勢制御プログラムにおいて、前記第１対象部位が可動領域の限界点に到達したときに、前記第２対象部位に連結し、前記第２対象部位に対して前記第１対象部位の反対側に設けられた第３対象部位を設定し、前記第３対象部位を基準にして前記オブジェクトの前記第２対象部位が移動することを含んでもよい。 In the object posture control program, when the first target part reaches the limit point of the movable area, the second target part is connected to the second target part, and the second target part is moved to the opposite side of the first target part with respect to the second target part. The method may include setting a provided third target portion and moving the second target portion of the object with respect to the third target portion.
上記オブジェクト姿勢制御プログラムにおいて、前記表示部に表示された前記オブジェクトにおいて、前記第１対象部位または前記第２対象部位を設定するときに複数の部位が重畳する部分が指定されたとき、前記オブジェクトの表示される方向を変更してもよい。 In the object posture control program, when a portion where a plurality of parts overlap is designated when setting the first target part or the second target part in the object displayed on the display unit, You may change the displayed direction.
上記オブジェクト姿勢制御プログラムにおいて、前記表示部に表示されたオブジェクトにおいて、前記第１対象部位または前記第２対象部位を設定するときに複数の部位が重畳する部分が指定されたとき、所定の条件を満たす部位を前記第１対象部位または前記第２対象部位として設定してもよい。 In the object posture control program, when a portion where a plurality of parts overlap is designated when setting the first target part or the second target part in the object displayed on the display unit, a predetermined condition is set. The site to be satisfied may be set as the first target site or the second target site.
上記オブジェクト姿勢制御プログラムにおいて、前記表示部に表示された前記オブジェクトにおいて、前記第１対象部位または前記第２対象部位を設定するときに複数の部位が重畳する部分が指定されたとき、前記重畳する部分に対する所定の操作に基づいて、前記第１対象部位または前記第２対象部位を設定してもよい。 In the object posture control program, when a portion where a plurality of parts overlap is specified when setting the first target part or the second target part in the object displayed on the display unit, the overlapping part is specified. The first target part or the second target part may be set based on a predetermined operation on the part.
上記オブジェクト姿勢制御プログラムにおいて、前記第１対象部位および前記第２対象部位とは異なる、前記オブジェクトの移動可能な第４対象部位を設定し、前記第４対象部位に連結された第５対象部位を設定し、前記情報処理装置の動きに関する情報に基づいて、前記第２対象部位を基準として前記オブジェクトの前記第１対象部位が移動し、前記第５対象部位を基準として前記第４対象部位が移動してもよい。 In the object posture control program, a movable fourth target portion of the object, which is different from the first target portion and the second target portion, is set, and a fifth target portion connected to the fourth target portion is set. and moving the first target part of the object with reference to the second target part, and moving the fourth target part with reference to the fifth target part, based on the information about the movement of the information processing device. You may
上記オブジェクト姿勢制御プログラムにおいて、前記オブジェクトの前記第１対象部位が移動して、前記第１対象部位および前記第２対象部位とは異なる移動可能な部位に接触したときに第４対象部位として設定し、前記第４対象部位に連結された第５対象部位を設定し、前記第１対象部位の移動に基づき、前記第５対象部位を基準として前記第４対象部位が移動してもよい。 In the object posture control program, when the first target part of the object moves and contacts a movable part different from the first target part and the second target part, the fourth target part is set. , a fifth target part connected to the fourth target part may be set, and the fourth target part may move with respect to the fifth target part based on the movement of the first target part.
上記オブジェクト姿勢制御プログラムにおいて、前記第１対象部位または前記第２対象部位がタッチされた状態で、前記情報処理装置が移動したときに、前記表示されたオブジェクトが静止した状態で、前記仮想空間上の前記オブジェクトの前記第２対象部位を基準として前記第１対象部位が移動してもよい。 In the object posture control program, when the information processing device moves while the first target portion or the second target portion is touched, the displayed object remains stationary in the virtual space. The first target portion may move with respect to the second target portion of the object.
本発明の一実施形態によれば、仮想空間に配置されたオブジェクトの姿勢を制御するオブジェクト姿勢制御システムであって、複数の連動する部位を有する前記オブジェクトを表示部に表示し、情報処理装置の動きに関する情報に基づいて、前記複数の連動する部位のうち一部を移動するように前記オブジェクトの姿勢を制御する、オブジェクト姿勢制御システムが提供される。 According to one embodiment of the present invention, there is provided an object attitude control system for controlling the attitude of an object placed in a virtual space, wherein the object having a plurality of interlocking parts is displayed on a display unit, and an information processing apparatus An object attitude control system is provided that controls the attitude of the object so as to move part of the plurality of interlocking parts based on information about movement.
本発明の一実施形態によれば、仮想空間に配置されたオブジェクトの姿勢を制御する情報処理装置であって、複数の連動する部位を有する前記オブジェクトを表示部に表示し、前記情報処理装置の動きに関する情報に基づいて、前記複数の連動する部位のうち一部の対象部位を移動するように前記オブジェクトの姿勢を制御する、情報処理装置が提供される。 According to one embodiment of the present invention, there is provided an information processing apparatus for controlling the posture of an object placed in a virtual space, wherein the object having a plurality of interlocking parts is displayed on a display unit, and the information processing apparatus An information processing apparatus is provided that controls the posture of the object so as to move a part of the target parts among the plurality of interlocking parts based on information about movement.
本発明の一実施形態を用いることにより、オブジェクトの姿勢を容易に制御することができる。 By using an embodiment of the present invention, the pose of an object can be easily controlled.
以下、本発明の実施の形態を、図面等を参照しながら説明する。但し、本発明は多くの異なる態様で実施することが可能であり、以下に例示する実施の形態の記載内容に限定して解釈されるものではない。図面は説明をより明確にするため、模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。また、各要素に対する「第１」、「第２」と付記された文字は、各要素を区別するために用いられる便宜的な標識であり、特段の説明がない限りそれ以上の意味を有さない。なお、本実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号（数字ｘｘｘにＡ，Ｂを付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。また、構成の一部が図面から省略されたりする場合がある。その他、本発明の属する分野における通常に知識を有する者であれば認識できるものである場合、特段の説明を行わないものとする。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the present invention can be implemented in many different aspects and should not be construed as being limited to the description of the embodiments exemplified below. Although the drawings may be represented schematically in order to make the description clearer, they are only examples and do not limit the interpretation of the present invention. In addition, the letters "first" and "second" for each element are labels for convenience used to distinguish each element, and unless otherwise specified, have more meaning. do not have. In the drawings referred to in this embodiment, the same parts or parts having similar functions are denoted by the same reference numerals or similar reference numerals (numerals xxx with A and B only), and the repetition thereof Description may be omitted. Also, part of the configuration may be omitted from the drawing. In addition, no particular description will be given if it is something that can be recognized by a person who has ordinary knowledge in the field to which the present invention belongs.
本発明の一実施形態において記載される「対象部位」とは、オブジェクトが有する移動可能な部位をいい、複数の対象部位を組み合わせることにより連動する部位が構成される。第１対象部位は、連動する部位のうち移動する部位に相当する。第２対象部位は、連動する部位のうち設定された第１対象部位に基づいて第１対象部位の動きの支点となる部位に相当する。 A "target part" described in one embodiment of the present invention refers to a movable part of an object, and a linked part is configured by combining a plurality of target parts. The first target part corresponds to a moving part of the interlocking parts. The second target part corresponds to a part serving as a fulcrum of movement of the first target part based on the set first target part among the interlocking parts.
＜第１実施形態＞
本発明の第１実施形態に係るオブジェクト姿勢制御システムについて、図面を参照しながら詳細に説明する。
<First Embodiment>
An object attitude control system according to a first embodiment of the present invention will be described in detail with reference to the drawings.
（１－１．オブジェクト姿勢制御システムのハードウェア構成）
図１に、オブジェクト姿勢制御システム１のハードウェア構成および機能ブロック図を示す。図１に示すように、オブジェクト姿勢制御システム１は、端末１０およびサーバ２０を含む。端末１０およびサーバ２０を合わせて情報処理装置という場合がある。
(1-1. Hardware Configuration of Object Attitude Control System)
FIG. 1 shows a hardware configuration and functional block diagram of an object
端末１０は、コンピュータの一つであり、表示部１１、制御部１２、記憶部１３、操作部１４、通信部１５、センサ部１６、カメラ部１７、およびマイク部１８を有する。この例では、端末１０としてスマートフォンが用いられる。なお、スマートフォンに限定されず、携帯電話（フィーチャーフォン）、タブレット型端末、ノートＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ＩｏＴデバイス（電源機構、通信機能および情報記憶機構を備えた機器）などでもよく、ネットワークを通じてサーバ２０と通信可能なものであれば適用可能である。
The terminal 10 is one of computers and has a
表示部１１は、液晶ディスプレイまたは有機ＥＬディスプレイなどの表示デバイスであって、制御部１２から入力される信号により表示内容が制御される。
The
制御部１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、またはＦＰＧＡ（Ｆｌｅｘｉｂｅ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を備えることで実現される。制御部１２は、表示部１１および操作部１４の操作に基づいて、記憶部１３に記憶されたオブジェクト姿勢制御プログラムを含むアプリケーションを実行させる。
The
記憶部１３は、オブジェクト姿勢制御用プログラム、およびオブジェクト姿勢制御用プログラムで用いられる空間情報を記憶するデータベースとしての機能を有する。記憶部１３には、メモリ、ＳＳＤ、または記憶可能な素子が用いられる。
The
操作部１４は、コントローラー、ボタン、またはスイッチを含む。操作部１４は、上下左右への移動、押圧、または回転などの動作がなされることにより、その動作に基づく情報が制御部１２に送信される。本実施形態では、端末１０がタッチセンサを有する表示装置（タッチパネル）であることにより、表示部１１と操作部１４とが、同じ場所に配置されてもよい。これにより、オブジェクトを表示しながら、オブジェクトの対象部位を指定することができるため、オブジェクトの姿勢制御が容易となる。
The
通信部１５は、サーバ２０と送受信する機能を有する。通信部１５には、ＬＡＮ送受信機（例えばＷｉ－Ｆｉ送受信機）が用いられる。なお、送受信機は、ＬＡＮ送受信機に限定されない。端末が携帯型の端末の場合には、携帯端末用通信（例えばＬＴＥ通信）用の送受信機が設けられてもよいし、近距離無線通信用の送受信機が設けられてもよい。端末１０は、ネットワーク５０を介してサーバ２０と接続される。
The
センサ部１６は、端末の位置情報を検出する機能を有する。センサ部１６には、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎａｌ Ｓｙｓｔｅｍ）、加速度センサ、ジャイロセンサ（角速度センサ）を含む。
The
カメラ部１７は、環境画像を撮影する機能を有し、オブジェクトを表示する上でのマーカー部が設けられた物体を撮影する。カメラ部１７には、例えばＣＭＯＳイメージセンサが用いられる。
The
マイク部１８は、ユーザから発せされた口頭の情報を取り込み、制御部１２または記憶部１３に入力する機能を有する。
The
サーバ２０は、通信部２１、記憶部２２、制御部２３および表示部２４を有する。サーバ２０は、データベースおよびアプリケーションサーバとして機能する。なお、あらかじめ端末１０にオブジェクト姿勢制御用プログラムに関連するすべての情報が搭載されている場合にはサーバ２０を必ずしも用いなくてもよい。
The
通信部２１は、送受信機を有し、ネットワーク５０を介して端末１０とオブジェクトの制御情報の情報通信を行う。通信部２１には、イントラネット用のＬＡＮ送受信機が用いられる。なお、送受信機は、イントラネット用のＬＡＮ送受信機に限定されず、端末１０と同様に通信可能な装置が用いられる。
The
記憶部２２は、ハードディスク、およびＳＳＤを用いることで、オブジェクト姿勢制御用プログラムで用いられる情報のデータベースとしての機能を有する。
The
制御部２３は、ＣＰＵ、ＲＡＭ、ＡＳＩＣ、またはＦＰＧＡを用いて、オブジェクト姿勢制御プログラムの処理を制御する。また、制御部２３からの命令によって、オブジェクト姿勢制御プログラムを実行するためのユーザインターフェースが表示部２４に提供される場合がある。
The
（１－２．オブジェクト姿勢制御部１００の構成）
図２は、オブジェクト姿勢制御システム１における端末１０の各構成要素およびサーバ２０の各構成によって構成され、オブジェクト姿勢制御機能を実現させるプログラム（オブジェクト姿勢制御プログラム）を制御するオブジェクト姿勢制御部１００の機能ブロック図を示す。この例では、オブジェクト姿勢制御プログラムが端末に設けられている例を説明する。
(1-2. Configuration of Object Posture Control Unit 100)
FIG. 2 shows the function of an object
オブジェクト姿勢制御部１００は、撮影画像取得部１１０、マーカー検出部１２０、空間定義部１３０、オブジェクト表示部１４０、第１対象部位設定部１５０、第２対象部位設定部１６０、連動部位判定部１７０、移動情報取得部１８０、およびオブジェクト座標変更部１９０を含む。
The object
撮影画像取得部１１０は、カメラ部１７において撮影された実空間の環境画像を取得する機能を有する。
The captured
マーカー検出部１２０は、撮影画像取得部１１０によって取得された画像からマーカーを検出する機能を有する。この例では、マーカーの情報は、あらかじめ記憶部１３に記憶されている。なお、マーカーの情報は、必ずしも記憶部１３に記憶されていなくてもよく、撮影された画像からマーカーとなりうる特徴点を抽出してもよい。
The
空間定義部１３０は、仮想空間と表示部１１の座標との位置合わせを行う機能を有する。本実施形態では、空間定義部１３０は、マーカーベース位置合わせ法を用い、検出されたマーカーを基準に仮想空間と表示部１１の座標とを位置合わせする。
The
オブジェクト表示部１４０は、仮想空間上に配置された姿勢を制御する対象となるオブジェクトを表示部１１に表示する機能を有する。
The
第１対象部位設定部１５０は、複数の連動する部位のうち移動可能な第１対象部位を設定する機能を有する。第２対象部位設定部１６０は、設定された第１対象部位に基づいて第２対象部位を設定する機能を有する。本実施形態では、第１対象部位設定部１５０および第２対象部位設定部１６０を合わせて設定部ということができ、設定部は、オブジェクトの複数の連動する部位を設定する機能部の総称とする。第１対象部位設定部１５０および第２対象部位設定部１６０を分けて記載する必要がないときは、設定部として説明する。
The first target
連動部位判定部１７０は、設定部において設定された複数の部位が連動するかどうかを判定する機能を有する。連動するかどうかの判定は、あらかじめオブジェクト姿勢制御プログラムに組み込まれた情報を用いてもよいし、ユーザからの入力された信号に基づいて行われてもよい。
The interlocking
移動情報取得部１８０は、センサ部１６から入力された端末１０の移動前後の座標にもとづいた移動情報を取得する機能を有する。
The movement
オブジェクト座標変更部１９０は、表示部１１に移動後のオブジェクトを表示するために、連動する部位のうち一部の対象部位の座標を変更し記録するとともに、その位置情報をオブジェクト表示部１４０に送信する機能を有する。移動情報取得部１８０、オブジェクト座標変更部１９０およびオブジェクト表示部１４０は、１秒あたり６０回にわたってオブジェクトにおける対象部位の移動情報を取得し、対象部位の空間座標および表示画面上の座標を変更することにより、オブジェクトの動き（姿勢の変化）を静止画または動画として表示することができる。
In order to display the object after movement on the
（１－３．オブジェクト姿勢制御処理）
次に、オブジェクト姿勢制御部１００におけるオブジェクト姿勢制御プログラムによる命令に基づいたオブジェクト姿勢制御処理について説明する。図３は、オブジェクト姿勢制御処理のフロー図である。図３に示すように、オブジェクト姿勢制御処理は、第１オブジェクト姿勢制御処理Ｓ１００、第２オブジェクト姿勢制御処理Ｓ２００、および第３オブジェクト姿勢制御処理Ｓ３００を含む。
(1-3. Object posture control processing)
Next, object attitude control processing based on commands from the object attitude control program in the object
第１オブジェクト姿勢制御処理Ｓ１００は、撮影画像の取得・表示処理、マーカー情報検出処理、空間定義処理、および撮影画像・オブジェクト重畳表示処理を含む。第２オブジェクト姿勢制御処理Ｓ２００は、移動モード判定処理、第１対象部位情報入力処理、第１対象部位設定処理、第２対象部位情報入力処理、第２対象部位設定処理、および連動する部位かどうかの判定処理を含む。第３オブジェクト姿勢制御処理Ｓ３００は、端末移動量取得処理、オブジェクトの座標変更処理、移動後のオブジェクトの表示処理、および端末の移動が終了したかどうかの判定処理を含む。それぞれのオブジェクト姿勢制御処理を分けて説明する。 The first object attitude control processing S100 includes a photographed image acquisition/display processing, a marker information detection processing, a space definition processing, and a photographed image/object superimposed display processing. The second object posture control processing S200 includes movement mode determination processing, first target part information input processing, first target part setting processing, second target part information input processing, second target part setting processing, and interlocking part determination processing. Includes judgment processing. The third object attitude control processing S300 includes terminal movement amount acquisition processing, object coordinate change processing, object display processing after movement, and determination processing as to whether movement of the terminal has ended. Each object attitude control process will be described separately.
（１－３－１．第１オブジェクト姿勢制御処理Ｓ１００）
図４に、第１オブジェクト姿勢制御処理Ｓ１００を示す。第１オブジェクト姿勢処理Ｓ１００は、オブジェクト姿勢制御プログラムを含むアプリケーションを起動させることをきっかけとして、開始される。
(1-3-1. First Object Posture Control Processing S100)
FIG. 4 shows the first object posture control processing S100. The first object attitude processing S100 is started when an application including an object attitude control program is activated.
第１オブジェクト姿勢処理Ｓ１００において、撮影画像取得部１１０は実空間の環境画像の撮影を行い、その撮影された画像を取得し（Ｓ１１０）、端末１０の表示部１１に撮影された画像を表示する。
In the first object posture processing S100, the captured
図５は、端末１０で実空間を撮影するときの一例である。図５において、実際の空間には、端末１０とともに、テーブル６０、およびシート７０が配置されている。シート７０には、４つのマーカー７５が含まれている。この例では、端末１０により４つのマーカー７５を含むように、テーブル６０の一部およびシート７０が撮影される。
FIG. 5 is an example when the terminal 10 captures an image of the real space. In FIG. 5, a table 60 and a
図４に戻って説明する。次に、マーカー検出部１２０は、マーカー検出処理を行う（Ｓ１２０）。この例では、オブジェクト姿勢制御プログラムには、あらかじめ４つのマーカーの情報が登録されている。マーカーの情報は、マーカーの形態および配置に関するものである。４つのマーカーが検出されないとき（Ｓ１２０；Ｎｏ）、撮影画像の取得・表示処理に戻る。
Returning to FIG. 4, description will be made. Next, the
次に、４つのマーカーを検出した場合には（Ｓ１２０；Ｙｅｓ）、空間定義部１３０は、マーカーベース位置合わせ法を用いて、実空間と仮想空間との座標の位置合わせ（空間定義）を行う（Ｓ１３０）。このとき、空間定義部１３０は、表示部１１に表示された実空間上のマーカー７５と、オブジェクト姿勢制御プログラムに記憶された仮想空間上のマーカーとを照合し、仮想空間の座標を実空間の座標として表示部１１に表示可能となるように調整を行う。例えば、マーカー７５－１の位置座標は、実空間の位置座標が（Ｘr75-1，Ｙｒ75-1，Ｚr75-1）、表示部１１における位置座標が（Ｘd75-1，Ｙd75-1）、仮想空間の位置座標が（Ｘv75-1，Ｙv75-1，Ｚv75-1）として定義される。
Next, when four markers are detected (S120; Yes), the
次に、空間定義部１３０は、仮想空間におけるオブジェクト座標の取得処理を行う（Ｓ１４０）。図６は、オブジェクトの各部位の仮想空間上の座標である。図６に示すように、オブジェクトの各部位の座標情報は、４つのマーカーの座標に基づいて設定された原点に対して設定される。上記処理により、マーカー７５の表示部１１における情報が取得されることにより、オブジェクトの各部位の座標が取得される。
Next, the
次に、オブジェクト表示部１４０は、撮影された画像にオブジェクトの画像を重畳して表示する（Ｓ１５０）。図７は、端末１０の表示部１１に表示されたオブジェクトのユーザインターフェースである。図７において、オブジェクト８０は、シート７０上に配置されて表示されている。この例では、オブジェクト８０は、人型の体形を有し、複数の部位８１および複数のボーン８２を有する。部位８１は、移動可能な部位であり、人間の関節に相当する。部位８１（部位８１ａ）は、隣接する部位８１（部位８１ｂ）と、ボーン８２を介して接続されている。つまり、部位８１ａおよび部位８１ｂは連動する部位であるということができる。なお、オブジェクト８０を表示する際に、シート７０は表示されなくてもよい。以上により、第１オブジェクト姿勢制御処理Ｓ１００は終了となる。
Next, the
（１－３－２．第２オブジェクト姿勢制御処理Ｓ２００）
図８に、第２オブジェクト姿勢制御処理Ｓ２００のフロー図を示す。第２オブジェクト姿勢制御処理Ｓ２００は、第１オブジェクト姿勢制御処理Ｓ１００の終了をきっかけとして行われる。
(1-3-2. Second Object Posture Control Processing S200)
FIG. 8 shows a flowchart of the second object attitude control processing S200. The second object attitude control process S200 is triggered by the end of the first object attitude control process S100.
まず、移動モードであるかどうかの判定がなされる（Ｓ２１０）。移動モードであるかどうかは、センサ部１６が端末１０の動きを検知するかどうかで判定してもよいし、ユーザからの入力に基づいて判定してもよい。移動モードである場合には（Ｓ２１０；Ｙｅｓ）、第２オブジェクト姿勢制御処理は、終了となる。
First, it is determined whether or not the mobile mode is set (S210). Whether the mobile mode is set may be determined based on whether the
移動モードでない場合（Ｓ２１０；Ｎｏ）、連動する部位の一部の対象部位として、第１対象部位の情報が第１対象部位設定部１５０に入力される（Ｓ２２０）。図９は、第１対象部位の情報を入力するときの一例を示すユーザインターフェースである。図９に示すように、第１対象部位の情報を入力する際に、表示画面上に「第１対象部位をタッチしてください。」と表示してもよい。この例では、第１対象部位の情報を入力する際に、ユーザが表示部１１に表示されたオブジェクトうち、部位８１ａに相当する部分がタッチ操作される。部位８１ａは、オブジェクト８０の手首の関節に相当する。上述した通り、端末１０はタッチパネルを有しており、部位８１ａがタッチ操作されることにより、部位８１ａの位置情報が第１対象部位設定部１５０に入力される。
If the movement mode is not set (S210; No), the information of the first target part is input to the first target
なお、部位８１ａの情報を入力する際に、部位８１ａに相当する部分を囲むようになぞってもよいし、部位８１ａに相当する部分を複数の指で囲むようにしてもよい。
When inputting the information of the
図８に戻って説明する。次に、入力された情報に基づいて、第１対象部位設定部１５０は、タッチ操作された部位８１ａを第１対象部位として設定する（Ｓ２３０）。
Returning to FIG. 8, description will be made. Next, based on the input information, the first target
次に、第２対象部位の情報が第２対象部位設定部１６０に入力される（Ｓ２２０）。図１０は、第２対象部位の情報を入力するときの一例を示すユーザインターフェースである。図１０に示すように、第２対象部位の情報を入力する際に、第１対象部位の場合と同様に、「第２対象部位をタッチしてください。」と表示され、ユーザが表示部１１に表示されたオブジェクトうち、第２対象部位となる部位８１ｂに相当する部分がタッチ操作される。部位８１ｂは、オブジェクト８０の肘の関節に相当する。このとき、部位８１ａと同様に、部位８１ｂがタッチ操作されることにより、部位８１ｂの位置情報が第２対象部位設定部１６０に入力される。
Next, information on the second target part is input to the second target part setting unit 160 (S220). FIG. 10 is a user interface showing an example of inputting information on the second target region. As shown in FIG. 10, when inputting the information of the second target part, as in the case of the first target part, the message "Please touch the second target part." , the part corresponding to the
図８に戻って説明する。次に、入力された情報をもとに、第２対象部位設定部１６０は、タッチ操作された部位８１ｂを第２対象部位として設定する（Ｓ２５０）。
Returning to FIG. 8, description will be made. Next, based on the input information, the second target
次に、連動部位判定部１７０は、部位８１ａと、部位８１ｂとが連動して移動するかを判定する。部位８１ａと、部位８１ｂとが、連動する部位ではないと判定されると（Ｓ２６０；Ｎｏ）、第１対象部位の情報を再度入力する（Ｓ２２０）。この例では、部位８１ａと、部位８１ｂとが、ボーン８２ａを介して接続されていることから、連動する部位であると判定される（Ｓ２６０；Ｙｅｓ）。以上により、第２オブジェクト姿勢制御処理Ｓ２００は終了となる。
Next, the interlocking
（１－３－３．第３オブジェクト姿勢制御処理Ｓ３００）
図１１は、第３オブジェクト姿勢制御処理Ｓ３００のフロー図である。第３オブジェクト姿勢制御処理Ｓ３００は、第２オブジェクト姿勢制御処理Ｓ２００の終了をきっかけに開始される。
(1-3-3. Third Object Posture Control Processing S300)
FIG. 11 is a flowchart of the third object attitude control processing S300. The third object attitude control process S300 is started when the second object attitude control process S200 ends.
第３オブジェクト姿勢制御処理Ｓ３００において、はじめに、移動情報取得部１８０は、端末１０の移動量（動きに関する情報ともいう）を取得する（Ｓ３１０）。この例では、端末１０の位置情報の変化に伴うオブジェクトの姿勢の追跡は、Ｖ－ＳＬＡＭ（Ｖｉｓｕａｌ Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）法により行われる。図１２は、端末１０ユーザ９０の動きに合わせて移動したときの一例である。端末１０を移動するときに、ユーザは端末１０の表示部１１に接触していなくてもよい。センサ部１６を用いて計測され、移動情報取得部１８０において取得される。センサ部１６には、ＧＰＳ、加速度センサ、または角速度センサが用いられる。図１３（Ａ）は、初期値（移動前）、時間ｔ１後（移動後）の端末１０の位置座標、および移動前後の座標より求められる端末１０の移動量を示すデータ構造である。
In the third object attitude control process S300, first, the movement
次に、取得された移動量をもとに、オブジェクト座標変更部１９０は、オブジェクト８０のうち移動対象部位である第１対象部位（部位８１ａ）の座標を変更し、記録する（Ｓ３２０）。図１３（Ｂ）は、時間ｔ１後のオブジェクトの第１対象部位（部位８１ａ）の仮想空間上の座標および表示部１１における座標のデータ構造である。図１３（Ｂ）に示すように、端末１０の移動情報に基づいて仮想空間におけるオブジェクト８０の第１対象部位（部位８１ａ）の情報、および表示部１１におけるオブジェクト８０の第１対象部位（部位８１ａ）の座標の情報が変更され、変更後の座標の情報が記憶される（座標情報の書き換えがなされる）。
Next, based on the acquired amount of movement, the object coordinate changing
図１１に戻って説明する。次に、オブジェクト表示部１４０は、移動後（時間ｔ１後）の第１対象部位の情報を用いて表示部１１にオブジェクト８０を表示する（Ｓ３３０）。図１４は、表示部１１に第１対象部位の位置が変化したオブジェクト８０を表示したユーザインターフェースである。図１４に示すように、第１対象部位（部位８１ａ）は、図７で表示された位置から第２対象部位（部位８１ｂ）を基準として移動する。つまり、情報処理装置の動きに関する情報に基づいて、複数の連動する部位のうち一部の対象部位を移動することができる。上記処理は、端末１０が移動する限り（Ｓ３４０；Ｙｅｓ）繰り返し行われる。この例では、端末の移動量の取得は、１秒あたり６０回行われるため、オブジェクトの姿勢の変化が滑らかに表示される。端末１０の移動が終了したとき（Ｓ３４０；Ｎｏ）、第３オブジェクト姿勢制御処理Ｓ３００は、終了となる。
Returning to FIG. 11, description will be made. Next, the
上記に示した通り、本実施形態のオブジェクト姿勢制御プログラムを用いることにより、連動する部位の設定および端末の移動を用いて、複雑な制御を行うことなく容易にオブジェクトの姿勢制御を行うことができる。 As described above, by using the object attitude control program of the present embodiment, it is possible to easily control the attitude of the object by setting linked parts and moving the terminal without performing complicated control. .
＜第２実施形態＞
本実施形態では、第１実施形態と異なるオブジェクト姿勢制御部およびオブジェクト姿勢制御方法について説明する。具体的には第１対象部位を移動させる際の支点が異なる例について説明する。なお、第１実施形態と同様の構成および方法については、適宜省略する場合がある。
<Second embodiment>
In this embodiment, an object attitude control section and an object attitude control method that are different from those in the first embodiment will be described. Specifically, an example in which the fulcrum for moving the first target portion is different will be described. Note that the same configuration and method as those of the first embodiment may be omitted as appropriate.
図１５は、第２対象部位の情報を入力するときの一例を示すユーザインターフェースである。図１５に示すように、部位８１ｃに相当する部分をタッチ操作し、第２対象部位の情報を入力し、第２対象部位として設定してもよい。この場合、部位８１ａと、部位８１ｃとは、離隔しているが、ボーン８２ａ、部位８１ｂ、およびボーン８２ｂを合わせて一つのボーンとみなすようにあらかじめプログラムに設定することにより、連動する部位として判定することができる。
FIG. 15 is a user interface showing an example of inputting information on the second target region. As shown in FIG. 15, a portion corresponding to the
これにより、本実施形態を用いることにより、端末１０を移動させたときに、図１６に示すように、部位８１ｃを基準として部位８１ａを移動させることにより、オブジェクトの姿勢制御を行うことができる。
Thus, by using the present embodiment, when the terminal 10 is moved, as shown in FIG. 16, the position of the object can be controlled by moving the
なお、ボーン８２ａ、部位８１ｂ、およびボーン８２ｂを合わせて一つのボーンと固定されたものとしてみなさない場合には、部位８１ａの動きに連動して部位８１ｂを移動させてもよい。この場合、部位８１ｂは、制御されない状態となるため、部位８１ａが動きに合わせて同時に移動してもよいし、遅れて移動してもよい。
If the
＜第３実施形態＞
本実施形態では、第１実施形態と異なるオブジェクト姿勢制御部およびオブジェクト姿勢制御方法について説明する。具体的には、第３オブジェクト姿勢制御処理Ｓ３００を行う上で、第１対象部位の移動領域が限界点に到達したときに、第３対象部位を設定する処理について説明する。なお、第１実施形態および第２実施形態と同様の構成および方法については、適宜省略する場合がある。
<Third Embodiment>
In this embodiment, an object attitude control section and an object attitude control method that are different from those in the first embodiment will be described. Specifically, processing for setting the third target part when the movement area of the first target part reaches the limit point in performing the third object posture control processing S300 will be described. Note that the same configurations and methods as those of the first and second embodiments may be omitted as appropriate.
（３－１．オブジェクト姿勢制御部１００Ａの構成）
図１７は、オブジェクト姿勢制御システム１Ａにおける、オブジェクト姿勢制御部１００Ａの機能ブロック図を示す。図１７に示すように、オブジェクト姿勢制御部１００Ａは、撮影画像取得部１１０、マーカー検出部１２０、空間定義部１３０、オブジェクト表示部１４０、第１対象部位設定部１５０、第２対象部位設定部１６０、連動部位判定部１７０、移動情報取得部１８０、およびオブジェクト座標変更部１９０に加えて、限界点検出部１９５、第３対象部位設定部２００を含む。
(3-1. Configuration of Object
FIG. 17 shows a functional block diagram of the object
限界点検出部１９５は、第１対象部位の移動を検知し、第１対象部位が可動領域の限界点に到達したときに第３対象部位設定部２００に情報を入力する機能を有する。第３対象部位設定部２００は、限界点検出部１９５から入力された信号に基づいて、第３対象部位を設定する機能を有する。第３対象部位が設定されると、第２対象部位は支点から移動部位に切り替わるとともに、第３対象部位を基準として第２対象部位が移動する。
The limit
（３－２．オブジェクト姿勢制御処理）
図１８に、オブジェクト姿勢制御部１００Ａにおけるオブジェクト姿勢制御プログラムによる命令に基づいた第２オブジェクト姿勢制御処理のフロー図（Ｓ３００Ａ）を示す。図１８に示すように、端末１０Ａを移動させ、端末１０Ａの移動量を取得し（Ｓ３１０）、第１対象部位（部位８１ａ）の仮想空間の座標および表示部１１における座標を変更する（Ｓ３２０）。
(3-2. Object posture control processing)
FIG. 18 shows a flowchart (S300A) of the second object attitude control process based on the command of the object attitude control program in the object
図１９は、各部位の可動領域を示すデータ構造である。図１９に示すように、第１対象部位の可動領域として、第２対象部位に対する相対的な位置座標が設定される。このとき、限界点検出部１９５は、第１対象部位（この例では、部位８１ａ）の可動領域の限界点を超えるものではないと判定したとき（Ｓ３２５；Ｎｏ）、第１実施形態と同様にオブジェクトの表示を行う（Ｓ３３０）。一方、図２０に示すように、第１対象部位の可動領域の限界点を超えるものであると判定した場合（Ｓ３２５；Ｙｅｓ）、限界点検出部１９５は、第３対象部位設定部２００にその情報を入力する。第３対象部位設定部２００は、入力された情報に基づき、第２対象部位に連結し、第２対象部位に対して第１対象部位の反対側に設けられた部位を第３対象部位として設定する（Ｓ３５０）。この例では、第２対象部位に相当する部位８１ｂ（肘関節に相当）に対して、第１対象部位に相当する部位８１ａ（手首関節に相当）の反対側に設けられた部位８１ｃ（肩関節に相当）が第３対象部位として設定される。部位８１ｃは、部位８１ｂと、ボーン８２ｂを介して連結されている。本実施形態では、部位８１ｃは自動的に設定される。なお、自動的に設定されない場合には、第１対象部位と同様に、ユーザの操作によって、第３対象部位の情報を入力後、第３対象部位を設定してもよい。この場合、連動する部位であるかを判定してもよい。
FIG. 19 is a data structure showing the movable area of each part. As shown in FIG. 19, relative position coordinates with respect to the second target part are set as the movable region of the first target part. At this time, when it is determined that the limit
次に、第３対象部位設定後、端末１０の移動量を取得し（Ｓ３６０）、第２対象部位（部位８１ｂ）の座標を変更し（Ｓ３７０）、第２対象部位の変更された座標に基づいて、図２１に示すように第３対象部位（部位８１ｃ）を基準にして第２対象部位（部位８１ｂ）が移動したオブジェクトが表示される（Ｓ３８０）。以上より、本実施形態を用いることにより、移動部位が可動領域の限界に到達したときもオブジェクトの姿勢を容易に制御することができる。
Next, after setting the third target part, the movement amount of the terminal 10 is acquired (S360), the coordinates of the second target part (
なお、上記と同様の処理は、固定部位を基準として移動する移動部位が可動領域の限界点を検出した場合、繰り返し行われてもよい。つまり、固定点となる第ｎ（ｎは２以上の自然数）対象部位を基準として第（ｎ－１）対象部位が移動したときに、第（ｎ－１）対象部位が可動領域の限界点に到達したとき、第ｎ対象部位に連結し、第（ｎ－１）対象部位の反対側に設けられた第（ｎ＋１）対象部位を設定してもよい。これにより、オブジェクトの姿勢をより滑らかに制御することができる。 It should be noted that the same processing as described above may be repeated when the movable part that moves relative to the fixed part detects the limit point of the movable region. In other words, when the (n-1)th target part moves based on the n-th (n is a natural number of 2 or more) target part that serves as a fixed point, the (n-1)th target part reaches the limit point of the movable region. When reached, the (n+1)th target site connected to the nth target site and provided on the opposite side of the (n−1)th target site may be set. This makes it possible to control the posture of the object more smoothly.
＜第４実施形態＞
本実施形態では、第１実施形態と異なるオブジェクトの姿勢制御処理について説明する。具体的には、複数の部位が一つの端末の移動に基づいて移動する例について説明する。なお、第１～第３実施形態と同様の構成および方法については、適宜省略する場合がある。
<Fourth Embodiment>
In the present embodiment, posture control processing for an object that is different from that in the first embodiment will be described. Specifically, an example in which a plurality of parts move based on the movement of one terminal will be described. Note that the same configurations and methods as those of the first to third embodiments may be omitted as appropriate.
（４－１．サーバおよびオブジェクト姿勢制御部１００Ｂの構成）
図２２は、オブジェクト姿勢制御システム１Ｂにおける、オブジェクト姿勢制御部１００Ｂの機能ブロック図を示す。図２２に示すように、オブジェクト姿勢制御部１００Ｂは、撮影画像取得部１１０、マーカー検出部１２０、空間定義部１３０、オブジェクト表示部１４０、第１対象部位設定部１５０、第２対象部位設定部１６０、連動部位判定部１７０、移動情報取得部１８０、およびオブジェクト座標変更部１９０に加えて、連動部位追加部２１０、第４対象部位設定部２２０および第５対象部位設定部２３０を含む。
(4-1. Configuration of Server and Object
FIG. 22 shows a functional block diagram of the object
連動部位追加部２１０は、第１対象部位および第２対象部位を含む連動する部位（第１連動部位という場合ある）とは異なる連動する部位（第２連動部位という場合がある）を追加で設定する機能を有する。第４対象部位設定部２２０は、第４対象部位を設定する機能を有する。第４対象部位は、第２連動部位のうち移動する部位に相当する。第５対象部位設定部２３０は、第５対象部位を設定する機能を有する。第５対象部位は、第２連動部位のうち第４対象部位の動きの支点となる部位に相当する。
The interlocking
（４－２．オブジェクト姿勢制御処理）
図２３に、オブジェクト姿勢制御部１００Ｂにおけるオブジェクト姿勢制御プログラムによる命令に基づいた第２オブジェクト姿勢制御処理Ｓ２００Ｂのフロー図を示す。図２３に示すように、第１対象部位および第２対象部位を設定し、連動する部位であると判定された後（Ｓ２５０；Ｙｅｓ）、連動部位追加部２１０は連動する部位を追加するかどうかを判定する（Ｓ２５５）。上記判定は、ユーザからの入力に基づいてなされてもよい。このとき、表示部１１に「連動する部位を追加しますか？」と表示されるとともに、「はい」および「いいえ」のボタンが表示されてもよい。ユーザが「はい」のボタンを押下したとき、連動する部位を追加するための信号が入力され、連動する部位を追加するモードに切り替わる（Ｓ２５５；Ｙｅｓ）。
(4-2. Object posture control processing)
FIG. 23 shows a flowchart of the second object attitude control processing S200B based on the command of the object attitude control program in the object
次に、図２４に示すように、部位８１ｄがタッチ操作されることにより、部位８１ｄの位置情報が第４対象部位設定部２２０に入力される（Ｓ２６０）。入力された情報に基づいて、第４対象部位設定部２２０は、タッチ操作された部位８１ｄを第４対象部位として設定する（Ｓ２６５）。
Next, as shown in FIG. 24, position information of the
次に、図２４に示す部位８１ｅがタッチ操作されることにより、部位８１ｅの位置情報が第５対象部位設定部２３０に入力される（Ｓ２７０）。入力された情報に基づいて、第５対象部位設定部２３０は、タッチ操作された部位８１ｅを第５対象部位として設定する（Ｓ２７５）。
Next, positional information of the
次に、連動部位判定部１７０は、第１対象部位および第２対象部位と同様に、第４対象部位および第５対象部位とが連動する部位であるかを判定する（Ｓ２８０）。設定された第４対象部位と第５対象部位とが、連動する部位であると判定された場合（Ｓ２８０；Ｙｅｓ）、第２オブジェクト姿勢制御処理Ｓ２００Ｂが終了となる。
Next, the interlocking
図２５は、第３オブジェクト制御処理Ｓ３００Ｂのフロー図である。端末１０Ｂの移動に伴うオブジェクトの移動は第１実施形態と同様の方法で実現されるが、本実施形態の場合、図２６に示すように、端末１０Ｂを寝かせた状態から立たせた状態に位置を変更したときに、この移動量に基づいて、第１対象部位、第４対象部位の座標変更が変更され（Ｓ３２２）、図２７に示すように第２対象部位（部位８１ｂ）を基準にして第１対象部位（部位８１ａ）が移動するのと同時に、第５対象部位（部位８１ｅ）を基準にして第４対象部位（部位８１ｄ）が移動したオブジェクトが表示される（Ｓ３３０）。つまり、一つの端末が移動したときに、複数の連動部位を動かし、オブジェクトの姿勢を制御することができる。
FIG. 25 is a flowchart of the third object control processing S300B. The movement of the object accompanying the movement of the terminal 10B is realized by the same method as in the first embodiment, but in the case of this embodiment, as shown in FIG. When changed, the coordinate change of the first target part and the fourth target part is changed based on this movement amount (S322), and as shown in FIG. Simultaneously with the movement of the first target part (
＜第５実施形態＞
本実施形態では、第１実施形態と異なるオブジェクトの姿勢制御処理について説明する。具体的には、複数の部位が重畳して表示されている場合に対象部位を設定する例について説明する。なお、第１～第４実施形態と同様の構成および方法については、適宜省略する場合がある。
<Fifth Embodiment>
In the present embodiment, posture control processing for an object that is different from that in the first embodiment will be described. Specifically, an example of setting a target part when a plurality of parts are superimposed and displayed will be described. Note that the same configurations and methods as those of the first to fourth embodiments may be omitted as appropriate.
図２８は、複数の部位が重畳して表示されている場合を示すユーザインターフェースである。図２８に示すように、ユーザの部位８１ａ（手首の関節に相当）は、部位８１ｇ（腰の関節に相当）と重畳して表示されている。このとき、重畳する部分がタッチ操作されることにより指定されたときに、表示部１１におけるオブジェクト８０の表示方向を変更してもよい。例えば、重畳する部分がタッチ操作されたとき、図２９に示すように、「オブジェクトの表示方向を変更しますか？」と表示部１１に表示し、「はい」および「いいえ」のボタンを表示してもよい。「はい」ボタンが押下されたとき、図３０に示すように、オブジェクト８０をシート７０に対して時計回りに９０度回転して表示してもよい。これにより、重複していた部位８１ａおよび部位８１ｇが別々に表示され、特定の部位を設定することができる。
FIG. 28 is a user interface showing a case where a plurality of parts are superimposed and displayed. As shown in FIG. 28, the user's
なお、重畳する部分における特定の部位を設定する方法は、上記方法に限定されない。例えば、所定の条件を満たす部位を特定したい部位（第１対象部位または第２対象部位）として設定してもよい。具体的には、重畳する部分に対してタッチ操作を行うなどして指定した場合、最前面に表示された部位を特定したい部位として設定してもよい。 It should be noted that the method of setting the specific portion in the overlapping portion is not limited to the above method. For example, a site that satisfies a predetermined condition may be set as a site to be specified (first target site or second target site). Specifically, when a portion to be superimposed is specified by performing a touch operation or the like, the portion displayed in the foreground may be set as the portion to be specified.
また、別の方法として、重畳する部分に対する所定の操作に基づいて特定したい部位を設定してもよい。具体的には、重畳する部分に対して短い時間（例えば１ｓｅｃ）でタッチ操作する場合には、前面の部位を特定したい部位と設定し、長い時間（例えば５ｓｅｃ）でタッチ操作するときには、後面の部位を特定したい部位として設定してもよい。 As another method, a part to be specified may be set based on a predetermined operation on the overlapping part. Specifically, when the touch operation is performed for a short time (for example, 1 sec) on the superimposed portion, the front portion is set as the portion to be specified, and when the touch operation is performed for a long time (for example, 5 sec), the rear portion is set. A site may be set as a site to be specified.
＜第６実施形態＞
本実施形態では、第１～第５実施形態と異なるオブジェクトの姿勢制御処理について説明する。具体的には、第１対象部位の移動により、第１対象部位および第２対象部位とは異なる移動可能な部位に接触したときに新たな連結する部位を設定する例について説明する。なお、第１～第５実施形態と同様の構成および方法については、適宜省略する場合がある。
<Sixth Embodiment>
In this embodiment, an object attitude control process different from that in the first to fifth embodiments will be described. Specifically, an example will be described in which a new connecting site is set when a movable site different from the first target site and the second target site is contacted by movement of the first target site. Note that the same configurations and methods as those of the first to fifth embodiments may be omitted as appropriate.
図３１は、第１対象部位が異なる部位に接触した例を示すユーザインターフェースである。図３１に示すように、ユーザの部位８１ａ（左手首の関節に相当）は、部位８１ｅ（右肘の関節に相当）と接触して表示される。このとき、部位８１ｅは、移動可能な部位としてあらかじめ入力されていれば、第４対象部位として設定してもよい。このとき、部位８１ｅと、部位８１ｆとは、ボーン８２ｅを介して連動する部位であるため、部位８１ｆは、第５対象部位として設定されてもよい。
FIG. 31 is a user interface showing an example in which the first target site contacts different sites. As shown in FIG. 31, the user's
上記において、第１対象部位である部位８１ａが第２対象部位である８１ｂを基準として移動するとき、図３２に示すように、部位８１ａの移動に基づき第４対象部位である部位８１ｅが第５対象部位である部位８１ｆを基準として移動してもよい。
In the above, when the
本実施形態を用いることにより、一の連動する部位の動きにより干渉され、他の連動する部位の姿勢を制御することができる。 By using this embodiment, it is possible to interfere with the movement of one interlocking part and control the attitude of another interlocking part.
なお、上記制御は、一の連動する部位の姿勢に限定されない。例えば、オブジェクト８０とは異なる対象物によって他の連動する部位の姿勢が制御されてもよい。つまり、ユーザによる操作ではなく、受動的に連動する部位を設定することができる。
Note that the control described above is not limited to the posture of one interlocking part. For example, the posture of other interlocking parts may be controlled by a target other than the
＜第７実施形態＞
本実施形態では、第１～第５実施形態と異なるオブジェクトの姿勢制御処理について説明する。具体的には、Ｘ座標、Ｙ座標、Ｚ座標に加えて角度θを用いてオブジェクトの姿勢を制御する例について説明する。なお、第１～第６実施形態と同様の構成および方法については、適宜省略する場合がある。
<Seventh embodiment>
In this embodiment, an object attitude control process different from that in the first to fifth embodiments will be described. Specifically, an example of controlling the attitude of the object using the angle θ in addition to the X, Y, and Z coordinates will be described. Note that the same configurations and methods as those of the first to sixth embodiments may be omitted as appropriate.
図３３は、端末の移動前後のオブジェクトの第１対象部位（部位８１ａ）の仮想空間上の座標および表示部１１における座標のデータ構造である。図３３に示すように、端末１０の移動情報において、Ｘ座標、Ｙ座標、Ｚ座標だけではなく角度θを用いてもよい。この場合、Ｘ座標、Ｙ座標、Ｚ座標のいずれかが用いられなくてもよい。端末１０の動きに合わせて仮想空間におけるオブジェクト８０の第１対象部位（部位８１ａ）の情報、および表示部１１におけるオブジェクト８０の第１対象部位（部位８１ａ）の座標の情報が変更され、変更後の座標の情報が記憶される（座標情報の書き換えがなされる）。
FIG. 33 shows the data structure of the coordinates in the virtual space and the coordinates in the
図３４は、表示部１１に表示された姿勢が変化した後のオブジェクトのユーザインターフェースの一例である。図３４に示すように、本実施形態を用いることにより、オブジェクトの姿勢において、特にひねりの姿勢を制御することができる。
FIG. 34 is an example of the user interface of the object displayed on the
なお、本発明の思想の範疇において、当業者であれば、各種の変更例および修正例に想到し得るものであり、それら変更例および修正例についても本発明の範囲に属するものと了解される。例えば、前述の各実施形態に対して、当業者が適宜、構成要素の追加、削除若しくは設計変更を行ったもの、又は、工程の追加、省略若しくは条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。 It should be noted that within the scope of the idea of the present invention, those skilled in the art can conceive of various modifications and modifications, and it is understood that these modifications and modifications also belong to the scope of the present invention. . For example, additions, deletions, or design changes of components, or additions, omissions, or changes in conditions of the above-described embodiments by those skilled in the art are also subject to the gist of the present invention. is included in the scope of the present invention as long as it has
（変形例）
本発明の第１実施形態では、タッチ操作により第１対象部位の情報を入力し、第１対象部位が設定されるとともに、タッチ操作により第２対象部位の情報を入力し、第２対象部位が設定される例を示したが、これに限定されない。例えば、第２対象部位は、第１対象部位が設定される場合に、自動的に設定されてもよい。このとき、第２対象部位は、第１対象部位の上位となる部位が自動で設定されてもよい。
(Modification)
In the first embodiment of the present invention, information on a first target portion is input by a touch operation to set the first target portion, information on a second target portion is input by a touch operation, and the second target portion is set. Although an example of setting is shown, it is not limited to this. For example, the second target part may be automatically set when the first target part is set. At this time, the second target part may automatically be set to a part higher than the first target part.
本発明の第１実施形態では、ユーザがタッチ操作することにより、第１対象部位および第２対象部位の情報が入力される例を示したが、これに限定さない。例えば、端末１０のマイク部１８を用いて、対象部位の情報を口頭で入力してもよい。
In the first embodiment of the present invention, an example in which information on the first target region and the second target region is input by the user's touch operation has been described, but the present invention is not limited to this. For example, the
また、本発明の第１実施形態では、端末１０を移動させるとき、表示部１１に表示されたオブジェクトのうち第１対象部位または第２対象部位がタッチされた状態で端末の移動が行われてもよい。このとき、表示部１１に表示されたオブジェクト８０が静止された状態で仮想空間上の第１対象部位の座標のみ変更してもよい。仮想空間上では第２対象部位を基準として第１対象部位が移動する。端末１０の移動が終了したとき、表示部１１には第１対象部位の位置が変更されたオブジェクトが表示されてもよい。
Further, in the first embodiment of the present invention, when the terminal 10 is moved, the terminal is moved while the first target site or the second target site among the objects displayed on the
本発明の第１実施形態では、撮影された画像と、仮想空間のオブジェクトとをマーカーベース位置合わせ法により位置合わせされ、重畳表示された例を示したが、これに限定されない。オブジェクトを含む仮想空間と、撮影画像との位置合わせの方法として、マーカーベース位置合わせ手法のほかに、特定のマーカーを用いない自然特徴ベース位置合わせ手法、モデルベース位置合わせ手法などのビジョンベース位置合わせ手法、センサを用いたセンサベース位置合わせ手法などを適宜用いてもよい。また、必ずしも撮影画像と仮想空間のオブジェクトとは、位置合わせする必要はなく、仮想空間のオブジェクトの座標が設定できるものであれば、適宜最適な手法を用いればよい。 In the first embodiment of the present invention, an example in which a photographed image and an object in a virtual space are aligned by a marker-based alignment method and displayed in a superimposed manner has been described, but the present invention is not limited to this. In addition to marker-based registration methods, vision-based registration methods such as natural feature-based registration methods that do not use specific markers and model-based registration methods are available as methods for aligning virtual space including objects with captured images. Techniques, sensor-based registration techniques using sensors, and the like may be used as appropriate. Further, the photographed image and the object in the virtual space do not necessarily have to be aligned, and any suitable method may be used as long as the coordinates of the object in the virtual space can be set.
また、本発明の第１実施形態では、拡張現実を用いてオブジェクトを表示する例を示したが、これに限定さない。本発明の一実施形態は、オブジェクトの座標が特定できれば、拡張現実以外にも仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、混合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）などに適用することも可能である。 Also, in the first embodiment of the present invention, an example of displaying an object using augmented reality was shown, but the present invention is not limited to this. An embodiment of the present invention can be applied to not only augmented reality but also virtual reality (VR), mixed reality (MR), etc., as long as the coordinates of an object can be specified.
また、本発明の第１実施形態では、一つの端末を用いて、オブジェクトの表示およびオブジェクトの姿勢制御を行う例を示したが、これに限定さない。複数の端末をネットワーク５０で連携させて、オブジェクトの姿勢を制御してもよい。例えば、図３５に示すように一つの端末１０（端末１０－１）でオブジェクトの表示を行い、他の端末１０（端末１０－２）の位置を変動させることにより、オブジェクトとの姿勢を制御してもよい。これにより、一つの端末１０で固定してオブジェクトを表示し続けることができるので、オブジェクトの精細な姿勢制御を行うことができる。また、端末１０－１と端末１０－２とは、同種の端末でなくてもよい。例えば、表示するための端末としてゴーグル型の端末を用いてもよいし、姿勢制御用の端末として、時計型の端末を用いてもよい。
Also, in the first embodiment of the present invention, an example of displaying an object and controlling the attitude of the object using one terminal has been described, but the present invention is not limited to this. A plurality of terminals may be linked by the
１・・・オブジェクト姿勢制御システム，１０・・・端末，１１・・・表示部，１２・・・制御部，１３・・・記憶部，１４・・・操作部，１５・・・通信部，１６・・・センサ部，１７・・・カメラ部，１８・・・マイク部，２０・・・サーバ，２１・・・通信部，２２・・・記憶部，２３・・・制御部，２４・・・表示部，５０・・・ネットワーク，６０・・・テーブル，７０・・・シート，７５・・・マーカー，８０・・・オブジェクト，８１・・・部位，８２・・・ボーン，９０・・・ユーザ，１００・・・オブジェクト姿勢制御部，１１０・・・撮影画像取得部，１２０・・・マーカー検出部，１３０・・・空間定義部，１４０・・・オブジェクト表示部，１５０・・・第１対象部位設定部，１６０・・・第２対象部位設定部，１７０・・・連動部位判定部，１８０・・・移動情報取得部，１９０・・・オブジェクト座標変更部，１９５・・・限界点検出部，２００・・・第３対象部位設定部，２１０・・・連動部位追加部，２２０・・・第４対象部位設定部，２３０・・・第５対象部位設定部
DESCRIPTION OF
Claims (10)
仮想空間に配置された、複数の連動する部位を有するオブジェクトを表示部に表示し、
前記情報処理装置の動きに関する情報に基づいて、複数の連動する部位のうち一部の対象部位を移動するように前記オブジェクトの姿勢を制御することを実行させるためのプログラムであって、
前記情報処理装置は、設定部を有し、
前記設定部は、前記表示部に表示されたオブジェクトの一部がタッチ操作されたときに入力された情報に基づいて、前記複数の連動する部位のうち一部の対象部位を設定する、
オブジェクト姿勢制御プログラム。 information processing equipment,
displaying an object having multiple interlocking parts arranged in a virtual space on the display unit;
A program for controlling the posture of the object so as to move a part of a plurality of interlocking parts based on information about the movement of the information processing device, the program comprising:
The information processing device has a setting unit,
The setting unit sets a target part of the plurality of interlocking parts based on information input when part of the object displayed on the display unit is touch-operated.
Object attitude control program.
前記複数の連動する部位のうち第２対象部位は、設定された前記第１対象部位に基づいて前記設定部により設定され、
前記第１対象部位は、前記第２対象部位を基準として移動する、
請求項１に記載のオブジェクト姿勢制御プログラム。 The setting unit sets a movable first target portion of the object, which is the part of the plurality of interlocking portions, and
A second target part among the plurality of interlocking parts is set by the setting unit based on the set first target part,
The first target part moves with the second target part as a reference,
2. The object attitude control program according to claim 1 .
前記第３対象部位を基準にして前記オブジェクトの前記第２対象部位が移動することを含む、請求項２に記載のオブジェクト姿勢制御プログラム。 A third target portion connected to the second target portion when the first target portion reaches the limit point of the movable region and provided on the opposite side of the first target portion with respect to the second target portion. and set
3. The object posture control program according to claim 2 , comprising moving said second target part of said object with reference to said third target part.
請求項２または３に記載のオブジェクト姿勢制御プログラム。 In the object displayed on the display unit, when a portion where a plurality of parts overlap is specified when setting the first target part or the second target part, the direction in which the object is displayed is changed. ,
4. The object attitude control program according to claim 2 or 3 .
請求項２または３に記載のオブジェクト姿勢制御プログラム。 In the object displayed on the display unit, when a portion where a plurality of parts overlap is specified when setting the first target part or the second target part, the part satisfying a predetermined condition is selected as the first target part. Set as the part or the second target part,
4. The object attitude control program according to claim 2 or 3 .
請求項３または４に記載のオブジェクト姿勢制御プログラム。 In the object displayed on the display unit, when a portion where a plurality of parts overlap is specified when setting the first target part or the second target part, based on a predetermined operation on the overlapping part to set the first target part or the second target part,
5. The object attitude control program according to claim 3 or 4 .
前記第４対象部位に連結された第５対象部位を設定し、
前記情報処理装置の動きに関する情報に基づいて、前記第２対象部位を基準として前記オブジェクトの前記第１対象部位が移動し、前記第５対象部位を基準として前記第４対象部位が移動する、
請求項２乃至６のいずれか一項に記載のオブジェクト姿勢制御プログラム。 setting a movable fourth target portion of the object that is different from the first target portion and the second target portion;
setting a fifth target site connected to the fourth target site;
The first target part of the object moves with respect to the second target part, and the fourth target part moves with respect to the fifth target part, based on the information about the movement of the information processing device.
7. The object attitude control program according to any one of claims 2 to 6 .
前記第４対象部位に連結された第５対象部位を設定し、
前記第１対象部位の移動に基づき、前記第５対象部位を基準として前記第４対象部位が移動する、
請求項２乃至７のいずれか一項に記載のオブジェクト姿勢制御プログラム。 setting as a fourth target portion when the first target portion of the object moves and contacts a movable portion different from the first target portion and the second target portion;
setting a fifth target site connected to the fourth target site;
Based on the movement of the first target part, the fourth target part moves with respect to the fifth target part.
8. The object attitude control program according to any one of claims 2 to 7 .
複数の連動する部位を有する前記オブジェクトを表示部に表示し、
情報処理装置の動きに関する情報に基づいて、前記複数の連動する部位のうち一部を移動するように前記オブジェクトの姿勢を制御し、
前記表示部に表示されたオブジェクトの一部がタッチ操作されたときに入力された情報に基づいて、前記複数の連動する部位のうち一部の対象部位を設定するオブジェクト姿勢制御システム。 An object attitude control system that controls the attitude of an object placed in a virtual space,
displaying the object having a plurality of interlocking parts on the display unit;
controlling the posture of the object so as to move a part of the plurality of interlocking parts based on information about the movement of the information processing device ;
An object posture control system for setting a part of target parts among the plurality of interlocking parts based on information input when a part of the object displayed on the display unit is touch-operated.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019057267A JP7284385B2 (en) | 2019-03-25 | 2019-03-25 | Object attitude control program and object attitude control system |
| JP2023077396A JP2023099603A (en) | 2019-03-25 | 2023-05-09 | Object posture control program and object posture control system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019057267A JP7284385B2 (en) | 2019-03-25 | 2019-03-25 | Object attitude control program and object attitude control system |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023077396A Division JP2023099603A (en) | 2019-03-25 | 2023-05-09 | Object posture control program and object posture control system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020160615A JP2020160615A (en) | 2020-10-01 |
| JP7284385B2 true JP7284385B2 (en) | 2023-05-31 |
Family
ID=72643386
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019057267A Active JP7284385B2 (en) | 2019-03-25 | 2019-03-25 | Object attitude control program and object attitude control system |
| JP2023077396A Pending JP2023099603A (en) | 2019-03-25 | 2023-05-09 | Object posture control program and object posture control system |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023077396A Pending JP2023099603A (en) | 2019-03-25 | 2023-05-09 | Object posture control program and object posture control system |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7284385B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7437484B1 (en) | 2022-11-16 | 2024-02-22 | 株式会社バンダイ | Computer program, information processing terminal, and its control method |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017055851A (en) | 2015-09-14 | 2017-03-23 | 株式会社コーエーテクモゲームス | Information processing device, display control method, and display control program |
-
2019
- 2019-03-25 JP JP2019057267A patent/JP7284385B2/en active Active
-
2023
- 2023-05-09 JP JP2023077396A patent/JP2023099603A/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017055851A (en) | 2015-09-14 | 2017-03-23 | 株式会社コーエーテクモゲームス | Information processing device, display control method, and display control program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020160615A (en) | 2020-10-01 |
| JP2023099603A (en) | 2023-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10384348B2 (en) | Robot apparatus, method for controlling the same, and computer program | |
| CN110476168B (en) | Method and system for hand tracking | |
| US20180136806A1 (en) | Display control apparatus, display control method, and program | |
| JP6526098B2 (en) | Operating device for operating a robot, robot system, and operating method | |
| KR20140130675A (en) | Image processing device, and computer program product | |
| US10254847B2 (en) | Device interaction with spatially aware gestures | |
| US20150273689A1 (en) | Robot control device, robot, robotic system, teaching method, and program | |
| US9753539B2 (en) | Method, device, system and non-transitory computer-readable recording medium for providing user interface | |
| JP7078234B2 (en) | How to create a 3D object to be placed in augmented reality space | |
| JP2023099603A (en) | Object posture control program and object posture control system | |
| KR102021851B1 (en) | Method for processing interaction between object and user of virtual reality environment | |
| Wilk et al. | Wearable human computer interface for control within immersive VAMR gaming environments using data glove and hand gestures | |
| US10175767B2 (en) | Method, device, system and non-transitory computer-readable recording medium for providing user interface | |
| JP7299478B2 (en) | Object attitude control program and information processing device | |
| JP2016225875A (en) | Travel apparatus operation terminal, travel apparatus operation method and travel apparatus operation program | |
| US20190163342A1 (en) | Information processing system, information processing method, and program | |
| WO2022249226A1 (en) | Robot teaching device, robot control system, robot teaching method, and robot teaching program | |
| US20170212582A1 (en) | User interface selection | |
| TWI815593B (en) | Method and system for detecting hand gesture, and computer readable storage medium | |
| JP6523509B1 (en) | Game program, method, and information processing apparatus | |
| Tartari et al. | Global interaction space for user interaction with a room of computers | |
| Horiuchi et al. | Short range fingertip pointing operation interface by depth camera | |
| US10437463B2 (en) | Motion-based graphical input system | |
| JP6279148B1 (en) | Communication terminal and communication system | |
| KR20170089300A (en) | A method of digitizer function offer using the camera of a smartphone |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230418 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230501 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7284385 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |