JP7182324B1 - Program, information processing device and method - Google Patents
Program, information processing device and method Download PDFInfo
- Publication number
- JP7182324B1 JP7182324B1 JP2022039127A JP2022039127A JP7182324B1 JP 7182324 B1 JP7182324 B1 JP 7182324B1 JP 2022039127 A JP2022039127 A JP 2022039127A JP 2022039127 A JP2022039127 A JP 2022039127A JP 7182324 B1 JP7182324 B1 JP 7182324B1
- Authority
- JP
- Japan
- Prior art keywords
- pointer
- person
- screen
- hand
- icon
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 11
- 230000010365 information processing Effects 0.000 title claims description 5
- 230000033001 locomotion Effects 0.000 claims abstract description 80
- 230000006870 function Effects 0.000 claims abstract description 37
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 59
- 238000004891 communication Methods 0.000 description 32
- 230000009471 action Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
【課題】仮想空間上で各種サービスの提供を受けるための操作を容易にする技術を提供する。【解決手段】アバターサービス提供システム１の端末装置１０は、その機能として、動いている人物をカメラで撮影した撮影画像を取得するステップと、取得した撮影画像を解析し、解析結果に基づき人物の骨格情報を特定するステップと、特定した骨格情報から人物の手の骨格情報を抽出するステップと、画面上に、手を模した手画像を表示させるステップと、抽出した人物の手の骨格情報に基づき、人物の手の動作に合わせて手画像を動かすように制御するステップと、手画像の所定の動作を検出して当該所定の動作に関連付けられた機能を実行させるステップと、を実行させる。【選択図】図６A technique for facilitating operations for receiving various services in a virtual space is provided. A terminal device 10 of an avatar service providing system 1 has, as its functions, a step of obtaining a photographed image of a moving person photographed with a camera, an analysis of the obtained photographed image, and a determination of the person based on the analysis result. a step of identifying skeletal information; a step of extracting skeletal information of a person's hand from the identified skeletal information; a step of displaying a hand image imitating a hand on a screen; Based on this, the steps of controlling to move the hand image in accordance with the movement of the hand of the person, and the step of detecting a predetermined movement of the hand image and executing a function associated with the predetermined movement are executed. [Selection drawing] Fig. 6
Description
本開示は、プログラム、情報処理装置及び方法に関する。 The present disclosure relates to programs, information processing apparatuses, and methods.
昨今、スマートフォン等の携帯端末が備えるカメラを利用して人物を撮影し、仮想空間において撮影された人物に関連付けられたキャラクタであるアバターを表示し、仮想空間上で各種サービスを提供することが行われている。このようなサービスは、実際の人物の外観を表示させずに各種サービスを提供するため、当該人物の外観を不特定のユーザに晒すことなく各種サービスの提供を受けることが可能であるため、一定のユーザにより利用されている。 In recent years, it has been practiced to take a picture of a person using a camera provided in a mobile terminal such as a smartphone, display an avatar, which is a character associated with the person photographed in a virtual space, and provide various services in the virtual space. It is Such services provide various services without displaying the appearance of the actual person. of users.
特許文献１には、ユーザーアカウントに関連したアバター情報および骨格情報に基づいて人物オブジェクトがアバターに代替された合成画像を生成する技術が開示されている。
ところで、仮想空間において、携帯端末で撮影された人物のアバターをリアルタイムで表示し、仮想空間上で各種サービスの提供を受ける場合、他の者により携帯端末を操作して当該各種サービスの提供を開始する、終了する等の操作をするか、当該人物が自身で操作する必要があった。そのため、このようなサービスの提供を受けるために煩わしい操作が必要となっていた。 By the way, in the virtual space, when a person's avatar photographed by a mobile terminal is displayed in real time and various services are provided in the virtual space, the mobile terminal is operated by another person to start providing the various services. It was necessary to perform an operation such as start or end, or the person in question had to operate by himself/herself. Therefore, troublesome operations have been required to receive such services.
そこで、本開示では、仮想空間上で各種サービスの提供を受けるための操作を容易にする技術について説明する。 Therefore, in the present disclosure, a technique for facilitating operations for receiving various services in virtual space will be described.
本開示の一実施形態によると、プロセッサと、メモリとを備えるコンピュータに実行させ、画面上に表示させる画像を生成するためのプログラムが提供される。プログラムは、プロセッサに、動いている人物をカメラで撮影した撮影画像を取得するステップと、取得した撮影画像を解析し、解析結果に基づき人物の骨格情報を特定するステップと、特定した骨格情報から人物の手の骨格情報を抽出するステップと、画面上に、手を模した手画像を表示させるステップと、抽出した人物の手の骨格情報に基づき、人物の手の動作に合わせて手画像を動かすように制御するステップと、手画像の所定の動作を検出して当該所定の動作に関連付けられた機能を実行させるステップと、を実行させる。 According to one embodiment of the present disclosure, there is provided a program for generating an image to be displayed on a screen, which is executed by a computer having a processor and memory. The program instructs the processor to obtain a photographed image of a person in motion taken by a camera, analyze the obtained photographed image, identify skeleton information of the person based on the analysis results, and perform a step of extracting skeleton information of a person's hand; a step of displaying a hand image imitating a hand on a screen; and a step of detecting a predetermined motion of the hand image and causing a function associated with the predetermined motion to be executed.
本開示によれば、撮影した人物の手の動作に合わせて手画像を動かすように制御し、手画像の所定の動作を検出して当該所定の動作に関連付けられた機能を実行させる。これにより、仮想空間上で各種サービスの提供を受けるための操作を容易にすることが可能になる。 According to the present disclosure, the hand image is controlled to move according to the movement of the hand of the photographed person, the predetermined movement of the hand image is detected, and the function associated with the predetermined movement is executed. This makes it possible to facilitate the operation for receiving various services in the virtual space.
以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称及び機能も同じである。従って、それらについての詳細な説明は繰り返さない。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. In the following description, the same parts are given the same reference numerals. Their names and functions are also the same. Therefore, a detailed description thereof will not be repeated.
＜概要＞
以下、本開示に係るアバターサービス提供システムについて説明する。このアバターサービス提供システムは、スマートフォン等の携帯端末が備えるカメラを利用して人物を撮影し、仮想空間において撮影された人物に関連付けられたキャラクタであるアバターを表示し、仮想空間上で各種サービスを提供するするためのシステムである。仮想空間上で提供される各種サービスとは、例えば、アバターをユーザの動きにより操作して行うゲームのようなエンターテインメント、複数のアバターをそれぞれのユーザの動きにより表示させて行うオンラインフィットネスサービス、複数のアバターによるコミュニケーションサービス等が挙げられる。本開示に係るアバターサービス提供システムは、このようなユーザを投影したアバターを介して行う各種サービスを、例えばＷｅｂサービスとして提供するシステムであり、クラウドサーバ等によりＷｅｂサービスとして、いわゆるＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）によって提供されるシステムである。または、アバターサービス提供システムは、このようなユーザを投影したアバターを介して行う各種サービスを、例えばスマートフォン等の携帯端末によって（Ｗｅｂサーバを介してもよく、介さなくてもよい）提供されるシステムである。
<Overview>
An avatar service providing system according to the present disclosure will be described below. This avatar service providing system takes a picture of a person using a camera equipped with a mobile terminal such as a smartphone, displays an avatar, which is a character associated with the person photographed in the virtual space, and provides various services in the virtual space. It is a system for providing. The various services provided in the virtual space include, for example, entertainment such as games in which avatars are operated by the user's movements, online fitness services in which multiple avatars are displayed according to the movements of each user, and multiple Communication services using avatars, etc., can be mentioned. The avatar service providing system according to the present disclosure is a system that provides various services performed through such an avatar that projects a user, for example, as a Web service. Service). Alternatively, the avatar service providing system is a system that provides various services performed through such an avatar projecting a user by a mobile terminal such as a smartphone (either via a web server or not). is.
図１は、本開示に係るアバターサービス提供システムの概略を示す構成図である。図１に示すように、アバターサービス提供システムは、スマートフォン等の端末装置１０と、表示画面３０とを含む。端末装置１０は、スマートフォン、タブレット等の携帯端末である。表示画面３０は、ディスプレイ、テレビジョン、プロジェクタ等の画像表示装置であり、一定の離れた位置で見ることが可能な大きさに構成されている。端末装置１０は、有線または無線の通信手段を介して表示画面３０と通信可能に接続される。このときの通信手段の例は、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）等の規格による通信ケーブル、Ｍｉｒａｃａｓｔ（登録商標）、ＷｉＤｉ、ＡｉｒＰｌａｙ（登録商標）等の規格による無線通信が挙げられるが、これらに限定されない。端末装置１０のディスプレイ１３２には仮想空間が表示されており、端末装置１０で人物Ｈを撮影すると、端末装置１０のディスプレイ１３２に表示されている仮想空間上に、人物Ｈに関連付けられたキャラクタであるアバターＡが表示される。このとき、例えば、端末装置１０を横向きに撮影し、表示画面３０のアスペクト比（縦横比）に近似するようにしてもよい。また、表示画面３０にも、仮想空間とアバターＡが表示される。アバターＡは、人物Ｈの身体の動きに対応して動くように構成されており、アバターＡの動きにより各種サービスが提供される。さらに、アバターＡの情報はＷｅｂサーバ等により共有されてもよく、共有されている複数のアバターＡが表示画面３０に表示されて各種サービスが提供されてもよい。
FIG. 1 is a configuration diagram showing an outline of an avatar service providing system according to the present disclosure. As shown in FIG. 1 , the avatar service providing system includes a
ここで、端末装置１０で人物Ｈの身体の動きを撮影しようとすると、人物Ｈから一定の離隔した距離で撮影する必要がある。その状態で、各種サービスの提供を開始するためには端末装置１０を操作する必要があり、人物Ｈが１人で行っている場合、人物Ｈが端末装置１０の位置まで移動して端末装置１０を操作し、各種サービスの提供を開始させ、さらに端末装置１０から離隔した位置に戻る必要があり、人物Ｈにとって煩わしい操作が必要となっていた。
Here, when trying to photograph the movement of the body of the person H with the
そのため、本開示に係るアバターサービス提供システムでは、各種サービスの提供開始前の状態で、手を模した手画像を表示させて人物Ｈの手の動作に合わせて手画像を動かすように制御し、手画像の動作により各種サービスの提供を開始できるようにしている。例えば、表示画面３０に各種サービスの提供を開始させるためのアイコンを表示させ、手画像の動作によりアイコンを選択し、実行させることが可能になるように構成している。そのため、人物Ｈは端末装置１０の位置まで戻って操作する必要がなくなり、煩わしい操作を不要にしている。これにより、アバターサービス提供システムによる各種サービスの提供がスムーズに行われることを可能にしている。
Therefore, in the avatar service providing system according to the present disclosure, before the start of provision of various services, a hand image imitating a hand is displayed, and the hand image is controlled to move in accordance with the movement of the hand of the person H, Various services can be started by the action of the hand image. For example, an icon for starting the provision of various services is displayed on the
また、本開示に係るアバターサービス提供システムでは、手画像の動作により各種サービスを提供するためのメニュー画面を操作できるようにしている。具体的には、表示画面３０に各種サービスの提供を開始するためのアイコンが複数表示され、１画面では表示しきれないような場合に２画面以上で表示させる場合があり、そのような場合に複数画面間でスクロールさせることを可能にしている。これにより、煩わしい操作を不要にし、アバターサービス提供システムによる各種サービスの提供がスムーズに行われることを可能にしている。
In addition, in the avatar service providing system according to the present disclosure, it is possible to operate a menu screen for providing various services by actions of hand images. Specifically, when a plurality of icons for starting the provision of various services are displayed on the
＜第１の実施の形態＞
以下、アバターサービス提供システム１について説明する。以下の説明では、例えば、端末装置１０がサーバ２０へアクセスすることにより、サーバ２０が、端末装置１０で画面を生成するための情報を応答する。端末装置１０は、サーバ２０から受信した情報に基づいて画面を生成し表示する。
<First embodiment>
The avatar
＜１ アバターサービス提供システム１の全体構成＞
図２は、アバターサービス提供システム１の全体の構成を示す構成図である。図２に示すように、アバターサービス提供システム１は、複数の端末装置（図２では、端末装置１０Ａ及び端末装置１０Ｂを示している。以下、総称して「端末装置１０」ということもある）と、サーバ２０とを含む。端末装置１０とサーバ２０とは、ネットワーク８０を介して相互に通信可能に接続されている。ネットワーク８０は、有線または無線ネットワークにより構成される。また、端末装置１０は、図１に示すように表示画面３０と通信可能に接続されるが、図２では図示を省略する。
<1 Overall Configuration of Avatar
FIG. 2 is a configuration diagram showing the overall configuration of the avatar
端末装置１０は、各ユーザが操作する装置である。端末装置１０は、移動体通信システムに対応したスマートフォン、タブレット等の携帯端末等により実現される。この他、端末装置１０は、例えば持ち運び可能なノートＰＣ（Personal Computer）、ラップトップＰＣ、デスクトップＰＣ、スマートＴＶであるとしてもよい。端末装置１０を操作するユーザとは、アバターサービス提供システム１において仮想空間上にアバターを表示させて各種サービスの提供を受ける者であり、例えば、アバターサービス提供システム１に会員登録している者である。
The
端末装置１０は、ネットワーク８０を介してサーバ２０と通信可能に接続される。端末装置１０は、４Ｇ、５Ｇ、ＬＴＥ（Long Term Evolution）等の通信規格に対応した無線基地局８１、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１等の無線ＬＡＮ（Local Area Network）規格に対応した無線ＬＡＮルータ８２等の通信機器と通信することにより、ネットワーク８０に接続される。図２に端末装置１０Ｂとして示すように、端末装置１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、記憶部１６と、プロセッサ１９とを備える。
The
通信ＩＦ１２は、端末装置１０が外部の装置と通信するため、信号を入出力するためのインタフェースである。入力装置１３は、ユーザからの入力操作を受け付けるための入力装置（例えば、タッチパネルや、タッチパッド、キーボード、マウス等のポインティングデバイス等）である。出力装置１４は、ユーザに対し情報を提示するための出力装置（ディスプレイ、スピーカ等）である。メモリ１５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。記憶部１６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。プロセッサ１９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。
The communication IF 12 is an interface for inputting and outputting signals so that the
サーバ２０は、ユーザから各種サービスの提供を受けるための入力を受け付け、仮想空間上にアバターを表示して仮想空間上で各種サービスを提供するサービスをＷｅｂサービスとして配信して提供する装置である。なお、アバターサービス提供システム１は、端末装置１０のみで各種サービスを提供してもよく、この場合、サーバ２０は必須の構成ではない。
The
サーバ２０は、ネットワーク８０に接続されたコンピュータである。サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２９とを備える。
通信ＩＦ２２は、サーバ２０が外部の装置と通信するため、信号を入出力するためのインタフェースである。入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、及び、ユーザに対し情報を提示するための出力装置とのインタフェースとして機能する。メモリ２５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。ストレージ２６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。プロセッサ２９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。
The communication IF 22 is an interface for inputting and outputting signals for the
＜１．１ 端末装置１０の構成＞
図３は、実施の形態１のアバターサービス提供システム１を構成する端末装置１０の機能的な構成を示すブロック図である。図３に示すように、端末装置１０は、複数のアンテナ（アンテナ１１１、アンテナ１１２）と、各アンテナに対応する無線通信部（第１無線通信部１２１、第２無線通信部１２２）と、操作受付部１３０（タッチ・センシティブ・デバイス１３１及びディスプレイ１３２を含む）と、音声処理部１４０と、マイク１４１と、スピーカ１４２と、位置情報センサ１５０と、カメラ１６０と、記憶部１７０と、制御部１８０とを含む。端末装置１０は、図３では特に図示していない機能及び構成（例えば、電力を保持するためのバッテリー、バッテリーから各回路への電力の供給を制御する電力供給回路等）も有している。図３に示すように、端末装置１０に含まれる各ブロックは、バス等により電気的に接続される。
<1.1 Configuration of
FIG. 3 is a block diagram showing a functional configuration of the
アンテナ１１１は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１１は、空間から電波を受信して受信信号を第１無線通信部１２１へ与える。
The
アンテナ１１２は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１２は、空間から電波を受信して受信信号を第２無線通信部１２２へ与える。
The
第１無線通信部１２１は、端末装置１０が他の無線機器と通信するため、アンテナ１１１を介して信号を送受信するための変復調処理等を行う。第２無線通信部１２２は、端末装置１０が他の無線機器と通信するため、アンテナ１１２を介して信号を送受信するための変復調処理等を行う。第１無線通信部１２１と第２無線通信部１２２とは、チューナー、ＲＳＳＩ（Received Signal Strength Indicator）算出回路、ＣＲＣ（Cyclic Redundancy Check）算出回路、高周波回路等を含む通信モジュールである。第１無線通信部１２１と第２無線通信部１２２とは、端末装置１０が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部１８０へ与える。
The first
操作受付部１３０は、ユーザの入力操作を受け付けるための機構を有する。具体的には、操作受付部１３０は、タッチスクリーンとして構成され、タッチ・センシティブ・デバイス１３１と、ディスプレイ１３２とを含む。なお、操作受付部１３０は、例えばキーボードやマウス等により構成してもよい。
The
タッチ・センシティブ・デバイス１３１は、端末装置１０のユーザの入力操作を受け付ける。タッチ・センシティブ・デバイス１３１は、例えば静電容量方式のタッチパネルを用いることによって、タッチパネルに対するユーザの接触位置を検出する。タッチ・センシティブ・デバイス１３１は、タッチパネルにより検出したユーザの接触位置を示す信号を入力操作として制御部１８０へ出力する。
The touch-sensitive device 131 receives input operations of the user of the
ディスプレイ１３２は、制御部１８０の制御に応じて、画像、動画、テキストなどのデータを表示する。ディスプレイ１３２は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイによって実現される。
The
音声処理部１４０は、音声信号の変復調を行う。音声処理部１４０は、マイク１４１から与えられる信号を変調して、変調後の信号を制御部１８０へ与える。また、音声処理部１４０は、音声信号をスピーカ１４２へ与える。音声処理部１４０は、例えば音声処理用のプロセッサによって実現される。マイク１４１は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部１４０へ与える。スピーカ１４２は、音声処理部１４０から与えられる音声信号を音声に変換して当該音声を端末装置１０の外部へ出力する。
The
位置情報センサ１５０は、端末装置１０の位置を検出するセンサであり、例えばＧＰＳ（Global Positioning System）モジュールである。ＧＰＳモジュールは、衛星測位システムで用いられる受信装置である。衛星測位システムでは、少なくとも３個または４個の衛星からの信号を受信し、受信した信号に基づいて、ＧＰＳモジュールが搭載される端末装置１０の現在位置を検出する。
The
カメラ１６０は、受光素子により光を受光して、撮影画像として出力するためのデバイスである。カメラ１６０は、例えば、カメラ１６０から撮影対象までの距離を検出できるデバイスである。
The
記憶部１７０は、例えばフラッシュメモリ等により構成され、端末装置１０が使用するデータ及びプログラムを記憶する。ある局面において、記憶部１７０は、ユーザ情報１７１を記憶する。
The
ユーザ情報１７１は、端末装置１０を使用してアバターサービス提供システム１の機能である、仮想空間上にアバターを表示させて各種サービスの提供を受けるユーザの情報である。ユーザの情報としては、ユーザを識別する情報（ユーザＩＤ）やパスワード、ユーザの氏名や名称、仮称等の情報、アバターの画像情報等が含まれる。
The
制御部１８０は、記憶部１７０に記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、端末装置１０の動作を制御する。制御部１８０は、例えば予め端末装置１０にインストールされているアプリケーションである。制御部１８０は、プログラムに従って動作することにより、入力操作受付部１８１と、送受信部１８２と、通知制御部１８３と、データ処理部１８４としての機能を発揮する。
The
入力操作受付部１８１は、タッチ・センシティブ・デバイス１３１等の入力装置に対するユーザの入力操作を受け付ける処理を行う。入力操作受付部１８１は、タッチ・センシティブ・デバイス１３１に対してユーザが自己の指等を接触させた座標の情報に基づき、ユーザの操作がフリック操作であるか、タップ操作であるか、ドラッグ（スワイプ）操作であるか等の操作の種別を判定する。また、入力操作受付部１８１は、マイク１４１からのユーザの音声を受け付ける処理を行う。
The input operation reception unit 181 performs processing for receiving a user's input operation to the input device such as the touch sensitive device 131 . The input operation reception unit 181 determines whether the user's operation is a flick operation, a tap operation, a drag ( swipe) operation is determined. Further, the input operation reception unit 181 performs processing for receiving the user's voice from the
送受信部１８２は、端末装置１０が、サーバ２０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。
The transmission/
通知制御部１８３は、ユーザに対し情報を提示する処理を行う。通知制御部１８３は、表示画像をディスプレイ１３２に表示させる処理、音声をスピーカ１４２に出力させる処理等を行う。
The
データ処理部１８４は、端末装置１０が入力を受け付けたデータに対し、プログラムに従って演算を行い、演算結果をメモリ等に出力する処理を行う。
The
また、データ処理部１８４は、端末装置１０のプロセッサ１９がプログラムに従って処理を行うことにより、各種モジュールとして、動いている人物をカメラで撮影した撮影画像を取得し、取得した撮影画像を解析して解析結果に基づき人物の骨格情報を特定し、特定した骨格情報から人物の手の骨格情報を抽出し、画面上に手を模した手画像を表示させ、抽出した人物の手の骨格情報に基づき人物の手の動作に合わせて手画像を動かすように制御し、手画像の所定の動作を検出して当該所定の動作に関連付けられた機能を実行させる機能を発揮する。さらに、データ処理部１８４は、所定のアイコンを表示させ、手画像のアイコンに対する所定の動作を検出すると、アイコンを選択状態にし、またはアイコンに関連付けられた機能を発揮するように構成してもよい。
Further, the
＜１．２ サーバ２０の機能的な構成＞
図４は、実施の形態１のアバターサービス提供システム１を構成するサーバ２０の機能的な構成を示すブロック図である。図４に示すように、サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。
<1.2 Functional Configuration of
FIG. 4 is a block diagram showing a functional configuration of
通信部２０１は、サーバ２０が外部の装置と通信するための処理を行う。
The
記憶部２０２は、サーバ２０が使用するデータ及びプログラムを記憶する。記憶部２０２は、ユーザデータベース２０２１等を記憶する。
The
ユーザデータベース２０２１は、アバターサービス提供システム１において、仮想空間上にアバターを表示させて各種サービスの提供を受けるユーザに関する情報を保持するためのデータベースである。ユーザに関する情報としては、ユーザを識別する情報（ユーザＩＤ）やパスワード、ユーザの氏名や名称、仮称等の情報、アバターの画像情報等が含まれる。
The
制御部２０３は、サーバ２０のプロセッサがプログラムに従って処理を行うことにより、各種モジュールとして受信制御モジュール２０３１、送信制御モジュール２０３２、ユーザ認証モジュール２０３３に示す機能を発揮する。
The processor of the
受信制御モジュール２０３１は、サーバ２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。
The
送信制御モジュール２０３２は、サーバ２０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。
The
ユーザ認証モジュール２０３３は、サーバ２０にアクセスするユーザが正当なユーザであることを認証する処理を制御する。ユーザ認証モジュール２０３３によるユーザの認証は、例えば、ユーザＩＤが登録されていること、当該ユーザＩＤのパスワードとして登録されているパスワードと同一のパスワードが入力されたこと、等により行われる。
The
＜２ 動作＞
以下、図５ないし図７を参照しながら、第１の実施の形態におけるアバターサービス提供システム１によるユーザ認証処理、手画像移動処理、及びアイコン制御処理について説明する。
<2 Operation>
User authentication processing, hand image movement processing, and icon control processing by the avatar
図５は、実施の形態１のアバターサービス提供システム１によるユーザ認証処理を行う流れの一例を示すフローチャートである。なお、アバターサービス提供システム１は、端末装置１０のみで各種サービスを提供してもよく、この場合、図５に示すユーザ認証処理は行わなくてもよい。
FIG. 5 is a flow chart showing an example of the flow of user authentication processing by the avatar
ステップＳ１１１において、端末装置１０の入力操作受付部１８１は、ユーザの操作によりアバターサービス提供システム１の専用アプリケーションを起動する。送受信部１８２は、ユーザＩＤ、パスワード等のユーザの情報を、サーバ２０へ送信する。送受信部１８２は、サーバ２０から送信された、仮想空間上にアバターを表示させて各種サービスの提供を受けるための各種情報を受け付ける。通知制御部１８３は、受け付けた各種情報を、ディスプレイ１３２に表示させる。
In step S111, the input operation receiving unit 181 of the
ステップＳ１２１において、サーバ２０のユーザ認証モジュール２０３３は、端末装置１０から送信されたユーザの情報を、通信部２０１を介して受け付ける。サーバ２０のユーザ認証モジュール２０３３は、受け付けたユーザの情報が正当なユーザからのものであることを認証する。サーバ２０は、受け付けたユーザの情報が正当なものであると判定した場合、仮想空間上にアバターを表示させて各種サービスを提供するための各種情報を当該ユーザの端末装置１０のディスプレイ１３２に表示させるため、端末装置１０へ通信部２０１を介して送信する。
In step S<b>121 , the
図６は、実施の形態１のアバターサービス提供システム１による手画像移動処理を行う流れの一例を示すフローチャートである。
FIG. 6 is a flow chart showing an example of the flow of hand image movement processing by the avatar
ステップＳ２１１において、端末装置１０のデータ処理部１８４は、ユーザの操作により動いている人物をカメラ１６０で撮影した撮影画像を取得する。例えば、データ処理部１８４は、図１に示すように、端末装置１０がカメラ１６０のレンズ部分が人物Ｈの方向に向けられた状態で固定され、アバターサービス提供システム１の専用アプリケーションにより人物Ｈを撮影した撮影画像、例えば動画を取得する。なお、このとき、人物Ｈを撮影する装置は端末装置１０のカメラ１６０に限られず、外部装置としてのカメラであってもよく、例えば、ＬＩＤＡＲ（Light Detection and Ranging）カメラ（センサ）、光学式または機械式（Inertial Measurement Unit）のモーションキャプチャシステム等であってもよい。端末装置１０のデータ処理部１８４は、撮影画像を画像データとして記憶部１７０に記憶させる。
In step S<b>211 , the
ステップＳ２１２において、端末装置１０のデータ処理部１８４は、ステップＳ２１１で取得した撮影画像に基づく画像データを解析し、解析結果に基づき、撮影された人物の骨格情報を特定する。例えば、データ処理部１８４は、画像データの解析により、撮影画像の人物を、既知の画像認識技術を用いて身体の部位を特定し、それぞれの身体の部位を示す点の間を直線で結び、点と線で得られた情報を骨格情報とする。データ処理部１８４は、撮影画像における点の位置を撮影画像における座標の情報とする。この点は、例えば身体の関節部分に配置され、身体の動きに合わせて直線部分との角度を変更するように構成される。このような構成により、身体の動きを点と直線とで表現することを可能にしている。端末装置１０のデータ処理部１８４は、特定した骨格情報を記憶部１７０に記憶させる。
In step S212, the
ステップＳ２１３において、端末装置１０のデータ処理部１８４は、ステップＳ２１２で特定した骨格情報から、撮影された人物の手の骨格情報を抽出する。例えば、データ処理部１８４は、画像データの解析により、撮影画像の人物の手の部分を特定し、手の部分に配置された点の情報、例えば点の座標の情報を抽出する。
In step S213, the
ステップＳ２１４において、端末装置１０のデータ処理部１８４は、画面上に手を模した手画像を表示させる。手画像は、例えば人間の手の形状を模した画像であるが、画面上のどこを指し示しているかを認識できるような形状であればよく、矢印のような形状であってもよい。また、手画像の画像データは、記憶部１７０に記憶されたものである。端末装置１０のデータ処理部１８４は、手画像を、ディスプレイ１３２に表示させると共に、図１に示すような表示画面３０に表示させる。表示させる手画像は、両手のものでもよく、左右どちらか一方の片手のものでもよい。
In step S214, the
ステップＳ２１５において、端末装置１０のデータ処理部１８４は、抽出した人物の手の骨格情報に基づき、人物の手の動作に合わせて、ステップＳ２１４で表示させた手画像を動かすように制御する。
In step S215, the
以上のように、アバターサービス提供システム１では、画面上に手を模した手画像を表示させ、人物の手の動作に合わせて手画像を動かすように制御する。
As described above, the avatar
図７は、実施の形態１のアバターサービス提供システム１によるアイコン制御処理を行う流れの例を示すフローチャートである。
FIG. 7 is a flow chart showing an example of the flow of icon control processing by the avatar
ステップＳ３１１において、端末装置１０のデータ処理部１８４は、画面上に所定のアイコンを表示させる。このアイコンは、画面上でアバターサービス提供システム１が提供する各種サービスの提供を開始するためのアイコンであり、手画像により選択され、アイコンに関連付けられた機能（各種サービス）を実行させるものである。
In step S311, the
ステップＳ３１２において、端末装置１０のデータ処理部１８４は、画面上における手画像の位置と、アイコンの位置とを検出する。例えば、データ処理部１８４は、画面上における手画像の位置を、画面上における座標位置の情報として、人物の手の動きに合わせて随時検出する。また、データ処理部１８４は、画面上におけるアイコンの位置を、画面上における座標位置の情報として検出する。
In step S312, the
ステップＳ３１３において、端末装置１０のデータ処理部１８４は、手画像のアイコンに対する所定の動作、例えば画面上における手画像の位置とアイコンの位置とが一致したことを検出すると、アイコンを選択状態にし、またはアイコンに関連付けられた機能を実行する。例えば、データ処理部１８４は、画面上における両手の手画像のうち、片手の手画像の位置がアイコンの位置と一致したことを検出すると、アイコンを選択状態（選択だけされた状態であり、機能は実行されない状態）にする。また、データ処理部１８４は、画面上における両手の手画像の両方の手画像の位置がアイコンの位置と一致したことを検出すると、アイコンを実行状態（アイコンに関連付けられた機能を実行させる状態）にする。
In step S313, when the
以上のように、アバターサービス提供システム１では、各種サービスの提供を開始させるためのアイコンを表示させ、手画像の動作によりアイコンを選択し、実行させることが可能になるように構成する。これにより、ユーザは端末装置１０の位置まで戻って操作する必要がなくなり、煩わしい操作を不要にしている。
As described above, the avatar
なお、手画像による操作の他の例として、手画像を上下左右方向に移動する動作を検出すると、画面上に表示されている画像をスクロールさせるように構成してもよい。これにより、ユーザは端末装置１０の位置まで戻って操作する必要がなくなり、煩わしい操作を不要にしている。
As another example of an operation using a hand image, the image displayed on the screen may be scrolled when an action of moving the hand image in the vertical and horizontal directions is detected. This eliminates the need for the user to return to the position of the
＜３ 画面例＞
以下、図８ないし図１１を参照しながら、アバターサービス提供システム１における手画像による操作の画面例について説明する。
<3 Screen example>
Hereinafter, examples of screens for operations using hand images in the avatar
図８は、表示画面３０に手画像３１Ｌ，３１Ｒが表示された画面例を示す図である。図８の画面例は、図１に示す表示画面３０に、人物Ｈの手の動作に合わせて移動させる手画像が表示された画面例を示す。図６のステップＳ２１４に相当する。
FIG. 8 is a diagram showing a screen example in which
図８に示すように、端末装置１０のディスプレイ１３２には、人物Ｈに関連付けられ、人物Ｈの手の動作に合わせて移動させる手画像１３２Ｌ，１３２Ｒが表示されている。また、表示画面３０にも、人物Ｈの手の動作に合わせて移動させる手画像３１Ｌ，３１Ｒが表示されている。手画像３１Ｌ，３１Ｒは、それぞれ人物Ｈの左手の動作に合わせて移動させるもの、右手の動作に合わせて移動させるものである。なお、このとき、端末装置１０のディスプレイ１３２及び表示画面３０の背景には仮想空間が表示されていてもよいが、図示を省略する。
As shown in FIG. 8, the
人物Ｈが右手を動かすと、その動きに合わせて手画像３１Ｒが表示画面３０上で上下左右に移動する。同様に、人物Ｈが左手を動かすと、その動きに合わせて手画像３１Ｌが表示画面３０上で上下左右に移動する。これにより、人物Ｈの手の動きに合わせて手画像を動かすことが可能である。
When the person H moves his/her right hand, the
図９は、表示画面３０に表示されたアイコン３２が選択された画面例を示す図である。また、図１０は、表示画面３０に表示されたアイコン３２が実行された画面例を示す図である。図９及び図１０の画面例は、図１に示す表示画面３０に、人物Ｈの手の動作に合わせて移動させる手画像が表示され、各種サービスの提供を開始するためのアイコンが表示された画面例を示す。図７のステップＳ３１１に相当する。
FIG. 9 is a diagram showing a screen example in which the
図９及び図１０に示すように、表示画面３０には、人物Ｈの手の動作に合わせて移動させる手画像３１Ｌ，３１Ｒが表示されている。また、表示画面３０には、アイコン３２が表示されている。
As shown in FIGS. 9 and 10, the
人物Ｈの手の動きに合わせて手画像３１Ｌ，３１Ｒが動き、その画面上の位置が検出される。そして、図９に示す状態では、画面上における手画像３１Ｌ，３１Ｒのうちいずれか１つの位置と、アイコン３２の位置とが一致したことを検出する。このとき、アイコン３２は、選択状態になる。また、図１０に示す状態では、画面上における手画像３１Ｌ，３１Ｒの両方の位置と、アイコン３２の位置とが一致したことを検出する。このとき、アイコン３２は、実行状態になる。これにより、ユーザは端末装置１０の位置まで戻ることなく、アイコン３２を選択し、アイコン３２による機能を実行させることが可能である。
The
なお、アイコン３２を選択し、アイコン３２による機能を実行させる操作は、図９及び図１０に示す連とは限られない。例えば、手画像３１Ｌ，３１Ｒのいずれか一方の位置が一定時間以上アイコン３２の位置と一致した場合、アイコン３２を選択状態にし、手画像３１Ｌ，３１Ｒのいずれか一方の位置が一定時間以内に２回アイコン３２の位置と一致した場合（いわゆるダブルクリック）、アイコン３２による機能を実行させるように構成してもよい。
Note that the operation of selecting the
図１１は、表示画面３０に表示された手画像３１Ｌ，３１Ｒによる画面スクロールの画面例を示す図である。図１１の画面例は、図１に示す表示画面３０に、人物Ｈの手の動作に合わせて移動させる手画像が表示された画面例を示す。図７のステップＳ３１１に相当する。
FIG. 11 is a diagram showing a screen example of screen scrolling by the
図１１に示すように、表示画面３０には、人物Ｈの手の動作に合わせて移動させる手画像３１Ｌ，３１Ｒが表示されている。
As shown in FIG. 11, on the
人物Ｈの手の動きに合わせて手画像３１Ｌ，３１Ｒが動き、その画面上の位置が検出される。そして、図１１に示す状態では、手画像３１Ｌ，３１Ｒが矢印Ｘ方向にスライドするように移動したことを検出する。このとき、表示画面３０に表示されている画像を矢印Ｘ方向にスクロールさせる。これにより、ユーザは端末装置１０の位置まで戻ることなく、画面をスクロールさせる操作を実行させることが可能である。
The
＜小括＞
以上のように、本実施形態によると、手画像を表示させてユーザの手の動作に合わせて手画像を動かすように制御する。手画像の動作により、手画像が各種サービスの提供を開始させるためのアイコンを選択し、実行させることが可能になるように構成している。そのため、ユーザは端末装置の位置まで戻って操作する必要がなくなり、煩わしい操作を不要にしている。これにより、アバターサービス提供システムによる各種サービスの提供がスムーズに行われることを可能にしている。
<Summary>
As described above, according to the present embodiment, a hand image is displayed and controlled to move in accordance with the motion of the user's hand. It is configured so that the action of the hand image enables the hand image to select an icon for starting the provision of various services and execute them. Therefore, the user does not need to return to the position of the terminal device to operate it, thus eliminating troublesome operations. This enables smooth provision of various services by the avatar service providing system.
また、手画像の動作により各種サービスの提供を開始させ、画像をスクロールさせることを可能にしているが、スマートフォン等の携帯端末による入力や、音声認識技術による音声入力も受け付ける構成（マルチモーダル）にしてもよい。このような構成にすることにより、誤作動を防止し、状況に応じて操作を簡便にする手段を選択可能とする効果が得られる。 In addition, it is possible to start providing various services and scrolling images by moving the hand image, but it is also configured (multimodal) to accept input from mobile terminals such as smartphones and voice input using voice recognition technology. may With such a configuration, it is possible to prevent erroneous operation and to select means for simplifying the operation depending on the situation.
なお、本開示に係るアバターサービス提供システムは、手画像の動作により、画像をスクロールさせることが可能になるように構成している。そのため、ユーザは端末装置の位置まで戻って操作する必要がなくなり、煩わしい操作を不要にしている。これにより、アバターサービス提供システムによる各種サービスの提供がスムーズに行われることを可能にしている。 Note that the avatar service providing system according to the present disclosure is configured so that the image can be scrolled by the action of the hand image. Therefore, the user does not need to return to the position of the terminal device to operate it, thus eliminating troublesome operations. This enables smooth provision of various services by the avatar service providing system.
以上、開示に係る実施形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換及び変更を行なって実施することができる。これらの実施形態及び変形例ならびに省略、置換及び変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれる。 Although the disclosed embodiments have been described above, they can be implemented in various other forms, and can be implemented with various omissions, substitutions, and modifications. These embodiments, modifications, omissions, substitutions and changes are included in the technical scope of the claims and their equivalents.
＜付記＞
以上の各実施形態で説明した事項を、以下に付記する。
<Appendix>
The items described in each of the above embodiments will be added below.
（付記１）プロセッサ２９と、メモリ２５とを備えるコンピュータに実行させ、画面上に表示させる画像を生成するためのプログラムであって、プログラムは、プロセッサ２９に、動いている人物をカメラで撮影した撮影画像を取得するステップ（Ｓ２１１）と、取得した撮影画像を解析し、解析結果に基づき人物の骨格情報を特定するステップ（Ｓ２１２）と、特定した骨格情報から人物の手の骨格情報を抽出するステップ（Ｓ２１３）と、画面上に、手を模した手画像を表示させるステップ（Ｓ２１４）と、抽出した人物の手の骨格情報に基づき、人物の手の動作に合わせて手画像を動かすように制御するステップ（Ｓ２１５）と、手画像の所定の動作を検出して当該所定の動作に関連付けられた機能を実行させるステップ（Ｓ３１３）と、を実行させる、プログラム。
(Appendix 1) A program for generating an image to be displayed on a screen by causing a computer comprising a
（付記２）プログラムは、さらに、画面上に、所定のアイコンを表示させるステップ（Ｓ３１１）を実行させ、機能を実行させるステップにおいて、手画像の前記アイコンに対する所定の動作を検出すると、アイコンを選択状態にし、またはアイコンに関連付けられた機能を実行させる、（付記１）に記載のプログラム。
(Appendix 2) The program further executes a step (S311) of displaying a predetermined icon on the screen, and in the step of executing a function, when a predetermined action of the hand image on the icon is detected, the icon is selected. 1. The program of
（付記３）手画像を表示させるステップにおいて、片手または両手を模した手画像を表示させ、機能を実行させるステップにおいて、片手の手画像の所定の動作と、両手の手画像の所定の動作とで異なる機能を実行させる、（付記２）に記載のプログラム。 (Appendix 3) In the step of displaying a hand image, in the step of displaying a hand image simulating one hand or both hands, and in executing a function, a predetermined action of the hand image of one hand and a predetermined action of the hand image of both hands are performed. The program according to (Appendix 2), which executes different functions in .
（付記４）片手の手画像がアイコンに接触する動作を検出すると、アイコンを選択状態にし、両手の手画像がアイコンに接触する動作を検出すると、アイコンに関連付けられた機能を実行させる、（付記３）に記載のプログラム。 (Appendix 4) When the hand image of one hand detects the action of touching the icon, the icon is selected, and when the hand image of both hands detects the action of touching the icon, the function associated with the icon is executed. 3) The program described in 3).
（付記５）機能を実行させるステップにおいて、手画像が上下左右方向に移動する動作を検出すると、画面上に表示されている画像をスクロールさせる、（付記１）から（付記４）のいずれかに記載のプログラム。 (Appendix 5) Any one of (Appendix 1) to (Appendix 4), wherein, in the step of executing the function, the image displayed on the screen is scrolled when the motion of moving the hand image in the vertical and horizontal directions is detected. program as described.
（付記６）制御部１８０と、記憶部１７０とを備え、画面上に表示させる画像を生成する情報処理装置であって、制御部１８０は、動いている人物をカメラで撮影した撮影画像を取得するステップ（Ｓ２１１）と、取得した撮影画像を解析し、解析結果に基づき人物の骨格情報を特定するステップ（Ｓ２１２）と、特定した骨格情報から人物の手の骨格情報を抽出するステップ（Ｓ２１３）と、画面上に、手を模した手画像を表示させるステップ（Ｓ２１４）と、抽出した人物の手の骨格情報に基づき、人物の手の動作に合わせて手画像を動かすように制御するステップ（Ｓ２１５）と、手画像の所定の動作を検出して当該所定の動作に関連付けられた機能を実行させるステップ（Ｓ３１３）と、を実行する、情報処理装置。
(Appendix 6) An information processing apparatus that includes a
（付記７）プロセッサ２９と、メモリ２５とを備えるコンピュータにより実行され、画面上に表示させる画像を生成するための方法であって、方法は、プロセッサ２９が、動いている人物をカメラで撮影した撮影画像を取得するステップ（Ｓ２１１）と、取得した撮影画像を解析し、解析結果に基づき人物の骨格情報を特定するステップ（Ｓ２１２）と、特定した骨格情報から人物の手の骨格情報を抽出するステップ（Ｓ２１３）と、画面上に、手を模した手画像を表示させるステップ（Ｓ２１４）と、抽出した人物の手の骨格情報に基づき、人物の手の動作に合わせて手画像を動かすように制御するステップ（Ｓ２１５）と、手画像の所定の動作を検出して当該所定の動作に関連付けられた機能を実行させるステップ（Ｓ３１３）と、を実行する、方法。
(Appendix 7) A method for generating an image to be displayed on a screen, executed by a computer comprising a
１ ：アバターサービス提供システム
１０ ：端末装置
１０Ａ ：端末装置
１０Ｂ ：端末装置
１３ ：入力装置
１４ ：出力装置
１５ ：メモリ
１６ ：記憶部
１９ ：プロセッサ
２０ ：サーバ
２５ ：メモリ
２６ ：ストレージ
２９ ：プロセッサ
３０ ：表示画面
３１Ｌ ：手画像
３１Ｒ ：手画像
３２ ：アイコン
８０ ：ネットワーク
８１ ：無線基地局
８２ ：無線ＬＡＮルータ
１１１ ：アンテナ
１１２ ：アンテナ
１２１ ：第１無線通信部
１２２ ：第２無線通信部
１３０ ：操作受付部
１３１ ：デバイス
１３２ ：ディスプレイ
１４０ ：音声処理部
１４１ ：マイク
１４２ ：スピーカ
１５０ ：位置情報センサ
１６０ ：カメラ
１７０ ：記憶部
１７１ ：ユーザ情報
１８０ ：制御部
１８１ ：入力操作受付部
１８２ ：送受信部
１８３ ：通知制御部
１８４ ：データ処理部
２０１ ：通信部
２０２ ：記憶部
２０３ ：制御部
２０２１ ：ユーザデータベース
２０３１ ：受信制御モジュール
２０３２ ：送信制御モジュール
２０３３ ：ユーザ認証モジュール
1: Avatar service providing system 10:
Claims (7)
前記プログラムは、前記プロセッサに、
動いている人物をカメラで撮影した撮影画像を取得するステップと、
取得した前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定するステップと、
特定した前記骨格情報から前記人物の手の骨格情報を抽出するステップと、
前記画面上に、前記人物の右手に対応し、前記画面上における位置を示す第１のポインタと、前記人物の左手に対応し、前記画面上における位置を示す第２のポインタと、をそれぞれ表示させるステップと、
前記画面上に、所定のアイコンを表示させるステップと、
抽出した前記人物の右手及び左手の骨格情報に基づき、前記人物の右手の動作に合わせて前記第１のポインタを動かすように制御し、前記人物の左手の動作に合わせて前記第２のポインタを動かすように制御するステップと、
前記第１のポインタ及び前記第２のポインタの動作を検出し、前記第１のポインタまたは前記第２のポインタのいずれかが前記アイコンに接触すると、前記アイコンに関連付けられた機能を実行させず、前記第１のポインタ及び前記第２のポインタがともに前記アイコンに接触すると、前記アイコンに関連付けられた機能を実行させるステップと、を実行させる、プログラム。 A program for generating an image to be displayed on a screen to be executed by a computer comprising a processor and a memory,
The program causes the processor to:
obtaining a captured image of a person in motion captured by a camera;
a step of analyzing the acquired photographed image and specifying skeletal information of the person based on the analysis result;
a step of extracting skeletal information of the hand of the person from the identified skeletal information;
A first pointer corresponding to the person's right hand and indicating a position on the screen and a second pointer corresponding to the person's left hand and indicating a position on the screen are displayed on the screen . a step of causing
displaying a predetermined icon on the screen;
Based on the extracted skeletal information of the person's right hand and left hand , the first pointer is controlled to move in accordance with the movement of the person's right hand , and the second pointer is moved in accordance with the movement of the person's left hand. a step of controlling movement ;
detecting movements of the first pointer and the second pointer, and preventing execution of a function associated with the icon when either the first pointer or the second pointer touches the icon; causing a function associated with the icon to be executed when both the first pointer and the second pointer touch the icon.
前記プログラムは、前記プロセッサに、
動いている人物をカメラで撮影した撮影画像を取得するステップと、
取得した前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定するステップと、
特定した前記骨格情報から前記人物の手の骨格情報を抽出するステップと、
前記画面上に、前記人物の右手に対応し、前記画面上における位置を示す第１のポインタと、前記人物の左手に対応し、前記画面上における位置を示す第２のポインタと、をそれぞれ表示させるステップと、
前記画面上に、所定のアイコンを表示させるステップと、
抽出した前記人物の右手及び左手の骨格情報に基づき、前記人物の右手の動作に合わせて前記第１のポインタを動かすように制御し、前記人物の左手の動作に合わせて前記第２のポインタを動かすように制御するステップと、
前記第１のポインタ及び前記第２のポインタの動作を検出し、前記第１のポインタ及び前記第２のポインタがともに上下左右方向に移動する動作を検出すると、前記画面上に表示されている前記画像を前記移動する方向へスクロールさせるステップと、を実行させる、プログラム。 A program for generating an image to be displayed on a screen to be executed by a computer comprising a processor and a memory,
The program causes the processor to:
obtaining a captured image of a person in motion captured by a camera;
a step of analyzing the acquired photographed image and specifying skeletal information of the person based on the analysis result;
a step of extracting skeletal information of the hand of the person from the identified skeletal information;
A first pointer corresponding to the person's right hand and indicating a position on the screen and a second pointer corresponding to the person's left hand and indicating a position on the screen are displayed on the screen . a step of causing
displaying a predetermined icon on the screen;
Based on the extracted skeletal information of the person's right hand and left hand , the first pointer is controlled to move in accordance with the movement of the person's right hand , and the second pointer is moved in accordance with the movement of the person's left hand. a step of controlling movement ;
When the motions of the first pointer and the second pointer are detected, and when the motion of both the first pointer and the second pointer moving in the vertical and horizontal directions is detected, the pointer displayed on the screen is detected. and scrolling the image in the moving direction .
前記制御部は、
動いている人物をカメラで撮影した撮影画像を取得するステップと、
取得した前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定するステップと、
特定した前記骨格情報から前記人物の手の骨格情報を抽出するステップと、
前記画面上に、前記人物の右手に対応し、前記画面上における位置を示す第１のポインタと、前記人物の左手に対応し、前記画面上における位置を示す第２のポインタと、をそれぞれ表示させるステップと、
前記画面上に、所定のアイコンを表示させるステップと、
抽出した前記人物の右手及び左手の骨格情報に基づき、前記人物の右手の動作に合わせて前記第１のポインタを動かすように制御し、前記人物の左手の動作に合わせて前記第２のポインタを動かすように制御するステップと、
前記第１のポインタ及び前記第２のポインタの動作を検出し、前記第１のポインタまたは前記第２のポインタのいずれかが前記アイコンに接触すると、前記アイコンに関連付けられた機能を実行させず、前記第１のポインタ及び前記第２のポインタがともに前記アイコンに接触すると、前記アイコンに関連付けられた機能を実行させるステップと、を実行する、情報処理装置。 An information processing device comprising a control unit and a storage unit and generating an image to be displayed on a screen,
The control unit
obtaining a captured image of a person in motion captured by a camera;
a step of analyzing the acquired photographed image and specifying skeletal information of the person based on the analysis result;
a step of extracting skeletal information of the hand of the person from the identified skeletal information;
A first pointer corresponding to the person's right hand and indicating a position on the screen and a second pointer corresponding to the person's left hand and indicating a position on the screen are displayed on the screen . a step of causing
displaying a predetermined icon on the screen;
Based on the extracted skeletal information of the person's right hand and left hand , the first pointer is controlled to move in accordance with the movement of the person's right hand , and the second pointer is moved in accordance with the movement of the person's left hand. a step of controlling movement ;
detecting movements of the first pointer and the second pointer, and preventing execution of a function associated with the icon when either the first pointer or the second pointer touches the icon; and executing a function associated with the icon when both the first pointer and the second pointer touch the icon.
前記制御部は、
動いている人物をカメラで撮影した撮影画像を取得するステップと、
取得した前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定するステップと、
特定した前記骨格情報から前記人物の手の骨格情報を抽出するステップと、
前記画面上に、前記人物の右手に対応し、前記画面上における位置を示す第１のポインタと、前記人物の左手に対応し、前記画面上における位置を示す第２のポインタと、をそれぞれ表示させるステップと、
前記画面上に、所定のアイコンを表示させるステップと、
抽出した前記人物の右手及び左手の骨格情報に基づき、前記人物の右手の動作に合わせて前記第１のポインタを動かすように制御し、前記人物の左手の動作に合わせて前記第２のポインタを動かすように制御するステップと、
前記第１のポインタ及び前記第２のポインタの動作を検出し、前記第１のポインタ及び前記第２のポインタがともに上下左右方向に移動する動作を検出すると、前記画面上に表示されている前記画像を前記移動する方向へスクロールさせるステップと、を実行する、情報処理装置。 An information processing device comprising a control unit and a storage unit and generating an image to be displayed on a screen,
The control unit
obtaining a captured image of a person in motion captured by a camera;
a step of analyzing the acquired photographed image and specifying skeletal information of the person based on the analysis result;
a step of extracting skeletal information of the hand of the person from the identified skeletal information;
A first pointer corresponding to the person's right hand and indicating a position on the screen and a second pointer corresponding to the person's left hand and indicating a position on the screen are displayed on the screen . a step of causing
displaying a predetermined icon on the screen;
Based on the extracted skeletal information of the person's right hand and left hand , the first pointer is controlled to move in accordance with the movement of the person's right hand , and the second pointer is moved in accordance with the movement of the person's left hand. a step of controlling movement ;
When the motions of the first pointer and the second pointer are detected, and the motions of both the first pointer and the second pointer moving in the vertical and horizontal directions are detected, the pointer displayed on the screen is detected. and a step of scrolling an image in the moving direction .
前記方法は、前記プロセッサが、
動いている人物をカメラで撮影した撮影画像を取得するステップと、
取得した前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定するステップと、
特定した前記骨格情報から前記人物の手の骨格情報を抽出するステップと、
前記画面上に、前記人物の右手に対応し、前記画面上における位置を示す第１のポインタと、前記人物の左手に対応し、前記画面上における位置を示す第２のポインタと、をそれぞれ表示させるステップと、
前記画面上に、所定のアイコンを表示させるステップと、
抽出した前記人物の右手及び左手の骨格情報に基づき、前記人物の右手の動作に合わせて前記第１のポインタを動かすように制御し、前記人物の左手の動作に合わせて前記第２のポインタを動かすように制御するステップと、
前記第１のポインタ及び前記第２のポインタの動作を検出し、前記第１のポインタまたは前記第２のポインタのいずれかが前記アイコンに接触すると、前記アイコンに関連付けられた機能を実行させず、前記第１のポインタ及び前記第２のポインタがともに前記アイコンに接触すると、前記アイコンに関連付けられた機能を実行させるステップと、を実行する、方法。 A method for generating an image for display on a screen, executed by a computer comprising a processor and a memory, comprising:
The method comprises: the processor;
obtaining a captured image of a person in motion captured by a camera;
a step of analyzing the acquired photographed image and specifying skeletal information of the person based on the analysis result;
a step of extracting skeletal information of the hand of the person from the identified skeletal information;
A first pointer corresponding to the person's right hand and indicating a position on the screen and a second pointer corresponding to the person's left hand and indicating a position on the screen are displayed on the screen . a step of causing
displaying a predetermined icon on the screen;
Based on the extracted skeletal information of the person's right hand and left hand , the first pointer is controlled to move in accordance with the movement of the person's right hand , and the second pointer is moved in accordance with the movement of the person's left hand. a step of controlling movement ;
detecting movements of the first pointer and the second pointer, and preventing execution of a function associated with the icon when either the first pointer or the second pointer touches the icon; causing a function associated with the icon to be performed when both the first pointer and the second pointer touch the icon.
前記方法は、前記プロセッサが、
動いている人物をカメラで撮影した撮影画像を取得するステップと、
取得した前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定するステップと、
特定した前記骨格情報から前記人物の手の骨格情報を抽出するステップと、
前記画面上に、前記人物の右手に対応し、前記画面上における位置を示す第１のポインタと、前記人物の左手に対応し、前記画面上における位置を示す第２のポインタと、をそれぞれ表示させるステップと、
前記画面上に、所定のアイコンを表示させるステップと、
抽出した前記人物の右手及び左手の骨格情報に基づき、前記人物の右手の動作に合わせて前記第１のポインタを動かすように制御し、前記人物の左手の動作に合わせて前記第２のポインタを動かすように制御するステップと、
前記第１のポインタ及び前記第２のポインタの動作を検出し、前記第１のポインタ及び前記第２のポインタがともに上下左右方向に移動する動作を検出すると、前記画面上に表示されている前記画像を前記移動する方向へスクロールさせるステップと、を実行する、方法。 A method for generating an image for display on a screen, executed by a computer comprising a processor and a memory, comprising:
The method comprises: the processor;
obtaining a captured image of a person in motion captured by a camera;
a step of analyzing the acquired photographed image and specifying skeletal information of the person based on the analysis result;
a step of extracting skeletal information of the hand of the person from the identified skeletal information;
A first pointer corresponding to the person's right hand and indicating a position on the screen and a second pointer corresponding to the person's left hand and indicating a position on the screen are displayed on the screen . a step of causing
displaying a predetermined icon on the screen;
Based on the extracted skeletal information of the person's right hand and left hand , the first pointer is controlled to move in accordance with the movement of the person's right hand , and the second pointer is moved in accordance with the movement of the person's left hand. a step of controlling movement ;
When the motions of the first pointer and the second pointer are detected, and the motions of both the first pointer and the second pointer moving in the vertical and horizontal directions are detected, the pointer displayed on the screen is detected. scrolling an image in the moving direction .
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022039127A JP7182324B1 (en) | 2022-03-14 | 2022-03-14 | Program, information processing device and method |
| JP2022181625A JP2023134340A (en) | 2022-03-14 | 2022-11-14 | Program, information processing device and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022039127A JP7182324B1 (en) | 2022-03-14 | 2022-03-14 | Program, information processing device and method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022181625A Division JP2023134340A (en) | 2022-03-14 | 2022-11-14 | Program, information processing device and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7182324B1 true JP7182324B1 (en) | 2022-12-02 |
| JP2023133885A JP2023133885A (en) | 2023-09-27 |
Family
ID=84283981
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022039127A Active JP7182324B1 (en) | 2022-03-14 | 2022-03-14 | Program, information processing device and method |
| JP2022181625A Pending JP2023134340A (en) | 2022-03-14 | 2022-11-14 | Program, information processing device and method |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022181625A Pending JP2023134340A (en) | 2022-03-14 | 2022-11-14 | Program, information processing device and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7182324B1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011003136A (en) | 2009-06-22 | 2011-01-06 | Sony Corp | Operation control device and method |
| JP2013257830A (en) | 2012-06-14 | 2013-12-26 | Sharp Corp | Information processor |
| JP2016503915A (en) | 2012-12-14 | 2016-02-08 | マイクロソフト テクノロジー ライセンシング，エルエルシー | Aim and press natural user input |
| WO2016103769A1 (en) | 2014-12-26 | 2016-06-30 | 株式会社ネクステッジテクノロジー | Manipulation input device, manipulation input method, and program |
| JP2017211960A (en) | 2016-05-27 | 2017-11-30 | 株式会社エクスビジョン | User interface device and user interface program |
| WO2021225044A1 (en) | 2020-05-08 | 2021-11-11 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device, information processing method based on user input operation, and computer program for executing said method |
-
2022
- 2022-03-14 JP JP2022039127A patent/JP7182324B1/en active Active
- 2022-11-14 JP JP2022181625A patent/JP2023134340A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011003136A (en) | 2009-06-22 | 2011-01-06 | Sony Corp | Operation control device and method |
| JP2013257830A (en) | 2012-06-14 | 2013-12-26 | Sharp Corp | Information processor |
| JP2016503915A (en) | 2012-12-14 | 2016-02-08 | マイクロソフト テクノロジー ライセンシング，エルエルシー | Aim and press natural user input |
| WO2016103769A1 (en) | 2014-12-26 | 2016-06-30 | 株式会社ネクステッジテクノロジー | Manipulation input device, manipulation input method, and program |
| JP2017211960A (en) | 2016-05-27 | 2017-11-30 | 株式会社エクスビジョン | User interface device and user interface program |
| WO2021225044A1 (en) | 2020-05-08 | 2021-11-11 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device, information processing method based on user input operation, and computer program for executing said method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023134340A (en) | 2023-09-27 |
| JP2023133885A (en) | 2023-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111417028B (en) | Information processing method, information processing device, storage medium and electronic equipment | |
| US11954200B2 (en) | Control information processing method and apparatus, electronic device, and storage medium | |
| CN107742072B (en) | Face recognition method and mobile terminal | |
| CN111045344A (en) | Control method of household equipment and electronic equipment | |
| CN111176764B (en) | Display control method and terminal equipment | |
| KR102004986B1 (en) | Method and system for executing application, device and computer readable recording medium thereof | |
| CN109639569B (en) | Social communication method and terminal | |
| KR20170012979A (en) | Electronic device and method for sharing image content | |
| CN108920069A (en) | A kind of touch operation method, device, mobile terminal and storage medium | |
| CN109495638B (en) | Information display method and terminal | |
| CN113963108A (en) | Medical image cooperation method and device based on mixed reality and electronic equipment | |
| JP7182324B1 (en) | Program, information processing device and method | |
| CN108471549B (en) | Remote control method and terminal | |
| CN111045628A (en) | Information transmission method and electronic equipment | |
| JP7386583B1 (en) | Program, information processing device and method | |
| CN114296627B (en) | Content display method, device, equipment and storage medium | |
| WO2021136265A1 (en) | Unlocking method and electronic device | |
| CN115379113A (en) | Shooting processing method, device, equipment and storage medium | |
| CN109343782A (en) | A kind of display methods and terminal | |
| CN114100121A (en) | Operation control method, device, equipment, storage medium and computer program product | |
| CN111367492B (en) | Webpage display method and device and storage medium | |
| JP7372717B1 (en) | Program, information processing device and method | |
| CN112905087A (en) | Interactive state display method, device and equipment and readable storage medium | |
| CN114826799A (en) | Information acquisition method, device, terminal and storage medium | |
| US20240078071A1 (en) | Interaction method between display device and terminal device, storage medium and electronic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220404 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220404 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220614 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220815 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221114 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7182324 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |