JP7195396B1 - Information terminal, information processing method and program - Google Patents

Information terminal, information processing method and program Download PDF

Info

Publication number
JP7195396B1
JP7195396B1 JP2021161409A JP2021161409A JP7195396B1 JP 7195396 B1 JP7195396 B1 JP 7195396B1 JP 2021161409 A JP2021161409 A JP 2021161409A JP 2021161409 A JP2021161409 A JP 2021161409A JP 7195396 B1 JP7195396 B1 JP 7195396B1
Authority
JP
Japan
Prior art keywords
moving image
display
information
direction information
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021161409A
Other languages
Japanese (ja)
Other versions
JP2023050996A (en
Inventor
友則 佐野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2021161409A priority Critical patent/JP7195396B1/en
Application granted granted Critical
Publication of JP7195396B1 publication Critical patent/JP7195396B1/en
Publication of JP2023050996A publication Critical patent/JP2023050996A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

Figure 0007195396000001

【課題】動画像とともに体を動かすべき方向が理解できる情報を表示できるようにする。
【解決手段】演舞する人物を前方から撮像した動画像である前方動画像を取得する動画取得部141と、前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる人物の身体の部位に関する情報と、部位が向いている方向を示す情報と、を関連付けた方向情報を取得する方向情報取得部142と、取得した前方動画像と方向情報とをともに表示部に表示させる表示制御部143と、を有する情報端末1である。
【選択図】図2


Figure 0007195396000001

Kind Code: A1 To display information that enables a user to understand the direction in which the body should be moved along with a moving image.
A moving image acquisition unit (141) for acquiring a front moving image, which is a moving image of a person performing a dance from the front, and at least some of a plurality of frames constituting the front moving image are included in each frame. A direction information acquisition unit 142 that acquires direction information that associates information about a part of a person's body with information that indicates the direction in which the part faces, and displays both the acquired front moving image and the direction information on the display unit. The information terminal 1 includes a display control unit 143 that causes the display to be displayed.
[Selection drawing] Fig. 2


Description

本発明は、情報端末、情報処理方法、プログラム及びデータ処理装置に関する。 The present invention relates to an information terminal, an information processing method, a program, and a data processing apparatus.

ダンス等のレッスンをサポートする発明が知られている(例えば、特許文献1を参照)。 An invention that supports lessons such as dance is known (see Patent Document 1, for example).

特開2002-301179号公報JP-A-2002-301179

ところで、近年、オンラインでダンスや舞踊等のレッスンを行う機会が増加している。インターネット等を介して行われるダンス等のオンラインレッスンにおいて先生を前方から撮像した映像を視聴する場合、生徒は、視聴した映像と左右を逆に体を動かす必要がある。ここで、生徒の習熟度合いによっては、体を動かすべき方向を咄嗟に理解できずに混乱するという問題が生じる。 By the way, in recent years, there have been an increasing number of opportunities to give dance lessons online. 2. Description of the Related Art When viewing a video imaged from the front of a teacher in an online lesson such as dance conducted via the Internet or the like, the student needs to move his or her body in the opposite direction to the viewed video. Here, depending on the degree of proficiency of the student, there arises a problem that he or she cannot immediately understand the direction in which the body should be moved and is confused.

そこで、本発明はこれらの点に鑑みてなされたものであり、動画像を見ながら体の動きを伴うレッスンを行う生徒が体を動かすべき方向を理解し易くすることを目的とする。 Accordingly, the present invention has been made in view of these points, and it is an object of the present invention to facilitate understanding of the direction in which the body should be moved by a student who is doing a lesson involving body movement while watching moving images.

本発明の第1の態様の情報端末においては、演舞する人物を前方から撮像した動画像である前方動画像を取得する動画取得部と、前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得する方向情報取得部と、取得した前記前方動画像と前記方向情報とをともに表示部に表示させる表示制御部と、を有する。 In the information terminal according to the first aspect of the present invention, a moving image acquisition unit that acquires a forward moving image, which is a moving image of a person performing a dance from the front, and at least part of a plurality of frames that constitute the forward moving image. a direction information acquisition unit that acquires direction information that associates information about a part of the body of the person included in each frame with information indicating the direction in which the part faces, in each frame of (1); and the acquired front moving image. a display control unit for displaying both the image and the direction information on a display unit.

取得した動画像を反転せずに表示させる通常表示と、取得した動画像を左右反転して表示させる反転表示と、の間で表示態様の選択を受け付ける選択部をさらに有し、前記表示制御部は、前記通常表示が選択された場合、取得した前記前方動画像と前記方向情報とをともに前記表示部に表示させ、前記反転表示が選択された場合、取得した前記前方動画像を左右反転させて前記表示部に表示させてもよい。 The display control unit further comprises a selection unit that receives a selection of a display mode between normal display in which the acquired moving image is displayed without being reversed and reverse display in which the acquired moving image is horizontally reversed and displayed. displays both the obtained front moving image and the direction information on the display unit when the normal display is selected, and horizontally reverses the obtained front moving image when the reverse display is selected. may be displayed on the display unit.

前記表示制御部は、選択されている前記表示態様を示す情報を前記前方動画像とともに前記表示部に表示させてもよい。 The display control unit may cause the display unit to display information indicating the selected display mode together with the front moving image.

前方動画像と、前記演舞する人物を後方から撮像した動画像である後方動画像と、から前記表示部に表示する動画像の選択を受け付ける動画選択部をさらに有し、前記動画取得部は、前記後方動画像をさらに取得し、前記表示制御部は、前記動画選択部が前記後方動画像の選択を受け付けた場合、前記後方動画像を前記表示部に表示させてもよい。 a moving image selection unit that receives a selection of a moving image to be displayed on the display unit from a forward moving image and a backward moving image that is a moving image obtained by capturing the person performing the dance from behind; The rear moving image may be further acquired, and the display control unit may display the rear moving image on the display unit when the moving image selection unit accepts selection of the rear moving image.

前記表示制御部は、前記動画選択部が前記前方動画像の選択を受け付けた場合、前記前方動画像と前記方向情報とをともに前記表示部に表示させ、前記動画選択部が前記後方動画像の選択を受け付けた場合、前記後方動画像を前記表示部に表示させ、前記方向情報を前記表示部に表示させないようにしてもよい。 When the moving image selection unit accepts selection of the forward moving image, the display control unit causes the display unit to display both the forward moving image and the direction information, and the moving image selecting unit selects the backward moving image. When the selection is accepted, the rear moving image may be displayed on the display unit, and the direction information may not be displayed on the display unit.

前記方向情報取得部は、前記各フレームに含まれる前記人物の身体の複数の部位に関する情報と、それぞれの前記部位が向いている方向を示す情報とを関連付けた複数の方向情報と、それぞれの方向情報を表示する優先度と、を取得し、前記表示制御部は、前記優先度に基づいて表示する方向情報を選択し、取得した前記前方動画像と選択された前記1以上の前記方向情報とをともに前記表示部に表示させてもよい。 The direction information acquisition unit obtains a plurality of direction information associated with information about a plurality of parts of the body of the person included in each frame and information indicating a direction in which each of the parts faces, and each direction. and the priority of displaying information, and the display control unit selects direction information to be displayed based on the priority, and combines the acquired forward moving image with the selected one or more of the direction information. may be displayed together on the display unit.

本発明の第2の情報処理方法においては、コンピュータが実行する、演舞する人物を前方から撮像した動画像である前方動画像を取得するステップと、前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得するステップと、取得した前記前方動画像と前記方向情報とをともに表示部に表示させるステップと、を有する。 In the second information processing method of the present invention, a step of acquiring a front moving image, which is a moving image of a person performing a performance taken from the front, executed by a computer; a step of obtaining, in some frames, direction information that associates information about a part of the person's body contained in each frame with information indicating a direction in which the part faces; and the obtained front moving image. and the step of displaying both the direction information and the direction information on a display unit.

本発明の第3の態様のプログラムにおいては、コンピュータに、演舞する人物を前方から撮像した動画像である前方動画像を取得するステップと、前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得するステップと、取得した前記前方動画像と前記方向情報とをともに表示部に表示させるステップと、を実行させる。 In the program according to the third aspect of the present invention, the computer acquires a front moving image, which is a moving image of a person performing a performance from the front, and at least part of a plurality of frames constituting the front moving image. obtaining direction information that associates information about a part of the person's body contained in each frame with information indicating a direction in which the part faces, in the frame of (1); and causing the display unit to display the information together with the direction information.

本発明の第4の態様のデータ処理装置においては、演舞する人物を前方から撮像した動画像である前方動画像を取得する動画取得部と、取得した前記前方動画像を構成する複数のフレームのうち少なくとも一部のフレームに含まれる前記人物を抽出する人物抽出部と、前記人物抽出部が抽出した前記人物の身体の部位を抽出する部位抽出部と、前記部位抽出部が抽出した前記身体の部位が向いている方向を特定する特定部と、抽出された前記身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報をユーザが使用する情報端末に送信する送信部と、を有する。 In the data processing device according to the fourth aspect of the present invention, a moving image acquisition unit for acquiring a front moving image, which is a moving image of a person performing a performance taken from the front, and a plurality of frames constituting the acquired front moving image. a person extracting unit for extracting the person included in at least some of the frames; a part extracting unit for extracting parts of the person's body extracted by the person extracting part; Transmitting, to an information terminal used by a user, direction information that associates a specifying portion that specifies a direction in which a part faces, information on the extracted body part, and information that indicates the direction in which the part faces. and a transmitting unit for transmitting.

本発明によれば、動画像を見ながら体の動きを伴うレッスンを行う生徒が体を動かすべき方向を理解し易くすることができるという効果を奏する。 Advantageous Effects of Invention According to the present invention, it is possible to facilitate understanding of the direction in which the body should be moved by a student who is doing a lesson involving body movement while watching a moving image.

データ処理システムSの概要を説明する図である。It is a figure explaining the outline|summary of the data processing system S. FIG. 情報端末1の構成を示すブロック図である。1 is a block diagram showing the configuration of an information terminal 1; FIG. 情報端末1に表示される画面の一例を示す図である。3 is a diagram showing an example of a screen displayed on the information terminal 1; FIG. 情報端末1に表示される画面の一例を示す図である。3 is a diagram showing an example of a screen displayed on the information terminal 1; FIG. 情報端末1に表示される画面の一例を示す図である。3 is a diagram showing an example of a screen displayed on the information terminal 1; FIG. 情報端末1における処理の流れを示すフローチャートである。4 is a flowchart showing the flow of processing in the information terminal 1; データ処理装置2の構成を示すブロック図である。2 is a block diagram showing the configuration of a data processing device 2; FIG. データ処理装置2の処理の流れを示すフローチャートである。4 is a flow chart showing the flow of processing of the data processing device 2;

[データ処理システムSの概要]
図1は、データ処理システムSの概要を説明する図である。データ処理システムSは、ダンスや舞踊等のレッスンにおいて、演舞を教示する演者を撮像した映像を情報端末1に配信するシステムである。データ処理システムSは情報端末1、データ処理装置2及び撮像装置3を有する。データ処理システムSは、複数の情報端末1に対して動画像を配信してもよい。
[Overview of data processing system S]
FIG. 1 is a diagram for explaining an outline of a data processing system S. As shown in FIG. The data processing system S is a system for distributing to the information terminal 1 an image of a performer teaching a dance in a dance lesson. A data processing system S has an information terminal 1 , a data processing device 2 and an imaging device 3 . The data processing system S may distribute moving images to a plurality of information terminals 1 .

情報端末1はレッスンにおいてレッスンを受ける生徒(以下、ユーザと言う。)が使用する端末である。情報端末1は、例えば、コンピュータ、スマートフォン、タブレット又はVR(Virtual Reality)グラスである。情報端末1は、演者を撮像した動画像とともに、演者の体の部位が向いている方向を示す方向情報を表示する。 The information terminal 1 is a terminal used by a student (hereinafter referred to as a user) who takes the lesson. The information terminal 1 is, for example, a computer, a smart phone, a tablet, or VR (Virtual Reality) glasses. The information terminal 1 displays the moving image of the performer and the direction information indicating the direction in which the part of the performer's body is facing.

データ処理装置2は、演者を撮像した動画像と方向情報とを情報端末1に配信する装置である。データ処理装置2は、例えば、サーバ、コンピュータ、スマートフォン又はタブレットである。撮像装置3は、オンラインレッスンにおいて演者を撮像するための装置である。撮像装置3は、例えばカメラである。データ処理装置2と撮像装置3は一体に構成されてもよい。 The data processing device 2 is a device that distributes moving images of the performer and direction information to the information terminal 1 . The data processing device 2 is, for example, a server, computer, smart phone, or tablet. The imaging device 3 is a device for imaging the performer in the online lesson. The imaging device 3 is, for example, a camera. The data processing device 2 and the imaging device 3 may be configured integrally.

図1(a)は、撮像装置3により演者を撮像する一例を示す図である。図1(a)に示す例においては、撮像装置3を演者の前方及び後方に配置し、前方及び後方から演者を撮像している。なお、データ処理システムSにおいて、演者を撮像する方向は前方及び後方に限定されない。データ処理システムSにおいては、例えば、撮像装置3により側方や上方から演者を撮像し、側方や上方から演者を撮像した映像を含む映像を情報端末1に配信してもよい。 FIG. 1(a) is a diagram showing an example of capturing an image of a performer by the imaging device 3. FIG. In the example shown in FIG. 1(a), imaging devices 3 are arranged in front and behind the performer, and the performer is imaged from the front and the back. In the data processing system S, the direction in which the performer is imaged is not limited to the front and rear. In the data processing system S, for example, the imaging device 3 may capture an image of the performer from the side or from above, and the image including the image of the performer from the side or above may be distributed to the information terminal 1 .

図1(b)はデータ処理システムSにおける処理の概要を示す図である。データ処理装置2は、演舞する演者を撮像した動画像を取得する(図1(b)における(1))。データ処理装置2は、取得した動画像を構成するフレームに含まれる人物を抽出する(図1(b)における(2))。 FIG. 1(b) is a diagram showing an outline of processing in the data processing system S. As shown in FIG. The data processing device 2 acquires a moving image of the performer performing ((1) in FIG. 1(b)). The data processing device 2 extracts a person included in the frames forming the acquired moving image ((2) in FIG. 1B).

データ処理装置2は、フレームに含まれる人物の身体の部位を抽出する(図1(b)における(3))。データ処理装置2は、抽出した身体の部位が向いている方向を特定し、フレームにおいて抽出した身体の部位と、当該部位が向いている方向とを対応付けた方向情報を生成する(図1(b)における(4))。データ処理装置2は、動画像と方向情報とを情報端末1に送信する(図1(b)における(5))。 The data processing device 2 extracts the body part of the person included in the frame ((3) in FIG. 1(b)). The data processing device 2 identifies the direction in which the extracted body part faces, and generates direction information that associates the body part extracted in the frame with the direction in which the part faces (see FIG. 1 ( (4)) in b). The data processing device 2 transmits the moving image and the direction information to the information terminal 1 ((5) in FIG. 1(b)).

情報端末1は、データ処理装置2から動画像と方向情報とを取得し、取得した動画像と方向情報とを表示する(図1(b)における(6))。情報端末1において動画像と方向情報とを表示することで、情報端末1は、ユーザが体を動かすべき方向を理解することができる情報を表示することができる。 The information terminal 1 acquires the moving image and direction information from the data processing device 2, and displays the acquired moving image and direction information ((6) in FIG. 1(b)). By displaying the moving image and direction information on the information terminal 1, the information terminal 1 can display information that enables the user to understand the direction in which the body should be moved.

[情報端末1の構成]
図2は、情報端末1の構成を示すブロック図である。情報端末1は、通信部11、表示部12、記憶部13及び制御部14を有する。制御部14は、動画取得部141、方向情報取得部142、表示制御部143、選択部144及び動画選択部145を有する。
[Configuration of information terminal 1]
FIG. 2 is a block diagram showing the configuration of the information terminal 1. As shown in FIG. The information terminal 1 has a communication section 11 , a display section 12 , a storage section 13 and a control section 14 . The control unit 14 has a video acquisition unit 141 , a direction information acquisition unit 142 , a display control unit 143 , a selection unit 144 and a video selection unit 145 .

通信部11は、データ処理装置2とデータを送受信するための通信インターフェースである。表示部12は、入力された信号に対応する画像を表示する。表示部12は、例えばディスプレイである。 The communication unit 11 is a communication interface for transmitting and receiving data to and from the data processing device 2 . The display unit 12 displays an image corresponding to the input signal. The display unit 12 is, for example, a display.

記憶部13は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、SSD(Solid State Drive)及びハードディスク等の記憶媒体である。記憶部13は、制御部14が実行する各種のプログラムを記憶する。 The storage unit 13 is, for example, a storage medium such as a ROM (Read Only Memory), a RAM (Random Access Memory), an SSD (Solid State Drive), and a hard disk. The storage unit 13 stores various programs executed by the control unit 14 .

制御部14は、例えばCPU(Central Processing Unit)である。制御部14は、記憶部13に記憶されている制御プログラムを実行することにより、動画取得部141、方向情報取得部142、表示制御部143、選択部144及び動画選択部145として機能する。 The control unit 14 is, for example, a CPU (Central Processing Unit). The control unit 14 functions as a video acquisition unit 141 , a direction information acquisition unit 142 , a display control unit 143 , a selection unit 144 and a video selection unit 145 by executing control programs stored in the storage unit 13 .

動画取得部141は、データ処理装置2から送信された動画像を取得する。演舞する人物を前方から撮像した動画像である前方動画像を取得する。 The moving image acquisition unit 141 acquires moving images transmitted from the data processing device 2 . To obtain a front moving image, which is a moving image of a person performing a dance captured from the front.

方向情報取得部142は、前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる人物の身体の部位に関する情報と、部位が向いている方向を示す情報と、を関連付けた方向情報を取得する。方向情報は、動画像を構成するいずれかのフレームと対応付けられている。方向情報は、そのフレームが示す映像においてそれぞれの身体の部位が向くべき方向を示す情報である。方向情報取得部142は、例えば「顔」が「下手」を、「右手」が「下手中段」を、「左手」が「上手下段」を向いていることを示す方向情報をデータ処理装置2から取得する。 The direction information acquisition unit 142 acquires, in at least some of a plurality of frames that make up the front moving image, information about parts of a person's body included in each frame and information indicating the direction in which the parts are facing. Get the associated direction information. The direction information is associated with one of the frames forming the moving image. Direction information is information indicating the direction in which each part of the body should face in the image indicated by the frame. The direction information acquisition unit 142 obtains from the data processing device 2 direction information indicating that the “face” is facing “downward”, the “right hand” is facing “lower middle”, and the “left hand” is facing “upper lower”. get.

表示制御部143は、取得した前方動画像と方向情報とをともに表示部12に表示させる。図3は、情報端末1に表示される画面の一例を示す図である。図3に示す画面では、表示制御部143は、取得した前方動画像を画面の中央の表示位置O1に表示する。そして、表示制御部143は、取得した方向情報を、画面における前方動画像の表示位置O1の外側の位置O2に表示する。 The display control unit 143 causes the display unit 12 to display both the acquired front moving image and the direction information. FIG. 3 is a diagram showing an example of a screen displayed on the information terminal 1. As shown in FIG. On the screen shown in FIG. 3, the display control unit 143 displays the acquired front moving image at the display position O1 in the center of the screen. Then, the display control unit 143 displays the acquired direction information at a position O2 outside the display position O1 of the front moving image on the screen.

なお、取得した動画像と方向情報の表示位置は任意である。表示制御部143は、例えば取得した動画像を画面の左側に配置し、方向情報を動画像の右側に配置して表示してもよい。 Note that the display positions of the acquired moving image and the direction information are arbitrary. For example, the display control unit 143 may arrange the acquired moving image on the left side of the screen and arrange the direction information on the right side of the moving image for display.

方向情報は動画像を構成するフレームのうち、所定のフレーム間隔ごとに設定されていてもよい。この場合、方向情報取得部142は、所定のフレーム間隔ごとに設定された方向情報を取得し、表示制御部143は、方向情報が設定されていないフレームを表示する場合、表示するフレームより前の時刻であって、表示するフレームに最も近い時刻と対応付けられた方向情報を表示する。 The direction information may be set for each predetermined frame interval among the frames forming the moving image. In this case, the direction information acquisition unit 142 acquires the direction information set for each predetermined frame interval, and the display control unit 143, when displaying a frame in which the direction information is not set, displays the frame before the frame to be displayed. Direction information associated with the time closest to the frame to be displayed is displayed.

また、方向情報取得部142は、身体の部位ごとに設定された表示位置を示す情報をさらに取得してもよい。図3の例では、「顔」の表示位置を「画面左側上段」に、「右手」の表示位置を「画面左側中段」に、「左手」の表示位置を「画面右側下段」に表示することを示す位置情報を取得する。そして、表示制御部143は、方向情報取得部142が取得した表示位置情報に基づいて方向情報を表示する。 Moreover, the direction information acquisition unit 142 may further acquire information indicating the display position set for each part of the body. In the example of FIG. 3, the display position of the "face" is displayed in the "upper left part of the screen", the display position of the "right hand" is displayed in the "middle left part of the screen", and the display position of the "left hand" is displayed in the "lower right part of the screen". Get location information that indicates Then, the display control unit 143 displays direction information based on the display position information acquired by the direction information acquisition unit 142 .

表示制御部143は、取得した動画像に方向情報を重畳して表示させてもよい。この場合、方向情報取得部142は、方向情報の表示位置情報を、動画フレームにおける位置を示す座標の形式で取得する。そして、表示制御部143は、表示位置情報で指定された位置に方向情報を重畳した動画像を表示する。 The display control unit 143 may superimpose the direction information on the acquired moving image for display. In this case, the direction information acquisition unit 142 acquires the display position information of the direction information in the form of coordinates indicating the position in the moving image frame. Then, the display control unit 143 displays the moving image on which the direction information is superimposed at the position specified by the display position information.

情報端末1がこのように構成されることで、情報端末1は、動画像とともに体を動かすべき方向が理解できる情報を表示することができる。 By configuring the information terminal 1 in this manner, the information terminal 1 can display information that enables the user to understand the direction in which the body should be moved, together with the moving image.

ここで、ユーザは、演者の演舞する映像と、演者の演舞を左右反転した映像と、を状況に応じて選択して視聴したい場合がある。そこで、情報端末1は、取得した動画像をそのまま表示する表示態様と、取得した動画像を反転して表示する表示態様と、を選択できるように構成されてもよい。 Here, the user may want to select and view the video of the performer's performance and the video of the performer's dance that is left-right reversed according to the situation. Therefore, the information terminal 1 may be configured to be able to select a display mode in which the acquired moving image is displayed as it is, or a display mode in which the acquired moving image is displayed in reverse.

選択部144は、取得した動画像を反転せずに表示させる通常表示と、取得した動画像を左右反転して表示させる反転表示と、の間で表示態様の選択を受け付ける。図3に示す表示画面は、ユーザが表示態様を切替るためのアイコンO3が配置されている。ユーザがアイコンO3を押す操作(例えば、クリックやタップ)をすると、選択された表示態様を示す情報がデータ処理装置2に送信される。図3の画面の例では、通常表示を選択している場合にアイコンO3が押されているため、反転表示が選択されたことを示す情報が送信される。表示制御部143は、アイコンO3が押された場合に、表示態様を選択するための画面をさらに表示するよう構成されていてもよい。 The selection unit 144 accepts selection of a display mode between normal display in which the obtained moving image is displayed without being reversed and reverse display in which the obtained moving image is horizontally reversed and displayed. On the display screen shown in FIG. 3, an icon O3 is arranged for the user to switch the display mode. When the user performs an operation (for example, clicking or tapping) to press the icon O3, information indicating the selected display mode is transmitted to the data processing device 2 . In the example of the screen in FIG. 3, since the icon O3 is pressed when the normal display is selected, information indicating that the reverse display is selected is transmitted. The display control unit 143 may be configured to further display a screen for selecting a display mode when the icon O3 is pressed.

表示制御部143は、反転表示が選択された場合、取得した前方動画像を左右反転させて表示部12に表示させる。図4は、情報端末1に表示される画面の一例を示す図である。図4は、選択部144が反転表示の表示態様が選択された場合に表示される画面である。表示制御部143は、選択部144が受け付けた表示態様が反転表示である場合に、取得した動画像を左右反転させる処理を行い、反転した動画像を表示部12に表示させる。 When the reverse display is selected, the display control unit 143 causes the display unit 12 to display the obtained front moving image in a horizontally reversed manner. FIG. 4 is a diagram showing an example of a screen displayed on the information terminal 1. As shown in FIG. FIG. 4 shows a screen displayed when the selection unit 144 selects the display mode of reverse display. When the display mode accepted by the selection unit 144 is reversed display, the display control unit 143 performs a process of horizontally reversing the acquired moving image, and causes the display unit 12 to display the reversed moving image.

ここで、反転表示の映像を見たユーザは、映像の通りに動けばよいため、方向情報を表示しなくても動きを理解することができる。すなわち、図4に示す画面においては、表示制御部143は、方向情報を表示させない。 Here, since the user who sees the reversed display image can move according to the image, the user can understand the movement without displaying the direction information. That is, on the screen shown in FIG. 4, the display control unit 143 does not display the direction information.

表示制御部143は、通常表示が選択された場合、取得した前方動画像と方向情報とをともに表示部12に表示させる。すなわち、表示制御部143は、選択部144が受け付けた表示態様が通常表示である場合に、取得した動画像と方向情報とを表示部12に表示させる。 When the normal display is selected, the display control unit 143 causes the display unit 12 to display both the obtained front moving image and the direction information. That is, when the display mode accepted by the selection unit 144 is normal display, the display control unit 143 causes the display unit 12 to display the acquired moving image and the direction information.

情報端末1がこのように構成されることで、情報端末1は、ユーザの選択した表示態様に適した画面を表示することができる。その結果、ユーザは状況に応じて視聴したい態様で演者の演舞を視聴することができる。 By configuring the information terminal 1 in this manner, the information terminal 1 can display a screen suitable for the display mode selected by the user. As a result, the user can view the performer's performance in a desired viewing mode according to the situation.

ユーザが視聴している表示態様を認識できるように画面が構成されると、ユーザが体を動かすべき方向を理解しやすくなる。そこで、表示制御部143は、選択されている表示態様がユーザに理解できる情報を表示するように画面を表示してもよい。 If the screen is configured so that the user can recognize the display mode that the user is viewing, it will be easier for the user to understand the direction in which the body should be moved. Therefore, the display control unit 143 may display the screen so that the selected display mode displays information that the user can understand.

表示制御部143は、選択されている表示態様を示す情報を前方動画像とともに表示部12に表示させる。図3及び図4に示す画面において、表示制御部143は、選択された表示態様に対応した情報を示すアイコンO4を表示する。一例として、アイコンO4は、通常表示が選択されている場合は、「通常」と表示され、反転表示が選択されている場合は、「反転」と表示される。 The display control unit 143 causes the display unit 12 to display information indicating the selected display mode together with the front moving image. On the screens shown in FIGS. 3 and 4, the display control unit 143 displays an icon O4 indicating information corresponding to the selected display mode. As an example, the icon O4 is displayed as "normal" when the normal display is selected, and is displayed as "inverted" when the reverse display is selected.

ユーザは状況に応じて様々な方向から演者を撮像した動画像を見たい場合がある。そこで、情報端末1は、様々な方向から撮像した動画像のうち視聴する動画像を選択できるように構成されていてもよい。以下では、データ処理システムSが前方及び後方から撮像した動画像を視聴できるように構成される場合を例として説明する。以下では、演舞する人物を後方から撮像した動画像を後方動画像という。 Depending on the situation, the user may want to see moving images of the performer captured from various directions. Therefore, the information terminal 1 may be configured so that a moving image to be viewed can be selected from moving images captured from various directions. In the following, an example will be described in which the data processing system S is configured so that moving images captured from the front and rear can be viewed. Below, a moving image obtained by imaging a person performing a dance from behind is referred to as a rear moving image.

この場合、表示制御部143は表示する動画像の選択を受け付ける画面を表示する。図3及び図4に示す画面においては表示する動画像を選択するアイコンO5を有する。図3及び図4に示す画面においては前方動画像が表示位置O1に表示されているため、後方動画像を選択するためのアイコンO5が配置されている。 In this case, the display control unit 143 displays a screen for accepting selection of moving images to be displayed. The screens shown in FIGS. 3 and 4 have an icon O5 for selecting a moving image to be displayed. Since the front moving image is displayed at the display position O1 on the screens shown in FIGS. 3 and 4, an icon O5 for selecting the rear moving image is arranged.

動画選択部145は、前方動画像と、演舞する人物を後方から撮像した動画像である後方動画像と、から表示部12に表示する動画像の選択を受け付ける。ユーザがアイコンO5を押す操作をすると、動画選択部145は、動画像の選択を受け付ける。図3に示す画面においては後方動画像を選択するアイコンO5が押されると、動画選択部145は、後方動画像を選択したことを受け付ける。 The moving image selection unit 145 receives selection of a moving image to be displayed on the display unit 12 from the front moving image and the rear moving image, which is a moving image of a person performing a performance captured from behind. When the user performs an operation of pressing icon O5, moving image selection unit 145 accepts selection of a moving image. On the screen shown in FIG. 3, when the icon O5 for selecting the backward moving image is pressed, the moving image selection unit 145 accepts that the backward moving image has been selected.

動画取得部141は、後方動画像をさらに取得する。後方動画像が選択されると、動画取得部141は、データ処理装置2から後方動画像を取得する。 The moving image acquisition unit 141 further acquires a backward moving image. When the backward moving image is selected, the moving image acquisition unit 141 acquires the backward moving image from the data processing device 2 .

表示制御部143は、動画選択部145が後方動画像の選択を受け付けた場合、後方動画像を表示部12に表示させる。表示制御部143は、動画選択部145が受け付けた選択に基づいて取得した後方動画像を表示部12に表示させる。図5は、後方動画像が選択された場合に表示制御部143が表示させる画面の一例を示す図である。図5に示す画面においては、表示制御部143は、選択された後方動画像を表示位置O1に表示する。なお、図5に示す画面においては、後方動画像が表示位置O1に表示されているため、前方動画像を選択するためのアイコンO6が配置されている。 The display control unit 143 causes the display unit 12 to display the rear moving image when the moving image selection unit 145 receives the selection of the rear moving image. The display control unit 143 causes the display unit 12 to display the backward moving image acquired based on the selection received by the moving image selection unit 145 . FIG. 5 is a diagram showing an example of a screen displayed by the display control unit 143 when a backward moving image is selected. On the screen shown in FIG. 5, the display control unit 143 displays the selected rear moving image at the display position O1. In the screen shown in FIG. 5, since the rear moving image is displayed at the display position O1, an icon O6 for selecting the front moving image is arranged.

情報端末1がこのように構成されることで、ユーザは状況に応じて様々な方向から演者を撮像した動画像を視聴することができる。 By configuring the information terminal 1 in this manner, the user can view moving images of the performer captured from various directions depending on the situation.

なお、動画取得部141は、前方動画像と後方動画像の両方を取得するよう構成されてもよい。この場合、動画選択部145が受け付けた選択結果に基づいて、表示制御部143は、取得した動画像のうち表示する動画像を切り替えるよう構成される。 Note that the moving image acquisition unit 141 may be configured to acquire both the forward moving image and the backward moving image. In this case, the display control unit 143 is configured to switch the moving image to be displayed among the acquired moving images based on the selection result received by the moving image selecting unit 145 .

また、情報端末1は、後方動画像が表示されている場合に方向情報を表示させないように画面を構成してもよい。このように表示することで、ユーザは確認したい箇所に集中することができる。 Further, the information terminal 1 may configure the screen so as not to display the direction information when the backward moving image is displayed. By displaying in this way, the user can concentrate on the part that the user wants to check.

この場合、表示制御部143は、動画選択部145が前方動画像の選択を受け付けた場合、前方動画像と方向情報とをともに表示部12に表示させる。そして、表示制御部143は、動画選択部145が後方動画像の選択を受け付けた場合、後方動画像を表示部12に表示させ、方向情報を表示部12に表示させない。図5に示す表示画面においては、方向情報を有さない画面を表示している。 In this case, the display control unit 143 causes the display unit 12 to display both the forward moving image and the direction information when the moving image selecting unit 145 accepts the selection of the forward moving image. Then, when the moving image selection unit 145 receives the selection of the rear moving image, the display control unit 143 causes the display unit 12 to display the rear moving image and does not display the direction information on the display unit 12 . The display screen shown in FIG. 5 displays a screen without direction information.

ところで、ユーザの利用する情報端末1には様々なデバイスが使用される。ユーザのデバイスの表示領域が小さい場合、多くの方向情報を表示するとユーザが動きを理解しにくくなる。そこで、方向情報は、身体の部位ごとに優先度が設定されてもよい。この場合、情報端末1は、身体の部位に関連付けて設定された優先度に基づいて、表示する方向情報を制御するよう構成されてもよい。 By the way, various devices are used as the information terminal 1 used by the user. If the display area of the user's device is small, displaying a lot of directional information makes it difficult for the user to understand the motion. Therefore, the direction information may be prioritized for each part of the body. In this case, the information terminal 1 may be configured to control the direction information to be displayed based on priorities set in association with body parts.

方向情報取得部142は、各フレームに含まれる人物の身体の複数の部位に関する情報と、それぞれの部位が向いている方向を示す情報とを関連付けた複数の方向情報と、それぞれの方向情報を表示する優先度と、を取得する。一例として、方向情報と優先度との関係は、データ処理装置2において設定される。例えば演者は演目における重要度やユーザの習熟度合に基づいて優先度を設定する。優先度は例えば0から1の値を取る実数で表される。 The direction information acquisition unit 142 displays a plurality of direction information associated with information about a plurality of parts of the human body included in each frame and information indicating the direction in which each part faces, and the respective direction information. to get the priority and As an example, the relationship between direction information and priority is set in the data processing device 2 . For example, the performer sets the priority based on the importance of the program and the user's proficiency level. The priority is represented by a real number taking a value from 0 to 1, for example.

表示制御部143は、優先度に基づいて表示する方向情報を選択し、取得した前方動画像と選択された1以上の方向情報とをともに表示部12に表示させる。一例として、表示制御部143は、方向を示す情報を同時に表示部12に表示する数の最大値を示す設定値を有する。表示制御部143は、取得した方向情報に含まれる部位の数が最大値を超える場合、優先度が大きい順に設定値の数の部位を選択する。表示制御部143は、選択した部位の方向情報を動画像とともに表示部12に表示する。 The display control unit 143 selects the direction information to be displayed based on the priority, and causes the display unit 12 to display the acquired front moving image and the selected one or more pieces of direction information. As an example, the display control unit 143 has a setting value indicating the maximum number of pieces of information indicating directions to be displayed on the display unit 12 at the same time. When the number of parts included in the acquired direction information exceeds the maximum value, the display control unit 143 selects parts of the set value in descending order of priority. The display control unit 143 displays the direction information of the selected part on the display unit 12 together with the moving image.

情報端末1が、表示する方向情報を、優先度に基づいて制御するよう構成されることで、ユーザのデバイスの表示領域が小さい場合においてもユーザが理解しやすい画面を表示することができる。 By configuring the information terminal 1 to control the direction information to be displayed based on priority, it is possible to display a screen that is easy for the user to understand even when the display area of the user's device is small.

[情報端末1における処理の流れ]
図6は、情報端末1における処理の流れを示すフローチャートである。図6に示すフローチャートは、ユーザが情報端末1においてオンラインレッスンの受講操作を行った時点から開始している。
[Flow of processing in information terminal 1]
FIG. 6 is a flow chart showing the flow of processing in the information terminal 1. As shown in FIG. The flowchart shown in FIG. 6 starts when the user performs an online lesson taking operation on the information terminal 1 .

表示制御部143は、表示部12に表示させる動画像の選択を受け付ける画面を表示する。表示制御部143は、例えば、前方動画像及び後方動画像から表示する動画像を選択する画面を表示する。動画選択部145は、表示する動画像の選択を受け付ける(S01)。 The display control unit 143 displays a screen for receiving selection of moving images to be displayed on the display unit 12 . The display control unit 143 displays, for example, a screen for selecting a moving image to be displayed from the forward moving image and the backward moving image. The moving image selection unit 145 receives selection of a moving image to be displayed (S01).

動画選択部145は、選択された動画像が前方動画像であるかを判定する(S02)。選択された動画像が前方動画像である場合(S02におけるYES)、情報端末1は、処理をS03に進める。選択された動画像が前方動画像ではない場合(S02におけるNO)、情報端末1は、処理をS09に進める。 The moving image selection unit 145 determines whether the selected moving image is the front moving image (S02). If the selected moving image is the forward moving image (YES in S02), information terminal 1 advances the process to S03. If the selected moving image is not the forward moving image (NO in S02), information terminal 1 advances the process to S09.

選択された動画像が前方動画像である場合(S02におけるYES)、選択部144は、表示態様の選択を受け付ける(S03)。選択部144は、反転表示が選択されたかを判定する(S04)。選択された表示態様が反転表示である場合(S04におけるYES)、情報端末1は、処理をS12に進める。選択された表示態様が反転表示でない場合(S04におけるNO)、情報端末1は、処理をS05に進める。 If the selected moving image is the forward moving image (YES in S02), selection unit 144 accepts selection of the display mode (S03). The selection unit 144 determines whether reverse display is selected (S04). If the selected display mode is reverse display (YES in S04), the information terminal 1 advances the process to S12. If the selected display mode is not reverse display (NO in S04), the information terminal 1 advances the process to S05.

選択された表示態様が反転表示でない場合(S04におけるNO)、動画取得部141は、前方動画像を取得する(S05)。方向情報取得部142は、データ処理装置2から方向情報を取得する(S06)。そして、表示制御部143は、取得した前方動画像と、取得した方向情報とを、表示部12に表示させる(S07)。 If the selected display mode is not reverse display (NO in S04), the moving image acquisition unit 141 acquires a front moving image (S05). The direction information acquisition unit 142 acquires direction information from the data processing device 2 (S06). Then, the display control unit 143 causes the display unit 12 to display the acquired front moving image and the acquired direction information (S07).

情報端末1は、終了条件を満たすかどうかを判定する(S08)。終了条件は、例えばユーザがレッスンを終了する操作を行うことである。終了条件を満たす場合(S08におけるYES)、情報端末1は、処理を終了する。終了条件を満たさない場合(S08におけるNO)、情報端末1は、S05に進み、処理を繰り返す。 The information terminal 1 determines whether or not the termination condition is satisfied (S08). The end condition is, for example, that the user performs an operation to end the lesson. If the termination condition is satisfied (YES in S08), the information terminal 1 terminates the process. If the termination condition is not satisfied (NO in S08), the information terminal 1 proceeds to S05 and repeats the process.

選択された動画像が前方動画像ではない場合(S02におけるNO)、動画取得部141は、後方動画像を取得する(S09)。そして、表示制御部143は、取得した後方動画像を、表示部12に表示させる(S10)。 If the selected moving image is not the front moving image (NO in S02), the moving image acquisition unit 141 acquires the rear moving image (S09). Then, the display control unit 143 causes the display unit 12 to display the acquired backward moving image (S10).

情報端末1は、終了条件を満たすかどうかを判定する(S11)。終了条件を満たす場合(S11におけるYES)、情報端末1は、処理を終了する。終了条件を満たさない場合(S11におけるNO)、情報端末1は、S09に進み、処理を繰り返す。 The information terminal 1 determines whether or not the termination condition is satisfied (S11). If the termination condition is satisfied (YES in S11), the information terminal 1 terminates the process. If the end condition is not satisfied (NO in S11), the information terminal 1 proceeds to S09 and repeats the process.

選択された表示態様が反転表示である場合(S04におけるYES)、動画取得部141は、前方動画像を取得する(S12)。表示制御部143は、取得した前方動画像を反転させる(S13)。そして、表示制御部143は、反転させた前方動画像を表示部12に表示させる(S14)。 If the selected display mode is reverse display (YES in S04), the moving image acquisition unit 141 acquires a forward moving image (S12). The display control unit 143 reverses the acquired front moving image (S13). Then, the display control unit 143 causes the display unit 12 to display the reversed front moving image (S14).

情報端末1は、終了条件を満たすかどうかを判定する(S15)。終了条件を満たす場合(S15におけるYES)、情報端末1は、処理を終了する。終了条件を満たさない場合(S15におけるNO)、情報端末1は、S12に進み、処理を繰り返す。 The information terminal 1 determines whether or not the termination condition is satisfied (S15). If the termination condition is satisfied (YES in S15), the information terminal 1 terminates the process. If the termination condition is not satisfied (NO in S15), the information terminal 1 proceeds to S12 and repeats the process.

[データ処理装置2の構成]
図7は、データ処理装置2の構成を示すブロック図である。データ処理装置2は、通信部21、記憶部22及び制御部23を有する。制御部23は、動画取得部231、人物抽出部232、部位抽出部233、特定部234及び送信部235を有する。
[Configuration of data processor 2]
FIG. 7 is a block diagram showing the configuration of the data processing device 2. As shown in FIG. The data processing device 2 has a communication section 21 , a storage section 22 and a control section 23 . The control unit 23 has a video acquisition unit 231 , person extraction unit 232 , part extraction unit 233 , identification unit 234 and transmission unit 235 .

通信部21は、情報端末1とデータを送受信するための通信インターフェースである。記憶部22は、例えば、ROM、RAM、SSD及びハードディスク等の記憶媒体である。記憶部22は、制御部23が実行する各種のプログラムを記憶する。 The communication unit 21 is a communication interface for transmitting and receiving data to and from the information terminal 1 . The storage unit 22 is, for example, a storage medium such as ROM, RAM, SSD, and hard disk. The storage unit 22 stores various programs executed by the control unit 23 .

制御部23は、例えばCPUである。制御部23は、記憶部22に記憶されている制御プログラムを実行することにより、動画取得部231、人物抽出部232、部位抽出部233、特定部234及び送信部235を有する。 The control unit 23 is, for example, a CPU. The control unit 23 has a video acquisition unit 231 , a person extraction unit 232 , a part extraction unit 233 , a specification unit 234 and a transmission unit 235 by executing control programs stored in the storage unit 22 .

動画取得部231は、撮像装置3から演者を撮像した動画像を取得する。動画取得部231は、演舞する人物を前方から撮像した動画像である前方動画像を取得する。演者を複数の方向から撮像している場合、動画取得部231は、撮像した方向ごとの動画像を取得する。 The moving image acquisition unit 231 acquires a moving image of the performer from the imaging device 3 . The moving image acquisition unit 231 acquires a front moving image, which is a moving image of a person performing a performance taken from the front. When the performer is imaged from multiple directions, the moving image acquisition unit 231 acquires a moving image for each imaging direction.

人物抽出部232は、取得した動画像を構成する複数のフレームのうち少なくとも一部のフレームに含まれる人物を抽出する。人物抽出部232は、取得した動画像を公知の画像認識処理をすることにより、動画像を構成するフレームのうち人物が含まれる領域を抽出する。人物抽出部232は、例えば所定のフレームごとに人物が含まれる領域を抽出する処理を行ってもよい。 The person extraction unit 232 extracts a person included in at least some of the plurality of frames forming the acquired moving image. The person extracting unit 232 performs known image recognition processing on the acquired moving image, thereby extracting an area including a person among the frames forming the moving image. The person extraction unit 232 may, for example, perform a process of extracting an area including a person for each predetermined frame.

部位抽出部233は人物抽出部232が抽出した人物の身体の部位を抽出する。部位抽出部233は、動画像を構成するフレームから人物抽出部232が抽出した人物が含まれる領域を公知の画像認識処理をすることにより、動画像を構成するフレームに含まれる身体の部位を抽出する。 The part extraction unit 233 extracts the parts of the person's body extracted by the person extraction unit 232 . The body part extraction unit 233 extracts the body parts included in the frames that make up the moving image by performing known image recognition processing on the regions that include the person extracted by the person extraction unit 232 from the frames that make up the moving image. do.

特定部234は、部位抽出部233が抽出した身体の部位が向いている方向を特定する。特定部234は、部位抽出部233が抽出した画像フレーム内の身体の部位を公知の画像認識処理をすることにより、抽出した身体の部位が向いている方向を特定する。特定部234は、抽出した身体の部位に関する情報と身体の部位が向いている方向を示す情報と、を関連付けた方向情報を生成する。部位抽出部233が抽出した身体の部位が複数あるときは、特定部234は、抽出された部位それぞれについて向いている方向を特定し、複数の身体の部位が向いている方向を示す情報を含む方向情報を生成する。 The specifying unit 234 specifies the direction in which the part of the body extracted by the part extracting unit 233 faces. The identification unit 234 identifies the direction in which the extracted body part faces by performing known image recognition processing on the body part in the image frame extracted by the part extraction unit 233 . The specifying unit 234 generates direction information that associates the information about the extracted body part and the information indicating the direction in which the body part faces. When there are a plurality of parts of the body extracted by the part extracting unit 233, the specifying unit 234 specifies the direction in which each of the extracted parts is facing, and includes information indicating the directions in which the plurality of parts of the body are facing. Generate directional information.

送信部235は、抽出された身体の部位に関する情報と、部位が向いている方向を示す情報と、を関連付けた方向情報をユーザが使用する情報端末1に送信する。送信部235は、取得した動画像を情報端末1に送信してもよい。 The transmission unit 235 transmits direction information in which information about the extracted body part and information indicating the direction in which the part faces are associated to the information terminal 1 used by the user. The transmission unit 235 may transmit the acquired moving image to the information terminal 1 .

[データ処理装置2における処理の流れ]
図8は、データ処理装置2における処理の流れを示すフローチャートである。図8に示すフローチャートは、情報端末1に動画像を配信する操作が行われた時点から開始している。
[Flow of processing in data processor 2]
FIG. 8 is a flow chart showing the flow of processing in the data processing device 2. As shown in FIG. The flowchart shown in FIG. 8 starts when an operation for distributing a moving image to the information terminal 1 is performed.

動画取得部231は、撮像装置3から演者を撮像した動画像を取得する(S101)。人物抽出部232は、取得した動画像を構成する複数のフレームのうち少なくとも一部のフレームに含まれる人物を抽出する(S102)。 The moving image acquisition unit 231 acquires a moving image of the performer from the imaging device 3 (S101). The person extraction unit 232 extracts a person included in at least some of the plurality of frames forming the acquired moving image (S102).

部位抽出部233は人物抽出部232が抽出した人物の身体の部位を抽出する(S103)。特定部234は、部位抽出部233が抽出した身体の部位が向いている方向を特定し、方向情報を生成する(S104)。 The body part extraction unit 233 extracts the body part of the person extracted by the person extraction unit 232 (S103). The specifying unit 234 specifies the direction in which the part of the body extracted by the part extracting unit 233 faces, and generates direction information (S104).

送信部235は、生成した方向情報をユーザが使用する情報端末1に送信する(S105)。データ処理装置2は、終了条件を満たすかどうかを判定する(S106)。終了条件を満たす場合(S106におけるYES)、データ処理装置2は、処理を終了する。終了条件を満たさない場合(S106におけるNO)、データ処理装置2は、S101に戻り処理を繰り返す。 The transmitting unit 235 transmits the generated direction information to the information terminal 1 used by the user (S105). The data processing device 2 determines whether or not the termination condition is satisfied (S106). If the termination condition is satisfied (YES in S106), the data processor 2 terminates the process. If the end condition is not satisfied (NO in S106), the data processing device 2 returns to S101 and repeats the process.

なお、本発明により、国連が主導する持続可能な開発目標(SDGs)の目標9「産業と技術革新の基盤をつくろう」に貢献することが可能となる。 The present invention makes it possible to contribute to Goal 9 of the Sustainable Development Goals (SDGs) led by the United Nations, "Industry and technological innovation."

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes are possible within the scope of the gist thereof. be. For example, all or part of the device can be functionally or physically distributed and integrated in arbitrary units. In addition, new embodiments resulting from arbitrary combinations of multiple embodiments are also included in the embodiments of the present invention. The effect of the new embodiment caused by the combination has the effect of the original embodiment.

1 情報端末
2 データ処理装置
3 撮像装置
11 通信部
12 表示部
13 記憶部
14 制御部
21 通信部
22 記憶部
23 制御部
141 動画取得部
142 方向情報取得部
143 表示制御部
144 選択部
145 動画選択部
231 動画取得部
232 人物抽出部
233 部位抽出部
234 特定部
235 送信部
1 information terminal 2 data processing device 3 imaging device 11 communication unit 12 display unit 13 storage unit 14 control unit 21 communication unit 22 storage unit 23 control unit 141 video acquisition unit 142 direction information acquisition unit 143 display control unit 144 selection unit 145 video selection Unit 231 Moving image acquisition unit 232 Person extraction unit 233 Part extraction unit 234 Identification unit 235 Transmission unit

Claims (12)

演舞する人物を前方から撮像した動画像である前方動画像を取得する動画取得部と、
前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得する方向情報取得部と、
取得した前記前方動画像と前記方向情報とをともに表示部に表示させる表示制御部と、
前記前方動画像と、前記人物を後方から撮像した動画像である後方動画像と、から前記表示部に表示する動画像の選択を受け付ける動画選択部と、
を有し、
前記動画取得部は、前記後方動画像をさらに取得し、
前記表示制御部は、前記動画選択部が前記前方動画像の選択を受け付けた場合、前記前方動画像と前記方向情報とをともに前記表示部に表示させ、前記動画選択部が前記後方動画像の選択を受け付けた場合、前記後方動画像を前記表示部に表示させ、前記方向情報を前記表示部に表示させない、
情報端末。
a moving image acquisition unit that acquires a front moving image, which is a moving image of a person performing a dance captured from the front;
Direction information that associates information about parts of the body of the person included in each frame with information indicating the direction in which the parts are facing, in at least some of the plurality of frames that make up the forward moving image. a direction information acquisition unit that acquires
a display control unit that causes a display unit to display both the acquired front moving image and the direction information;
a moving image selection unit that receives selection of a moving image to be displayed on the display unit from the front moving image and a rear moving image that is a moving image of the person captured from behind;
has
The moving image acquisition unit further acquires the backward moving image,
When the moving image selection unit accepts selection of the forward moving image, the display control unit causes the display unit to display both the forward moving image and the direction information, and the moving image selecting unit selects the backward moving image. if the selection is accepted, displaying the rear moving image on the display unit and not displaying the direction information on the display unit;
Information terminal.
取得した動画像を反転せずに表示させる通常表示と、取得した動画像を左右反転して表示させる反転表示と、の間で表示態様の選択を受け付ける選択部をさらに有し、
前記表示制御部は、前記通常表示が選択された場合、取得した前記前方動画像と前記方向情報とをともに前記表示部に表示させ、前記反転表示が選択された場合、取得した前記前方動画像を左右反転させて前記表示部に表示させる、
請求項1に記載する情報端末。
a selection unit that accepts a selection of a display mode between normal display in which the acquired moving image is displayed without being reversed and reverse display in which the acquired moving image is horizontally reversed and displayed;
The display control unit causes the display unit to display both the acquired forward moving image and the direction information when the normal display is selected, and the acquired forward moving image when the reverse display is selected. is horizontally reversed and displayed on the display unit,
An information terminal according to claim 1.
前記表示制御部は、選択されている前記表示態様を示す情報を前記前方動画像とともに前記表示部に表示させる、
請求項2に記載する情報端末。
The display control unit causes the display unit to display information indicating the selected display mode together with the front moving image.
An information terminal according to claim 2.
前記方向情報取得部は、前記各フレームに含まれる前記人物の身体の複数の部位に関する情報と、それぞれの前記部位が向いている方向を示す情報とを関連付けた複数の前記方向情報と、それぞれの前記方向情報を表示する優先度と、を取得し、
前記表示制御部は、前記優先度に基づいて表示する1以上の前記方向情報を選択し、取得した前記前方動画像と選択された前記1以上の前記方向情報とをともに前記表示部に表示させる、
請求項1から3のいずれか1項に記載する情報端末。
The direction information acquisition unit is configured to obtain a plurality of direction information obtained by associating information regarding a plurality of parts of the body of the person included in each frame with information indicating a direction in which each of the parts faces, and obtaining a priority for displaying the direction information, and
The display control unit selects one or more of the direction information to be displayed based on the priority, and causes the display unit to display the acquired forward moving image and the selected one or more of the direction information. ,
An information terminal according to any one of claims 1 to 3.
演舞する人物を前方から撮像した動画像である前方動画像を取得する動画取得部と、
前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得する方向情報取得部と、
取得した前記前方動画像と前記方向情報とをともに表示部に表示させる表示制御部と、
を有し、
前記方向情報取得部は、前記各フレームに含まれる前記人物の身体の複数の部位に関する情報と、それぞれの前記部位が向いている方向を示す情報とを関連付けた複数の前記方向情報と、それぞれの前記方向情報を表示する優先度と、を取得し、
前記表示制御部は、前記優先度に基づいて表示する1以上の前記方向情報を選択し、取得した前記前方動画像と選択された前記1以上の前記方向情報とをともに前記表示部に表示させる、
情報端末。
a moving image acquisition unit that acquires a front moving image, which is a moving image of a person performing a dance captured from the front;
Direction information that associates information about parts of the body of the person included in each frame with information indicating the direction in which the parts are facing, in at least some of the plurality of frames that make up the forward moving image. a direction information acquisition unit that acquires
a display control unit that causes a display unit to display both the acquired front moving image and the direction information;
has
The direction information acquisition unit is configured to obtain a plurality of direction information obtained by associating information regarding a plurality of parts of the body of the person included in each frame with information indicating a direction in which each of the parts faces, and obtaining a priority for displaying the direction information, and
The display control unit selects one or more of the direction information to be displayed based on the priority, and causes the display unit to display the acquired forward moving image and the selected one or more of the direction information. ,
Information terminal.
演舞する人物を前方から撮像した動画像である前方動画像を取得する動画取得部と、
前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得する方向情報取得部と、
取得した前記前方動画像と前記方向情報とをともに表示部に表示させる表示制御部と、
取得した動画像を反転せずに表示させる通常表示と、取得した動画像を左右反転して表示させる反転表示と、の間で表示態様の選択を受け付ける選択部と、
を有し、
前記表示制御部は、前記通常表示が選択された場合、取得した前記前方動画像と前記方向情報とをともに前記表示部に表示させ、前記反転表示が選択された場合、取得した前記前方動画像を左右反転させて前記表示部に表示させ、前記方向情報を前記表示部に表示させない、
情報端末。
a moving image acquisition unit that acquires a front moving image, which is a moving image of a person performing a dance captured from the front;
Direction information that associates information about parts of the body of the person included in each frame with information indicating the direction in which the parts are facing, in at least some of the plurality of frames that make up the forward moving image. a direction information acquisition unit that acquires
a display control unit that causes a display unit to display both the acquired front moving image and the direction information;
a selection unit that receives a selection of a display mode between normal display in which the obtained moving image is displayed without being reversed and reverse display in which the obtained moving image is horizontally reversed and displayed;
has
The display control unit causes the display unit to display both the acquired forward moving image and the direction information when the normal display is selected, and the acquired forward moving image when the reverse display is selected. is horizontally reversed and displayed on the display unit, and the direction information is not displayed on the display unit;
Information terminal.
コンピュータが実行する、
演舞する人物を前方から撮像した動画像である前方動画像を取得するステップと、
前記人物を後方から撮像した動画像である後方動画像をさらに取得するステップと、
前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得するステップと、
前記前方動画像と、前記後方動画像と、から表示部に表示する動画像の選択を受け付けるステップと、
取得した前記前方動画像と前記方向情報とをともに前記表示部に表示させるステップと、
を有し、
前記表示させるステップにおいては、前記動画像の選択を受け付けるにおいて前記前方動画像の選択を受け付けた場合、前記前方動画像と前記方向情報とをともに前記表示部に表示させ、前記動画像の選択を受け付けるステップにおいて前記後方動画像の選択を受け付けた場合、前記後方動画像を前記表示部に表示させ、前記方向情報を前記表示部に表示させない、
情報処理方法。
the computer runs
a step of obtaining a front moving image, which is a moving image of a person performing a dance taken from the front;
a step of further acquiring a rearward moving image, which is a moving image of the person captured from behind;
Direction information that associates information about parts of the body of the person included in each frame with information indicating the direction in which the parts are facing, in at least some of the plurality of frames that make up the forward moving image. and obtaining
receiving a selection of a moving image to be displayed on a display unit from the forward moving image and the backward moving image;
a step of displaying both the acquired front moving image and the direction information on the display unit;
has
In the displaying step, when the selection of the forward moving image is received in accepting the selection of the moving image, the forward moving image and the direction information are both displayed on the display unit, and the selection of the moving image is displayed. if the selection of the backward moving image is received in the receiving step, the backward moving image is displayed on the display unit and the direction information is not displayed on the display unit;
Information processing methods.
コンピュータに、
演舞する人物を前方から撮像した動画像である前方動画像を取得するステップと、
前記人物を後方から撮像した動画像である後方動画像をさらに取得するステップと、
前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得するステップと、
前記前方動画像と、前記後方動画像と、から表示部に表示する動画像の選択を受け付けるステップと、
取得した前記前方動画像と前記方向情報とをともに前記表示部に表示させるステップと、
を実行させ、
前記表示させるステップにおいては、前記動画像の選択を受け付けるにおいて前記前方動画像の選択を受け付けた場合、前記前方動画像と前記方向情報とをともに前記表示部に表示させ、前記動画像の選択を受け付けるステップにおいて前記後方動画像の選択を受け付けた場合、前記後方動画像を前記表示部に表示させ、前記方向情報を前記表示部に表示させない、
プログラム。
to the computer,
a step of obtaining a front moving image, which is a moving image of a person performing a dance taken from the front;
a step of further acquiring a rearward moving image, which is a moving image of the person captured from behind;
Direction information that associates information about parts of the body of the person included in each frame with information indicating the direction in which the parts are facing, in at least some of the plurality of frames that make up the forward moving image. and obtaining
receiving a selection of a moving image to be displayed on a display unit from the forward moving image and the backward moving image;
a step of displaying both the acquired front moving image and the direction information on the display unit;
and
In the displaying step, when the selection of the forward moving image is received in accepting the selection of the moving image, the forward moving image and the direction information are both displayed on the display unit, and the selection of the moving image is displayed. if the selection of the backward moving image is received in the receiving step, the backward moving image is displayed on the display unit and the direction information is not displayed on the display unit;
program.
コンピュータが実行する、
演舞する人物を前方から撮像した動画像である前方動画像を取得するステップと、
前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得するステップと、
取得した前記前方動画像と前記方向情報とをともに表示部に表示させるステップと、
を有し、
前記方向情報を取得するステップにおいては、前記各フレームに含まれる前記人物の身体の複数の部位に関する情報と、それぞれの前記部位が向いている方向を示す情報とを関連付けた複数の前記方向情報と、それぞれの前記方向情報を表示する優先度と、を取得し、
前記表示させるステップにおいては、前記優先度に基づいて表示する1以上の前記方向情報を選択し、取得した前記前方動画像と選択された前記1以上の前記方向情報とをともに前記表示部に表示させる、
情報処理方法。
the computer runs
a step of obtaining a front moving image, which is a moving image of a person performing a dance taken from the front;
Direction information that associates information about parts of the body of the person included in each frame with information indicating the direction in which the parts are facing, in at least some of the plurality of frames that make up the forward moving image. and obtaining
a step of displaying both the acquired front moving image and the direction information on a display unit;
has
In the step of acquiring the direction information, a plurality of the direction information in which information relating to a plurality of parts of the body of the person included in each of the frames and information indicating a direction in which each of the parts is directed are associated with each other. , a priority for displaying each of said direction information, and
In the displaying step, one or more pieces of direction information to be displayed are selected based on the priority, and both the acquired forward moving image and the selected one or more pieces of direction information are displayed on the display unit. let
Information processing methods.
コンピュータに、
演舞する人物を前方から撮像した動画像である前方動画像を取得するステップと、
前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得するステップと、
取得した前記前方動画像と前記方向情報とをともに表示部に表示させるステップと、
を実行させ、
前記方向情報を取得するステップにおいては、前記各フレームに含まれる前記人物の身体の複数の部位に関する情報と、それぞれの前記部位が向いている方向を示す情報とを関連付けた複数の前記方向情報と、それぞれの前記方向情報を表示する優先度と、を取得し、
前記表示させるステップにおいては、前記優先度に基づいて表示する1以上の前記方向情報を選択し、取得した前記前方動画像と選択された前記1以上の前記方向情報とをともに前記表示部に表示させる、
プログラム。
to the computer,
a step of obtaining a front moving image, which is a moving image of a person performing a dance taken from the front;
Direction information that associates information about parts of the body of the person included in each frame with information indicating the direction in which the parts are facing, in at least some of the plurality of frames that make up the forward moving image. and obtaining
a step of displaying both the acquired front moving image and the direction information on a display unit;
and
In the step of acquiring the direction information, a plurality of the direction information in which information relating to a plurality of parts of the body of the person included in each of the frames and information indicating a direction in which each of the parts is directed are associated with each other. , a priority for displaying each of said direction information, and
In the displaying step, one or more pieces of direction information to be displayed are selected based on the priority, and both the acquired forward moving image and the selected one or more pieces of direction information are displayed on the display unit. let
program.
コンピュータが実行する、
演舞する人物を前方から撮像した動画像である前方動画像を取得するステップと、
前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得するステップと、
取得した動画像を反転せずに表示させる通常表示と、取得した動画像を左右反転して表示させる反転表示と、の間で表示態様の選択を受け付けるステップと、
取得した前記前方動画像と前記方向情報とをともに表示部に表示させるステップと、
を有し、
前記表示させるステップにおいては、前記通常表示が選択された場合、取得した前記前方動画像と前記方向情報とをともに前記表示部に表示させ、前記反転表示が選択された場合、取得した前記前方動画像を左右反転させて前記表示部に表示させ、前記方向情報を前記表示部に表示させない、
情報処理方法。
the computer runs
a step of obtaining a front moving image, which is a moving image of a person performing a dance taken from the front;
Direction information that associates information about parts of the body of the person included in each frame with information indicating the direction in which the parts are facing, in at least some of the plurality of frames that make up the forward moving image. and obtaining
receiving a selection of a display mode between normal display in which the obtained moving image is displayed without being reversed and reverse display in which the obtained moving image is horizontally reversed and displayed;
a step of displaying both the acquired front moving image and the direction information on a display unit;
has
In the displaying step, when the normal display is selected, both the acquired forward moving image and the direction information are displayed on the display unit, and when the reverse display is selected, the acquired forward moving image is displayed. displaying the image on the display section by horizontally reversing the image, and not displaying the direction information on the display section;
Information processing methods.
コンピュータに、
演舞する人物を前方から撮像した動画像である前方動画像を取得するステップと、
前記前方動画像を構成する複数のフレームの少なくとも一部のフレームにおいて、各フレームに含まれる前記人物の身体の部位に関する情報と、前記部位が向いている方向を示す情報と、を関連付けた方向情報を取得するステップと、
取得した動画像を反転せずに表示させる通常表示と、取得した動画像を左右反転して表示させる反転表示と、の間で表示態様の選択を受け付けるステップと、
取得した前記前方動画像と前記方向情報とをともに表示部に表示させるステップと、
を実行させ、
前記表示させるステップにおいては、前記通常表示が選択された場合、取得した前記前方動画像と前記方向情報とをともに前記表示部に表示させ、前記反転表示が選択された場合、取得した前記前方動画像を左右反転させて前記表示部に表示させ、前記方向情報を前記表示部に表示させない、
プログラム。
to the computer,
a step of obtaining a front moving image, which is a moving image of a person performing a dance taken from the front;
Direction information that associates information about parts of the body of the person included in each frame with information indicating the direction in which the parts are facing, in at least some of the plurality of frames that make up the forward moving image. and obtaining
receiving a selection of a display mode between normal display in which the obtained moving image is displayed without being reversed and reverse display in which the obtained moving image is horizontally reversed and displayed;
a step of displaying both the acquired front moving image and the direction information on a display unit;
and
In the displaying step, when the normal display is selected, both the acquired forward moving image and the direction information are displayed on the display unit, and when the reverse display is selected, the acquired forward moving image is displayed. displaying the image on the display section by horizontally reversing the image, and not displaying the direction information on the display section;
program.
JP2021161409A 2021-09-30 2021-09-30 Information terminal, information processing method and program Active JP7195396B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021161409A JP7195396B1 (en) 2021-09-30 2021-09-30 Information terminal, information processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021161409A JP7195396B1 (en) 2021-09-30 2021-09-30 Information terminal, information processing method and program

Publications (2)

Publication Number Publication Date
JP7195396B1 true JP7195396B1 (en) 2022-12-23
JP2023050996A JP2023050996A (en) 2023-04-11

Family

ID=84536949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021161409A Active JP7195396B1 (en) 2021-09-30 2021-09-30 Information terminal, information processing method and program

Country Status (1)

Country Link
JP (1) JP7195396B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006061492A (en) 2004-08-27 2006-03-09 Kayo Ko Practice material for dance or the like
JP2009050432A (en) 2007-08-27 2009-03-12 靖子 ▲徳▼丸 Exercise video transmitting apparatus and exercise video camera
JP2009089744A (en) 2007-10-03 2009-04-30 Xing Inc Moving image display system, moving image display method, and computer program
JP2013146511A (en) 2012-01-19 2013-08-01 Mobadai Inc Electronic apparatus for recording, analyzing, and displaying change of human action
WO2015015560A1 (en) 2013-07-30 2015-02-05 キヤノン株式会社 Display control device and control method therefor
JP2015126826A (en) 2013-12-27 2015-07-09 ブラザー工業株式会社 Information processing device and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07108323B2 (en) * 1986-11-29 1995-11-22 ソニー株式会社 Exercise training device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006061492A (en) 2004-08-27 2006-03-09 Kayo Ko Practice material for dance or the like
JP2009050432A (en) 2007-08-27 2009-03-12 靖子 ▲徳▼丸 Exercise video transmitting apparatus and exercise video camera
JP2009089744A (en) 2007-10-03 2009-04-30 Xing Inc Moving image display system, moving image display method, and computer program
JP2013146511A (en) 2012-01-19 2013-08-01 Mobadai Inc Electronic apparatus for recording, analyzing, and displaying change of human action
WO2015015560A1 (en) 2013-07-30 2015-02-05 キヤノン株式会社 Display control device and control method therefor
JP2015126826A (en) 2013-12-27 2015-07-09 ブラザー工業株式会社 Information processing device and program

Also Published As

Publication number Publication date
JP2023050996A (en) 2023-04-11

Similar Documents

Publication Publication Date Title
US20180300037A1 (en) Information processing device, information processing method, and program
EP3097689B1 (en) Multi-view display control for channel selection
EP2731348A2 (en) Apparatus and method for providing social network service using augmented reality
JP7228338B2 (en) System, method and program for distributing videos
CN111357296A (en) Video distribution device, video distribution system, video distribution method, and video distribution program
CN114286142B (en) Virtual reality equipment and VR scene screen capturing method
CN109511004B (en) Video processing method and device
CN112616048B (en) AR glasses, display method and system thereof, image processing method and device
JP2004007396A (en) Stereoscopic image processing method and device
KR20160139633A (en) An system and method for providing experiential contents using augmented reality
KR100860940B1 (en) Method of providing contents using a color marker and system for performing the same
CN108141565A (en) Information processing equipment and information processing method
US20080158242A1 (en) Virtual image preservation
JP7195396B1 (en) Information terminal, information processing method and program
JP2004221699A (en) Stereoscopic image processing method and apparatus
JP6609078B1 (en) Content distribution system, content distribution method, and content distribution program
JP2004220127A (en) Stereoscopic image processing method and device
WO2019235106A1 (en) Heat map presentation device and heat map presentation program
JP2021089382A (en) Electronic apparatus, method for controlling electronic apparatus, program, and storage medium
CN113396596A (en) Video distribution device, video distribution system, video distribution method, and video distribution program
CN108141628A (en) Information processing equipment, its control method and computer program
JP6934098B1 (en) Information processing equipment, information processing methods and programs
JP5114140B2 (en) Image display system and method
JP2020071519A (en) Guide device and guide system
JP7344084B2 (en) Content distribution system, content distribution method, and content distribution program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211102

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221213

R150 Certificate of patent or registration of utility model

Ref document number: 7195396

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150