JP6815555B1 - Image display device and program - Google Patents

Image display device and program Download PDF

Info

Publication number
JP6815555B1
JP6815555B1 JP2020147702A JP2020147702A JP6815555B1 JP 6815555 B1 JP6815555 B1 JP 6815555B1 JP 2020147702 A JP2020147702 A JP 2020147702A JP 2020147702 A JP2020147702 A JP 2020147702A JP 6815555 B1 JP6815555 B1 JP 6815555B1
Authority
JP
Japan
Prior art keywords
moving image
area
display
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020147702A
Other languages
Japanese (ja)
Other versions
JP2022042321A (en
Inventor
純一 鶴見
純一 鶴見
政明 厚地
政明 厚地
隆一郎 林
隆一郎 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2020147702A priority Critical patent/JP6815555B1/en
Priority to JP2020212585A priority patent/JP6941723B1/en
Application granted granted Critical
Publication of JP6815555B1 publication Critical patent/JP6815555B1/en
Publication of JP2022042321A publication Critical patent/JP2022042321A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】ユーザが見たいシーンを所望の配置で容易に見えるようにする。【解決手段】画像表示装置2は、第1動画像を表示部の第1領域に表示させ、第2動画像を表示部22における第1領域よりも狭い第2領域に表示させる表示処理部252と、第2動画像を第1領域で表示させるための切替操作を受け付ける操作受付部254と、操作受付部254が切替操作を受け付けると、切替操作を受け付けた切替操作時点で第2領域に表示されている時点の第2動画像から第1領域に表示させるか、切替操作時点よりも前の時点に遡って第2動画像を第1領域に表示させるかを選択するための選択操作画面を表示部22に表示させる操作画面表示部255と、を有し、表示処理部252は、操作受付部254が選択操作画面において受け付けた操作の内容に対応する時点から第2動画像を第1領域に表示させる。【選択図】図5PROBLEM TO BE SOLVED: To easily see a scene desired by a user in a desired arrangement. An image display device 2 displays a first moving image in a first area of a display unit, and displays a second moving image in a second area narrower than the first area of the display unit 22. When the operation reception unit 254 that accepts the switching operation for displaying the second moving image in the first area and the operation reception unit 254 accepts the switching operation, they are displayed in the second area at the time of the switching operation that receives the switching operation. A selection operation screen for selecting whether to display the second moving image in the first area from the second moving image at the time when it is set, or to display the second moving image in the first area retroactively to a time point before the switching operation time. It has an operation screen display unit 255 to be displayed on the display unit 22, and the display processing unit 252 displays the second moving image in the first region from the time corresponding to the content of the operation received by the operation reception unit 254 on the selection operation screen. To display. [Selection diagram] Fig. 5

Description

本発明は、画像表示装置及びプログラムに関する。 The present invention relates to an image display device and a program.

従来、複数の動画像をディスプレイに表示している状態で、タッチスクリーン上で行われた操作に基づいて、それぞれの動画像を表示する位置を切り替えることができるシステムが知られている(例えば、特許文献1を参照)。 Conventionally, there is known a system capable of switching the display position of each moving image based on an operation performed on a touch screen while displaying a plurality of moving images on a display (for example,). See Patent Document 1).

特許第6306697号公報Japanese Patent No. 6306697

ユーザは、切り替えるための操作をする前のシーンを切り替え後の配置で見たいという場合がある。しかしながら、従来のシステムにおいては、表示する動画像を切り替えるための操作が行われた時点から複数の動画像の再生を再開するため、切り替えるための操作をする前のシーンを見るためには、煩雑な操作をする必要があった。 The user may want to see the scene before the operation for switching in the arrangement after switching. However, in the conventional system, since the reproduction of a plurality of moving images is restarted from the time when the operation for switching the moving image to be displayed is performed, it is complicated to see the scene before the operation for switching. I had to do some operations.

そこで、本発明はこれらの点に鑑みてなされたものであり、ユーザが見たいシーンを所望の配置で容易に見えるようにすることを目的とする。 Therefore, the present invention has been made in view of these points, and an object of the present invention is to make it easy for a user to see a scene desired to be seen in a desired arrangement.

本発明の第1の態様の画像表示装置は、第1動画像を表示部の第1領域に表示させ、第2動画像を前記表示部における前記第1領域よりも狭い第2領域に表示させる表示処理部と、前記第2動画像を前記第1領域で表示させるための切替操作を受け付ける操作受付部と、前記操作受付部が前記切替操作を受け付けると、前記切替操作を受け付けた切替操作時点で前記第2領域に表示されている時点の前記第2動画像から前記第1領域に表示させるか、前記切替操作時点よりも前の時点に遡って前記第2動画像を前記第1領域に表示させるかを選択するための選択操作画面を前記表示部に表示させる操作画面表示部と、を有し、前記表示処理部は、前記操作受付部が前記選択操作画面において受け付けた操作の内容に対応する時点から前記第2動画像を前記第1領域に表示させる。 The image display device according to the first aspect of the present invention displays a first moving image in a first area of a display unit and displays a second moving image in a second area narrower than the first area of the display unit. When the display processing unit, the operation receiving unit that accepts the switching operation for displaying the second moving image in the first area, and the operation receiving unit accepts the switching operation, the switching operation time point that receives the switching operation The second moving image at the time when it is displayed in the second area is displayed in the first area, or the second moving image is moved back to the time before the switching operation time in the first area. It has an operation screen display unit for displaying a selection operation screen for selecting whether to display on the display unit, and the display processing unit includes the content of the operation received by the operation reception unit on the selection operation screen. From the corresponding time point, the second moving image is displayed in the first area.

前記表示処理部は、前記切替操作時点よりも前の時点に遡って前記第2動画像を前記第1領域に表示した場合、前記第2動画像を前記切替操作時点まで再生するまでの間は前記第1動画像を再生せず、前記第2動画像を前記切替操作時点まで再生した後に前記第1動画像を前記第2領域で再生し始めてもよい。 When the display processing unit displays the second moving image in the first area retroactively to a time point before the switching operation time, the display processing unit is until the second moving image is reproduced up to the switching operation time point. The first moving image may be started to be reproduced in the second region after the second moving image is reproduced up to the time of the switching operation without reproducing the first moving image.

前記操作画面表示部は、前記第2動画像を前記第1領域で再生する間に、前記第1動画像を前記第2動画像に同期して前記第2領域で表示させるか否かを選択するための操作画面を前記表示部に表示させてもよい。 The operation screen display unit selects whether or not to display the first moving image in the second area in synchronization with the second moving image while the second moving image is reproduced in the first area. The operation screen for the operation may be displayed on the display unit.

前記操作画面表示部は、前記第2動画像を前記第1領域で再生している間に、前記第2動画像の再生を停止する操作及び再開するための操作を受け付けるための操作画面を前記表示部に表示させ、前記表示処理部は、前記第1動画像を再生していない状態で前記操作受付部が前記第2動画像の再生を停止する操作を受け付けた後に再開する操作を受け付けた場合に、前記第1動画像を前記第2動画像に同期して再生させてもよい。 The operation screen display unit displays an operation screen for receiving an operation for stopping and restarting the reproduction of the second moving image while the second moving image is being reproduced in the first region. Displayed on the display unit, the display processing unit has received an operation of restarting after the operation receiving unit has received an operation of stopping the reproduction of the second moving image while the first moving image is not being reproduced. In this case, the first moving image may be reproduced in synchronization with the second moving image.

前記操作画面表示部は、前記第2動画像を前記第1領域で再生している間に、前記第2動画像の再生を停止する操作を受け付けるための操作画面を前記表示部に表示させ、前記操作受付部が前記第2動画像の再生を停止する操作を受け付けた場合に、前記第2動画像の再生を再開する際に前記第1領域で再生するか前記第2領域で再生するかを選択するための操作画面を前記表示部に表示させてもよい。 The operation screen display unit causes the display unit to display an operation screen for accepting an operation of stopping the reproduction of the second moving image while the second moving image is being reproduced in the first region. When the operation receiving unit receives an operation to stop the reproduction of the second moving image, whether to reproduce in the first region or the second region when the reproduction of the second moving image is restarted. The operation screen for selecting the above may be displayed on the display unit.

前記操作画面表示部は、前記切替操作時点よりも前の時点を指定する情報を入力する領域を含む前記選択操作画面を前記表示部に表示させ、前記表示処理部は、前記選択操作画面において指定された時点から前記第2動画像を前記第1領域で再生し始めてもよい。 The operation screen display unit displays the selection operation screen including an area for inputting information for designating a time point before the switching operation time point on the display unit, and the display processing unit is designated on the selection operation screen. The second moving image may be started to be reproduced in the first region from the time when the image is generated.

前記操作受付部は、前記第2動画像が前記第2領域で再生されている間に前記第2領域から前記第1領域に向かうドラッグ操作又はスワイプ操作を前記切替操作として受け付けてもよい。 The operation receiving unit may accept a drag operation or a swipe operation from the second area to the first area as the switching operation while the second moving image is being reproduced in the second area.

前記操作受付部は、前記第1動画像が前記第1領域で再生されている間に前記第1領域から前記第2領域に向かうドラッグ操作又はスワイプ操作を前記切替操作として受け付けてもよい。 The operation receiving unit may accept a drag operation or a swipe operation from the first area to the second area as the switching operation while the first moving image is being reproduced in the first area.

本発明の第2の態様のプログラムは、コンピュータに、第1動画像を表示部の第1領域に表示させ、第2動画像を前記表示部における前記第1領域よりも狭い第2領域に表示させるステップと、前記第2動画像を前記第1領域で表示させるための切替操作を受け付けるステップと、前記切替操作を受け付けると、前記切替操作を受け付けた切替操作時点で前記第2領域に表示されている時点の前記第2動画像から前記第1領域に表示させるか、前記切替操作時点よりも前の時点に遡って前記第2動画像を前記第1領域に表示させるかを選択するための選択操作画面を前記表示部に表示させるステップと、前記選択操作画面において受け付けた操作の内容に対応する時点から前記第2動画像を前記第1領域に表示させるステップと、を実行させる。 The program of the second aspect of the present invention causes a computer to display a first moving image in a first area of a display unit, and displays a second moving image in a second area narrower than the first area of the display unit. A step of accepting a switching operation for displaying the second moving image in the first region, and a step of accepting the switching operation, the second moving image is displayed in the second region at the time of the switching operation in which the switching operation is accepted. For selecting whether to display the second moving image in the first area from the second moving image at a certain time, or to display the second moving image in the first area retroactively to a time point before the switching operation time. The step of displaying the selection operation screen on the display unit and the step of displaying the second moving image in the first area from the time corresponding to the content of the operation received on the selection operation screen are executed.

本発明によれば、ユーザが見たいシーンを所望の配置で容易に見えるようにすることができるという効果を奏する。 According to the present invention, there is an effect that the scene desired by the user can be easily seen in a desired arrangement.

画像表示システムSのシステム構成図である。It is a system block diagram of the image display system S. 複数のカメラCが競技場に設置されている状態を示す模式図である。It is a schematic diagram which shows the state which a plurality of cameras C are installed in a stadium. 複数のカメラCが作成した複数の動画像がディスプレイに表示された状態を示す図である。It is a figure which shows the state which a plurality of moving images created by a plurality of cameras C are displayed on a display. 画像配信装置1の構成を示す図である。It is a figure which shows the structure of the image distribution apparatus 1. 画像表示装置2の構成を示す図である。It is a figure which shows the structure of the image display device 2. 選択操作画面の例を示す図である。It is a figure which shows the example of the selection operation screen. 画像表示装置2における処理の流れを示すフローチャートである。It is a flowchart which shows the flow of processing in an image display apparatus 2.

[画像表示システムSの概要]
図1は、画像表示システムSのシステム構成図である。画像表示システムSは、画像配信装置1と、画像表示装置2とを有する。画像表示システムSは、画像配信装置1が管理している動画像データを画像表示装置2に配信し、画像表示装置2のユーザが動画像データに基づく動画像を見るためのシステムである。画像配信装置1及び画像表示装置2は、ネットワークNを介して各種のデータを送受信する。ネットワークNは、インターネット又は携帯電話網等を含む。
[Overview of image display system S]
FIG. 1 is a system configuration diagram of the image display system S. The image display system S includes an image distribution device 1 and an image display device 2. The image display system S is a system for distributing the moving image data managed by the image distribution device 1 to the image display device 2 so that the user of the image display device 2 can see the moving image based on the moving image data. The image distribution device 1 and the image display device 2 transmit and receive various data via the network N. The network N includes the Internet, a mobile phone network, and the like.

画像配信装置1が配信する動画像データは任意であるが、一例として、複数の動画像データは、複数の異なるアングルから共通の空間が撮影されることにより生成された動画像データである。本実施形態に係る画像配信装置1は、ネットワークNを介して、複数のカメラC(C1〜C5)それぞれから動画像データを取得する。画像配信装置1は、複数のカメラCから取得した複数の動画像データを含む配信用データを画像配信装置1に配信する。 The moving image data distributed by the image distribution device 1 is arbitrary, but as an example, the plurality of moving image data are moving image data generated by photographing a common space from a plurality of different angles. The image distribution device 1 according to the present embodiment acquires moving image data from each of the plurality of cameras C (C1 to C5) via the network N. The image distribution device 1 distributes distribution data including a plurality of moving image data acquired from a plurality of cameras C to the image distribution device 1.

画像表示装置2は、画像配信装置1から配信される複数の動画像データに基づく複数の動画像を表示するディスプレイを有する端末であり、例えば、スマートフォン、タブレット、パーソナルコンピュータ又はヘッドマウントディスプレイである。画像配信装置1から動画像データの配信を受ける画像表示装置2の台数は任意である。画像表示装置2は、画像配信装置1から配信された複数の動画像に基づく複数の動画像を一つの画面内の複数の領域に表示する。 The image display device 2 is a terminal having a display for displaying a plurality of moving images based on a plurality of moving image data distributed from the image distribution device 1, and is, for example, a smartphone, a tablet, a personal computer, or a head-mounted display. The number of image display devices 2 that receive the distribution of moving image data from the image distribution device 1 is arbitrary. The image display device 2 displays a plurality of moving images based on a plurality of moving images distributed from the image distribution device 1 in a plurality of areas in one screen.

図2は、複数のカメラCが競技場に設置されている状態を示す模式図である。図2に示すように、複数のカメラCは、複数の異なるアングルから競技場で行われる試合の様子を撮影する。図3は、複数のカメラCが撮影した複数の動画像がディスプレイに表示された状態を示す図である。 FIG. 2 is a schematic view showing a state in which a plurality of cameras C are installed in the stadium. As shown in FIG. 2, the plurality of cameras C capture the state of the game played in the stadium from a plurality of different angles. FIG. 3 is a diagram showing a state in which a plurality of moving images taken by the plurality of cameras C are displayed on the display.

図3に示すように、画像表示装置2が複数の動画像を表示する複数の領域のうち、少なくとも一つの第1領域R1(以下、「メイン領域R1」という場合がある)は他の第2領域R2〜R5(以下、「サブ領域R2」という場合がある)よりも大きい。図3(a)は、第1動画像(例えばカメラC1が撮影した動画像)がメイン領域R1に表示され、他の動画像(第2動画像〜第5動画像)がサブ領域R2〜R5に表示された状態を示している。図3においては4個のサブ領域(第2領域)が表示されているが、サブ領域の数は任意である。 As shown in FIG. 3, among a plurality of regions in which the image display device 2 displays a plurality of moving images, at least one first region R1 (hereinafter, may be referred to as “main region R1”) is the other second region. It is larger than the regions R2 to R5 (hereinafter, may be referred to as "sub-region R2"). In FIG. 3A, the first moving image (for example, the moving image taken by the camera C1) is displayed in the main area R1, and the other moving images (second moving image to fifth moving image) are sub-regions R2 to R5. Indicates the state displayed in. In FIG. 3, four sub-regions (second regions) are displayed, but the number of sub-regions is arbitrary.

画像表示装置2は、複数の領域それぞれに動画像を表示させた状態で、メイン領域R1に表示する動画像を切り替える操作を受け付ける。メイン領域R1に表示する動画像を切り替える操作は、例えば図3(b)に示すようなスワイプ操作である。メイン領域R1に表示する動画像を切り替える操作は、ドラッグ操作のような他の操作であってもよい。 The image display device 2 accepts an operation of switching the moving image to be displayed in the main area R1 in a state where the moving image is displayed in each of the plurality of areas. The operation of switching the moving image displayed in the main area R1 is, for example, a swipe operation as shown in FIG. 3 (b). The operation of switching the moving image to be displayed in the main area R1 may be another operation such as a drag operation.

画像表示装置2のユーザが、メイン領域R1に第1動画像が表示され、サブ領域R2に第2動画像が表示されている状態で、第2動画像が表示されているサブ領域R2からメイン領域R1に向かうスワイプ操作をすると、画像表示装置2は、図3(c)に示すように第2動画像をメイン領域R1に表示する。また、画像表示装置2は、メイン領域R1に表示されていた第1動画像はサブ領域R2に表示する。これにより、ユーザは自身が詳細に見たい第2動画像を詳細に見ることが可能になる。 The user of the image display device 2 mainly displays the first moving image in the main area R1 and the second moving image in the sub area R2 from the sub area R2 in which the second moving image is displayed. When the swipe operation toward the area R1 is performed, the image display device 2 displays the second moving image in the main area R1 as shown in FIG. 3C. Further, the image display device 2 displays the first moving image displayed in the main area R1 in the sub area R2. As a result, the user can see in detail the second moving image that he / she wants to see in detail.

ユーザがメイン領域R1に表示させる動画像を切り替える際には、切替操作をした時点(以下、「切替操作時点」という)から、切り替え後の第2動画像を見たいという場合と、見逃した過去の場面に遡って第2動画像を見たいという場合がある。そこで、画像表示装置2は、切替操作時点でサブ領域R2に表示されている時点の第2動画像からメイン領域R1に表示させるか、切替操作時点よりも前の時点に遡って第2動画像をメイン領域R1に表示させるかを選択するための選択操作画面を表示する。画像表示装置2がこのような画面を表示することで、ユーザがメイン領域R1に表示させる動画像を切り替えた場合に、ユーザが見たい時点で撮影されたシーンを所望の配置で容易に見えるようになる。
以下、画像配信装置1及び画像表示装置2の構成及び動作を詳細に説明する。
When the user switches the moving image to be displayed in the main area R1, he / she wants to see the second moving image after the switching from the time when the switching operation is performed (hereinafter referred to as “switching operation time”), and the past that he / she missed. There are times when you want to go back to the scene and see the second moving image. Therefore, the image display device 2 either displays the second moving image at the time displayed in the sub area R2 at the time of the switching operation in the main area R1, or goes back to the time before the switching operation and makes the second moving image. Is displayed in the selection operation screen for selecting whether to display in the main area R1. By displaying such a screen on the image display device 2, when the user switches the moving image to be displayed in the main area R1, the scene shot at the time the user wants to see can be easily seen in a desired arrangement. become.
Hereinafter, the configurations and operations of the image distribution device 1 and the image display device 2 will be described in detail.

[画像配信装置1の構成]
図4は、画像配信装置1の構成を示す図である。画像配信装置1は、通信部11と、記憶部12と、制御部13とを有する。制御部13は、データ取得部131及びデータ作成部132を有する。
[Configuration of image distribution device 1]
FIG. 4 is a diagram showing the configuration of the image distribution device 1. The image distribution device 1 has a communication unit 11, a storage unit 12, and a control unit 13. The control unit 13 has a data acquisition unit 131 and a data creation unit 132.

通信部11は、ネットワークNを介して複数のカメラC及び画像表示装置2との間でデータを送受信するための通信インターフェースを有する。通信部11は、複数のカメラCから受信した複数の動画像をデータ取得部131に入力する。また、通信部11は、データ作成部132から入力された配信用の動画像を、ネットワークNを介して画像表示装置2へと送信する。 The communication unit 11 has a communication interface for transmitting and receiving data between the plurality of cameras C and the image display device 2 via the network N. The communication unit 11 inputs a plurality of moving images received from the plurality of cameras C to the data acquisition unit 131. Further, the communication unit 11 transmits the moving image for distribution input from the data creation unit 132 to the image display device 2 via the network N.

記憶部12は、ROM(Read Only Memory)、RAM(Random Access Memory)及びハードディスク等の記憶媒体を有する。記憶部12は、制御部13が実行するプログラムを記憶している。また、記憶部12は、通信部11が受信した複数の動画像を一時的に記憶する。 The storage unit 12 has a storage medium such as a ROM (Read Only Memory), a RAM (Random Access Memory), and a hard disk. The storage unit 12 stores a program executed by the control unit 13. Further, the storage unit 12 temporarily stores a plurality of moving images received by the communication unit 11.

制御部13は、例えばCPU(Central Processing Unit)を有しており、記憶部12に記憶されたプログラムを実行することにより、データ取得部131及びデータ作成部132として機能する。 The control unit 13 has, for example, a CPU (Central Processing Unit), and functions as a data acquisition unit 131 and a data creation unit 132 by executing a program stored in the storage unit 12.

データ取得部131は、通信部11を介して、複数のカメラCが所定の領域を撮影することにより生成した複数の動画像データを取得する。データ取得部131は、取得した動画像データをデータ作成部132に入力する。データ取得部131は、取得した動画像データを記憶部12に記憶させてもよい。 The data acquisition unit 131 acquires a plurality of moving image data generated by a plurality of cameras C photographing a predetermined area via the communication unit 11. The data acquisition unit 131 inputs the acquired moving image data to the data creation unit 132. The data acquisition unit 131 may store the acquired moving image data in the storage unit 12.

データ作成部132は、データ取得部131から取得した複数の動画像データに基づいて、配信用データを作成する。配信用データには、データ取得部131から取得した複数の動画像データと、複数の動画像データそれぞれを識別するための画像識別情報とが含まれている。画像識別情報は、例えば、表示する領域を示す情報を含む。具体的には、どの動画像データをデフォルトでメイン領域R1に表示させ、どの動画像データをサブ領域R2に表示させるかを規定する情報を含む。データ作成部132は、通信部11を介して、作成した配信用データを画像表示装置2に配信する。 The data creation unit 132 creates distribution data based on a plurality of moving image data acquired from the data acquisition unit 131. The distribution data includes a plurality of moving image data acquired from the data acquisition unit 131 and image identification information for identifying each of the plurality of moving image data. The image identification information includes, for example, information indicating an area to be displayed. Specifically, it includes information that defines which moving image data is displayed in the main area R1 by default and which moving image data is displayed in the sub area R2. The data creation unit 132 distributes the created distribution data to the image display device 2 via the communication unit 11.

[画像表示装置2の構成]
図5は、画像表示装置2の構成を示す図である。画像表示装置2は、通信部21と、表示部22と、操作部23と、記憶部24と、制御部25と、を有する。制御部25は、データ取得部251と、表示処理部252と、表示制御部253と、操作受付部254と、操作画面表示部255と、を有する。
[Configuration of image display device 2]
FIG. 5 is a diagram showing the configuration of the image display device 2. The image display device 2 includes a communication unit 21, a display unit 22, an operation unit 23, a storage unit 24, and a control unit 25. The control unit 25 includes a data acquisition unit 251, a display processing unit 252, a display control unit 253, an operation reception unit 254, and an operation screen display unit 255.

通信部21は、ネットワークNを介して画像配信装置1から複数の動画像データを含む配信用データを受信するための通信インターフェースである。通信部21は、受信した複数の動画像データをデータ取得部251に入力する。 The communication unit 21 is a communication interface for receiving distribution data including a plurality of moving image data from the image distribution device 1 via the network N. The communication unit 21 inputs the received plurality of moving image data to the data acquisition unit 251.

表示部22は、各種の情報を表示するディスプレイである。表示部22は、例えば、表示処理部252が再生した動画像を表示する。また、表示部22は、操作画面表示部255が作成する操作画面を動画像に重ねて表示する。 The display unit 22 is a display that displays various types of information. The display unit 22 displays, for example, a moving image reproduced by the display processing unit 252. Further, the display unit 22 displays the operation screen created by the operation screen display unit 255 on the moving image.

操作部23は、ユーザが画像表示装置2の操作を行うためのデバイスであり、例えば、表示部22に重ねて設けられたタッチパネルである。操作部23は、ユーザがタッチした位置を示す座標データを操作受付部254に通知する。 The operation unit 23 is a device for the user to operate the image display device 2, and is, for example, a touch panel provided on the display unit 22. The operation unit 23 notifies the operation reception unit 254 of coordinate data indicating the position touched by the user.

記憶部24は、ROM及びRAMを含む記憶媒体である。記憶部24は、制御部25が実行するプログラムを記憶している。記憶部24は、通信部21が受信した動画像を一時的に記憶してもよい。 The storage unit 24 is a storage medium including a ROM and a RAM. The storage unit 24 stores a program executed by the control unit 25. The storage unit 24 may temporarily store the moving image received by the communication unit 21.

制御部25は、例えばCPUを有しており、記憶部24に記憶されたプログラムを実行することにより、データ取得部251、表示処理部252、表示制御部253、操作受付部254及び操作画面表示部255として機能する。 The control unit 25 has, for example, a CPU, and by executing the program stored in the storage unit 24, the data acquisition unit 251 and the display processing unit 252, the display control unit 253, the operation reception unit 254, and the operation screen display. It functions as a unit 255.

データ取得部251は、通信部21を介して、画像配信装置1が配信した複数の動画像データを取得する。データ取得部251は、取得した複数の動画像データを表示処理部252に入力する。 The data acquisition unit 251 acquires a plurality of moving image data distributed by the image distribution device 1 via the communication unit 21. The data acquisition unit 251 inputs a plurality of acquired moving image data to the display processing unit 252.

表示処理部252は、データ取得部251から入力された複数の動画像データを再生し、表示制御部253を介して表示部22の複数の領域に複数の動画像を表示させる。具体的には、表示処理部252は、符号化された動画像データを復号し、復号後の画像データを所定の領域に配置して表示用画像データを作成する。表示処理部252は、作成した表示用画像データを表示制御部253に入力することにより、動画像を表示部22に表示させる。 The display processing unit 252 reproduces a plurality of moving image data input from the data acquisition unit 251 and displays a plurality of moving images in a plurality of areas of the display unit 22 via the display control unit 253. Specifically, the display processing unit 252 decodes the encoded moving image data and arranges the decoded image data in a predetermined area to create display image data. The display processing unit 252 inputs the created display image data to the display control unit 253 to display the moving image on the display unit 22.

表示処理部252は、例えば、第1動画像を表示部22のメイン領域R1に表示させ、第2動画像を表示部22におけるメイン領域R1よりも狭いサブ領域R2に表示させる。表示処理部252は、データ取得部251から取得した複数の動画像の全てを再生しながら表示部22に表示させてもよく、一部の動画像のみを再生しながら表示部22に表示させ、他の動画像を再生しないでもよい。表示処理部252は、再生しない動画像を表示部22に全く表示させなくてもよく、再生しない動画像を停止させた状態で、当該動画像に含まれる一部のデータに基づく静止画を表示部22に表示させてもよい。 For example, the display processing unit 252 displays the first moving image in the main area R1 of the display unit 22, and displays the second moving image in the sub area R2 narrower than the main area R1 in the display unit 22. The display processing unit 252 may display all of the plurality of moving images acquired from the data acquisition unit 251 on the display unit 22 while reproducing all of them, or display only a part of the moving images on the display unit 22 while reproducing them. Other moving images may not be played. The display processing unit 252 does not have to display the non-reproduced moving image on the display unit 22 at all, and displays a still image based on a part of the data included in the non-reproduced moving image while the non-reproduced moving image is stopped. It may be displayed on the unit 22.

メイン領域R1及びサブ領域R2の大きさ及び位置は予め定められていてもよいが、表示処理部252は、データ取得部251から入力された動画像の内容に応じてメイン領域R1及びサブ領域R2の大きさ及び位置の少なくともいずれかを決定してもよい。表示処理部252は、例えば、配信用データに関連付けられたメタ情報が示すメイン領域R1及びサブ領域R2の大きさ又は位置に基づいて、メイン領域R1及びサブ領域R2の大きさ及び位置の少なくともいずれかを決定する。メタ情報には、どの動画像をどの領域に表示させるかを指定する情報が含まれており、表示処理部252は、当該情報において指定された領域にそれぞれの動画像を表示させてもよい。 The size and position of the main area R1 and the sub area R2 may be predetermined, but the display processing unit 252 sets the main area R1 and the sub area R2 according to the content of the moving image input from the data acquisition unit 251. You may determine at least one of the size and position of. The display processing unit 252 uses at least one of the sizes and positions of the main area R1 and the sub area R2 based on, for example, the size or position of the main area R1 and the sub area R2 indicated by the meta information associated with the distribution data. To decide. The meta information includes information that specifies which moving image is to be displayed in which area, and the display processing unit 252 may display each moving image in the area specified in the information.

表示処理部252は、操作受付部254が受け付けたユーザの操作に応じて、複数の領域それぞれに表示させる動画像を切り替える。表示処理部252は、例えば図3(a)に示したように、第1動画像がメイン領域R1に表示され、第2動画像がサブ領域R2に表示された状態で、第2動画像をメイン領域R1で表示させるための切替操作(例えば図3(b)のスワイプ操作)が行われた場合に、図3(c)に示したように、第2動画像がメイン領域R1に表示され、第1動画像がサブ領域R2に表示される状態に切り替える。表示処理部252の動作の詳細については後述する。 The display processing unit 252 switches the moving image to be displayed in each of the plurality of areas according to the user's operation received by the operation reception unit 254. The display processing unit 252 displays the second moving image in the main area R1 and the second moving image in the sub area R2, for example, as shown in FIG. 3A. When a switching operation for displaying in the main area R1 (for example, a swipe operation in FIG. 3B) is performed, the second moving image is displayed in the main area R1 as shown in FIG. 3C. , Switch to the state where the first moving image is displayed in the sub area R2. The details of the operation of the display processing unit 252 will be described later.

表示制御部253は、表示処理部252から入力された表示用画像データを表示部22に入力することにより、動画像を表示部22に表示させる。また、表示制御部253は、操作画面表示部255から入力された操作画面データと表示用画像データとを合成し、動画像に重ねて操作画面を表示させる。 The display control unit 253 causes the display unit 22 to display a moving image by inputting the display image data input from the display processing unit 252 into the display unit 22. Further, the display control unit 253 synthesizes the operation screen data input from the operation screen display unit 255 and the display image data, and displays the operation screen over the moving image.

操作受付部254は、操作部23において行われたユーザの操作を受け付ける。具体的には、操作受付部254は、操作部23から入力されたユーザがタッチした位置を示す座標データに基づいて、ユーザが行った操作内容を特定することにより、ユーザの操作を受け付ける。操作受付部254は、例えば、第1動画像がメイン領域R1に表示され、第2動画像がサブ領域R2に表示された状態で、第2動画像をメイン領域R1で表示させるための切替操作を受け付ける。操作受付部254は、切替操作を受け付けたことを表示処理部252及び操作画面表示部255に通知する。 The operation reception unit 254 receives the user's operation performed by the operation unit 23. Specifically, the operation reception unit 254 accepts the user's operation by specifying the operation content performed by the user based on the coordinate data indicating the position touched by the user input from the operation unit 23. The operation reception unit 254 is, for example, a switching operation for displaying the second moving image in the main area R1 while the first moving image is displayed in the main area R1 and the second moving image is displayed in the sub area R2. Accept. The operation reception unit 254 notifies the display processing unit 252 and the operation screen display unit 255 that the switching operation has been accepted.

操作受付部254は、例えば、第2動画像がサブ領域R2で再生されている間に、図3(b)に示したようにサブ領域R2からメイン領域R1に向かうスワイプ操作を切替操作として受け付ける。操作受付部254は、メイン領域R1に表示された動画像とサブ領域R2に表示された動画像とを切り替えるための操作として、第1動画像がメイン領域R1で再生されている間にメイン領域R1からサブ領域R2に向かうスワイプ操作を切替操作として受け付けてもよい。操作受付部254がこのようなスワイプ操作を切替操作として受け付けることで、ユーザは、直感的に動画像を切り替えることができる。 The operation reception unit 254 receives, for example, a swipe operation from the sub area R2 to the main area R1 as a switching operation as shown in FIG. 3B while the second moving image is being reproduced in the sub area R2. .. The operation reception unit 254 is an operation for switching between the moving image displayed in the main area R1 and the moving image displayed in the sub area R2, while the first moving image is being played back in the main area R1. A swipe operation from R1 to the sub area R2 may be accepted as a switching operation. The operation reception unit 254 accepts such a swipe operation as a switching operation, so that the user can intuitively switch the moving image.

操作受付部254は、メイン領域R1の面積とサブ領域R2〜サブ領域R5の面積とを変化させるための操作を受け付けてもよい。操作受付部254は、メイン領域R1においてピンチアウト操作が行われた場合、メイン領域R1の面積をさらに大きくしてサブ領域R2〜サブ領域R5の面積を小さくする。逆に、操作受付部254は、メイン領域R1においてピンチイン操作が行われた場合、メイン領域R1の面積を小さくしてサブ領域R2〜サブ領域R5の面積を大きくする。操作受付部254がこのような操作を受け付けることで、ユーザは、メイン領域R1に表示された動画像をより詳細に見たいという場合に、容易に領域の大きさを調整することができる。 The operation receiving unit 254 may accept an operation for changing the area of the main area R1 and the area of the sub areas R2 to the sub area R5. When the pinch-out operation is performed in the main area R1, the operation reception unit 254 further increases the area of the main area R1 and reduces the area of the sub areas R2 to the sub area R5. On the contrary, when the pinch-in operation is performed in the main area R1, the operation receiving unit 254 reduces the area of the main area R1 and increases the area of the sub areas R2 to the sub area R5. By receiving such an operation by the operation reception unit 254, the user can easily adjust the size of the area when he / she wants to see the moving image displayed in the main area R1 in more detail.

操作受付部254は、各領域の配置を変更するための操作を受け付けてもよい。ユーザは、移動させたい領域にタッチした状態で所望の位置にまでドラッグ操作をすることで、ユーザがタッチした領域を移動させることができる。この場合、ドラッグ操作をした領域が他の領域に重なる場合、ドラッグ操作をした領域が他の領域の手前側(ユーザ側)で表示される。操作受付部254がこのような操作を受け付けることで、ユーザは、見たい動画像が表示された領域を見やすい位置に配置することができる。 The operation reception unit 254 may accept an operation for changing the arrangement of each area. The user can move the area touched by the user by dragging the area to a desired position while touching the area to be moved. In this case, when the dragged area overlaps with another area, the dragged area is displayed on the front side (user side) of the other area. When the operation reception unit 254 accepts such an operation, the user can arrange the area where the moving image to be viewed is displayed at a position where it is easy to see.

操作画面表示部255は、ユーザが操作するための画面を表示部22に表示させる。操作画面表示部255は、例えば、操作受付部254が切替操作を受け付けると、切替操作を受け付けた切替操作時点で第2領域に表示されている時点の第2動画像からメイン領域R1に表示させるか、切替操作時点よりも前の時点に遡って第2動画像をメイン領域R1に表示させるかを選択するための選択操作画面を表示部22に表示させる。 The operation screen display unit 255 causes the display unit 22 to display a screen for the user to operate. For example, when the operation reception unit 254 receives the switching operation, the operation screen display unit 255 displays the second moving image at the time of the switching operation receiving the switching operation in the main area R1. Alternatively, the display unit 22 displays a selection operation screen for selecting whether to display the second moving image in the main area R1 retroactively to a time point before the switching operation time point.

図6は、選択操作画面の例を示す図である。図6(a)は、図3(c)に示したように第2動画像がメイン領域R1に表示された状態で、画面の左上に、第2動画像を再生する時点を選択するための選択操作画面A1が表示されている。「このまま再生」ボタンは、切替操作を受け付けた切替操作時点で第2領域に表示されている時点の第2動画像からメイン領域R1に表示させることを選択するためのボタンである。「戻って再生」ボタンは、切替操作時点よりも前の時点に遡って第2動画像をメイン領域R1に表示させるかを選択するためのボタンである。 FIG. 6 is a diagram showing an example of a selection operation screen. FIG. 6A is for selecting a time point for reproducing the second moving image in the upper left of the screen in a state where the second moving image is displayed in the main area R1 as shown in FIG. 3C. The selection operation screen A1 is displayed. The "play as is" button is a button for selecting to display in the main area R1 from the second moving image at the time of being displayed in the second area at the time of the switching operation in which the switching operation is accepted. The "return and play" button is a button for selecting whether to display the second moving image in the main area R1 retroactively to a time point before the switching operation time point.

表示処理部252は、操作受付部254が選択操作画面において受け付けた操作の内容に対応する時点から第2動画像をメイン領域R1に表示させる。表示処理部252は、選択操作画面においてユーザが「このまま再生」を選択した場合、スワイプ操作が行われた時点、又は「このまま再生」が選択された時点の第2動画像からメイン領域R1に表示させる。この際、表示処理部252は、第1動画像も同じ時点から再生してサブ領域R2に表示させてもよい。 The display processing unit 252 causes the operation reception unit 254 to display the second moving image in the main area R1 from the time corresponding to the content of the operation received on the selection operation screen. When the user selects "play as is" on the selection operation screen, the display processing unit 252 displays the second moving image at the time when the swipe operation is performed or when "play as is" is selected in the main area R1. Let me. At this time, the display processing unit 252 may also reproduce the first moving image from the same time point and display it in the sub area R2.

操作画面表示部255は、選択操作画面においてユーザが「戻って再生」を選択した場合、切替操作時点よりも前の時点を指定する情報を入力する領域を含む選択操作画面を表示部22に表示させる。一例として、操作画面表示部255は、図6(b)に示すように、遡る時点を指定するためのスライドバー画面A2を表示する。スライドバー画面A2の下方には、遡る時間(秒)を示す領域A3が表示されている。また、スライドバー画面A2にはカーソルA4が示されており、ユーザは、このカーソルA4の位置を動かすことにより、遡る時間を指定することができる。図6(b)においては、10秒遡ることが指定されている。 When the user selects "return and play" on the selection operation screen, the operation screen display unit 255 displays on the display unit 22 a selection operation screen including an area for inputting information for specifying a time point before the switching operation time point. Let me. As an example, the operation screen display unit 255 displays a slide bar screen A2 for designating a retroactive time point, as shown in FIG. 6B. Below the slide bar screen A2, an area A3 indicating the retroactive time (seconds) is displayed. Further, the cursor A4 is shown on the slide bar screen A2, and the user can specify the time to go back by moving the position of the cursor A4. In FIG. 6B, it is specified to go back 10 seconds.

表示処理部252は、選択操作画面において指定された時点から第2動画像を第1領域で再生し始める。すなわち、表示処理部252は、スライドバー画面A2において指定された時間だけ遡った時点から第2動画像を再生して、メイン領域R1に表示させる。表示処理部252は、このように切替操作時点よりも前の時点に遡って第2動画像をメイン領域R1に表示した場合、第2動画像を切替操作時点まで再生するまでの間は第1動画像を再生せず、第2動画像を切替操作時点まで再生した後に第1動画像をサブ領域R2で再生し始める。表示処理部252がこのように動作することで、ユーザは、第1動画像を既に見た時間帯の第2動画像を見ているということを認識することができる。そして、ユーザは、第1動画像を見ていない時点まで到達すると、第1動画像もサブ領域R2において見ることができる。 The display processing unit 252 starts playing the second moving image in the first area from the time specified on the selection operation screen. That is, the display processing unit 252 reproduces the second moving image from the time when it goes back by the time specified on the slide bar screen A2, and displays it in the main area R1. When the display processing unit 252 displays the second moving image in the main area R1 retroactively to a time before the switching operation time in this way, the display processing unit 252 is the first until the second moving image is reproduced up to the switching operation time. The moving image is not reproduced, and after the second moving image is reproduced up to the time of the switching operation, the first moving image is started to be reproduced in the sub area R2. By operating the display processing unit 252 in this way, the user can recognize that he / she is viewing the second moving image in the time zone in which the first moving image has already been seen. Then, when the user reaches the point where the first moving image is not viewed, the first moving image can also be viewed in the sub-region R2.

ユーザによっては、第2動画像をメイン領域R1で見ながら、同期して動く第1動画像も見たいという場合がある。そこで、操作画面表示部255は、第2動画像をメイン領域R1で再生する間に、第1動画像を第2動画像に同期してサブ領域R2で表示させるか否かを選択するための操作画面を表示部に表示させてもよい。表示処理部252は、第1動画像を第2動画像に同期してサブ領域R2で表示させるか否かを選択した場合に、第2動画像をメイン領域R1で再生し始めるとともに、第1動画像をサブ領域R2で再生し始める。表示処理部252は、切替操作時点よりも前の時点に遡って第2動画像をメイン領域R1に表示した場合、遡った時点から第1動画像も再生する。 Depending on the user, while viewing the second moving image in the main area R1, the user may also want to see the first moving image that moves in synchronization. Therefore, the operation screen display unit 255 is for selecting whether or not to display the first moving image in the sub area R2 in synchronization with the second moving image while the second moving image is reproduced in the main area R1. The operation screen may be displayed on the display unit. When the display processing unit 252 selects whether or not to display the first moving image in the sub area R2 in synchronization with the second moving image, the display processing unit 252 starts playing the second moving image in the main area R1 and the first The moving image is started to be reproduced in the sub area R2. When the display processing unit 252 displays the second moving image in the main area R1 retroactively to a time point before the switching operation time, the display processing unit 252 also reproduces the first moving image from the retroactive time point.

図6(b)においては、メイン領域R1の右下に、再生を開始するための操作をするための再生アイコンA5と、再生を停止するための操作をするための停止アイコンA6とが表示されている。表示処理部252は、遡る時間が設定された後に再生アイコンA5が押されたことに応じて第2動画像の再生を開始してもよい。このような再生アイコンA5及び停止アイコンA6を表示する画面は、第2動画像をメイン領域R1で再生している間に、第2動画像の再生を停止する操作及び再開するための操作を受け付けるための操作画面としても機能する。 In FIG. 6B, a playback icon A5 for performing an operation for starting playback and a stop icon A6 for performing an operation for stopping playback are displayed at the lower right of the main area R1. ing. The display processing unit 252 may start the reproduction of the second moving image in response to the fact that the reproduction icon A5 is pressed after the retroactive time is set. The screen displaying the playback icon A5 and the stop icon A6 accepts an operation for stopping and restarting the playback of the second moving image while the second moving image is being played back in the main area R1. It also functions as an operation screen for.

表示処理部252は、第2動画像に同期して第1動画像を再生していない状態で操作受付部254が第2動画像の再生を停止する操作を受け付けた後に再開する操作を受け付けた場合に、第1動画像を第2動画像に同期して再生させてもよい。表示処理部252がこのように動作することで、ユーザは、第1動画像を第2動画像に同期してサブ領域R2で表示させないという選択をした後に、第1動画像が第2動画像に同期した状態で両方の動画像を見たいと考えた場合に、容易に両方の動画像を同期させた状態で見ることができる。 The display processing unit 252 has received an operation of restarting after the operation receiving unit 254 has received an operation of stopping the reproduction of the second moving image in a state where the first moving image has not been reproduced in synchronization with the second moving image. In this case, the first moving image may be reproduced in synchronization with the second moving image. By operating the display processing unit 252 in this way, the user selects that the first moving image is synchronized with the second moving image and is not displayed in the sub-area R2, and then the first moving image becomes the second moving image. If you want to see both moving images in a synchronized state, you can easily see both moving images in a synchronized state.

操作画面表示部255は、操作受付部254が第2動画像の再生を停止する操作を受け付けた場合に、第2動画像の再生を再開する際にメイン領域R1で再生するかサブ領域R2で再生するかを選択するための操作画面を表示部22に表示させてもよい。表示処理部252は、当該操作画面において、第2動画像をメイン領域R1で再生することが選択された場合、第2動画像をメイン領域R1に表示し続ける。表示処理部252は、当該操作画面において、第2動画像をサブ領域R2で再生することが選択された場合、第1動画像をメイン領域R1で再生し、第2動画像をサブ領域R2で再生する。 When the operation reception unit 254 receives an operation to stop the reproduction of the second moving image, the operation screen display unit 255 reproduces the second moving image in the main area R1 or in the sub area R2 when resuming the reproduction of the second moving image. The operation screen for selecting whether to play may be displayed on the display unit 22. When it is selected to reproduce the second moving image in the main area R1 on the operation screen, the display processing unit 252 continues to display the second moving image in the main area R1. When the display processing unit 252 selects to reproduce the second moving image in the sub area R2 on the operation screen, the display processing unit 252 reproduces the first moving image in the main area R1 and the second moving image in the sub area R2. Reproduce.

操作画面表示部255及び表示処理部252がこのように動作することで、ユーザは、第2動画像の再生をメイン領域R1で開始した後に、メイン領域R1に表示する動画像を容易に切り替えることができる。なお、表示処理部252は、表示制御部253がサブ領域R2からメイン領域R1に向けたスワイプ操作又はメイン領域R1からサブ領域R2に向けたスワイプ操作を受け付けた場合に、第1動画像をメイン領域R1で再生し、第2動画像をサブ領域R2で再生するように切り替えてもよい。 By operating the operation screen display unit 255 and the display processing unit 252 in this way, the user can easily switch the moving image to be displayed in the main area R1 after starting the reproduction of the second moving image in the main area R1. Can be done. The display processing unit 252 mainly receives the first moving image when the display control unit 253 receives a swipe operation from the sub area R2 to the main area R1 or a swipe operation from the main area R1 to the sub area R2. It may be switched to reproduce in the area R1 and reproduce the second moving image in the sub area R2.

[画像配信装置1における処理の流れ]
図7は、画像表示装置2における処理の流れを示すフローチャートである。図7に示すフローチャートは、ユーザが、動画像を見るためのアプリケーションソフトウェアにおいて、所望の動画像を見るための操作を行った時点から開始している。
[Process flow in image distribution device 1]
FIG. 7 is a flowchart showing a processing flow in the image display device 2. The flowchart shown in FIG. 7 starts from the time when the user performs an operation for viewing a desired moving image in the application software for viewing the moving image.

まず、データ取得部251は、画像表示装置2から複数の動画像データを取得する(S11)。表示処理部252は、データ取得部251が取得した複数の動画像データを再生して、複数の動画像を表示部22に表示させる(S12)。具体的には、表示処理部252は、第1動画像をメイン領域R1に表示させ、第2動画像をサブ領域R2に表示させる。 First, the data acquisition unit 251 acquires a plurality of moving image data from the image display device 2 (S11). The display processing unit 252 reproduces the plurality of moving image data acquired by the data acquisition unit 251 and displays the plurality of moving images on the display unit 22 (S12). Specifically, the display processing unit 252 displays the first moving image in the main area R1 and displays the second moving image in the sub area R2.

この状態で操作受付部254がメイン領域R1からサブ領域R2に向けたスワイプ操作、又はサブ領域R2からメイン領域R1に向けたスワイプ操作を受け付けた場合(S13においてYES)、表示処理部252は、第1動画像と第2動画像の表示位置を切り替える(S14)。すなわち、表示処理部252は、第1動画像をサブ領域R2において表示させ、第2動画像をメイン領域R1に表示させる。この際、操作画面表示部255は、図6(a)に示したように、メイン領域R1に表示される第2動画像をどの時点から再生するかを選択するための操作画面を表示部22に表示させる(S15)。 In this state, when the operation receiving unit 254 receives a swipe operation from the main area R1 to the sub area R2 or a swipe operation from the sub area R2 to the main area R1 (YES in S13), the display processing unit 252 receives the swipe operation. The display position of the first moving image and the second moving image is switched (S14). That is, the display processing unit 252 displays the first moving image in the sub area R2 and displays the second moving image in the main area R1. At this time, as shown in FIG. 6A, the operation screen display unit 255 displays an operation screen for selecting from what point in time the second moving image displayed in the main area R1 is to be reproduced. Is displayed (S15).

そのまま再生するための操作を操作受付部254が受け付けた場合(S16においてYES)、表示処理部252は、切替操作が行われた時点から第2動画像をメイン領域R1で再生する(S17)。遡ってから再生するための操作を操作受付部254が受け付けた場合(S16においてNO)、操作画面表示部255は、遡る時刻を選択するための画面を表示部22に表示させる(S18)。時刻を指定する操作と再生を開始するための操作を操作受付部254が受け付けた場合(S19においてYES)、表示処理部252は、指定された時刻に遡ってから第2動画像を再生する(S20)。 When the operation receiving unit 254 accepts the operation for reproducing as it is (YES in S16), the display processing unit 252 reproduces the second moving image in the main area R1 from the time when the switching operation is performed (S17). When the operation reception unit 254 receives an operation for replaying after going back (NO in S16), the operation screen display unit 255 causes the display unit 22 to display a screen for selecting a time to go back (S18). When the operation reception unit 254 accepts the operation for specifying the time and the operation for starting playback (YES in S19), the display processing unit 252 reproduces the second moving image after going back to the specified time (YES in S19). S20).

動画像の再生を終了するための操作を操作受付部254が受け付けた場合(S21においてYES)、画像表示装置2は、図7の処理を終了する。動画像の再生を終了するための操作を操作受付部254が受け付けるまでの間、画像表示装置2は、S13からS20までの処理を繰り返す。 When the operation reception unit 254 accepts the operation for ending the reproduction of the moving image (YES in S21), the image display device 2 ends the process of FIG. 7. The image display device 2 repeats the processes from S13 to S20 until the operation reception unit 254 accepts the operation for ending the reproduction of the moving image.

[第1変形例]
以上の説明においては、データ取得部251が画像配信装置1から取得した配信用データに含まれている複数の動画像データに対応する複数の動画像が、表示部22の複数の領域のいずれかに表示されるという例を示したが、画像表示装置2は、複数の動画像のうち一部の動画像を表示部22に表示し、他の一部の動画像を表示しないようにしてもよい。
[First modification]
In the above description, the plurality of moving images corresponding to the plurality of moving image data included in the distribution data acquired by the data acquisition unit 251 from the image distribution device 1 is any one of the plurality of regions of the display unit 22. However, the image display device 2 displays a part of the moving images on the display unit 22 and does not display some of the moving images. Good.

表示処理部252は、例えば複数の動画像データそれぞれに含まれている被写体を解析し、動画像データにどのような被写体が含まれているかに基づいて、表示部22に表示させる動画像を選択する。データ取得部251が、例えばサッカーの試合を20台のカメラで撮影して生成された20の動画像データを取得した場合、表示処理部252は、例えばボールが写っている動画像、又は選手の動きが比較的激しい状態が写っている動画像を選択し、選択した動画像を表示部22に表示させる。 The display processing unit 252 analyzes, for example, a subject included in each of the plurality of moving image data, and selects a moving image to be displayed on the display unit 22 based on what kind of subject is included in the moving image data. To do. When the data acquisition unit 251 acquires, for example, 20 moving image data generated by shooting a soccer game with 20 cameras, the display processing unit 252 obtains, for example, a moving image showing a ball or a player's moving image. A moving image showing a state in which the movement is relatively intense is selected, and the selected moving image is displayed on the display unit 22.

ボールや選手の状態が変化することにより、ボールが写っている動画像データは頻繁に切り替わることが想定される。このような場合に、表示部22に表示される動画像が頻繁に切り替わり過ぎると、ユーザが見づらくなってしまう。そこで、表示処理部252は、所定の期間(例えば1分)にわたる状況を解析して、所定の期間における被写体の状態に基づいて、表示する動画像を選択してもよい。 It is expected that the moving image data showing the ball will change frequently due to changes in the state of the ball and the player. In such a case, if the moving image displayed on the display unit 22 is switched too frequently, it becomes difficult for the user to see it. Therefore, the display processing unit 252 may analyze the situation over a predetermined period (for example, 1 minute) and select a moving image to be displayed based on the state of the subject in the predetermined period.

最も面積が大きい領域(例えばメイン領域R1)に表示された動画像が頻繁に切り替わるとユーザが見づらいが、ユーザには、重要なシーンを見逃したくないというニーズもある。そこで、表示処理部252は、第1領域において表示される動画像が切り替わる頻度を第2領域において表示される動画像が切り替わる頻度よりも小さくし、第2領域(例えばサブ領域)においては、上記の所定の期間よりも短い期間(例えば5秒)ごとに動画像が切り替わり得るようにしてもよい。表示処理部252がこのように動作することで、ユーザは、例えばメイン領域R1に表示された第1動画像を見ながら、頻繁に状態が変化するサブ領域R2に表示された第2動画像を見て、適切なタイミングで第2動画像をメイン領域R1に表示させることができる。 It is difficult for the user to see the moving image displayed in the area having the largest area (for example, the main area R1) frequently, but the user also has a need not to miss an important scene. Therefore, the display processing unit 252 makes the frequency at which the moving image displayed in the first region is switched smaller than the frequency at which the moving image displayed in the second region is switched, and in the second region (for example, the sub-region), the above-mentioned The moving image may be switched at intervals shorter than the predetermined period (for example, 5 seconds). By operating the display processing unit 252 in this way, the user can view the first moving image displayed in the main area R1 and the second moving image displayed in the sub area R2 whose state changes frequently, for example. As you can see, the second moving image can be displayed in the main area R1 at an appropriate timing.

[第2変形例]
以上の説明においては、メイン領域R1に表示された第2動画像の再生を開始する時点をユーザが指定するという場合を例示したが、第2動画像の再生を開始する時点の決定方法はこれに限らない。表示処理部252は、ユーザの操作によらず、第2動画像をメイン領域R1に表示させるための切替操作が行われたことに応じて、自動的に所定の時点まで遡ってから第2動画像データの再生を開始してもよい。
[Second modification]
In the above description, the case where the user specifies the time point at which the reproduction of the second moving image displayed in the main area R1 is started has been illustrated, but this is the method for determining the time point at which the reproduction of the second moving image is started. Not limited to. The display processing unit 252 automatically goes back to a predetermined time point and then the second moving image in response to the switching operation for displaying the second moving image in the main area R1 regardless of the user's operation. Playback of the image data may be started.

所定の時点は、例えば動画像データごとに定められた時点である。動画像データに関連付けて、遡る時間を指定する情報が画像配信装置1から送信されていてもよく、動画像データのコンテンツの種別に基づいて、遡る時間を表示処理部252が決定してもよい。表示処理部252は、例えば連続して行われるプレイの平均的な長さに基づいて遡る時間を決定する。 The predetermined time point is, for example, a time point determined for each moving image data. Information that specifies the retroactive time may be transmitted from the image distribution device 1 in association with the moving image data, and the display processing unit 252 may determine the retroactive time based on the type of the content of the moving image data. .. The display processing unit 252 determines the time to go back, for example, based on the average length of consecutive plays.

サッカーにおいて連続して行われるプレイの平均時間が15秒であり、卓球において連続して行われるプレイの平均時間が5秒である場合、表示処理部252は、サッカーの試合の動画像データにおいては15秒間遡ってから第2動画像データを再生し、卓球の試合の動画像データにおいては5秒間遡ってから第2動画像データを再生する。表示処理部252がこのように動作することで、ユーザが第2動画像データをメイン領域R1に表示させる操作をした場合に、遡る時間をユーザが設定することなく、ユーザが見たいと考える蓋然性が高い時点から第2動画像データを再生できる。 When the average time of continuous play in soccer is 15 seconds and the average time of continuous play in table tennis is 5 seconds, the display processing unit 252 displays the moving image data of the soccer match. The second moving image data is reproduced after going back for 15 seconds, and the second moving image data is reproduced after going back for 5 seconds in the moving image data of the table tennis game. By operating the display processing unit 252 in this way, when the user performs an operation to display the second moving image data in the main area R1, there is a probability that the user wants to see the second moving image data without setting the retroactive time. The second moving image data can be reproduced from a high point.

所定の時点は、動画像データに関連付けられたメタ情報が示す時点であってもよい。メタ情報は、例えば、ユーザが見る価値が高い決定的なシーン(例えばサッカーの試合におけるゴールシーン)の時点を示す情報である。このような所定の時点の後に、操作受付部254がユーザの切替操作を受け付けた場合、表示処理部252は、当該所定の時点まで自動的に遡ってから第2動画像データを再生する。表示処理部252がこのように動作することで、ユーザは切替操作をするだけで見る価値が高いシーンを見ることができるので、スポーツの動画像を見る場合に好適である。 The predetermined time point may be a time point indicated by the meta information associated with the moving image data. The meta information is, for example, information indicating the time point of a decisive scene (for example, a goal scene in a soccer game) that is highly valuable for the user to see. When the operation reception unit 254 accepts the user switching operation after such a predetermined time point, the display processing unit 252 automatically traces back to the predetermined time point and then reproduces the second moving image data. By operating the display processing unit 252 in this way, the user can see a scene that is highly valuable to see only by performing the switching operation, which is suitable for viewing a moving image of sports.

表示処理部252は、メタ情報が示す所定の時点から動画像データを再生する場合に、スロー再生をしてもよい。表示処理部252は、切替操作が行われたことに応じて、自動的に所定の時点からスロー再生をしてもよく、ユーザの操作に応じてスロー再生を開始してもよい。 The display processing unit 252 may perform slow reproduction when the moving image data is reproduced from a predetermined time point indicated by the meta information. The display processing unit 252 may automatically perform slow playback from a predetermined time point in response to the switching operation, or may start slow playback in response to the user's operation.

メタ情報が示す所定の時点から所定の期間にメイン領域R1で動画像データを再生している間に、他のアングルから決定的なシーンが撮影された他の動画像データがサブ領域R2に表示されている場合、表示処理部252は、決定的なシーンが写った他の動画像データを他の動画像データを区別できる態様で表示してもよい。表示処理部252は、例えば、決定的なシーンが写った他の動画像データに太枠を付したり、当該動画像データの表示領域の形状を変えたりして強調表示することで、ユーザが他のアングルから決定的なシーンを見やすくなる。 While the moving image data is being reproduced in the main area R1 from a predetermined time point indicated by the meta information to a predetermined period, other moving image data in which a decisive scene is captured from another angle is displayed in the sub area R2. If so, the display processing unit 252 may display other moving image data in which a decisive scene is captured in a manner capable of distinguishing the other moving image data. The display processing unit 252 highlights, for example, by adding a thick frame to other moving image data in which a decisive scene is captured, or by changing the shape of the display area of the moving image data. It makes it easier to see the decisive scene from other angles.

表示処理部252は、メタ情報が示す所定の時点から所定の期間に動画像データを再生している間に、決定的なシーン(お勧めのシーン)を全て見るという操作を操作受付部254が受け付けた場合、決定的なシーンが写った他の動画像データを順次メイン領域R1に移動して表示してもよい。表示処理部252がこのように動作することで、さまざまなアングルから撮影された決定的なシーンをユーザが容易に見ることができる。 The display processing unit 252 performs an operation of viewing all the decisive scenes (recommended scenes) while the video data is being reproduced from the predetermined time point indicated by the meta information to the predetermined period. When accepted, other moving image data in which a decisive scene is captured may be sequentially moved to the main area R1 and displayed. By operating the display processing unit 252 in this way, the user can easily see a decisive scene shot from various angles.

[画像表示装置2による効果]
以上説明したように、画像表示装置2は、第2動画像をメイン領域R1で表示させるための切替操作を受け付ける操作受付部254と、操作受付部254が切替操作を受け付けると、切替操作を受け付けた切替操作時点で第2領域に表示されている時点の第2動画像からメイン領域R1に表示させるか、切替操作時点よりも前の時点に遡って第2動画像をメイン領域R1に表示させるかを選択するための選択操作画面を表示部22に表示させる操作画面表示部255と、を有する。そして、表示処理部252は、操作受付部254が選択操作画面において受け付けた操作の内容に対応する時点から第2動画像をメイン領域R1に表示させる。画像表示装置2がこのように構成されていることで、ユーザは、ユーザが見たいシーンを所望の配置で容易に見える。
[Effect of image display device 2]
As described above, the image display device 2 accepts the switching operation when the operation receiving unit 254 accepts the switching operation for displaying the second moving image in the main area R1 and the operation receiving unit 254 accepts the switching operation. The second moving image at the time displayed in the second area at the time of the switching operation is displayed in the main area R1, or the second moving image is displayed in the main area R1 retroactively to a time before the switching operation time. It has an operation screen display unit 255 for displaying a selection operation screen for selecting the image on the display unit 22. Then, the display processing unit 252 displays the second moving image in the main area R1 from the time corresponding to the content of the operation received by the operation reception unit 254 on the selection operation screen. With the image display device 2 configured in this way, the user can easily see the scene that the user wants to see in a desired arrangement.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes can be made within the scope of the gist. is there. For example, all or a part of the device can be functionally or physically distributed / integrated in any unit. Also included in the embodiments of the present invention are new embodiments resulting from any combination of the plurality of embodiments. The effect of the new embodiment produced by the combination has the effect of the original embodiment.

1 画像配信装置
2 画像表示装置
11 通信部
12 記憶部
13 制御部
21 通信部
22 表示部
23 操作部
24 記憶部
25 制御部
131 データ取得部
132 データ作成部
251 データ取得部
252 表示処理部
253 表示制御部
254 操作受付部
255 操作画面表示部
1 Image distribution device 2 Image display device 11 Communication unit 12 Storage unit 13 Control unit 21 Communication unit 22 Display unit 23 Operation unit 24 Storage unit 25 Control unit 131 Data acquisition unit 132 Data creation unit 251 Data acquisition unit 252 Display processing unit 253 Display Control unit 254 Operation reception unit 255 Operation screen display unit

Claims (9)

第1動画像を表示部の第1領域に表示させ、第2動画像を前記表示部における前記第1領域よりも狭い第2領域に表示させる表示処理部と、
前記第2動画像を前記第1領域で表示させるための切替操作を受け付ける操作受付部と、
前記操作受付部が前記切替操作を受け付けると、前記切替操作を受け付けた切替操作時点で前記第2領域に表示されている時点の前記第2動画像から前記第1領域に表示させるか、前記切替操作時点よりも前の時点に遡って前記第2動画像を前記第1領域に表示させるかを選択するための選択操作画面を前記表示部に表示させる操作画面表示部と、
を有し、
前記表示処理部は、前記操作受付部が前記選択操作画面において受け付けた操作の内容に対応する時点から前記第2動画像を前記第1領域に表示させる、
画像表示装置。
A display processing unit that displays the first moving image in the first area of the display unit and displays the second moving image in a second area narrower than the first area in the display unit.
An operation reception unit that accepts a switching operation for displaying the second moving image in the first area, and
When the operation receiving unit receives the switching operation, it is displayed in the first area from the second moving image at the time when the switching operation is received and is displayed in the second area, or the switching is performed. An operation screen display unit for displaying a selection operation screen for selecting whether to display the second moving image in the first area retroactively to a time point before the operation time point, and an operation screen display unit.
Have,
The display processing unit causes the second moving image to be displayed in the first area from the time when the operation receiving unit corresponds to the content of the operation received on the selection operation screen.
Image display device.
前記表示処理部は、前記切替操作時点よりも前の時点に遡って前記第2動画像を前記第1領域に表示した場合、前記第2動画像を前記切替操作時点まで再生するまでの間は前記第1動画像を再生せず、前記第2動画像を前記切替操作時点まで再生した後に前記第1動画像を前記第2領域で再生し始める、
請求項1に記載の画像表示装置。
When the display processing unit displays the second moving image in the first area retroactively to a time point before the switching operation time, the display processing unit is until the second moving image is reproduced up to the switching operation time point. The first moving image is not reproduced, the second moving image is reproduced up to the time of the switching operation, and then the first moving image is started to be reproduced in the second region.
The image display device according to claim 1.
前記操作画面表示部は、前記第2動画像を前記第1領域で再生する間に、前記第1動画像を前記第2動画像に同期して前記第2領域で表示させるか否かを選択するための操作画面を前記表示部に表示させる、
請求項1又は2に記載の画像表示装置。
The operation screen display unit selects whether or not to display the first moving image in the second area in synchronization with the second moving image while the second moving image is reproduced in the first area. Display the operation screen for this on the display unit,
The image display device according to claim 1 or 2.
前記操作画面表示部は、前記第2動画像を前記第1領域で再生している間に、前記第2動画像の再生を停止する操作及び再開するための操作を受け付けるための操作画面を前記表示部に表示させ、
前記表示処理部は、前記第1動画像を再生していない状態で前記操作受付部が前記第2動画像の再生を停止する操作を受け付けた後に再開する操作を受け付けた場合に、前記第1動画像を前記第2動画像に同期して再生させる、
請求項1から3のいずれか一項に記載の画像表示装置。
The operation screen display unit displays an operation screen for receiving an operation for stopping and restarting the reproduction of the second moving image while the second moving image is being reproduced in the first region. Display on the display
When the operation receiving unit receives an operation of stopping the reproduction of the second moving image and then restarting the operation while the first moving image is not being reproduced, the display processing unit receives the first operation. The moving image is reproduced in synchronization with the second moving image.
The image display device according to any one of claims 1 to 3.
前記操作画面表示部は、前記第2動画像を前記第1領域で再生している間に、前記第2動画像の再生を停止する操作を受け付けるための操作画面を前記表示部に表示させ、前記操作受付部が前記第2動画像の再生を停止する操作を受け付けた場合に、前記第2動画像の再生を再開する際に前記第1領域で再生するか前記第2領域で再生するかを選択するための操作画面を前記表示部に表示させる、
請求項1から4のいずれか一項に記載の画像表示装置。
The operation screen display unit causes the display unit to display an operation screen for accepting an operation of stopping the reproduction of the second moving image while the second moving image is being reproduced in the first region. When the operation receiving unit receives an operation to stop the reproduction of the second moving image, whether to reproduce in the first region or the second region when the reproduction of the second moving image is restarted. The operation screen for selecting is displayed on the display unit.
The image display device according to any one of claims 1 to 4.
前記操作画面表示部は、前記切替操作時点よりも前の時点を指定する情報を入力する領域を含む前記選択操作画面を前記表示部に表示させ、
前記表示処理部は、前記選択操作画面において指定された時点から前記第2動画像を前記第1領域で再生し始める、
請求項1から5のいずれか一項に記載の画像表示装置。
The operation screen display unit causes the display unit to display the selection operation screen including an area for inputting information for designating a time point before the switching operation time point.
The display processing unit starts playing the second moving image in the first area from a time point designated on the selection operation screen.
The image display device according to any one of claims 1 to 5.
前記操作受付部は、前記第2動画像が前記第2領域で再生されている間に前記第2領域から前記第1領域に向かうドラッグ操作又はスワイプ操作を前記切替操作として受け付ける、
請求項1から6のいずれか一項に記載の画像表示装置。
The operation receiving unit receives a drag operation or a swipe operation from the second area to the first area as the switching operation while the second moving image is being reproduced in the second area.
The image display device according to any one of claims 1 to 6.
前記操作受付部は、前記第1動画像が前記第1領域で再生されている間に前記第1領域から前記第2領域に向かうドラッグ操作又はスワイプ操作を前記切替操作として受け付ける、
請求項1から7のいずれか一項に記載の画像表示装置。
The operation receiving unit receives a drag operation or a swipe operation from the first area to the second area as the switching operation while the first moving image is being reproduced in the first area.
The image display device according to any one of claims 1 to 7.
コンピュータに、
第1動画像を表示部の第1領域に表示させ、第2動画像を前記表示部における前記第1領域よりも狭い第2領域に表示させるステップと、
前記第2動画像を前記第1領域で表示させるための切替操作を受け付けるステップと、
前記切替操作を受け付けると、前記切替操作を受け付けた切替操作時点で前記第2領域に表示されている時点の前記第2動画像から前記第1領域に表示させるか、前記切替操作時点よりも前の時点に遡って前記第2動画像を前記第1領域に表示させるかを選択するための選択操作画面を前記表示部に表示させるステップと、
前記選択操作画面において受け付けた操作の内容に対応する時点から前記第2動画像を前記第1領域に表示させるステップと、
を実行させるためのプログラム。
On the computer
A step of displaying the first moving image in the first area of the display unit and displaying the second moving image in a second area narrower than the first area of the display unit.
A step of accepting a switching operation for displaying the second moving image in the first area, and
When the switching operation is accepted, the second moving image at the time when the switching operation is accepted and displayed in the second area is displayed in the first area, or before the switching operation time. The step of displaying the selection operation screen for selecting whether to display the second moving image in the first area retroactively to the time point of
A step of displaying the second moving image in the first area from a time corresponding to the content of the operation received on the selection operation screen, and
A program to execute.
JP2020147702A 2020-09-02 2020-09-02 Image display device and program Active JP6815555B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020147702A JP6815555B1 (en) 2020-09-02 2020-09-02 Image display device and program
JP2020212585A JP6941723B1 (en) 2020-09-02 2020-12-22 Image display device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020147702A JP6815555B1 (en) 2020-09-02 2020-09-02 Image display device and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020212585A Division JP6941723B1 (en) 2020-09-02 2020-12-22 Image display device and program

Publications (2)

Publication Number Publication Date
JP6815555B1 true JP6815555B1 (en) 2021-01-20
JP2022042321A JP2022042321A (en) 2022-03-14

Family

ID=74164578

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020147702A Active JP6815555B1 (en) 2020-09-02 2020-09-02 Image display device and program
JP2020212585A Active JP6941723B1 (en) 2020-09-02 2020-12-22 Image display device and program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020212585A Active JP6941723B1 (en) 2020-09-02 2020-12-22 Image display device and program

Country Status (1)

Country Link
JP (2) JP6815555B1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4292891B2 (en) * 2003-06-26 2009-07-08 ソニー株式会社 Imaging apparatus, image recording apparatus, and image recording method
JP4162003B2 (en) * 2005-12-08 2008-10-08 株式会社日立製作所 Image storage device, monitoring system, storage medium
JP2013207517A (en) * 2012-03-28 2013-10-07 Hitachi Kokusai Electric Inc Operation terminal, operation method, and program
JP6720575B2 (en) * 2016-02-29 2020-07-08 株式会社ニコン Video playback device and video processing device

Also Published As

Publication number Publication date
JP6941723B1 (en) 2021-09-29
JP2022042321A (en) 2022-03-14
JP2022042461A (en) 2022-03-14

Similar Documents

Publication Publication Date Title
KR100830739B1 (en) Multimedia playback device and playback method
JP4938733B2 (en) Menu screen display method and menu screen display device
CN107251550B (en) Information processing program and information processing method
US20170024110A1 (en) Video editing on mobile platform
JP4772583B2 (en) Multimedia playback device, menu screen display method, menu screen display program, and computer-readable storage medium storing menu screen display program
JP2018026647A (en) Video replay program, video replay device, video replay method, video delivery system and metadata creation method
JP2010147705A (en) Television system
JP6815555B1 (en) Image display device and program
AU2018391746B2 (en) Display control device and display control method
JP6845352B2 (en) Methods, systems, and media for presenting previews of media content
KR20170012110A (en) Video playback program, device, and method
KR102139331B1 (en) Apparatus, server, and method for playing moving picture contents
WO2021044601A1 (en) Application expansion program, information processing device, and method
JP7041313B2 (en) Image display device, image display method and program
WO2021235356A1 (en) Movie playback device and movie playback method
JP6926304B1 (en) Image display device and program
KR102231020B1 (en) Apparatus for displaying contents and control method thereof
JP6867541B1 (en) Image display device and program
JP6354624B2 (en) Video imaging system, information processing terminal, video confirmation method and program
JP6916860B2 (en) Programs, systems, and methods for playing videos
US20240078070A1 (en) Video distribution device, display control device, video distribution method, display control method, and non-transitory computer readable medium
WO2022209395A1 (en) Information processing device, information processing method, and program
JP6882584B1 (en) Content playback device and program
KR102218192B1 (en) Apparatus and method for displaying video contents
JP2018026799A (en) Video replay program, video replay device, video replay method, video delivery system and metadata creation method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200917

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200917

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201222

R150 Certificate of patent or registration of utility model

Ref document number: 6815555

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150