JP7065292B2 - Programs used in still image generators and still image generators - Google Patents

Programs used in still image generators and still image generators Download PDF

Info

Publication number
JP7065292B2
JP7065292B2 JP2017160235A JP2017160235A JP7065292B2 JP 7065292 B2 JP7065292 B2 JP 7065292B2 JP 2017160235 A JP2017160235 A JP 2017160235A JP 2017160235 A JP2017160235 A JP 2017160235A JP 7065292 B2 JP7065292 B2 JP 7065292B2
Authority
JP
Japan
Prior art keywords
frame
image data
frame image
image
still image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017160235A
Other languages
Japanese (ja)
Other versions
JP2018137721A (en
Inventor
寛尚 脇
秀樹 谷口
博仁 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to US15/823,957 priority Critical patent/US10666955B2/en
Publication of JP2018137721A publication Critical patent/JP2018137721A/en
Application granted granted Critical
Publication of JP7065292B2 publication Critical patent/JP7065292B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本開示は、静止画生成装置及び静止画生成装置に用いられるプログラムに関する。 The present disclosure relates to a still image generator and a program used in the still image generator.

特許文献1は、ユーザが、再生中の動画から所望する画像を選択する画像処理装置を開示する。その画像処理装置は、動画表示に対する指示を入力する入力手段と、画像圧縮データを伸張してフレーム画像データを生成する伸張制御手段と、生成されたフレーム画像データに基づいて動画表示を行う表示制御手段と、を備える。表示制御手段は、入力手段から停止指示が入力された場合に、表示中の画像のフレーム画像データを含む複数のフレーム画像データに基づく複数の画像(フレーム画像)を表示する。これにより、ユーザが再生中の動画から所望の画像を容易に選択することを可能にしている。 Patent Document 1 discloses an image processing device in which a user selects a desired image from a moving image being played. The image processing device includes an input means for inputting an instruction for displaying a moving image, a decompression control means for expanding the image compression data to generate frame image data, and a display control for displaying a moving image based on the generated frame image data. Means and. The display control means displays a plurality of images (frame images) based on a plurality of frame image data including the frame image data of the image being displayed when a stop instruction is input from the input means. This makes it possible for the user to easily select a desired image from the moving image being played.

特許文献2は、動画の撮影後に、記録された動画から静止画を切り出すことを想定し、静止画に適した撮影条件で動画を撮影する技術を開示している。 Patent Document 2 discloses a technique for shooting a moving image under shooting conditions suitable for the still image, assuming that a still image is cut out from the recorded moving image after shooting the moving image.

特開2005-184240号公報Japanese Unexamined Patent Publication No. 2005-184240 特開2016-032214号公報Japanese Unexamined Patent Publication No. 2016-032214

動画が高精細化されると、表示制御手段により複数のフレーム画像を一度に、又は切り替えて表示する場合に、処理時間が増大する。したがって、ユーザが、複数のフレーム画像から所望のフレーム画像を選択する場合に、多くの時間がかかる。 When the moving image is made high-definition, the processing time increases when a plurality of frame images are displayed at once or switched by the display control means. Therefore, it takes a lot of time for the user to select a desired frame image from a plurality of frame images.

本開示は、表示制御手段により複数のフレーム画像を一度に、又は切り替えて表示する場合において、処理時間を短縮することを目的とする。 An object of the present disclosure is to shorten the processing time when displaying a plurality of frame images at once or by switching by a display control means.

本開示の第1の態様は、動画を生成する動画データから静止画データを生成する静止画生成装置であって、静止画生成装置は、記録部と制御部とを備える。前記記録部は、前記静止画データを記録するように構成される。前記制御部は、前記動画に含まれる複数のフレーム画像から特定のフレーム画像が選択された場合、前記複数のフレーム画像のうち、前記特定のフレーム画像及び前記特定のフレーム画像と参照関係のある他のフレーム画像を含む特定のフレーム画像群を設定する。前記制御部は、前記特定のフレーム画像群に含まれる前記複数のフレーム画像のそれぞれに対応する前記静止画データを、前記動画データをデコード処理することにより生成する。前記制御部は、生成した前記静止画データを前記記録部に記録させる。前記制御部は、前記特定のフレーム画像群に含まれる前記複数のフレーム画像の少なくとも一つを生成するフレーム画像データを、前記記録部に記録させた前記静止画データに基づいて生成する。 The first aspect of the present disclosure is a still image generation device that generates still image data from moving image data that generates moving images, and the still image generation device includes a recording unit and a control unit. The recording unit is configured to record the still image data. When a specific frame image is selected from a plurality of frame images included in the moving image, the control unit has a reference relationship with the specific frame image and the specific frame image among the plurality of frame images. Set a specific frame image group including the frame image of. The control unit generates the still image data corresponding to each of the plurality of frame images included in the specific frame image group by decoding the moving image data. The control unit causes the recording unit to record the generated still image data. The control unit generates frame image data for generating at least one of the plurality of frame images included in the specific frame image group based on the still image data recorded by the recording unit.

本開示の第2の態様は、静止画生成装置に、動画を生成する動画データから静止画データを生成させるプログラムである。前記プログラムは、前記静止画生成装置の制御部に、前記動画に含まれる複数のフレーム画像のうち、選択された特定のフレーム画像及び前記特定のフレーム画像と参照関係にある他のフレーム画像を含む特定のフレーム画像群に対応する前記静止画データを、前記動画データをデコード処理することにより生成させる。前記プログラムは、前記制御部に、生成させた前記静止画データを前記静止画生成装置の記録部が記録するように制御させる。前記プログラムは、前記制御部に、記録させた前記静止画データに基づいて、前記特定のフレーム画像群に含まれる前記複数のフレーム画像の少なくとも一つを生成するフレーム画像データを生成させる。 A second aspect of the present disclosure is a program for causing a still image generation device to generate still image data from moving image data for generating moving images. The program includes, in the control unit of the still image generator, a specific frame image selected from a plurality of frame images included in the moving image and another frame image having a reference relationship with the specific frame image. The still image data corresponding to a specific frame image group is generated by decoding the moving image data. The program causes the control unit to control the generated still image data so that the recording unit of the still image generation device records the generated still image data. The program causes the control unit to generate frame image data that generates at least one of the plurality of frame images included in the specific frame image group based on the recorded still image data.

本開示によれば、特定のフレーム画像が選択されると、予め、特定のフレーム画像と参照関係にある他のフレーム画像の静止画データも生成され、記録される。したがって、表示制御手段により複数のフレーム画像を一度に、又は切り替えて表示する場合に、フレーム画像の表示に要する処理時間を短縮でき、ユーザの利便性が増す。 According to the present disclosure, when a specific frame image is selected, still image data of another frame image having a reference relationship with the specific frame image is also generated and recorded in advance. Therefore, when a plurality of frame images are displayed at once or by switching by the display control means, the processing time required for displaying the frame images can be shortened, and the convenience of the user is increased.

図1は、本実施の形態における情報処理装置の構成を示す図である。FIG. 1 is a diagram showing a configuration of an information processing apparatus according to the present embodiment. 図2は、動画データを構成する複数のフレーム画像からの静止画の切り出しを説明する図である。FIG. 2 is a diagram illustrating cutting out of a still image from a plurality of frame images constituting the moving image data. 図3は、動画データから静止画データを生成するための操作画面を説明する図である。FIG. 3 is a diagram illustrating an operation screen for generating still image data from moving image data. 図4は、第1表示モードにおいて表示される動画再生画面の例を説明する図である。FIG. 4 is a diagram illustrating an example of a moving image reproduction screen displayed in the first display mode. 図5は、第2表示モードにおいて表示されるフレーム再生画面の例を説明する図である。FIG. 5 is a diagram illustrating an example of a frame reproduction screen displayed in the second display mode. 図6は、第1表示モードの動画再生画面上でコマ送り操作が実行された場合の表示処理を示すフローチャートである。FIG. 6 is a flowchart showing a display process when a frame advance operation is executed on the moving image playback screen in the first display mode. 図7は、操作画面上でのコマ送りの際に生じ得る問題を説明するための図である。FIG. 7 is a diagram for explaining a problem that may occur when advancing frames on the operation screen. 図8は、第2表示モードのフレーム再生画面上でコマ送りがなされた場合の表示処理を示すフローチャートである。FIG. 8 is a flowchart showing a display process when frame advance is performed on the frame reproduction screen of the second display mode. 図9は、第2表示モードのフレーム再生画面へ切り替えられた直後の、画面の状態を説明する図である。FIG. 9 is a diagram illustrating a state of the screen immediately after switching to the frame reproduction screen of the second display mode. 図10は、第2表示モードにおけるフレーム画像データの取得処理を示すフローチャートである。FIG. 10 is a flowchart showing a frame image data acquisition process in the second display mode. 図11は、画像取得範囲を説明するための図である。FIG. 11 is a diagram for explaining an image acquisition range. 図12は、第2表示モードの画面上で、指定されたフレームが表示範囲を超えた場合の表示範囲の変更を説明するための図である。FIG. 12 is a diagram for explaining a change in the display range when the designated frame exceeds the display range on the screen of the second display mode. 図13は、指定されたフレーム位置が表示範囲を超えた場合のフレーム画像データの取得処理を示すフローチャートである。FIG. 13 is a flowchart showing a frame image data acquisition process when the designated frame position exceeds the display range. 図14は、静止画データの保存時の動作を説明するための図である。FIG. 14 is a diagram for explaining an operation at the time of saving still image data.

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。 Hereinafter, embodiments will be described in detail with reference to the drawings as appropriate. However, more detailed explanation than necessary may be omitted. For example, detailed explanations of already well-known matters and duplicate explanations for substantially the same configuration may be omitted. This is to avoid unnecessary redundancy of the following description and to facilitate the understanding of those skilled in the art.

なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。 It should be noted that the inventors are intended to limit the subject matter described in the claims by those skilled in the art by providing the accompanying drawings and the following description in order to fully understand the present disclosure. is not.

(実施の形態1)
以下、添付の図面を参照して、本開示の静止画生成装置の一実施の形態である情報処理装置について説明する。
(Embodiment 1)
Hereinafter, the information processing apparatus according to the embodiment of the still image generation apparatus of the present disclosure will be described with reference to the accompanying drawings.

[1-1.構成]
図1は、本実施の形態の情報処理装置10の構成を示す図である。情報処理装置10は、データを処理可能な機器であり、例えば、パーソナルコンピュータである。情報処理装置10は、その全体動作を制御するコントローラ11と、種々の情報を表示する表示部13と、ユーザが操作を行う操作部15と、RAM(Random Access Memory)16と、データ及びプログラムを記録する記録部17とを備える。さらに、情報処理装置10は、ネットワークに接続するためのネットワークインタフェース18と、外部機器を接続するための機器インタフェース19とを備える。
[1-1. Constitution]
FIG. 1 is a diagram showing a configuration of the information processing apparatus 10 of the present embodiment. The information processing device 10 is a device capable of processing data, for example, a personal computer. The information processing apparatus 10 includes a controller 11 that controls its overall operation, a display unit 13 that displays various information, an operation unit 15 that is operated by a user, a RAM (Random Access Memory) 16, data, and a program. A recording unit 17 for recording is provided. Further, the information processing apparatus 10 includes a network interface 18 for connecting to a network and a device interface 19 for connecting an external device.

表示部13は例えば液晶ディスプレイ又は有機EL(Electro Luminescence)ディスプレイで構成される。操作部15は、キーボード、マウス、タッチパッド及びタッチパネル等の少なくとも一つを含む。操作部15は、情報処理装置10に物理的に設けられたボタンをさらに含んでいてもよい。また操作部15は、表示部13に表示された仮想的なボタンをさらに含んでもよい。 The display unit 13 is composed of, for example, a liquid crystal display or an organic EL (Electroluminescence) display. The operation unit 15 includes at least one such as a keyboard, a mouse, a touch pad, and a touch panel. The operation unit 15 may further include a button physically provided on the information processing device 10. Further, the operation unit 15 may further include a virtual button displayed on the display unit 13.

ネットワークインタフェース18は、ネットワークに接続するための回路(モジュール)である。ネットワークインタフェース18は、3G、4G、LTE(Long Term Evolution)、IEEE802、又はWi-Fi(登録商標)等の通信規格にしたがい通信を行う。機器インタフェース19は、外部機器と通信を行うための回路(モジュール)である。機器インタフェース19は、USB(登録商標)、HDMI(登録商標)、IEEE1394、及びBluetooth(登録商標)等の通信規格にしたがい通信を行う。 The network interface 18 is a circuit (module) for connecting to a network. The network interface 18 communicates according to a communication standard such as 3G, 4G, LTE (Long Term Evolution), IEEE802, or Wi-Fi (registered trademark). The device interface 19 is a circuit (module) for communicating with an external device. The device interface 19 communicates according to communication standards such as USB (registered trademark), HDMI (registered trademark), IEEE1394, and Bluetooth (registered trademark).

記録部17は、情報処理装置10が所定の機能を実現するために必要なパラメータ、データ及び制御プログラム等を記録する記録媒体である。記録部17は、例えば、ハードディスク(HDD:Hard Disk Drive)、半導体記録装置(SSD:Solid State Drive)、又は光ディスク装置等で構成される。本実施の形態において、記録部17は、動画データを生成するための動画生成アプリケーション、及び、動画から静止画を生成するための静止画生成アプリケーション(制御プログラム)を格納している。動画生成アプリケーション及び静止画生成アプリケーション(制御プログラム)は、光ディスク又はメモリカードのような可搬性の記録媒体から情報処理装置10にインストールされてもよいし、機器インタフェース19を介して接続された他の機器からインストールされてもよいし、ネットワークを介してサーバからダウンロードされてもよい。 The recording unit 17 is a recording medium for recording parameters, data, a control program, and the like necessary for the information processing apparatus 10 to realize a predetermined function. The recording unit 17 is composed of, for example, a hard disk (HDD: Hard Disk Drive), a semiconductor recording device (SSD: Solid State Drive), an optical disk device, or the like. In the present embodiment, the recording unit 17 stores a moving image generation application for generating moving image data and a still image generation application (control program) for generating a still image from the moving image. The moving image generation application and the still image generation application (control program) may be installed in the information processing apparatus 10 from a portable recording medium such as an optical disk or a memory card, or may be installed in the information processing apparatus 10 or another connected via the device interface 19. It may be installed from the device or downloaded from the server over the network.

コントローラ11は、CPU(Central Processing Unit)又はMPU(Micro Processing Unit)を含む。コントローラ11は、静止画生成アプリケーション(制御プログラム)を実行することにより、以下に説明する機能を実現する。なお、コントローラ11は、所定の機能を実現するように専用に設計されたハードウェア回路のみで実現されてもよい。すなわち、コントローラ11は、CPU、MPUのみならず、DSP(Digital Signal Processor)、FPGA(Field‐Programmable Gate Array)、又はASIC(Application Specific Integrated Circuit)等、種々の回路を含むことができる。 The controller 11 includes a CPU (Central Processing Unit) or an MPU (Micro Processing Unit). The controller 11 realizes the functions described below by executing the still image generation application (control program). The controller 11 may be realized only by a hardware circuit specially designed to realize a predetermined function. That is, the controller 11 can include not only a CPU and an MPU but also various circuits such as a DSP (Digital Signal Processor), an FPGA (Field-Programmable Gate Array), or an ASIC (Application Specific Integrated Circuit).

[1-2.動作]
以上のように構成された情報処理装置10の動作を以下に説明する。
[1-2. motion]
The operation of the information processing apparatus 10 configured as described above will be described below.

情報処理装置10は、動画データから静止画データを生成する機能を有する。具体的には、情報処理装置10は、動画を構成する複数のフレーム画像から1つのフレーム画像(本開示の特定のフレーム画像)を特定する。そして情報処理装置10は、特定したフレーム画像を、規格化された形式で圧縮することで静止画データを生成する。規格化された形式とは、たとえばJPEG形式、Bitmap形式又はTIFF形式等である。 The information processing device 10 has a function of generating still image data from moving image data. Specifically, the information processing apparatus 10 identifies one frame image (specific frame image of the present disclosure) from a plurality of frame images constituting a moving image. Then, the information processing apparatus 10 generates still image data by compressing the specified frame image in a standardized format. The standardized format is, for example, a JPEG format, a Bitmap format, a TIFF format, or the like.

なお、本実施の形態において、動画データには、一般的な動画データに加えて、特開2016-032214号に開示されたような特定の動画データも含む。この特定の動画データは、ユーザが記録された動画データから所望のフレーム画像を切り出すことを想定し、生成された動画データである。この特定の動画データは、一般的な動画データに比べて、静止画に適した撮影条件で撮影されて生成された動画データである。 In the present embodiment, the moving image data includes not only general moving image data but also specific moving image data as disclosed in Japanese Patent Application Laid-Open No. 2016-032214. This specific moving image data is moving image data generated on the assumption that a desired frame image is cut out from the moving image data recorded by the user. This specific moving image data is moving image data generated by being photographed under shooting conditions suitable for a still image as compared with general moving image data.

又、本実施の形態の動画データは、H.265(ISO/IEC23008-2 HEVC)の符号化方式に準拠して符号化された動画データである。例えば、図2に示すように、動画100は複数のフレーム画像111から構成される。情報処理装置10は、ユーザの指示にしたがい、複数のフレーム画像111の中の1つのフレーム画像(図2では第Nフレーム画像)を切り出して、静止画データ112を生成する。この機能はコントローラ11が静止画生成アプリケーション(制御プログラム)を実行することにより実現される。 Further, the moving image data of this embodiment is obtained by H.I. It is moving image data encoded according to the coding method of 265 (ISO / IEC2608-2 HEVC). For example, as shown in FIG. 2, the moving image 100 is composed of a plurality of frame images 111. The information processing apparatus 10 cuts out one frame image (Nth frame image in FIG. 2) from the plurality of frame images 111 according to a user's instruction, and generates still image data 112. This function is realized by the controller 11 executing a still image generation application (control program).

[1-2-1.操作画面]
図3は、情報処理装置10において動画データから静止画データを生成する際に表示部13に表示される操作画面を説明するための図である。
[1-2-1. Operation screen]
FIG. 3 is a diagram for explaining an operation screen displayed on the display unit 13 when the information processing apparatus 10 generates still image data from moving image data.

図3の(A)は、ユーザが動画を選択するための、一覧画面30の例を示す。一覧画面30は、本開示の動画一覧画面に相当する。一覧画面30は、記録部17に格納された複数の動画データのサムネイル画像を表示する。一覧画面30上で1つのサムネイル画像が指定されることで、複数の動画から一つの動画が選択される。図3の(B)は、一覧画面30上で選択された1つの動画を再生する動画再生画面31の例を示す。図3の(C)は、一覧画面30上で選択された動画のフレーム画像を再生するフレーム再生画面32の例を示す。フレーム再生画面32は、さらに複数のフレーム画像のサムネイル画像55aを表示し、本開示のサムネイル画面に相当する。 FIG. 3A shows an example of a list screen 30 for a user to select a moving image. The list screen 30 corresponds to the moving image list screen of the present disclosure. The list screen 30 displays thumbnail images of a plurality of moving image data stored in the recording unit 17. By designating one thumbnail image on the list screen 30, one moving image is selected from a plurality of moving images. FIG. 3B shows an example of a moving image reproduction screen 31 that reproduces one moving image selected on the list screen 30. FIG. 3C shows an example of a frame reproduction screen 32 for reproducing a frame image of a moving image selected on the list screen 30. The frame reproduction screen 32 further displays thumbnail images 55a of a plurality of frame images, and corresponds to the thumbnail screen of the present disclosure.

図4は、図3の(B)に示す動画再生画面31の拡大図である。動画再生画面31は、一覧画面30上で選択された動画を再生する画面である。動画再生画面31は、動画又はフレーム画像を表示する表示領域51aと、動画再生の進捗状況を示す進捗バー53とを有する。さらに動画再生画面31は、コマ送りボタン40a,40bと、再生ボタン41と、停止ボタン42と、一時停止ボタン43と、巻き戻しボタン44と、早送りボタン45と、静止画作成ボタン46と、フレーム再生ボタン47と、その他操作ボタン49とを有する。その他操作ボタン49は、画像の回転、拡大及び縮小、全画面表示、並びに画面表示終了等の操作を行うためのボタンを含む。 FIG. 4 is an enlarged view of the moving image reproduction screen 31 shown in FIG. 3B. The moving image reproduction screen 31 is a screen for reproducing the moving image selected on the list screen 30. The moving image reproduction screen 31 has a display area 51a for displaying a moving image or a frame image, and a progress bar 53 showing a progress status of moving image reproduction. Further, the moving image playback screen 31 includes frame advance buttons 40a and 40b, a play button 41, a stop button 42, a pause button 43, a rewind button 44, a fast forward button 45, a still image creation button 46, and a frame. It has a play button 47 and other operation buttons 49. The other operation buttons 49 include buttons for performing operations such as rotating, enlarging and reducing the image, displaying the full screen, and ending the screen display.

図5は、図3の(C)に示すフレーム再生画面32の拡大図である。フレーム再生画面32は、一覧画面30上で選択された動画のフレーム画像を再生する。フレーム再生画面32は、表示領域51bとサムネイル領域55とを有する。表示領域51bは、選択されたフレーム画像を表示する領域である。サムネイル領域55は、表示領域51bに表示させる画像を選択するための、複数のサムネイル画像55aを表示する領域である。なお、表示領域51b及びサムネイル領域55に表示される画像(フレーム画像)は、いずれもフレーム画像データに基づいて生成される画像である。表示領域51bに表示されるフレーム画像のデータ(フレーム画像データ)及びサムネイル領域55に表示されるフレーム画像のデータ(フレーム画像データ)は、それぞれJPEG形式等により圧縮された静止画データを復号することにより生成される。フレーム再生画面32は、コマ送りボタン40a,40bと、静止画作成ボタン46と、その他操作ボタン49とを有する。フレーム再生画面32はさらに、サムネイル領域55中に表示するサムネイル画像をスクロールするための、スクロールバー57を有する。 FIG. 5 is an enlarged view of the frame reproduction screen 32 shown in FIG. 3 (C). The frame reproduction screen 32 reproduces the frame image of the moving image selected on the list screen 30. The frame reproduction screen 32 has a display area 51b and a thumbnail area 55. The display area 51b is an area for displaying the selected frame image. The thumbnail area 55 is an area for displaying a plurality of thumbnail images 55a for selecting an image to be displayed in the display area 51b. The images (frame images) displayed in the display area 51b and the thumbnail area 55 are both images generated based on the frame image data. The frame image data (frame image data) displayed in the display area 51b and the frame image data (frame image data) displayed in the thumbnail area 55 are obtained by decoding still image data compressed by the PEG format or the like, respectively. Generated by. The frame reproduction screen 32 has frame advance buttons 40a and 40b, a still image creation button 46, and other operation buttons 49. The frame reproduction screen 32 further has a scroll bar 57 for scrolling the thumbnail image to be displayed in the thumbnail area 55.

フレーム再生画面32では、コマ送りボタン40a,40bにより、表示領域51bに表示されるフレーム画像を、1フレームずつ前後にシフト(コマ送り)することができる。サムネイル領域55は、各フレーム画像に対応するサムネイル画像55aを表示する。サムネイル領域55において表示されるサムネイル画像55aは、水平方向のスクロールにより切り替えられる。すなわち、ユーザは、スクロールバー57を左右に移動させることで、サムネイル領域55において表示されるサムネイル画像をスクロールすることができる。 On the frame reproduction screen 32, the frame image displayed in the display area 51b can be shifted (frame-advanced) frame by frame by the frame-advancing buttons 40a and 40b. The thumbnail area 55 displays the thumbnail image 55a corresponding to each frame image. The thumbnail image 55a displayed in the thumbnail area 55 is switched by scrolling in the horizontal direction. That is, the user can scroll the thumbnail image displayed in the thumbnail area 55 by moving the scroll bar 57 left and right.

サムネイル領域55において、ユーザが1つのサムネイル画像55aを選択すると、選択されたサムネイル画像55aに対応するフレーム画像が表示領域51bに表示される。また選択されたサムネイル画像に対して、フレーム55bが表示される。サムネイル画像55aは、チェックボックス55cを有する。ユーザは、チェックボックス55cにチェックすることにより、動画から切り出すフレーム画像を指定出来る。 When the user selects one thumbnail image 55a in the thumbnail area 55, the frame image corresponding to the selected thumbnail image 55a is displayed in the display area 51b. Further, the frame 55b is displayed for the selected thumbnail image. The thumbnail image 55a has a check box 55c. The user can specify a frame image to be cut out from the moving image by checking the check box 55c.

[1-2-2.画面遷移]
図3に戻り、これらの操作画面(一覧画面30、動画再生画面31、フレーム再生画面32)の遷移について説明する。静止画生成アプリケーションが起動されると、情報処理装置10は、最初に一覧画面30を表示する。一覧画面30は、情報処理装置10の記録部17に記録された動画データの一覧(サムネイル画像の一覧)を表示する。この一覧画面30上で所定の操作が実行されると、情報処理装置10は、後述する第1表示モード又は第2表示モードへ遷移し、動画再生画面31又はフレーム再生画面32を表示する。例えば、一覧画面30上で、ユーザにより1つの動画のサムネイル画像が選択されクリックされると、第1表示モードへ遷移し、動画再生画面31が表示される。また、一覧画面30(動画一覧画面)上で、ユーザにより1つの動画のサムネイル画像が指定され、かつ、右クリックで表示されたメニュー上で第2表示モードが選択されたときは、第2表示モードへ遷移し、フレーム再生画面32が表示される。なお、本実施の形態では、一例として、本開示の静止画生成装置の構成を、第2表示モードに適用する例を示す。
[1-2-2. Screen transition]
Returning to FIG. 3, the transition of these operation screens (list screen 30, video reproduction screen 31, frame reproduction screen 32) will be described. When the still image generation application is started, the information processing apparatus 10 first displays the list screen 30. The list screen 30 displays a list of moving image data (list of thumbnail images) recorded in the recording unit 17 of the information processing apparatus 10. When a predetermined operation is executed on the list screen 30, the information processing apparatus 10 transitions to the first display mode or the second display mode, which will be described later, and displays the moving image reproduction screen 31 or the frame reproduction screen 32. For example, when a thumbnail image of one moving image is selected and clicked by the user on the list screen 30, the mode shifts to the first display mode and the moving image reproduction screen 31 is displayed. Further, when the thumbnail image of one video is specified by the user on the list screen 30 (video list screen) and the second display mode is selected on the menu displayed by right-clicking, the second display is displayed. The mode is changed, and the frame reproduction screen 32 is displayed. In this embodiment, as an example, an example in which the configuration of the still image generator of the present disclosure is applied to the second display mode is shown.

動画再生画面31は、一覧画面30上で選択された動画を再生する画面である。この画面31上で、動画再生中に図4に示す一時停止ボタン43が押下されると、動画の再生が一時停止される。そして一時停止時のフレーム画像が、図4の表示領域51aに表示される。この状態で、ユーザは、コマ送りボタン40a,40bを操作することにより、表示領域51aに表示されるフレーム画像を切り替えることができる。 The moving image reproduction screen 31 is a screen for reproducing the moving image selected on the list screen 30. When the pause button 43 shown in FIG. 4 is pressed during video playback on this screen 31, playback of the video is paused. Then, the frame image at the time of pause is displayed in the display area 51a of FIG. In this state, the user can switch the frame image displayed in the display area 51a by operating the frame advance buttons 40a and 40b.

表示領域51aに所望のフレーム画像が表示された状態で、ユーザにより静止画作成ボタン46が押下されると、表示中のフレーム画像に関して画像データが生成される。 When the still image creation button 46 is pressed by the user while the desired frame image is displayed in the display area 51a, image data is generated for the frame image being displayed.

一方、表示領域51aに所望のフレーム画像が表示された状態で、ユーザによりフレーム再生ボタン47が操作されたときは、情報処理装置10は、第2表示モードへ遷移し、フレーム再生画面32を表示する。 On the other hand, when the frame reproduction button 47 is operated by the user while the desired frame image is displayed in the display area 51a, the information processing apparatus 10 transitions to the second display mode and displays the frame reproduction screen 32. do.

フレーム再生画面32は、動画を構成するフレーム画像を、フレーム単位で再生する画面である。フレーム再生画面32上で、ユーザは、図5のコマ送りボタン40a,40bを操作することにより、表示領域51bに表示させるフレーム画像(すなわち、フレーム位置)を切り替えることができる。そして少なくとも1つのサムネイル画像55aのチェックボックス55cがチェックされた状態で、ユーザにより静止画作成ボタン46が操作されると、情報処理装置10は、チェックされたサムネイル画像55aに対応するフレーム画像に関して、画像データを生成する。 The frame reproduction screen 32 is a screen for reproducing a frame image constituting a moving image in frame units. On the frame reproduction screen 32, the user can switch the frame image (that is, the frame position) to be displayed in the display area 51b by operating the frame advance buttons 40a and 40b of FIG. Then, when the still image creation button 46 is operated by the user with the check box 55c of at least one thumbnail image 55a checked, the information processing apparatus 10 relates to the frame image corresponding to the checked thumbnail image 55a. Generate image data.

図6は、第1表示モードにおける動画再生画面31上で、コマ送り操作が実行された場合の、表示処理を示すフローチャートである。動画再生画面31上で動画再生が一時停止された状態で、ユーザによりコマ送りボタン40a,40bが操作されると、動画再生画面31の表示領域51aに表示される画像が切り替えられる。図6のフローチャートを用いて、このときの動作を説明する。 FIG. 6 is a flowchart showing a display process when a frame advance operation is executed on the moving image reproduction screen 31 in the first display mode. When the frame advance buttons 40a and 40b are operated by the user while the moving image reproduction is temporarily stopped on the moving image reproduction screen 31, the image displayed in the display area 51a of the moving image reproduction screen 31 is switched. The operation at this time will be described with reference to the flowchart of FIG.

ユーザによりコマ送り操作が実行されると(S11でYES)、コントローラ11は、コマ送りにより新たに指定されたフレーム画像のデータ(フレーム画像データ)を、動画データをデコード処理することにより生成する(S12)。 When the frame advance operation is executed by the user (YES in S11), the controller 11 generates the frame image data (frame image data) newly specified by the frame advance by decoding the moving image data (YES). S12).

具体的には、コントローラ11は、操作された図4のコマ送りボタン40a,40bの種類に基づきコマ送りの方向を判断し、新たに表示するフレーム画像の位置(フレーム位置)を特定する。なお、動画データを構成する複数のフレーム画像データは、所定の符号化方式(たとえばH.265の符号化方式)に応じて配列されるものとする。フレーム位置とは、それぞれのフレーム画像が配列される順番に対応する。したがって、新たに表示されるフレーム画像は、コマ送りされる前に表示領域51aに表示されていた現フレーム画像の1フレーム前、又は1フレーム後に位置するフレーム画像である。 Specifically, the controller 11 determines the direction of frame advance based on the type of the frame advance buttons 40a and 40b of FIG. 4 operated, and specifies the position (frame position) of the newly displayed frame image. It is assumed that the plurality of frame image data constituting the moving image data are arranged according to a predetermined coding method (for example, the coding method of H.265). The frame position corresponds to the order in which each frame image is arranged. Therefore, the newly displayed frame image is a frame image located one frame before or one frame after the current frame image displayed in the display area 51a before frame advance.

ここで、動画データからフレーム画像データを生成する場合、1フレーム分のフレーム画像についてデコード処理する必要がある。今、図7に示すように、動画を構成する複数のフレーム画像において、第Nフレームの画像が動画再生画面31の表示領域51aに表示されている状態とする。この状態で、コマ送りボタン40bが操作される場合の動作を説明する。なお、本実施の形態では、説明の便宜上、H.265の符号化方式にしたがい符号化された動画データが、IピクチャとPピクチャのみで構成された例を説明するが、動画データはIピクチャ、Bピクチャ及びPピクチャで構成されてもよい。なお、動画を構成する複数のフレーム画像は、所定のフレーム数毎に複数のフレーム画像群に区分して識別されている。フレーム画像群は、いわゆるGOP(Group Of Pictures)に相当する。各フレーム画像群において、複数のフレーム画像は、参照関係に応じて配列される。 Here, when the frame image data is generated from the moving image data, it is necessary to decode the frame image for one frame. Now, as shown in FIG. 7, it is assumed that the image of the Nth frame is displayed in the display area 51a of the moving image reproduction screen 31 in the plurality of frame images constituting the moving image. The operation when the frame advance button 40b is operated in this state will be described. In this embodiment, for convenience of explanation, H.I. An example in which the moving image data encoded according to the coding method of 265 is composed of only I pictures and P pictures will be described, but the moving image data may be composed of I pictures, B pictures, and P pictures. It should be noted that the plurality of frame images constituting the moving image are classified into a plurality of frame image groups for each predetermined number of frames and identified. The frame image group corresponds to a so-called GOP (Group Of Pictures). In each frame image group, a plurality of frame images are arranged according to a reference relationship.

たとえば図7は、第Mフレーム画像群と、第Nフレーム画像群とを示す。第Mフレーム画像群と第Nフレーム画像群とは、それぞれ所定数のフレーム画像を含む。Iピクチャは、それぞれのフレーム画像群の先頭のフレーム画像である。Pピクチャは、先頭以外のフレーム画像である。表示領域51aに第Nフレームの画像が表示された状態で、コマ送りボタン40bが操作されると、表示領域51aに表示される画像は、第Nフレームの一つ後の第N+1フレームの画像に切り替えられる。その際、第N+1フレームのPピクチャと、第N+1フレームのPピクチャが参照する第NフレームのIピクチャと、を用いてデコード処理が実行され、第N+1フレームのフレーム画像データが生成される。つまり、第N+1フレームのフレーム画像データを生成するために、第N+1フレームが属するフレーム群として第Nフレーム群が特定される。そして第Nフレーム群に属する全てのフレーム画像のうち、第Nフレーム群の先頭のフレーム画像(Iピクチャ)から第N+1フレームのフレーム画像までの複数のフレーム画像(図7の場合は二つのフレーム画像)のデータが参照され、動画データがデコード処理される。 For example, FIG. 7 shows an M-frame image group and an N-frame image group. The M-th frame image group and the N-th frame image group each include a predetermined number of frame images. The I picture is the first frame image of each frame image group. The P picture is a frame image other than the beginning. When the frame advance button 40b is operated while the image of the Nth frame is displayed in the display area 51a, the image displayed in the display area 51a becomes the image of the N + 1th frame one after the Nth frame. Can be switched. At that time, the decoding process is executed using the P picture of the N + 1 frame and the I picture of the Nth frame referred to by the P picture of the N + 1 frame, and the frame image data of the N + 1 frame is generated. That is, in order to generate the frame image data of the N + 1th frame, the Nth frame group is specified as the frame group to which the N + 1th frame belongs. Then, among all the frame images belonging to the Nth frame group, a plurality of frame images (two frame images in the case of FIG. 7) from the first frame image (I picture) of the Nth frame group to the frame image of the N + 1th frame. ) Data is referred to, and the moving image data is decoded.

一方、第Nフレームの画像が動画再生画面31の表示領域51aに表示されている状態で、コマ送りボタン40aが操作される場合の動作を説明する。この場合、表示領域51aに表示される画像は、第Nフレームの一つ前の第N-1フレームの画像に切り替えられる。その際、第N-1フレームのPピクチャと、第MフレームのIピクチャと、第M+1フレームから第N-2フレームまでのPピクチャと、を用いてデコード処理が実行され、第N-1フレームのフレーム画像データが生成される。第N-1フレームのPピクチャは、第MフレームのIピクチャと、第M+1フレームから第N-2フレームまでのPピクチャと、を参照する。つまり、第N-1フレームのフレーム画像データを生成するために、第N-1フレームが属するフレーム群として第Mフレーム群が特定される。そして第Mフレーム群に属する全てのフレーム画像のうち、第Mフレーム群の先頭のフレーム画像(Iピクチャ)から第N-1フレームのフレーム画像までの複数のフレーム画像のデータが参照され、動画データがデコード処理される。 On the other hand, the operation when the frame advance button 40a is operated while the image of the Nth frame is displayed in the display area 51a of the moving image reproduction screen 31 will be described. In this case, the image displayed in the display area 51a is switched to the image of the N-1th frame immediately before the Nth frame. At that time, the decoding process is executed using the P picture of the N-1th frame, the I picture of the Mth frame, and the P picture from the M + 1th frame to the N-2th frame, and the N-1th frame is executed. Frame image data is generated. The P picture of the N-1th frame refers to the I picture of the Mth frame and the P picture from the M + 1th frame to the N-2th frame. That is, in order to generate the frame image data of the N-1th frame, the Mth frame group is specified as the frame group to which the N-1th frame belongs. Then, among all the frame images belonging to the Mth frame group, the data of a plurality of frame images from the first frame image (I picture) of the Mth frame group to the frame image of the N-1th frame is referred to, and the moving image data is used. Is decoded.

フレーム画像データが生成されると、コントローラ11は、生成したフレーム画像データに基づくフレーム画像を、表示領域51aに表示する(S13)。 When the frame image data is generated, the controller 11 displays the frame image based on the generated frame image data in the display area 51a (S13).

このように本実施の形態の動画再生画面31上では、コマ送りボタン40a,40bが操作される毎に動画データがデコード処理されて、新たに指定されたフレーム位置の画像に関するフレーム画像データが生成される。 As described above, on the moving image playback screen 31 of the present embodiment, the moving image data is decoded every time the frame advance buttons 40a and 40b are operated, and the frame image data related to the image at the newly specified frame position is generated. Will be done.

このため、動画データの解像度が高い場合、又はデコード処理するハードウェアの性能が低い場合などは、デコード処理に時間を要する。したがって、動画再生画面31上でコマ送り操作が実行されるときに、画像の切り替わりに時間がかかり、ユーザの利便性が悪くなる。 Therefore, when the resolution of the moving image data is high, or when the performance of the hardware for the decoding process is low, the decoding process takes time. Therefore, when the frame advance operation is executed on the moving image reproduction screen 31, it takes time to switch the images, which deteriorates the convenience of the user.

この課題を解決するため、本実施の形態の情報処理装置10は、動画から切り出すフレーム画像が複数のフレーム画像から選択される場合に、選択されたフレーム画像を含む幾つかのフレーム画像のそれぞれに対応する静止画データを、動画データをデコード処理することにより生成する。幾つかのフレーム画像とは、たとえば選択されたフレーム画像と、このフレーム画像と参照関係にあるフレーム画像とを含む。生成された静止画データは、一旦、記録部17のバッファ領域に一時的に格納される。静止画データの容量は、フレーム画像データの容量よりも小さく設定され得るため、記録部17は多数の静止画データを記録できる。また静止画データを復号することによりフレーム画像データを生成する場合、動画データをデコード処理することによりフレーム画像データを生成するよりも、処理速度を速めることができる。つまり、動画データをデコード処理することによりフレーム画像データを生成する場合は、図6のステップS12のように、参照関係にある全てのフレーム画像データを用いて動画データをデコード処理するため、処理に時間がかかる。これに対し本実施の形態では、予め参照関係にあるフレーム画像の静止画データを記録しておくことにより、静止画データに基づいてフレーム画像を生成できる。 In order to solve this problem, in the information processing apparatus 10 of the present embodiment, when the frame image to be cut out from the moving image is selected from a plurality of frame images, each of the several frame images including the selected frame image is used. The corresponding still image data is generated by decoding the moving image data. Some frame images include, for example, a selected frame image and a frame image having a reference relationship with the frame image. The generated still image data is temporarily stored in the buffer area of the recording unit 17. Since the capacity of the still image data can be set smaller than the capacity of the frame image data, the recording unit 17 can record a large number of still image data. Further, when the frame image data is generated by decoding the still image data, the processing speed can be faster than that of generating the frame image data by decoding the moving image data. That is, when the frame image data is generated by decoding the moving image data, the moving image data is decoded using all the frame image data having a reference relationship as in step S12 of FIG. take time. On the other hand, in the present embodiment, by recording the still image data of the frame images having a reference relationship in advance, the frame image can be generated based on the still image data.

以上のように、参照関係にある複数のフレーム画像データのそれぞれを、予め静止画データに変換して、動画の切り出しを実行する例について、以下、本実施の形態の第2表示モードを用いて説明する。 As described above, an example in which each of the plurality of frame image data having a reference relationship is converted into still image data in advance and the moving image is cut out is described below by using the second display mode of the present embodiment. explain.

第2表示モードでは、第1表示モードと同様に、動画から切り出す静止画を選択するための操作を行うための操作画面が表示される。しかし第1表示モードでは動画再生画面31が表示されるのに対し、第2表示モードではフレーム再生画面32が表示される。また第2表示モードでは、フレーム画像およびフレーム画像のサムネイル画像が表示される。 In the second display mode, as in the first display mode, an operation screen for performing an operation for selecting a still image to be cut out from a moving image is displayed. However, while the moving image reproduction screen 31 is displayed in the first display mode, the frame reproduction screen 32 is displayed in the second display mode. Further, in the second display mode, the frame image and the thumbnail image of the frame image are displayed.

また第2表示モードでは、フレーム再生画面32上でユーザによりコマ送り操作が実行されるときに、コントローラ11は、新たに指定されたフレーム位置の静止画データを記録部17から読み出して、フレーム画像データに復号する。そしてコントローラ11は、フレーム画像データに基づくフレーム画像を、図5の表示領域51bに表示させる。このように、第2表示モードでは、予めデコードされた静止画データ(JPEG形式)を準備しておくため、コマ送り操作が実行される度に動画データのデコード処理を行う必要がない。このため、フレーム再生画面32上でコマ送り操作が実行された場合に、表示領域51bに表示される画像を迅速に切り替えることが可能となり、ユーザの利便性を向上できる。 Further, in the second display mode, when the frame advance operation is executed by the user on the frame reproduction screen 32, the controller 11 reads the still image data at the newly specified frame position from the recording unit 17, and the frame image. Decrypt to data. Then, the controller 11 displays the frame image based on the frame image data in the display area 51b of FIG. As described above, in the second display mode, since the still image data (JPEG format) decoded in advance is prepared, it is not necessary to perform the decoding process of the moving image data every time the frame advance operation is executed. Therefore, when the frame advance operation is executed on the frame reproduction screen 32, the image displayed in the display area 51b can be quickly switched, and the convenience of the user can be improved.

図8は、第2表示モードのフレーム再生画面32上で、ユーザによる表示画像の変更操作(コマ送り操作など)が実行された場合の、表示処理を示すフローチャートである。第2表示モードにおいて、ユーザにより、表示領域51b上で表示される表示画像の変更操作が実行されると(S21でYES)、コントローラ11は、新たに指定されたフレーム画像の静止画データを記録部17から読み出す(S22)。例えば、ユーザは、コマ送りボタン40a,40bを操作することにより、1コマずつ表示領域51bに表示させる画像を切り替えることができる。又は、ユーザは、フレーム55bを移動させることで、所望のサムネイル画像55aを指定することができ、指定されたサムネイル画像55aに対応する画像が表示領域51bに表示される。 FIG. 8 is a flowchart showing a display process when a user changes a display image (frame advance operation, etc.) on the frame reproduction screen 32 in the second display mode. In the second display mode, when the user executes an operation of changing the display image displayed on the display area 51b (YES in S21), the controller 11 records the still image data of the newly designated frame image. Read from unit 17 (S22). For example, the user can switch the image to be displayed in the display area 51b frame by frame by operating the frame advance buttons 40a and 40b. Alternatively, the user can specify the desired thumbnail image 55a by moving the frame 55b, and the image corresponding to the designated thumbnail image 55a is displayed in the display area 51b.

ステップS22で、静止画データが記録部17から読み出されると、コントローラ11は、読み出した静止画データを復号してフレーム画像データを生成する(S23)。そしてコントローラ11は、生成したフレーム画像データに基づくフレーム画像を、フレーム再生画面32の表示領域51bに表示するように、表示部13を制御する(S23)。このようにコントローラ11は、ユーザによる画像の変更操作毎に動画データのデコード処理を行わないため、迅速に表示画像を切り替えることができ、ユーザの利便性を向上できる。 When the still image data is read from the recording unit 17 in step S22, the controller 11 decodes the read still image data to generate frame image data (S23). Then, the controller 11 controls the display unit 13 so that the frame image based on the generated frame image data is displayed in the display area 51b of the frame reproduction screen 32 (S23). As described above, since the controller 11 does not perform the decoding process of the moving image data every time the user changes the image, the displayed image can be quickly switched and the convenience of the user can be improved.

図9は、第2表示モードへ切り替えられた後の画面の遷移を説明する図である。図3の一覧画面30上で第2表示モードへ遷移するように操作されたとき、又は、動画再生画面31上でフレーム再生ボタン47が押下されたときに、表示部13の表示モードは、第2表示モードへ切り替えられ、フレーム再生画面32が表示される。 FIG. 9 is a diagram illustrating the transition of the screen after switching to the second display mode. When the operation is performed to transition to the second display mode on the list screen 30 of FIG. 3, or when the frame playback button 47 is pressed on the video playback screen 31, the display mode of the display unit 13 is changed to the second display mode. 2 The display mode is switched, and the frame reproduction screen 32 is displayed.

第2表示モードへ切り替えられると、動画を構成する全フレーム画像のうちの所定のフレーム画像について、デコード処理が開始される。各フレーム画像についてデコード処理が完了されるまでは、各フレーム画像に対応する静止画データが未だ存在しないので、図9の(A)に示すように、表示領域51b及びサムネイル領域(図5のサムネイル領域55)において、「Now Loading」を示す画像が設定(表示)される。その後、デコード処理が完了されると、静止画データがフレーム画像データに復号され、フレーム画像データが生成されたフレーム画像について、表示領域51b又はサムネイル領域55に、それぞれフレーム画像データに基づくフレーム画像が表示される。なお、静止画データは、表示領域51bに表示されるフレーム画像に対応する静止画データと、サムネイル領域55に表示されるサムネイル画像に対応する静止画データとを含む。つまりフレーム画像毎に、メインの表示領域51b用とサムネイル領域55用との2つの静止画データが生成される。 When the mode is switched to the second display mode, the decoding process is started for a predetermined frame image among all the frame images constituting the moving image. Until the decoding process for each frame image is completed, the still image data corresponding to each frame image does not yet exist. Therefore, as shown in FIG. 9A, the display area 51b and the thumbnail area (thumbnail in FIG. 5). In the area 55), an image showing "Now Loading" is set (displayed). After that, when the decoding process is completed, the still image data is decoded into the frame image data, and the frame image based on the frame image data is displayed in the display area 51b or the thumbnail area 55 for the frame image for which the frame image data is generated. Is displayed. The still image data includes still image data corresponding to the frame image displayed in the display area 51b and still image data corresponding to the thumbnail image displayed in the thumbnail area 55. That is, two still image data, one for the main display area 51b and the other for the thumbnail area 55, are generated for each frame image.

所定のフレーム画像のすべてについてデコード処理が完了されると、図9の(B)に示すように、「Now Loading」を示す画像が、フレーム画像に置き換えられる。図9の(B)では、サムネイル領域には、第N-2フレームから第N+2フレームについてのサムネイル画像が表示され、フレーム55bにより、第Nフレームのサムネイル画像が選択(指定)されている。よって、表示領域51bには、選択(指定)された第Nフレームの画像が表示されている。 When the decoding process is completed for all of the predetermined frame images, the image showing "Now Loading" is replaced with the frame image as shown in FIG. 9B. In FIG. 9B, thumbnail images from the N-2th frame to the N + 2th frame are displayed in the thumbnail area, and the thumbnail image of the Nth frame is selected (designated) by the frame 55b. Therefore, the image of the selected (designated) Nth frame is displayed in the display area 51b.

図9の(B)に示す状態で、さらにフレーム位置の指定が変更された場合、表示領域51bに表示される画像は、新たに指定されたフレーム位置の画像に切り替えられる。例えば、図9の(C)に示すように、新たに第N+1フレームの画像が選択された場合、表示領域51bには、新たに選択(指定)された第N+1フレームの画像が表示される。 When the frame position designation is further changed in the state shown in FIG. 9B, the image displayed in the display area 51b is switched to the image at the newly designated frame position. For example, as shown in FIG. 9 (C), when the image of the N + 1th frame is newly selected, the image of the newly selected (designated) N + 1 frame is displayed in the display area 51b.

[1-2-3.第2表示モードにおけるフレーム画像データの取得処理]
以下、第2表示モードにおけるフレーム画像データの取得処理について詳細に説明する。図10は、第2表示モードにおけるフレーム画像データの取得処理を示すフローチャートである。
[1-2-3. Acquisition process of frame image data in the second display mode]
Hereinafter, the frame image data acquisition process in the second display mode will be described in detail. FIG. 10 is a flowchart showing a frame image data acquisition process in the second display mode.

コントローラ11は、図5のフレーム再生画面32の表示領域51bに最初に表示するフレーム画像のフレーム位置を取得する(S31)。具体的には、図3の一覧画面30からフレーム再生画面32へ遷移する場合、一覧画面30で指定された動画を構成する複数のフレーム画像のうちの先頭のフレーム画像のフレーム位置を、初期表示位置とする。一方、動画再生画面31からフレーム再生画面32へ遷移する場合、動画再生画面31の表示領域51aに表示されていたフレーム画像のフレーム位置を、初期表示位置とする。初期表示位置の設定はこれに限られず、他の設定でもよい。またこれらの設定は、自動で、又はユーザの操作により変更されてもよい。 The controller 11 acquires the frame position of the frame image to be first displayed in the display area 51b of the frame reproduction screen 32 of FIG. 5 (S31). Specifically, when transitioning from the list screen 30 in FIG. 3 to the frame reproduction screen 32, the frame position of the first frame image among the plurality of frame images constituting the moving image specified in the list screen 30 is initially displayed. The position. On the other hand, when transitioning from the moving image reproduction screen 31 to the frame reproduction screen 32, the frame position of the frame image displayed in the display area 51a of the moving image reproduction screen 31 is set as the initial display position. The setting of the initial display position is not limited to this, and other settings may be used. Further, these settings may be changed automatically or by the user's operation.

次に、コントローラ11は、表示範囲を決定する(S32)。表示範囲とは、フレーム再生画面32上で、高速に表示を切り替えられるフレーム画像の範囲である。ここで表示範囲とは、複数のフレーム画像のそれぞれのフレーム位置を含む領域に相当する。具体的には、ユーザは、フレーム再生画面32にフレーム画像を表示するのに要する時間(表示時間)を設定できる。コントローラ11は、ユーザにより設定される表示時間(例えば、5秒)と動画の再生時間のうち、小さい方を表示時間に設定する。コントローラ11は、初期表示位置を基準に、設定した表示時間で表示できる表示範囲を設定する。表示範囲には、少なくとも初期表示位置のフレーム画像を含むフレーム画像群(GOP)が含まれる。 Next, the controller 11 determines the display range (S32). The display range is a range of frame images whose display can be switched at high speed on the frame reproduction screen 32. Here, the display range corresponds to an area including each frame position of a plurality of frame images. Specifically, the user can set the time (display time) required to display the frame image on the frame reproduction screen 32. The controller 11 sets the smaller of the display time (for example, 5 seconds) set by the user and the reproduction time of the moving image as the display time. The controller 11 sets a display range that can be displayed in the set display time based on the initial display position. The display range includes at least a frame image group (GOP) including a frame image at the initial display position.

表示範囲の決定後、コントローラ11は、表示範囲に対応するフレーム画像数(以下「表示フレーム数」という)だけ、表示領域51b及びサムネイル領域55に「Now Loading」を示す画像(以下、「Now Loading」画像という)を作成する(S33)。 After determining the display range, the controller 11 displays only the number of frame images corresponding to the display range (hereinafter referred to as "the number of display frames") and the images showing "Now Loading" in the display area 51b and the thumbnail area 55 (hereinafter, "Now Loading"). "Image") is created (S33).

その後、コントローラ11は、表示範囲分のフレーム画像を取得したか否かを判断する(S34)。つまり、「Now Loading」画像と置換されるフレーム画像のデータが取得されたか否かを判断する。 After that, the controller 11 determines whether or not the frame image for the display range has been acquired (S34). That is, it is determined whether or not the data of the frame image to be replaced with the "Now Loading" image has been acquired.

表示範囲分のフレーム画像データが取得されていない場合(S34でNO)、コントローラ11は、取得していないフレーム画像データに対応する静止画データの取得範囲を設定する(S35)。静止画データの取得範囲は表示範囲に対応し、GOP単位で設定される。静止画データの取得範囲の決定方法の詳細については後述する。 When the frame image data for the display range has not been acquired (NO in S34), the controller 11 sets the acquisition range of the still image data corresponding to the frame image data that has not been acquired (S35). The acquisition range of still image data corresponds to the display range and is set in GOP units. Details of the method for determining the acquisition range of still image data will be described later.

静止画データの取得範囲の設定後、コントローラ11は、設定した取得範囲内の静止画データを取得して保存する(S36~S37)。具体的には、コントローラ11は、設定した取得範囲内の静止画データを、動画データをデコード処理することにより生成し、生成した静止画データを、記録部17のバッファ領域に格納する(S37)。 After setting the still image data acquisition range, the controller 11 acquires and saves the still image data within the set acquisition range (S36 to S37). Specifically, the controller 11 generates still image data within the set acquisition range by decoding the moving image data, and stores the generated still image data in the buffer area of the recording unit 17 (S37). ..

次に、コントローラ11は、記録部17に格納された静止画データを読み出し、静止画データを復号して、フレーム画像データを生成する(S38)。 Next, the controller 11 reads the still image data stored in the recording unit 17, decodes the still image data, and generates frame image data (S38).

そして、フレーム画像データが取得されたフレーム画像について、「Now Loading」画像をフレーム画像データに基づくフレーム画像に置換する(S39)。これらの処理はフレーム単位で行われ、取得範囲内の全てのフレーム画像の静止画データが取得されると(S36でYES)、コントローラ11はステップS34に戻る。コントローラ11は、表示範囲分のフレーム画像データを取得した場合(S34でYES)、本処理を終了する。 Then, with respect to the frame image from which the frame image data has been acquired, the "Now Loading" image is replaced with a frame image based on the frame image data (S39). These processes are performed in frame units, and when the still image data of all the frame images within the acquisition range are acquired (YES in S36), the controller 11 returns to step S34. When the controller 11 acquires the frame image data for the display range (YES in S34), the controller 11 ends this process.

コントローラ11は、ステップS36で取得範囲の全静止画データを取得済み(S36でYES)と判断した後、表示範囲分のフレーム画像データを取得していないと判断した場合(S34でNO)、コントローラ11は、ステップS35で次の静止画データの取得範囲を設定して、ステップS36へ移行する。以後、表示範囲分のフレーム画像データを取得するまで、上記の処理を繰り返す(S34~S39)。 When the controller 11 determines in step S36 that all the still image data in the acquisition range has been acquired (YES in S36) and then determines that the frame image data for the display range has not been acquired (NO in S34), the controller 11 In step S35, the acquisition range of the next still image data is set in step S35, and the process proceeds to step S36. After that, the above processing is repeated until the frame image data for the display range is acquired (S34 to S39).

[1-2-4.静止画データの取得範囲の決定]
図10のステップS35における、静止画データの取得範囲の決定方法について説明する。前述のように静止画データの取得範囲はGOP単位で設定される。したがって、ステップS35では、取得範囲としてたとえば1つのGOPが設定される。
[1-2-4. Determination of still image data acquisition range]
A method of determining the acquisition range of still image data in step S35 of FIG. 10 will be described. As described above, the acquisition range of still image data is set in GOP units. Therefore, in step S35, for example, one GOP is set as the acquisition range.

最初のステップS35~S39の処理ループでは、コントローラ11は、初期表示位置として設定されたフレーム位置を含むGOP(以下第1GOPとする)を、静止画データの取得範囲に決定する。1回目の処理ループ(S35~S39)で表示範囲分の静止画データを取得できていない場合(2回目のS34でNO)、2回目の処理ループが実行される。2回目のステップS35では、コントローラ11は、第1GOPの一つ前のGOP(以下第2GOPという)、又は一つ後ろのGOP(以下第3GOPという)のうち、初期表示位置により近い方のGOPを、次の取得範囲として決定する。すなわち、コントローラ11は、初期表示位置が、第1GOPの前側で隣接する第2GOPに近い場合、第2GOPをフレーム画像の取得範囲として決定する。また、コントローラ11は、初期表示位置が、第1GOPの後側で隣接する第3GOPに近い場合、第3GOPをフレーム画像の取得範囲として決定する。以後、表示範囲分の静止画データが取得されるまで、取得範囲として設定されていないGOPの中で、初期表示位置として設定されたフレーム位置に近いGOPから順に、フレーム画像の取得範囲として決定される。 In the processing loop of the first steps S35 to S39, the controller 11 determines the GOP (hereinafter referred to as the first GOP) including the frame position set as the initial display position as the still image data acquisition range. When the still image data for the display range cannot be acquired in the first processing loop (S35 to S39) (NO in the second S34), the second processing loop is executed. In the second step S35, the controller 11 selects the GOP immediately before the first GOP (hereinafter referred to as the second GOP) or the GOP immediately following the first GOP (hereinafter referred to as the third GOP), whichever is closer to the initial display position. , Determined as the next acquisition range. That is, when the initial display position is close to the adjacent second GOP on the front side of the first GOP, the controller 11 determines the second GOP as the frame image acquisition range. Further, when the initial display position is close to the adjacent third GOP on the rear side of the first GOP, the controller 11 determines the third GOP as the frame image acquisition range. After that, until the still image data for the display range is acquired, the frame image acquisition range is determined in order from the GOP closest to the frame position set as the initial display position among the GOPs that are not set as the acquisition range. To.

図11を用いて具体的に説明する。初期表示位置として設定されたフレーム画像が、第m番目のGOPに含まれる場合、コントローラ11はまず、第m番目のGOPを最初の取得範囲に設定する。次に、コントローラ11は、初期表示位置が第m-1番目のGOPに近い場合は、第m-1番目のGOPを次の取得範囲に設定する。又はコントローラ11は、初期表示位置が第m+1番目のGOPに近い場合は、第m+1番目のGOPを取得範囲に設定する。さらに、コントローラ11は、その後、第m-2番目のGOP及び第m+2番目のGOPのうち初期表示位置として設定されたフレーム画像に近い方のGOPを取得範囲に設定する。さらに、コントローラ11はその後、第m-2番目のGOP及び第m+2番目のGOPのうち初期表示位置として設定されたフレーム画像に遠い方のGOPを取得範囲に設定する。以後、同様に、コントローラ11は、初期表示位置として設定されたフレーム画像を含むGOPを中心として、その前後にある各GOPを交互に取得範囲として設定する。 This will be specifically described with reference to FIG. When the frame image set as the initial display position is included in the mth GOP, the controller 11 first sets the mth GOP in the first acquisition range. Next, when the initial display position is close to the m-1st GOP, the controller 11 sets the m-1st GOP in the next acquisition range. Alternatively, when the initial display position is close to the m + 1st GOP, the controller 11 sets the m + 1st GOP in the acquisition range. Further, the controller 11 then sets the GOP of the second m-2nd GOP and the m + 2nd GOP, whichever is closer to the frame image set as the initial display position, in the acquisition range. Further, the controller 11 then sets the GOP farther from the frame image set as the initial display position among the m-2nd GOP and the m + 2nd GOP in the acquisition range. After that, similarly, the controller 11 sets each GOP before and after the GOP including the frame image set as the initial display position as the acquisition range alternately.

[1-2-5.記録される静止画データの変更]
図5のフレーム再生画面32上では、ユーザはサムネイル領域55内でのサムネイル画像55aの選択又はコマ送りボタン40a,40bの操作により、表示領域51bに表示させるフレーム画像を変更することができる。その際、表示領域51bに表示させるフレーム画像として、図10のステップS32で設定された表示範囲を超えるフレーム位置の画像が指定される場合もある。そのような場合、コントローラ11は、新たに表示範囲を設定する。そしてコントローラ11は、新たに設定した表示範囲に対応する静止画データを取得する。
[1-2-5. Change of recorded still image data]
On the frame reproduction screen 32 of FIG. 5, the user can change the frame image to be displayed in the display area 51b by selecting the thumbnail image 55a in the thumbnail area 55 or operating the frame advance buttons 40a and 40b. At that time, as the frame image to be displayed in the display area 51b, an image at a frame position exceeding the display range set in step S32 of FIG. 10 may be designated. In such a case, the controller 11 newly sets the display range. Then, the controller 11 acquires the still image data corresponding to the newly set display range.

図12は、フレーム再生画面32上でユーザにより指定された画像(フレーム位置)が表示範囲を超えている場合の、表示範囲の切り替えを説明する図である。表示範囲の切り替え前の状態では、図12に示すように、表示範囲は第m番目のGOPから第n番目のGOPまでであり、それらのGOPにおける静止画データが、記録部17のバッファ領域に格納されているとする。また、フレーム再生画面32の表示領域51bに、第n番目のGOP内の最後のフレームの画像が表示されているとする。このような状態で、ユーザが1フレーム進ませるコマ送りボタン40bを押下した場合、表示領域51bに表示される画像は、第n+1番目のGOP内の先頭フレームの画像へ切り替えられる。しかし、第n+1番目のGOP内の先頭フレームは表示範囲外であり、記録部17のバッファ領域には第n+1番目のGOPのフレームについての静止画データは格納されていない。そこで、このような操作が実行された場合、コントローラ11は表示範囲を変更する。 FIG. 12 is a diagram illustrating switching of the display range when the image (frame position) specified by the user on the frame reproduction screen 32 exceeds the display range. In the state before switching the display range, as shown in FIG. 12, the display range is from the mth GOP to the nth GOP, and the still image data in those GOPs is stored in the buffer area of the recording unit 17. Suppose it is stored. Further, it is assumed that the image of the last frame in the nth GOP is displayed in the display area 51b of the frame reproduction screen 32. In such a state, when the user presses the frame advance button 40b for advancing one frame, the image displayed in the display area 51b is switched to the image of the first frame in the n + 1th GOP. However, the first frame in the n + 1st GOP is out of the display range, and the still image data about the frame of the n + 1st GOP is not stored in the buffer area of the recording unit 17. Therefore, when such an operation is executed, the controller 11 changes the display range.

具体的には、コントローラ11は、第n+1番目のGOPを表示範囲に追加する。さらにコントローラ11は、表示範囲の大きさが最大表示時間に収まるように、第m番目のGOPを表示範囲から削除する。さらにコントローラは、記録部17のバッファ領域において、表示範囲の先頭のGOP(第m番目のGOP)に関連する静止画データを削除する。その後、コントローラ11は、新たに第n+1番目のGOPに含まれるフレーム画像について、静止画データを取得し、記録部17のバッファ領域に格納する。これにより、記録部17のバッファ領域に記録される静止画データのデータ量が、一定に維持される。このように、ユーザにより指定されたフレーム画像(フレーム位置)が表示範囲を超える場合、記録部17のバッファ領域には、新たな範囲の静止画データが格納される。 Specifically, the controller 11 adds the nth + 1st GOP to the display range. Further, the controller 11 deletes the mth GOP from the display range so that the size of the display range falls within the maximum display time. Further, the controller deletes the still image data related to the GOP (mth GOP) at the head of the display range in the buffer area of the recording unit 17. After that, the controller 11 newly acquires still image data for the frame image included in the nth + 1st GOP and stores it in the buffer area of the recording unit 17. As a result, the amount of still image data recorded in the buffer area of the recording unit 17 is kept constant. As described above, when the frame image (frame position) specified by the user exceeds the display range, the still image data in a new range is stored in the buffer area of the recording unit 17.

図13は、フレーム再生画面32上でユーザにより表示範囲外の画像が指定された場合の、フレーム画像データの取得処理を示すフローチャートである。 FIG. 13 is a flowchart showing a frame image data acquisition process when an image outside the display range is specified by the user on the frame reproduction screen 32.

フレーム再生画面32上でユーザにより指定された画像のフレーム位置が、表示範囲を超えている場合(S41でYES)、コントローラ11は表示範囲を新たに決定する(S42)。具体的には、ユーザが画像の表示範囲を変更したい方向のフレーム画像が含まれるように表示範囲を拡大する。さらに、表示範囲の大きさが事前に設定された表示範囲内に収まるよう、拡大した方向と逆方向の表示範囲を縮小する。図12の例では、表示範囲に第n+1番目のGOPが追加され、表示範囲から第m番目のGOPが削除される。 When the frame position of the image specified by the user on the frame reproduction screen 32 exceeds the display range (YES in S41), the controller 11 newly determines the display range (S42). Specifically, the display range is expanded so that the frame image in the direction in which the user wants to change the display range of the image is included. Further, the display range in the direction opposite to the enlarged direction is reduced so that the size of the display range is within the preset display range. In the example of FIG. 12, the n + 1st GOP is added to the display range, and the mth GOP is deleted from the display range.

表示範囲の決定後、コントローラ11は、記録部17のバッファ領域から、表示範囲外のフレーム画像に対応する静止画データを削除する(S43)。図12の例では、第m番目のGOPに関する静止画データが削除される。その後、コントローラ11は、表示範囲において新たに追加された各フレーム画像に対応する、「Now Loading」画像を作成する(S44)。 After determining the display range, the controller 11 deletes the still image data corresponding to the frame image outside the display range from the buffer area of the recording unit 17 (S43). In the example of FIG. 12, the still image data related to the mth GOP is deleted. After that, the controller 11 creates a "Now Loading" image corresponding to each newly added frame image in the display range (S44).

その後、コントローラ11は、表示範囲分のフレーム画像を取得しているか否かを判断する(S45)。つまりコントローラ11は、「Now Loading」画像を置換して表示するフレーム画像のデータ(フレーム画像データ)を、全て取得しているか否かを判断する。なお、ステップS42で表示範囲が新たに決定された場合(変更された場合)は、コントローラ11は、1回目のループのステップS45で、新たな表示範囲分のフレーム画像を取得していないと判断する(S45でNO)。 After that, the controller 11 determines whether or not the frame image for the display range is acquired (S45). That is, the controller 11 determines whether or not all the data of the frame image (frame image data) to be displayed by replacing the "Now Loading" image is acquired. When the display range is newly determined (changed) in step S42, the controller 11 determines that the frame image for the new display range has not been acquired in step S45 of the first loop. (NO in S45).

次にコントローラ11は、変更後の新たな表示範囲に対して、フレーム画像に対応する静止画データの取得範囲を決定する(S46)。図12の例では、追加された第n+1番目のGOPを取得範囲として決定する。 Next, the controller 11 determines the acquisition range of the still image data corresponding to the frame image with respect to the new display range after the change (S46). In the example of FIG. 12, the added nth + 1st GOP is determined as the acquisition range.

そして、コントローラ11は、ステップS47へ進む。なお、ステップS46で新たな取得範囲が設定された直後のステップS47では、新たな取得範囲の静止画データは取得されていない。したがってコントローラ11は、ステップS47でNOと判断する。 Then, the controller 11 proceeds to step S47. In step S47 immediately after the new acquisition range is set in step S46, the still image data of the new acquisition range is not acquired. Therefore, the controller 11 determines NO in step S47.

次にコントローラ11は、設定されたフレーム画像の取得範囲内の静止画データを、動画データをデコード処理することにより生成する。コントローラ11は、生成した静止画データを、記録部17のバッファ領域に格納する(S48)。 Next, the controller 11 generates still image data within the acquisition range of the set frame image by decoding the moving image data. The controller 11 stores the generated still image data in the buffer area of the recording unit 17 (S48).

次に、コントローラ11は、記録部17に格納された静止画データを読み出し、静止画データを復号してフレーム画像データを生成する(S49)。そして、フレーム画像データに基づいてフレーム画像を生成し、「Now Loading」画像と置換する(S50)。 Next, the controller 11 reads the still image data stored in the recording unit 17, decodes the still image data, and generates frame image data (S49). Then, a frame image is generated based on the frame image data and replaced with the "Now Loading" image (S50).

その後ステップS47に戻り、新たに設定された取得範囲に対して全静止画データが取得されたと判断されると(S47でYES)、コントローラ11はステップS45に戻る。一方で、コントローラ11は、ステップS47で新たな取得範囲の全静止画データが取得されていないと判断すると判断すると(ステップS47でNO)、再びステップS48へ進む。 After that, the process returns to step S47, and when it is determined that all the still image data has been acquired for the newly set acquisition range (YES in S47), the controller 11 returns to step S45. On the other hand, if the controller 11 determines in step S47 that all the still image data in the new acquisition range has not been acquired (NO in step S47), the controller 11 proceeds to step S48 again.

そしてコントローラ11は、ステップ47で全静止画データを取得済み(S47でYES)と判断してステップS45に戻った場合に、表示範囲分のフレーム画像に対応するフレーム画像データを取得したと判断すると(S45でYES)、本処理を終了する。 Then, when the controller 11 determines that all the still image data has been acquired in step 47 (YES in S47) and returns to step S45, it determines that the frame image data corresponding to the frame image corresponding to the display range has been acquired. (YES in S45), this process ends.

以上のように、情報処理装置10は、フレーム再生画面32上でユーザにより既存の表示範囲外のフレーム画像(フレーム位置)が指定されたときは、表示範囲を変更し、新たな表示範囲に対する静止画データをバッファ領域に格納する。これにより、新たな表示範囲について予め静止画データ(JPEG形式)が格納されるため、画面切替えをスムーズに実施でき、ユーザの利便性を向上できる。 As described above, when the user specifies a frame image (frame position) outside the existing display range on the frame reproduction screen 32, the information processing apparatus 10 changes the display range and stands still with respect to the new display range. Image data is stored in the buffer area. As a result, still image data (JPEG format) is stored in advance for the new display range, so that screen switching can be performed smoothly and user convenience can be improved.

[1-2-6.静止画データの保存]
図5のフレーム再生画面32において、静止画作成ボタン46が押下されると、その時点で選択されているフレーム画像に関連する静止画データ(静止画ファイル)が、記録部17のユーザが指定した領域(フォルダ)に保存される。
[1-2-6. Saving still image data]
When the still image creation button 46 is pressed on the frame reproduction screen 32 of FIG. 5, the still image data (still image file) related to the frame image selected at that time is designated by the user of the recording unit 17. It is saved in the area (folder).

図14は、静止画データの保存時の動作を説明するための図である。図14の(A)に示すように、フレーム再生画面32において静止画作成ボタン46が押下されると、コントローラ11は、チェックボックス(図5のチェックボックス55c)にチェックされたサムネイル画像(第N-1、N、N+2フレーム)に関連する静止画データを、記録部17(バッファ領域)から読み出し、記録部17のユーザが指定したフォルダ(保存領域)に保存する。このため、フレーム再生画面32上で静止画作成ボタン46が押下されると、図14の(B)に示すようなダイアログボックス32bが表示される。ユーザはこのダイアログボックス32b上で、保存場所及びフォルダ名を指定する。保存場所及びフォルダ名の入力が完了すると、保存処理が開始され、図14の(C)に示すような、保存処理の進捗状況を示す進捗バーを表示する画面32cが表示される。保存処理が完了すると、図14の(D)に示すような、静止画データの保存完了を示す画面32dが表示される。 FIG. 14 is a diagram for explaining an operation at the time of saving still image data. As shown in FIG. 14A, when the still image creation button 46 is pressed on the frame reproduction screen 32, the controller 11 checks the check box (check box 55c in FIG. 5) for the thumbnail image (Nth). The still image data related to (-1, N, N + 2 frames) is read from the recording unit 17 (buffer area) and saved in the folder (storage area) designated by the user of the recording unit 17. Therefore, when the still image creation button 46 is pressed on the frame reproduction screen 32, the dialog box 32b as shown in FIG. 14B is displayed. The user specifies the save location and the folder name on this dialog box 32b. When the input of the save location and the folder name is completed, the save process is started, and the screen 32c for displaying the progress bar showing the progress of the save process is displayed as shown in FIG. 14 (C). When the saving process is completed, the screen 32d indicating the completion of saving the still image data as shown in FIG. 14D is displayed.

また、図4の動画再生画面31において静止画作成ボタン46が押下された場合、その時点で表示領域51aに表示されているフレーム画像に関連する静止画データが、動画データから生成されて、記録部17のユーザが指定した領域(フォルダ)に保存される。この場合も、図14の(B)~(D)に示すような画面が表示される。 Further, when the still image creation button 46 is pressed on the moving image playback screen 31 of FIG. 4, still image data related to the frame image displayed in the display area 51a at that time is generated from the moving image data and recorded. It is saved in the area (folder) specified by the user of the unit 17. Also in this case, the screens as shown in FIGS. 14B to 14D are displayed.

[1-3.効果等]
(1)以上のように、本実施の形態の情報処理装置10(静止画生成装置の一例)は、動画データから静止画データを生成する。動画データは、動画を生成するデータである。動画は、複数のフレーム画像を含む。情報処理装置10は、データを保存する記録部17と、コントローラ11(制御部の一例)と、を備える。
[1-3. Effect, etc.]
(1) As described above, the information processing device 10 (an example of the still image generation device) of the present embodiment generates still image data from the moving image data. The moving image data is data for generating a moving image. The moving image contains a plurality of frame images. The information processing apparatus 10 includes a recording unit 17 for storing data and a controller 11 (an example of a control unit).

記録部17は、静止画データを記録するように構成される。コントローラ11は、複数のフレーム画像から特定のフレーム画像が選択された場合、特定のフレーム画像群が設定され、特定のフレーム画像群に含まれる複数のフレーム画像のそれぞれに対応する静止画データを生成する。特定のフレーム画像群とは、動画を構成する複数のフレーム画像のうち、特定のフレーム画像及び特定のフレーム画像と参照関係にある他のフレーム画像を含む。さらにコントローラ11は、静止画データを記録部17に記録させる。さらにコントローラ11は、特定のフレーム画像群に含まれる複数のフレーム画像の少なくとも一つを生成するフレーム画像データを、記録部17に記録させた静止画データに基づいて生成する。 The recording unit 17 is configured to record still image data. When a specific frame image is selected from a plurality of frame images, the controller 11 sets a specific frame image group and generates still image data corresponding to each of the plurality of frame images included in the specific frame image group. do. The specific frame image group includes a specific frame image and other frame images having a reference relationship with the specific frame image among a plurality of frame images constituting the moving image. Further, the controller 11 causes the recording unit 17 to record the still image data. Further, the controller 11 generates frame image data for generating at least one of a plurality of frame images included in a specific frame image group based on the still image data recorded by the recording unit 17.

ここで、従来開示されている画像処理装置では、動画を高精細化すると、表示部により複数のフレーム画像を一度に、又は切り替えて表示する場合に、処理時間が増大する場合がある。したがって、ユーザが、複数のフレーム画像から所望のフレーム画像を選択する場合に、多くの時間がかかるという課題が発生する。その理由を、以下に説明する。 Here, in the image processing apparatus conventionally disclosed, when the moving image is made high-definition, the processing time may increase when a plurality of frame images are displayed at once or switched by the display unit. Therefore, there arises a problem that it takes a lot of time when the user selects a desired frame image from a plurality of frame images. The reason will be explained below.

すなわち、動画データをデコード処理してフレーム画像を表示する場合、一枚のフレーム画像を生成するために、参照関係にあるフレーム画像が参照される。したがって、デコード処理に時間を要する。さらに、表示するフレーム画像を変更すると、変更する度に動画データがデコード処理されるため、処理に時間がかかり、ユーザの利便性が低下する。特に近年、動画が高精細化し、動画データの解像度が高くなっている(例えば、6K、8K)。また、近年、H.265(ISO/IEC23008-2 HEVC)のような新たな符号化方式が普及している。この新たな符号化方式で符号化された画像のデコードには、高いハードウェア性能が要求される。このため、性能が低いハードウェアによっては、新たな符号化方式で符号化された画像のデコード処理に時間がかかる。一方で、動画データを構成する複数のフレーム画像データを記録させるためには、記録部に多くの空き容量が必要になる。 That is, when the moving image data is decoded and the frame image is displayed, the frame image having a reference relationship is referred to in order to generate one frame image. Therefore, it takes time for the decoding process. Further, when the frame image to be displayed is changed, the moving image data is decoded every time the change is made, so that the processing takes time and the convenience of the user is lowered. In particular, in recent years, moving images have become higher in definition and the resolution of moving image data has become higher (for example, 6K, 8K). In recent years, H. New coding schemes such as 265 (ISO / IEC23008-2 HEVC) are widespread. High hardware performance is required for decoding an image encoded by this new coding method. Therefore, depending on the hardware having low performance, it takes time to decode the image encoded by the new encoding method. On the other hand, in order to record a plurality of frame image data constituting the moving image data, a large amount of free space is required in the recording unit.

これに対し本実施の形態の情報処理装置10は、特定のフレーム画像が選択されると、予め参照関係にある他のフレーム画像の静止画データも記録される。そして静止画データに基づいてフレーム画像データが生成される。したがって、表示部13により複数のフレーム画像を一度に、又は切り替えて表示する場合に、処理時間を短縮でき、ユーザの利便性が増す。 On the other hand, in the information processing apparatus 10 of the present embodiment, when a specific frame image is selected, still image data of other frame images having a reference relationship in advance are also recorded. Then, frame image data is generated based on the still image data. Therefore, when a plurality of frame images are displayed at once or by switching by the display unit 13, the processing time can be shortened and the convenience of the user is increased.

なお、参照関係にある他のフレーム画像とは、選択された特定のフレーム画像のデータ(フレーム画像データ)を、デコード処理して生成する際に参照されるフレーム画像であり、少なくとも1枚のフレーム画像である。 The other frame image having a reference relationship is a frame image that is referred to when the data (frame image data) of the selected specific frame image is decoded and generated, and is at least one frame. It is an image.

また特定のフレーム画像は、ユーザにより選択されてもよく、コントローラ11に自動で選択されてもよい。 Further, the specific frame image may be selected by the user or may be automatically selected by the controller 11.

また特定のフレーム画像群は、ユーザの選択を受け付けてコントローラ11により設定されてもよく、コントローラ11に自動で設定されてもよい。 Further, the specific frame image group may be set by the controller 11 in response to the user's selection, or may be automatically set in the controller 11.

またコントローラ11は、静止画データを復号することによりフレーム画像データを生成できる。 Further, the controller 11 can generate frame image data by decoding the still image data.

また表示部13は、複数のフレーム画像を表示する場合に、対応するサムネイル画像を用いて一度に表示してもよく、コマ送りで一枚ずつ表示を切り替えてもよい。 Further, when displaying a plurality of frame images, the display unit 13 may display the corresponding thumbnail images at once, or may switch the display one by one by frame advance.

(2)また本実施の形態1のプログラムは、情報処理装置10に対し、動画を生成する動画データから静止画データを生成させるプログラムである。プログラムは、情報処理装置10のコントローラ11(制御部)に、特定のフレーム画像群に含まれる複数のフレーム画像データの静止画データを生成させる。特定のフレーム画像群とは、動画に含まれる複数のフレーム画像のうち、選択された特定のフレーム画像及び特定のフレーム画像と参照関係にある他のフレーム画像を含む。さらにプログラムは、コントローラ11に、生成させた静止画データを記録部17に記録するように制御させる。さらにプログラムは、コントローラ11に、記録部17に記録させた静止画データに基づいて、特定のフレーム画像群に含まれる複数のフレーム画像の少なくとも一つを生成するフレーム画像データを生成させる。 (2) Further, the program of the first embodiment is a program for causing the information processing apparatus 10 to generate still image data from moving image data for generating moving images. The program causes the controller 11 (control unit) of the information processing apparatus 10 to generate still image data of a plurality of frame image data included in a specific frame image group. The specific frame image group includes a selected specific frame image and other frame images having a reference relationship with the specific frame image among a plurality of frame images included in the moving image. Further, the program causes the controller 11 to control the generated still image data to be recorded in the recording unit 17. Further, the program causes the controller 11 to generate frame image data that generates at least one of a plurality of frame images included in a specific frame image group based on the still image data recorded by the recording unit 17.

これにより本実施の形態のプログラムは、情報処理装置10の表示部13に複数のフレーム画像を表示させる場合に、処理時間を短縮できる。 As a result, the program of the present embodiment can shorten the processing time when displaying a plurality of frame images on the display unit 13 of the information processing apparatus 10.

(3)また本実施の形態の情報記録媒体は、情報処理装置10に対し、上述のプログラムを記録する情報記録媒体である。情報記録媒体には、SDメモリーカード、USB(Universal Serial Bus)メモリ、DVD、ROM、RAM、及びHDD等のデータを記録できる各種媒体を含む。 (3) Further, the information recording medium of the present embodiment is an information recording medium for recording the above-mentioned program on the information processing apparatus 10. The information recording medium includes various media capable of recording data such as an SD memory card, a USB (Universal Serial Bus) memory, a DVD, a ROM, a RAM, and an HDD.

これにより本実施の形態の情報記録媒体は、情報処理装置10の表示部13に複数のフレーム画像を表示させる場合に、処理時間を短縮できるプログラムを格納できる。 As a result, the information recording medium of the present embodiment can store a program that can shorten the processing time when displaying a plurality of frame images on the display unit 13 of the information processing apparatus 10.

(4)また本実施の形態では、動画データは、所定の符号化単位を有する符号化方式(例えば、H.265)に基づいて符号化される。特定のフレーム画像群は、符号化単位の少なくとも一単位と対応する。 (4) Further, in the present embodiment, the moving image data is encoded based on a coding method having a predetermined coding unit (for example, H.265). A particular frame image group corresponds to at least one coding unit.

たとえば本実施の形態のように、特定のフレーム画像群は、GOP単位で設定され、少なくとも一つのGOPとしてもよい。 For example, as in the present embodiment, the specific frame image group is set in GOP units and may be at least one GOP.

これにより本実施の形態の情報処理装置10は、予め参照関係にある複数のフレーム画像の全ての静止画データを記録できる。そして静止画データに基づいてフレーム画像データが生成される。したがって、表示部13により複数のフレーム画像を表示する場合に、処理時間をより短縮でき、ユーザの利便性が増す。 As a result, the information processing apparatus 10 of the present embodiment can record all the still image data of a plurality of frame images having a reference relationship in advance. Then, frame image data is generated based on the still image data. Therefore, when a plurality of frame images are displayed by the display unit 13, the processing time can be further shortened, and the convenience of the user is increased.

(5)また本実施の形態では、動画が、符号化単位に対応するように識別された複数のフレーム画像群を含む。複数のフレーム画像群が、符号化単位に基づいて配列される場合に、特定のフレーム画像群は、複数のフレーム画像群のうち、特定のフレーム画像を含む第1フレーム画像群と、第1フレーム画像群の一つ前に配列される第2フレーム画像群及び第1フレーム画像群の一つ後ろに配列される第3フレーム画像群の少なくとも一方と、を含む。 (5) Further, in the present embodiment, the moving image includes a plurality of frame image groups identified so as to correspond to a coding unit. When a plurality of frame image groups are arranged based on a coding unit, the specific frame image group includes a first frame image group including a specific frame image and a first frame among the plurality of frame image groups. It includes at least one of a second frame image group arranged one before the image group and a third frame image group arranged one after the first frame image group.

たとえば本実施の形態では、あるGOPに特定のフレーム画像が含まれる場合、そのGOPの前のGOP及び後のGOPの少なくとも一方を含む。コントローラ11は、前後のGOPのいずれか一方を選択する場合は、特定のフレーム画像のフレーム位置を参照し、フレーム位置により近い方のGOPを選択してもよい。 For example, in the present embodiment, when a specific frame image is included in a certain GOP, at least one of the GOP before and the GOP after the GOP is included. When the controller 11 selects one of the front and rear GOPs, the controller 11 may refer to the frame position of a specific frame image and select the GOP closer to the frame position.

これにより本実施の形態の情報処理装置10は、選択される可能性のあるフレーム画像の範囲を広げ、それらのフレーム画像が参照される全ての静止画データを記録できる。したがって、表示部13により複数のフレーム画像を表示する場合に、処理時間をより短縮でき、ユーザの利便性が増す。 As a result, the information processing apparatus 10 of the present embodiment can expand the range of frame images that may be selected and record all the still image data to which those frame images are referred. Therefore, when a plurality of frame images are displayed by the display unit 13, the processing time can be further shortened, and the convenience of the user is increased.

(6)また本実施の形態では、サムネイル画像を表示する表示部13を備える。表示部13は、特定のフレーム画像が選択された場合に、コントローラ11により生成されたフレーム画像データに基づき、特定のフレーム画像群に含まれる複数のフレーム画像のサムネイル画像を表示する。 (6) Further, in the present embodiment, a display unit 13 for displaying a thumbnail image is provided. When a specific frame image is selected, the display unit 13 displays thumbnail images of a plurality of frame images included in the specific frame image group based on the frame image data generated by the controller 11.

たとえば本実施の形態では、第2表示モードにおいて、特定のフレーム画像群がサムネイル画像として表示される。これにより本実施の形態では、サムネイル画像を表示するのに要する時間を短縮でき、ユーザの利便性が増す。 For example, in the present embodiment, in the second display mode, a specific frame image group is displayed as a thumbnail image. As a result, in the present embodiment, the time required to display the thumbnail image can be shortened, and the convenience of the user is increased.

(7)また本実施の形態では、表示部13がサムネイル画像を表示する場合に、コントローラ11は、特定のフレーム画像群のうち、第1フレーム画像群のサムネイル画像を他のフレーム画像群のサムネイル画像より先に表示するように、表示部13を制御する。 (7) Further, in the present embodiment, when the display unit 13 displays the thumbnail image, the controller 11 uses the thumbnail image of the first frame image group as the thumbnail of the other frame image group among the specific frame image groups. The display unit 13 is controlled so that the image is displayed before the image.

たとえば本実施の形態では、複数のGOPのサムネイル画像が表示される場合であって、選択された特定のフレーム画像が、複数のGOPのうちのあるGOPに属する場合、特定のフレーム画像が属するGOPを先に表示する。一つの画面に全てのサムネイル画像を表示できない場合、ユーザが見たいと思われるサムネイル画像を初期表示することにより、ユーザの利便性が増す。 For example, in the present embodiment, when thumbnail images of a plurality of GOPs are displayed and the selected specific frame image belongs to a certain GOP among the plurality of GOPs, the GOP to which the specific frame image belongs belongs. Is displayed first. When not all thumbnail images can be displayed on one screen, the user's convenience is increased by initially displaying the thumbnail images that the user wants to see.

(8)また本実施の形態では、ユーザが指定するデコード処理時間に応じて、特定のフレーム画像群が設定される。 (8) Further, in the present embodiment, a specific frame image group is set according to the decoding processing time specified by the user.

たとえば本実施の形態では、ユーザは、サムネイル画面が表示されるのに自身が待機できる時間を考慮し、フレーム再生画面32にフレーム画像を表示するのに要する時間(表示時間)を設定できる。コントローラ11は、ユーザにより設定された最大の表示時間(例えば、5秒)と動画の再生時間のうちの小さい方を表示時間に設定する。そしてその表示時間内に表示できるフレーム画像の枚数を算出し、フレーム画像群の数を算出する。たとえば算出されたフレーム画像群の数が2つであれば、特定のフレーム画像を含むGOPと、そのGOPの前方又は後方のGOPとを特定のフレーム画像群として設定する。 For example, in the present embodiment, the user can set the time (display time) required to display the frame image on the frame reproduction screen 32 in consideration of the time that the user can wait for the thumbnail screen to be displayed. The controller 11 sets the smaller of the maximum display time (for example, 5 seconds) set by the user and the playback time of the moving image as the display time. Then, the number of frame images that can be displayed within the display time is calculated, and the number of frame image groups is calculated. For example, if the calculated number of frame image groups is two, the GOP including the specific frame image and the GOP before or after the specific frame image are set as the specific frame image group.

これにより本実施の形態では、表示部13により複数のフレーム画像を表示する場合に、ユーザの要望に応じて処理時間を短縮でき、ユーザの利便性が増す。 As a result, in the present embodiment, when a plurality of frame images are displayed by the display unit 13, the processing time can be shortened according to the user's request, and the convenience of the user is increased.

(9)また本実施の形態では、表示部13は、動画一覧画面と、サムネイル画面と、を切り替えて表示する。本開示の動画一覧画面は、たとえば図3の(A)に示すような動画の一覧画面30である。動画一覧画面は、複数の動画を一覧表示する。図3の(A)では、複数の動画のそれぞれは、サムネイル画像により一覧表示されている。一方、本開示のサムネイル画面は、たとえば図3の(C)に示すようなフレーム再生画面32である。サムネイル画面は、コントローラ11により生成されたフレーム画像データに基づき、特定のフレーム画像群に含まれる複数のフレーム画像のサムネイル画像を表示する。さらに本実施の形態では、動画一覧画面(一覧画面30)において、ユーザが、動画一覧画面からサムネイル画面(フレーム再生画面32)へ直接切り替えることを指示する操作部を備える。操作部とは、本実施の形態では、表示部13と一体のタッチパネルであるが、その他、ボタン又はダイヤル等でもよい。 (9) Further, in the present embodiment, the display unit 13 switches between the moving image list screen and the thumbnail screen for display. The moving image list screen of the present disclosure is, for example, a moving image list screen 30 as shown in FIG. 3A. The video list screen displays a list of multiple videos. In FIG. 3A, each of the plurality of moving images is listed by a thumbnail image. On the other hand, the thumbnail screen of the present disclosure is, for example, a frame reproduction screen 32 as shown in FIG. 3 (C). The thumbnail screen displays thumbnail images of a plurality of frame images included in a specific frame image group based on the frame image data generated by the controller 11. Further, in the present embodiment, the moving image list screen (list screen 30) includes an operation unit for instructing the user to directly switch from the moving image list screen to the thumbnail screen (frame reproduction screen 32). In the present embodiment, the operation unit is a touch panel integrated with the display unit 13, but may be a button, a dial, or the like.

本実施の形態では、たとえば動画一覧画面(一覧画面30)上で、1つの動画のサムネイル画像が指定され、かつ、右クリックで表示されたメニュー上でサムネイル画面(フレーム再生画面32)が指定された場合、動画一覧画面から直接、サムネイル画面へ遷移する。つまり、図3の(A)に示すような動画一覧画面から、図3の(B)に示すような動画再生画面31を経ることなく、図3の(C)に示すようなサムネイル画面へと直接遷移することが出来る。 In the present embodiment, for example, a thumbnail image of one video is designated on the video list screen (list screen 30), and a thumbnail screen (frame playback screen 32) is designated on the menu displayed by right-clicking. If so, the screen transitions directly from the video list screen to the thumbnail screen. That is, from the video list screen as shown in FIG. 3 (A) to the thumbnail screen as shown in FIG. 3 (C) without going through the video playback screen 31 as shown in FIG. 3 (B). You can make a direct transition.

これにより本実施の形態では、より迅速に、ユーザが所望のフレーム画像を選択できる。つまり、動画再生を実行する処理にも時間を要するが、本実施の形態では、動画再生を実行する処理を省略できる。なお、動画一覧画面から直接サムネイル画面へ遷移する場合、特定のフレーム画像、つまり最初に表示部13のメインの表示領域(図5の表示領域51b)に表示されるフレーム画像を、先頭のフレーム位置にあるフレーム画像としてもよい。フレーム位置とは、所定の符号化方式に基づいて複数のフレーム画像が配列される場合の、各フレーム画像の位置に相当する。 Thereby, in the present embodiment, the user can select the desired frame image more quickly. That is, although it takes time to execute the moving image reproduction, in the present embodiment, the processing for executing the moving image reproduction can be omitted. When transitioning directly from the video list screen to the thumbnail screen, a specific frame image, that is, a frame image first displayed in the main display area (display area 51b in FIG. 5) of the display unit 13, is placed at the first frame position. It may be a frame image in. The frame position corresponds to the position of each frame image when a plurality of frame images are arranged based on a predetermined coding method.

(10)また本実施の形態では、コントローラ11は、特定のフレーム画像が変更された場合に、変更された特定のフレーム画像を含むように、特定のフレーム画像群の設定を変更する(図13のS42、S43)。つまり、本実施の形態では、特定のフレーム画像として、図12に示すような第m番目のGOPに含まれるフレーム画像が選択された場合は、特定のフレーム画像群として第m番目のGOPと第n番目のGOPとが設定される。しかし、特定のフレーム画像が変更され、第n+1番目のGOPに含まれるフレーム画像が選択された場合は、特定のフレーム画像群として第n番目のGOPと第n+1番目のGOPとが設定される。 (10) Further, in the present embodiment, when the specific frame image is changed, the controller 11 changes the setting of the specific frame image group so as to include the changed specific frame image (FIG. 13). S42, S43). That is, in the present embodiment, when the frame image included in the mth GOP as shown in FIG. 12 is selected as the specific frame image, the mth GOP and the mth GOP are selected as the specific frame image group. The nth GOP is set. However, when the specific frame image is changed and the frame image included in the n + 1st GOP is selected, the nth GOP and the n + 1th GOP are set as the specific frame image group.

これにより本実施の形態では、ユーザが指定するフレーム画像が変更されても、複数のフレーム画像を素早く表示できる。つまり、ユーザにより画像の表示範囲が大きく変更された場合でも、図5の表示領域51b上での迅速な画像切り替え操作を継続して実現することができる。 Thereby, in the present embodiment, even if the frame image specified by the user is changed, a plurality of frame images can be quickly displayed. That is, even if the display range of the image is significantly changed by the user, the rapid image switching operation on the display area 51b of FIG. 5 can be continuously realized.

(11)また本実施の形態では、図3の(C)及び図5に示すフレーム再生画面32は、複数のサムネイル領域55(選択領域の一例)を有する。それぞれのサムネイル領域55には、それぞれのサムネイル画像55aが表示される。それぞれのサムネイル画像55aは、動画を構成する複数のフレーム画像のそれぞれである。表示領域51bに表示される画像は、複数のサムネイル領域55のうちの1つに表示されるサムネイル画像と対応する。表示領域51bに表示された画像により、ユーザは自身が選択した画像の内容を確認することができる。 (11) Further, in the present embodiment, the frame reproduction screen 32 shown in FIG. 3C and FIG. 5 has a plurality of thumbnail areas 55 (an example of a selection area). Each thumbnail image 55a is displayed in each thumbnail area 55. Each thumbnail image 55a is a plurality of frame images constituting a moving image. The image displayed in the display area 51b corresponds to the thumbnail image displayed in one of the plurality of thumbnail areas 55. The image displayed in the display area 51b allows the user to confirm the content of the image selected by the user.

(12)また本実施の形態では、フレーム再生画面32上で、選択されたフレーム画像について静止画作成ボタン46が押下げられると、コントローラ11は、対応するフレーム画像の静止画データを記録部17のバッファ領域から読み出して、静止画ファイルとして、記録部の他の保存領域(所定の記録媒体の一例)に保存する。これにより本実施の形態では、静止画ファイルの生成処理が迅速に実行できる。なお、本実施の形態では、最終的に動画から切り出され生成される静止画ファイルのデータ方式を、一時的に保存される静止画データのデータ方式と同じとしているが、互いに異なる方式でもよい。 (12) Further, in the present embodiment, when the still image creation button 46 for the selected frame image is pressed on the frame reproduction screen 32, the controller 11 records the still image data of the corresponding frame image. It is read from the buffer area of the above and saved as a still image file in another storage area (an example of a predetermined recording medium) of the recording unit. As a result, in the present embodiment, the still image file generation process can be executed quickly. In the present embodiment, the data method of the still image file finally cut out from the moving image and generated is the same as the data method of the still image data temporarily stored, but different methods may be used.

(13)また本実施の形態は、以下の静止画生成アプリケーションを開示する。静止画生成アプリケーションは、情報処理装置10を静止画生成装置として機能させるためのプログラムである。 (13) Further, the present embodiment discloses the following still image generation application. The still image generation application is a program for making the information processing device 10 function as a still image generation device.

静止画生成アプリケーションは、情報処理装置10のコントローラ11に、
動画データを構成するフレーム画像群から所望のフレーム画像を選択するための操作画面として、図3の一覧画面30又は動画再生画面31(第1の操作画面の一例)と、一覧画面30又は動画再生画面31から遷移し、動画を構成するフレーム画像群の中の特定フレームの画像を表示する表示領域51bを有するフレーム再生画面32(第2の操作画面の一例)と、を表示部13に表示する機能と、
フレーム画像の選択に基づき動画データから静止画ファイルを生成する機能と、
一覧画面30又は動画再生画面31からフレーム再生画面32に切り替えられたときに、特定フレームを含む所定範囲のフレームに関して、動画データを構成するフレーム画像データをデコード処理して静止画データを生成し、生成した静止画データを記録部17に保存する機能と、
フレーム再生画面32の表示領域51bに表示される画像の切り替え操作が行われたときに、記録部17から、切替え後の画像に対応する静止画データを読み出し、読み出した静止画データに基づく画像を表示領域51bに表示する機能と、を実行させる。
The still image generation application is applied to the controller 11 of the information processing device 10.
As the operation screen for selecting a desired frame image from the frame image group constituting the moving image data, the list screen 30 or the moving image reproduction screen 31 (an example of the first operation screen) of FIG. 3 and the list screen 30 or the moving image reproduction A frame reproduction screen 32 (an example of a second operation screen) having a display area 51b that transitions from the screen 31 and displays an image of a specific frame in the frame image group constituting the moving image is displayed on the display unit 13. Functions and
A function to generate a still image file from video data based on the selection of a frame image,
When the list screen 30 or the video playback screen 31 is switched to the frame playback screen 32, the frame image data constituting the video data is decoded for a predetermined range of frames including a specific frame to generate still image data. A function to save the generated still image data in the recording unit 17, and
When the image switching operation displayed in the display area 51b of the frame reproduction screen 32 is performed, the still image data corresponding to the switched image is read from the recording unit 17, and the image based on the read still image data is read. The function of displaying in the display area 51b is executed.

(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
(Other embodiments)
As described above, the first embodiment has been described as an example of the technique disclosed in the present application. However, the technique in the present disclosure is not limited to this, and can be applied to embodiments in which changes, replacements, additions, omissions, etc. are made as appropriate. It is also possible to combine the components described in the first embodiment to form a new embodiment. Therefore, other embodiments will be exemplified below.

上記の実施の形態では、第2表示モードにおいて、特定のフレーム画像が選択された場合に、特定のフレーム画像群の静止画データが生成されるが、第1表示モードにおいて、動画が一時停止されることにより特定のフレーム画像が選択された場合に、特定のフレーム画像群の静止画データが生成されてもよい。 In the above embodiment, when a specific frame image is selected in the second display mode, still image data of the specific frame image group is generated, but in the first display mode, the moving image is paused. As a result, when a specific frame image is selected, still image data of a specific frame image group may be generated.

これにより、ユーザが動画をコマ送りすることにより、複数のフレーム画像が切り替えて表示される場合に、迅速にコマ送り動作を実行できる。 As a result, when the user switches and displays a plurality of frame images by advancing the moving image frame by frame, the frame advancing operation can be quickly executed.

また上記の実施の形態では、動画データは、静止画の切り出しを目的に生成されたデータである。この動画データは、静止画に適する撮影条件で撮影されて生成された、特殊な動画データである。しかし動画データは、動画の生成を主目的に生成された、一般的な動画データであってもよい。この場合、表示部13は、第1表示モードを有するが、第2表示モードを有さなくてもよい。さらにこの場合、第1表示モードで表示する図4の動画再生画面31において、本開示の静止画生成装置の構成が適用されてもよい。つまり動画再生画面31において、一時停止ボタン43が押下げられると、図4の表示領域51aにフレーム画像が表示される。このフレーム画像が、本開示の特定のフレーム画像に相当する。そして特定のフレーム画像及び特定のフレーム画像と参照関係にある他のフレーム画像とを含む特定のフレーム画像群が設定される。コントローラ11は、特定のフレーム画像群に含まれる複数のフレーム画像のそれぞれに対応する静止画データを、動画データをデコード処理することにより生成する。コントローラ11は、生成した静止画データを記録部17に記録させる。そしてコントローラ11は、特定のフレーム画像群に含まれる複数のフレーム画像の少なくとも一つを生成するフレーム画像データを、記録部17に記録させた静止画データに基づいて生成する。 Further, in the above embodiment, the moving image data is data generated for the purpose of cutting out a still image. This moving image data is special moving image data generated by being photographed under shooting conditions suitable for a still image. However, the moving image data may be general moving image data generated mainly for the purpose of generating moving images. In this case, the display unit 13 has a first display mode, but may not have a second display mode. Further, in this case, the configuration of the still image generation device of the present disclosure may be applied to the moving image reproduction screen 31 of FIG. 4 displayed in the first display mode. That is, when the pause button 43 is pressed on the moving image reproduction screen 31, the frame image is displayed in the display area 51a of FIG. This frame image corresponds to the specific frame image of the present disclosure. Then, a specific frame image group including a specific frame image and another frame image having a reference relationship with the specific frame image is set. The controller 11 generates still image data corresponding to each of the plurality of frame images included in the specific frame image group by decoding the moving image data. The controller 11 causes the recording unit 17 to record the generated still image data. Then, the controller 11 generates frame image data for generating at least one of a plurality of frame images included in a specific frame image group based on the still image data recorded by the recording unit 17.

このような場合において、動画再生画面31上でコマ送り等が実行されると、静止画データを復号され、フレーム画像データが生成される。そしてこのフレーム画像データに基づいてフレーム画像が表示される。したがって、動画データをコマ送りの都度デコード処理する場合と比較して、コマ送り表示に要する時間を短縮できる。 In such a case, when frame advance or the like is executed on the moving image reproduction screen 31, the still image data is decoded and the frame image data is generated. Then, the frame image is displayed based on this frame image data. Therefore, the time required for frame-by-frame display can be shortened as compared with the case where the moving image data is decoded each time it is frame-by-frame.

上記の実施の形態では、動画データから生成された最終的な静止画ファイルは、第2表示モードにおいて静止画データが一時的に格納される記録部17と同じ記録媒体に記録されるとして説明したが、最終的な静止画ファイルを記録部17とは異なる記録媒体に記録してもよい。 In the above embodiment, the final still image file generated from the moving image data will be recorded on the same recording medium as the recording unit 17 in which the still image data is temporarily stored in the second display mode. However, the final still image file may be recorded on a recording medium different from that of the recording unit 17.

上記の実施の形態では、第2表示モードでは、動画データを構成する複数フレーム画像のうちの所定範囲のフレームについて、予めデコードして静止画データ(JPEG形式)を作成し、記録部17のバッファ領域に格納しておくとして説明しているが、静止画データの一部又は全てを、格納と読みだしが高速なRAM16に格納してもよい。つまり本実施の形態では、第2表示モードでは、静止画データを記録部17に一時保存しているが、静止画データの一部又は全てを恒久保存してもよい。またその際には、RAM16の容量又は静止画ファイルサイズ等の条件に応じて適応的に格納量及び格納先が変更されても良い。 In the above embodiment, in the second display mode, still image data (JPEG format) is created by pre-decoding a predetermined range of frames among a plurality of frame images constituting the moving image data, and the buffer of the recording unit 17 is used. Although it is described as being stored in the area, a part or all of the still image data may be stored in the RAM 16 which is fast to store and read. That is, in the present embodiment, in the second display mode, the still image data is temporarily stored in the recording unit 17, but a part or all of the still image data may be permanently stored. In that case, the storage amount and the storage destination may be adaptively changed according to conditions such as the capacity of the RAM 16 or the still image file size.

また上記の実施の形態では、たとえば図10のステップS37及びステップS38で示すように、コントローラ11は、初期表示するフレーム画像についても、まず静止画データを取得し、次に記録部17のバッファ領域に記録し(S37)、その後記録した静止画データを読み出してフレーム画像データに復号している(S38)。しかし初期表示するフレーム画像については、静止画データを取得すると、そのまま静止画データの記録と並行して静止画データを復号し、フレーム画像データを生成してもよい。 Further, in the above embodiment, for example, as shown in steps S37 and S38 of FIG. 10, the controller 11 first acquires still image data for the frame image to be initially displayed, and then the buffer area of the recording unit 17. (S37), and then the recorded still image data is read out and decoded into frame image data (S38). However, for the frame image to be initially displayed, once the still image data is acquired, the still image data may be decoded in parallel with the recording of the still image data to generate the frame image data.

上記の実施の形態では、第2表示モードでは、動画データを構成する複数フレーム画像のうちの所定範囲のフレームについて、予めデコードして静止画データ(JPEG形式)を作成し、記録部17のバッファ領域に格納しておくとして説明したが、JPEG形式とは異なる形式(例えば、Bitmap形式又はTIFF形式)の静止画データとして作成してもよい。 In the above embodiment, in the second display mode, still image data (JPEG format) is created by pre-decoding a predetermined range of frames among a plurality of frame images constituting the moving image data, and the buffer of the recording unit 17 is used. Although it has been described as being stored in the area, it may be created as still image data in a format different from the JPEG format (for example, Bitmap format or TIFF format).

また上記の実施の形態では、図4及び図5の静止画作成ボタン46を押下げることにより最終的に生成される画像データを、一時的に保存される静止画データ(JPEG形式)と同じ方式で作成されたデータとしているが、最終的に生成される画像データは、一時的に保存される静止画データと異なる方式で作成されたデータであってもよい。 Further, in the above embodiment, the image data finally generated by pressing the still image creation button 46 of FIGS. 4 and 5 is the same method as the still image data (PEG format) temporarily stored. However, the image data finally generated may be data created by a method different from the still image data temporarily stored.

上記の実施の形態では、図10のステップS35における静止画データの取得範囲の決定方法として、初期表示位置として設定した特定のフレーム画像を含むGOPを中心として、その前後にある各GOPを交互に取得範囲として設定するとして説明している。しかし、フレーム画像の取得範囲を決定する際に、ユーザが任意に移動したフレーム55bの位置に対応するGOPを中心として、その前後にある各GOPを交互に取得範囲として設定することで、ユーザ所望のフレームを優先的に表示するようにしてもよい。 In the above embodiment, as a method of determining the acquisition range of still image data in step S35 of FIG. 10, each GOP before and after the GOP including a specific frame image set as an initial display position is alternately alternated. It is explained as setting as an acquisition range. However, when determining the acquisition range of the frame image, the user desires by alternately setting each GOP before and after the GOP corresponding to the position of the frame 55b arbitrarily moved by the user as the acquisition range. Frames may be displayed preferentially.

上記の実施の形態では、静止画データを切り出す動画データとして、H.265の符号化方式で符号化された動画データを用いたが、他の符号化方式(例えば、H.264/MPEG-4 AVC)で符号化された動画データを用いてもよい。 In the above embodiment, as the moving image data for cutting out the still image data, H. Although the moving image data encoded by the 265 coding method is used, the moving image data encoded by another coding method (for example, H.264 / MPEG-4 AVC) may be used.

上記の実施の形態では、静止画生成装置の一例として情報処理装置(PC:Personal Computer)を用いて説明しているが、静止画生成装置はこれに限定されない。静止画生成装置は、デジタルカメラ又はスマートフォンに適用されてもよい。 In the above embodiment, an information processing device (PC: Personal Computer) is described as an example of the still image generation device, but the still image generation device is not limited to this. The still image generator may be applied to a digital camera or a smartphone.

上記の実施の形態では、静止画生成装置(情報処理装置10)は表示部13を含むが、情報処理装置10と表示部13とは一体でなくてもよい。 In the above embodiment, the still image generation device (information processing device 10) includes the display unit 13, but the information processing device 10 and the display unit 13 do not have to be integrated.

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。 As described above, an embodiment has been described as an example of the technique in the present disclosure. To that end, the accompanying drawings and detailed explanations have been provided.

したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面又は詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。 Therefore, among the components described in the attached drawings and the detailed description, not only the components essential for problem solving but also the components not essential for problem solving in order to exemplify the above technique. Can also be included. Therefore, the fact that those non-essential components are described in the accompanying drawings or detailed description should not immediately determine that those non-essential components are essential.

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。 Further, since the above-described embodiment is for exemplifying the technique in the present disclosure, various changes, replacements, additions, omissions, etc. can be made within the scope of claims or the equivalent thereof.

本開示の静止画生成装置は、動画データから静止画を生成する際に表示させる操作画面上において、ユーザが画像選択のために参照する画像を迅速に切り替えることができ、動画データから静止画データを生成する電子機器(PC、デジタルカメラ、スマートフォン等)に適用できる。 The still image generator of the present disclosure can quickly switch the image referred to by the user for image selection on the operation screen displayed when generating a still image from the moving image data, and the still image data from the moving image data. It can be applied to electronic devices (PCs, digital cameras, smartphones, etc.) that generate data.

10 情報処理装置
11 コントローラ
13 表示部
15 操作部
16 RAM
17 記録部
18 ネットワークインタフェース
19 機器インタフェース
30 一覧画面
31 動画再生画面
32 フレーム再生画面
32b ダイアログボックス
40a,40b コマ送りボタン
41 再生ボタン
42 停止ボタン
43 一時停止ボタン
44 巻き戻しボタン
45 早送りボタン
46 静止画作成ボタン
47 フレーム再生ボタン
49 その他操作ボタン
51a 表示領域
51b 表示領域
55 サムネイル領域
55a サムネイル画像
55b フレーム
55c チェックボックス
57 スクロールバー
100 動画
111 フレーム画像
112 静止画データ
10 Information processing device 11 Controller 13 Display unit 15 Operation unit 16 RAM
17 Recording unit 18 Network interface 19 Equipment interface 30 List screen 31 Video playback screen 32 Frame playback screen 32b Dialog box 40a, 40b Frame advance button 41 Playback button 42 Stop button 43 Pause button 44 Rewind button 45 Fast forward button 46 Still image creation Button 47 Frame playback button 49 Other operation buttons 51a Display area 51b Display area 55 Thumbnail area 55a Thumbnail image 55b Frame 55c Check box 57 Scroll bar 100 Video 111 Frame image 112 Still image data

Claims (9)

動画を生成する動画データから静止画データを生成する静止画生成装置であって、
前記静止画データを記録するように構成された記録部と、
前記動画に含まれる複数のフレーム画像から特定のフレーム画像が選択された場合、前記複数のフレーム画像のうち、前記特定のフレーム画像及び前記特定のフレーム画像と参照関係のある他のフレーム画像を含む特定のフレーム画像群を設定し、
前記特定のフレーム画像群に含まれる前記複数のフレーム画像のそれぞれに対応する前記静止画データを、前記動画データをデコード処理し、規格化された形式で圧縮することにより生成し、
生成した前記静止画データを前記記録部に記録させ、
前記特定のフレーム画像群に含まれる前記複数のフレーム画像の少なくとも一つを生成するフレーム画像データを、前記記録部に記録させた前記静止画データに基づいて生成する、制御部と、
を備える、静止画生成装置。
A still image generator that generates still image data from moving image data that generates moving images.
A recording unit configured to record the still image data, and
When a specific frame image is selected from the plurality of frame images included in the moving image, the specific frame image and other frame images having a reference relationship with the specific frame image are included among the plurality of frame images. Set a specific frame image group,
The still image data corresponding to each of the plurality of frame images included in the specific frame image group is generated by decoding the moving image data and compressing it in a standardized format .
The generated still image data is recorded in the recording unit, and the data is recorded.
A control unit that generates frame image data that generates at least one of the plurality of frame images included in the specific frame image group based on the still image data recorded by the recording unit.
A still image generator.
前記動画データは、所定の符号化単位を有する符号化方式に基づいて符号化され、
前記特定のフレーム画像群は、前記符号化単位の少なくとも一単位と対応する、請求項1に記載の静止画生成装置。
The moving image data is encoded based on a coding method having a predetermined coding unit.
The still image generation device according to claim 1, wherein the specific frame image group corresponds to at least one of the coding units.
前記動画は、複数のフレーム画像群を含み、
前記複数のフレーム画像群は、それぞれ前記符号化単位の一単位と対応し、前記符号化単位に基づいて配列される場合に、
前記特定のフレーム画像群は、
前記複数のフレーム画像群のうち、前記特定のフレーム画像を含む第1フレーム画像群と、前記第1フレーム画像群の一つ前に配列される第2フレーム画像群及び前記第1フレーム画像群の一つ後ろに配列される第3フレーム画像群の少なくとも一方と、を含む、請求項2に記載の静止画生成装置。
The moving image contains a plurality of frame images.
When the plurality of frame image groups each correspond to one unit of the coding unit and are arranged based on the coding unit, the plurality of frame images are arranged.
The specific frame image group is
Among the plurality of frame image groups, the first frame image group including the specific frame image, the second frame image group arranged immediately before the first frame image group, and the first frame image group. The still image generation device according to claim 2, further comprising at least one of a third frame image group arranged one behind.
前記特定のフレーム画像が選択された場合に、前記制御部により生成された前記フレーム画像データに基づき、前記特定のフレーム画像群に含まれる前記複数のフレーム画像のサムネイル画像を表示する表示部をさらに備えた、請求項1に記載の静止画生成装置。 When the specific frame image is selected, a display unit that displays thumbnail images of the plurality of frame images included in the specific frame image group is further provided based on the frame image data generated by the control unit. The still image generation device according to claim 1. 前記特定のフレーム画像が選択された場合に、前記制御部により生成された前記フレーム画像データに基づき、前記特定のフレーム画像群に含まれる前記複数のフレーム画像のサムネイル画像を表示する表示部をさらに備え、
前記制御部は、
前記特定のフレーム画像群のうち、前記第1フレーム画像群の前記サムネイル画像を他のフレーム画像群の前記サムネイル画像より先に表示するように、前記表示部を制御する、
請求項3に記載の静止画生成装置。
When the specific frame image is selected, a display unit that displays thumbnail images of the plurality of frame images included in the specific frame image group is further provided based on the frame image data generated by the control unit. Prepare,
The control unit
Among the specific frame image groups, the display unit is controlled so that the thumbnail image of the first frame image group is displayed before the thumbnail image of another frame image group.
The still image generator according to claim 3.
前記制御部は、ユーザが指定するデコード処理時間に応じて、前記特定のフレーム画像群を設定する、請求項1に記載の静止画生成装置。 The still image generation device according to claim 1, wherein the control unit sets the specific frame image group according to the decoding processing time specified by the user. 前記動画を含む複数の動画を一覧表示する動画一覧画面と、前記制御部により生成された前記フレーム画像データに基づき、前記特定のフレーム画像群に含まれる前記複数のフレーム画像のサムネイル画像を表示するサムネイル画面と、を切り替えて表示する表示部と、
前記動画一覧画面において、ユーザが、前記動画一覧画面から前記サムネイル画面へ直接切り替えることを指示する操作部と、
をさらに備えた、請求項1に記載の静止画生成装置。
Based on the video list screen that displays a list of a plurality of videos including the video and the frame image data generated by the control unit, thumbnail images of the plurality of frame images included in the specific frame image group are displayed. A thumbnail screen, a display unit that switches between, and
An operation unit that instructs the user to directly switch from the video list screen to the thumbnail screen on the video list screen.
The still image generation device according to claim 1, further comprising.
前記制御部は、前記特定のフレーム画像が変更された場合に、変更された前記特定のフレーム画像を含むように前記特定のフレーム画像群の設定を変更する、請求項1記載の静止画生成装置。 The still image generation device according to claim 1, wherein the control unit changes the setting of the specific frame image group so as to include the changed specific frame image when the specific frame image is changed. .. 静止画生成装置に、動画を生成する動画データから静止画データを生成させるプログラムであって、
前記静止画生成装置の制御部に、
前記動画に含まれる複数のフレーム画像のうち、選択された特定のフレーム画像及び前記特定のフレーム画像と参照関係にある他のフレーム画像を含む特定のフレーム画像群に対応する前記静止画データを、前記動画データをデコード処理し、規格化された形式で圧縮することにより生成させ、
生成させた前記静止画データを前記静止画生成装置の記録部が記録するように制御させ、
前記記録部に記録させた前記静止画データに基づいて、前記特定のフレーム画像群に含まれる前記複数のフレーム画像の少なくとも一つを生成するフレーム画像データを生成させる、プログラム。
A program that causes a still image generator to generate still image data from moving image data that generates moving images.
In the control unit of the still image generator,
Among the plurality of frame images included in the moving image, the still image data corresponding to a specific frame image group including a selected specific frame image and another frame image having a reference relationship with the specific frame image can be obtained. The moving image data is decoded and generated by compressing it in a standardized format .
The generated still image data is controlled to be recorded by the recording unit of the still image generator.
A program for generating frame image data that generates at least one of the plurality of frame images included in the specific frame image group based on the still image data recorded in the recording unit.
JP2017160235A 2017-02-23 2017-08-23 Programs used in still image generators and still image generators Active JP7065292B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/823,957 US10666955B2 (en) 2017-02-23 2017-11-28 Still image generating apparatus and information recording medium used in still image generating apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017032531 2017-02-23
JP2017032531 2017-02-23

Publications (2)

Publication Number Publication Date
JP2018137721A JP2018137721A (en) 2018-08-30
JP7065292B2 true JP7065292B2 (en) 2022-05-12

Family

ID=63365768

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017160235A Active JP7065292B2 (en) 2017-02-23 2017-08-23 Programs used in still image generators and still image generators

Country Status (1)

Country Link
JP (1) JP7065292B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7170483B2 (en) * 2018-09-28 2022-11-14 キヤノン株式会社 Editing device, its control method, and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346165A (en) 1999-12-15 2001-12-14 Sanyo Electric Co Ltd Image processing method and image processing unit utilizing this method and television receiver
JP2005184240A (en) 2003-12-17 2005-07-07 Seiko Epson Corp Image processing apparatus and image processing method
JP2016032214A (en) 2014-07-29 2016-03-07 パナソニックIpマネジメント株式会社 Imaging device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346165A (en) 1999-12-15 2001-12-14 Sanyo Electric Co Ltd Image processing method and image processing unit utilizing this method and television receiver
JP2005184240A (en) 2003-12-17 2005-07-07 Seiko Epson Corp Image processing apparatus and image processing method
JP2016032214A (en) 2014-07-29 2016-03-07 パナソニックIpマネジメント株式会社 Imaging device

Also Published As

Publication number Publication date
JP2018137721A (en) 2018-08-30

Similar Documents

Publication Publication Date Title
US10891032B2 (en) Image reproduction apparatus and method for simultaneously displaying multiple moving-image thumbnails
JP2006287596A (en) Camera apparatus with animation reproduction function in a plurality of image selection screens
JP2004032535A (en) Image reproducing device, image recording/reproducing device, those control methods, program, and storage medium
JP7065292B2 (en) Programs used in still image generators and still image generators
US9786317B2 (en) Recording apparatus and method of controlling recording apparatus
US10200616B2 (en) Image processing device that performs image rotation processing, method of controlling the same, and storage medium
JP2004193695A (en) Recording and reproducing apparatus and method
US10666955B2 (en) Still image generating apparatus and information recording medium used in still image generating apparatus
JP2015023317A5 (en) Image management apparatus, image management method, program, and storage medium
JP7252444B2 (en) Display control program, display control method and information processing device
JP2004254053A (en) Image reproducing device
JP2002262240A (en) Method for retrieving video recorded scene and recording and reproducing device
JP2018195923A (en) Recording device
JP4338664B2 (en) Image display control method, image display control program, image data recording method, and image data recording program
JP2018117308A (en) Playback apparatus and control method of the same
JP2006211041A (en) Moving image reproducing device and imaging device
JP2016167787A (en) Recording device and method
JP2010103795A (en) Image recording apparatus
JP4364294B2 (en) Camera device
JP2015095804A (en) Image processing apparatus, control method of the same, and program
JPH10108124A (en) Animation image edit method and system employing the same
JP2012249100A (en) Image reproducer, image reproduction method, and computer program
JP2018195946A (en) Recording device
JP2008193169A (en) Image recording/reproducing apparatus
JP2015023415A (en) Printer, control method of printer and program

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190121

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220321

R151 Written notification of patent or utility model registration

Ref document number: 7065292

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151