JP2024002128A - Information processor and program - Google Patents

Information processor and program Download PDF

Info

Publication number
JP2024002128A
JP2024002128A JP2022101144A JP2022101144A JP2024002128A JP 2024002128 A JP2024002128 A JP 2024002128A JP 2022101144 A JP2022101144 A JP 2022101144A JP 2022101144 A JP2022101144 A JP 2022101144A JP 2024002128 A JP2024002128 A JP 2024002128A
Authority
JP
Japan
Prior art keywords
video
user
diary
processor
question
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022101144A
Other languages
Japanese (ja)
Other versions
JP7267652B1 (en
Inventor
凜 小川
Rin Ogawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SEN BON KNOCK INC
Original Assignee
SEN BON KNOCK INC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SEN BON KNOCK INC filed Critical SEN BON KNOCK INC
Priority to JP2022101144A priority Critical patent/JP7267652B1/en
Application granted granted Critical
Publication of JP7267652B1 publication Critical patent/JP7267652B1/en
Publication of JP2024002128A publication Critical patent/JP2024002128A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To reduce the psychological burden on a user when the picture of a user is recorded.
SOLUTION: An information processor (1) has at least one processor (10). The processor (10) performs: picture recording processing (S12) of recording a picture of the face of a user and sound of the voice of the user into a storage; and question output processing (S14) of outputting a question to the user when the picture recording processing (S12) is being performed.
SELECTED DRAWING: Figure 3
COPYRIGHT: (C)2024,JPO&INPIT

Description

本発明は、情報処理装置及びプログラムに関する。 The present invention relates to an information processing device and a program.

従来、画像と対応付けてその日の日記をスマートフォンに記録する技術が知られている。例えば特許文献1には、スマートフォンのカメラ機能を用いてユーザの顔画像を撮影し、その顔画像に対しその日の評価を付して日記を作成するアプリケーション(以下、「アプリ」とも記載する)が開示されている。 BACKGROUND ART Conventionally, a technology is known in which a diary of the day is recorded on a smartphone in association with an image. For example, Patent Document 1 describes an application (hereinafter also referred to as "app") that uses the camera function of a smartphone to take a user's face image, and creates a diary by adding an evaluation for that day to the face image. Disclosed.

特開2021-47576号公報JP 2021-47576 Publication

ユーザの顔を表す画像(静画像)だけでは、ユーザの感情などを十分に捉えきれないことが多い。このため、ユーザの顔を表す画像に代えて、ユーザの顔を表す映像(動画像)の記録を行うことが望まれる。ところが、ユーザの顔を表す映像を日記として記録する場合、ユーザは、その日の出来事などに関する問わず語りをカメラの前で行う必要がある。このような問わず語りを行うことは、ユーザにとって心理的負担が大きく、映像の記録を日記として継続することを困難にする要因となる。ユーザの声を表す音声を日記として記録する場合についても、同様のことが言える。 An image (still image) representing a user's face is often insufficient to fully capture the user's emotions. Therefore, it is desirable to record a video (moving image) representing the user's face instead of an image representing the user's face. However, when recording images representing the user's face as a diary, the user needs to narrate in front of the camera, regardless of the day's events. This kind of casual narration places a heavy psychological burden on the user, making it difficult for the user to continue recording video as a diary. The same thing can be said about the case where audio representing the user's voice is recorded as a diary.

本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的は、ユーザの顔を表す映像を、ユーザの声を表す音声と共に記録する際にユーザに与える心理的負担を軽減する技術を提供することにある。 One aspect of the present invention has been made in view of the above problem, and its purpose is to reduce the psychological burden on the user when recording an image representing the user's face together with audio representing the user's voice. The goal is to provide technology that will

上記の課題を解決するために、本発明の態様1に係る情報処理装置は、少なくとも1つのプロセッサを備え、前記プロセッサは、ユーザの顔を表す映像を、前記ユーザの声を表す音声と共にストレージに記録する記録処理と、前記記録処理の実行中に、前記ユーザに対する質問を出力する出力処理と、を実行する。 In order to solve the above problems, an information processing apparatus according to aspect 1 of the present invention includes at least one processor, and the processor stores an image representing a user's face together with audio representing the user's voice in a storage. A recording process for recording, and an output process for outputting a question to the user during execution of the recording process are executed.

上記構成によれば、ユーザは、出力される質問に答えればよいので、自身の映像を記録する際に何を話せば良いのか思い悩む必要がない。これにより、自身の映像を記録する際にユーザに与える心理的負担を軽減することができる。 According to the above configuration, the user only has to answer the questions that are output, so there is no need to worry about what to say when recording his or her own video. This makes it possible to reduce the psychological burden placed on the user when recording his or her own video.

本発明の態様2に係る情報処理装置においては、態様1の構成に加えて、以下の構成が採用されている。すなわち、前記記録処理において、前記プロセッサは、前記映像を日付と関連付けて前記ストレージに記録し、前記プロセッサは、前記ストレージに記録された映像のうち、前記ユーザにより指定された日付に関連付けられた映像を再生する再生処理を更に実行する構成が採用されている。 In addition to the configuration of aspect 1, the information processing device according to aspect 2 of the present invention employs the following configuration. That is, in the recording process, the processor records the video in association with a date in the storage, and the processor records the video associated with the date specified by the user among the videos recorded in the storage. A configuration is adopted in which a playback process for playing back is further executed.

上記構成によれば、ユーザは、日付を指定することによって、その日付に関連付けられた映像を容易に視聴することができる。 According to the above configuration, by specifying a date, the user can easily view the video associated with that date.

本発明の態様3に係る情報処理装置においては、態様1~2の何れかの構成に加えて、以下の構成が採用されている。すなわち、前記記録処理において、前記プロセッサは、前記映像を日記と関連付けて前記ストレージに記録し、前記プロセッサは、前記ストレージに記録された映像のうち、前記ユーザにより指定された日記に関連付けられた映像を再生する再生処理を更に実行する構成が採用されている。 In the information processing device according to aspect 3 of the present invention, in addition to the configuration of any one of aspects 1 to 2, the following configuration is adopted. That is, in the recording process, the processor records the video in association with the diary in the storage, and the processor records the video associated with the diary specified by the user among the videos recorded in the storage. A configuration is adopted in which a playback process for playing back is further executed.

上記構成によれば、ユーザは、日記を指定することによって、その日記に関連付けられた映像(その日記のエントリとして記録された映像)を容易に視聴することができる。 According to the above configuration, by specifying a diary, the user can easily view videos associated with the diary (videos recorded as entries in the diary).

本発明の態様4に係る情報処理装置においては、態様1~3の何れかの構成に加えて、以下の構成が採用されている。すなわち、前記記録処理において、前記プロセッサは、前記映像を前記質問と関連付けて前記ストレージに記録し、前記プロセッサは、前記ストレージに記録された映像のうち、前記ユーザにより指定された質問に関連付けられた映像を再生する再生処理を更に実行する構成が採用されている。 In the information processing device according to aspect 4 of the present invention, in addition to the configuration of any one of aspects 1 to 3, the following configuration is adopted. That is, in the recording process, the processor records the video in association with the question in the storage, and the processor records the video in association with the question specified by the user out of the video recorded in the storage. A configuration is adopted in which a playback process for playing back the video is further executed.

上記構成によれば、ユーザは、質問を指定することによって、その質問に回答する自身の映像を容易に視聴することができる。 According to the above configuration, by specifying a question, the user can easily view a video of himself or herself answering the question.

本発明の態様5に係る情報処理装置においては、態様1~4の何れかの構成に加えて、以下の構成が採用されている。すなわち、前記プロセッサは、前記記録処理の実行中に、前記ユーザの顔を表す映像、前記ユーザのアバターを表す映像、前記質問を行う仮想人格のアバターを表す映像をディスプレイに表示する表示処理を更に実行する構成が採用されている。 In the information processing apparatus according to aspect 5 of the present invention, in addition to the configuration of any one of aspects 1 to 4, the following configuration is adopted. That is, during execution of the recording process, the processor further performs a display process of displaying on a display an image representing the user's face, an image representing the user's avatar, and an image representing the avatar of the virtual personality asking the question. The configuration to run is adopted.

上記構成によれば、ユーザは、自身の顔を表す映像、自身のアバターを表す映像、質問者のアバターを表す映像を見ながら、映像の記録を行うことができる。これにより、自身の映像を記録する際にユーザに与える心理的負担を更に軽減することができる。 According to the above configuration, the user can record the video while viewing the video representing his own face, the video representing his own avatar, and the video representing the questioner's avatar. This can further reduce the psychological burden placed on the user when recording his or her own video.

本発明の態様6に係る情報処理装置においては、態様1~5の何れかの構成に加えて、以下の構成が採用されている。すなわち、前記質問には、他のユーザにより作成又は選択された質問が含まれ、前記プロセッサは、前記映像及び前記音声の一方又は両方のうち、前記他のユーザにより作成又は選択された質問に対する回答部分から、前記他のユーザに提供するデータを作成する作成処理を更に実行する構成が採用されている。 In the information processing apparatus according to aspect 6 of the present invention, in addition to the configuration of any one of aspects 1 to 5, the following configuration is adopted. That is, the questions include questions created or selected by other users, and the processor is configured to generate answers to the questions created or selected by the other users from one or both of the video and the audio. A configuration is adopted in which a creation process for creating data to be provided to the other users is further executed from the part.

上記構成によれば、他のユーザにより作成又は選択された質問に対するユーザの回答を表すデータを、当該他のユーザに提供することができる。 According to the above configuration, data representing a user's answer to a question created or selected by another user can be provided to the other user.

上記の課題を解決するために、本発明の態様7に係る情報処理装置は、少なくとも1つのプロセッサを備え、前記プロセッサは、ユーザの声を表す音声をストレージに記録する記録処理と、前記記録処理の実行中に、前記ユーザに対する質問を出力する出力処理と、を実行する。 In order to solve the above problem, an information processing apparatus according to an aspect 7 of the present invention includes at least one processor, and the processor performs a recording process of recording a voice representing a user's voice in a storage, and a recording process that records a voice representing a user's voice in a storage. During the execution of , an output process of outputting a question to the user is executed.

上記構成によれば、ユーザは、出力される質問に答えればよいので、自身の音声を記録する際に何を話せば良いのか思い悩む必要がない。これにより、自身の音声を記録する際にユーザに与える心理的負担を軽減することができる。 According to the above configuration, the user only has to answer the questions that are output, so there is no need to worry about what to say when recording his or her own voice. This makes it possible to reduce the psychological burden placed on the user when recording his or her own voice.

本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記情報処理装置が備える各部(ソフトウェア要素)として動作させることにより前記情報処理装置をコンピュータにて実現させる情報処理装置のアプリケーションプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 The information processing device according to each aspect of the present invention may be realized by a computer, and in this case, the information processing device can be implemented as a computer by operating the computer as each section (software element) included in the information processing device. An application program for an information processing device that is realized by using the information processing apparatus, and a computer-readable recording medium on which the application program is recorded also fall within the scope of the present invention.

本発明の一態様によれば、ユーザの顔を表す映像を記録する際にユーザに与える心理的負担を軽減する技術を提供することができる。 According to one aspect of the present invention, it is possible to provide a technique that reduces the psychological burden on a user when recording an image representing the user's face.

本発明の一実施形態に係る情報処理装置の構成を示すブロック図である。FIG. 1 is a block diagram showing the configuration of an information processing device according to an embodiment of the present invention. 図1に示す情報処理装置の動作の概要を示すモード遷移図である。2 is a mode transition diagram showing an overview of the operation of the information processing device shown in FIG. 1. FIG. 図2に示す記録モードにおける情報処理装置の動作の流れを示すフロー図である。3 is a flow diagram showing the flow of operations of the information processing apparatus in the recording mode shown in FIG. 2. FIG. 図3に示す映像表示処理においてディスプレイに表示される画面を例示した図である。4 is a diagram illustrating a screen displayed on a display in the video display process shown in FIG. 3. FIG. 図3に示すコメント付与処理においてディスプレイに表示される画面を例示した図である。4 is a diagram illustrating a screen displayed on a display in the comment adding process shown in FIG. 3. FIG. 図2に示す再生モードにおける情報処理装置の動作の流れを示すフロー図である。FIG. 3 is a flow diagram showing the flow of operations of the information processing apparatus in the playback mode shown in FIG. 2; 図6に示す映像再生処理においてディスプレイに表示される画面を例示した図である。7 is a diagram illustrating a screen displayed on a display in the video playback process shown in FIG. 6. FIG.

(情報処理装置の構成)
本発明の一実施形態に係る情報処理装置1の構成について、図1を参照して説明する。図1は、情報処理装置1の構成を示すブロック図である。
(Configuration of information processing device)
The configuration of an information processing device 1 according to an embodiment of the present invention will be described with reference to FIG. 1. FIG. 1 is a block diagram showing the configuration of the information processing device 1. As shown in FIG.

情報処理装置1は、図2に示すように、プロセッサ10と、メモリ11と、ストレージ12と、通信インタフェース(IF)13と、ディスプレイ14と、カメラ15と、マイク16と、スピーカー17と、バス18と、を備えている。プロセッサ10、メモリ11、ストレージ12、通信IF13と、ディスプレイ14と、カメラ15と、マイク16と、及びスピーカー17は、バス18を介して相互に接続されている。情報処理装置1は、スマートフォン、スマートウオッチ、若しくはスマートミラーなどのスマートデバイス、又は、ノート型PC、若しくはタブレット型PCなどのPC(Personal Computer)として実現することが可能である。 As shown in FIG. 2, the information processing device 1 includes a processor 10, a memory 11, a storage 12, a communication interface (IF) 13, a display 14, a camera 15, a microphone 16, a speaker 17, and a bus. It is equipped with 18. The processor 10, memory 11, storage 12, communication IF 13, display 14, camera 15, microphone 16, and speaker 17 are interconnected via a bus 18. The information processing device 1 can be realized as a smart device such as a smartphone, a smart watch, or a smart mirror, or a PC (Personal Computer) such as a notebook PC or a tablet PC.

ストレージ12には、動画日記アプリを実行するためのプログラムが格納されている。プロセッサ10は、ストレージ12に格納されているプログラムをメモリ11上に展開する。そして、プロセッサ10は、メモリ11上に展開されたプログラムに含まれる命令に従って、動画日記アプリを実行する。 The storage 12 stores a program for executing a video diary application. The processor 10 expands the program stored in the storage 12 onto the memory 11. Then, the processor 10 executes the video diary application according to instructions included in the program expanded on the memory 11.

プロセッサ10として利用可能なデバイスとしては、例えば、CPU(Central Processing Unit)を挙げることができる。また、メモリ11として利用可能なデバイスとしては、例えば、半導体RAM(Random Access Memory)を挙げることができる。また、ストレージ12として利用可能なデバイスとしては、例えば、HDD(Hard Disk Drive)を挙げることができる。 An example of a device that can be used as the processor 10 is a CPU (Central Processing Unit). Further, as a device that can be used as the memory 11, for example, a semiconductor RAM (Random Access Memory) can be mentioned. Further, as a device that can be used as the storage 12, for example, an HDD (Hard Disk Drive) can be mentioned.

通信IF13は、ネットワークを介して外部のサーバと通信を行うためのインタフェースである。通信IF13として利用可能なインタフェースとしては、例えば、イーサネット(登録商標)インタフェースが挙げられる。また、利用可能なネットワークとしては、PAN(Personal Area Network)、LAN(Local Area Network)、CAN(Campus Area Network)、MAN(Metropolitan Area Network)、WAN(Wide Area Network)、GAN(Global Area Network)、又は、これらのネットワークを含むインターネットワークが挙げられる。インターネットワークは、イントラネットであってもよいし、エクストラネットであってもよいし、インターネットであってもよい。通信IF13は、例えば、動画日記アプリが記録した映像及び音声をサーバにアップロードするために、或いは、動画日記アプリが再生する映像及び音声をサーバからダウンロードするために利用される。 The communication IF 13 is an interface for communicating with an external server via a network. An example of an interface that can be used as the communication IF 13 is an Ethernet (registered trademark) interface. In addition, available networks include PAN (Personal Area Network), LAN (Local Area Network), CAN (Campus Area Network), MAN (Metropolitan Area Network), WAN (Wide Area Network), and GAN (Global Area Network). , or an internetwork including these networks. The internetwork may be an intranet, an extranet, or the Internet. The communication IF 13 is used, for example, to upload the video and audio recorded by the video diary application to the server, or to download the video and audio reproduced by the video diary application from the server.

ディスプレイ14は、動画日記アプリが生成した画面を表示するための構成である。本実施形態において、ディスプレイ14は、タッチパネルであり、動画日記アプリが生成した画面を出力する機能に加えて、動画日記アプリに各種情報を入力するためのユーザ操作を検出する機能を有している。ディスプレイ14の具体的な例としては、タッチセンサ付きの液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ、プラズマディスプレイが挙げられる。情報処理装置1をスマートミラーとして実現する場合、ディスプレイ14は、ハーフミラーの背面に配置される。 The display 14 is configured to display a screen generated by the video diary application. In this embodiment, the display 14 is a touch panel, and in addition to the function of outputting a screen generated by the video diary application, the display 14 has a function of detecting user operations for inputting various information to the video diary application. . Specific examples of the display 14 include a liquid crystal display with a touch sensor, an organic EL (Electro Luminescence) display, and a plasma display. When the information processing device 1 is implemented as a smart mirror, the display 14 is placed on the back side of the half mirror.

カメラ15は、動画日記アプリが記録する映像を取得するための構成であり、マイク16は、動画日記アプリが記録する音声を取得するための構成である。カメラ15が取得した映像、及び、マイク16が取得した音声は、プロセッサ10によりエンコードされ、ストレージ12に記録されるか、又は、通信IF13を用いてサーバにアップロードされ、そのサーバに内蔵又は接続されたストレージに記録される。スピーカー17は、動画アプリが生成した音声を出力するための構成である。 The camera 15 is configured to acquire video recorded by the video diary application, and the microphone 16 is configured to acquire audio recorded by the video diary application. The video acquired by the camera 15 and the audio acquired by the microphone 16 are encoded by the processor 10 and recorded in the storage 12, or are uploaded to a server using the communication IF 13, and are stored in or connected to the server. recorded in the storage. The speaker 17 is configured to output audio generated by the video application.

なお、動画日記アプリを動作させるプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録され得る。この記録媒体は、ストレージ12であってもよいし、その他の記録媒体であってもよい。例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などが、その他の記録媒体として利用可能である。 Note that the program for operating the video diary application may be recorded on a computer-readable non-temporary tangible recording medium. This recording medium may be the storage 12 or another recording medium. For example, tapes, disks, cards, semiconductor memories, programmable logic circuits, etc. can be used as other recording media.

また、本実施形態においては、単一のプロセッサ(プロセッサ10)を用いて動画日記アプリを動作させる構成を採用しているが、本発明は、これに限定されない。すなわち、複数のプロセッサを用いて動画日記アプリを動作させる構成を採用してもよい。この場合、動画日記アプリを動作させる複数のプロセッサは、単一のコンピュータに設けられ、バスを介して相互に通信可能に構成されていてもよいし、複数のコンピュータに分散して設けられ、ネットワークを介して相互に通信可能に構成されていてもよい。例えば、クラウドサーバを構成する複数のコンピュータの各々が備えるプロセッサが連携して動画日記アプリを動作させる態様なども、考えられる。 Further, in this embodiment, a configuration is adopted in which the video diary application is operated using a single processor (processor 10), but the present invention is not limited to this. That is, a configuration may be adopted in which the video diary application is operated using a plurality of processors. In this case, the multiple processors that operate the video diary app may be installed in a single computer and configured to be able to communicate with each other via a bus, or they may be distributed across multiple computers and configured to communicate with each other via a bus. may be configured to be able to communicate with each other via. For example, a mode in which processors included in each of a plurality of computers constituting a cloud server cooperate to operate a video diary application is also conceivable.

(情報処理装置の動作の概要)
情報処理装置1の動作の概要について、図2を参照して説明する。図2は、情報処理装置1の動作の概要を示すモード遷移図である。
(Overview of operation of information processing device)
An overview of the operation of the information processing device 1 will be explained with reference to FIG. 2. FIG. 2 is a mode transition diagram showing an overview of the operation of the information processing device 1.

情報処理装置1は、図2に示すように、初期設定モードM1、ホームモードM2、記録モードM3、再生モードM4、カスタマイズモードM5、及び設定モードM6において動作する。 As shown in FIG. 2, the information processing device 1 operates in an initial setting mode M1, a home mode M2, a recording mode M3, a playback mode M4, a customization mode M5, and a setting mode M6.

初期設定モードM1は、動画日記アプリを初めて利用する場合、アプリ起動時に選択されるモードである。初期設定モードM1において、ユーザは、ユーザのプロファイルの設定、日記のテーマの設定、パートナーの声の設定、パートナー及びユーザのアバターの設定などを行うことができる。ここで、パートナーとは、動画日記アプリの利用をサポートする仮想人格のことを指す。ユーザのプロファイルとしては、キャリアに関する情報(仕事、学業、家事など)、趣味に関する情報(映画、音楽、ダンスなど)、人生に関する情報(家族、結婚、老後など)などが挙げられる。 Initial setting mode M1 is a mode that is selected when starting the video diary application when the video diary application is used for the first time. In the initial setting mode M1, the user can set the user's profile, set the theme of the diary, set the voice of the partner, set the avatars of the partner and the user, and so on. Here, the partner refers to a virtual personality that supports the use of the video diary app. The user's profile includes information about career (work, schoolwork, housework, etc.), information about hobbies (movies, music, dance, etc.), information about life (family, marriage, old age, etc.), and the like.

なお、日記には、全てのユーザが利用できるデフォルト日記と、利用権を購入したユーザのみが利用できるオプション日記とがある。本実施形態において、ユーザは、4つの日記、すなわち、「日常日記」、「テーマ別日記」、「ランダム日記」、「アンケート日記」を、デフォルト日記として利用可能である。ここで、「日常日記」は、予め定められた少なくとも1つの質問に対してユーザが回答する様子を記録するための日記である。「テーマ別日記」は、初期設定モードM1において設定された日記のテーマに対応する質問として予め定められた少なくとも1つの質問に対してユーザが回答する様子を記録するための日記である。「ランダム日記」は、初期設定モードM1において設定されたユーザのプロファイルに対応する質問群として予め定められた質問群からランダムに選択された少なくとも1つの質問に対してユーザが回答する様子を記録するための日記である。また、「アンケート日記」は、他のユーザ(例えば企業)が作成又は選択した少なくとも1つの質問に対してユーザが回答する様子を記録するための日記である。また、本実施形態においては、「有料テーマ別日記」を、オプション日記として利用可能である。「有料テーマ別日記」は、専門家の監修の下に作成された少なくとも1つの質問に対してユーザが回答する様子を記録するための日記である。 Note that the diary includes a default diary that can be used by all users, and an optional diary that can be used only by users who have purchased usage rights. In this embodiment, the user can use four diaries as default diaries: a "daily diary," a "thematic diary," a "random diary," and a "questionnaire diary." Here, the "daily diary" is a diary for recording how the user answers at least one predetermined question. The "thematic diary" is a diary for recording how the user answers at least one question that is predetermined as a question corresponding to the theme of the diary set in the initial setting mode M1. The "random diary" records how the user answers at least one question randomly selected from a predetermined question group corresponding to the user's profile set in the initial setting mode M1. This is a diary for. Furthermore, a "questionnaire diary" is a diary for recording how a user answers at least one question created or selected by another user (for example, a company). Furthermore, in this embodiment, a "paid theme diary" can be used as an optional diary. A "paid thematic diary" is a diary for recording a user's response to at least one question created under the supervision of an expert.

また、パートナーの声には、全てのユーザが利用できるデフォルト音声と、利用権を購入したユーザのみが利用できるオプション音声とがある。初期設定モードM1にて設定されるパートナーの声は、デフォルト音声である。本実施形態においては、デフォルト音声として、男性ナレータの声、女性ナレータの声、男性合成音声、及び女性合成音声を想定する。また、オプション音声として、声優の声を想定する。 Further, the partner's voice includes a default voice that can be used by all users, and an optional voice that can be used only by users who have purchased usage rights. The partner's voice set in the initial setting mode M1 is the default voice. In this embodiment, the default voices are assumed to be a male narrator's voice, a female narrator's voice, a male synthesized voice, and a female synthesized voice. Furthermore, a voice actor's voice is assumed as an optional voice.

ホームモードM2は、動画日記アプリを初めて利用する場合、初期設定モードM1の次に選択され、それ以外の場合、アプリ起動時に選択されるモードである。ホームモードM2において、情報処理装置1のプロセッサ10は、記録ボタン、再生ボタン、設定ボタン、カスタマイズボタンを含むホーム画面を情報処理装置1のディスプレイ14に表示する。 The home mode M2 is the mode that is selected next to the initial setting mode M1 when the video diary application is used for the first time, and is the mode that is selected when the application is launched in other cases. In the home mode M2, the processor 10 of the information processing device 1 displays a home screen including a record button, a playback button, a setting button, and a customize button on the display 14 of the information processing device 1.

記録モードM3は、ホームモードM2において記録ボタンがタップされたときに選択されるモードである。記録モードM3において、ユーザは、自身の顔を表す映像を、自身の声を表す音声と共に、日記のエントリとして記録することができる。記録モードM3における情報処理装置1の動作については、参照する図面を代えて後述する。 Recording mode M3 is a mode selected when the recording button is tapped in home mode M2. In recording mode M3, the user can record an image representing his or her face together with audio representing his or her voice as a diary entry. The operation of the information processing device 1 in the recording mode M3 will be described later using different drawings to refer to.

再生モードM4は、ホームモードM2において再生ボタンがタップされたときに選択されるモードである。再生モードM4において、ユーザは、記録モードM3において記録された映像及び音声を視聴することができる。再生モードM4における情報処理装置1の動作については、参照する図面を代えて後述する。 Playback mode M4 is a mode selected when the playback button is tapped in home mode M2. In the playback mode M4, the user can view the video and audio recorded in the recording mode M3. The operation of the information processing device 1 in the playback mode M4 will be described later using different drawings to refer to.

カスタマイズモードM5は、ホームモードM2においてカスタマイズボタンがタップされたときに選択されるモードである。カスタマイズモードM5において、ユーザは、自身が所有する仮想通貨の確認、利用可能なオプションの日記の確認、仮想通貨を用いたオプションの日記の利用権の購入、利用可能なオプションの声の確認、仮想通貨を用いたオプションの声の購入などを行うことができる。 Customization mode M5 is a mode selected when the customization button is tapped in home mode M2. In customization mode M5, the user can check the virtual currency he owns, check the diary of available options, purchase the right to use the diary of options using virtual currency, check the voices of available options, You can purchase optional voices using currency.

設定モードM6は、ホームモードM2において設定ボタンがタップされたときに選択されるモードである。設定モードM6において、ユーザは、環境の設定(ディスプレイ設定、サウンド設定、通知設定など)、プライバシーの設定(パスワード設定、位置情報設定など)、支払方法の設定(口座設定、カード設定など)、利用規約の確認、使用方法の確認、購入履歴の確認、端末引き継ぎコードの取得などを行うことができる。 Setting mode M6 is a mode selected when the setting button is tapped in home mode M2. In setting mode M6, the user can configure environment settings (display settings, sound settings, notification settings, etc.), privacy settings (password settings, location information settings, etc.), payment method settings (account settings, card settings, etc.), and usage settings. You can check the terms and conditions, how to use it, check your purchase history, and get a device transfer code.

(記録モードにおける情報処理装置の動作)
記録モードM3における情報処理装置1の動作について、図3を参照して説明する。図3は、記録モードM3における情報処理装置1の動作の流れを示すフローチャートである。
(Operation of information processing device in recording mode)
The operation of the information processing device 1 in the recording mode M3 will be described with reference to FIG. 3. FIG. 3 is a flowchart showing the flow of operations of the information processing apparatus 1 in recording mode M3.

情報処理装置1は、記録モードM3において、映像選択処理S10と、日記選択処理S11と、映像記録処理S12(特許請求の範囲における「記録処理」の一例)と、映像表示処理S13(特許請求の範囲における「表示処理」の一例)と、質問出力処理S14(特許請求の範囲における「出力処理」の一例)と、タグ付与処理S15と、を実行する。 In the recording mode M3, the information processing device 1 performs video selection processing S10, diary selection processing S11, video recording processing S12 (an example of "recording processing" in the claims), and video display processing S13 (an example of "recording processing" in the claims). (an example of "display processing" in the scope), question output processing S14 (an example of "output processing" in the claims), and tagging processing S15.

記録モードM3に遷移すると、情報処理装置1のプロセッサ10は、映像選択処理S10を実行する。映像選択処理S10は、後述する映像表示処理S13において表示する映像を、ユーザ操作に応じて選択する処理である。ここでは、映像選択処理S10において選択可能な映像として、ユーザの顔を表す映像、ユーザのアバターを表す映像、パートナーのアバターを表す映像、その他の映像を想定する。 When transitioning to recording mode M3, processor 10 of information processing device 1 executes video selection processing S10. Video selection processing S10 is processing for selecting a video to be displayed in video display processing S13, which will be described later, in accordance with a user operation. Here, it is assumed that the videos that can be selected in the video selection process S10 include a video representing the user's face, a video representing the user's avatar, a video representing the partner's avatar, and other videos.

映像選択処理S10を完了すると、情報処理装置1のプロセッサ10は、日記選択処理S11を実行する。日記選択処理S11は、後述する映像記録処理S12において記録する映像と関連付ける日記を、ユーザ操作に応じて選択する処理である。日記選択処理S11において全てのユーザが選択可能な日記としては、デフォルト日記である「日常日記」、「テーマ別日記」、「ランダム日記」、及び「アンケート日記」がある。また、日記選択処理S11において利用権を購入したユーザが利用可能な日記としては、オプション日記である「有料テーマ別日記」がある。 After completing the video selection process S10, the processor 10 of the information processing device 1 executes the diary selection process S11. The diary selection process S11 is a process of selecting a diary to be associated with a video to be recorded in a video recording process S12, which will be described later, in accordance with a user operation. Diaries that can be selected by all users in the diary selection process S11 include a "daily diary" which is a default diary, a "thematic diary", a "random diary", and a "questionnaire diary". Further, as a diary that can be used by a user who has purchased usage rights in the diary selection process S11, there is a "paid theme diary" which is an optional diary.

日記選択処理S11を完了すると、情報処理装置1のプロセッサ10は、映像記録処理S12、映像表示処理S13、及び質問出力処理S14を並列的に実行する。映像記録処理S12は、ユーザの顔を表す映像を、ユーザの声を表す音声と共にストレージ12に記録する処理である。映像記録処理S12において、プロセッサ10は、カメラ15により撮影された映像を、マイク16により入力された音声と共に、(1)その日の日付、(2)日記選択処理S11において選択された日記、(3)質問出力処理S14において出力された質問と関連付けてストレージ12に記録する。情報処理装置1がスマートフォンである場合、カメラ15は、ディスプレイ14と同じ面に設けられたカメラ、すなわち、インカメラである。ユーザがサーバディスクスペースの利用権を有している場合、プロセッサ10は、ユーザの顔を表す映像を、ユーザの声を表す音声と共にサーバ上のストレージに記録してもよい。 After completing the diary selection process S11, the processor 10 of the information processing device 1 executes a video recording process S12, a video display process S13, and a question output process S14 in parallel. The video recording process S12 is a process of recording a video representing the user's face in the storage 12 together with audio representing the user's voice. In the video recording process S12, the processor 10 records the video captured by the camera 15, along with the audio input by the microphone 16, as well as (1) the date of the day, (2) the diary selected in the diary selection process S11, and (3) ) It is recorded in the storage 12 in association with the question output in the question output process S14. When the information processing device 1 is a smartphone, the camera 15 is a camera provided on the same surface as the display 14, that is, an in-camera. If the user has access to server disk space, processor 10 may record an image representing the user's face, along with audio representing the user's voice, to storage on the server.

映像表示処理S13は、映像記録処理S12の実行中に、映像選択処理S10において選択された映像をディスプレイ14に表示する処理である。映像選択処理S10において、ユーザの顔を表す映像が選択された場合、映像表示処理S13において、プロセッサ10は、カメラ15により撮影された映像をディスプレイ14に表示する。また、映像選択処理S10において、ユーザのアバターを表す映像が選択された場合、映像表示処理S13において、プロセッサ10は、初期設定モードM1において設定されたユーザのアバターの映像を生成し、生成した映像をディスプレイ14に表示する。映像選択処理S10において、パートナーのアバターを表す映像が選択された場合、映像表示処理S13において、プロセッサ10は、初期設定モードM1において設定されたパートナーのアバターを表す映像を生成し、生成した映像をディスプレイ14に表示する。なお、映像選択処理S10において、パートナーのアバターを表す映像が選択された場合、プロセッサ10は、パートナーのアバターを表す映像に加えて、ユーザの顔を表す映像、又は、ユーザのアバターを表す映像をディスプレイ14に表示してもよい。映像選択処理S10において、その他の映像が選択された場合、映像表示処理S13において、プロセッサ10は、その他の映像を生成し、生成した映像をディスプレイ14に表示する。その他の映像は、特に限定されず、例えば、ユーザの声の音声波形を表す映像である。この際、「録画中」や「REC」など、録画中であることを示す文字列などを、合わせてディスプレイ14に表示してもよい。 The video display process S13 is a process for displaying the video selected in the video selection process S10 on the display 14 during the execution of the video recording process S12. If a video representing the user's face is selected in the video selection process S10, the processor 10 displays the video captured by the camera 15 on the display 14 in the video display process S13. In addition, when a video representing the user's avatar is selected in the video selection process S10, in the video display process S13, the processor 10 generates a video of the user's avatar set in the initial setting mode M1, and is displayed on the display 14. If a video representing the partner's avatar is selected in the video selection process S10, in the video display process S13, the processor 10 generates a video representing the partner's avatar set in the initial setting mode M1, and displays the generated video. It is displayed on the display 14. Note that in the video selection process S10, when a video representing the partner's avatar is selected, the processor 10 selects a video representing the user's face or a video representing the user's avatar in addition to the video representing the partner's avatar. It may also be displayed on the display 14. If another video is selected in the video selection process S10, the processor 10 generates another video and displays the generated video on the display 14 in the video display process S13. The other video is not particularly limited, and is, for example, a video representing the audio waveform of the user's voice. At this time, a character string indicating that recording is in progress, such as "Recording" or "REC", may also be displayed on the display 14.

質問出力処理S14は、映像記録処理S12の実行中に、ユーザに対する質問を出力する処理である。質問出力処理S14において、プロセッサ10は、日記選択処理S11において選択された日記に対応する質問を、初期設定モードM1又はカスタマイズモードM5において設定されたパートナーの声で読み上げた音声を生成し、生成した音声をスピーカー17から出力する。質問出力処理S14において出力される質問の具体例については、後述する。 The question output process S14 is a process of outputting a question to the user during the execution of the video recording process S12. In the question output process S14, the processor 10 generates and generates a voice that reads out the question corresponding to the diary selected in the diary selection process S11 in the voice of the partner set in the initial setting mode M1 or the customization mode M5. Audio is output from the speaker 17. A specific example of the question output in the question output process S14 will be described later.

なお、記録モードM3においては、複数の質問がユーザに投げかけられ得る。このため、ディスプレイ14に表示される画面にはNEXTボタンが設けられており、最後の質問に対応する質問出力処理S14が完了するまで、このNEXTボタンをユーザがタップする度に、新たな質問に対応する質問出力処理S14が繰り返される。なお、NEXTボタンをタップする操作の代わりに、ユーザの無言状態が予め定められた時間(例えば5秒)以上に亘って継続したことをトリガーとして、新たな質問に対応する質問出力処理S14が実行される構成を採用してもよい。また、NEXTボタンをタップする操作の代わりに、特定の音声コマンドが入力されたことをトリガーとして、新たな質問に対応する質問出力処理S14が実行される構成を採用してもよい。 Note that in recording mode M3, a plurality of questions can be asked to the user. For this reason, a NEXT button is provided on the screen displayed on the display 14, and each time the user taps this NEXT button, a new question is displayed until the question output process S14 corresponding to the last question is completed. The corresponding question output process S14 is repeated. Note that instead of tapping the NEXT button, the question output process S14 corresponding to a new question is executed when the user remains silent for a predetermined period of time (for example, 5 seconds) or more. It is also possible to adopt a configuration in which Further, instead of tapping the NEXT button, a configuration may be adopted in which input of a specific voice command is used as a trigger to execute question output processing S14 corresponding to a new question.

映像記録処理S12、映像表示処理S13、及び質問出力処理S14を完了すると、情報処理装置1のプロセッサ10は、タグ付与処理S15を実行する。タグ付与処理S15は、ユーザにより指定されたタグを、映像記録処理S12において記録された映像と関連付けて記録する処理である。タグ付処理S7において、プロセッサ10は、タグ付与のための画面を生成してディスプレイ14に表示すると共に、その画面を用いてユーザにより入力されたタグを、映像記録処理S12において記録された映像と関連付けてストレージ12に記録する。 After completing the video recording process S12, the video display process S13, and the question output process S14, the processor 10 of the information processing device 1 executes the tagging process S15. The tagging process S15 is a process of recording the tag specified by the user in association with the video recorded in the video recording process S12. In the tagging process S7, the processor 10 generates a screen for tagging and displays it on the display 14, and also combines the tag input by the user using the screen with the video recorded in the video recording process S12. It is recorded in the storage 12 in association.

なお、記録モードM3において、情報処理装置1のプロセッサ10は、映像記録処理S12において記録した映像を各質問に対応する部分映像に分割し、各部分映像を対応する質問と関連付けて記録してもよい。また、記録モードM3において、情報処理装置1のプロセッサ10は、映像記録処理S12において記録された映像を、タグ付与処理S15において付与されたタグと共に、サーバにアップロードしてもよい。映像記録処理S12において記録した音声についても、同様のことが言える。 Note that in the recording mode M3, the processor 10 of the information processing device 1 may divide the video recorded in the video recording process S12 into partial videos corresponding to each question, and record each partial video in association with the corresponding question. good. Furthermore, in the recording mode M3, the processor 10 of the information processing device 1 may upload the video recorded in the video recording process S12 to the server together with the tag added in the tagging process S15. The same can be said of the audio recorded in the video recording process S12.

また、記録モードM3において、情報処理装置1のプロセッサ10は、映像記録処理S12において記録した音声をテキストに変換してもよい。この場合、プロセッサ10は、得られたテキストを、(1)その日の日付、(2)日記選択処理S11において選択された日記、(3)質問出力処理S14において出力された質問と関連付けてストレージ12に記録する。この際、得られたテキストを各質問に対応する部分テキストに分割し、各部分テキストを、その部分テキストに対応する質問と関連付けてストレージ12に記録してもよい。 Furthermore, in the recording mode M3, the processor 10 of the information processing device 1 may convert the audio recorded in the video recording process S12 into text. In this case, the processor 10 associates the obtained text with (1) the date of that day, (2) the diary selected in the diary selection process S11, and (3) the question output in the question output process S14, and stores it in the storage 10. to be recorded. At this time, the obtained text may be divided into partial texts corresponding to each question, and each partial text may be recorded in the storage 12 in association with the question corresponding to the partial text.

(映像表示処理において表示される画面の具体例)
映像表示処理S13においてディスプレイ14に表示される画面の具体例について、図4を参照して説明する。
(Specific example of screen displayed during video display processing)
A specific example of the screen displayed on the display 14 in the video display process S13 will be described with reference to FIG. 4.

図4に示す画面50及び画面50Aは、映像選択処理S10においてユーザの顔を表す映像が選択された場合に、映像表示処理S13においてディスプレイ14に表示される画面の一例である。画面50及び画面50Aは、ユーザの顔を表す映像51を含んでいる。 The screen 50 and the screen 50A shown in FIG. 4 are examples of screens displayed on the display 14 in the video display process S13 when a video representing the user's face is selected in the video selection process S10. Screen 50 and screen 50A include an image 51 representing the user's face.

なお、画面50は、質問出力処理S14を実行しているとき、すなわち、パートナーが質問を行っているときにディスプレイ14に表示される画面である。ここでは、パートナーが「今日あったことはなんですか」という質問をユーザに投げかけている様子を示している。一方、画面50Aは、質問出力処理S14を完了してから、NEXTボタン53がタップされるまで、すなわち、ユーザが回答を行っているときにディスプレイ14に表示される画面である。ここでは、ユーザが「今日は友達とランチに行って…」という回答をパートナーに返している様子を示している。なお、パートナーからの質問は、音声として出力される共に、テキスト52として画面50及び画面50Aに表示される。 Note that the screen 50 is a screen that is displayed on the display 14 when the question output process S14 is being executed, that is, when the partner is asking a question. Here, the partner is shown asking the user the question, "What happened today?" On the other hand, the screen 50A is a screen that is displayed on the display 14 after the question output process S14 is completed until the NEXT button 53 is tapped, that is, when the user is giving an answer. Here, the user is shown responding to his partner, "Today I went to lunch with a friend..." Note that the question from the partner is output as voice and also displayed as text 52 on the screen 50 and the screen 50A.

図4に示す画面50Bは、映像選択処理S10においてユーザのアバターを表す映像が選択された場合に、映像表示処理S13においてディスプレイ14に表示される画面の一例である。画面50Bは、ユーザの顔を表す映像51の代わりに、ユーザのアバターを表す映像51Bを含んでいる。その他の点は、画面50と同様である。 The screen 50B shown in FIG. 4 is an example of a screen displayed on the display 14 in the video display process S13 when a video representing the user's avatar is selected in the video selection process S10. Screen 50B includes an image 51B representing the user's avatar instead of image 51 representing the user's face. The other points are similar to the screen 50.

図4に示す画面50Cは、映像選択処理S10においてパートナーのアバターを表す映像が選択された場合に、映像表示処理S13においてディスプレイ14に表示される画面の一例である。画面50Cは、ユーザの顔を表す映像51の代わりに、パートナーのアバターを表す映像51Cを含んでいる。その他の点は、画面50と同様である。 The screen 50C shown in FIG. 4 is an example of a screen displayed on the display 14 in the video display process S13 when a video representing the partner's avatar is selected in the video selection process S10. The screen 50C includes an image 51C representing the partner's avatar instead of the image 51 representing the user's face. The other points are similar to the screen 50.

図4に示す画面50Dは、映像選択処理S10においてパートナーのアバターを表す映像が選択された場合に、映像表示処理S13においてディスプレイ14に表示される画面の別の例である。画面50Dは、ユーザの顔を表す映像51に加えて、パートナーのアバターを表す映像51Cを含んでいる。 The screen 50D shown in FIG. 4 is another example of the screen displayed on the display 14 in the video display process S13 when the video representing the partner's avatar is selected in the video selection process S10. In addition to the image 51 representing the user's face, the screen 50D includes an image 51C representing the partner's avatar.

(質問出力処理において出力される質問の具体例)
質問出力処理S14においてスピーカー17から出力される質問の具体例について、表1を参照して説明する。表1は、日記選択処理S11において「日常日記」が選択された場合に出力される質問、日記選択処理S11において「テーマ別日記」が選択された場合に出力される質問、及び、日記選択処理S11において「ランダム日記」が選択された場合に出力される質問を例示した表示である。

Figure 2024002128000002
(Specific example of questions output in question output processing)
A specific example of the question output from the speaker 17 in the question output process S14 will be explained with reference to Table 1. Table 1 shows the questions that are output when "daily diary" is selected in diary selection process S11, the questions that are output when "thematic diary" is selected in diary selection process S11, and the questions that are output when "daily diary" is selected in diary selection process S11. This is a display illustrating a question that is output when "Random Diary" is selected in S11.
Figure 2024002128000002

日記選択処理S11において「日常日記」が選択された場合、プロセッサ10は、予め定められた少なくとも1つの質問の各々を表す音声を順にスピーカー17から出力する。表1には、この場合に出力される2つの質問の具体例を示している。日記選択処理S11において「テーマ別日記」が選択された場合、プロセッサ10は、初期設定モードM1において設定された日記のテーマに対応する質問として予め定められた少なくとも1つの質問の各々を表す音声を順にスピーカー17から出力する。表1には、日記のテーマが「ダイエット」である場合に出力される2つの質問の具体例を示している。日記選択処理S11において「ランダム日記」が選択された場合、プロセッサ10は、初期設定モードM1において設定されたユーザのプロファイルに対応する質問群として予め定められた質問群からランダムに選択された少なくとも1つの質問の各々を表す音声を順にスピーカー17から出力する。表1には、キャリアに関するプロファイルが「学業」である場合に出力される2つの質問、趣味に関するプロファイルが「映画」である場合に出力される2つの質問、及び、人生に関するプロファイルが「家族」である場合に出力される2つの質問の具体例を示している。 When "daily diary" is selected in the diary selection process S11, the processor 10 sequentially outputs voices representing each of at least one predetermined question from the speaker 17. Table 1 shows specific examples of two questions output in this case. When "thematic diary" is selected in the diary selection process S11, the processor 10 outputs a voice representing each of at least one question predetermined as a question corresponding to the diary theme set in the initial setting mode M1. The signals are output from the speakers 17 in order. Table 1 shows two specific examples of questions that are output when the theme of the diary is "diet." When "random diary" is selected in the diary selection process S11, the processor 10 selects at least one randomly selected question group from a predetermined question group as a question group corresponding to the user profile set in the initial setting mode M1. Voices representing each of the three questions are sequentially output from the speaker 17. Table 1 shows two questions that are output when the profile related to career is "Academics", two questions output when the profile related to hobbies is "Movies", and the profile related to life is "Family". This shows concrete examples of two questions that are output when .

なお、日記選択処理S11において「アンケート日記」が選択された場合、プロセッサ10は、他のユーザ(例えば企業)が作成又は選択した少なくとも1つの質問の各々を順にスピーカー17から出力する。日記選択処理S11において「有料テーマ別日記」が選択された場合、プロセッサ10は、そのテーマに関する専門家の監修の下に作成された少なくとも1つの質問の各々を表す音声を順にスピーカー17から出力する。 Note that when "questionnaire diary" is selected in the diary selection process S11, the processor 10 sequentially outputs each of at least one question created or selected by another user (for example, a company) from the speaker 17. When "paid thematic diary" is selected in the diary selection process S11, the processor 10 sequentially outputs from the speaker 17 audio representing each of at least one question created under the supervision of an expert regarding the theme. .

(タグ付与処理において表示される画面の具体例)
タグ付与処理S15においてディスプレイ14に表示される画面の具体例について、図5を参照して説明する。
(Specific example of screen displayed during tagging process)
A specific example of the screen displayed on the display 14 in the tagging process S15 will be described with reference to FIG. 5.

図5に示す画面60は、タグ付与処理S15においてディスプレイ14に表示される画面の一例である。画面60には、映像記録処理S12において記録された映像のサムネイル画像61と、質問出力処理S14において出力された質問のリスト62と、タグを入力するための入力フィールド63とが含まれている。ここでは、ユーザが「#思い出」「#友達」「#ランチ」という3つのタグを入力している様子を示している。入力フィールド63に入力されたタグは、映像記録処理S12において記録された映像と関連付けてストレージ12に記録される。 A screen 60 shown in FIG. 5 is an example of a screen displayed on the display 14 in the tagging process S15. The screen 60 includes a thumbnail image 61 of the video recorded in the video recording process S12, a list 62 of questions output in the question output process S14, and an input field 63 for inputting a tag. Here, the user is shown inputting three tags: "#memories," "#friends," and "#lunch." The tag input into the input field 63 is recorded in the storage 12 in association with the video recorded in the video recording process S12.

(再生モードにおける情報処理装置の動作)
再生モードM4における情報処理装置1の動作について、図6を参照して説明する。図6は、再生モードM4における情報処理装置1の動作の流れを示すフローチャートである。
(Operation of information processing device in playback mode)
The operation of the information processing device 1 in the playback mode M4 will be described with reference to FIG. 6. FIG. 6 is a flowchart showing the flow of operations of the information processing device 1 in playback mode M4.

情報処理装置1は、再生モードM4において、特定方式選択処理S20と、映像特定処理S21と、映像再生処理S22(特許請求の範囲における「再生処理」の一例)と、を実行する。 In the playback mode M4, the information processing device 1 executes a specific method selection process S20, a video specifying process S21, and a video playback process S22 (an example of the "playback process" in the claims).

再生モードM4に遷移すると、情報処理装置1のプロセッサ10は、特定方式選択処理S20を実行する。特定方式選択処理S20は、後述する映像特定処理S21において映像を特定する方式を、ユーザ操作に応じて選択する処理である。ここでは、選択可能な特定方式として、再生する映像を日付により特定する方式(以下、「日付特定方式」とも記載する)、再生する映像を日記により特定する方法(以下、「日記指定方式」とも記載する)、再生する映像をタグにより特定する方式(以下、「タグ特定方式」とも記載する)、再生する映像を質問により特定する方式(以下、「質問特定方式」とも記載する)を想定する。 When transitioning to the playback mode M4, the processor 10 of the information processing device 1 executes a specific method selection process S20. The specifying method selection process S20 is a process for selecting a method for specifying a video in a video specifying process S21, which will be described later, in accordance with a user operation. Here, the selectable identification methods include a method of specifying the video to be played by date (hereinafter also referred to as "date specification method"), and a method of specifying the video to be played by a diary (hereinafter also referred to as "diary specification method"). ), a method of specifying the video to be played using a tag (hereinafter also referred to as the "tag identification method"), and a method of identifying the video to be played using a question (hereinafter also referred to as the "question identification method"). .

特定方式選択処理S20が完了すると、情報処理装置1のプロセッサ10は、映像特定処理S21を実行する。映像特定処理S21は、後述する映像再生処理S22において再生する映像を、ユーザ操作に応じて特定する処理である。 When the specific method selection process S20 is completed, the processor 10 of the information processing device 1 executes the video specifying process S21. The video specifying process S21 is a process for specifying a video to be played back in a video playback process S22, which will be described later, in accordance with a user operation.

特定方式選択処理S20において日付特定方式が選択された場合、ユーザは、日付を指定する。プロセッサ10は、ストレージ12に記憶された映像のうち、ユーザにより指定された日付に関連付けられた映像を、再生対象として特定する。複数の映像がユーザにより指定された日付に関連付けられている場合、プロセッサ10は、これら複数の映像からユーザにより選択された映像を、再生対象として特定する。 When the date specification method is selected in the specification method selection process S20, the user specifies the date. The processor 10 specifies, among the videos stored in the storage 12, the video associated with the date specified by the user as a playback target. If a plurality of videos are associated with the date specified by the user, the processor 10 specifies the video selected by the user from the plurality of videos as a playback target.

特定方式選択処理S20において日記特定方式が選択された場合、ユーザは、日記を指定する。プロセッサ10は、ユーザにより指定された日記に関連付けられた映像を、再生対象として特定する。複数の映像がユーザにより指定された日記に関連付けられている場合、プロセッサ10は、これら複数の映像からユーザにより選択された映像を、再生対象として特定する。 If the diary specification method is selected in the specification method selection process S20, the user specifies a diary. The processor 10 specifies the video associated with the diary specified by the user as a playback target. If a plurality of videos are associated with the diary specified by the user, the processor 10 specifies the video selected by the user from the plurality of videos as a playback target.

特定方式選択処理S20においてタグ特定方式が選択された場合、ユーザは、タグを指定する。プロセッサ10は、ユーザにより指定されたタグに関連付けられた映像を、再生対象として特定する。複数の映像がユーザにより指定されたタグに関連付けられている場合、プロセッサ10は、これら複数の映像からユーザにより選択された映像を、再生対象として特定する。なお、ユーザは、映像特定処理S21において、複数のタグを指定してもよい。この場合、例えば、プロセッサ10は、ユーザにより指定された複数のタグの全てに関連付けられた映像を、再生対象として特定する(and検索)。或いは、プロセッサ10は、ユーザにより指定された複数のタグの何れかに関連付けられた映像を、再生対象として特定する(or検索)。 When the tag identification method is selected in the identification method selection process S20, the user specifies a tag. The processor 10 identifies the video associated with the tag specified by the user as a playback target. If a plurality of videos are associated with the tag specified by the user, the processor 10 specifies the video selected by the user from the plurality of videos as a playback target. Note that the user may specify multiple tags in the video specifying process S21. In this case, for example, the processor 10 specifies, as a playback target, videos associated with all of the plurality of tags specified by the user (and search). Alternatively, the processor 10 specifies a video associated with any of a plurality of tags specified by the user as a playback target (or search).

特定方式選択処理S20において質問特定方式が選択された場合、プロセッサ10は、ユーザにより指定された質問に関連付けられた映像を、再生対象として特定する。複数の映像がユーザにより指定された質問に関連付けられている場合、プロセッサ10は、これら複数の映像からユーザにより選択された映像を、再生対象として特定する。なお、ユーザは、映像特定処理S21において、複数の質問を指定してもよい。この場合、例えば、プロセッサ10は、ユーザにより指定された複数の質問の全てに関連付けられた映像を、再生対象として特定する(and検索)。或いは、プロセッサ10は、ユーザにより指定された複数の質問の何れかに関連付けられた映像を、再生対象として特定する(or検索)。なお、映像記録処理S12において記録した映像が各質問に対応する部分映像に分割されている場合には、ユーザにより指定された質問に関連付けられた部分映像が、再生対象として特定される。 When the question specifying method is selected in the specifying method selection process S20, the processor 10 specifies the video associated with the question specified by the user as a reproduction target. If a plurality of videos are associated with the question specified by the user, the processor 10 specifies the video selected by the user from the plurality of videos as a playback target. Note that the user may specify multiple questions in the video specifying process S21. In this case, for example, the processor 10 specifies, as the playback target, videos associated with all of the plurality of questions specified by the user (and search). Alternatively, the processor 10 specifies a video associated with any one of a plurality of questions specified by the user as a playback target (or search). Note that if the video recorded in the video recording process S12 is divided into partial videos corresponding to each question, the partial video associated with the question specified by the user is specified as a reproduction target.

映像特定処理S21が完了すると、情報処理装置1のプロセッサ10は、映像再生処理S22を実行する。映像再生処理S22は、映像特定処理S21において特定した映像を再生する処理である。プロセッサ10が再生した映像は、その映像に関連付けられたコメントと共に、情報処理装置1のディスプレイ14に表示される。映像特定処理S21において特定した映像をディスプレイ14に表示する代わりに、その映像に対応する音声をテキスト化することにより得られるテキストをディスプレイ14に表示してもよい。なお、映像再生処理S22において、ユーザは、再生中の映像に対する新たなコメントを入力することができる。プロセッサ10は、ユーザにより入力された新たなコメントを、再生中の映像に関連付けて記録する。 When the video identification process S21 is completed, the processor 10 of the information processing device 1 executes the video playback process S22. The video reproduction process S22 is a process of reproducing the video specified in the video specifying process S21. The video reproduced by the processor 10 is displayed on the display 14 of the information processing device 1 along with comments associated with the video. Instead of displaying the video identified in the video specifying process S21 on the display 14, a text obtained by converting the audio corresponding to the video into text may be displayed on the display 14. Note that in the video playback process S22, the user can input a new comment for the video being played. The processor 10 records the new comment input by the user in association with the video being played.

(映像再生処理において表示される画面の具体例)
映像再生処理S22においてディスプレイ14に表示される画面の具体例について、図7を参照して説明する。
(Specific example of screen displayed during video playback processing)
A specific example of the screen displayed on the display 14 in the video playback process S22 will be described with reference to FIG. 7.

図7に示す画面70,70Aは、映像再生処理S22においてディスプレイ14に表示される画面の一例である。画面70には、再生中の映像71と、その映像71に関連付けられたコメント72とが含まれている。また、画面70には、新たなコメントを追加するためのボタン73が含まれている。このボタン73がタップされると、ディスプレイ14に表示される画面が画面70から画面70Aに遷移する。画面70Aには、再生中の映像71と、映像71に関連付けられたコメント72と、新たなコメントを追加するための入力フィールド74が含まれている。ここでは、ユーザが「このときは時間あったからね!」というコメントを入力している様子を示している。入力フィールド74に入力された新たなコメントは、再生中の映像71に関連付けてストレージ12に記録される。 Screens 70 and 70A shown in FIG. 7 are examples of screens displayed on the display 14 in the video playback process S22. The screen 70 includes a video 71 being played and a comment 72 associated with the video 71. The screen 70 also includes a button 73 for adding a new comment. When this button 73 is tapped, the screen displayed on the display 14 changes from the screen 70 to the screen 70A. The screen 70A includes a video 71 being played, a comment 72 associated with the video 71, and an input field 74 for adding a new comment. Here, the user is shown inputting a comment such as "I had time this time!". The new comment input into the input field 74 is recorded in the storage 12 in association with the video 71 being played back.

(変形例1)
なお、本実施形態においては、日記のエントリとして、ユーザの顔を表す映像を、前記ユーザの声を表す音声と共にストレージに記録する構成(映像日記)について説明したが、本発明は、これに限定されない。例えば、日記のエントリとして、ユーザの声を表す音声のみを、ストレージに記録する構成(音声日記)を採用しても構わない。この場合、音声の記録中にディスプレイに表示する映像は、パートナーのアバターを表す映像であってもよいし、音声記録中であることを示す動画像又は静止画像(例えば、音声波形の動画像又は静止画像)であってもよい。
(Modification 1)
Note that although this embodiment has described a configuration (video diary) in which a video representing the user's face is recorded in the storage together with audio representing the user's voice as a diary entry, the present invention is not limited to this. Not done. For example, a configuration (voice diary) may be adopted in which only audio representing the user's voice is recorded in the storage as a diary entry. In this case, the image displayed on the display while the audio is being recorded may be an image representing the partner's avatar, or a moving or still image indicating that the audio is being recorded (for example, a moving image of the audio waveform or (a still image).

(変形例2)
また、本実施形態においては、主に、動画日記アプリのユーザの映像を記録する際に、サービス提供者が作成し、動画日記アプリが選択した質問を出力する構成について説明したが、本発明は、これに限定されない。例えば、動画日記アプリのユーザの映像を記録する際に、動画日記アプリのユーザとは異なる他のユーザが作成又は選択した質問を出力する構成を採用してもよい。上述した「アンケート日記」は、そのような構成の一例である。他のユーザとしては、例えば、アンケート調査を実施したい企業やアンケート調査を請け負う企業などが挙げられる。この場合、動画日記アプリのユーザの映像を記録する際に、企業が作成又は選択したアンケート質問が出力されることになる。このようにして記録された映像は、質問を作成又は選択した企業にとって価値の高いものになる。そこで、情報処理装置1は、このようにして記録された映像から、質問を作成又は選択した他のユーザ(企業など)に提供するデータを作成する。他のユーザ(企業など)に提供するデータとしては、動画日記アプリのユーザを匿名化する処理が施されたデータ、例えば、動画日記アプリのユーザの音声をテキスト化するより得られたテキストデータや、動画日記アプリのユーザの映像に顔を識別不能にする画像処理を施すことにより得られた映像データなどが挙げられる。この場合、匿名化の方法や程度を、動画日記アプリのユーザが指定できるようにしてもよい。サービス提供者は、このようなデータを他のユーザ(企業など)に提供することによって対価を得る。また、動画日記アプリのユーザは、仮想通貨などの対価を得る。動画日記アプリのユーザは、この仮想通貨を、オプション日記の利用権の購入、オプション音声の利用権の購入、サーバディスクスペースの利用権の購入などに充てることができる。これにより、ユーザに課す利用料を抑えながら、ユーザに提供するサービスを充実化することができる。例えば、アンケート日記を作成する度にユーザに提供される仮想通貨の額を、1日分の「日常日記」を記録するために必要なサーバディスクスペースの利用権の額と同程度に設定すれば、ユーザは、アンケート日記を毎日作成することで「日常日記」を無料で作成し続けることができる。
(Modification 2)
Furthermore, in the present embodiment, the configuration has been mainly described in which questions created by the service provider and selected by the video diary application are output when recording the video of the user of the video diary application. , but not limited to. For example, when recording a video of a user of a video diary application, a configuration may be adopted in which questions created or selected by a user other than the user of the video diary application are output. The above-mentioned "questionnaire diary" is an example of such a structure. Examples of other users include companies that wish to conduct questionnaire surveys and companies that undertake questionnaire surveys. In this case, when recording the user's video of the video diary application, the survey questions created or selected by the company will be output. The footage recorded in this way can be of high value to the companies that created or selected the questions. Therefore, the information processing device 1 creates data to be provided to another user (such as a company) who has created or selected a question from the video recorded in this manner. The data provided to other users (companies, etc.) may include data that has been processed to anonymize the user of the video diary app, such as text data obtained by converting the user's voice of the video diary app into text. , video data obtained by applying image processing to the user's video of a video diary application to make faces unrecognizable. In this case, the user of the video diary application may be able to specify the method and degree of anonymization. Service providers receive compensation by providing such data to other users (such as companies). Additionally, users of the video diary app receive compensation such as virtual currency. Users of the video diary application can use this virtual currency to purchase the right to use the optional diary, the right to use the optional audio, the right to use the server disk space, etc. Thereby, it is possible to enhance the services provided to users while suppressing usage fees imposed on users. For example, if the amount of virtual currency provided to users each time they create a questionnaire diary is set to be equal to the amount of server disk space usage rights required to record one day's worth of "daily diary". , the user can continue to create a "daily diary" for free by creating a questionnaire diary every day.

(付記事項)
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
(Additional notes)
The present invention is not limited to the embodiments described above, and various modifications can be made within the scope of the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. are also included within the technical scope of the present invention.

1 情報処理装置
10 プロセッサ
12 ストレージ
14 ディスプレイ
15 カメラ
16 マイク
17 スピーカー
1 Information processing device 10 Processor 12 Storage 14 Display 15 Camera 16 Microphone 17 Speaker

Claims (8)

少なくとも1つのプロセッサを備え、
前記プロセッサは、ユーザの顔を表す映像を、前記ユーザの声を表す音声と共にストレージに記録する記録処理と、前記記録処理の実行中に、前記ユーザに対する質問を出力する出力処理と、を実行する、
ことを特徴とする情報処理装置。
comprising at least one processor;
The processor executes a recording process of recording an image representing the user's face in a storage together with a sound representing the user's voice, and an output process of outputting a question to the user during execution of the recording process. ,
An information processing device characterized by:
前記記録処理において、前記プロセッサは、前記映像を日付と関連付けて前記ストレージに記録し、
前記プロセッサは、前記ストレージに記録された映像のうち、前記ユーザにより指定された日付に関連付けられた映像を再生する再生処理を更に実行する、
ことを特徴とする請求項1に記載の情報処理装置。
In the recording process, the processor records the video in association with a date in the storage,
The processor further executes a playback process of playing back a video associated with a date specified by the user from among the videos recorded in the storage.
The information processing device according to claim 1, characterized in that:
前記記録処理において、前記プロセッサは、前記映像を日記と関連付けて前記ストレージに記録し、
前記プロセッサは、前記ストレージに記録された映像のうち、前記ユーザにより指定された日記に関連付けられた映像を再生する再生処理を更に実行する、
ことを特徴とする請求項1に記載の情報処理装置。
In the recording process, the processor records the video in association with a diary in the storage,
The processor further executes a playback process of playing back a video associated with the diary specified by the user among the videos recorded in the storage.
The information processing device according to claim 1, characterized in that:
前記記録処理において、前記プロセッサは、前記映像を前記質問と関連付けてストレージに記録し、
前記プロセッサは、前記ストレージに記録された映像のうち、前記ユーザにより指定された質問に関連付けられた映像を再生する再生処理を更に実行する、
ことを特徴とする請求項1に記載の情報処理装置。
In the recording process, the processor records the video in a storage in association with the question;
The processor further executes a playback process of playing back a video associated with the question specified by the user from among the videos recorded in the storage.
The information processing device according to claim 1, characterized in that:
前記プロセッサは、前記記録処理の実行中に、前記ユーザの顔を表す映像、前記ユーザのアバターを表す映像、前記質問を行う仮想人格のアバターを表す映像をディスプレイに表示する表示処理を更に実行する、
ことを特徴とする請求項1に記載の情報処理装置。
During execution of the recording process, the processor further executes a display process of displaying on a display an image representing the user's face, an image representing the user's avatar, and an image representing the avatar of the virtual personality asking the question. ,
The information processing device according to claim 1, characterized in that:
前記質問には、他のユーザにより作成又は選択された質問が含まれ、
前記プロセッサは、前記映像及び前記音声の一方又は両方のうち、前記他のユーザにより作成又は選択された質問に対する回答部分から、前記他のユーザに提供するデータを作成する作成処理を更に実行する、
ことを特徴とする請求項1に記載の情報処理装置。
The questions include questions created or selected by other users,
The processor further executes a creation process of creating data to be provided to the other user from an answer portion of one or both of the video and the audio to a question created or selected by the other user.
The information processing device according to claim 1, characterized in that:
少なくとも1つのプロセッサを備え、
前記プロセッサは、ユーザの声を表す音声をストレージに記録する記録処理と、前記記録処理の実行中に、前記ユーザに対する質問を出力する出力処理と、を実行する、
ことを特徴とする情報処理装置。
comprising at least one processor;
The processor executes a recording process of recording a voice representing a user's voice in a storage, and an output process of outputting a question to the user during execution of the recording process.
An information processing device characterized by:
コンピュータを請求項1~7の何れか一項に記載の情報処理装置として動作させるためのプログラムであって、前記コンピュータに前記各処理を実行させることを特徴とするプログラム。 A program for causing a computer to operate as the information processing apparatus according to any one of claims 1 to 7, characterized in that the program causes the computer to execute each of the processes.
JP2022101144A 2022-06-23 2022-06-23 Information processing device and program Active JP7267652B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022101144A JP7267652B1 (en) 2022-06-23 2022-06-23 Information processing device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022101144A JP7267652B1 (en) 2022-06-23 2022-06-23 Information processing device and program

Publications (2)

Publication Number Publication Date
JP7267652B1 JP7267652B1 (en) 2023-05-02
JP2024002128A true JP2024002128A (en) 2024-01-11

Family

ID=86270098

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022101144A Active JP7267652B1 (en) 2022-06-23 2022-06-23 Information processing device and program

Country Status (1)

Country Link
JP (1) JP7267652B1 (en)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259165A (en) * 2001-02-26 2002-09-13 Tsubasa System Co Ltd Information processor
JP2003263537A (en) * 2002-03-07 2003-09-19 Sanyo Electric Co Ltd Communication method, communication system, central device, computer program, and storage medium
WO2007145008A1 (en) * 2006-06-14 2007-12-21 Nec Corporation Data recording system, terminal, and data recording method
JP2008102629A (en) * 2006-10-17 2008-05-01 Rakuten Inc Community formation system
JP2010067240A (en) * 2008-09-10 2010-03-25 Domani:Kk System for automatically generating and growing avatar image
JP2013054417A (en) * 2011-09-01 2013-03-21 Kddi Corp Program, server and terminal for tagging content
KR20140105073A (en) * 2013-02-21 2014-09-01 최재웅 User remember method and system using a life-log
JP2014197373A (en) * 2013-03-05 2014-10-16 大日本印刷株式会社 Internet questionnaire system, and computer program
KR101504400B1 (en) * 2012-11-30 2015-03-20 박현수 Self-Image Providing Server, And Recording Medium
JP2015090652A (en) * 2013-11-07 2015-05-11 ソフトバンクモバイル株式会社 Ending note preparation server, server program, client, client program and ending note preparation system
JP2016103251A (en) * 2014-11-29 2016-06-02 株式会社ウィズキャスト Jobseeker information input system and management system
CN107480766A (en) * 2017-07-18 2017-12-15 北京光年无限科技有限公司 The method and system of the content generation of multi-modal virtual robot
JP2018181257A (en) * 2017-04-21 2018-11-15 株式会社ブルーエージェンシー Interview management program and interview management device
JP2020086984A (en) * 2018-11-27 2020-06-04 大日本印刷株式会社 Selection support device, selection support system, selection support method and program
JP2023000937A (en) * 2021-06-18 2023-01-04 由希 堀 Pseudo-interview system, pseudo-interview method, pseudo-interview apparatus, and program

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259165A (en) * 2001-02-26 2002-09-13 Tsubasa System Co Ltd Information processor
JP2003263537A (en) * 2002-03-07 2003-09-19 Sanyo Electric Co Ltd Communication method, communication system, central device, computer program, and storage medium
WO2007145008A1 (en) * 2006-06-14 2007-12-21 Nec Corporation Data recording system, terminal, and data recording method
JP2008102629A (en) * 2006-10-17 2008-05-01 Rakuten Inc Community formation system
JP2010067240A (en) * 2008-09-10 2010-03-25 Domani:Kk System for automatically generating and growing avatar image
JP2013054417A (en) * 2011-09-01 2013-03-21 Kddi Corp Program, server and terminal for tagging content
KR101504400B1 (en) * 2012-11-30 2015-03-20 박현수 Self-Image Providing Server, And Recording Medium
KR20140105073A (en) * 2013-02-21 2014-09-01 최재웅 User remember method and system using a life-log
JP2014197373A (en) * 2013-03-05 2014-10-16 大日本印刷株式会社 Internet questionnaire system, and computer program
JP2015090652A (en) * 2013-11-07 2015-05-11 ソフトバンクモバイル株式会社 Ending note preparation server, server program, client, client program and ending note preparation system
JP2016103251A (en) * 2014-11-29 2016-06-02 株式会社ウィズキャスト Jobseeker information input system and management system
JP2018181257A (en) * 2017-04-21 2018-11-15 株式会社ブルーエージェンシー Interview management program and interview management device
CN107480766A (en) * 2017-07-18 2017-12-15 北京光年无限科技有限公司 The method and system of the content generation of multi-modal virtual robot
JP2020086984A (en) * 2018-11-27 2020-06-04 大日本印刷株式会社 Selection support device, selection support system, selection support method and program
JP2023000937A (en) * 2021-06-18 2023-01-04 由希 堀 Pseudo-interview system, pseudo-interview method, pseudo-interview apparatus, and program

Also Published As

Publication number Publication date
JP7267652B1 (en) 2023-05-02

Similar Documents

Publication Publication Date Title
JP6093289B2 (en) Video processing apparatus, video processing method, and program
US20160105382A1 (en) System and method for digital media capture and related social networking
JP2004288197A (en) Interface for presenting data expression in screen area inset
KR20150132074A (en) Method for organising content
JP2013541888A (en) Remote control of TV display
US20170092253A1 (en) Karaoke system
JP7290851B2 (en) Information processing method, information processing device and computer program
JP2013171373A (en) Information processor, system and information processing method
JP2021535656A (en) Video processing methods, equipment, devices and computer programs
Capps The good enough revolution: when cheap and simple is just fine
JP2013171599A (en) Display control device and display control method
Bösch et al. Immersive journalism: How virtual reality impacts investigative storytelling
JP2017017668A (en) Terminal device, screen recording method, program and information processing system
JP2024010239A (en) Insurance consultation system, insurance consultation terminal, video recording method and video recording program
WO2018039059A1 (en) Computer device, method, and graphical user interface for automating the digital transformation, enhancement, and editing of videos
JP2024002128A (en) Information processor and program
US11736780B2 (en) Graphically animated audience
TWI299466B (en) System and method for providing presentation files for an embedded system
JP2023099505A (en) Method for displaying virtual space at different point-in-times, computer program, and user terminal
JP7254842B2 (en) A method, system, and computer-readable recording medium for creating notes for audio files through interaction between an app and a website
WO2021230181A1 (en) Information processing method, information processing device, program, and information processing system
JP7139681B2 (en) Control program, control method, control device and control server
JP2018005893A (en) Program, system, and method for recording video images
TW201325674A (en) Method of producing game event effects, tool using the same, and computer readable recording medium
JP6814186B2 (en) Information processing equipment, information processing methods and information processing programs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220623

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230413

R150 Certificate of patent or registration of utility model

Ref document number: 7267652

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150