JP7263471B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
JP7263471B2
JP7263471B2 JP2021164098A JP2021164098A JP7263471B2 JP 7263471 B2 JP7263471 B2 JP 7263471B2 JP 2021164098 A JP2021164098 A JP 2021164098A JP 2021164098 A JP2021164098 A JP 2021164098A JP 7263471 B2 JP7263471 B2 JP 7263471B2
Authority
JP
Japan
Prior art keywords
person
degree
information
user
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021164098A
Other languages
English (en)
Other versions
JP2023055015A (ja
Inventor
健朗 呉
優一 森岡
雅人 古野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Corp filed Critical SoftBank Corp
Priority to JP2021164098A priority Critical patent/JP7263471B2/ja
Publication of JP2023055015A publication Critical patent/JP2023055015A/ja
Application granted granted Critical
Publication of JP7263471B2 publication Critical patent/JP7263471B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
従来、送信者が匿名で送信相手にメッセージを通知する技術が知られている。例えば、送信者を個々に特徴付ける名簿情報を記憶保存する記憶手段と、送信者側端末からのメッセージを、送信者側端末を特定する識別情報と共に受信する受信制御手段と、識別情報からメッセージの送信者が特定されないように、受信制御手段により受信した識別情報と記憶手段から抽出した特定の名簿情報との関連付けを禁止するメッセージ匿名化手段と、メッセージ匿名化手段により匿名化されたメッセージを、送信先の受信者側端末に送り出す送信制御手段と、を備えたメッセージ通知システムが知られている。
特開2021-099742号公報
しかしながら、上記の従来技術では、コミュニケーションを円滑にするよう支援することができるとは限らない。例えば、上記の従来技術では、送信者が匿名で送信相手にメッセージを送信するにすぎない。このため、例えば、送信者が送信相手に対して初めてメッセージを送信する場合や、送信者と送信相手との立場が違う場合には、送信者が送信相手に対してメッセージを送信する際の心理的なハードルが高いことがある。したがって、上記の従来技術では、コミュニケーションを円滑にするよう支援するうえで改善の余地がある。
本願は、上記に鑑みてなされたものであって、コミュニケーションを円滑にするよう支援することができる情報処理装置、情報処理方法及び情報処理プログラムを提案する。
本願に係る情報処理装置は、第1の人物が第2の人物に対して抱く親近感の度合いを示す親近度を算出する算出部と、前記第1の人物を象徴する第1象徴情報の特徴を示す第1特徴情報と、前記第2の人物を象徴する第2象徴情報の特徴を示す第2特徴情報との類似度が、前記親近度に基づく類似度となるよう、前記第2象徴情報を変化させる変化部と、前記変化部によって変化された後の第2象徴情報を前記第1の人物に対して提供する提供部と、を備える。
実施形態の一態様によれば、コミュニケーションを円滑にするよう支援することができるといった効果を奏する。
図1は、実施形態に係る情報処理の概要を説明するための図である。 図2は、実施形態に係る情報処理装置の構成例を示す図である。 図3は、実施形態に係る利用者情報記憶部の一例を示す図である。 図4は、実施形態に係る履歴情報記憶部の一例を示す図である。 図5は、実施形態に係る情報処理手順を示す図である。 図6は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
(実施形態)
〔1.情報処理の概要〕
図1は、実施形態に係る情報処理の概要を説明するための図である。図1に示す情報処理は、情報処理システム1によって実現される。情報処理システム1は、送信相手に対して送信者が匿名でメッセージを送信することが可能なSNS(Social Networking Service)サービス(以下、匿名SNSサービスと記載する場合がある)の利用者によって利用される端末装置10と、匿名SNSサービスを提供する情報処理装置100とを備える。端末装置10と情報処理装置100とは所定のネットワークN(図示略)を介して、有線または無線により通信可能に接続される。なお、図1に示す情報処理システム1には、任意の数の端末装置10と任意の数の情報処理装置100とが含まれてもよい。
端末装置10は、匿名SNSサービスの利用者によって利用される情報処理装置である。端末装置10は、例えば、スマートフォンや、タブレット型端末や、ノート型PC(Personal Computer)や、デスクトップPCや、携帯電話機や、PDA(Personal Digital Assistant)等により実現される。また、端末装置10には、匿名SNSサービスを利用するためのアプリケーションがインストールされている。
以下では、利用者ID「U1」により特定される利用者を「利用者U1」とする場合がある。このように、以下では、「利用者U*(*は任意の数値)」と記載した場合、その利用者は利用者ID「U*」により特定される利用者であることを示す。例えば、「利用者U2」と記載した場合、その利用者は利用者ID「U2」により特定される利用者である。
また、以下では、端末装置10を利用する利用者に応じて、端末装置10を端末装置10-1、10-2として説明する。例えば、端末装置10-1は、利用者U1により使用される端末装置10である。また、例えば、端末装置10-2は、利用者U2により使用される端末装置10である。また、以下では、端末装置10-1、10-2について、特に区別なく説明する場合には、端末装置10と記載する。
情報処理装置100は、匿名SNSサービスを提供するサーバ装置である。また、情報処理装置100は、図1に示す情報処理を実行する。図1では、情報処理装置100は、利用者U1の端末装置10-1から、利用者U2に対するメッセージを受信する(ステップS1)。
続いて、情報処理装置100は、メッセージを受信すると、メッセージを送信した利用者U1が送信相手の利用者U2に対して抱く親近感の度合いを示す親近度を算出する(ステップS2)。例えば、情報処理装置100は、利用者U1が利用者U2に対してメッセージを送信した送信回数をシグモイド関数の入力値として入力する。続いて、情報処理装置100は、シグモイド関数の出力値を利用者U1が利用者U2に対して抱く親近度として算出する。
続いて、情報処理装置100は、親近度を算出すると、公知のモーフィング技術を用いて、利用者U1の顔を含む画像G1の特徴を示す第1特徴情報と、利用者U2の顔を含む画像G2と画像G1を合成した中間状態の画像G2´の特徴を示す第2特徴情報との類似度が、算出した親近度に基づく類似度となるよう、中間状態の画像G2´を変化させる(ステップS3)。
続いて、情報処理装置100は、利用者U2の端末装置10-2から、利用者U1に対する返信メッセージを受信する(ステップS4)。例えば、情報処理装置100は、端末装置10-2から、「〇〇さんへ こんにちは、お元気ですか。今日も・・・」といった文字情報T2を含むメッセージを受信する。
続いて、情報処理装置100は、メッセージを受信すると、変化された後の中間状態の画像G2´を利用者U1に対して提供する(ステップS5)。例えば、情報処理装置100は、端末装置10-2から受信したメッセージに含まれる文字情報T2および変化された後の利用者U2の顔を含む画像G2´を含むコンテンツC22を生成する。続いて、情報処理装置100は、生成したコンテンツC22を利用者U1の端末装置10-1に送信する。
上述したように、情報処理装置100は、メッセージを送信した利用者U1が送信相手の利用者U2に対して抱く親近感の度合いを示す親近度を算出する。また、情報処理装置100は、利用者U1の顔を含む画像G1の特徴を示す第1特徴情報と、利用者U2の顔を含む画像G2と画像G1を合成した中間状態の画像G2´の特徴を示す第2特徴情報との類似度が、親近度に基づく類似度となるよう、中間状態の画像G2´を変化させる。また、情報処理装置100は、変化された後の中間状態の画像G2´を利用者U1に対して提供する。
このように、情報処理装置100は、メッセージを送信した利用者U1が送信相手の利用者U2に対して抱く親近感の度合いに応じて、コミュニケーションを仲介するエージェントの画像を、利用者U1の顔を含む画像から送信相手の利用者U2の顔を含む画像へと段階的に変化させる。すなわち、情報処理装置100は、例えば、利用者U1が利用者U2に対して抱く親近感の度合いが低い場合には、コミュニケーションを仲介するエージェントの画像を、利用者U2の顔よりも利用者U1の顔に近い顔を含む画像に変化させることで、利用者U1が利用者U2に対して抱く親近感の低さを軽減させることができる。これにより、情報処理装置100は、利用者U1が利用者U2に対して抱く親近感の低さを軽減させることができるので、利用者U1が利用者U2に対してメッセージを送信しやすくすることができる。したがって、情報処理装置100は、コミュニケーションを円滑にするよう支援することができる。
〔2.情報処理装置の構成例〕
次に、図2を用いて、実施形態に係る情報処理装置100の構成について説明する。図2は、実施形態に係る情報処理装置100の構成例を示す図である。図2に示すように、情報処理装置100は、通信部110と、記憶部120と、制御部130とを有する。なお、情報処理装置100は、情報処理装置100の利用者等から各種操作を受け付ける入力部(例えば、キーボードやマウス等)を有してもよい。
(通信部110)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。また、通信部110は、ネットワークN(図示略)と有線又は無線で接続され、例えば、端末装置10との間で情報の送受信を行う。
(記憶部120)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、各種プログラム(情報処理プログラムの一例に相当)を記憶する。図2に示すように、記憶部120は、利用者情報記憶部121と、履歴情報記憶部122とを有する。
(利用者情報記憶部121)
利用者情報記憶部121は、利用者に関する各種情報を記憶する。図3は、実施形態に係る利用者情報記憶部の一例を示す図である。図3に示す例では、利用者情報記憶部121は、「利用者ID」、「画像データ」、「音声データ」といった項目を有する。
「利用者ID」は、利用者を識別するための識別情報を示す。「画像データ」は、利用者の顔を含む画像データを示す。例えば、「画像データ」は、利用者によって登録された匿名SNSサービスのアイコンの顔画像データを示す。なお、「画像データ」は、匿名SNSサービスにおけるビデオ通話中に撮影された利用者の顔を含む画像データであってもよい。「音声データ」は、利用者の音声を含む音声データを示す。例えば、「音声データ」は、匿名SNSサービスにおける音声通話中に録音された利用者の音声を含む音声データであってよい。
ここで、図3に示す例では、「U1」、「G1」および「V11」といった抽象的な値を用いて図示するが、「U1」、「G1」および「V11」等には、具体的な文字列や数値等の情報が記憶されるものとする。
(履歴情報記憶部122)
履歴情報記憶部122は、利用者の行動履歴に関する各種情報を記憶する。図4は、実施形態に係る履歴情報記憶部の一例を示す図である。図4に示す例では、履歴情報記憶部122は、「利用者ID」、「送受信履歴」といった項目を有する。
「利用者ID」は、利用者を識別するための識別情報を示す。「送受信履歴」は、例えば、匿名SNSサービスにおける利用者のメッセージの送受信履歴を示す。なお、「送受信履歴」は、匿名SNSサービスにおけるビデオ通話における画像の送受信履歴および音声通話における音声データの送受信履歴を含んでよい。
ここで、図4に示す例では、「U1」および「送受信履歴#1」といった抽象的な値を用いて図示するが、「U1」および「送受信履歴#1」等には、具体的な文字列や数値等の情報が記憶されるものとする。
(制御部130)
図2の説明に戻る。制御部130は、コントローラ(Controller)であり、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等によって、情報処理装置100の内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAM等の記憶領域を作業領域として実行されることにより実現される。
図2に示すように、制御部130は、取得部131と、算出部132と、変化部133と、提供部134とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部130の内部構成は、図2に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
(取得部131)
取得部131は、利用者の端末装置10から利用者に関する利用者情報を取得する。例えば、取得部131は、利用者情報の一例として、利用者によって登録された匿名SNSサービスのアイコンの顔画像データを取得する。また、例えば、取得部131は、利用者情報の一例として、匿名SNSサービスにおけるビデオ通話中に撮影された利用者の顔を含む画像データを取得してもよい。また、取得部131は、利用者情報の一例として、利用者の音声を含む音声データを取得する。例えば、取得部131は、利用者情報の一例として、匿名SNSサービスにおける音声通話中に録音された利用者の音声を含む音声データを取得してもよい。取得部131は、利用者情報を取得すると、取得した利用者情報を利用者IDと対応付けて利用者情報記憶部121に格納する。
また、取得部131は、利用者の端末装置10から利用者の行動履歴に関する履歴情報を取得する。例えば、取得部131は、履歴情報の一例として、匿名SNSサービスにおける利用者のメッセージの送受信履歴を取得する。なお、取得部131は、履歴情報の一例として、匿名SNSサービスにおけるビデオ通話における画像の送受信履歴および音声通話における音声データの送受信履歴を取得してもよい。取得部131は、履歴情報を取得すると、取得した履歴情報を利用者IDと対応付けて履歴情報記憶部122に格納する。
(算出部132)
算出部132は、第1の利用者が第2の利用者に対して抱く親近感の度合いを示す親近度を算出する。具体的には、算出部132は、第1の利用者の端末装置10から、第2の利用者に対するメッセージを受信した場合に、履歴情報記憶部122を参照して、第1の利用者が第2の利用者に対してメッセージを送信した送信回数を算出する。続いて、算出部132は、送信回数を算出すると、算出した送信回数をシグモイド関数の入力値として入力する。続いて、算出部132は、シグモイド関数の出力値を第1の利用者が第2の利用者に対して抱く親近度として算出する。このように、算出部132は、第1の利用者が第2の利用者に対して情報を送信した送信回数が多いほど、親近度を高く算出する。
(変化部133)
変化部133は、第1の利用者の顔を含む画像の特徴を示す第1特徴情報と、第2の利用者の顔を含む画像の特徴を示す第2特徴情報との類似度が、親近度に基づく類似度となるよう、第2の利用者の顔を含む画像を変化させる。具体的には、変化部133は、算出部132が親近度を算出した場合に、公知のモーフィング技術を用いて、第1の利用者の顔を含む画像の特徴を示す第1特徴情報と、第2の利用者の顔を含む画像と第1の利用者の顔を含む画像を合成した中間状態の画像の特徴を示す第2特徴情報との類似度が、算出した親近度に基づく類似度となるよう、中間状態の画像を変化させる。
例えば、変化部133は、第1の利用者の顔を含む画像と第2の利用者の顔を含む画像をモーフィング用に生成された機械学習モデルに入力して、第1の利用者の顔を含む画像と第2の利用者の顔を含む画像を合成した中間状態の画像を機械学習モデルから出力する。続いて、変化部133は、機械学習モデルから出力された複数の中間状態の画像の中から、第1の利用者の顔を含む画像の特徴を示す第1特徴情報との類似度が算出した親近度に基づく類似度となるような中間状態の画像を選択する。
(提供部134)
提供部134は、変化部133によって変化された後の中間状態の画像を第1の利用者に対して提供する。例えば、提供部134は、第2の利用者の端末装置10から、第1の利用者に対する返信メッセージを受信した場合に、返信メッセージに含まれる文字情報および変化部133によって変化された後の中間状態の画像を含むコンテンツを生成する。続いて、提供部134は、生成したコンテンツを第1の利用者の端末装置10に送信する。
〔3.情報処理手順〕
図5は、実施形態に係る情報処理手順を示す図である。図5に示すように、情報処理装置100の算出部132は、第1の人物が第2の人物に対して抱く親近感の度合いを示す親近度を算出する(ステップS101)。例えば、算出部132は、第1の人物が第2の人物に対して情報を送信した送信回数が多いほど、親近度を高く算出する。
情報処理装置100の変化部133は、第1の人物を象徴する第1象徴情報の特徴を示す第1特徴情報と、第2の人物を象徴する第2象徴情報の特徴を示す第2特徴情報との類似度が、親近度に基づく類似度となるよう、第2象徴情報を変化させる(ステップS102)。例えば、変化部133は、公知のモーフィング技術を用いて、第1の人物の顔を含む画像の特徴を示す第1特徴情報と、第2の人物の顔を含む画像と第1の人物の顔を含む画像を合成した中間状態の画像の特徴を示す第2特徴情報との類似度が、算出した親近度に基づく類似度となるよう、中間状態の画像を変化させる。
情報処理装置100の提供部134は、変化された後の第2象徴情報を第1の人物に対して提供する(ステップS103)。例えば、提供部134は、変化部133によって変化された後の中間状態の画像を含むコンテンツを第1の人物に対して提供する。
〔4.変形例〕
上述した実施形態に係る情報処理システム1は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム1の他の実施形態について説明する。なお、実施形態と同一部分には、同一符号を付して説明を省略する。
〔4-1.第1象徴情報の他の例〕
〔4-1-1.画像の他の例〕
上述した実施形態では、変化部133が、第1の利用者の顔を含む画像の特徴を示す第1特徴情報と、第2の利用者の顔を含む画像の特徴を示す第2特徴情報との類似度が、親近度に基づく類似度となるよう、第2の利用者の顔を含む画像を変化させる場合について説明したが、第1の利用者を象徴する第1象徴情報は、第1の利用者の顔を含む画像以外の情報であってよい。
具体的には、第1象徴情報は、任意の人物の顔を含む画像であってよい。例えば、取得部131は、第1の利用者の端末装置10から、第1の利用者の顔を含む画像の代わりに、任意の人物の顔を含む画像を取得する。続いて、変化部133は、算出部132が親近度を算出した場合に、公知のモーフィング技術を用いて、任意の人物の顔を含む画像の特徴を示す第1特徴情報と、第2の利用者の顔を含む画像と任意の人物の顔を含む画像を合成した中間状態の画像の特徴を示す第2特徴情報との類似度が、算出した親近度に基づく類似度となるよう、中間状態の画像を変化させる。このように、変化部133は、任意の人物の顔を含む画像の特徴を示す第1特徴情報と、第2の利用者の顔を含む画像の特徴を示す第2特徴情報との類似度が、親近度に基づく類似度となるよう、第2の利用者の顔を含む画像を変化させる。
また、第1象徴情報は、人以外の生物の画像であってよい。例えば、取得部131は、第1の利用者の端末装置10から、第1の利用者の顔を含む画像の代わりに、人以外の生物の画像を取得する。続いて、変化部133は、算出部132が親近度を算出した場合に、公知のモーフィング技術を用いて、人以外の生物の画像の特徴を示す第1特徴情報と、第2の利用者の顔を含む画像と人以外の生物の画像を合成した中間状態の画像の特徴を示す第2特徴情報との類似度が、算出した親近度に基づく類似度となるよう、中間状態の画像を変化させる。このように、変化部133は、人以外の生物の画像の特徴を示す第1特徴情報と、第2の利用者の顔を含む画像の特徴を示す第2特徴情報との類似度が、親近度に基づく類似度となるよう、第2の利用者の顔を含む画像を変化させる。
また、第1象徴情報は、生物以外の物体の画像であってよい。例えば、取得部131は、第1の利用者の端末装置10から、第1の利用者の顔を含む画像の代わりに、生物以外の物体(例えば、自動車など)の画像を取得する。続いて、変化部133は、算出部132が親近度を算出した場合に、公知のモーフィング技術を用いて、生物以外の物体の画像の特徴を示す第1特徴情報と、第2の利用者の顔を含む画像と生物以外の物体の画像を合成した中間状態の画像の特徴を示す第2特徴情報との類似度が、算出した親近度に基づく類似度となるよう、中間状態の画像を変化させる。このように、変化部133は、生物以外の物体の画像の特徴を示す第1特徴情報と、第2の利用者の顔を含む画像の特徴を示す第2特徴情報との類似度が、親近度に基づく類似度となるよう、第2の利用者の顔を含む画像を変化させる。
なお、上述した他にも、取得部131は、第1の利用者の端末装置10から、生物以外の物体(例えば、自動車など)の物体画像、人以外の生物の生物画像、および第1の利用者の顔を含む顔画像の3つの画像を取得する。変化部133は、算出部132が算出した親近度が第1閾値未満である場合には、物体画像の特徴を示す第1特徴情報と、第2の利用者の顔を含む画像と物体画像を合成した中間状態の画像の特徴を示す第2特徴情報との類似度が、算出した親近度に基づく類似度となるよう、中間状態の画像を変化させる。
また、変化部133は、算出部132が算出した親近度が第1閾値以上かつ第2閾値未満である場合には、生物画像の特徴を示す第1特徴情報と、第2の利用者の顔を含む画像と生物画像を合成した中間状態の画像の特徴を示す第2特徴情報との類似度が、算出した親近度に基づく類似度となるよう、中間状態の画像を変化させる。
また、変化部133は、算出部132が算出した親近度が第2閾値以上である場合には、第1の利用者の顔を含む顔画像の特徴を示す第1特徴情報と、第2の利用者の顔を含む画像と第1の利用者の顔を含む顔画像を合成した中間状態の画像の特徴を示す第2特徴情報との類似度が、算出した親近度に基づく類似度となるよう、中間状態の画像を変化させる。
また、第1象徴情報は、第2の利用者の顔をアニメ化したアニメ画であってもよい。変化部133は、第2の利用者の顔をアニメ化したアニメ画像の特徴を示す第1特徴情報と、第2の利用者の顔を含む画像(実写画像)の特徴を示す第2特徴情報との類似度が、親近度に基づく類似度となるよう、第2の利用者の顔を含む画像を変化させてもよい。
なお、変化部133は、第1の利用者の顔を含む画像の特徴を示す第1特徴情報と、第2の利用者の顔を含む画像の特徴を示す第2特徴情報との類似度が、親近度に基づく類似度となるよう、第2の利用者の顔の部位(目、鼻、口元、耳などの部位)ごとに第2の利用者の顔を含む画像を変化させてもよい。
〔4-1-2.音声データ〕
また、上述した実施形態では、第1の利用者を象徴する第1象徴情報(第2の利用者を象徴する第2象徴情報)が第1の利用者(第2の利用者)の顔を含む画像である場合について説明したが、第1象徴情報(第2象徴情報)は、第1の利用者(第2の利用者)の顔を含む画像以外の情報であってよい。具体的には、第1の利用者を象徴する第1象徴情報(第2の利用者を象徴する第2象徴情報)は、第1の利用者(第2の利用者)の音声を含む音声データであってよい。
例えば、算出部132は、第1の利用者の端末装置10から、第2の利用者に対する音声メッセージを受信した場合に、第1の利用者が第2の利用者に対して抱く親近感の度合いを示す親近度を算出する。変化部133は、算出部132が親近度を算出した場合に、公知の音声モーフィング技術を用いて、第1の利用者の音声を含む音声データの特徴を示す第1特徴情報と、第2の利用者の音声を含む音声データと第1の利用者の音声を含む音声データを合成した中間状態の音声データの特徴を示す第2特徴情報との類似度が、算出した親近度に基づく類似度となるよう、中間状態の音声データを変化させる。
このように、変化部133は、第1の利用者の音声を含む音声データの特徴を示す第1特徴情報と、第2の利用者の音声を含む音声データの特徴を示す第2特徴情報との類似度が、親近度に基づく類似度となるよう、第2の利用者の音声を含む音声データを変化させる。
例えば、変化部133は、第1の利用者の音声を含む音声データと第2の利用者の音声を含む音声データを音声モーフィング用に生成された機械学習モデルに入力して、第1の利用者の音声を含む音声データと第2の利用者の音声を含む音声データを合成した中間状態の音声データを機械学習モデルから出力する。続いて、変化部133は、機械学習モデルから出力された複数の中間状態の音声データの中から、第1の利用者の音声を含む音声データの特徴を示す第1特徴情報との類似度が算出した親近度に基づく類似度となるような中間状態の音声データを選択する。
提供部134は、変化部133によって変化された後の中間状態の音声データを第1の利用者に対して提供する。例えば、提供部134は、第2の利用者の端末装置10から、第1の利用者に対する返信の音声メッセージを受信した場合に、返信の音声メッセージに含まれる言語情報を、変化部133によって変化された後の中間状態の音声データによって再生するコンテンツを生成する。続いて、提供部134は、生成したコンテンツを第1の利用者の端末装置10に送信する。
なお、第1象徴情報は、任意の人物の音声を含む音声データであってよい。このとき、変化部133は、算出部132が親近度を算出した場合に、公知の音声モーフィング技術を用いて、任意の人物の音声を含む音声データの特徴を示す第1特徴情報と、第2の利用者の音声を含む音声データと第1の利用者の音声を含む音声データを合成した中間状態の音声データの特徴を示す第2特徴情報との類似度が、算出した親近度に基づく類似度となるよう、中間状態の音声データを変化させる。このように、変化部133は、任意の人物の音声を含む音声データの特徴を示す第1特徴情報と、第2の人物の音声を含む音声データの特徴を示す第2特徴情報との類似度が、親近度に基づく類似度となるよう、第2の人物の音声を含む音声データを変化させる。
〔4-2.その他の親近度の算出方法〕
また、上述した実施形態では、算出部132が、第1の利用者が第2の利用者に対して情報を送信した送信回数が多いほど、親近度を高く算出する場合について説明したが、親近度の算出方法はこれに限られない。
例えば、算出部132は、履歴情報記憶部122を参照して、第1の利用者が第2の利用者から受信したメッセージに対して応答した応答速度の代表値(例えば、平均値、中央値、最頻値など)を算出する。続いて、算出部132は、応答速度の代表値を算出すると、算出した応答速度の代表値をシグモイド関数の入力値として入力する。続いて、算出部132は、シグモイド関数の出力値を第1の利用者が第2の利用者に対して抱く親近度として算出する。このように、算出部132は、第1の利用者が第2の利用者から受信した情報に対して応答した応答速度が速いほど、親近度を高く算出してよい。
また、算出部132は、履歴情報記憶部122を参照して、第1の利用者が第2の利用者に対して送信したメッセージを取得する。続いて、算出部132は、メッセージを取得すると、公知の自然言語処理技術を用いて、取得したメッセージに含まれる語句を抽出する。続いて、算出部132は、抽出した語句の中から、相手に対する親しみを示す語句として別途定義された語句と一致する語句の数を算出する。続いて、算出部132は、相手に対する親しみを示す語句の数を算出すると、算出した語句の数をシグモイド関数の入力値として入力する。続いて、算出部132は、シグモイド関数の出力値を第1の利用者が第2の利用者に対して抱く親近度として算出する。このように、算出部132は、第1の利用者が第2の利用者に対して送信した言語情報の中に、相手に対する親しみを示す語句が多く含まれるほど、親近度を高く算出してよい。なお、算出部132は、履歴情報記憶部122を参照して、第1の利用者が第2の利用者に対して送信した音声メッセージを取得してもよい。算出部132は、音声メッセージを取得した場合は、公知の音声認識技術を用いて、音声メッセージに含まれる言語情報を文字に変換した後に、上述した自然言語処理を施してよい。
また、算出部132は、履歴情報記憶部122を参照して、第1の利用者が第2の利用者に対して送信した画像データ(例えば、ビデオ通話の際に録画された第1の利用者の顔を含む画像データ)を取得する。算出部132は、画像データを取得すると、公知の画像解析技術を用いて、第1の利用者の顔の表情を推定する。続いて、算出部132は、第1の利用者の顔の表情を推定すると、相手に対する親しみを示す表情として別途定義された表情(例えば、喜びを示す表情など)と一致する表情の登場回数を算出する。続いて、算出部132は、相手に対する親しみを示す表情の登場回数を算出すると、算出した登場回数をシグモイド関数の入力値として入力する。続いて、算出部132は、シグモイド関数の出力値を第1の利用者が第2の利用者に対して抱く親近度として算出する。このように、算出部132は、第1の利用者が第2の利用者に対して送信した第1の利用者の顔を含む画像の中に、相手に対する親しみを示す表情が多く含まれるほど、親近度を高く算出してよい。
〔4-3.その他のサービスへの適用〕
また、上述した実施形態では、情報処理装置100による情報処理が、送信者が匿名でメッセージを送信することが可能なSNSサービスに適用される場合について説明したが、これに限られない。例えば、上述した情報処理装置100による情報処理は、送信者が匿名でないSNSサービス、メールサービス等のメッセージサービス、およびビデオ会議システムに適用されてよい。
〔5.効果〕
上述してきたように、実施形態に係る情報処理装置100は、算出部132と変化部133と提供部134を備える。算出部132は、第1の人物が第2の人物に対して抱く親近感の度合いを示す親近度を算出する。変化部133は、第1の人物を象徴する第1象徴情報の特徴を示す第1特徴情報と、第2の人物を象徴する第2象徴情報の特徴を示す第2特徴情報との類似度が、親近度に基づく類似度となるよう、第2象徴情報を変化させる。提供部134は、変化部133によって変化された後の第2象徴情報を第1の人物に対して提供する。
このように、情報処理装置100は、第1の人物が第2の人物に対して抱く親近感の度合いに応じて、コミュニケーションを仲介するエージェントの情報を、第1の人物を象徴する第1象徴情報から第2の人物を象徴する第2象徴情報へと段階的に変化させる。すなわち、情報処理装置100は、例えば、第1の人物が第2の人物に対して抱く親近感の度合いが低い場合には、コミュニケーションを仲介するエージェントの情報を、第2象徴情報よりも第1象徴情報に近い情報に変化させることで、第1の人物が第2の人物に対して抱く親近感の低さを軽減させることができる。これにより、情報処理装置100は、第1の人物が第2の人物に対して抱く親近感の低さを軽減させることができるので、例えば、第1の人物が第2の人物に対してメッセージを送信しやすくすることができる。したがって、情報処理装置100は、コミュニケーションを円滑にするよう支援することができる。
また、第1象徴情報は、人以外の生物の画像であり、第2象徴情報は、第2の人物の顔を含む画像であり、変化部133は、人以外の生物の画像の特徴を示す第1特徴情報と、第2の人物の顔を含む画像の特徴を示す第2特徴情報との類似度が、親近度に基づく類似度となるよう、第2の人物の顔を含む画像を変化させる。
これにより、情報処理装置100は、例えば、第1の人物が第2の人物に対して抱く親近感の度合いが低い場合には、コミュニケーションを仲介するエージェントの画像を、第2の人物の顔よりも第1の人物が好む生物に近い画像に変化させることで、第1の人物が第2の人物に対して抱く親近感の低さを軽減させることができる。
また、第1象徴情報は、任意の人物の顔を含む画像であり、第2象徴情報は、第2の人物の顔を含む画像であり、変化部133は、任意の人物の顔を含む画像の特徴を示す第1特徴情報と、第2の人物の顔を含む画像の特徴を示す第2特徴情報との類似度が、親近度に基づく類似度となるよう、第2の人物の顔を含む画像を変化させる。
これにより、情報処理装置100は、例えば、第1の人物が第2の人物に対して抱く親近感の度合いが低い場合には、コミュニケーションを仲介するエージェントの画像を、第2の人物の顔よりも第1の人物が好む任意の人物の顔に近い画像に変化させることで、第1の人物が第2の人物に対して抱く親近感の低さを軽減させることができる。
また、任意の人物は、第1の人物であり、変化部133は、第1の人物の顔を含む画像の特徴を示す第1特徴情報と、第2の人物の顔を含む画像の特徴を示す第2特徴情報との類似度が、親近度に基づく類似度となるよう、第2の人物の顔を含む画像を変化させる。
これにより、情報処理装置100は、例えば、第1の人物が第2の人物に対して抱く親近感の度合いが低い場合には、コミュニケーションを仲介するエージェントの画像を、第2の人物の顔よりも第1の人物の顔に近い画像に変化させることで、第1の人物が第2の人物に対して抱く親近感の低さを軽減させることができる。
また、第1象徴情報は、任意の人物の音声を含む音声データであり、第2象徴情報は、第2の人物の音声を含む音声データであり、変化部133は、任意の人物の音声を含む音声データの特徴を示す第1特徴情報と、第2の人物の音声を含む音声データの特徴を示す第2特徴情報との類似度が、親近度に基づく類似度となるよう、第2の人物の音声を含む音声データを変化させる。
これにより、情報処理装置100は、例えば、第1の人物が第2の人物に対して抱く親近感の度合いが低い場合には、コミュニケーションを仲介するエージェントの音声データを、第2の人物の音声よりも第1の人物が好む任意の人物の音声に近い音声データに変化させることで、第1の人物が第2の人物に対して抱く親近感の低さを軽減させることができる。
また、任意の人物は、第1の人物であり、変化部133は、第1の人物の音声を含む音声データの特徴を示す第1特徴情報と、第2の人物の音声を含む音声データの特徴を示す第2特徴情報との類似度が、親近度に基づく類似度となるよう、第2の人物の音声を含む音声データを変化させる。
これにより、情報処理装置100は、例えば、第1の人物が第2の人物に対して抱く親近感の度合いが低い場合には、コミュニケーションを仲介するエージェントの音声データを、第2の人物の音声よりも第1の音声に近い音声データに変化させることで、第1の人物が第2の人物に対して抱く親近感の低さを軽減させることができる。
また、算出部132は、第1の人物が第2の人物に対して情報を送信した送信回数が多いほど、親近度を高く算出する。
これにより、情報処理装置100は、第1の人物が第2の人物に対して情報を送信した送信回数に基づいて、適切に親近度を算出することができる。
また、算出部132は、第1の人物が第2の人物から受信した情報に対して応答した応答速度が速いほど、親近度を高く算出する。
これにより、情報処理装置100は、第1の人物が第2の人物から受信した情報に対して応答した応答速度の速さに基づいて、適切に親近度を算出することができる。
また、算出部132は、第1の人物が第2の人物に対して送信した言語情報の中に、相手に対する親しみを示す語句が多く含まれるほど、親近度を高く算出する。
これにより、情報処理装置100は、第1の人物が第2の人物に対して送信した言語情報の中に含まれる親しみを示す語句の数に基づいて、適切に親近度を算出することができる。
また、算出部132は、第1の人物が第2の人物に対して送信した第1の人物の顔を含む画像の中に、相手に対する親しみを示す表情が多く含まれるほど、親近度を高く算出する。
これにより、情報処理装置100は、第1の人物が第2の人物に対して送信した第1の人物の顔を含む画像の中に含まれる相手に対する親しみを示す表情の数に基づいて、適切に親近度を算出することができる。
〔6.ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置100は、例えば図6に示すような構成のコンピュータ1000によって実現される。図6は、情報処理装置100の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を備える。
CPU1100は、ROM1300またはHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、所定の通信網を介して他の機器からデータを受信してCPU1100へ送り、CPU1100が生成したデータを所定の通信網を介して他の機器へ送信する。
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、生成したデータを入出力インターフェイス1600を介して出力装置へ出力する。
メディアインターフェイス1700は、記録媒体1800に格納されたプログラムまたはデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が実施形態に係る情報処理装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部130の機能を実現する。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
〔7.その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
例えば、上述した実施形態では、情報処理システム1が中央処理型(集中型ともいう)のコンピューティングシステムである例について説明したが、情報処理システム1の構成はこれに限られない。例えば、情報処理システム1は、複数台の端末装置10で構成される分散型コンピューティングシステムであってよい。この場合、情報処理システムは、複数台の端末装置10がネットワークを介して互いに接続される。また、この場合、情報処理システムでは、それぞれの端末装置10に図2で説明した情報処理装置100の機能が実装される。
また、上述した情報処理装置100は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットホーム等をAPI(Application Programming Interface)やネットワークコンピューティング等で呼び出して実現するなど、構成は柔軟に変更できる。
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、算出部は、算出手段や算出回路に読み替えることができる。
1 情報処理システム
10 端末装置
100 情報処理装置
110 通信部
120 記憶部
121 利用者情報記憶部
122 履歴情報記憶部
130 制御部
131 取得部
132 算出部
133 変化部
134 提供部

Claims (12)

  1. 第1の人物が第2の人物に対して抱く親近感の度合いを示す親近度を算出する算出部と、
    前記第1の人物を象徴する第1象徴情報の特徴を示す第1特徴情報と、前記第2の人物を象徴する第2象徴情報の特徴を示す第2特徴情報との類似度が、前記親近度に基づく類似度となるよう、前記第2象徴情報を変化させる変化部と、
    前記変化部によって変化された後の第2象徴情報を前記第1の人物に対して提供する提供部と、
    を備える情報処理装置。
  2. 前記第1象徴情報は、人以外の生物の画像であり、
    前記第2象徴情報は、前記第2の人物の顔を含む画像であり、
    前記変化部は、
    前記人以外の生物の画像の特徴を示す前記第1特徴情報と、前記第2の人物の顔を含む画像の特徴を示す前記第2特徴情報との類似度が、前記親近度に基づく類似度となるよう、前記第2の人物の顔を含む画像を変化させる、
    請求項1に記載の情報処理装置。
  3. 前記第1象徴情報は、任意の人物の顔を含む画像であり、
    前記第2象徴情報は、前記第2の人物の顔を含む画像であり、
    前記変化部は、
    前記任意の人物の顔を含む画像の特徴を示す前記第1特徴情報と、前記第2の人物の顔を含む画像の特徴を示す前記第2特徴情報との類似度が、前記親近度に基づく類似度となるよう、前記第2の人物の顔を含む画像を変化させる、
    請求項1または2に記載の情報処理装置。
  4. 前記任意の人物は、前記第1の人物であり、
    前記変化部は、
    前記第1の人物の顔を含む画像の特徴を示す前記第1特徴情報と、前記第2の人物の顔を含む画像の特徴を示す前記第2特徴情報との類似度が、前記親近度に基づく類似度となるよう、前記第2の人物の顔を含む画像を変化させる、
    請求項3に記載の情報処理装置。
  5. 前記第1象徴情報は、任意の人物の音声を含む音声データであり、
    前記第2象徴情報は、前記第2の人物の音声を含む音声データであり、
    前記変化部は、
    前記任意の人物の音声を含む音声データの特徴を示す前記第1特徴情報と、前記第2の人物の音声を含む音声データの特徴を示す前記第2特徴情報との類似度が、前記親近度に基づく類似度となるよう、前記第2の人物の音声を含む音声データを変化させる、
    請求項1~4のいずれか1つに記載の情報処理装置。
  6. 前記任意の人物は、前記第1の人物であり、
    前記変化部は、
    前記第1の人物の音声を含む音声データの特徴を示す前記第1特徴情報と、前記第2の人物の音声を含む音声データの特徴を示す前記第2特徴情報との類似度が、前記親近度に基づく類似度となるよう、前記第2の人物の音声を含む音声データを変化させる、
    請求項5に記載の情報処理装置。
  7. 前記算出部は、
    前記第1の人物が前記第2の人物に対して情報を送信した送信回数が多いほど、前記親近度を高く算出する、
    請求項1~6のいずれか1つに記載の情報処理装置。
  8. 前記算出部は、
    前記第1の人物が前記第2の人物から受信した情報に対して応答した応答速度が速いほど、前記親近度を高く算出する、
    請求項1~7のいずれか1つに記載の情報処理装置。
  9. 前記算出部は、
    前記第1の人物が前記第2の人物に対して送信した言語情報の中に、相手に対する親しみを示す語句が多く含まれるほど、前記親近度を高く算出する、
    請求項1~8のいずれか1つに記載の情報処理装置。
  10. 前記算出部は、
    前記第1の人物が前記第2の人物に対して送信した前記第1の人物の顔を含む画像の中に、相手に対する親しみを示す表情が多く含まれるほど、前記親近度を高く算出する、
    請求項1~9のいずれか1つに記載の情報処理装置。
  11. コンピュータが実行する情報処理方法であって、
    第1の人物が第2の人物に対して抱く親近感の度合いを示す親近度を算出する算出工程と、
    前記第1の人物を象徴する第1象徴情報の特徴を示す第1特徴情報と、前記第2の人物を象徴する第2象徴情報の特徴を示す第2特徴情報との類似度が、前記親近度に基づく類似度となるよう、前記第2象徴情報を変化させる変化工程と、
    前記変化工程によって変化された後の第2象徴情報を前記第1の人物に対して提供する提供工程と、
    を含む情報処理方法。
  12. 第1の人物が第2の人物に対して抱く親近感の度合いを示す親近度を算出する算出手順と、
    前記第1の人物を象徴する第1象徴情報の特徴を示す第1特徴情報と、前記第2の人物を象徴する第2象徴情報の特徴を示す第2特徴情報との類似度が、前記親近度に基づく類似度となるよう、前記第2象徴情報を変化させる変化手順と、
    前記変化手順によって変化された後の第2象徴情報を前記第1の人物に対して提供する提供手順と、
    をコンピュータに実行させる情報処理プログラム。
JP2021164098A 2021-10-05 2021-10-05 情報処理装置、情報処理方法及び情報処理プログラム Active JP7263471B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021164098A JP7263471B2 (ja) 2021-10-05 2021-10-05 情報処理装置、情報処理方法及び情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021164098A JP7263471B2 (ja) 2021-10-05 2021-10-05 情報処理装置、情報処理方法及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2023055015A JP2023055015A (ja) 2023-04-17
JP7263471B2 true JP7263471B2 (ja) 2023-04-24

Family

ID=85986187

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021164098A Active JP7263471B2 (ja) 2021-10-05 2021-10-05 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (1)

Country Link
JP (1) JP7263471B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259318A (ja) 2001-02-27 2002-09-13 Victor Co Of Japan Ltd 仮想現実空間での人物画像表示方法
JP2011145794A (ja) 2010-01-13 2011-07-28 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
WO2020022294A1 (ja) 2018-07-27 2020-01-30 ソニー株式会社 情報処理システム、情報処理方法、および、記録媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004342A (ja) * 2003-06-10 2005-01-06 Nec Corp コミュニケーションシステムとサーバ装置およびプロフィール開示方法とプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259318A (ja) 2001-02-27 2002-09-13 Victor Co Of Japan Ltd 仮想現実空間での人物画像表示方法
JP2011145794A (ja) 2010-01-13 2011-07-28 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
WO2020022294A1 (ja) 2018-07-27 2020-01-30 ソニー株式会社 情報処理システム、情報処理方法、および、記録媒体

Also Published As

Publication number Publication date
JP2023055015A (ja) 2023-04-17

Similar Documents

Publication Publication Date Title
US20210029131A1 (en) Conditional provision of access by interactive assistant modules
US20190340419A1 (en) Generation of Parameterized Avatars
US8095629B2 (en) Managing user accounts and groups in multiple forests
US20110007077A1 (en) Animated messaging
WO2020007129A1 (zh) 基于语音交互的上下文获取方法及设备
CN110134806B (zh) 上下文用户简档照片选择的方法和系统
JP2020521995A (ja) 代替インタフェースでのプレゼンテーションのための電子会話の解析
JP2022525272A (ja) 選択的な動きの描画を伴う画像表示
US11928985B2 (en) Content pre-personalization using biometric data
US20210125610A1 (en) Ai-driven personal assistant with adaptive response generation
CN110674398A (zh) 虚拟人物形象交互方法、装置、终端设备及存储介质
US20170286755A1 (en) Facebot
US20210233524A1 (en) Placing a voice response system into a forced sleep state
CN113055751B (zh) 数据处理方法、装置、电子设备和存储介质
JP7263471B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6449368B2 (ja) 会話提供装置、会話提供方法及びプログラム
CN109949213B (zh) 用于生成图像的方法和装置
CN115391806A (zh) 一种数字人的处理方法、装置、电子设备和存储介质
JP7457545B2 (ja) 評価装置、評価方法及び評価プログラム
WO2019227633A1 (zh) 建立用户画像和建立状态信息分析模型的方法和装置
CN113646757A (zh) 信息处理系统、信息处理方法和程序
CN112204937A (zh) 使数字助理能够生成环境感知响应的方法和系统
KR102481286B1 (ko) 온라인 팬덤 활동 서비스 제공 방법 및 장치
US11776183B2 (en) Generation device, generation method, and non-transitory computer readable storage medium
JP7313852B2 (ja) 決定装置、決定方法及び決定プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230412

R150 Certificate of patent or registration of utility model

Ref document number: 7263471

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150