JP6948353B2 - Information processing system, information provision method, and information provision program - Google Patents
Information processing system, information provision method, and information provision program Download PDFInfo
- Publication number
- JP6948353B2 JP6948353B2 JP2019008290A JP2019008290A JP6948353B2 JP 6948353 B2 JP6948353 B2 JP 6948353B2 JP 2019008290 A JP2019008290 A JP 2019008290A JP 2019008290 A JP2019008290 A JP 2019008290A JP 6948353 B2 JP6948353 B2 JP 6948353B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- place
- location
- user
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、情報処理システム、情報提供方法、及び情報提供プログラムに関するものである。 The present invention relates to an information processing system, an information providing method, and an information providing program.
例えば、テレビ番組の視聴中に興味を持ったレストランや観光地などが紹介された場合、そのレストラン情報や観光地の情報を携帯電話機等の情報処理装置にメモとして記録することがある。また、雑誌やチラシを閲覧しているときに、興味を持ったレストラン等が掲載されていた場合には、その雑誌やチラシの画像を携帯電話機に搭載されているカメラで撮影し、記録することがある。 For example, when a restaurant or tourist spot of interest is introduced while watching a TV program, the restaurant information or tourist spot information may be recorded as a memo in an information processing device such as a mobile phone. Also, if a restaurant, etc. that you are interested in is listed while browsing a magazine or leaflet, take an image of the magazine or leaflet with the camera installed in your mobile phone and record it. There is.
このような場合、情報処理装置のリマインダー機能で定期的に記録したこれらの情報を呼び起こすことは可能であるが、多くの場合、記録したこれらの情報を読み出すトリガはユーザ自らに委ねられている。したがって、例えば、行きたい場所として登録しておいたレストランや観光地の近くを訪ねた場合でも、ユーザ自らが行きたい場所があったことを思い出さない限り、記録しておいた情報にアクセスすることはできず、記録しておいた場所に赴くことができない。このように、従来は、自分が記録したデータに対してユーザ自らが自発的に情報検索等を行って情報を取り出す必要があった。 In such a case, it is possible to recall the information recorded periodically by the reminder function of the information processing device, but in many cases, the trigger for reading the recorded information is left to the user himself / herself. Therefore, for example, even if you visit a restaurant or tourist spot that you have registered as a place you want to go to, you should access the recorded information unless you remember that there was a place you wanted to go to. I can't go to the place I recorded. As described above, conventionally, it has been necessary for the user to voluntarily search for information on the data recorded by himself / herself to retrieve the information.
また、ユーザが自発的に情報検索を行い、現在地周辺のレストランや観光地などの情報を取得することに成功したとしても、そのレストランまたは観光地に行きたいと思った動機を思い出すことができず、記録しておいたこれらの情報に対する興味度が薄れてしまう可能性がある。 Also, even if the user voluntarily searches for information and succeeds in acquiring information on restaurants and tourist spots around the current location, he cannot remember the motive for going to that restaurant or tourist spot. , There is a possibility that the degree of interest in this recorded information will be diminished.
本発明は、このような事情に鑑みてなされたものであって、ユーザが興味を示した場所の情報を適切なタイミングで提供できるとともに、その場所の情報を取得した動機を想起させることの可能な情報処理システム、情報提供方法、及び情報提供プログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and it is possible to provide information on a place where the user is interested at an appropriate timing and to evoke the motive for acquiring the information on the place. The purpose is to provide information processing systems, information provision methods, and information provision programs.
本発明の第一態様は、ユーザが興味を持った場所に関する情報を取得する情報取得部と、前記情報取得部によって取得された前記場所に関する情報を用いて、前記場所の名称、前記場所の位置情報、及び前記場所に関する情報を取得した前記ユーザの行動に関する付加情報を関連付けた場所提供情報を作成する情報作成部と、ユーザの位置情報を取得する位置情報取得部と、取得した前記位置情報に基づく検索条件を用いて複数の前記場所提供情報が格納されているデータベースを検索し、前記検索条件に合致する前記場所提供情報を抽出する抽出部と、抽出した前記場所提供情報に記載されている前記場所の名称及び前記場所の位置情報とともに、前記付加情報を提供する情報提供部とを具備し、前記付加情報には、前記場所に関する情報の取得先となった媒体の情報が含まれる情報処理システムである。 In the first aspect of the present invention, the name of the place and the position of the place are used by the information acquisition unit that acquires information about the place of interest to the user and the information about the place acquired by the information acquisition unit. The information creation unit that creates the location providing information associated with the information and the additional information about the behavior of the user who has acquired the information about the location, the location information acquisition unit that acquires the location information of the user, and the acquired location information It is described in the extraction unit that searches a database in which a plurality of the location-provided information is stored by using the search condition based on the search condition, and extracts the location-provided information that matches the search condition, and the extracted location-provided information. Information processing that includes an information providing unit that provides the additional information together with the name of the place and the location information of the place, and the additional information includes information of a medium from which information about the place is acquired. It is a system.
本発明の第二態様は、ユーザが興味を持った場所に関する情報を取得する工程と、取得した前記場所に関する情報を用いて、前記場所の名称、前記場所の位置情報、及び前記場所に関する情報を取得した前記ユーザの行動に関する付加情報を関連付けた場所提供情報を作成する工程と、ユーザの位置情報を取得する工程と、取得した前記位置情報に基づく検索条件を用いて複数の前記場所提供情報が格納されているデータベースを検索し、前記検索条件に合致する前記場所提供情報を抽出する工程と、抽出した前記場所提供情報に記載されている前記場所の名称及び前記場所の位置情報とともに、前記場所に関する情報の取得先となった媒体の情報が含まれる前記付加情報を提供する工程とをコンピュータが実行する情報提供方法である。 In the second aspect of the present invention, the step of acquiring information about a place of interest to the user and the acquired information about the place are used to obtain the name of the place, the position information of the place, and the information about the place. The process of creating the location providing information associated with the acquired additional information regarding the user's behavior, the process of acquiring the user's location information, and the plurality of the location providing information using the search conditions based on the acquired location information. searches the database stored, a step of extracting said location providing information that matches the search criteria, together with the position information of the name and the location of the locations listed in the extracted the location information provided, the location This is an information providing method in which a computer executes a step of providing the additional information including information of a medium from which information is acquired.
本発明の第三態様は、ユーザが興味を持った場所に関する情報を取得するステップと、取得した前記場所に関する情報を用いて、前記場所の名称、前記場所の位置情報、及び前記場所に関する情報を取得した前記ユーザの行動に関する付加情報を関連付けた場所提供情報を作成するステップと、ユーザの位置情報を取得するステップと、取得した前記位置情報に基づく検索条件を用いて複数の前記場所提供情報が格納されているデータベースを検索し、前記検索条件に合致する前記場所提供情報を抽出するステップと、抽出した前記場所提供情報に記載されている前記場所の名称及び前記場所の位置情報とともに、前記場所に関する情報の取得先となった媒体の情報が含まれる前記付加情報を提供するステップとをコンピュータに実行させるための情報提供プログラムである。
A third aspect of the present invention uses the step of acquiring information about a place of interest to the user and the acquired information about the place to obtain the name of the place, the location information of the place, and the information about the place. A step of creating location providing information associated with the acquired additional information regarding the user's behavior, a step of acquiring the user's location information, and a plurality of the location providing information using the search condition based on the acquired location information. searches the database stored, extracting said location providing information that matches the search criteria, together with the position information of the name and the location of the locations listed in the extracted the location information provided, the location It is an information providing program for causing a computer to execute the step of providing the additional information including the information of the medium from which the information regarding the information is acquired.
本開示によれば、ユーザが興味を示した場所の情報を適切なタイミングで提供できるとともに、その場所の情報を取得した動機を想起させることができるという効果を奏する。 According to the present disclosure, it is possible to provide information on a place where the user is interested at an appropriate timing, and it is possible to evoke the motivation for acquiring the information on the place.
以下に、本発明の一実施形態に係る情報処理システム、情報提供方法、及び情報提供プログラムについて、図面を参照して説明する。
以下に示す実施形態では、本発明の一実施形態に係る情報処理システムの一例として対話型ロボットを例示して説明する。
The information processing system, the information providing method, and the information providing program according to the embodiment of the present invention will be described below with reference to the drawings.
In the embodiments shown below, an interactive robot will be described as an example of an information processing system according to an embodiment of the present invention.
図1は、本発明の一実施形態に係る対話型ロボット1が備える情報処理装置10の電気的構成を概略的に示した概略構成図である。図1に示すように、情報処理装置10は、例えば、CPU11、CPU11が実行するプログラム及びこのプログラムにより参照されるデータ等を記憶するための補助記憶装置12、各プログラム実行時のワーク領域として機能する主記憶装置13、位置情報を取得するためのGPS14、ネットワークに接続するための通信インターフェース15、入力部16、出力部17、及びカメラ18を主な構成として備えている。 これら各部は、例えば、バス19を介して接続されている。補助記憶装置12として、例えば、HDD(Hard Disk Drive)などの磁気ディスク、光磁気ディスク、SSD(Solid State Drive)等の半導体メモリ等が一例として挙げられる。
FIG. 1 is a schematic configuration diagram schematically showing an electrical configuration of an
後述する各種機能を実現するための一連の処理は、一例として、プログラム(例えば、情報提供プログラム)の形式で補助記憶装置12に記憶されており、このプログラムをCPU11が主記憶装置13に読み出して、情報の加工・演算処理を実行することにより、各種機能が実現される。なお、プログラムは、補助記憶装置12に予めインストールされている形態や、他のコンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等である。
As an example, a series of processes for realizing various functions described later are stored in the
図1において、通信インターフェース15は、インターネットに代表されるネットワークに接続され、ネットワークとのインターフェースを図るものである。
入力部16は、ユーザが情報処理装置10に対して指示を与えるためのユーザインターフェースである。入力部16の一例として、タッチパネル20(図2参照)が備えるタッチ入力デバイス21、マイクロフォン22等が挙げられる。マイクロフォン22によって取得された音声信号は音声認識部(図示略)によって解析され、解析結果が出力される。
In FIG. 1, the
The
出力部17は、情報処理装置10によって実行されたアプリケーションソフトウェアプログラムの結果や通信インターフェース15によって受信された情報をユーザに通知するものであり、一例として、タッチパネル20が備えるLCD(Liquid Crystal Display)等のディスプレイ25、スピーカ26等が挙げられる。また、出力部17は、表示情報を投影するプロジェクタを備えていてもよい。
The
図2は、本発明の一実施形態に係る対話型ロボット1の外観図である。本実施形態に係る対話型ロボット1は、携帯可能なロボットとされ、例えば、頭部2、胴体3、右上腕部4a、左上腕部4b、右手部5a、左手部5b、右脚部6a、左脚部6b、右足部7a、及び左足部7bを備えている。これらの各構成要素の接続部には図示しないモータが設けられており、モータを駆動させることで頭部2、胴体3、右上腕部4a、左上腕部4b、右手部5a、左手部5b、右脚部6a、左脚部6b、右足部7a、及び左足部7bを動かすことができる。
FIG. 2 is an external view of the
頭部2には、例えば、カメラ18、マイクロフォン22、及びスピーカ26が設けられている。また、胴体3にはタッチ入力デバイス21及びディスプレイ25を備えるタッチパネル20が設けられている。また、胴体3には情報処理装置10の他の構成要素が内蔵されている。なお、これら構成の配置については一例であり、この例に限定されない。例えば、タッチパネル20は対話型ロボット1の背面に設けられていてもよい。
The
図3は、本実施形態に係る情報処理装置10が有する各種機能のうち、場所情報提供に関する機能の一例を抽出して示した機能ブロック図である。図3に示すように、情報処理装置10は、例えば、情報取得部31、情報作成部32、位置情報取得部33、抽出部34、情報提供部35、画像データベース40、及びデータベース41を備えている。
FIG. 3 is a functional block diagram showing an example of a function related to providing location information among various functions possessed by the
情報取得部31は、ユーザが興味を持った場所に関する情報を取得する。
具体的には、ユーザが対話型ロボット1と共にテレビを視聴しているときに、ユーザがテレビで紹介されている場所に関する情報に興味を持つことにより、入力部16から撮影を指示する所定の入力が行われた場合に、情報取得部31は、カメラ18を通じてテレビ画面を撮影し、画像データを取得する。
The
Specifically, when the user is watching TV together with the
ここで、テレビに映し出されている映像は、地上デジタル放送サービス、BS(Broadcasting Satellite)、CS(Communications Satellite)デジタル放送サービスから放送されている番組の他、ユーザが録画した番組、動画配信サービスから配信される動画コンテンツ、又は、インターネット上のサーバに不特定多数のユーザが投稿し、共有し、視聴できる動画サイトのコンテンツを含む。 Here, the images displayed on the television are from programs broadcast from terrestrial digital broadcasting services, BS (Broadcasting Satellite), CS (Communications Satellite) digital broadcasting services, programs recorded by users, and video distribution services. Includes video content to be distributed or video site content that can be posted, shared, and viewed by an unspecified number of users on a server on the Internet.
また、例えば、ユーザが対話型ロボット1と共に雑誌、チラシ、ウェブサイト等などを閲覧しているときに、ユーザがそれらに掲載されている場所に関する情報に興味を持つことにより、入力部16から撮影を指示する所定の入力が行われた場合に、情報取得部31はカメラ18を通じて雑誌の該当ページ、チラシ、ウェブサイト等を撮影し、画像データを取得する。
Further, for example, when the user is browsing a magazine, a leaflet, a website, etc. together with the
また、例えば、ユーザが対話型ロボット1と一緒に外出しているときに、興味のある場所の情報が記載された看板、ポスター、広告に関する情報を見つけることにより、入力部16から撮影を指示する所定の入力が行われた場合に、情報取得部31はカメラ18を通じてその媒体の画像データを取得する。
Further, for example, when the user is out with the
例えば、ユーザは、「このテレビ番組を撮影して」、「この雑誌のページを撮影して」、「このチラシを撮影して」、「このウェブサイトを撮影して」、「この看板を撮影して」等のように、取得する「媒体」及び「撮影」のキーワードが含まれる所定の表現を発することにより、対話型ロボット1に対して撮影の指示を与えることが可能である。
For example, the user "shoots this TV show", "shoots the page of this magazine", "shoots this leaflet", "shoots this website", "shoots this sign" It is possible to give a shooting instruction to the
これらの音声は、マイクロフォン22によって取得され、音声認識部(図示略)によって解析される。解析結果として、予め設定されているキーワード(例えば、予め登録されている媒体名および「撮影」のワード)が含まれていた場合に、対話型ロボット1は、撮影の入力指示と解釈し、カメラ18を通じて画像データを取得する。なお、対話型ロボット1が適切な画像データを取得する姿勢になっていない場合には、ユーザは適切な画角となるように対話型ロボット1の姿勢を調整する。
上記予め登録されている媒体名の一例として、テレビ、雑誌、チラシ、ウェブサイト、看板、広告、ポスター等のワードが挙げられる。
These voices are acquired by the
Examples of the above-mentioned pre-registered medium names include words such as televisions, magazines, leaflets, websites, signboards, advertisements, and posters.
また、対話型ロボット1は、ユーザがタッチパネル20のメニューから撮影を行わせる指示を入力するためのボタン(例えば、「撮影開始ボタン」等)を表示させ、そのボタンを押下することにより、撮影の指示を与えることが可能な構成とされていてもよい。
Further, the
また、カメラ18のシャッタボタンや動画撮影ボタンが別途設けられている場合には、ユーザはシャッタボタン等を押下することにより、撮影の指示を与えることとしてもよい。
When the shutter button and the moving image shooting button of the
情報取得部31によって取得された画像データは、画像データの取得日情報が付加され、画像データベース40に蓄積されるとともに情報作成部32に出力される。
The image data acquired by the
情報作成部32は、情報取得部31によって取得された画像データを用いて、場所の名称、場所の位置情報、及び場所に関する情報を取得したユーザの行動に関する付加情報を少なくとも関連付けた場所提供情報を作成する。
The
具体的には、情報作成部32は、情報取得部31によって取得された画像データを画像処理し、画像データに含まれるテキストデータを解析する。そして、それらのテキストデータから場所に関する「基本情報」を取得する。場所に関する「基本情報」は、少なくとも店舗名、観光地名、レジャー施設名などの「場所の名称」および「その場所の住所」を含んでいる。
Specifically, the
更に、情報作成部32は、画像データから画像データの取得先となった媒体情報(例えば、テレビ、雑誌、チラシ、ウェブサイト、看板、広告、ポスター等)、画像データの取得年月日、及び当該画像データの格納先アドレスを「付加情報」として取得し、上記「基本情報」と関連付けることで場所提供情報を作成する。
Further, the
なお、情報作成部32は、上記基本情報及び付加情報のうち、画像データから取得できない情報があった場合には、通信インターフェース15を介してインターネット等のネットワークに接続し、所望の情報を得る。例えば、場所の住所が不明な場合には、「場所の名称(例えば、店舗名、観光地名、レジャー施設名等)」をキーワードとして検索すればよい。
また、情報作成部32は、ユーザに対して問いかけをすることで、ユーザとの対話により必要な情報を得ることとしてもよい。
If any of the above basic information and additional information cannot be acquired from the image data, the
In addition, the
また、情報作成部32は、画像データまたはインターネット等から当該場所の電話番号、ウェブサイトのURL、定休日、駐車場の有無等の関連情報を更に取得し、これらを場所提供情報に登録することとしてもよい。
In addition, the
更に、情報作成部32は、取得した上記情報を更に解析することにより、場所のジャンル(例えば、カフェ、アクティビティ、観光地等)を特定し、ジャンルを関連情報として場所提供情報に登録することとしてもよい。
また、カフェ、レストランなどの店舗において商品名や価格が、また、観光地において拝観料金などが画像データに含まれていた場合には、画像データに含まれているこれらの情報を関連情報として場所提供情報に登録することとしてもよい。
また、画像データにクーポン情報が記載されていた場合には、クーポンの情報、例えば、割引額、有効期限等を関連情報として場所提供情報に登録してもよい。
Further, the
In addition, if the image data includes product names and prices at stores such as cafes and restaurants, and admission fees at tourist destinations, these information contained in the image data will be used as related information. It may be registered in the provided information.
Further, when the coupon information is described in the image data, the coupon information, for example, the discount amount, the expiration date, etc. may be registered in the place provision information as related information.
図4は場所提供情報の一例を示した図である。図4に示した場所提供情報のうち、管理番号「10001」で識別される場所提供情報は、テレビでカフェが紹介されたときの画像データに基づいて作成された場所提供情報の一例を示したものである。この例では、基本情報Aとしてカフェの店舗名(BBB)及び住所(AAA市)が登録され、関連情報Bとして、電話番号、その店舗が掲載されているウェブサイトのURL、当該場所のジャンル(カフェ)が登録され、付加情報Cとして、画像データを取得した媒体(テレビ)、その視聴年月日(2017年12月1日)、及び当該画像データの格納先アドレスが登録されている。 FIG. 4 is a diagram showing an example of location providing information. Of the location provision information shown in FIG. 4, the location provision information identified by the control number "10001" shows an example of the location provision information created based on the image data when the cafe was introduced on the television. It is a thing. In this example, the store name (BBB) and address (AAA city) of the cafe are registered as the basic information A, and the telephone number, the URL of the website where the store is posted, and the genre of the place (the genre of the place) are registered as the related information B. (Cafe) is registered, and as additional information C, the medium (television) from which the image data was acquired, the viewing date (December 1, 2017), and the storage address of the image data are registered.
また、図4において、管理番号「10002」で識別される場所提供情報は、レジャー施設に関するチラシを撮影したときの画像データに基づいて作成された場所提供情報の一例を示したものである。この例では、基本情報Aとしてレジャー施設の名称(BBC)及び住所(AAB市)が登録され、関連情報として、電話番号、そのレジャー施設が掲載されているウェブサイトのURL、当該場所のジャンル(アクティビティ)、当該チラシに付帯されていた割引券の割引額及びその有効期限が登録され、付加情報として、画像データを取得した媒体(チラシ)、その閲覧年月日(2018年9月15日)、当該画像データの格納先アドレスが登録されている。
なお、図4に記載した情報の他、場所提供情報には、関連情報として、その店舗や施設の定休日、駐車場の有無、その店舗等で提供される商品名やその価格、お勧めの時間帯情報、お勧めの季節情報等が登録されていてもよい。
Further, in FIG. 4, the place providing information identified by the control number “10002” shows an example of the place providing information created based on the image data when the leaflet relating to the leisure facility is photographed. In this example, the name (BBC) and address (AAB city) of the leisure facility are registered as basic information A, and the related information includes the telephone number, the URL of the website where the leisure facility is posted, and the genre of the place (AAB city). Activity), the discount amount of the discount ticket attached to the leaflet and its expiration date are registered, and as additional information, the medium (flyer) from which the image data was acquired, the date of viewing the leaflet (September 15, 2018) , The storage destination address of the image data is registered.
In addition to the information shown in FIG. 4, the location-provided information includes related information such as regular holidays of the store or facility, the presence or absence of a parking lot, the product name and its price provided at the store, etc., and recommended information. Time zone information, recommended seasonal information, etc. may be registered.
データベース41には、情報作成部32によって作成された場所提供情報が格納される。なお、本実施形態では、情報処理装置10が画像データベース40及びデータベース41を備えることとしたが、画像データベース40及びデータベース41は、必ずしも情報処理装置10が有している必要はなく、例えば、所定のクラウド上に存在してもよい。
The location providing information created by the
位置情報取得部33は、GPS14から現在位置情報を取得する。具体的には、位置情報取得部33は、GPS14から取得された緯度経度からなる位置情報を住所に変換し、住所の情報を出力する。
抽出部34は、位置情報取得部33によって取得された住所に基づいて検索条件を作成し、検索条件に合致する場所提供情報をデータベース41から抽出する。具体的には、抽出部34は、位置情報取得部33によって取得された現在位置から所定距離圏内(例えば、1km以内)に該当する場所提供情報を抽出し、情報提供部35に出力する。なお、距離範囲の設定は、ユーザが適宜設定及び変更できることとしてもよい。
The position
The
情報提供部35は、抽出部34によって抽出された場所提供情報に記載されている場所(店舗、観光地、レジャー施設等)の名称及び場所の位置情報を含む基本情報Aと共に付加情報C(例えば、画像データを取得した媒体(テレビ、雑誌、チラシ、広告、看板等)の情報、その取得日、その画像データ自体)を提供する。また、これに加えて、関連情報Bについてもユーザに提供することとしてもよい。
The
ユーザへの情報提供方法は、タッチパネル20のディスプレイ25を用いた表示による通知及びスピーカ26からの音声による通知の少なくともいずれかを用いた通知方法が挙げられる。例えば、情報提供部35は、場所提供情報から得られる情報をディスプレイ25に表示させるとともに、音声によって通知可能な情報(例えば、店舗名、住所、一部の付加情報等)については、スピーカ26から音声によって通知することとしてもよい。
Examples of the method of providing information to the user include a notification method using at least one of a notification by display using the
例えば、抽出部34の検索結果として、図4に示された管理番号「10001」の場所提供情報が抽出された場合には、情報提供部35は、カフェの店舗名および住所とともに、このカフェの情報を取得した媒体の情報(テレビ)、そのテレビ番組の視聴年月日、及びそのテレビ番組の画像データをタッチパネル20のディスプレイ25に表示させる。
このとき、住所に代えて、地図上の該当位置に目印となるインディケーションを表示させることで、当該カフェの位置をユーザに通知することとしてもよい。
For example, when the location provision information of the control number "10001" shown in FIG. 4 is extracted as the search result of the
At this time, the location of the cafe may be notified to the user by displaying an indication as a mark at the relevant location on the map instead of the address.
また、これらの情報の他、場所提供情報に登録されている関連情報B、すなわち、URL等をディスプレイ25に表示させてもよい。これにより、ユーザは更に詳細な情報を得ることが可能となる。
Further, in addition to these information, related information B registered in the place providing information, that is, a URL or the like may be displayed on the
次に、本実施形態に係る対話型ロボット1による情報提供方法について簡単に説明する。
例えば、ユーザが対話型ロボット1とともにテレビ番組を見ているときに、興味のある場所に関する情報の紹介がなされた場合、ユーザはそのテレビ画面を撮影する旨の指示を対話型ロボット1に入力する。
また、ユーザが対話型ロボット1ととともに、雑誌、チラシ、ウェブサイト等の媒体を閲覧しているときに、興味のある場所に関する情報が記載されていた場合、または、対話型ロボット1とともに外出しているときに、興味のある広告、看板等の媒体を見つけた場合に、その媒体を撮影する旨の指示を対話型ロボット1に入力する。
Next, the information providing method by the
For example, when the user is watching a TV program together with the
In addition, when the user is browsing a medium such as a magazine, a leaflet, or a website together with the
このような入力指示を受け付けると、対話型ロボット1はカメラ18を通じて媒体(テレビ画面、雑誌の該当ページ、チラシ、ウェブサイトの画面、広告、看板等)の画像データを取得する。
Upon receiving such an input instruction, the
このようにして情報取得部31によって取得された画像データは、その取得日情報が付与され、画像データベース40に格納されるとともに、情報作成部32に出力される。
情報作成部32は、情報取得部31によって取得された画像データを解析し、場所提供情報を作成する。これにより、図4に一例を示したような場所提供情報が作成され、データベース41に格納される。なお、場所提供情報を作成するための情報が画像データから取得できなかった場合には、対話型ロボット1はウェブサイトやユーザに対する問いかけによって、不足している情報を得ることが可能である。
The image data acquired by the
The
情報作成部32によって作成された場所提供情報は、個別の管理番号が付与され、データベース41に蓄積される。
The location providing information created by the
続いて、ユーザの外出時においては、位置情報取得部33によってユーザの位置が取得され、取得された位置情報に基づいてデータベース41が検索されて、ユーザの現在位置周辺に位置する店舗等の場所提供情報が抽出部34によって抽出される。
情報提供部35は、抽出部34によって抽出された場所提供情報のうち、少なくとも基本情報A及び付加情報Cをユーザに提供する。提供方法は、例えば、ディスプレイ25による表示通知、スピーカ26による音声通知等が挙げられる。
Subsequently, when the user goes out, the position
The
例えば、図4に示した管理情報「10001」の場所提供情報が抽出された場合、対話型ロボット1のスピーカ26から「AAA市にカフェBBBがあります。2017年12月1日に視聴したテレビで紹介されたカフェです。」といった音声とともに、ユーザが実際に視聴したテレビ番組の画像がディスプレイ25に表示される。
For example, when the location provision information of the management information "10001" shown in FIG. 4 is extracted, "There is a cafe BBB in AAA city. On the TV watched on December 1, 2017" from the
以上説明したように、本実施形態に係る情報処理装置10、対話型ロボット(情報処理システム)1、情報提供方法、及び情報提供プログラムによれば、ユーザが興味を持った場所に関する情報が提供されている媒体の画像データが情報取得部31によって取得され、この画像データに基づいて場所提供情報が情報作成部32によって作成される。この場合において、情報作成部32は、ユーザがその場所に興味を持ったときのテレビ番組や雑誌等の画像データを付加情報として場所提供情報に登録する。これにより、例えば、ユーザがその近くを訪れた場合には、場所提供情報に記録されている場所の名称や位置情報だけでなく、ユーザが興味を持ったときの媒体の画像データを提供することが可能となる。
As described above, according to the
このように、本実施形態に係る情報処理装置10、対話型ロボット(情報処理システム)1、情報提供方法、及び情報提供プログラムによれば、ユーザは自発的に検索を行うことなく、興味を持った場所の情報を容易に得ることができる。更に、興味と持ったときの媒体の画像データ、例えば、テレビ番組の画像や雑誌のページ画面の画像が提供されるので、ユーザはなぜその場所に興味を持ったのか等の記録するに至った動機を想起することが可能となる。
As described above, according to the
また、本実施形態によれば、場所提供情報には、電話番号、URL、ジャンルなどの関連情報が関連付けられているので、その場所に関するより詳細な情報をユーザに提供することが可能となる。更に、これらの関連情報を用いることで、ユーザが所望する情報を容易に抽出することができる。 Further, according to the present embodiment, since the location providing information is associated with related information such as a telephone number, a URL, and a genre, it is possible to provide the user with more detailed information about the location. Further, by using these related information, the information desired by the user can be easily extracted.
以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。また、上記実施形態を適宜組み合わせてもよい。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. Various changes or improvements can be made to the above embodiments without departing from the gist of the invention, and the modified or improved forms are also included in the technical scope of the present invention. In addition, the above embodiments may be combined as appropriate.
例えば、情報処理装置10は、抽出部34によって複数の場所提供情報が抽出された場合に、各場所提供情報に含まれる関連情報(例えば、価格、注目度、混雑情報等)と所定の条件式とを用いて優先順位を決定するための評価値を演算し、この評価値に基づいて場所提供情報の優先順位を決定する優先順位決定部を備えていてもよい。この場合、情報提供部は、優先順位の高い順に場所提供情報に基づく情報提供を行うとよい。
For example, when the
また、抽出部34によって複数の場所提供情報が抽出された場合には、抽出された件数をユーザに通知し、更に絞り込むためのキーワードをユーザに入力させることにより、ユーザに提供する場所提供情報を絞り込んでいくこととしてもよい。この場合、例えば、キーワードとして、ジャンル等が挙げられる。
Further, when a plurality of location providing information is extracted by the
また、上記実施形態に係る情報処理装置10では、情報取得部31によって画像データが取得される度に、情報作成部32が場所提供情報を作成することとしたが、情報作成部32が場所提供情報を作成するタイミングはこの例に限定されない。例えば、所定のタイミングで画像データベース40にアクセスし、前回から新たに蓄積された画像データを読み出し、読み出した画像データに基づいて場所提供情報を事後的に作成することとしてもよい。
Further, in the
また、上記実施形態に係る情報処理装置10では、ユーザの現在位置に基づく検索条件によって抽出部34がデータベース41を検索する場合について説明したが、例えば、ユーザが自発的にデータベース41に格納されている場所提供情報を閲覧したい場合もある。この場合、ユーザは取得したい場所提供情報に関するキーワード(例えば、住所、ジャンル、画像データの取得時期等)を指定して検索を行わせることとしてもよい。この場合、抽出部34はユーザによって指定されたキーワードに基づいてデータベース41の検索を行い、キーワードに該当する場所提供情報を抽出する。これにより、ユーザは所望の場所提供情報を閲覧することが可能となる。
Further, in the
また、上記実施形態では、情報処理システムの一例として対話型ロボット1を例示して説明したが、本発明の情報処理システムは上記例に限定されない。例えば、情報処理システムは、スマートフォン等の携帯電話機、ノートPC、タブレット端末等の情報処理装置であってもよい。この場合もタブレット端末や携帯電話機等が上述した情報処理装置10の構成や機能を有していればよい。
この場合、ユーザによりカメラ18が操作されることをトリガとして、テレビ画面の画像データ(動画データ)を取得したり、雑誌等の画像を取得することとしてもよいし、音声認識機能を有する情報処理装置であれば、音声によってこれらの指示を与えてもよい。
Further, in the above embodiment, the
In this case, the operation of the
また、情報処理システムは、図5に示すように対話型ロボット1´と上述したスマートフォン等の情報処理装置10´との組み合わせによって構成されていてもよい。この場合、対話型ロボット1´と情報処理装置10´とは情報の授受が可能な構成とされている。例えば、対話型ロボット1´には、カメラ18、入力部16、出力部17が設けられており、情報処理装置10´が対話型ロボット1´によって取得された画像データに基づいて場所提供情報を作成することとしてもよい。すなわち、この場合、対話型ロボット1´のカメラ18によって取得された画像データを情報処理装置10´が取得し、取得した画像データに基づいて場所提供情報を作成し、画像データベース40及びデータベース40に情報を格納することとしてもよい。なお、上述したように、画像データベース40及びデータベース41は情報処理装置10´に設けられていてもよいし、インターネットやクラウド上のサーバに格納されており、必要に応じて情報処理装置10´がこれらのデータベースにアクセスする態様としてもよい。
Further, as shown in FIG. 5, the information processing system may be configured by a combination of the interactive robot 1'and the above-mentioned information processing device 10'such as a smartphone. In this case, the interactive robot 1'and the information processing device 10'are configured to exchange information. For example, the interactive robot 1'is provided with a
また、図6に示すように、情報処理装置10´にテレビ番組等の動画コンテンツを録画するレコーダ(例えば、DVDレコーダ、録画機能付きテレビ受像機等)50を制御する機能を付加し、以下のように、画像データを取得することとしてもよい。ここで、レコーダ50は、例えば、放映されている動画コンテンツ(例えば、テレビ番組等)を録画する機能を有している。
Further, as shown in FIG. 6, a function for controlling a recorder (for example, a DVD recorder, a television receiver with a recording function, etc.) 50 for recording video content such as a television program is added to the information processing apparatus 10', and the following functions are added. As described above, the image data may be acquired. Here, the
例えば、ユーザが対話型ロボット1´とともにテレビ番組を視聴している場合、ユーザから番組情報を記録する旨の指示が入力されたとする。この場合、対話型ロボット1´から情報処理装置10´に対して情報記録の指示が送信される。情報処理装置10´は、情報記録の指示を受信すると、レコーダ50に対して現在放映されている当該番組の録画を所定期間行うように指示する。これにより、レコーダ50によってユーザが視聴している番組の録画が行われる。このとき、録画の期間は、例えば、次のコマーシャルに入るまで、予め設定された所定期間、当該番組が終了するまで等、種々の態様をとることができる。
For example, when the user is watching a TV program together with the interactive robot 1', it is assumed that the user inputs an instruction to record the program information. In this case, the interactive robot 1'transmits an information recording instruction to the information processing device 10'. Upon receiving the information recording instruction, the information processing device 10'instructs the
このようにして録画された番組の画像データ、または、その複製データは、リアルタイム、または、録画が終了した後に情報処理装置10´に送信される。情報処理装置10´は受信した画像データを解析及び処理することで場所提供情報を作成し、データベース41に格納するとともに、当該画像データを画像データベース40に格納する。なお、画像データベース40には、レコーダ50から受信した画像データ全てを格納してもよいし、全ての画像データからユーザが記録を指示した番組の画像データのみを切り取った画像データとしてもよい。
The image data of the program recorded in this way, or the duplicated data thereof, is transmitted to the information processing device 10'in real time or after the recording is completed. The information processing device 10'creates location providing information by analyzing and processing the received image data, stores the location providing information in the
また、レコーダ50によっては放映している全ての番組を録画している機能を備えるものもある。この場合には、ユーザが情報記録を指示した時点ですでにその番組が録画されていることとなる。したがってこの場合には、情報処理装置10´は、ユーザの情報記録の指示から所定期間(例えば、5分前等)さかのぼった時刻から所定の期間分(例えば、予め決められている期間、次のコマーシャル開始まで、番組が終了するまで等)の録画データを切り取って画像データとして取得すればよい。このようにすることで、ユーザが興味を示した番組の情報を余すことなく取得することが可能となる。
In addition, some
さらに、インターネット上のサーバに番組のメタ情報(レポーターの名前、放映した場所や商品に関する詳細情報)が格納されている場合には、情報処理装置10´は、該当サーバにアクセスして当該番組のメタデータを取得し、取得したメタデータとレコーダ50から取得した画像データとを用いて場所提供情報を作成することとしてもよい。
Further, when the meta information of the program (reporter's name, detailed information about the place where the report was broadcast and the product) is stored in the server on the Internet, the information processing device 10'accesses the server and of the program. The location providing information may be created by acquiring the metadata and using the acquired metadata and the image data acquired from the
また、リアルタイムで放映されている上記番組の他、例えば、録画した番組を視聴しているときにユーザから情報記録の指示が入力された場合には、現在再生されている録画データにおいて、ユーザの情報記録の指示から所定期間さかのぼった時刻から所定の期間分の録画データを複製することにより画像データを取得すればよい。 In addition to the above programs that are broadcast in real time, for example, when an instruction to record information is input from the user while watching a recorded program, the recorded data currently being played is used by the user. The image data may be acquired by duplicating the recorded data for a predetermined period from the time retroactive to the predetermined period from the instruction of information recording.
さらに、情報処理装置10´が上記レコーダ50を制御する機能を有していない場合には、そのような機能を有する他の情報処理装置と協働して機能することにより、上記画像データの取得及び解析等を実現することとしてもよい。
Further, when the information processing device 10'does not have a function of controlling the
さらに、上記レコーダ50を使用した画像データの取得に関しては、対話型ロボット1´に搭載されたカメラ18を用いる必要がないため、例えば、対話型ロボット1´を省略することが可能である。すなわち、ユーザから情報処理装置10´に対して情報記録の指示を直接入力されるようにすればよい。この指示入力は、例えば、情報処理装置10´に対する所定の入力操作であってもよいし、音声認識機能を情報処理装置10´が有する場合には音声によって指示されてもよい。
Further, regarding the acquisition of image data using the
また、場所提供情報のユーザへの提示に関する位置情報取得部33、抽出部34、情報提供部35についても対話型ロボット1´と情報処理装置10´との連携によって実現されてもよい。例えば、対話型ロボット1´にGPS機能、すなわち、位置情報取得機能を設けておき、ユーザと対話型ロボット1´によって取得された位置情報を情報処理装置10´に送信することし、情報処理装置10´において場所に応じた場所提供情報が抽出され、抽出した場所提供情報が情報処理装置10´から対話型ロボット1´に送信されることにより、対話型ロボット1´を介して情報がユーザに提供されることとしてもよい。
Further, the position
上述のように、図1に示した一例としての構成や、図3に示した一例としての機能は、単独の装置(例えば、対話型ロボット1、スマートフォン等の情報処理装置)によって実現されてもよいし、これら複数の装置の組み合せ(例えば、対話型ロボットと少なくとも一台の情報処理装置の組み合わせ、複数の情報処理装置の組み合わせ等)によって情報処理システムを構成し、上述した実施形態に係る情報処理装置10が備える構成や機能が複数の装置に分散されたり、重複して設けられることにより実現されてもよい。
As described above, even if the configuration as an example shown in FIG. 1 and the function as an example shown in FIG. 3 are realized by a single device (for example, an information processing device such as an
1、1´ :対話型ロボット
2 :頭部
3 :胴体
4a :右上腕部
4b :左上腕部
5a :右手部
5b :左手部
6a :右脚部
6b :左脚部
7a :右足部
7b :左足部
10、10´ :情報処理装置
11 :CPU
12 :補助記憶装置
13 :主記憶装置
14 :GPS
15 :通信インターフェース
16 :入力部
17 :出力部
18 :カメラ
19 :バス
20 :タッチパネル
21 :タッチ入力デバイス
22 :マイクロフォン
25 :ディスプレイ
26 :スピーカ
31 :情報取得部
32 :情報作成部
33 :位置情報取得部
34 :抽出部
35 :情報提供部
40 :画像データベース
41 :データベース
50 :レコーダ
1, 1': Interactive robot 2: Head 3:
12: Auxiliary storage device 13: Main storage device 14: GPS
15: Communication interface 16: Input unit 17: Output unit 18: Camera 19: Bus 20: Touch panel 21: Touch input device 22: Microphone 25: Display 26: Speaker 31: Information acquisition unit 32: Information creation unit 33: Position information acquisition Unit 34: Extraction unit 35: Information provision unit 40: Image database 41: Database 50: Recorder
Claims (7)
前記情報取得部によって取得された前記場所に関する情報を用いて、前記場所の名称、前記場所の位置情報、及び前記場所に関する情報を取得した前記ユーザの行動に関する付加情報を関連付けた場所提供情報を作成する情報作成部と、
ユーザの位置情報を取得する位置情報取得部と、
取得した前記位置情報に基づく検索条件を用いて複数の前記場所提供情報が格納されているデータベースを検索し、前記検索条件に合致する前記場所提供情報を抽出する抽出部と、
抽出した前記場所提供情報に記載されている前記場所の名称及び前記場所の位置情報とともに、前記付加情報を提供する情報提供部と
を具備し、
前記付加情報には、前記場所に関する情報の取得先となった媒体の情報が含まれる情報処理システム。 An information acquisition department that acquires information about places that the user is interested in,
Using the information about the place acquired by the information acquisition unit, the place providing information associated with the name of the place, the location information of the place, and the additional information about the behavior of the user who acquired the information about the place is created. Information creation department and
The location information acquisition unit that acquires the user's location information, and
An extraction unit that searches a database in which a plurality of the location-provided information is stored using the acquired search conditions based on the location information, and extracts the location-provided information that matches the search conditions.
It is provided with an information providing unit that provides the additional information together with the name of the place and the location information of the place described in the extracted place providing information .
The additional information is an information processing system that includes information on a medium from which information about the location is acquired.
前記情報作成部は、前記媒体の画像データから得られる情報を用いて前記場所提供情報を作成し、前記付加情報として前記媒体の画像データを登録する請求項1に記載の情報処理システム。 The information acquisition unit acquires image data of a medium including information about the place viewed or viewed by the user, and obtains image data of the medium.
The information processing system according to claim 1, wherein the information creation unit creates the location providing information using the information obtained from the image data of the medium, and registers the image data of the medium as the additional information.
前記情報提供部は、前記画像データの取得日情報を提供する請求項2に記載の情報処理システム。 The acquisition date information of the image data of the medium is registered in the place providing information.
The information processing system according to claim 2, wherein the information providing unit provides information on the acquisition date of the image data.
前記情報提供部は、前記関連情報を提供する請求項1から3のいずれかに記載の情報処理システム。 In the place provision information, related information including at least one of a telephone number, a URL containing the information of the place, attention level, congestion information, price, genre, regular holidays, and the presence or absence of a parking lot is registered. And
The information processing system according to any one of claims 1 to 3, wherein the information providing unit provides the related information.
前記情報提供部は、優先順位の高い順に前記場所提供情報を提供する請求項4に記載の情報処理システム。 When the extraction unit extracts a predetermined number or more of the place-provided information, a priority-determining unit for determining the priority based on the extracted related information of the place-provided information and a predetermined conditional expression is provided.
The information processing system according to claim 4, wherein the information providing unit provides the place providing information in descending order of priority.
取得した前記場所に関する情報を用いて、前記場所の名称、前記場所の位置情報、及び前記場所に関する情報を取得した前記ユーザの行動に関する付加情報を関連付けた場所提供情報を作成する工程と、
ユーザの位置情報を取得する工程と、
取得した前記位置情報に基づく検索条件を用いて複数の前記場所提供情報が格納されているデータベースを検索し、前記検索条件に合致する前記場所提供情報を抽出する工程と、
抽出した前記場所提供情報に記載されている前記場所の名称及び前記場所の位置情報とともに、前記場所に関する情報の取得先となった媒体の情報が含まれる前記付加情報を提供する工程と
をコンピュータが実行する情報提供方法。 The process of getting information about places that the user is interested in,
Using the acquired information about the place, a process of creating a place providing information in which the name of the place, the position information of the place, and the additional information about the behavior of the user who acquired the information about the place are associated with each other.
The process of acquiring the user's location information and
A process of searching a database in which a plurality of the location-provided information is stored using the acquired search condition based on the location information, and extracting the location-provided information that matches the search condition.
The computer performs a process of providing the additional information including the information of the medium from which the information about the place is acquired together with the name of the place and the position information of the place described in the extracted information provided at the place. Information provision method to be executed.
取得した前記場所に関する情報を用いて、前記場所の名称、前記場所の位置情報、及び前記場所に関する情報を取得した前記ユーザの行動に関する付加情報を関連付けた場所提供情報を作成するステップと、
ユーザの位置情報を取得するステップと、
取得した前記位置情報に基づく検索条件を用いて複数の前記場所提供情報が格納されているデータベースを検索し、前記検索条件に合致する前記場所提供情報を抽出するステップと、
抽出した前記場所提供情報に記載されている前記場所の名称及び前記場所の位置情報とともに、前記場所に関する情報の取得先となった媒体の情報が含まれる前記付加情報を提供するステップと
をコンピュータに実行させるための情報提供プログラム。 Steps to get information about where the user is interested,
Using the acquired information about the place, a step of creating a place providing information associated with the name of the place, the location information of the place, and additional information about the behavior of the user who acquired the information about the place, and
Steps to get the user's location information
A step of searching a database in which a plurality of the location-provided information is stored using the acquired search condition based on the location information, and extracting the location-provided information that matches the search condition.
The computer is provided with a step of providing the additional information including the information of the medium from which the information about the place is acquired , together with the name of the place and the location information of the place described in the extracted information provided at the place. An information providing program to be executed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019008290A JP6948353B2 (en) | 2019-01-22 | 2019-01-22 | Information processing system, information provision method, and information provision program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019008290A JP6948353B2 (en) | 2019-01-22 | 2019-01-22 | Information processing system, information provision method, and information provision program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020119125A JP2020119125A (en) | 2020-08-06 |
JP6948353B2 true JP6948353B2 (en) | 2021-10-13 |
Family
ID=71890801
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019008290A Active JP6948353B2 (en) | 2019-01-22 | 2019-01-22 | Information processing system, information provision method, and information provision program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6948353B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004295198A (en) * | 2003-03-25 | 2004-10-21 | Zenrin Co Ltd | Device for extracting position data |
JP2006031441A (en) * | 2004-07-16 | 2006-02-02 | Sony Corp | Information processing system, information processor and method, recording medium, and program |
JP5095321B2 (en) * | 2007-09-11 | 2012-12-12 | クラリオン株式会社 | Sightseeing information display device, navigation device, and sightseeing information display system |
JP2011113116A (en) * | 2009-11-24 | 2011-06-09 | Canvas Mapple Co Ltd | Information providing device |
-
2019
- 2019-01-22 JP JP2019008290A patent/JP6948353B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020119125A (en) | 2020-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9195765B2 (en) | Method and apparatus for presenting content | |
US9305101B2 (en) | Search assistant for digital media assets | |
JP4062908B2 (en) | Server device and image display device | |
US10104024B2 (en) | Apparatus, method, and computer program for providing user reviews | |
WO2009073552A2 (en) | Video object tag creation and processing | |
WO2023134407A1 (en) | Content search method, apparatus and device, and medium | |
JP2011180729A (en) | Information processing apparatus, keyword registration method, and program | |
JP2009265771A (en) | Information providing system, information processor, information providing device, information processing method, information providing method, information processing program, information providing program, and information recording medium or the like | |
KR20130092500A (en) | System and method for providing advertising by using user interest information | |
JPWO2016185557A1 (en) | Information processing apparatus, information processing method, and program | |
JP6799655B1 (en) | User interface methods, terminal programs, terminal devices, and advertising systems | |
JP6948353B2 (en) | Information processing system, information provision method, and information provision program | |
KR20090035989A (en) | Contents acquisition system and method of operating the system | |
WO2019167698A1 (en) | Program for posting application | |
JP2013164773A (en) | Information service system, communication device, information service method, and program | |
JP2007156687A (en) | Retrieval server and retrieval method | |
JP7426176B2 (en) | Information processing system, information processing method, information processing program, and server | |
JP4080815B2 (en) | Service information provision method | |
CN114579026A (en) | Method for information processing, electronic equipment and computer storage medium | |
JP2011187001A (en) | Guide information providing device, guide information providing method, and guide information providing program | |
JP2007104326A (en) | Content creating device and content creating method | |
KR100950070B1 (en) | Apparatus and method for authoring travel information content and apparatus for reproducing the same content | |
KR101082928B1 (en) | System for providing moving pictures on the basis of a user and its method | |
JP2007531104A (en) | Specific part extraction system for content | |
JP7246289B2 (en) | Information processing device and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210917 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6948353 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |