JP7354172B2 - 情報提供装置、情報提供方法および情報提供プログラム - Google Patents

情報提供装置、情報提供方法および情報提供プログラム Download PDF

Info

Publication number
JP7354172B2
JP7354172B2 JP2021045191A JP2021045191A JP7354172B2 JP 7354172 B2 JP7354172 B2 JP 7354172B2 JP 2021045191 A JP2021045191 A JP 2021045191A JP 2021045191 A JP2021045191 A JP 2021045191A JP 7354172 B2 JP7354172 B2 JP 7354172B2
Authority
JP
Japan
Prior art keywords
image
vehicle
information
road
superimposed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021045191A
Other languages
English (en)
Other versions
JP2022144270A (ja
Inventor
孝太 坪内
秀仁 五味
照彦 寺岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2021045191A priority Critical patent/JP7354172B2/ja
Publication of JP2022144270A publication Critical patent/JP2022144270A/ja
Application granted granted Critical
Publication of JP7354172B2 publication Critical patent/JP7354172B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、情報提供装置、情報提供方法および情報提供プログラムに関する。
従来、車両のフロントガラスに所定の情報を表示して運転者の運転を支援する技術が提案されている。
特許第6711295号公報
しかしながら、従来技術では、運転中の利用者の緊張を和らげる点で更なる改善の余地があった。
本願は、上記に鑑みてなされたものであって、運転中の利用者の緊張を和らげることができる情報提供装置、情報提供方法および情報提供プログラムを提供することを目的とする。
本願に係る情報提供装置は、取得部と、算出部と、提供部とを備える。前記取得部は、車両を運転中の利用者の視野を示す視野画像を取得する。前記算出部は、前記視野画像から抽出される対象物に対する運転時の心理的障害の強さを示す心理スコアを算出する。前記提供部は、前記算出部によって算出された前記心理スコアに基づいて、前記対象物の代替となる代替物を、前記視野画像における前記対象物に重畳した重畳画像を提供する。
実施形態の一態様によれば、運転中の利用者の緊張を和らげることができるという効果を奏する。
図1は、実施形態に係る情報提供処理の一例を示す図である。 図2は、実施形態に係る情報提供処理の一例を示す図である。 図3は、実施形態に係る情報提供システムの一例を示す図である。 図4は、実施形態に係る走行済道路データベースの一例を示す図である。 図5は、実施形態に係る代替物データベースの一例を示す図である。 図6は、実施形態に係る第1処理部の構成の一例を示す図である。 図7は、実施形態に係る第2処理部の構成の一例を示す図である。 図8は、実施形態に係る第1処理部によって実行される処理の一例を示すフローチャートである。 図9は、実施形態に係る第2処理部によって実行される処理の一例を示すフローチャートである。 図10は、ハードウェア構成の一例を示す図である。
以下に、本願に係る情報提供装置、情報提供方法および情報提供プログラムを実施するための形態(以下、「実施形態」と記載する)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報提供装置、情報提供方法および情報提供プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
(実施形態)
〔情報提供処理の概要〕
まず、図1および図2を参照して、本開示の例示的な実施形態について詳細に説明する。図1および図2は、実施形態に係る情報提供処理の一例を示す図である。情報提供処理は、情報提供装置が情報提供方法を実行することで行われる処理である。
〔図1に示す情報提供処理〕
まず、図1に示す情報提供処理について説明する。図1に示す情報提供処理は、車両Cを運転中の利用者が初めての道路を走行する場合に、いつも走行している他の道路の画像を表示することで、利用者が初めての道路でも安心していつも通りの運転を行えるようにできるものである。
また、図1に示すように、利用者は、利用者端末500を装着しており、利用者端末500が有する不図示の表示部を介して各種画像を見ることができる。
まず、情報提供装置100は、利用者が運転中の車両Cが走行している道路(以下、走行中道路)の特徴に関する道路特徴情報を取得する(ステップS1)。道路特徴情報は、例えば、道路の形状や、大きさ(道路幅)、路面状態(凹凸や濡れ、凍結等)、混雑状況(歩行者や駐停車を含む)等を含んだ情報である。また、道路特徴情報は、道路の形状や、大きさ(道路幅)、路面状態(凹凸や濡れ、凍結等)、混雑状況等に基づいた運転の難易度に関する難易度情報を含んでもよい。
なお、道路特徴情報は、利用者端末500や車両Cに搭載された車載装置(ナビゲーション装置等)に予め記憶された情報であってもよく、利用者端末500や車載装置によって推定された情報であってもよい。あるいは、道路特徴情報は、不図示のサーバ装置から取得されてもよい。
つづいて、情報提供装置100は、利用者の視野を示す視野画像を取得する(ステップS2)。例えば、情報提供装置100は、利用者端末500が有する不図示のカメラや、車両Cに取り付けられたカメラによって撮像された画像を視野画像として取得する。
つづいて、情報提供装置100は、利用者が既に走行した道路(以下、走行済道路)に関する走行済道路データベースの中から、利用者が過去に走行した頻度が所定の閾値以上である走行済道路で、走行中道路の特徴(道路特徴情報)と類似する走行済道路を選択する(ステップS3)。
つづいて、情報提供装置100は、ステップS3で選択した走行済道路のうち、走行中道路よりも難易度が高い走行済道路を選択する(ステップS4)。これにより、後段において走行済道路の画像を走行中道路に重ねて表示することで、走行済道路の難易度が高いことにより走行中道路の難易度が相対的に低く感じさせることができるため、利用者が焦ることなく落ち着いて走行することができる。つづいて、情報提供装置100は、ステップS4で選択した走行済道路のうち、走行中道路の道路特徴情報を包含する走行済道路を選択する(ステップS5)。例えば、情報提供装置100は、走行中道路の道路幅よりも広い道路幅の走行済道路や、走行中道路のカーブにおけるR値よりも低いR値のカーブである走行済道路を選択する。また、例えば、情報提供装置100は、走行中道路の制限速度よりも速い制限速度の走行済道路を選択する。
つづいて、情報提供装置100は、選択した走行済道路の画像を、視野画像の走行中道路の領域に重畳したAR(Augmented Reality)画像を生成する(ステップS6)。なお、AR画像は、走行中道路または走行済道路のいずれか一方を透過させた画像である。あるいは、AR画像は、走行中道路をDR(Diminished Reality)技術により消去して、走行済道路の画像のみとしてもよい。
そして、情報提供装置100は、生成したAR画像を利用者端末500へ提供する(ステップS7)。そして、利用者端末500は、不図示の表示部を介して車両Cのウインドウ領域C100であるフロントガラスの領域にAR画像を表示する(ステップS8)。図1に示す例では、側方に建物が存在する走行中道路の画像(視野画像)を、側方に木が存在する走行済道路に置き換えたAR画像を表示した例を示している。なお、利用者端末500の表示部によりAR画像を表示する場合に限らず、ウインドウ領域C100にAR画像を直接投影可能な装置によりAR画像を表示してもよい。
このように、実施形態に係る情報提供装置100によれば、利用者が初めて走行する走行中道路を、いつも走行している走行済道路の画像に置き換える(重畳する)ことで、利用者は初めて走行する道路を、いつも走行している道路を走行する気分で安心して走行することができる。
なお、同じ走行済道路であっても、道路の状況毎に異なる難易度が存在してもよい。例えば、同じ走行済道路を、「晴れ・空いている」、「晴れ・混雑」、「雨・空いている」、「雨・混雑」のように、異なる難易度の走行済道路が存在してもよい。かかる走行済道路は、例えば、コンピュータグラフィック(CG)等により難易度を調整する画像が重畳されてもよい。また、難易度の調整方法として、例えば、道路に存在する建物等をCG等で増やすことで難易度を調整してもよい。
なお、走行済道路は、実際の道路に限定されるものではなく、例えば、レーシングゲームのサーキット場のようなコンピュータグラフィックで作成したゲーム道路であってもよい。このようなゲーム道路を走行済道路としたAR画像を生成して表示することで、利用者はゲームをクリアするような感覚で安心して走行することができる。
また、情報提供装置100は、視野画像以外にも、楽曲等の環境音や、視野画像における輝度を取得してもよい。かかる場合、情報提供装置100は、AR画像とともに、実際の音量よりも小さい音量の環境音を出力する。これにより、利用者の運転に対する集中力高めることができる。また、情報提供装置100は、AR画像の輝度を、視野画像の実際の輝度よりも低下させる。これにより、例えば、対向車線のヘッドライトが眩しい場合に光を低減する(輝度を低下させる)ことで、光による運転の妨げを抑制することができる。
〔図2に示す情報提供処理〕
次に、図2に示す情報提供処理について説明する。図2に示す情報提供処理は、車両Cを運転中の利用者が、例えば、スポーツカー等のような心理的障害の度合いが大きい(緊張感が高い)対象物の近くを走行する場合に、例えば、軽自動車等の心理的障害の度合いが小さい代替物に置き換えて表示することで、利用者の運転時における緊張感を和らげるものである。
具体的には、まず、情報提供装置100は、利用者の視野を示す視野画像を取得する(ステップS11)。例えば、情報提供装置100は、利用者端末500が有する不図示のカメラや、車両Cに取り付けられたカメラによって撮像された画像を視野画像として取得する。
つづいて、情報提供装置100は、取得した視野画像から所定の対象物を抽出する(ステップS12)。例えば、情報提供装置100は、画像解析により、例えば、人や車両等の予め指定されたカテゴリの対象物を抽出する。また、情報提供装置100は、車両Cが走行する道路の近くに存在する対象物、すなわち、車両Cが対象物に接近する可能性がある対象物を抽出する。図2に示す例では、左側方に停車している対象車両を対象物として抽出したとする。なお、抽出する対象物の数は、2つ以上であってもよい。そして、情報提供装置100は、画像解析により、抽出した対象物の種別を特定する。図2に示す例では、対象車両の種別がスポーツカーであることとする。
つづいて、情報提供装置100は、抽出した対象物毎に、利用者の対象物に対する運転時の心理的障害の強さを示す心理スコアを算出する(ステップS13)。心理スコアは、例えば、過去に対象物を通過した際の生体情報(心拍数や体温、視線等)に基づいて算出される。あるいは、心理スコアは、利用者の属性(年収や性格等)と、対象物の価値(図2ではスポールカーの車両価格)とに基づいて算出されてもよい。
つづいて、情報提供装置100は、対象物の心理スコアが所定の閾値以上である場合、予め記憶している代替物データベースの中から、対象物よりも心理スコアが低い代替物を選択する(ステップS14)。図2に示す例では、代替物データベースの物体ID「OB1」である軽自動車がスポーツカーよりも心理スコアが低いこととし、情報提供装置100は、代替物として軽自動車を選択したとする。
つづいて、情報提供装置100は、選択した代替物の画像を視野画像の対象物に重畳した重畳画像を生成する(ステップS15)。具体的には、情報提供装置100は、視野画像における対象物をDR(Diminished Reality)技術により消去するとともに、消去した対象物の位置に代替物の画像を重畳した重畳画像を生成する。
つづいて、情報提供装置100は、生成した重畳画像を利用者端末500へ提供する(ステップS16)。そして、利用者端末500は、不図示の表示部を介して車両Cのウインドウ領域C100であるフロントガラスの領域に重畳画像を表示する(ステップS17)。図2に示す例では、左側方に停車しているスポーツカーを軽自動車に置換した重畳画像を表示した例を示している。
これにより、利用者は、実際にはスポーツカーを横切る場面であっても、重畳画像により軽自動車を横切るよう錯覚する、換言すれば、実際の対象物よりも心理的障害の強さが低い代替物を横切るよう錯覚するため、緊張することなくいつも通りの運転を行うことができる。すなわち、実施形態に係る情報提供装置100によれば、運転中の利用者の緊張を和らげることができる。
なお、図2では、対象物よりも心理スコアが低い代替物を重畳する場合を示したが、対象物よりも心理スコアが高い代替物を重畳してもよい。例えば、利用者が長時間運転や眠そうな場合に、警察車両等の心理スコアが高い代替物を重畳してもよい。つまり、情報提供装置100は、心理スコアに基づいて代替物を重畳した重畳画像を提供する。また、情報提供装置100は、重畳画像とともに、代替物に応じた音を出力するようにしてもよい。例えば、代替物として警察車両を重畳する場合に、警察車両のサイレン音を出力するようにしてもよい。
なお、図2では、対象物であるスポーツカーを、軽自動車の代替物で代替(画像を重畳)する場合、すなわち、車両の種別を変えた代替物で代替する場合を示したが、例えば、対象物である鮮やかな色(ビビッドカラー)のスポーツカーから、落ち着いた色(ダーク系の色)のスポーツカーの代替物で代替してもよい。
以下、このような情報提供処理を行う情報提供装置100について詳細に説明する。
〔情報提供システム〕
次に、図3を参照して、情報提供装置100を含むシステムの構成例について説明する。
〔情報提供システムの構成要素〕
図3は、実施形態に係る情報提供システム1の一例を示す図である。図3に示されるように、情報提供システム1は、情報提供装置100および利用者端末500等の構成要素を含む。なお、図1や図2中では図示していないが、情報提供システム1は、複数台の情報提供装置100や、複数台の利用者端末500を含んでもよい。また、情報提供システム1は、情報提供装置100に関係するエンティティ(例えば、業者、エンドユーザ)の装置や、各種情報(道路特徴情報データベースや、走行済道路データベース、代替物データベース)を提供するサーバ、車載装置等の、他の構成要素を含んでもよい。
情報提供システム1において、情報提供装置100および利用者端末500は、それぞれネットワークNと有線又は無線により接続される。ネットワークNは、例えば、インターネット、WAN(Wide Area Network)、LAN(Local Area Network)等のネットワークである。情報提供システム1の構成要素は、ネットワークNを介して互いに通信を行うことができる。
情報提供装置100は、車両Cを運転中の利用者に対して上記したAR画像や重畳画像を提供するための処理を実行するサーバである。情報提供装置100は、サーバを含む、任意のタイプの情報提供装置であってもよい。複数台の情報提供装置100が、ウェブサーバ、アプリケーションサーバ、データベースサーバ等の各種サーバの機能をそれぞれ提供してもよい。情報提供装置100の構成例の詳細については、後述する。
利用者端末500は、利用者によって利用される情報処理装置である。利用者端末500は、インターネット上の各種サービス(例えば、ポータルサイト、ポータルアプリ)を介して、情報提供装置100へ各種情報を送信することができる。また、利用者端末500は、この各種サービスを介して、情報提供装置100から上記したAR画像や重畳画像を受信して不図示の表示部に表示することができる。利用者端末500は、例えば、メガネ型やゴーグル型の端末装置、スマートフォン、デスクトップ型PC、ノート型PC、タブレット型PC等の装置を含む、任意のタイプの情報処理装置であってもよい。
〔情報提供装置の構成〕
図3に示されるように、情報提供装置100は、通信部200と、記憶部300と、制御部400とを有する。なお、情報提供装置100は、情報提供装置100を利用する管理者等から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示するための表示部(液晶ディスプレイ等)を有してもよい。
(通信部200)
通信部200は、例えば、NIC(Network Interface Card)等によって実現される。通信部200は、有線または無線によりネットワーク網と接続される。通信部200は、利用者端末500に、ネットワークNを介して、通信可能に接続されてもよい。通信部200は、利用者端末500との間で、ネットワーク網を介して、情報の送受信を行うことができる。
(記憶部300)
記憶部300は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図3に示されるように、記憶部300は、走行済道路データベース310と、代替物データベース320とを有する。
(走行済道路データベース310)
図4は、実施形態に係る走行済道路データベース310の一例を示す図である。走行済道路データベース310は、利用者が過去に走行した走行済道路に関する情報を記憶する。
図4の例では、走行済道路データベース310は、「道路ID」、「頻度」、「道路特徴情報」等の項目を有する。走行済道路データベース310は、利用者毎のデータセットとして記憶される。
「道路ID」は、道路を識別するための識別子を示す。「頻度」は、利用者が過去に道路を走行した頻度を示す。「道路特徴情報」は、道路の特徴に関する情報を示す。
例えば、図4は、道路ID「R01」で識別される道路を、利用者が頻度「頻度#1」で走行していることを示している。また、道路ID「R01」で識別される道路は、道路特徴情報「道路特徴情報#1」を有していることを示している。道路ID「R01」は、例えば、所定の文字列である。頻度「頻度#1」は、例えば、所定期間単位(日単位、月単位、年単位等)での走行頻度であってもよく、過去に走行した総回数であってもよい。また、道路特徴情報「道路特徴情報#1」は、道路の特徴に関する文字列や数値等である。
(代替物データベース320)
図5は、実施形態に係る代替物データベース320の一例を示す図である。代替物データベース320は、代替物に関する情報を記憶する。図5の例では、代替物データベース320は、「物体ID」、「種別」、「心理スコア」等の項目を有する。
「物体ID」は、代替物である物体を識別するための識別子を示す。「種別」は、代替物である物体の種別を示す。「心理スコア」は、代替物が実際に道路に存在した場合に利用者が受ける心理的障害の強さを示す。
例えば、図5は、物体ID「OB1」で識別される代替物が、種別「軽自動車」であり、心理スコア「心理スコア#1」であることを示している。物体ID「OB1」は、例えば、所定の文字列である。心理スコア「心理スコア#1」は、例えば、数値等のスコアであってもよく、「強」または「弱」等の文字列であってもよい。
(制御部400)
制御部400は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等のプロセッサによって、情報提供装置100内部の記憶装置に記憶されている各種プログラム(判定プログラムの一例に相当)がRAM等を作業領域として実行されることにより実現される。また、制御部400は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、GPGPU(General Purpose Graphic Processing Unit)等の集積回路により実現されてもよい。
制御部400は、図3に示されるように、第1処理部410と、第2処理部420とを有し、以下に説明する情報処理の機能や作用を実現又は実行する。また、制御部400は、図1および図2を参照して上述した情報提供処理を実現することができる。情報提供装置100の1つまたは複数のプロセッサは、情報提供装置100の1つまたは複数のメモリに記憶された命令を実行することによって、制御部400内の各制御部の機能を実現することができる。なお、制御部400の内部構成は、図3に示した構成に限られず、後述する情報提供処理を行う構成であれば他の構成であってもよい。例えば、第1処理部410は、第1処理部410以外の部に関して後述する情報提供処理の全部または一部を行ってもよい。
(第1処理部410)
図6は、実施形態に係る第1処理部410の構成の一例を示す図である。第1処理部410は、図1に示した情報提供処理を行う処理部であり、例えば、走行中道路よりも難易度が高い等の所定の条件を満たした走行済道路に基づくコンテンツを提供することができる。
第1処理部410は、図6に示されるように、取得部411と、選択部412と、生成部413と、提供部414とを有する。なお、第1処理部410の内部構成は、図6に示した構成に限られず、後述する情報提供処理を行う構成であれば他の構成であってもよい。例えば、生成部413は、生成部413以外の部に関して後述する情報提供処理の全部または一部を行ってもよい。
取得部411は、各種情報を取得する。例えば、取得部411は、利用者が運転中の車両Cが走行している走行中道路の特徴に関する道路特徴情報を取得する。走行中道路とは、車両Cが現在位置している道路であってもよく、例えば、ナビゲーション装置によって設定された案内経路である走行予定の道路であってもよい。道路特徴情報は、例えば、道路の形状や、大きさ(道路幅)、路面状態(凹凸や濡れ、凍結等)、混雑状況等を含んだ情報である。また、道路特徴情報は、道路の形状や、大きさ(道路幅)、路面状態(凹凸や濡れ、凍結等)、混雑状況等に基づいた運転の難易度に関する難易度情報を含んでもよい。
道路特徴情報は、利用者端末500や車両Cに搭載された車載装置(ナビゲーション装置等)に予め記憶された情報であってもよく、利用者端末500や車載装置によって推定された情報であってもよい。あるいは、道路特徴情報は、不図示のサーバ装置から取得されてもよい。
取得部411は、取得した走行中道路の道路特徴情報を走行済道路の道路特徴情報として走行済道路データベース310に登録する。なお、取得部411は、走行中道路の道路特徴情報が走行済道路として既に走行済道路データベース310に登録されていた場合、かかる走行済道路の頻度を更新する。
また、取得部411は、利用者の視野を示す視野画像を取得する。例えば、取得部411は、利用者端末500が有するカメラの画像を視野画像として取得する。なお、視野画像は、利用者が現在見ている方向の画像に限らず、見ることができるすべての範囲(例えば、360度)の画像であってもよい。
選択部412は、取得部411によって取得された走行中道路の道路特徴情報に基づいて、所定の条件を満たす走行済道路を走行済道路データベース310の中から選択する。具体的には、選択部412は、利用者が過去に走行した頻度が所定の閾値以上である走行済道路のうち、走行中道路の特徴と類似する走行済道路を選択する。また、選択部412は、走行中道路よりも難易度が高い走行済道路を選択する。また、選択部412は、走行中道路の道路特徴情報を包含する走行済道路を選択する。例えば、選択部412は、走行中道路の道路幅よりも広い道路幅の走行済道路や、走行中道路のカーブにおけるR値よりも低いR値のカーブである走行済道路を選択する。また、例えば、情報提供装置100は、走行中道路の制限速度よりも速い制限速度の走行済道路を選択する。
生成部413は、選択部412によって選択された走行済道路の画像を、取得部411が取得した視野画像に重畳した画像を生成する。重畳した画像は、例えば、仮想空間であるAR空間に表示可能なAR画像である。走行済道路の画像は、例えば、利用者端末500が有するカメラで撮像された画像であってもよく、実画像を用いたマップ情報から取得してもよい。生成部413は、視野画像に走行済道路の画像を重畳する場合、視野画像における走行中道路に重なるように走行済道路の画像を重畳する。また、生成部413は、視野画像に走行済道路の画像を重畳した場合、走行中道路を消去してもよい。あるいは、生成部413は、走行中道路または走行済道路のいずれか一方を透過させてもよい。
提供部414は、選択部412によって選択された走行済道路に基づくコンテンツを提供する。例えば、提供部414は、生成部413によって生成されたAR画像を利用者端末500へ提供する。例えば、提供部414は、視野画像の走行中道路に走行済道路を重畳した画像を提供する。具体的には、提供部414は、視野画像における走行中道路に重なるように走行済道路が重畳された画像を提供する。また、提供部414は、視野画像に走行済道路の画像を重畳した画像において、走行中道路または走行済道路のいずれか一方を透過させる。
なお、提供部414によって提供されるAR画像は、車両Cのウインドウ領域C100に表示される画像である。つまり、提供部414は、車両Cのウインドウ領域C100に表示される画像を提供する。具体的には、提供部414は、視野画像からウインドウ領域C100を抽出し、抽出したウインドウ領域C100に含まれる走行中道路に走行済道路の画像を重畳した画像を提供する。なお、ウインドウ領域C100は、フロントウインドウに限らず、サイドウインドウや、バックウインドウ等であってもよい。また、提供部414によって提供される画像は、例えば、車両Cのバックミラーに表示されてもよい。
また、提供部414は、AR画像を提供する場合に限らず、例えば、ナビゲーション装置やウインドウ領域C100に「いつも通るA道路と似てますね」のようなテキスト通知(あるいは音声通知)が提供されてもよい。
(第2処理部420)
図7は、実施形態に係る第2処理部420の構成の一例を示す図である。第2処理部420は、図2に示した情報提供処理を行う処理部であり、視野画像から抽出される対象物の心理スコアよりも低い心理スコアの代替物を対象物に重畳した重畳画像を提供することで、運転中の利用者の緊張を和らげることができる。
第2処理部420は、図7に示されるように、取得部421と、算出部422と、生成部423と、提供部424とを有する。なお、第2処理部420の内部構成は、図7に示した構成に限られず、後述する情報提供処理を行う構成であれば他の構成であってもよい。例えば、算出部422は、算出部422以外の部に関して後述する情報提供処理の全部または一部を行ってもよい。
取得部421は、各種情報を取得する。取得部421は、利用者の視野を示す視野画像を取得する。例えば、取得部421は、利用者端末500が有するカメラの画像を視野画像として取得する。なお、視野画像は、利用者が現在見ている方向の画像に限らず、見ることができるすべての範囲(例えば、360度)の画像であってもよい。
また、取得部421は、利用者に関する利用者情報を取得する。利用者情報は、例えば、利用者の属性に関する属性情報を含む。属性情報は、例えば、性別、年齢、職業、年収等といったユーザの人口統計学的な属性であるデモグラフィック属性、価値観や、ライフスタイル、性格、好み等といったユーザの心理学的な情報であるサイコグラフィック属性を含む。また、利用者情報は、利用者の生体に関する生体情報を含む。生体情報は、例えば、利用者の心拍や、体温、発汗、視線方向、顔の表情の情報等を含む。なお、生体情報は、例えば、利用者端末500に備えられた各種センサによって検出可能である。
算出部422は、取得部421によって取得された視野画像から抽出される所定の対象物に対する運転時の心理的障害の強さを示す心理スコアを算出する。具体的には、算出部422は、まず、視野画像から対象物を抽出する。例えば、算出部422は、利用者によって指定されたカテゴリや予め設定されたカテゴリの対象物を抽出する。カテゴリは、例えば、人、車、動物、建物等のような対象物を抽象化したものである。例えば、算出部422は、パターン認識等の画像解析により所定のカテゴリの対象物を抽出する。つづいて、算出部422は、抽出した対象物の種別を特定する。対象物の種別は、例えば、人の場合、容姿の違い(性別、体格、服装等)であり、車の場合、車種(スポーツカー、軽自動車、普通車、トラック等)である。また、算出部422は、対象物の詳細情報を特定してもよい。詳細情報は、車の場合、トヨタ社のカローラ等といったメーカおよび車名の情報を含む。
そして、算出部422は、抽出した対象物の心理スコアを算出する。例えば、算出部422は、利用者が過去に同じ対象物の近くを走行した際の生体情報に基づいて心理スコアを算出してもよい。例えば、算出部422は、対象物の近くを走行した際の心拍が多いほど心理スコアが高くなるように算出する。また、算出部422は、心理スコアを出力するモデルを用いることができる。
かかるモデルは、例えば、利用者情報や対象物の情報を説明変数とし、心理スコア(管理者によって指定されたスコア、または、種別が同じ他の対象物の心理スコア)を目的変数として生成される。対象物の情報は、例えば、対象物のカテゴリや、種別、対象物の価値(車の場合は価格)等を含む。また、かかるモデルの説明変数として、上記した道路特徴情報が含まれてもよい。
あるいは、算出部422は、統計的手法により心理スコアを算出してもよい。例えば、算出部422は、対象物毎に所定の得点(プラス点および/またはマイナス点)を設定しておき、視野画像に含まれる全ての対象物の得点の合計を心理スコアとして算出してもよい。
また、かかる得点は、予め定められた値が設定されてもよく、利用者に応じて異なる値が設定されてもよい。
算出部422は、複数の対象物が抽出された場合には、対象物毎に心理スコアを算出する。そして、算出部422は、算出した対象物の心理スコアを代替物の心理スコアとして、代替物データベース320へ登録する。
生成部423は、視野画像における対象物に対して所定の代替物を重畳した重畳画像を生成する。具体的には、生成部423は、まず、算出部422によって算出された心理スコアが所定の閾値以上である対象物を抽出する。つづいて、生成部423は、抽出した対象物よりも心理スコアが低い代替物を代替物データベース320から選択する。なお、生成部423は、対象物が車両(以下、対象車両)である場合、対象車両と同じカテゴリで種別が異なる代替車両を選択する。また、生成部423は、対象物が人である場合、対象物の人とは容姿が異なる人の代替物を選択する。そして、生成部423は、選択した代替物を視野画像における対象物に重畳した重畳画像を生成する。具体的には、生成部423は、視野画像における対象物を消去するとともに、かかる対象物の位置に代替物の画像を重畳する。
また、生成部423は、対象車両に代替車両を重畳する場合において、対象車両と代替車両との大きさ(車幅や車長等)が異なる場合、利用者が運転する車両Cに近い側の端部が揃うように代替車両の画像を対象車両に重畳する。あるいは、生成部423は、車両Cとの距離が、対象車両よりも短くなるように代替車両の画像を重畳してもよい。
また、生成部423は、利用者の生体情報に応じた代替物を視野画像に重畳してもよい。具体的には、生成部423は、生体情報が所定の条件を満たす場合には、対象物よりも心理スコアが高い代替物を対象物に重畳した重畳画像を生成する。具体的には、生成部423は、生体情報から利用者が居眠り運転を行うと予測された場合には、例えば、普通車である対象物に対して、警察車両等の心理スコアが高い代替物を重畳する。これにより、利用者の緊張感が増すことで眠気を解消することができる。
提供部424は、生成部423によって生成された重畳画像を提供する。例えば、提供部424は、利用者端末500へ重畳画像を提供し、利用者端末500の表示部に表示させる。提供部424によって提供される重畳画像は、車両Cのウインドウ領域C100に表示される画像である。つまり、提供部424は、車両Cのウインドウ領域C100に表示される重畳画像を提供する。具体的には、提供部424は、視野画像からウインドウ領域C100を抽出し、抽出したウインドウ領域C100に含まれる対象物に代替物を重畳した重畳画像を提供する。なお、ウインドウ領域C100は、フロントウインドウに限らず、サイドウインドウや、バックウインドウ等であってもよい。また、提供部424によって提供される重畳画像は、例えば、車両Cのバックミラーに表示されてもよい。
〔第1処理部の処理フロー〕
次に、図8を参照して、実施形態に係る情報提供装置100の第1処理部410による処理の手順について説明する。図8は、実施形態に係る第1処理部410によって実行される処理の一例を示すフローチャートである。
図8に示すように、第1処理部410は、利用者が運転中の車両Cが走行する走行中道路の道路特徴情報を取得する(ステップS101)。
つづいて、第1処理部410は、利用者の視野を示す視野画像を取得する(ステップS102)。
つづいて、第1処理部410は、利用者が過去に走行した頻度が所定の閾値以上で、走行中道路と道路特徴情報が類似する走行済道路を選択する(ステップS103)。
つづいて、第1処理部410は、選択した走行済道路の中から、走行中道路よりも難易度が高い走行済道路を選択する(ステップS104)。
つづいて、第1処理部410は、選択した走行済道路の中から、走行中道路の道路特徴情報を包含する走行済道路を選択する(ステップS105)。
つづいて、第1処理部410は、選択した走行済道路の画像を視野画像の走行中道路に重畳した画像を生成する(ステップS106)。
つづいて、第1処理部410は、生成した画像を利用者端末500へ提供する(ステップS107)。
〔第2処理部の処理フロー〕
次に、図9を参照して、実施形態に係る情報提供装置100の第2処理部420による処理の手順について説明する。図9は、実施形態に係る第2処理部420によって実行される処理の一例を示すフローチャートである。
図9に示すように、第2処理部420は、まず、利用者の視野を示す視野画像を取得する(ステップS201)。
つづいて、第2処理部420は、視野画像から所定の対象物を抽出する(ステップS202)。
つづいて、第2処理部420は、抽出した対象物毎に心理スコアを算出する(ステップS203)。
つづいて、第2処理部420は、算出した心理スコアが閾値以上の対象物を抽出する(ステップS204)。
つづいて、第2処理部420は、抽出した対象物よりも心理スコアが低い代替物を選択する(ステップS205)。
つづいて、第2処理部420は、選択した代替物を対象物に重畳した重畳画像を生成する(ステップS206)。
つづいて、第2処理部420は、生成した重畳画像を利用者端末500へ提供する(ステップS207)。
〔その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の一部を手動的に行うこともできる。あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
例えば、図3に示した記憶部300の一部又は全部は、情報提供装置100によって保持されるのではなく、ストレージサーバ等に保持されてもよい。この場合、情報提供装置100は、ストレージサーバにアクセスすることで、各種情報を取得する。
〔ハードウェア構成〕
また、上述してきた実施形態に係る情報提供装置100は、例えば図10に示すような構成のコンピュータ1000によって実現される。図10は、ハードウェア構成の一例を示す図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力IF(Interface)1060、入力IF1070、ネットワークIF1080がバス1090により接続された形態を有する。
演算装置1030は、一次記憶装置1040や二次記憶装置1050に格納されたプログラムや入力装置1020から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置1040は、RAM等、演算装置1030が各種の演算に用いるデータを一時的に記憶するメモリ装置である。また、二次記憶装置1050は、演算装置1030が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等により実現される。
出力IF1060は、モニタやプリンタといった各種の情報を出力する出力装置1010に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、USB(Universal Serial Bus)やDVI(Digital Visual Interface)、HDMI(登録商標)(High Definition Multimedia Interface)といった規格のコネクタにより実現される。また、入力IF1070は、マウス、キーボード、およびスキャナ等といった各種の入力装置1020から情報を受信するためのインタフェースであり、例えば、USB等により実現される。
なお、入力装置1020は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置1020は、USBメモリ等の外付け記憶媒体であってもよい。
ネットワークIF1080は、ネットワークNを介して他の機器からデータを受信して演算装置1030へ送り、また、ネットワークNを介して演算装置1030が生成したデータを他の機器へ送信する。
演算装置1030は、出力IF1060や入力IF1070を介して、出力装置1010や入力装置1020の制御を行う。例えば、演算装置1030は、入力装置1020や二次記憶装置1050からプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行する。
例えば、コンピュータ1000が情報提供装置100として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラムを実行することにより、制御部400の機能を実現する。
〔効果〕
上述してきたように、実施形態に係る情報提供装置100は、取得部411と、選択部412と、提供部414とを備える。取得部411は、利用者が運転中の車両Cが走行している走行中道路の特徴に関する道路特徴情報を取得する。選択部412は、利用者が過去に走行した頻度が所定の閾値以上である走行済道路のうち、走行中道路の特徴と類似する走行済道路を選択する。提供部414は、選択部412によって選択された走行済道路に基づくコンテンツを提供する。また、道路特徴情報は、道路の状態に基づく運転の難易度に関する情報を含む。選択部412は、走行中道路よりも難易度が高い走行済道路を選択する。選択部412は、走行中道路の道路特徴情報を包含する道路特徴情報の走行済道路を選択する。車両Cは、利用者の視野にコンテンツを表示する表示部C100を有する。提供部414は、走行中道路と重なるように表示部C100に表示される走行済道路の画像を提供する。取得部411は、利用者の視野を示す視野画像をさらに取得する。提供部414は、視野画像における走行中道路に走行済道路を重畳させた画像を提供する。提供部414は、走行中道路または走行済道路のいずれか一方を透過させた画像を提供する。表示部C100は、AR(Augmented Reality)画像が表示可能である。提供部414は、画像として、AR画像を表示する。提供部414は、車両Cのウインドウ領域C100に表示される画像を提供する。このような構成により、利用者が安心して運転することができる。
また、上述してきたように、実施形態に係る情報提供装置100は、取得部421と、算出部422と、提供部424とを備える。取得部421は、車両Cを運転中の利用者の視野を示す視野画像を取得する。算出部422は、視野画像から抽出される対象物に対する運転時の心理的障害の強さを示す心理スコアを算出する。提供部424は、算出部422によって算出された心理スコアに基づいて、対象物の代替となる代替物を、視野画像における対象物に重畳した重畳画像を提供する。また、対象物は、所定の種別の対象車両である。提供部424は、代替物として、対象車両とは種別が異なる代替車両を対象車両に重畳した重畳画像を提供する。また、提供部424は、対象車両および代替車両の大きさが異なる場合、車両Cに近い側の端部が揃うように、代替車両を対象車両に重畳した重畳画像を提供する。また、提供部424は、車両Cとの距離が、対象車両よりも短くなるように代替車両を対象車両に重畳した重畳画像を提供する。また、対象物は、人である。提供部424は、対象物の人とは容姿が異なる人の代替物を対象物に重畳した重畳画像を提供する。また、取得部421は、利用者の運転中における生体情報をさらに取得する。また、提供部424は、生体情報に応じた代替物を視野画像における対象物に重畳した重畳画像を提供する。表示部C100は、AR(Augmented Reality)画像が表示可能である。提供部424は、重畳画像として、AR画像を提供する。また、表示部C100は、車両Cのウインドウ領域C100またはバックミラー領域である。このような構成により、運転中の利用者の緊張を和らげることができる。
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
〔その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上述してきた実施形態に記載した各処理は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
また、上記してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、第1処理部410は、第1処理手段や第1処理回路に読み替えることができる。
1 情報提供システム
100 情報提供装置
200 通信部
300 記憶部
310 走行済道路データベース
320 代替物データベース
400 制御部
410 第1処理部
411、421 取得部
412 選択部
413、423 生成部
414、424 提供部
420 第2処理部
422 算出部
500 利用者端末
C 車両
N ネットワーク

Claims (10)

  1. 車両を運転中の利用者の視野を示す視野画像を取得する取得部と、
    前記視野画像から抽出される対象物に対する運転時の心理的障害の強さを示す心理スコアを算出する算出部と、
    前記算出部によって算出された前記心理スコアに基づいて、前記対象物の代替となる代替物を、前記視野画像における前記対象物に重畳した重畳画像を提供する提供部と
    を備え
    前記算出部は、
    前記対象物の価値に基づいて前記心理スコアを算出すること
    を特徴とする情報提供装置。
  2. 前記対象物は、
    所定の種別の対象車両であり、
    前記提供部は、
    前記代替物として、前記対象車両とは前記種別が異なる代替車両を前記対象車両に重畳した前記重畳画像を提供すること
    を特徴とする請求項1に記載の情報提供装置。
  3. 前記提供部は、
    前記対象車両および前記代替車両の大きさが異なる場合、前記車両に近い側の端部が揃うように、前記代替車両を前記対象車両に重畳した前記重畳画像を提供すること
    を特徴とする請求項2に記載の情報提供装置。
  4. 前記提供部は、
    前記車両との距離が、前記対象車両よりも短くなるように前記代替車両を前記対象車両に重畳した前記重畳画像を提供すること
    を特徴とする請求項2または3に記載の情報提供装置。
  5. 前記対象物は、
    人であり、
    前記提供部は、
    前記対象物の前記人とは容姿が異なる前記人の前記代替物を前記対象物に重畳した前記重畳画像を提供すること
    を特徴とする請求項1~4のいずれか1つに記載の情報提供装置。
  6. 前記取得部は、
    前記利用者の運転中における生体情報をさらに取得し、
    前記提供部は、
    前記生体情報に応じた前記代替物を前記視野画像における前記対象物に重畳した前記重畳画像を提供すること
    を特徴とする請求項1~5のいずれか1つに記載の情報提供装置。
  7. 前記提供部は、
    前記重畳画像として、AR(Augmented Reality)画像を提供すること
    を特徴とする請求項1~6のいずれか1つに記載の情報提供装置。
  8. 前記提供部は、
    前記車両のウインドウ領域またはバックミラー領域に表示される前記AR画像を提供すること
    を特徴とする請求項7に記載の情報提供装置。
  9. コンピュータが実行する情報提供方法であって、
    車両を運転中の利用者の視野を示す視野画像を取得する取得工程と、
    前記視野画像から抽出される対象物に対する運転時の心理的障害の強さを示す心理スコアを算出する算出工程と、
    前記算出工程によって算出された前記心理スコアに基づいて、前記対象物の代替となる代替物を、前記視野画像における前記対象物に重畳した重畳画像を提供する提供工程と
    を含み、
    前記算出工程は、
    前記対象物の価値に基づいて前記心理スコアを算出すること
    を特徴とする情報提供方法。
  10. 車両を運転中の利用者の視野を示す視野画像を取得する取得手順と、
    前記視野画像から抽出される対象物に対する運転時の心理的障害の強さを示す心理スコアを算出する算出手順と、
    前記算出手順によって算出された前記心理スコアに基づいて、前記対象物の代替となる代替物を、前記視野画像における前記対象物に重畳した重畳画像を提供する提供手順と
    をコンピュータに実行させ
    前記算出手順は、
    前記対象物の価値に基づいて前記心理スコアを算出すること
    を特徴とする情報提供プログラム。
JP2021045191A 2021-03-18 2021-03-18 情報提供装置、情報提供方法および情報提供プログラム Active JP7354172B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021045191A JP7354172B2 (ja) 2021-03-18 2021-03-18 情報提供装置、情報提供方法および情報提供プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021045191A JP7354172B2 (ja) 2021-03-18 2021-03-18 情報提供装置、情報提供方法および情報提供プログラム

Publications (2)

Publication Number Publication Date
JP2022144270A JP2022144270A (ja) 2022-10-03
JP7354172B2 true JP7354172B2 (ja) 2023-10-02

Family

ID=83454536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021045191A Active JP7354172B2 (ja) 2021-03-18 2021-03-18 情報提供装置、情報提供方法および情報提供プログラム

Country Status (1)

Country Link
JP (1) JP7354172B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150475A (ja) 2010-01-20 2011-08-04 Toyota Motor Corp 周辺監視装置
JP2016159658A (ja) 2015-02-26 2016-09-05 株式会社デンソー 情報表示装置
JP2017068761A (ja) 2015-10-01 2017-04-06 日産自動車株式会社 情報提示装置、走行支援システム、及び情報提示方法
WO2018230530A1 (ja) 2017-06-16 2018-12-20 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
JP2019121321A (ja) 2018-01-11 2019-07-22 三菱自動車工業株式会社 運転支援装置
JP2019125190A (ja) 2018-01-17 2019-07-25 トヨタ自動車株式会社 車両用表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150475A (ja) 2010-01-20 2011-08-04 Toyota Motor Corp 周辺監視装置
JP2016159658A (ja) 2015-02-26 2016-09-05 株式会社デンソー 情報表示装置
JP2017068761A (ja) 2015-10-01 2017-04-06 日産自動車株式会社 情報提示装置、走行支援システム、及び情報提示方法
WO2018230530A1 (ja) 2017-06-16 2018-12-20 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
JP2019121321A (ja) 2018-01-11 2019-07-22 三菱自動車工業株式会社 運転支援装置
JP2019125190A (ja) 2018-01-17 2019-07-25 トヨタ自動車株式会社 車両用表示装置

Also Published As

Publication number Publication date
JP2022144270A (ja) 2022-10-03

Similar Documents

Publication Publication Date Title
US20220164026A1 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
US11067405B2 (en) Cognitive state vehicle navigation based on image processing
US11292477B2 (en) Vehicle manipulation using cognitive state engineering
US9976867B2 (en) Navigation method based on a see-through head-mounted device
US20210097408A1 (en) Systems and methods for using artificial intelligence to present geographically relevant user-specific recommendations based on user attentiveness
DE102015108416A1 (de) Auf Benutzerverhaltensmustern basierende adaptive navigations-und standortbasierte Dienste
WO2020152678A1 (en) Detection of cognitive state of a driver
KR20170107373A (ko) 상황에 따라 차량의 운전자와 상호 작용을 제공하는 시스템 및 방법
US20210284175A1 (en) Non-Intrusive In-Vehicle Data Acquisition System By Sensing Actions Of Vehicle Occupants
WO2017021318A1 (de) Vorrichtung, fahrzeug, verfahren und computerprogramm zur berechnung zumindest eines video- oder steuersignals
EP3875299A1 (en) Attention-based notifications
JP2019043496A (ja) 自動運転調整装置、自動運転調整システム、及び自動運転調整方法
US20210077006A1 (en) Cognitive state-based seamless stimuli
JP6513913B2 (ja) 情報提示装置、方法及びプログラム
WO2021067380A1 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
Bernhard et al. The ups and downs of camera-monitor systems: The effect of camera position on rearward distance perception
JP7354172B2 (ja) 情報提供装置、情報提供方法および情報提供プログラム
JP7393375B2 (ja) 情報提供装置、情報提供方法および情報提供プログラム
WO2020208804A1 (ja) 表示制御装置、表示制御方法、及び表示制御プログラム
US9495871B2 (en) Display control device, display control method, non-transitory recording medium, and projection device
Sourelli et al. User preferences, driving context or manoeuvre characteristics? Exploring parameters affecting the acceptability of automated overtaking
US20220144284A1 (en) Systems and methods for limiting driver distraction
US20230168101A1 (en) Navigation Directions Preview
JP2012128654A (ja) 運転支援装置
Peralta et al. A methodology for generating driving styles for autonomous cars

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230920

R150 Certificate of patent or registration of utility model

Ref document number: 7354172

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350