JP6992336B2 - 表示制御装置、表示制御方法およびプログラム - Google Patents

表示制御装置、表示制御方法およびプログラム Download PDF

Info

Publication number
JP6992336B2
JP6992336B2 JP2017174227A JP2017174227A JP6992336B2 JP 6992336 B2 JP6992336 B2 JP 6992336B2 JP 2017174227 A JP2017174227 A JP 2017174227A JP 2017174227 A JP2017174227 A JP 2017174227A JP 6992336 B2 JP6992336 B2 JP 6992336B2
Authority
JP
Japan
Prior art keywords
user
unit
embarrassment
route guidance
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017174227A
Other languages
English (en)
Other versions
JP2019049486A (ja
Inventor
敦 村松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2017174227A priority Critical patent/JP6992336B2/ja
Publication of JP2019049486A publication Critical patent/JP2019049486A/ja
Application granted granted Critical
Publication of JP6992336B2 publication Critical patent/JP6992336B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、表示制御装置、表示制御方法およびプログラムに関する。
近日、インターネットを通じて提供されるルート検索サービスが広く利用されている。例えば、鉄道のルート検索サービスでは、ユーザが出発駅、目的駅および出発日時などの検索条件を入力すると、検索結果としてルート案内がユーザに提示される。ユーザは、一般的に、目的地に向けて出発する前に、PC(Personal Computer)またはスマートフォンなどを用いてこのようなルート検索サービスを利用する。
特開2017-15485号公報
しかし、ユーザが目的地に向けて出発する前にルート案内を確認しても、目的地に到着する途中にユーザがルート案内を忘れる場合、および、実際の移動がルート案内の通りに進まない場合などがあり、このような場合、ユーザは現在地から目的駅に至るためのルート案内の提示を望み得る。また、同じ方面に向かう複数の種類の列車が存在する乗車駅または乗換駅において、ユーザは駅の電子案内表を見てもどの列車に乗るべきか迷う場合がある。
特許文献1には、グラス型端末を用いたナビゲーションシステムが開示されている。上記、グラス型端末は、設定された目的地と現在位置に基づき、現在位置から目的地までの移動ルートを検索し、検索された移動ルートに従って移動方向を表示する。特許文献1に記載されたナビゲーションシステムに関連して、逐次ユーザに最新のルート案内を提示するシステムを構築することが考えられる。しかし、ユーザが望んでいないタイミングでルート案内が繰り返し提示されることは、ユーザにとって煩雑である。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザにとって有用な状況でユーザにルート案内を提示することが可能な、新規かつ改良された表示制御装置、表示制御方法およびプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、目的地情報を記憶する記憶部と、ユーザの現在地を示す位置情報を取得する位置情報取得部と、前記ユーザの困惑状態を検出する困惑検出部と、前記困惑検出部により前記ユーザの困惑状態が検出されたことに基づき、前記位置情報が示す前記ユーザの現在地から前記記憶部に記憶された目的地情報が示す目的地に移動するためのルート案内を表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記ユーザの困惑状態の程度が高いほど情報量が低くなるように、前記ルート案内を前記表示部に表示させる、表示制御装置が提供される。
前記困惑検出部は、前記ユーザの眼球運動に基づいて前記ユーザの困惑状態を検出してもよい。
前記困惑検出部は、前記ユーザの頭部運動に基づいて前記ユーザの困惑状態を検出してもよい。
上記課題を解決するために、本発明の別の観点によれば、目的地情報を記憶する記憶部と、ユーザの現在地を示す位置情報を取得する位置情報取得部と、前記ユーザの困惑状態を検出する困惑検出部と、前記困惑検出部により前記ユーザの困惑状態が検出されたことに基づき、前記位置情報が示す前記ユーザの現在地から前記記憶部に記憶された目的地情報が示す目的地に移動するためのルート案内を表示部に表示させる表示制御部と、前記ユーザの視野の少なくとも一部を含む撮像画像を取得する画像取得部と、前記撮像画像から所定のオブジェクトを検出するオブジェクト検出部と、を備え、前記表示制御部は、前記困惑検出部により前記ユーザの困惑状態が検出され、かつ、前記オブジェクト検出部により前記所定のオブジェクトが検出されたことに基づき、前記ルート案内を前記表示部に表示させ、前記ルート案内は、移動機関を利用するルートを案内し、前記所定のオブジェクトは、前記移動機関の乗物の出発を案内する電子案内表である、表示制御装置が提供される。
上記課題を解決するために、本発明の別の観点によれば、目的地情報を記憶する記憶部と、ユーザの現在地を示す位置情報を取得する位置情報取得部と、前記ユーザの困惑状態を検出する困惑検出部と、前記困惑検出部により前記ユーザの困惑状態が検出されたことに基づき、前記位置情報が示す前記ユーザの現在地から前記記憶部に記憶された目的地情報が示す目的地に移動するためのルート案内を表示部に表示させる表示制御部と、を備え、前記困惑検出部は、前記位置情報が示す前記ユーザの現在地が設定エリアに到達したことに基づいて前記困惑状態の検出処理を開始する、表示制御装置が提供される。
前記画像取得部は、前記位置情報が示す前記ユーザの現在地が設定エリアに到達したことに基づいて前記撮像画像の取得を開始してもよい。
また、上記課題を解決するために、本発明の別の観点によれば、目的地情報を記憶することと、ユーザの現在地を示す位置情報を取得することと、前記ユーザの困惑状態を検出することと、前記ユーザの困惑状態が検出されたことに基づき、前記位置情報が示す前記ユーザの現在地から前記目的地情報が示す目的地に移動するためのルート案内を表示部に表示させることと、を含み、前記ルート案内を表示部に表示させることは、前記ユーザの困惑状態の程度が高いほど情報量が低くなるように、前記ルート案内を前記表示部に表示させることを含む、表示制御方法が提供される。また、上記課題を解決するために、本発明の別の観点によれば、目的地情報を記憶することと、ユーザの現在地を示す位置情報を取得することと、前記ユーザの困惑状態を検出することと、前記ユーザの困惑状態が検出されたことに基づき、前記位置情報が示す前記ユーザの現在地から前記目的地情報が示す目的地に移動するためのルート案内を表示部に表示させることと、前記ユーザの視野の少なくとも一部を含む撮像画像を取得することと、前記撮像画像から所定のオブジェクトを検出することと、を含み、前記ルート案内を表示部に表示させることは、前記ユーザの困惑状態が検出され、かつ、前記所定のオブジェクトが検出されたことに基づき、前記ルート案内を前記表示部に表示させることを含み、前記ルート案内は、移動機関を利用するルートを案内し、前記所定のオブジェクトは、前記移動機関の乗物の出発を案内する電子案内表である、表示制御方法が提供される。また、上記課題を解決するために、本発明の別の観点によれば、目的地情報を記憶することと、ユーザの現在地を示す位置情報を取得することと、前記位置情報が示す前記ユーザの現在地が設定エリアに到達したことに基づいて前記ユーザの困惑状態の検出処理を開始することと、前記ユーザの困惑状態が検出されたことに基づき、前記位置情報が示す前記ユーザの現在地から前記目的地情報が示す目的地に移動するためのルート案内を表示部に表示させることと、を含む、表示制御方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、目的地情報を記憶することと、ユーザの現在地を示す位置情報を取得することと、前記ユーザの困惑状態を検出することと、前記ユーザの困惑状態が検出されたことに基づき、前記位置情報が示す前記ユーザの現在地から前記目的地情報が示す目的地に移動するためのルート案内を表示部に表示させることと、を実行させ、前記ルート案内を表示部に表示させることは、前記ユーザの困惑状態の程度が高いほど情報量が低くなるように、前記ルート案内を前記表示部に表示させることを含む、プログラムが提供される。また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、目的地情報を記憶することと、ユーザの現在地を示す位置情報を取得することと、前記ユーザの困惑状態を検出することと、前記ユーザの困惑状態が検出されたことに基づき、前記位置情報が示す前記ユーザの現在地から前記目的地情報が示す目的地に移動するためのルート案内を表示部に表示させることと、前記ユーザの視野の少なくとも一部を含む撮像画像を取得することと、前記撮像画像から所定のオブジェクトを検出することと、を実行させ、前記ルート案内を表示部に表示させることは、前記ユーザの困惑状態が検出され、かつ、前記所定のオブジェクトが検出されたことに基づき、前記ルート案内を前記表示部に表示させることを含み、前記ルート案内は、移動機関を利用するルートを案内し、前記所定のオブジェクトは、前記移動機関の乗物の出発を案内する電子案内表である、プログラムが提供される。また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、目的地情報を記憶することと、ユーザの現在地を示す位置情報を取得することと、前記位置情報が示す前記ユーザの現在地が設定エリアに到達したことに基づいて前記ユーザの困惑状態の検出処理を開始することと、前記ユーザの困惑状態が検出されたことに基づき、前記位置情報が示す前記ユーザの現在地から前記目的地情報が示す目的地に移動するためのルート案内を表示部に表示させることと、を実行させるための、プログラムが提供される。

以上説明したように本発明によれば、ユーザにとって有用な状況でユーザにルートの検索結果を提示することが可能である。
本発明の実施形態によるルート案内システムの構成を示す説明図である。 ウェアラブル端末が表示するルート案内の具体例を示す説明図である。 第1の実施形態によるウェアラブル端末の構成を示す説明図である。 簡易形式のルート案内を示す説明図である。 通常形式のルート案内を示す説明図である。 第1の実施形態によるウェアラブル端末の動作を示すフローチャートである。 第2の実施形態によるウェアラブル端末の構成を説明図である。 第2の実施形態によるウェアラブル端末の動作を示すフローチャートである。 ウェアラブル端末のハードウェア構成を示したブロック図である。
以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。
<ルート案内システムの構成>
本発明の実施形態は、ユーザに指定された目的地から出発地に至るまでのルートを検索し、検索結果をユーザに提示するシステムに関する。当該システムは、例えば、鉄道、バスおよび飛行機などの公共の移動機関を利用するルートの検索に適用され得る。以下では、本発明の実施形態の一例として、鉄道を利用するルートの検索を行い、検索結果であるルート案内をユーザに提示するルート案内システムを説明する。
図1は、本発明の実施形態によるルート案内システムの構成を示す説明図である。図1に示したように、本発明の実施形態によるルート案内システムは、ウェアラブル端末20およびルート検索サーバ30を含む。
ウェアラブル端末20およびルート検索サーバ30は図1に示したようにネットワーク12を介して接続される。ネットワーク12は、ネットワーク12に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク12は、インターネット、電話回線網、衛星ネットワークなどの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク12は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。
ウェアラブル端末20は、ユーザに装着された状態でユーザによって携帯される。本発明の実施形態によるウェアラブル端末20は、例えば出発駅および目的駅を指定する検索条件をルート検索サーバ30に送信し、ルート検索サーバ30から受信される検索結果をルート案内として表示する。
図2は、ウェアラブル端末20が表示するルート案内の具体例を示す説明図である。図2に示したルート案内は、出発駅がA駅であり目的駅がC駅である場合のルート案内であり、A駅でxxx線に乗車した後、B駅でyyy線に乗り換えるべきことが示されている。その他、ルート案内は、出発駅であるA駅およびB駅の発車時刻、C駅への到着時刻、および運賃などの情報を含む。
なお、図2においてはルート案内を表示する表示制御装置の一例としてグラス型のウェアラブル端末を示したが、表示制御装置はグラス型のウェアラブル端末に限定されない。例えば、表示制御装置は腕時計型またはネックレス型などの他の種類のウェアラブル端末であってもよい。また、表示制御装置はウェアラブル端末に限定されず、表示制御装置はスマートフォンおよび携帯電話などの携帯端末であってもよい。
ルート検索サーバ30は、鉄道の路線情報、各駅の列車時刻表などを記憶しており、ウェアラブル端末20から受信した検索条件に従ってルートを検索し、検索結果をウェアラブル端末20に送信する。
(背景)
上述したウェアラブル端末20のユーザは、目的地に向けて出発する前にルート検索を実行してルート案内を確認することができる。しかし、目的地に到着する途中にユーザがルート案内を忘れる場合、および、実際の移動がルート案内の通りに進まない場合などがあり、このような場合、ユーザは現在地から目的駅に至るためのルート案内の提示を望み得る。同じ方面に向かう複数の種類の列車が存在する乗車駅または乗換駅において、ユーザは駅の電子案内表を見てもどの列車に乗るべきか迷う場合がある。
この点に関し、ユーザが目的地に向けて出発した後も、ユーザの現在地から目的地までのルート案内を逐次ユーザに提示する方法も考えられる。しかし、ユーザが望んでいないタイミングでルート案内が繰り返し提示されることは、ユーザにとって煩雑である。
本発明の幾つかの実施形態によれば、ユーザにとって有用な状況でルート案内を提示することが可能である。特に、本発明の幾つかの実施形態によれば、ユーザが乗車すべき列車が分からず困惑している状況においてユーザにルート案内を提示し得る。以下、このような本発明の幾つかの実施形態を順次詳細に説明する。なお、本明細書においては各実施形態によるウェアラブル端末をウェアラブル端末20と総称し、各実施形態によるウェアラブル端末をウェアラブル端末21、22のように末尾に異なる数字を付して区別する。
<第1の実施形態>
(ウェアラブル端末の構成)
図3は、第1の実施形態によるウェアラブル端末21の構成を示す説明図である。図3に示したように、第1の実施形態によるウェアラブル端末21は、通信部220、表示部224、操作部228、撮像部232、収音部236、位置推定部240、センサ部244、制御部250および記憶部270を備える。
通信部220は、ルート検索サーバ30と通信するインタフェースである。通信部220は、操作部228または収音部236を介して入力された出発地、目的地または出発時刻を含む検索条件をルート検索サーバ30に送信する送信部、および、ルート検索サーバ30から検索結果であるルート案内を受信する受信部としての機能を有する。
表示部224は、ルート案内を表示する。表示部224は、例えば、ウェアラブル端末21のレンズに貼られた液晶フィルムおよび当該液晶フィルムに映像を投影する投影部で構成されてもよい。
操作部228は、ユーザがウェアラブル端末21に情報または指示を入力するために操作を行う構成である。ユーザは、操作部228を操作することで、出発地、目的地または出発時刻を含む検索条件を入力することが可能である。当該操作部228は、例えばタッチパネルであってもよいし、ボタンであってもよい。
撮像部232は、撮像面に集光された被写体像を電気的信号に変換することにより撮像画像を取得する画像取得部である。本実施形態による撮像部232の撮像範囲は、ユーザの視野の少なくとも一部を含む。このため、撮像部232はユーザの目の近くに位置し、撮像部232の画角はユーザの視線方向を含むことが望ましい。
収音部236は、空気的な振動である音声を電気的信号に変換することにより音声データを取得する音声取得部である。ユーザは、出発地、目的地または出発時刻を発声することにより、検索条件を入力することが可能である。
位置推定部240は、ウェアラブル端末21の現在位置を推定する。位置推定部240は、GPS(Global Positioning System)衛星から受信される航法メッセージを解析することによりウェアラブル端末21の現在位置を推定してもよい。または、位置推定部240は、複数のアクセスポイントから受信されるビーコンの受信強度に基づきウェアラブル端末21の現在位置を推定してもよい。
センサ部244は、ユーザの動きや状態を検出する。具体的には、第1の実施形態によるセンサ部244はユーザの眼球運動を検出するセンサを有し、このようなセンサとしては、眼電位センサおよび赤外線センサなどが挙げられる。
制御部250は、ウェアラブル端末21の動作全般を制御する。特に、本実施形態による制御部250は、ユーザの困惑状態が検出された場合に、ユーザの現在地から目的地に至るためのルート案内を表示部224に表示させる。このような制御部250の機能は、図3に示したように、エリア判定部251、眼球運動パターン検出部252、眼球運動速度特定部253、オブジェクト検出部254、検索制御部255および表示制御部256の機能に細分化される。
エリア判定部251は、ウェアラブル端末21(ユーザ)が設定エリアに到達したか否かを判定する。設定エリアは、駅のホームやコンコースに設置されており、列車の出発を案内する電子案内表を含むエリアである。エリア判定部251は、例えば、位置推定部240により推定されるウェアラブル端末21の現在位置に基づいてウェアラブル端末21が設定エリアに到達したか否かを判定することが可能である。また、電子案内表の近傍に設置されたアクセスポイントが所定のフラグを含むビーコンを送信する場合、エリア判定部251は、通信部220により所定のフラグを含むビーコンが受信されたか否かに基づいてウェアラブル端末21が設定エリアに到達したか否かを判定することが可能である。
ここで、本実施形態は、電子案内表を見てユーザが困惑している状況においてユーザにルート案内を提示するものである。ユーザが電子案内表の近くに存在する場合、ユーザが電子案内表を見て困惑している可能性があるので、ユーザが電子案内表を見ているか否かを検出するための構成、およびユーザが困惑しているか否かを検出するための構成が動作していることが望ましい。一方、ユーザが電子案内表の近くに存在しない場合、ユーザが電子案内表を見て困惑している可能性が低いので、ユーザが電子案内表を見ているか否かを検出するための構成、およびユーザが困惑しているか否かを検出するための構成は停止していてもよい。このような観点から、ユーザが電子案内表を見ていることを検出するための撮像部232およびオブジェクト検出部254、ユーザの困惑状態を検出するためのセンサ部244および眼球運動パターン検出部252などは、ウェアラブル端末21が設定エリアに到達したことに基づいて起動され、ウェアラブル端末21が設定エリアから離れたことに基づいて停止されてもよい。
眼球運動パターン検出部252は、センサ部244から出力される情報に基づき、ユーザの眼球運動から所定の眼球運動パターンを検出する。所定の眼球運動パターンは、ユーザが困惑している際に生じると考えられる運動パターンであり、例えば、眼球が1または2以上の方向上で所定回数(例えば、5回)以上に亘って反復するパターンであってもよい。すなわち、眼球運動パターン検出部252は、ユーザの困惑状態を検出する困惑検出部としての機能を有する。
眼球運動速度特定部253は、眼球運動パターン検出部252により所定の眼球運動パターンが検出された際の眼球の運動速度を特定する。眼球の運動速度が速いほどユーザの困惑状態の程度が高いと考えられる。このため、眼球運動速度特定部253は、ユーザの困惑状態の程度を特定する構成とも言える。
オブジェクト検出部254は、撮像部232により取得された撮像画像から所定のオブジェクトを検出する。本実施形態において、当該所定のオブジェクトは電子案内表である。撮像部232の撮像範囲がユーザの視野を含むことは上述した通りであるので、オブジェクト検出部254が所定のオブジェクト(電子案内表)を検出したことは、所定のオブジェクトがユーザの視野に入っている可能性が高いことを意味する。なお、オブジェクト検出部254は、撮像画像に所定時間(例えば、5秒)以上に亘って所定のオブジェクトが含まれる場合に当該所定のオブジェクトを検出してもよい。
検索制御部255は、ユーザにより指定された出発駅、目的駅または出発時刻を含む検索条件を通信部220にルート検索サーバ30へ送信させ、目的駅を記憶部270に記憶させる。その後、検索制御部255は、電子案内表を見てユーザが困惑している状況において、ユーザの現在地または現在駅、および記憶部270に事前に記憶された目的駅を含む検索条件を通信部220にルート検索サーバ30に送信させる。すなわち、検索制御部255は、エリア判定部251によりウェアラブル端末21が設定エリアに到達したと判定され、眼球運動パターン検出部252により所定の眼球運動パターンが検出され、オブジェクト検出部254により撮像画像から所定のオブジェクトが検出されたことに基づき、上記検索条件を通信部220にルート検索サーバ30へ送信させる。ユーザの現在地としては位置推定部240により推定された位置情報を使用可能である。検索制御部255は、地図情報を用いてユーザの現在地から現在駅を得ることも可能である。
表示制御部256は、ルート検索サーバ30から通信部220により受信されるルート案内を表示部224に表示させる。例えば、表示制御部256は、ユーザの困惑状態の程度に応じてルート案内を異なる態様で表示部224に表示させる。表示制御部256は、困惑状態の程度として、眼球運動速度特定部253により特定された眼球の運動速度を参照する。ここで、ユーザの困惑状態の程度が高い場合にはユーザには簡単な情報が提示されることが望ましいと考えられる。このため、表示制御部256は、ユーザの困惑状態の程度が高いほど、すなわち眼球運動速度特定部253により特定された眼球の運動速度が速いほど情報量が少なくなるようにルート案内を表示部224に表示させてもよい。以下、図4および図5を参照して、異なる態様で表示されるルート案内の具体例を説明する。
図4は、簡易形式のルート案内を示す説明図である。図5は、通常形式のルート案内を示す説明図である。図4および図5は、ユーザがB駅に到着して乗換が分からずに電子案内表を見て困惑している状況で表示され得るルート案内である。表示制御部256は、眼球運動速度特定部253により特定された眼球の運動速度が所定値(例えば、250deg/sec)以上であった場合、通常形式よりも情報量が少ない簡易形式のルート案内を表示部224に表示させてもよい。簡易形式のルート案内は、例えば図4に示したように、乗換先のホームの番号(7番線)、乗換先の列車の発車時刻(10:35発)および車両種類(yyy線普通)、および行動を促す指示文(に乗って下さい。)のみを含む。
これに対し、表示制御部256は、眼球運動速度特定部253により特定された眼球の運動速度が所定値(例えば、250deg/sec)未満であった場合、全体のルート情報を含む通常形式のルート案内を表示部224に表示させてもよい。通常形式のルート案内は、例えば図5に示したように、乗換先のホームの番号(7番線)、乗換先の列車の発車時刻(10:35発)および車両種類(yyy線普通)に加え、目的駅への到着時刻(10:49着)および所要時間などの情報を含む。
図3を参照してウェアラブル端末21の構成の説明に戻ると、記憶部270は、ウェアラブル端末21の動作に用いられる多様な情報を記憶する。例えば、記憶部270は、制御部250が上述した各機能を実現するためのプログラムを記憶する。また、記憶部270は、検索条件として用いられた目的駅を示す情報を記憶する。
(ウェアラブル端末の動作)
以上、第1の実施形態によるウェアラブル端末21の構成を説明した。続いて、図6を参照して、第1の実施形態によるウェアラブル端末21の動作を整理する。
図6は、第1の実施形態によるウェアラブル端末21の動作を示すフローチャートである。図6に示したように、まず、ユーザにより指定された出発駅および目的駅を含む検索条件を通信部220がルート検索サーバ30に送信し(S304)、検索結果としてルート検索サーバ30から受信されるルート案内を表示部224が表示する(S308)。ここで、記憶部270は検索条件として用いられた目的駅を示す情報を記憶する(S312)。
その後、ユーザが設定エリアに到達したとエリア判定部251が判定すると(S316/Yes)、エリア判定部251は、撮像部232およびセンサ部244を起動する(S320)。そして、センサ部244の出力情報から眼球運動パターン検出部252により所定の眼球運動パターンが検出された場合(S324/Yes)、眼球運動速度特定部253が眼球の運動速度を特定する(S328)。さらに、撮像部232が取得した撮像画像からオブジェクト検出部254により所定のオブジェクトが検出されたことに基づき(S332/Yes)、検索制御部255が、ユーザの現在地または現在駅、およびS312において記憶部270に記憶された目的駅を含む検索条件を通信部220にルート検索サーバ30に送信させる(S336)。
そして、表示制御部256は、眼球運動速度特定部253により特定された眼球の運動速度が所定値以上であった場合(S340/Yes)、簡易形式のルート案内を表示部224に表示させる(S344)。一方、表示制御部256は、眼球運動速度特定部253により特定された眼球の運動速度が所定値未満であった場合(S340/No)、通常形式のルート案内を表示部224に表示させる(S348)。
(作用効果)
以上説明したように、本実施形態によれば、ルート案内に従って移動中のユーザが、電子案内表に表示された複数の列車情報を見比べてどの列車に乗るべきか困惑している状況において、ユーザにルート案内(乗車案内)を提示することが可能である。すなわち、ユーザにとって有用な状況においてユーザにルート案内を提示することが可能である。また、本実施形態によるウェアラブル端末21はユーザの困惑状態の程度が高い場合に具体的かつ簡潔に今すべきことをユーザに提示することが可能である。
<第2の実施形態>
以上、本発明の第1の実施形態を説明した。続いて、本発明の第2の実施形態を説明する。本発明の第2の実施形態によるウェアラブル端末22は、ユーザの困惑状態を第1の実施形態によるウェアラブル端末21と異なる方法で検出する。
(ウェアラブル端末の構成)
図7は、第2の実施形態によるウェアラブル端末22の構成を説明図である。図7に示したように、第2の実施形態によるウェアラブル端末22は、通信部220、表示部224、操作部228、撮像部232、収音部236、位置推定部240、センサ部248、制御部260および記憶部270を備える。通信部220、表示部224、操作部228、撮像部232、収音部236、位置推定部240および記憶部270の構成は第1の実施形態で説明した通りであるので、ここでの詳細な説明を省略する。
センサ部248は、ユーザの頭部運動を検出するセンサを有し、このようなセンサとしては、加速度センサおよびジャイロセンサなどが挙げられる。
制御部260は、エリア判定部251、オブジェクト検出部254、頭部運動パターン検出部262、頭部運動速度特定部263、検索制御部265、表示制御部266、の機能を有する。エリア判定部251、オブジェクト検出部254の機能は第1の実施形態で説明した通りである。
頭部運動パターン検出部262は、センサ部248から出力される情報に基づき、ユーザの頭部運動から所定の頭部運動パターンを検出する。所定の頭部運動パターンは、ユーザが困惑している際に生じると考えられる運動パターンであり、例えば、頭部が1または2以上の方向上で所定回数(例えば、5回)以上に亘って反復するパターンであってもよい。すなわち、頭部運動パターン検出部262は、ユーザの困惑状態を検出する困惑検出部としての機能を有する。
頭部運動速度特定部263は、頭部運動パターン検出部262により所定の頭部運動パターンが検出された際の頭部の運動速度を特定する。頭部の運動速度が速いほどユーザの困惑状態の程度が高いと考えられる。このため、頭部運動速度特定部263は、ユーザの困惑状態の程度を特定する構成とも言える。
検索制御部265は、電子案内表を見てユーザが困惑している状況において、ユーザの現在地または現在駅、および記憶部270に事前に記憶された目的駅を含む検索条件を通信部220にルート検索サーバ30に送信させる。すなわち、検索制御部265は、エリア判定部251によりウェアラブル端末22が設定エリアに到達したと判定され、頭部運動パターン検出部262により所定の眼球運動パターンが検出され、オブジェクト検出部254により撮像画像から所定のオブジェクトが検出されたことに基づき、上記検索条件を通信部220にルート検索サーバ30へ送信させる。
表示制御部266は、ルート検索サーバ30から通信部220により受信されるルート案内を表示部224に表示させる。例えば、表示制御部266は、ユーザの困惑状態の程度に応じてルート案内を異なる態様で表示部224に表示させる。表示制御部266は、困惑状態の程度として、頭部運動速度特定部263により特定された頭部の運動速度を参照する。ここで、ユーザの困惑状態の程度が高い場合にはユーザには簡単な情報が提示されることが望ましいと考えられる。このため、表示制御部266は、ユーザの困惑状態の程度が高いほど、すなわち頭部運動速度特定部263により特定された眼球の運動速度が速いほど情報量が少なくなるようにルート案内を表示部224に表示させてもよい。情報量が少ない簡易形式のルート案内および全体のルート情報を含む通常形式のルート案内は図4および図5を参照して説明した通りである。
(ウェアラブル端末の動作)
以上、第2の実施形態によるウェアラブル端末22の構成を説明した。続いて、図8を参照して、第2の実施形態によるウェアラブル端末22の動作を整理する。
図8は、第2の実施形態によるウェアラブル端末22の動作を示すフローチャートである。図8に示したS424、S428およびS440の処理が図6を参照して説明した第1の実施形態によるウェアラブル端末21の動作と異なるので、以下ではS424、S428およびS440の処理を主に説明する。
S320において撮像部232およびセンサ部248が起動された後、センサ部248の出力情報から頭部運動パターン検出部262により所定の頭部運動パターンが検出された場合(S424/Yes)、頭部運動速度特定部263が眼球の運動速度を特定する(S428)。さらに、撮像部232が取得した撮像画像からオブジェクト検出部254により所定のオブジェクトが検出されたことに基づき(S332/Yes)、検索制御部255が、ユーザの現在地または現在駅、およびS312において記憶部270に記憶された目的駅を含む検索条件を通信部220にルート検索サーバ30に送信させる(S336)。
そして、表示制御部256は、頭部運動速度特定部263により特定された眼球の運動速度が所定値以上であった場合(S440/Yes)、簡易形式のルート案内を表示部224に表示させる(S344)。一方、表示制御部256は、頭部運動速度特定部263により特定された眼球の運動速度が所定値未満であった場合(S440/No)、通常形式のルート案内を表示部224に表示させる(S348)。
以上説明したように、第2の実施形態によれば、頭部運動からユーザの困惑状態を検出して、ユーザにとって有用な状況でユーザにルート案内を提示することが可能である。
<ハードウェア構成>
以上、本発明の各実施形態を説明した。上述した困惑状態の検出や表示制御などの情報処理は、ソフトウェアと、以下に説明するウェアラブル端末20のハードウェアとの協働により実現される。
図9は、ウェアラブル端末20のハードウェア構成を示したブロック図である。ウェアラブル端末20は、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、ホストバス204と、を備える。また、ウェアラブル端末20は、ブリッジ205と、外部バス206と、インタフェース207と、入力装置208と、表示装置209と、音声出力装置210と、ストレージ装置(HDD)211と、ドライブ212と、ネットワークインタフェース215とを備える。
CPU201は、演算処理装置および制御装置として機能し、各種プログラムに従ってウェアラブル端末20内の動作全般を制御する。また、CPU201は、マイクロプロセッサであってもよい。ROM202は、CPU201が使用するプログラムや演算パラメータ等を記憶する。RAM203は、CPU201の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス204により相互に接続されている。これらCPU201、ROM202およびRAM203とソフトウェアとの協働により、制御部250または制御部260の機能が実現され得る。
ホストバス204は、ブリッジ205を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス206に接続されている。なお、必ずしもホストバス204、ブリッジ205および外部バス206を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
入力装置208は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサ、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU201に出力する入力制御回路などから構成されている。ウェアラブル端末20のユーザは、該入力装置208を操作することにより、ウェアラブル端末20に対して各種のデータを入力したり処理動作を指示したりすることができる。
表示装置209は、液晶ディスプレイ(LCD)装置、プロジェクター装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。また、音声出力装置210は、スピーカおよびヘッドホンなどの音声出力装置を含む。
ストレージ装置211は、本実施形態にかかるウェアラブル端末20の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置211は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置211は、例えば、HDD(Hard Disk Drive)またはSSD(Solid Strage Drive)、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置211は、ストレージを駆動し、CPU201が実行するプログラムや各種データを格納する。
ドライブ212は、記憶媒体用リーダライタであり、ウェアラブル端末20に内蔵、あるいは外付けされる。ドライブ212は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体24に記録されている情報を読み出して、RAM203またはストレージ装置211に出力する。また、ドライブ212は、リムーバブル記憶媒体24に情報を書き込むこともできる。
ネットワークインタフェース215は、例えば、ネットワーク12に接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース215は、無線LAN(Local Area Network)対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
<むすび>
以上説明したように、本発明の各実施形態によれば、ルート案内に従って移動中のユーザが、電子案内表に表示された複数の列車情報を見比べてどの列車に乗るべきか困惑している状況において、ユーザにルート案内(乗車案内)を提示することが可能である。すなわち、ユーザにとって有用な状況においてユーザにルート案内を提示することが可能である。
なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記ではユーザの困惑状態の検出を眼球運動または頭部運動に基づいて行う例を説明したが、困惑状態の検出はかかる例に限定されない。例えば、眼球運動または頭部運動に加えて、あるいは代えて、ユーザの脈拍または歩行速度に基づいてユーザの困惑状態を検出することも可能である。ウェアラブル端末20が有するイヤホンに脈拍検出手段を実装することにより、ユーザの脈拍数を容易に取得することが可能である。眼球運動または頭部運動に加えてユーザの脈拍数を用いてユーザの困惑状態を検出する場合、ウェアラブル端末20は、例えば眼球の運動速度が所定値以上であり、かつ脈拍数が所定数以上であることに基づき簡易形式のルート案内を表示してもよい。
また、撮像画像に所定時間以上に亘って所定のオブジェクト(電子案内表)が含まれることは、ユーザが乗車すべき列車が分からずに困惑して電子案内表を見続けている可能性がある。そこで、ウェアラブル端末20は、撮像画像に所定時間以上に亘って所定のオブジェクト(電子案内表)が含まれることをユーザの困惑状態として検出してもよい。
また、本明細書のウェアラブル端末20の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、ウェアラブル端末20の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、ウェアラブル端末20に内蔵されるCPU、ROMおよびRAMなどのハードウェアに、上述したウェアラブル端末20の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
20、21、22 ウェアラブル端末
30 ルート検索サーバ
220 通信部
224 表示部
228 操作部
232 撮像部
236 収音部
240 位置推定部
244 センサ部
248 センサ部
250、260 制御部
251 エリア判定部
252 眼球運動パターン検出部
253 眼球運動速度特定部
254 オブジェクト検出部
255、265 検索制御部
256、266 表示制御部
262 頭部運動パターン検出部
263 頭部運動速度特定部
270 記憶部

Claims (12)

  1. 目的地情報を記憶する記憶部と、
    ユーザの現在地を示す位置情報を取得する位置情報取得部と、
    前記ユーザの困惑状態を検出する困惑検出部と、
    前記困惑検出部により前記ユーザの困惑状態が検出されたことに基づき、前記位置情報が示す前記ユーザの現在地から前記記憶部に記憶された目的地情報が示す目的地に移動するためのルート案内を表示部に表示させる表示制御部と、
    を備え、
    前記表示制御部は、前記ユーザの困惑状態の程度が高いほど情報量が低くなるように、前記ルート案内を前記表示部に表示させる、表示制御装置。
  2. 前記困惑検出部は、前記ユーザの眼球運動に基づいて前記ユーザの困惑状態を検出する、請求項1に記載の表示制御装置。
  3. 前記困惑検出部は、前記ユーザの頭部運動に基づいて前記ユーザの困惑状態を検出する、請求項1に記載の表示制御装置。
  4. 目的地情報を記憶する記憶部と、
    ユーザの現在地を示す位置情報を取得する位置情報取得部と、
    前記ユーザの困惑状態を検出する困惑検出部と、
    前記困惑検出部により前記ユーザの困惑状態が検出されたことに基づき、前記位置情報が示す前記ユーザの現在地から前記記憶部に記憶された目的地情報が示す目的地に移動するためのルート案内を表示部に表示させる表示制御部と、
    前記ユーザの視野の少なくとも一部を含む撮像画像を取得する画像取得部と、
    前記撮像画像から所定のオブジェクトを検出するオブジェクト検出部と、
    を備え、
    前記表示制御部は、前記困惑検出部により前記ユーザの困惑状態が検出され、かつ、前記オブジェクト検出部により前記所定のオブジェクトが検出されたことに基づき、前記ルート案内を前記表示部に表示させ、
    前記ルート案内は、移動機関を利用するルートを案内し、
    前記所定のオブジェクトは、前記移動機関の乗物の出発を案内する電子案内表である、表示制御装置。
  5. 目的地情報を記憶する記憶部と、
    ユーザの現在地を示す位置情報を取得する位置情報取得部と、
    前記ユーザの困惑状態を検出する困惑検出部と、
    前記困惑検出部により前記ユーザの困惑状態が検出されたことに基づき、前記位置情報が示す前記ユーザの現在地から前記記憶部に記憶された目的地情報が示す目的地に移動するためのルート案内を表示部に表示させる表示制御部と、
    を備え、
    前記困惑検出部は、前記位置情報が示す前記ユーザの現在地が設定エリアに到達したことに基づいて前記困惑状態の検出処理を開始する、表示制御装置。
  6. 前記画像取得部は、前記位置情報が示す前記ユーザの現在地が設定エリアに到達したことに基づいて前記撮像画像の取得を開始する、請求項4に記載の表示制御装置。
  7. 目的地情報を記憶することと、
    ユーザの現在地を示す位置情報を取得することと、
    前記ユーザの困惑状態を検出することと、
    前記ユーザの困惑状態が検出されたことに基づき、前記位置情報が示す前記ユーザの現在地から前記目的地情報が示す目的地に移動するためのルート案内を表示部に表示させることと、
    を含み、
    前記ルート案内を表示部に表示させることは、前記ユーザの困惑状態の程度が高いほど情報量が低くなるように、前記ルート案内を前記表示部に表示させることを含む、表示制御方法。
  8. 目的地情報を記憶することと、
    ユーザの現在地を示す位置情報を取得することと、
    前記ユーザの困惑状態を検出することと、
    前記ユーザの困惑状態が検出されたことに基づき、前記位置情報が示す前記ユーザの現在地から前記目的地情報が示す目的地に移動するためのルート案内を表示部に表示させることと、
    前記ユーザの視野の少なくとも一部を含む撮像画像を取得することと、
    前記撮像画像から所定のオブジェクトを検出することと、
    を含み、
    前記ルート案内を表示部に表示させることは、前記ユーザの困惑状態が検出され、かつ、前記所定のオブジェクトが検出されたことに基づき、前記ルート案内を前記表示部に表示させることを含み、
    前記ルート案内は、移動機関を利用するルートを案内し、
    前記所定のオブジェクトは、前記移動機関の乗物の出発を案内する電子案内表である、表示制御方法。
  9. 目的地情報を記憶することと、
    ユーザの現在地を示す位置情報を取得することと、
    前記位置情報が示す前記ユーザの現在地が設定エリアに到達したことに基づいて前記ユーザの困惑状態の検出処理を開始することと、
    前記ユーザの困惑状態が検出されたことに基づき、前記位置情報が示す前記ユーザの現在地から前記目的地情報が示す目的地に移動するためのルート案内を表示部に表示させることと、
    を含む、表示制御方法。
  10. コンピュータに、
    目的地情報を記憶することと、
    ユーザの現
    在地を示す位置情報を取得することと、
    前記ユーザの困惑状態を検出することと、
    前記ユーザの困惑状態が検出されたことに基づき、前記位置情報が示す前記ユーザの現在地から前記目的地情報が示す目的地に移動するためのルート案内を表示部に表示させることと、
    を実行させ、
    前記ルート案内を表示部に表示させることは、前記ユーザの困惑状態の程度が高いほど情報量が低くなるように、前記ルート案内を前記表示部に表示させることを含む、プログラム。
  11. コンピュータに、
    目的地情報を記憶することと、
    ユーザの現在地を示す位置情報を取得することと、
    前記ユーザの困惑状態を検出することと、
    前記ユーザの困惑状態が検出されたことに基づき、前記位置情報が示す前記ユーザの現在地から前記目的地情報が示す目的地に移動するためのルート案内を表示部に表示させることと、
    前記ユーザの視野の少なくとも一部を含む撮像画像を取得することと、
    前記撮像画像から所定のオブジェクトを検出することと、
    を実行させ、
    前記ルート案内を表示部に表示させることは、前記ユーザの困惑状態が検出され、かつ、前記所定のオブジェクトが検出されたことに基づき、前記ルート案内を前記表示部に表示させることを含み、
    前記ルート案内は、移動機関を利用するルートを案内し、
    前記所定のオブジェクトは、前記移動機関の乗物の出発を案内する電子案内表である、プログラム。
  12. コンピュータに、
    目的地情報を記憶することと、
    ユーザの現在地を示す位置情報を取得することと、
    前記位置情報が示す前記ユーザの現在地が設定エリアに到達したことに基づいて前記ユーザの困惑状態の検出処理を開始することと、
    前記ユーザの困惑状態が検出されたことに基づき、前記位置情報が示す前記ユーザの現在地から前記目的地情報が示す目的地に移動するためのルート案内を表示部に表示させることと、
    を実行させるための、プログラム。

JP2017174227A 2017-09-11 2017-09-11 表示制御装置、表示制御方法およびプログラム Active JP6992336B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017174227A JP6992336B2 (ja) 2017-09-11 2017-09-11 表示制御装置、表示制御方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017174227A JP6992336B2 (ja) 2017-09-11 2017-09-11 表示制御装置、表示制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2019049486A JP2019049486A (ja) 2019-03-28
JP6992336B2 true JP6992336B2 (ja) 2022-02-03

Family

ID=65905512

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017174227A Active JP6992336B2 (ja) 2017-09-11 2017-09-11 表示制御装置、表示制御方法およびプログラム

Country Status (1)

Country Link
JP (1) JP6992336B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001165693A (ja) 1999-09-30 2001-06-22 Toshiba Corp 歩行者用道案内システムおよび歩行者用道案内方法
JP2011232270A (ja) 2010-04-30 2011-11-17 Clarion Co Ltd ナビゲーション装置およびそのヘルプ提示方法
US20150051826A1 (en) 2013-08-19 2015-02-19 International Business Machines Corporation System and method for providing global positioning system (gps) feedback to a user
JP2015153325A (ja) 2014-02-18 2015-08-24 富士通フロンテック株式会社 情報処理装置、操作支援方法及び操作支援プログラム
JP2017015485A (ja) 2015-06-30 2017-01-19 明伸興産株式会社 装着型ナビゲーションシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001165693A (ja) 1999-09-30 2001-06-22 Toshiba Corp 歩行者用道案内システムおよび歩行者用道案内方法
JP2011232270A (ja) 2010-04-30 2011-11-17 Clarion Co Ltd ナビゲーション装置およびそのヘルプ提示方法
US20150051826A1 (en) 2013-08-19 2015-02-19 International Business Machines Corporation System and method for providing global positioning system (gps) feedback to a user
JP2015153325A (ja) 2014-02-18 2015-08-24 富士通フロンテック株式会社 情報処理装置、操作支援方法及び操作支援プログラム
JP2017015485A (ja) 2015-06-30 2017-01-19 明伸興産株式会社 装着型ナビゲーションシステム

Also Published As

Publication number Publication date
JP2019049486A (ja) 2019-03-28

Similar Documents

Publication Publication Date Title
US11340072B2 (en) Information processing apparatus, information processing method, and recording medium
US10591310B2 (en) Travel information providing method, travel information providing apparatus, and non-transitory recording medium
US10771745B2 (en) Image processing apparatus, image processing method, and storage medium having program stored therein
JP2016184276A (ja) 携帯端末、携帯端末の制御方法、および、携帯端末用プログラム
JP2005037181A (ja) ナビゲーション装置、サーバ装置、ナビゲーションシステム、及びナビゲーション方法
US11143507B2 (en) Information processing apparatus and information processing method
WO2015178070A1 (ja) 情報処理システム、記憶媒体及び情報処理方法
US20210182781A1 (en) Information processing apparatus, information processing method, and program
JP6992336B2 (ja) 表示制御装置、表示制御方法およびプログラム
JP2015138534A (ja) 電子機器
US10645535B2 (en) Electronic apparatus, control device and computer-readable non-transitory recording medium for selectively transmitting information based on indoor/outdoor specification
JP2019028542A (ja) 情報処理装置、管理装置、携帯型電子機器、制御プログラム、情報処理装置の動作方法、携帯型電子機器の動作方法及びデータ構造
JP6306985B2 (ja) 情報処理システム、情報処理方法及びプログラム
US11415428B2 (en) Audio information providing system, control method, and non-transitory computer readable medium
JP2016138852A (ja) ナビゲーションシステム、ナビゲーション装置、グラス型デバイス及び装置間連携方法
JP7240865B2 (ja) 案内情報送信装置及び案内情報送信方法
US20210295049A1 (en) Information processing apparatus, information processing method, and program
US9842483B2 (en) Information processing system for reducing load on a server
JP6523353B2 (ja) 端末装置及びプログラム
WO2021112161A1 (ja) 情報処理装置、制御方法及び非一時的なコンピュータ可読媒体
US20240105052A1 (en) Information management device, information management method and storage medium
KR20160053472A (ko) 글라스형 웨어러블 디바이스를 이용한 이벤트정보 제공서비스 시스템, 방법 및 글라스형 웨어러블 디바이스용 어플리케이션
WO2015111264A1 (ja) 電子機器
KR101826000B1 (ko) 스마트 워치 및 그 제어 방법
JP6900633B2 (ja) 携帯通信端末、携帯通信端末を制御するためのプログラム、情報処理方法、および、コンピュータに情報処理方法を実現させるためのプログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190327

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190328

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211122

R150 Certificate of patent or registration of utility model

Ref document number: 6992336

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150