JP6310381B2 - 情報処理装置、信号機の情報を案内する方法、および、コンピュータプログラム - Google Patents

情報処理装置、信号機の情報を案内する方法、および、コンピュータプログラム Download PDF

Info

Publication number
JP6310381B2
JP6310381B2 JP2014218811A JP2014218811A JP6310381B2 JP 6310381 B2 JP6310381 B2 JP 6310381B2 JP 2014218811 A JP2014218811 A JP 2014218811A JP 2014218811 A JP2014218811 A JP 2014218811A JP 6310381 B2 JP6310381 B2 JP 6310381B2
Authority
JP
Japan
Prior art keywords
user
information
signal
target
traffic signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014218811A
Other languages
English (en)
Other versions
JP2016085651A (ja
Inventor
大介 東
大介 東
公生 柏崎
公生 柏崎
金井島 誠
誠 金井島
山下 洋平
洋平 山下
徹 梅松
徹 梅松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zenrin Datacom Co Ltd
Original Assignee
Zenrin Datacom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zenrin Datacom Co Ltd filed Critical Zenrin Datacom Co Ltd
Priority to JP2014218811A priority Critical patent/JP6310381B2/ja
Publication of JP2016085651A publication Critical patent/JP2016085651A/ja
Application granted granted Critical
Publication of JP6310381B2 publication Critical patent/JP6310381B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Description

本発明は、情報処理装置に関する。
光ビーコンを用いた安全運転支援システム(DSSS:Driving Safety Support Systems)を利用して、道路上に設けられている信号機の情報(例えば、表示状態の情報、表示状態の変化の情報)を車両の運転手に通知する技術が知られている。例えば、特許文献1には、車両の停止を感知した際に、信号機の表示状態の情報と、表示状態の変化が起こるまでの残時間の情報と、を運転手に対して通知する車載端末装置が記載されている。
特開2005−332234号公報 特開2009−139994号公報 国際公開第2010/140238号
特許文献1〜3に記載された技術では、車両の運転手は信号機の情報を知ることができる。しかし、特許文献1〜3に記載された技術では、運転手が目視で信号機を確認できる場合であっても信号機の情報が通知されるため、運転手に煩わしさを感じさせる虞があるという課題があった。また、このような課題は、車両に搭載されて運転者に信号の情報を通知する装置に限らず、歩行者を支援するために歩行者に信号の情報を通知する装置についても共通する課題であった。
このため、信号機の情報を利用者に通知することが可能な情報処理装置において、利用者が感じる煩わしさを低減することのできる技術が望まれていた。そのほか、情報処理装置においては、ユーザビリティの向上、開発の容易化、開発コストの低減等が望まれていた。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
(1)本発明の一形態によれば、情報処理装置が提供される。この情報処理装置は;前記情報処理装置の利用者が確認を要する信号機である対象信号機の情報を取得する情報取得部と;前記対象信号機が前記利用者の視界から遮られている場合に、取得された前記対象信号機の情報を前記利用者に案内する案内部であって、前記対象信号機が前記利用者の視界から遮られていない場合に、取得された前記対象信号機の情報を前記利用者に案内しない案内部と、を備える。この形態の情報処理装置によれば、案内部は、利用者が確認を要する信号機である対象信号機が利用者の視界から遮られている場合は、取得された対象信号機の情報を利用者に案内する。一方、案内部は、対象信号機が利用者の視界から遮られていない場合、換言すれば、利用者が目視で対象信号機を確認できる場合には、取得された対象信号機の情報を利用者に案内しない。この結果、案内部は、使用者が真に信号機の情報を必要とする場合に限って信号機の情報を案内することができるため、信号機の情報を利用者に通知することが可能な情報処理装置において、使用者が感じる煩わしさを低減することができる。
(2)上記形態の情報処理装置では、さらに;前記利用者の視界方向の画像を取得する画像取得部を備え;前記案内部は、取得された前記画像に前記対象信号機が含まれていない場合に、前記案内を行ってもよい。この形態の情報処理装置によれば、案内部は、画像取得部によって取得された利用者の視界方向の画像を利用して、自動的に、対象信号機が利用者の視界から遮られているか否かを判定し、対象信号機の情報を案内することができる。
(3)上記形態の情報処理装置において;前記案内部は、さらに、取得された前記画像に1つまたは複数の信号機が含まれている場合に、前記画像中の各信号機の大きさに基づいて、前記1つまたは複数の信号機の各々が前記対象信号機であるか否かを判定してもよい。この形態の情報処理装置によれば、案内部は、画像取得部によって取得された画像に1つまたは複数の信号機が含まれている場合であっても、画像中の各信号機の大きさを利用して、各々の信号機が対象信号機であるか否かを判定することができる。
(4)上記形態の情報処理装置では、さらに;前記画像取得部における前記画像の取得範囲を設定する設定部を備えていてもよい。この形態の情報処理装置によれば、設定部は、画像取得部における画像の取得範囲を設定することができる。画像取得部により取得された画像は、対象信号機が利用者の視界から遮られているか否かの判断材料であるため、設定部によって画像取得部における画像の取得範囲と、利用者の視界の範囲とを近づければ、対象信号機が利用者の視界から遮られているか否かの判断の精度を向上させることができる。
(5)上記形態の情報処理装置において;前記案内部は、前記利用者の要求を取得した場合に、前記案内を行ってもよい。この形態の情報処理装置によれば、案内部は、利用者の要求に応じて簡便に、対象信号機が利用者の視界から遮られているか否かを判定し、対象信号機の情報を案内することができる。
(6)上記形態の情報処理装置において;前記案内部は、取得された前記対象信号機の情報が、前記対象信号機の表示色が黄色に遷移するまでの時間が所定時間よりも短いことを示している場合に、前記利用者に注意を喚起するための前記案内を行ってもよい。この形態の情報処理装置によれば、案内部は、対象信号機の表示色が黄色に遷移するまでの時間が所定時間よりも短い場合に、利用者に注意を喚起する。このため、案内部は、利用者が予期しない急停止を強いられる可能性を低減することができる。
(7)上記形態の情報処理装置において;前記案内部は、前記利用者が停止している場合に、取得された前記対象信号機の情報に基づき、前記停止の理由を含む前記案内を行ってもよい。この形態の情報処理装置によれば、案内部は、利用者が停止している場合に停止の理由を案内する。このため、案内部は、利用者が感じるストレスを低減することができる。
(8)上記形態の情報処理装置において;前記案内部は、前記利用者と前記対象信号機との間の距離が所定距離よりも小さい場合に、取得された前記対象信号機の情報に基づき、前記利用者が前記対象信号機を通過できる可能性の提示を含む前記案内を行ってもよい。この形態の情報処理装置によれば、案内部は、利用者と対象信号機との間の距離が所定距離よりも小さい場合に、利用者が対象信号機を通過できる可能性を案内する。このため、案内部は、利用者が無理に対象信号機を通過しようとして危険行為を働くことを抑制することができる。
(9)上記形態の情報処理装置では、さらに;前記情報処理装置の現在位置に関する現在位置情報を取得する現在位置情報取得部を備え;前記情報取得部は、さらに、予め探索された経路情報と前記現在位置情報との組み合わせと、前記現在位置情報の経時的変化と、前記利用者の向きと前記現在位置情報との組み合わせと、のうちの少なくともいずれか1つを用いて、前記対象信号機を特定してもよい。この形態の情報処理装置によれば、情報取得部は、情報処理装置の現在位置に関する現在位置情報を用いた種々の方法を利用して、利用者が確認を要する信号機である対象信号機を特定することができる。
本発明は、情報処理装置以外の種々の形態で実現することも可能である。例えば、情報処理装置が実行する信号機の情報を案内する方法や、コンピュータが信号機の情報を案内するためのコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記憶媒体等の形態で実現することができる。
本発明の一実施形態としての情報処理装置100が設置された車両10の室内を表す図である。 情報処理装置100の内部構成を示す説明図である。 信号情報案内処理の手順を示すフローチャートである。 対象信号機について説明するための図である。 対象信号機の遮蔽について説明するための図である。 信号情報の案内画面の一例を表す図である。 設定処理の手順を示すフローチャートである。 設定処理のステップS56について説明するための図である。
A.実施形態:
A−1.情報処理装置の構成:
図1は、本発明の一実施形態としての情報処理装置100が設置された車両10の室内を表す図である。車両10には、運転席11と助手席12とが備えられている。運転席11と助手席12の前方には、ダッシュボード13が配置されている。情報処理装置100は、例えば、表示部としてのタッチパネル130が車両後方側に向くように、車両10のダッシュボード13上にクレードル200を介して固定される。
情報処理装置100は、いわゆるスマートフォンである。本実施形態の情報処理装置100は、安全運転支援システム(DSSS:Driving Safety Support Systems)によって提供されているインフラ情報を、光ビーコン等の無線通信を介して受信し、信号情報案内処理を実行する。信号情報案内処理とは、情報処理装置100の利用者、換言すれば、車両10の運転者が確認を要する信号機(以降、「対象信号機」とも呼ぶ。)の情報を取得し、対象信号機が利用者の視界から遮られている場合に限って、利用者に対して対象信号機の情報を案内する処理である。詳細は後述する。
インフラ情報とは、道路上に設けられている信号機の情報(以降、「信号情報」とも呼ぶ。)と、道路上に設けられている路側センサ情報と、道路線形情報と、を含む。信号情報には、信号機の位置情報と、現在の信号機の表示状態の情報(例えば、「赤」、「直進可」、「右折可」等)と、信号機の表示状態の変化の情報(例えば、「赤」から「青」へ変化するまでの時間等)と、が含まれる。以降、現在の信号機の表示状態の情報を「表示状態情報」とも呼び、信号機の表示状態の変化の情報を「変化情報」とも呼ぶ。路側センサ情報には、道路上の車両の情報(例えば、車両ID、位置、速度、進行方向等)と、歩行者および自転車の情報(位置、速度、進行方向等)と、が含まれる。道路線形情報には、道路の形状に関する情報が含まれる。
図2は、情報処理装置100の内部構成を示す説明図である。情報処理装置100は、カメラ110と、GPSセンサ122と、加速度センサ124と、タッチパネル130と、記憶部140と、CPU150と、無線通信部160と、音声入出力部170と、ROM180と、RAM190と、を備えて、各部は図示しないバスにより接続されている。
カメラ110は、情報処理装置100がクレードル200に固定された状態(図1)において、車両前方側を向くように配置されている。カメラ110は、車両の前方方向、換言すれば、情報処理装置100の利用者の視界方向を撮影し、視界方向の画像を取得する。カメラ110は「画像取得部」として機能する。
CPSセンサ122は、GPS(Global Positioning System/全地球測位システム)を構成する人工衛星から受信した電波に基づいて、情報処理装置100の現在位置を測位し、現在位置に関する現在位置情報を取得するセンサである。GPSセンサ122は「現在位置情報取得部」として機能する。加速度センサ124は、X,Y,Zの3軸の加速度を検出するモーションセンサである。
タッチパネル130は、表示部と入力部とを含む。表示部は、例えば、液晶ディスプレイや有機ELディスプレイ等により構成されている。入力部は、例えば、抵抗膜方式、赤外線方式、静電容量方式等に基づいて構成され、タッチパネル130上において利用者がタッチした位置を表す電気信号をCPU150へ送信する。
記憶部140は、不揮発的にデータを記憶するための記憶装置であり、例えば、フラッシュメモリによって構成されている。
CPU150は、記憶部140またはROM180に格納されているコンピュータプログラムをRAM190に展開して実行することにより、情報処理装置100の各部を制御するほか、案内部152、情報取得部154、設定部156として機能する。案内部152と、情報取得部154とは、協働して信号情報案内処理を実行する。設定部156は、カメラ110の撮影範囲を調整するための設定処理を実行する。各処理の詳細は後述する。
無線通信部160は、無線通信を実現するための回路である。無線通信部160は、インフラ情報を含んだ光ビーコンの受信を行うほか、図示しない通信キャリアを介したデータ通信や音声通信を行う。さらに、無線通信部160は、CPU150からの指示に応じて、通信キャリアを介してインターネット上のサーバに接続し、地図画像データや経路情報を取得する。
音声入出力部170は、図示しないマイクとスピーカとを含む。マイクは、利用者から発せられた音声や、周囲の音を取得する。スピーカは、通信相手から受信した音声や、CPU150の指示に基づく音を出力する。
A−2.信号情報案内処理:
図3は、信号情報案内処理の手順を示すフローチャートである。信号情報案内処理は、対象信号機が利用者の視界から遮られている場合に限って、利用者に対して対象信号機の情報を案内する処理である。信号情報案内処理は、利用者からの要求に基づいて実行される。
図4は、対象信号機について説明するための図である。図3のステップS10、S12において情報取得部154は、対象信号機の情報を取得する。ここで、「対象信号機」とは、情報処理装置100の利用者の進行方向における直近の信号を意味する。対象信号機は、すなわち、利用者が次に確認を要する信号機である。
ステップS10において情報取得部154は、無線通信部160により受信した光ビーコンに含まれる信号情報を取得する。例えば、情報処理装置100を搭載した車両10が交差点付近に位置する場合や、信号が連続する場所に位置する場合、ステップS10において無線通信部160は、複数の信号機の信号情報(例えば、対向車線にある信号機20bの信号情報、交差する車線にある信号機30aおよび30bの信号情報、2つ先の信号機の信号情報等)を受信する場合がある。情報取得部154は、これら全ての信号情報を取得する。信号情報には、信号機の位置情報と、表示状態情報と、変化情報と、が含まれている。
ステップS12において情報取得部154は、ステップS10で取得した1つまたは複数の信号情報の中から、対象信号機の信号情報を特定する。具体的には、情報取得部154は、ステップS10で取得した信号情報の各々について「信号機の位置情報」を参照し、次の条件1、2の両方を満たすか否かを判定する。
(条件1)車両10(図4)の進行方向Dの先に位置する信号機の信号情報か。
(条件2)車両10との距離Lが最も短い信号機の信号情報か。
情報取得部154は、条件1の「車両10の進行方向D」を、次のa1〜a3のいずれかの方法によって検出する。なお、情報取得部154は、進行方向Dの検出精度を向上させるために、方法a1〜a3を組み合わせてもよい。
(a1)情報取得部154は、車両10が走行中の経路情報と、情報処理装置100の現在位置情報と、に基づいて進行方向Dを求める。なお、経路情報は、情報処理装置100の図示しない経路探索部によって予め探索された経路でもよく、インターネット上のサーバによって予め探索され、受信した経路でもよい。情報処理装置100の現在位置情報は、GPSセンサ122を介して受信する。
(a2)情報取得部154は、車両10の向きと、情報処理装置100の現在位置情報と、に基づいて進行方向Dを求める。なお、車両10の向きは、加速度センサ124を介して受信した情報処理装置100の動きから特定することができる。また、情報処理装置100が方位センサを搭載している場合、車両10の向きは方位センサの検出値から特定してもよい。車両10の向きは、「利用者の向き」として機能する。
(a3)情報取得部154は、情報処理装置100の現在位置情報の経時的変化に基づいて進行方向Dを求める。方法a3によれば、加速度センサ124や方位センサを使用せずとも、GPSセンサ122の検出値のみで進行方向Dを求めることができる。
方法a1〜a3によれば、情報取得部154は、情報処理装置100の現在位置に関する現在位置情報を用いた種々の方法を利用して、情報処理装置100の利用者が確認を要する信号機である対象信号機を特定することができる。
情報取得部154は、条件2の「車両10と、ある信号機(例えば信号機20aとする)との間の距離L」を、信号情報に含まれる当該信号機(信号機20a)の位置情報と、情報処理装置100の現在位置情報と、に基づいて求めることができる。このようにして、情報取得部154は、ステップS10で取得した1つまたは複数の信号情報の中から、条件1、2の両方を満たす信号情報を「対象信号機の信号情報」と特定する。
ステップS14において案内部152は、車両10が対象信号機付近に到達したか否かを判定する。具体的には、案内部152は、対象信号機の位置情報と、情報処理装置100の現在位置情報とに基づいて両者間の距離L(図4)を求める。案内部152は、求めた距離Lが第1の閾値以上である場合、車両10は対象信号機付近に到達していない(ステップS14:NO)と判定し、距離Lが第1の閾値より小さい場合、車両10は対象信号機付近に到達した(ステップS14:YES)と判定する。なお、対象信号機の位置情報は、対象信号機の信号情報に含まれている。また、第1の閾値は任意に定めることができる。
車両10が対象信号機付近に到達していない場合(ステップS14:NO)、案内部152は、処理をステップS14に戻して監視を継続する。
車両10が対象信号機付近に到達した場合(ステップS14:YES)、案内部152は、対象信号機が情報処理装置100の利用者の視界から遮られているか否かを判定する(ステップS16)。具体的には、案内部152は、次の手順b1〜b5を実行する。
(b1)案内部152は、カメラ110に撮影を指示し、カメラ110によって撮影された情報処理装置100の利用者の視界方向の画像を取得する。
(b2)案内部152は、取得した視界方向の画像を画像解析し、表示面(信号色を表す面)がある信号機を抽出する。すなわち、対向車線の信号は、視界方向の画像に表示面が含まれないため、ここでは抽出されない。
(b3)視界方向の画像に信号機が含まれていない場合、案内部152は、対象信号機が利用者の視界から遮られていると判定する(ステップS16:あり)。
(b4)視界方向の画像に1つの信号機が含まれている場合、案内部152は、抽出した信号機の大きさが所定の大きさ以上であるか否かを判定する。ここで、所定の大きさとは、車両10と対象信号機との間の距離Lが第1の閾値より小さくなった場合に、カメラ110によって撮影された視界方向の画像に写る対象信号機の大きさを考慮して、予め定められている。案内部152は、信号機の大きさが所定の大きさ以上である場合、対象信号機が利用者の視界から遮られていないと判定し(ステップS16:なし)、信号機の大きさが所定の大きさよりも小さい場合、対象信号機が利用者の視界から遮られていると判定する(ステップS16:あり)。
(b5)視界方向の画像に複数の信号機が含まれている場合、案内部152は、複数の信号機の各々について、信号機の大きさが所定の大きさ以上であるか否かを判定する。ここで、所定の大きさとは、手順b4と同様である。案内部152は、所定の大きさ以上の信号機がある場合、対象信号機が利用者の視界から遮られていないと判定し(ステップS16:なし)、複数の信号機の全てが所定の大きさよりも小さい信号機である場合、対象信号機が利用者の視界から遮られていると判定する(ステップS16:あり)。
図5は、対象信号機の遮蔽について説明するための図である。図5は、手順b1によって得られた情報処理装置100の利用者の視界方向の画像P1の一例を表している。図5の例では、破線で示す対象信号機20aは、車両10の前方のトラック40によって遮蔽されており、実際には、視界方向の画像P1には映っていない。一方で、対象信号機20aの次の信号機50aは、視界方向の画像P1に写っている。このような場合、案内部152は、上記手順b2によって、信号機50aを抽出する。その後、案内部152は、上記手順b4によって、信号機50aの大きさを判定し、信号機50aの大きさが所定の大きさよりも小さいと判定する。この結果、案内部152は、対象信号機20aが利用者の視界から遮られていると判定することができる。
図3において、対象信号機が利用者の視界から遮られていないと判定された場合(ステップS16:なし)、案内部152は、処理をステップS10へ遷移させる。
図3において、対象信号機が利用者の視界から遮られていると判定された場合(ステップS16:あり)、案内部152は、対象信号機が黄色に変わりそうであるか否かを判定する(ステップS18)。具体的には、案内部152は、対象信号機の信号情報内の表示状態情報が「青」、「直進可」、「右折可」、「左折可」の少なくともいずれかを表し、かつ、変化情報が所定時間よりも短い場合に、対象信号機が黄色に変わりそうであると判定する(ステップS18:YES)。
対象信号機が黄色に変わりそうである場合(ステップS18:YES)、案内部152は、情報処理装置100の利用者に警告を行う(ステップS20)。警告は、種々の態様で実施可能である。例えば、案内部152は、音声入出力部170を介して「対象信号機が間もなく黄色に変わる旨」やアラート音を報知してもよい。案内部152は、タッチパネル130の表示部に「対象信号機が間もなく黄色に変わる旨」や注意喚起のためのアイコンを表示してもよい。また、これらを組み合わせてもよい。
ステップS20によれば、案内部152は、表示状態情報(表示色)が黄色に遷移するまでの時間が所定時間よりも短い場合に、情報処理装置100の利用者に警告を行うことで、注意を喚起する。このため、案内部152は、利用者が、予期しない急停止を強いられる可能性を低減することができる。
対象信号機が黄色に変わりそうでない場合(ステップS18:NO)、案内部152は、車両10の車速について判定する(ステップS22)。案内部152は、車両10の車速を、加速度センサ124を介して受信した情報処理装置100の動きに基づいて計算することができる。また、案内部152は、例えば、無線通信を介して車両10から直接、車速を取得してもよい。案内部152は、車速が第2の閾値以上である場合、「走行状態」であると判定し(ステップS22:走行)、車速が第2の閾値より小さい場合、「低速走行状態」であると判定し(ステップS22:低速走行)、車速が「0」である場合、「停止状態」であると判定する(ステップS22:停止)。
走行状態である場合(ステップS22:走行)、案内部152は、処理をステップS10へ遷移させる。
低速走行状態である場合(ステップS22:低速走行)、案内部152は、情報処理装置100の利用者に対して、対象信号機の信号情報を案内する(ステップS24)。案内は、種々の態様で実施可能である。例えば、案内部152は、音声入出力部170を介して、対象信号機の表示状態情報と、変化情報とを報知してもよい。案内部152は、タッチパネル130の表示部に対象信号機の表示状態情報と、変化情報とを表示させてもよい。また、これらを組み合わせてもよい。
図6は、信号情報の案内画面の一例を表す図である。図6は、図3のステップS24においてタッチパネル130の表示部に表示される画面の一例を表す。案内画面W1は、対象信号機の表示状態情報を図示した画像G1と、変化情報を文字で表したメッセージM1と、を含んでいる。情報処理装置100の利用者は、案内画面W1を見ることによって、トラック40によって遮られている対象信号機20a(図5)の表示状態情報を知ることができる。なお、案内部152は、案内画面W1の画像G1と、メッセージM1とを、対象信号機から受信した信号情報に基づいて、リアルタイムに更新する。
図3のステップS28において、案内部152は、交差点までの距離を判定する。具体的には、案内部152は、対象信号機の位置情報と、情報処理装置100の現在位置情報とに基づいて両者間の距離L(図4)を求める。案内部152は、求めた距離Lが第3の閾値以上である場合、交差点までの距離が遠い(ステップS28:遠い)と判定し、距離Lが第3の閾値より小さい場合、交差点までの距離が近い(ステップS28:近い)と判定する。
交差点までの距離が遠い場合(ステップS28:遠い)、案内部152は、処理をステップS10へ遷移させる。
交差点までの距離が近い場合(ステップS28:近い)、案内部152は、情報処理装置100の利用者が、対象信号機を通過できそうか否かについて案内する(ステップS30)。具体的には、案内部152は、ステップS22で求めた車速で継続走行した場合に、ステップS28で求めた対象信号機までの距離Lを、対象信号機の変化情報において示されている時間以内に走行できるか否かを計算し、その結果を利用者に案内する。案内は、種々の態様で実施可能である。例えば、案内部152は、音声入出力部170を介して「対象信号機を通過することは困難である旨」やアラート音を報知してもよい。案内部152は、タッチパネル130の表示部に「対象信号機を通過することは困難である旨」や注意喚起のためのアイコンを表示してもよい。また、これらを組み合わせてもよい。ステップS30の終了後、案内部152は処理をステップS10へ遷移させる。
ステップS30によれば、案内部152は、情報処理装置100の利用者と対象信号機との間の距離Lが、第3の閾値によって特定される所定距離よりも小さい場合に、利用者が対象信号機を通過できる可能性(通過できそうか否か)を案内する。このため、案内部152は、利用者が無理に対象信号機を通過しようとして危険行為を働くことを抑制することができる。
一方、停止状態である場合(ステップS22:停止)、案内部152は、情報処理装置100の利用者に対して、対象信号機の信号情報を案内する(ステップS26)。信号情報の案内については、ステップS24と同様である。また、ステップS26では、案内部152は、対象信号機の信号情報に加えて、さらに、車両10の停止理由と、車両10の走行再開目途と、を案内する。案内部152は、停止理由と、走行再開目途とを、対象信号機の信号情報に加えて、対象信号機の近傍に設けられているDSSSの路側センサ情報に含まれる情報(例えば、道路上の車両の情報、歩行者および自転車の情報)から推定することができる。停止理由および走行再開目途の案内は、種々の態様で実施可能である。例えば、音声入出力部170を介した報知を用いてもよいし、タッチパネル130の表示部にメッセージを表示させてもよい。ステップS26の終了後、案内部152は処理をステップS10へ遷移させる。
ステップS26によれば、案内部152は、情報処理装置100の利用者が停止している場合に、停止理由と、走行再開目途と、を案内する。このため、案内部152は、利用者が感じるストレスを低減することができる。
以上のように、本実施形態の信号情報案内処理によれば、案内部152は、情報処理装置100の利用者(車両10の運転者)が確認を要する信号機である対象信号機が利用者の視界から遮られている場合(ステップS16:あり)は、情報取得部154により取得された対象信号機の情報を利用者に案内する。一方、案内部152は、対象信号機が利用者の視界から遮られていない場合(ステップS16:なし)、換言すれば、利用者が目視で対象信号機を確認できる場合には、情報取得部154により取得された対象信号機の情報を利用者に案内しない。この結果、案内部152は、情報処理装置100の使用者が真に信号機の情報を必要とする場合に限って、信号機の情報を案内することができる。このため、信号機の情報を利用者に通知することが可能な情報処理装置100において、使用者が感じる煩わしさを低減することができる。
また、信号情報案内処理のステップS16によれば、案内部152は、画像取得部(カメラ110)によって取得された情報処理装置100の利用者の視界方向の画像を利用して、自動的に、対象信号機が利用者の視界から遮られているか否かを判定することができる。同様に、ステップS16によれば、案内部152は、画像取得部によって取得された情報処理装置100の利用者の視界方向の画像に、1つまたは複数の信号機が含まれている場合であっても、画像中の各信号機の大きさを利用して、各々の信号機が対象信号機であるか否かを判定することができる。
A−3.設定処理:
図7は、設定処理の手順を示すフローチャートである。設定処理は、カメラ110の撮影範囲を調整する処理である。設定処理は、利用者からの要求に基づいて実行される。
ステップS50において設定部156は、情報処理装置100の利用者に対して、情報処理装置100をクレードル200に固定(図1)するように案内する。案内は、種々の態様で実施可能である。例えば、音声入出力部170を介した報知を用いてもよいし、タッチパネル130の表示部にメッセージを表示させてもよい。
ステップS52において設定部156は、カメラ110に撮影を指示する。ステップS54において設定部156は、カメラ110により撮影された画像を、タッチパネル130の表示部に表示させる。
図8は、設定処理のステップS56について説明するための図である。図7のステップS56において設定部156は、利用者に対して、タッチパネル130の表示部に表示されている画像(カメラ110の撮影画像、図8では説明の便宜上図示を省略)のうち、利用者の視界と一致している範囲を指でなぞるように案内する。案内は、ステップS50と同様に、種々の態様で実施可能である。一致している範囲は、指で枠FM(図8:破線)を描くようになぞってもよく、枠の端点となる4つの点PO1〜PO4(図8)のみをタッチするようになぞってもよい。
ステップS58において設定部156は、タッチパネル130の表示部に表示されている画像が、利用者の視界よりも狭いか否かを判定する。具体的には、設定部156は、利用者からの要求を取得した場合に、表示部に表示されている画像が利用者の視界よりも狭い(ステップS58:YES)と判定する。
表示部に表示されている画像が利用者の視界よりも狭い場合(ステップS58:YES)、ステップS60において設定部156は、カメラ110をズームアウトさせた後、処理をステップS52へ遷移させる。これにより、カメラ110の撮影範囲を拡げた状態で上述したステップS52〜S56を繰り返すことができる。
表示部に表示されている画像が利用者の視界よりも狭くない場合(ステップS58:NO)、設定部156は、利用者によってなぞられた範囲を取得する(ステップS62)。その後、ステップS64において設定部156は、カメラ110の撮影範囲を、ステップS62によって取得された範囲に設定する。
以上のように、本実施形態の設定処理によれば、設定部156は、画像取得部(カメラ110)における画像の取得範囲(撮影範囲)と、情報処理装置100の利用者の視界の範囲とを近づけるために、画像取得部における画像の取得範囲を設定する。画像取得部により取得された画像は、信号情報案内処理において、対象信号機が利用者の視界から遮られているか否かの判断材料とされる。このため、両者の範囲を近づければ、対象信号機が利用者の視界から遮られているか否かの判断の精度を向上させることができる。
なお、設定部156は、上記以外の種々の設定を変更可能としてもよい。例えば、設定部156は、信号情報案内処理において用いられている第1、2、3の閾値を、情報処理装置100の利用者の好みに応じて変更するための変更画面を提供してもよい。
B.変形例:
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。
・変形例1:
上記実施例では、情報処理装置の構成の一例を示した。しかし、情報処理装置の構成はあくまで一例であり、任意の態様を採用することができる。例えば、情報処理装置としてスマートフォン以外のデバイスを採用したり、その構成要素の一部を省略したり、更なる構成要素を付加したり、構成要素の一部を変更したりする変形が可能である。
例えば、情報処理装置としては、パーソナルコンピュータ、PDA(Personal Digital Assistants)、ゲーム機等、種々のデバイスを採用可能である。また、車載ナビゲーションシステムが情報処理装置として機能し、上述した信号情報案内処理を実行してもよい。
例えば、画像取得部としてのカメラの機能は、外付けカメラによって代用されてもよく、車載カメラによって代用されてもよい。
・変形例2:
上記実施形態では、信号情報案内処理(図3)について、処理の手順の一例を挙げて説明した。しかし、上記手順はあくまで一例であり種々の変更が可能である。一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
例えば、上記実施形態(ステップS16)では、利用者の視界方向の画像を画像解析することで、対象信号機が利用者の視界から遮られているか否かを判定した。しかし、案内部は、他の方法を用いてステップS16の判定を行ってもよい。例えば、案内部は、利用者からの要求を取得した場合に、対象信号機が利用者の視界から遮られていると判定してもよい。利用者からの要求は、種々の態様で取得することができる。例えば、音声入出力部を介して入力される利用者の声を音声認識することで、利用者からの要求を取得してもよく、タッチパネルを介した入力を取得することで、利用者からの要求を取得してもよい。このようにすれば、案内部は、利用者の要求に応じて簡便に、対象信号機が利用者の視界から遮られているか否かを判定することができる。
例えば、上記実施形態(ステップS16)では、利用者の視界方向の画像に含まれている1つまたは複数の信号機の大きさによって、対象信号機が利用者の視界から遮られているか否かを判定した。しかし、案内部は、画像に含まれている信号機の大きさを用いずに、ステップS16の判定を行ってもよい。
具体的には、例えば、案内部は、対象信号機の位置情報と、情報処理装置の現在位置情報とに基づいて、利用者の視界方向の画像の中で、対象信号機が写ると推定される位置を算出する。案内部は、利用者の視界方向の画像を画像解析し、算出した位置に表示面(信号色を表す面)がある信号機が存在する場合に、対象信号機が利用者の視界から遮られておらず、算出した位置に表示面がある信号機が存在しない場合に、対象信号機が利用者の視界から遮られていると判定してもよい。このようにすれば、案内部は、より正確に、利用者の視界方向の画像に対象信号機が含まれているか否か(換言すれば、対象信号機が利用者の視界から遮られているか否か)を判定することができる。
具体的には、例えば、案内部は、図示しないセンサによって、車両の前方における障害物の存在と、大きさと、高さとを検出する。案内部は、検出した障害物の大きさや高さが所定の閾値よりも大きい場合に、対象信号機が利用者の視界から遮られていると判定してもよい。所定の閾値とは任意に定めることができる。大きさの閾値と、高さの閾値とは別々に設けられていてもよい。また、大きさと、高さとは、一方を省略してもよい。センサとしては、例えば、超音波センサ、赤外線センサ等を利用することができる。このようにすれば、案内部は、画像解析を用いずに、利用者の視界方向の画像に対象信号機が含まれているか否か(換言すれば、対象信号機が利用者の視界から遮られているか否か)を判定することができる。
例えば、対象信号機が黄色に変わりそうである場合の警告処理(ステップS18およびS20)は省略してもよい。
例えば、車速の判定(ステップS22)は省略してもよい。ステップS22を省略した場合、案内部は、車速にかかわらず、情報処理装置の利用者に対して、対象信号機の信号情報を案内し(ステップS24)、ステップS26は実行されない。
例えば、交差点までの距離の判定(ステップS28)、および、利用者が対象信号機を通過できる可能性の案内(ステップS30)は、省略してもよい。
・変形例3:
上記実施形態では、信号情報の案内画面について一例を挙げて説明した。しかし、上記画面はあくまで一例であり、種々の変更が可能である。一部の表示項目を省略してもよいし、更なる他の表示項目を追加してもよい。
例えば、案内画面は、対象信号機の表示状態情報を図示した画像や変化情報を文字で表したメッセージの他に、標識や信号の名称を図示した画像を含んでもよく、注意すべき事項を表すアイコンを含んでもよい。また、変化情報を文字で表したメッセージは省略してもよい。
例えば、案内画面は、設定処理へ画面を遷移させるためのボタンを含んでもよい。
・変形例4:
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
10…車両
11…運転席
12…助手席
13…ダッシュボード
20a…対象信号機
20b…信号機
30a…信号機
40…トラック
50a…信号機
100…情報処理装置
110…CPU
110…カメラ
124…加速度センサ
130…タッチパネル
140…記憶部
150…CPU
152…案内部
154…情報取得部
156…設定部
160…無線通信部
170…音声入出力部
180…ROM
190…RAM
200…クレードル
D…進行方向
L…距離
P1…利用者の視界方向の画像
W1…案内画面
G1…画像
M1…メッセージ
PO1〜PO4…点
FM…枠

Claims (15)

  1. 情報処理装置であって、
    前記情報処理装置の利用者が確認を要する信号機である対象信号機の情報を取得する情報取得部と、
    前記対象信号機が前記利用者の視界から遮られている場合に、取得された前記対象信号機の情報を前記利用者に案内する案内部であって、前記対象信号機が前記利用者の視界から遮られていない場合に、取得された前記対象信号機の情報を前記利用者に案内しない案内部と、
    前記利用者の視界方向の画像を取得する画像取得部と、
    前記画像取得部における前記画像の取得範囲を設定する設定部と、を備え
    前記案内部は、取得された前記画像に前記対象信号機が含まれていない場合に、前記案内を行う、情報処理装置。
  2. 請求項に記載の情報処理装置であって、
    前記案内部は、さらに、取得された前記画像に1つまたは複数の信号機が含まれている場合に、前記画像中の各信号機の大きさに基づいて、前記1つまたは複数の信号機の各々が前記対象信号機であるか否かを判定する、情報処理装置。
  3. 情報処理装置であって、
    前記情報処理装置の利用者が確認を要する信号機である対象信号機の情報を取得する情報取得部と、
    前記対象信号機が前記利用者の視界から遮られている場合に、取得された前記対象信号機の情報を前記利用者に案内する案内部であって、前記対象信号機が前記利用者の視界から遮られていない場合に、取得された前記対象信号機の情報を前記利用者に案内しない案内部と、
    を備え
    前記案内部は、前記利用者の要求を取得した場合に、前記案内を行う、情報処理装置。
  4. 請求項から請求項3のいずれか一項に記載の情報処理装置であって、
    前記案内部は、取得された前記対象信号機の情報が、前記対象信号機の表示色が黄色に遷移するまでの時間が所定時間よりも短いことを示している場合に、前記利用者に注意を喚起するための前記案内を行う、情報処理装置。
  5. 情報処理装置であって、
    前記情報処理装置の利用者が確認を要する信号機である対象信号機の情報を取得する情報取得部と、
    前記対象信号機が前記利用者の視界から遮られている場合に、取得された前記対象信号機の情報を前記利用者に案内する案内部であって、前記対象信号機が前記利用者の視界から遮られていない場合に、取得された前記対象信号機の情報を前記利用者に案内しない案内部と、
    を備え
    前記案内部は、前記利用者が停止している場合に、取得された前記対象信号機の情報に基づき、前記停止の理由を含む前記案内を行う、情報処理装置。
  6. 請求項から請求項5のいずれか一項に記載の情報処理装置であって、
    前記案内部は、前記利用者と前記対象信号機との間の距離が所定距離よりも小さい場合に、取得された前記対象信号機の情報に基づき、前記利用者が前記対象信号機を通過できる可能性の提示を含む前記案内を行う、情報処理装置。
  7. 情報処理装置であって、
    前記情報処理装置の利用者が確認を要する信号機である対象信号機の情報を取得する情報取得部と、
    前記対象信号機が前記利用者の視界から遮られている場合に、取得された前記対象信号機の情報を前記利用者に案内する案内部であって、前記対象信号機が前記利用者の視界から遮られていない場合に、取得された前記対象信号機の情報を前記利用者に案内しない案内部と、
    前記情報処理装置の現在位置に関する現在位置情報を取得する現在位置情報取得部と、
    備え、
    前記情報取得部は、さらに、予め探索された経路情報と前記現在位置情報との組み合わせと、前記現在位置情報の経時的変化と、前記利用者の向きと前記現在位置情報との組み合わせと、のうちの少なくともいずれか1つを用いて、前記対象信号機を特定する、情報処理装置。
  8. 信号機の情報を案内する方法であって、
    情報処理装置の利用者の視界方向の画像の取得範囲を設定する設定工程と、
    前記取得範囲の前記画像を取得する画像取得工程と、
    前記利用者が確認を要する信号機である対象信号機の情報を取得する取得工程と、
    前記対象信号機が前記利用者の視界から遮られている場合に、取得された前記対象信号機の情報を前記利用者に案内する案内工程であって、前記対象信号機が前記利用者の視界から遮られていない場合に、取得された前記対象信号機の情報を前記利用者に案内しない案内工程と、
    を情報処理装置に実現させるための、方法であり、
    前記案内工程は、取得された前記画像に前記対象信号機が含まれていない場合に、前記案内を行う工程である方法。
  9. 信号機の情報を案内する方法であって、
    情報処理装置の利用者が確認を要する信号機である対象信号機の情報を取得する取得工程と、
    前記対象信号機が前記利用者の視界から遮られている場合に、取得された前記対象信号機の情報を前記利用者に案内する案内工程であって、前記対象信号機が前記利用者の視界から遮られていない場合に、取得された前記対象信号機の情報を前記利用者に案内しない案内工程と、
    を情報処理装置に実現させるための、方法であり、
    前記案内工程は、前記利用者の要求を取得した場合に、前記案内を行う工程である方法。
  10. 信号機の情報を案内する方法であって、
    情報処理装置の利用者が確認を要する信号機である対象信号機の情報を取得する取得工程と、
    前記対象信号機が前記利用者の視界から遮られている場合に、取得された前記対象信号機の情報を前記利用者に案内する案内工程であって、前記対象信号機が前記利用者の視界から遮られていない場合に、取得された前記対象信号機の情報を前記利用者に案内しない案内工程と、
    を情報処理装置に実現させるための、方法であり、
    前記案内工程は、前記利用者が停止している場合に、取得された前記対象信号機の情報に基づき、前記停止の理由を含む前記案内を行う工程である方法。
  11. 信号機の情報を案内する方法であって、
    情報処理装置の現在位置に関する現在位置情報を取得する現在位置情報取得工程と、
    前記情報処理装置の利用者が確認を要する信号機である対象信号機の情報を取得する取得工程と、
    前記対象信号機が前記利用者の視界から遮られている場合に、取得された前記対象信号機の情報を前記利用者に案内する案内工程であって、前記対象信号機が前記利用者の視界から遮られていない場合に、取得された前記対象信号機の情報を前記利用者に案内しない案内工程と、
    を情報処理装置に実現させるための、方法であり、
    前記取得工程予め探索された経路情報と前記現在位置情報との組み合わせと、前記現在位置情報の経時的変化と、前記利用者の向きと前記現在位置情報との組み合わせと、のうちの少なくともいずれか1つを用いて、前記対象信号機を特定する工程である方法
  12. コンピュータプログラムであって、
    情報処理装置の利用者の視界方向の画像の取得範囲を設定する設定機能と、
    前記取得範囲の前記画像を取得する画像取得機能と、
    前記利用者が確認を要する信号機である対象信号機の情報を取得する取得機能と、
    前記対象信号機が前記利用者の視界から遮られている場合に、取得された前記対象信号機の情報を前記利用者に案内する案内機能であって、前記対象信号機が前記利用者の視界から遮られていない場合に、取得された前記対象信号機の情報を前記利用者に案内しない案内機能と、
    をコンピュータに実現させるための、コンピュータプログラムであり、
    前記案内機能は、取得された前記画像に前記対象信号機が含まれていない場合に、前記案内を行う機能であるコンピュータプログラム
  13. コンピュータプログラムであって、
    情報処理装置の利用者が確認を要する信号機である対象信号機の情報を取得する取得機能と、
    前記対象信号機が前記利用者の視界から遮られている場合に、取得された前記対象信号機の情報を前記利用者に案内する案内機能であって、前記対象信号機が前記利用者の視界から遮られていない場合に、取得された前記対象信号機の情報を前記利用者に案内しない案内機能と、
    をコンピュータに実現させるための、コンピュータプログラムであり、
    前記案内機能は、前記利用者の要求を取得した場合に、前記案内を行う機能であるコンピュータプログラム
  14. コンピュータプログラムであって、
    情報処理装置の利用者が確認を要する信号機である対象信号機の情報を取得する取得機能と、
    前記対象信号機が前記利用者の視界から遮られている場合に、取得された前記対象信号機の情報を前記利用者に案内する案内機能であって、前記対象信号機が前記利用者の視界から遮られていない場合に、取得された前記対象信号機の情報を前記利用者に案内しない案内機能と、
    をコンピュータに実現させるための、コンピュータプログラムであり、
    前記案内機能は、前記利用者が停止している場合に、取得された前記対象信号機の情報に基づき、前記停止の理由を含む前記案内を行う機能であるコンピュータプログラム
  15. コンピュータプログラムであって、
    情報処理装置の現在位置に関する現在位置情報を取得する現在位置情報取得機能と、
    前記情報処理装置の利用者が確認を要する信号機である対象信号機の情報を取得する取得機能と、
    前記対象信号機が前記利用者の視界から遮られている場合に、取得された前記対象信号機の情報を前記利用者に案内する案内機能であって、前記対象信号機が前記利用者の視界から遮られていない場合に、取得された前記対象信号機の情報を前記利用者に案内しない案内機能と、
    をコンピュータに実現させるための、コンピュータプログラムであり、
    前記取得機能予め探索された経路情報と前記現在位置情報との組み合わせと、前記現在位置情報の経時的変化と、前記利用者の向きと前記現在位置情報との組み合わせと、のうちの少なくともいずれか1つを用いて、前記対象信号機を特定する機能であるコンピュータプログラム
JP2014218811A 2014-10-28 2014-10-28 情報処理装置、信号機の情報を案内する方法、および、コンピュータプログラム Active JP6310381B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014218811A JP6310381B2 (ja) 2014-10-28 2014-10-28 情報処理装置、信号機の情報を案内する方法、および、コンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014218811A JP6310381B2 (ja) 2014-10-28 2014-10-28 情報処理装置、信号機の情報を案内する方法、および、コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2016085651A JP2016085651A (ja) 2016-05-19
JP6310381B2 true JP6310381B2 (ja) 2018-04-11

Family

ID=55972190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014218811A Active JP6310381B2 (ja) 2014-10-28 2014-10-28 情報処理装置、信号機の情報を案内する方法、および、コンピュータプログラム

Country Status (1)

Country Link
JP (1) JP6310381B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6604577B2 (ja) * 2016-07-07 2019-11-13 パナソニックIpマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転支援システム、自動運転制御装置、車両、プログラム
US11989946B2 (en) 2020-03-31 2024-05-21 Nec Corporation Signal information providing device, signal information providing method, and recording medium having program recorded thereon

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4507815B2 (ja) * 2004-07-09 2010-07-21 アイシン・エィ・ダブリュ株式会社 信号情報作成方法、信号案内情報提供方法及びナビゲーション装置
JP2007034693A (ja) * 2005-07-27 2007-02-08 Denso Corp 安全運転支援装置
JP4900308B2 (ja) * 2008-04-11 2012-03-21 トヨタ自動車株式会社 信号情報提供装置
WO2010143264A1 (ja) * 2009-06-09 2010-12-16 トヨタ自動車株式会社 運転支援装置
JP2011108175A (ja) * 2009-11-20 2011-06-02 Alpine Electronics Inc 運転支援装置、運転支援方法および運転支援プログラム
JP5744818B2 (ja) * 2012-11-08 2015-07-08 本田技研工業株式会社 車両用運転支援装置

Also Published As

Publication number Publication date
JP2016085651A (ja) 2016-05-19

Similar Documents

Publication Publication Date Title
US11511627B2 (en) Display device and computer program
US20160129836A1 (en) Drive assist device
JPWO2019038903A1 (ja) 周囲車両表示方法及び周囲車両表示装置
JP5896505B2 (ja) 車両運転支援装置
JP6805974B2 (ja) 走行支援装置及びコンピュータプログラム
JP2015170113A (ja) 表示物情報表示装置
JP2014120111A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP2019197303A (ja) 車外報知装置
JP4561338B2 (ja) 走行支援装置
JP2016066231A (ja) 衝突防止装置、衝突防止方法、衝突防止プログラムおよび記録媒体
JP2018151903A (ja) 虚像表示装置及びコンピュータプログラム
JP2019109707A (ja) 表示制御装置、表示制御方法および車両
JP2017111498A (ja) 運転支援装置
JP2014120114A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP2016143090A (ja) 危険車両検知システム及び車載情報処理装置
JP6136238B2 (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP2019056884A (ja) 重畳画像表示装置
JP6310381B2 (ja) 情報処理装置、信号機の情報を案内する方法、および、コンピュータプログラム
JP2014120113A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
KR101947473B1 (ko) 후방 차량을 고려한 안전 운전 지원 장치 및 방법
JP2008090654A (ja) 運転操作支援装置
JP2009105741A (ja) 車載周辺監視装置
JP2016181226A (ja) 運転支援装置
JP2016085712A (ja) 走行支援装置、走行支援プログラムおよび走行支援方法
JP2008305283A (ja) 運転支援装置および運転支援方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180316

R150 Certificate of patent or registration of utility model

Ref document number: 6310381

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250