JP5206314B2 - 車載用電子機器 - Google Patents
車載用電子機器 Download PDFInfo
- Publication number
- JP5206314B2 JP5206314B2 JP2008276517A JP2008276517A JP5206314B2 JP 5206314 B2 JP5206314 B2 JP 5206314B2 JP 2008276517 A JP2008276517 A JP 2008276517A JP 2008276517 A JP2008276517 A JP 2008276517A JP 5206314 B2 JP5206314 B2 JP 5206314B2
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- vehicle
- driver
- vehicle device
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001747 pupil Anatomy 0.000 claims description 136
- 238000001514 detection method Methods 0.000 claims description 55
- 210000005252 bulbus oculi Anatomy 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 12
- 210000001508 eye Anatomy 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 9
- 210000000744 eyelid Anatomy 0.000 claims description 6
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 5
- 102220370916 c.136T>G Human genes 0.000 description 4
- 102220057255 rs730881172 Human genes 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004936 left thumb Anatomy 0.000 description 1
- 239000003507 refrigerant Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Description
このような車両用カーナビゲーション装置として、車両走行中の安全性を確保する観点から、車両走行中においては、車両用カーナビゲーション装置に対する操作を規制するものが提案されている。
例えば、ステアリングホイールに該ステアリングホイールを把持する運転者の手を検出する応力センサからなるセンサ手段を設け、例えば、センサ手段により運転者の左右両手の双方がステアリングホイールにあることが検出された場合には車両用カーナビゲーション装置に対する操作を許容し、センサ手段により運転者の左右両手の双方がステアリングホイールにあることが検出されない場合には車両用カーナビゲーション装置に対する操作を規制するようにしたものが提案されている(特許文献1参照)。
また、運転者の顔を検出する顔検出手段と、該顔検出手段により検出された運転者の顔の向きが車両の正面以外に向いているか否かを判定する顔向き判定手段と、該顔向き判定手段による判定された運転者の顔が車両の正面を向いていない場合の時間を積算して総脇見時間を算出する総脇見時間算出手段とを設け、総脇見時間が規定時間以下であるか否かに応じて車両用カーナビゲーション装置に対する操作を許容あるいは規制するようにしたものが提案されている(特許文献2参照)。
例えば、エアーコンディショナー装置は、風量や室温の調整操作を頻繁に行うことが多く、また、カーオーディオ装置は、アルバムや曲目の選択、曲の早送り、早戻し、音量調整、音質調整などの操作を頻繁に行うことが多い。
したがって、運転者がより簡単に車載機器を操作を行えるようにすることが、安全性の確保を図る観点から、また、利便性の向上を図る上から求められている。
本発明は、このような事情に鑑みてなされたものであり、車両走行中の安全性を確保しつつ、利便性の向上を図る上で有利な車載用電子機器を提供することを目的とする。
また、本発明は、車室内の複数個所に設けられた車載機器と、ステアリングホイールに設けられ入力操作を受け付ける操作入力手段と、前記各車載機器のそれぞれに対応して設けられ運転者の瞳孔が該車載機器に向けられたか否かを検出する第2の瞳孔検出手段と、前記各第2の瞳孔検出手段の検出動作に基づいて、前記運転者が注視している部分が、前記複数の車載機器の中の何れの車載機器に該当するかを特定し、該特定した車載機器を制御対象として選択する制御対象選択手段と、前記選択された車載機器の制御を、前記操作入力手段によって受け付けられた入力操作に応じて行う車載機器制御手段と、運転者が顔を車両の前方に向けた状態で視認可能な箇所に設けられた操作用表示装置と、前記選択された車載機器を、前記操作入力手段を用いて操作するために必要な操作情報を前記操作用表示装置に表示させる表示制御手段とを備え、前記操作入力手段は、前記選択された車載機器における複数の項目についての操作が可能であり、前記表示制御手段は、前記複数の項目のうち今回操作をおこなう項目を前記運転者に選択させる表示と、前記今回操作をおこなう項目における入力操作のための表示と、を表示させることを特徴とする。
次に本発明の実施の形態について説明する。
図1は本発明の実施の形態である車載用電子機器10の全体構成を示すブロック図、図2は車載用電子機器10の機能ブロック図、図3は運転席近傍の構成を示す説明図、図4は操作入力手段28としての十字キー2802を示す平面図、図5は操作入力手段28としての決定キー2804、キャンセルキー2806を示す平面図である。
エアコン装置14、カーオーディオ装置16、車両用ナビゲーション装置18、ミラー装置20は、車両の複数箇所に設けられており、各装置14、16、18、20はそれぞれ車載機器21を構成している。
統合制御ECU12は、エアコン装置14、カーオーディオ装置16、車両用ナビゲーション装置18、ミラー装置20のそれぞれに設けられたECU1402、1602、1802、2002と、車内LANであるCAN(Controller Area Network)を介して通信可能に接続されている。
統合制御ECU12は、いわゆるゲートウェイ(ゲートウェイコンピュータ)を構成しており、言い換えると、統合制御ECU12は、車載機器制御装置ETACS(Electronics Time and Alarm Control System)を構成している。
統合制御ECU12は、例えば、CPU、制御プログラムなどを格納するROM、ワーキングエリアを提供するRAM、周辺回路とのインタフェースをとるインタフェース部などがバスによって接続されたマイクロコンピュータによって構成されたものであり、前記CPUが制御プログラムを実行することにより機能する。
また、統合制御ECU12は、図2に示すように、後述する制御対象選択手段32、表示制御手段34、車載機器制御手段36として機能する。
エアコン装置14は、エアコン装置用ECU1402、エアコン用操作スイッチ1404、エアコン用駆動部1406、送風温度調整手段1408、図示しない温度センサなどを含んで構成されている。
エアコン装置用ECU1402は、例えば、CPU、制御プログラムなどを格納するROM、ワーキングエリアを提供するRAM、周辺回路とのインタフェースをとるインタフェース部などがバスによって接続されたマイクロコンピュータによって構成されたものであり、前記CPUが制御プログラムを実行することにより機能する。
エアコン用操作スイッチ1404は、エアコン装置14の動作にまつわるさまざまな設定や調整、具体的には、温度調整、風量調整などを行うために操作されるものである。
エアコン用操作スイッチ1404は、図3に示すように、センターコンソール6に設けられている。
エアコン用駆動部1406は、エアコン装置用ECU1402の制御により送風温度調整手段1408を駆動するものである。
送風温度調整手段1408は、車室2(図3)に空気を送風するファン、空気を加熱するヒータ、冷媒を用いて空気を冷却する冷却部などを含んで構成されている。
エアコン装置用ECU1402は、図示しない温度センサの検出結果およびエアコン用操作スイッチ1404の操作によって設定された温度、風量に基づいて、エアコン用駆動部1406を介して送風温度調整手段1408を制御し、これにより、車室2内の空調がなされる。
カーオーディオ装置16は、オーディオ用ECU1602、オーディオ用操作スイッチ1604、ディスク装置1606、チューナー1608、アンプ1610、図示しないスピーカーなどを含んで構成されている。
オーディオ用ECU1602は、例えば、CPU、制御プログラムなどを格納するROM、ワーキングエリアを提供するRAM、周辺回路とのインタフェースをとるインタフェース部などがバスによって接続されたマイクロコンピュータによって構成されたものであり、前記CPUが制御プログラムを実行することにより機能する。
オーディオ用操作スイッチ1604は、図3に示すように、運転席と助手席との中間箇所に臨むインストルメントパネル4の部分に組み込まれている。
オーディオ用操作スイッチ1604は、カーオーディオ装置16の動作にまつわるさまざまな設定や調整、具体的には、アルバムや曲目の選択、曲の早送り、早戻し、放送局の選局、音量調整、音質調整などを行うために操作されるものである。
ディスク装置1606は、CDやMDなどのディスク状記録媒体から音声信号を再生するものである。
チューナー1608は、AMラジオやFMラジオの放送局からの電波を受信して音声信号を再生するものである。
アンプ1610は、ディスク装置1606あるいはチューナー1608から供給される音声信号を増幅して前記スピーカーに供給することで音響を発生させるものである。
オーディオ用ECU1602は、オーディオ用操作スイッチ1604の操作に基づいて、ディスク装置1606、チューナー1608、アンプ1610を制御する。
車両用ナビゲーション装置18は、ナビゲーション用ECU1802、GPS受信機1804、外部記憶装置1806、ディスプレイ1808、ナビゲーション用操作スイッチ1810などを含んで構成されている。
ナビゲーション用ECU1802は、例えば、CPU、制御プログラムなどを格納するROM、ワーキングエリアを提供するRAM、周辺回路とのインタフェースをとるインタフェース部などがバスによって接続されたマイクロコンピュータによって構成されたものであり、前記CPUが制御プログラムを実行することにより機能する。
GPS受信機1804は、GPS(Global Positioning System)用の人工衛星(NAVSTAR)から受信した信号に基づいて緯度データ、経度データ、高度データを算出すると共に、受信地点の移動速度(車両の走行速度)を表す速度データおよび移動方位を表す方位データを生成しそれらデータをナビゲーション用ECU12に供給するものである。
外部記憶装置1806は、地図をディスプレイ1808に表示させるための地図データ、交差点データ、道路データ、住所データなどのナビゲーションに必要なさまざまなデータを記憶するものである。
外部記憶装置1806は、前記各データが格納されたCD−ROMやDVD−ROMなどのディスク状記録媒体と、該ディスク状記録媒体からデータを読み出すディスクドライブとで構成され、あるいは、前記各データが格納されたハードディスク装置で構成されるなど従来公知のさまざまな構成が採用可能である。
ディスプレイ1808は、図3に示すように、インストルメントパネル4のうちオーディオ用操作スイッチ1604の上方の部分に組み込まれている。
ディスプレイ1808は、表示装置を含んで構成され、該表示装置は、外部記憶装置1806から読み出されるナビゲーション用の各種データを表示するものである。
表示装置としては、液晶表示装置など従来公知のさまざまな表示装置が採用可能である。
ナビゲーション用操作スイッチ1810は、ディスプレイ1808の表示面の外側に位置するディスプレイ1808の筐体部分に複数個設けられている。
ナビゲーション用操作スイッチ1810は、操作されると検出信号を生成してナビゲーション用ECU1802に供給するものである。
なお、ディスプレイ1808の表示面を覆うようにタッチパネルを設け、このタッチパネルに触れることで検出信号を生成してナビゲーション用ECU1802に供給するようにするなど任意である。
ミラー装置20は、ミラー用ECU2002、ミラー用操作スイッチ2004、ミラー用駆動部2006、ミラー用アクチュエータ2008、ミラー2010などを含んで構成されている。
ミラー用ECU2002は、例えば、CPU、制御プログラムなどを格納するROM、ワーキングエリアを提供するRAM、周辺回路とのインタフェースをとるインタフェース部などがバスによって接続されたマイクロコンピュータによって構成されたものであり、前記CPUが制御プログラムを実行することにより機能する。
ミラー用操作スイッチ2004は、ミラー装置20の設定を行うために操作されるものである。
ミラー用操作スイッチ2004は、図3に示すように、運転者側のドアの内面箇所に設けられている。
ミラー2010は、車両に設けられ後方を視認するためのミラーで構成されており、角度が調整可能に設けられている。
ミラー用駆動部2006は、ミラー用ECU2002の制御によりミラー用アクチュエータ2008を駆動するものである。
ミラー用アクチュエータ2008は、ミラー2010の角度を調整するものである。
ミラー用ECU2002は、ミラー用操作スイッチ2004の操作によって設定された角度に基づいて、ミラー用駆動部2006を介してミラー用アクチュエータ2008を制御し、これにより、ミラー2010の角度調整がなされる。
車速センサ22は、車両の走行速度を検出して該走行速度を示す車速データをCANを介して統合制御ECU12に供給するものである。
また、シフトポジションセンサ24は、変速段の位置を検出し該変速段の位置を示すシフトポジションデータを、CANを介して統合制御ECU12に供給するものである。
瞳孔検出手段26は、運転者の瞳孔の向きと大きさを検出し、瞳孔の向きを示す瞳孔向きデータを生成するものである。
瞳孔検出手段26は、図2に示すように、照明手段38と、撮像装置40と、画像処理手段42とを含んで構成されている。
照明手段38は、運転者の左右の眼球に向けて照明光として赤外線を照射するものである。
照明手段38は、運転席4に着座した運転者の左右の眼球に照明光を照射する箇所に配設されており、本実施の形態では、運転者の正面に臨むステアリングホイール50のコラムカバーの部分に配設されている。
なお、照明手段38の配設箇所は、コラムカバーの部分に限定されるものではなく、照明手段38によって運転席に着座した運転者の左右の眼球に照明光を照射可能な箇所であればよく、例えば、運転者の正面に臨むインストルメントパネル4の部分などでもよい。
撮像装置40は、図3に示すように、運転席に着座した運転者の左右の眼球を撮像可能な箇所に配設されており、本実施の形態では、運転者の正面に臨むスステアリングホイール50のコラムカバーの部分に配設されている。
なお、撮像装置40の配設箇所は、コラムカバーの部分に限定されるものではなく、撮像装置40によって運転席に着座した運転者の左右の眼球を撮像可能な箇所であればよく、例えば、運転者の正面に臨むインストルメントパネル4の部分などでもよい。
なお、眼球の画像データに対して画像処理を行うことにより、運転者の左右の眼球の瞳孔の向きを示す瞳孔向きデータを得る技術としては、例えば、特開2008−29701、特開2008−29702など示されているように、眼球に赤外線を照射すると共に、眼球を撮像して得た画像データから、瞳孔の位置および角膜反射位置を検出し、その検出結果に基づいて視線、すなわち瞳孔の向きを示す瞳孔向きデータを得るなど、従来公知のさまざまな技術が採用可能である。
また、眼球の画像データから瞳孔の大きさを示す瞳孔サイズデータを得る技術としては、眼球の画像データから抽出した特徴点に基づいて瞳孔の大きさを求めるなど、従来公知のさまざまな画像処理が採用可能である。
なお、画像処理手段42は、図2に示すように統合制御ECU12と別体に構成してもよいし、画像処理手段42を統合制御ECU12によって構成してもよい。
操作入力手段28は、ステアリングホイール50に設けられ入力操作を受け付けるものであり、各車載機器21を操作するためのものである。
具体的に説明すると、図3に示すようにステアリングホイール50は、ステアリングホイールリム52とステアリングスポーク54とを含んで構成されている。
操作入力手段28は、十字キー2802と、決定キー2804と、キャンセルキー2806とを含んで構成されている。
十字キー2802は、図3、図4に示すように、ステアリングスポーク54の箇所でステアリングホイールリム52を握った運転者の左手の親指で操作される箇所に設けられている。
十字キー2802は、上下左右の端部に位置する4箇所が押圧操作される箇所となっており、4箇所のそれぞれを押圧操作することにより、4種類の操作入力を行うことができるように構成されている。
十字キー2802は、例えば、複数存在する選択項目の中から1つの選択項目を特定する際に使用される。
決定キー2804とキャンセルキー2806は、図3、図5に示すように、ステアリングスポーク54の箇所でステアリングホイールリム52を握った運転者の右手の親指で操作される箇所に設けられている。
本実施の形態では、決定キー2804はキャンセルキー2806とステアリングリム52との間に配置されている。
決定キー2804とキャンセルキー2806は、押圧操作することで操作入力を行うものであり、決定キー2804は、例えば、十字キー2802によって操作された内容を決定する際に操作され、キャンセルキー2806は、例えば、十字キー2802によって操作された内容をキャンセルする際に操作される。
なお、操作入力手段28は、十字キー2802、決定キー2804、キャンセルキー2806に限定されるものではなく、例えば、ジョイスティック、トラックボール、タッチパネルなど従来公知のさまざまな操作入力手段が採用可能である。
操作用表示装置30は、画像を表示するものであり、図6に示すように、操作入力手段28を用いて各車載機器21を操作するために必要な操作情報を表示する。
操作用表示装置30は、運転者が顔を車両の前方に向けた状態で視認可能な箇所に設けられている。
本実施の形態では、操作用表示装置30は、図3に示すように、インストルメントパネル4のメータハウジング内に設けられている。図3において符号4002はメータハウジング内のメータを示す。
操作用表示装置30としては、液晶表示装置など従来公知のさまざまな表示装置が採用可能である。
制御対象選択手段32は、瞳孔検出手段26から供給される瞳孔向きデータに基づいて、運転者が注視している部分が、複数の車載機器21の中の何れの車載機器21に該当するかを特定し、該特定した車載機器21を制御対象として選択するものである。
言い換えると、制御対象選択手段32は、瞳孔検出手段26から供給される瞳孔向きデータに基づいて、運転者の視線が向いている箇所、すなわち、注視点に位置する車載機器21を特定し、該特定した車載機器21を制御対象として選択するものである。
本実施の形態では、制御対象選択手段32は、運転者が注視している部分が、エアコン装置14のエアコン用操作スイッチ1404に該当すれば、複数の車載機器21の中からエアコン装置14を特定し、該エアコン装置14を制御対象として選択する。
また、運転者が注視している部分が、カーオーディオ装置16のオーディオ用操作スイッチ1604に該当すれば、複数の車載機器21の中からカーオーディオ装置16を特定し、該カーオーディオ装置16を制御対象として選択する。
また、運転者が注視している部分が、車両用ナビゲーション装置18のナビゲーション用操作スイッチ1810に該当すれば、複数の車載機器21の中から車両用ナビゲーション装置18を特定し、該車両用ナビゲーション装置18を制御対象として選択する。
また、運転者が注視している部分が、ミラー装置20のミラー用操作スイッチ2004に該当すれば、複数の車載機器21の中からミラー装置20を特定し、該ミラー装置20を制御対象として選択する。
表示制御手段34は、選択された車載機器21を、操作入力手段28を用いて操作するために必要な操作情報を操作用表示装置30に表示させるものである。
図6(A)乃至(E)は選択された車載機器21がカーオーディオ装置16である場合において操作情報が操作用表示装置30に表示された状態の一例を示す説明図である。
図6(A)に示す例では、操作用表示装置30の表示面には、前記操作情報として、十字キー2802の4つの操作箇所(上下左右の4方向)のそれぞれに対応する三角形の矢印56と、現在選択されている選択項目58と、該選択されている選択項目58の下位の選択項目60と、十字キー2802の操作により選択可能な複数の選択項目62とが表示されている。
具体的には、4つの矢印56は、上下左右に間隔をおいた4箇所に上下左右の4方向を向いて表示されている。
また、現在選択されている選択項目58として、「音量」が操作用表示装置30の表示面のうち4つの矢印56よりも上方の箇所に表示されている。
また、該選択されている選択項目58の下位の選択項目60として、音量の大小を示す数値「9」、「10」、「11」が表示されており、現在選択されている数値「10」が4つの矢印56で囲まれた中央箇所に表示され、上方向の矢印56の上方に数値「11」が、下方向の矢印56の下方に数値「9」が表示されている。また、4つの矢印56の表示色は全て同一となっている。
また、選択された車載機器21が、車両用ナビゲーション装置18であれば、選択項目58、60、62として、ナビゲーションを行うために必要な種々の選択項目が表示される。
また、選択された車載機器21が、ミラー装置20であれば、選択項目58、62として、左右のミラー2010を選択するための項目が表示され、下位の選択項目60としてミラー2010の角度を示す数値が表示される。
このように、表示制御手段34は、操作入力手段28を用いて操作するために必要な操作情報を操作用表示装置30に表示させるが、操作情報は、選択された車載機器21に対応して任意に設定されるものである。
また、本実施の形態では、操作入力手段28(十字キー2802)の操作状態を操作用表示装置30に表示するために、表示内容(矢印56)の表示色を変更する場合について説明したが、操作入力手段28の操作状態を操作用表示装置30に表示する方法はこれに限られるものではなく、表示内容の形状を変化させたり、点滅表示させるなど、従来公知のさまざまな表示方法が採用可能である。
車載機器制御手段36は、制御対象選択手段32によって選択された車載機器21の制御を、操作入力手段28によって受け付けられた入力操作に応じて行うものである。
次に、図7の動作フローチャートを参照して示す車載用電子機器10の動作について説明する。
統合制御ECU12は、車速センサ22から供給される車速データに基づいて、車両の走行速度が所定値以上であるか否かを判定する(ステップS10)。
ステップS10の判定結果が否定(「N」)であれば、車両が停止中であり、したがって、統合制御ECU12は、各車載機器21を制御することによって、運転者による車載機器21の操作スイッチに対する直接の操作を許容する。
ステップS10の判定結果が肯定(「Y」)であれば、統合制御ECU12は、運転者の瞳孔を検出する(ステップS12)。
すなわち、統合制御ECU12は、瞳孔検出手段26による瞳孔向きデータの検出を行う。
統合制御ECU12は、検出された瞳孔向きデータに基づいて運転者の視線が車両の正面(前方)を向いているか否かを判定する(ステップS14)。
ステップS14の判定結果が否定(「N」)であれば、統合制御ECU12は、検出された瞳孔向きデータに基づいて、運転者の視線がどの車載機器21に向けられているかを特定する(ステップS16)。
そして、統合制御ECU12は、操作入力手段28の決定キー2804が操作されたか否かを判定し(ステップS18)、その判定結果が肯定(「Y」)であることをもって、制御対象となる車載機器21の選択を行う(ステップS20)。
一方、その判定結果が否定(「N」)ならば、ステップS14に遷移する。
統合制御ECU12は、操作入力手段28に対して操作がなされたか否かを判定し(ステップS24)、操作がなされたならば、車載機器21に対する制御処理を行い(ステップS26)、ステップS10に移行する。操作入力手段28に対して操作がなされなければステップS24を繰り返して操作を待機する。
また、ステップS14の判定結果が肯定(「Y」)ならば、運転者が車両の正面を見て運転を行っているため、操作入力手段28に対する操作入力の受付を禁止し、ステップS10に移行する。
しかしながら、図8に示すような処理としてもよい。
図8は車載用電子機器10の動作の変形例を示す動作フローチャートであり、ステップS18A以外の処理は、図7と同一であるため説明を省略する。
すなわち、統合制御ECU12は、図8に示すように、瞳孔検出手段26によって検出された瞳孔サイズデータに基づいて両目のうち一方の目の目蓋の開閉を検知したか否かを判定し、その判定結果が肯定(「Y」)であることをもって、制御対象となる車載機器21の選択を行うようにしてもよい(ステップS18A)。この場合、ステップS18Aの判定結果が否定(N)ならば、ステップS14に遷移する。
言い換えると、運転者の瞳孔が車載機器21に向けられた状態で、運転者の目蓋がいったん閉じられたのち、開かれたか否かを判定すると共に、この判定結果が肯定であることをもって、車載機器21の選択を行うようにしてもよい。
この場合には、運転者による決定キー2804の操作が省略されることにより、操作性の向上が図られている。
すなわち、統合制御ECU12は、瞳孔検出手段26によって検出された瞳孔サイズデータに基づいて、運転者の瞳孔が車載機器21に向けられた状態で、瞳孔の大きさが所定値以上になったか否かを判定すると共に、この判定結果が肯定であることをもって、車載機器の選択を行うようにしてもよい。
これは、人の瞳孔が関心を持った対象物を注視した際に、瞳孔の大きさが拡大することに基づいている。
この場合にも、運転者による決定キー2804の操作が省略されることにより、操作性の向上が図られている。
すなわち、統合制御ECU12は、検出された瞳孔向きデータに基づいて、運転者の瞳孔が車載機器21に向けられている時間が所定値以上であるか否かを判定すると共に、この判定結果が肯定であることをもって、車載機器21の選択を行うようにしてもよい。
この場合にも、運転者による決定キー2804の操作が省略されることにより、操作性の向上が図られている。
また、ステップS22を実行する統合制御ECU12が表示制御手段34として機能する。
また、ステップS26を実行する統合制御ECU12が車載機器制御手段36として機能する。
したがって、運転者は、車載機器21を注視することで制御対象となる車載機器21を特定すると共に、この特定した車載機器21を、ステアリングホイール50に設けられた操作入力手段28によって操作することができるため、運転者が車載機器の操作に気を取られることなく、車載機器21に対する操作を簡単に行うことができ、車両走行中の安全性を確保しつつ、利便性の向上を図る上で有利となる。
特に、エアコン装置14やカーオーディオ装置16のように頻繁に操作を行うことが多い車載機器21に対する操作を必要最小限の動作で行うことができるため、車両走行中の安全性を確保しつつ、利便性の向上を図る上でより一層有利となる。
また、1つの操作入力手段28によって各車載機器21を操作できるため、車載機器21の数が増えたとしても車載機器21専用の操作スイッチの増大を抑制でき、車載機器21の構成の簡素化、部品点数の削減化を図る上で有利となる。
また、運転者が注視することで制御対象となる車載機器21を特定して操作を行うことができるため、操作を直感的に行うことができ快適感の向上を図る上で有利となる。
次に第2の実施の形態について説明する。
第2の実施の形態は、各車載機器21に、瞳孔検出手段60(第2の瞳孔検出手段に相当)を1つずつ設け、各瞳孔検出手段60の検出動作に基づいて車載機器21を制御対象として選択するようにした点が第1の実施の形態と相違している。
図9は第2の実施の形態の車載用電子機器10の全体構成を示すブロック図、図10は第2の実施の形態の車載用電子機器10の機能ブロック図、図11は第2の実施の形態の車載用電子機器10の動作フローチャートである。なお、以下の実施の形態においては、第1の実施の形態と同様または同一の部分には同一の符号を付してその説明を省略する。
各瞳孔検出手段60は、図10に示すように、第1の実施の形態の瞳孔検出手段26と同様に、照明手段38と、撮像装置40と、画像処理手段42とを含んで構成されている。
各瞳孔検出手段60は具体的には以下のように設けられている。
すなわち、エアコン装置14に対応する瞳孔検出手段60は、エアコン用操作スイッチ1404の近傍箇所に設けられている。
また、カーオーディオ装置16に対応する瞳孔検出手段60は、カーオーディオ装置用操作スイッチ1604の近傍箇所に設けられている。
また、車両用ナビゲーション装置18に対応する瞳孔検出手段60は、ディスプレイ1808あるいはナビゲーション用操作スイッチ1810の近傍箇所に設けられている。
また、ミラー装置20に対応する瞳孔検出手段60は、ミラー用操作スイッチ2004の近傍箇所に設けられている。
言い換えると、制御対象選択手段62は、瞳孔検出手段60から供給される瞳孔向きデータに基づいて、運転者の視線が向いている箇所、すなわち、注視点に位置する車載機器21を特定し、該特定した車載機器21を制御対象として選択するものである。
統合制御ECU12は、車速センサ22から供給される車速データに基づいて、車両の走行速度が所定値以上であるか否かを判定する(ステップS40)。
ステップS40の判定結果が否定(「N」)であれば、車両が停止中であり、したがって、統合制御ECU12は、各車載機器21を制御することによって、運転者による車載機器21の操作スイッチに対する直接の操作を許容する。
ステップS40の判定結果が肯定(「Y」)であれば、統合制御ECU12は、運転者の瞳孔を検出する(ステップS42)。
すなわち、統合制御ECU12は、各瞳孔検出手段60による瞳孔向きデータの検出を行う。
統合制御ECU12は、各瞳孔検出手段60で検出された瞳孔向きデータに基づいて、運転者の視線がどの車載機器21に向けられているかを特定する(ステップS44)。
そして、統合制御ECU12は、操作入力手段28の決定キー2804が操作されたか否かを判定し(ステップS46)、その判定結果が肯定(「Y」)であることをもって、制御対象となる車載機器21の選択を行う(ステップS48)。
一方、その判定結果が否定(「N」)ならば、ステップS44に遷移する。
統合制御ECU12は、操作入力手段28に対して操作がなされたか否かを判定し(ステップS52)、操作がなされたならば、車載機器21に対する制御処理を行い(ステップS54)、ステップS40に移行する。操作入力手段28に対して操作がなされなければステップS52を繰り返して操作を待機する。
しかしながら、図12に示すような処理としてもよい。
図12は第2の実施の形態の車載用電子機器10の動作の変形例を示す動作フローチャートであり、ステップS46A以外の処理は、図11と同一であるため説明を省略する。
すなわち、統合制御ECU12は、図12に示すように、瞳孔検出手段60によって検出された瞳孔サイズデータに基づいて両目のうち一方の目の目蓋の開閉を検知したか否かを判定し、その判定結果が肯定(「Y」)であることをもって、制御対象となる車載機器21の選択を行うようにしてもよい(ステップS46A)。この場合、ステップS46Aの判定結果が否定(N)ならば、ステップS44に遷移する。
言い換えると、運転者の瞳孔が車載機器21に向けられた状態で、運転者の目蓋がいったん閉じられたのち、開かれたか否かを判定すると共に、この判定結果が肯定であることをもって、車載機器21の選択を行うようにしてもよい。
この場合には、運転者による決定キー2804の操作が省略されることにより、操作性の向上が図られている。
すなわち、統合制御ECU12は、瞳孔検出手段60によって検出された瞳孔サイズデータに基づいて、運転者の瞳孔が車載機器21に向けられた状態で、瞳孔の大きさが所定値以上になったか否かを判定すると共に、この判定結果が肯定であることをもって、車載機器の選択を行うようにしてもよい。
これは、人の瞳孔が関心を持った対象物を注視した際に、瞳孔の大きさが拡大することに基づいている。
この場合にも、運転者による決定キー2804の操作が省略されることにより、操作性の向上が図られている。
すなわち、統合制御ECU12は、検出された瞳孔向きデータに基づいて、運転者の瞳孔が車載機器21に向けられている時間が所定値以上であるか否かを判定すると共に、この判定結果が肯定であることをもって、車載機器21の選択を行うようにしてもよい。
この場合にも、運転者による決定キー2804の操作が省略されることにより、操作性の向上が図られている。
また、ステップS50を実行する統合制御ECU12が表示制御手段64として機能する。
また、ステップS54を実行する統合制御ECU12が車載機器制御手段66として機能する。
したがって、第2の実施の形態においても、第1の実施の形態と同様の作用効果が奏される。
Claims (12)
- 車両の複数個所に設けられた車載機器と、
ステアリングホイールに設けられ入力操作を受け付ける操作入力手段と、
運転者の瞳孔の向きを検出し瞳孔の向きを示す瞳孔向きデータを生成する第1の瞳孔検出手段と、
前記瞳孔向きデータに基づいて、前記運転者が注視している部分が、前記複数の車載機器の中の何れの車載機器に該当するかを特定し、該特定した車載機器を制御対象として選択する制御対象選択手段と、
前記選択された車載機器の制御を、前記操作入力手段によって受け付けられた入力操作に応じて行う車載機器制御手段と、
運転者が顔を車両の前方に向けた状態で視認可能な箇所に設けられた操作用表示装置と、
前記選択された車載機器を、前記操作入力手段を用いて操作するために必要な操作情報を前記操作用表示装置に表示させる表示制御手段とを備え、
前記操作入力手段は、前記選択された車載機器における複数の項目についての操作が可能であり、
前記表示制御手段は、前記複数の項目のうち今回操作をおこなう項目を前記運転者に選択させる表示と、前記今回操作をおこなう項目における入力操作のための表示と、を表示させることを特徴とする車載用電子機器。 - 前記制御対象選択手段は、
前記運転者の瞳孔が前記車載機器に向けられた状態で、前記操作入力手段が操作されたか否かを判定すると共に、前記判定結果が肯定であることをもって、前記車載機器の選択を行う、
ことを特徴とする請求項1記載の車載用電子機器。 - 前記第1の瞳孔検出手段は、前記瞳孔向きデータを生成することに加えて運転者の瞳孔の大きさを検出して瞳孔サイズデータを生成するものであり、
前記制御対象選択手段は、
前記第1の瞳孔検出手段による前記瞳孔サイズデータに基づいて、前記運転者の瞳孔が前記車載機器に向けられた状態で、前記運転者の両目のうち一方の目の目蓋がいったん閉じられたのち、開かれたか否かを判定すると共に、前記判定結果が肯定であることをもって、前記車載機器の選択を行う、
ことを特徴とする請求項1記載の車載用電子機器。 - 前記第1の瞳孔検出手段は、前記瞳孔向きデータを生成することに加えて運転者の瞳孔の大きさを検出して瞳孔サイズデータを生成するものであり、
前記制御対象選択手段は、
前記第1の瞳孔検出手段による前記瞳孔サイズデータに基づいて、前記運転者の瞳孔が前記車載機器に向けられた状態で、前記瞳孔の大きさが所定値以上になったか否かを判定すると共に、前記判定結果が肯定であることをもって、前記車載機器の選択を行う、
ことを特徴とする請求項1記載の車載用電子機器。 - 前記制御対象選択手段は、
前記第1の瞳孔検出手段による前記瞳孔向きデータに基づいて、前記運転者の瞳孔が前記車載機器に向けられている時間が所定値以上であるか否かを判定すると共に、前記判定結果が肯定であることをもって、前記車載機器の選択を行う、
ことを特徴とする請求項1記載の車載用電子機器。 - 前記第1の瞳孔検出手段は、
前記運転者の眼球に向けて赤外線を照射する照明手段と、
前記運転者の眼球を撮像して画像データを生成する撮像装置と、
前記画像データに対して画像処理を行うことにより前記瞳孔向きデータを生成する画像処理手段とを有する、
ことを特徴とする請求項1乃至5に何れか1項記載の車載用電子機器。 - 車室内の複数個所に設けられた車載機器と、
ステアリングホイールに設けられ入力操作を受け付ける操作入力手段と、
前記各車載機器のそれぞれに対応して設けられ運転者の瞳孔が該車載機器に向けられたか否かを検出する第2の瞳孔検出手段と、
前記各第2の瞳孔検出手段の検出動作に基づいて、前記運転者が注視している部分が、前記複数の車載機器の中の何れの車載機器に該当するかを特定し、該特定した車載機器を制御対象として選択する制御対象選択手段と、
前記選択された車載機器の制御を、前記操作入力手段によって受け付けられた入力操作に応じて行う車載機器制御手段と、
運転者が顔を車両の前方に向けた状態で視認可能な箇所に設けられた操作用表示装置と、
前記選択された車載機器を、前記操作入力手段を用いて操作するために必要な操作情報を前記操作用表示装置に表示させる表示制御手段とを備え、
前記操作入力手段は、前記選択された車載機器における複数の項目についての操作が可能であり、
前記表示制御手段は、前記複数の項目のうち今回操作をおこなう項目を前記運転者に選択させる表示と、前記今回操作をおこなう項目における入力操作のための表示と、を表示させることを特徴とする車載用電子機器。 - 前記制御対象選択手段は、
前記運転者の瞳孔が前記車載機器に向けられた状態で、前記操作入力手段が操作されたか否かを判定すると共に、前記判定結果が肯定であることをもって、前記車載機器の選択を行う、
ことを特徴とする請求項7記載の車載用電子機器。 - 前記第2の瞳孔検出手段は、前記瞳孔向きデータを生成することに加えて運転者の瞳孔の大きさを検出して瞳孔サイズデータを生成するものであり、
前記制御対象選択手段は、
前記第2の瞳孔検出手段による前記瞳孔サイズデータに基づいて、前記運転者の瞳孔が前記車載機器に向けられた状態で、前記運転者の両目のうち一方の目の目蓋がいったん閉じられたのち、開かれたか否かを判定すると共に、前記判定結果が肯定であることをもって、前記車載機器の選択を行う、
ことを特徴とする請求項7記載の車載用電子機器。 - 前記第2の瞳孔検出手段は、前記瞳孔向きデータを生成することに加えて運転者の瞳孔の大きさを検出して瞳孔サイズデータを生成するものであり、
前記制御対象選択手段は、
前記第2の瞳孔検出手段による前記瞳孔サイズデータに基づいて、前記運転者の瞳孔が前記車載機器に向けられた状態で、前記瞳孔の大きさが所定値以上になったか否かを判定すると共に、前記判定結果が肯定であることをもって、前記車載機器の選択を行う、
ことを特徴とする請求項7記載の車載用電子機器。 - 前記制御対象選択手段は、
前記第2の瞳孔検出手段による前記瞳孔向きデータに基づいて、前記運転者の瞳孔が前記車載機器に向けられている時間が所定値以上であるか否かを判定すると共に、前記判定結果が肯定であることをもって、前記車載機器の選択を行う、
ことを特徴とする請求項7記載の車載用電子機器。 - 前記第2の瞳孔検出手段は、
前記運転者の眼球に向けて赤外線を照射する照明手段と、
前記運転者の眼球を撮像して画像データを生成する撮像装置と、
前記画像データに対して画像処理を行うことにより運転者の瞳孔が該車載機器に向けられたか否かを検出する画像処理手段とを有する、
ことを特徴とする請求項7乃至11に何れか1項記載の車載用電子機器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008276517A JP5206314B2 (ja) | 2008-10-28 | 2008-10-28 | 車載用電子機器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008276517A JP5206314B2 (ja) | 2008-10-28 | 2008-10-28 | 車載用電子機器 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010105417A JP2010105417A (ja) | 2010-05-13 |
JP5206314B2 true JP5206314B2 (ja) | 2013-06-12 |
Family
ID=42295293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008276517A Active JP5206314B2 (ja) | 2008-10-28 | 2008-10-28 | 車載用電子機器 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5206314B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020012232A1 (en) * | 2017-07-11 | 2020-01-16 | Bosch Car Multimedia Portugal S.a. | Display instrument cluster with driver monitoring camera and manufacturing method thereof |
EP3820728B1 (en) * | 2018-07-11 | 2023-02-01 | Bosch Car Multimedia Portugal, S.A. | Display instrument cluster with driver monitoring camera and manufacturing method thereof |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4837762B2 (ja) * | 2009-06-18 | 2011-12-14 | 本田技研工業株式会社 | 車載機器操作装置 |
JP5588764B2 (ja) * | 2010-06-28 | 2014-09-10 | 本田技研工業株式会社 | 車載機器操作装置 |
KR101655471B1 (ko) * | 2010-07-14 | 2016-09-07 | 현대자동차주식회사 | 운전자 시선 감지를 이용한 클러스터 및 클러스터 제어 방법 |
EP2708420B1 (en) | 2011-06-20 | 2016-08-17 | Honda Motor Co., Ltd. | Automotive instrument operating device and alert device |
JP5345660B2 (ja) | 2011-09-08 | 2013-11-20 | 本田技研工業株式会社 | 車載機器特定装置 |
JP5367037B2 (ja) * | 2011-09-26 | 2013-12-11 | 本田技研工業株式会社 | 顔向き検出装置 |
US9248796B2 (en) | 2011-10-06 | 2016-02-02 | Honda Motor Co., Ltd. | Visually-distracted-driving detection device |
CN103843047A (zh) | 2011-10-06 | 2014-06-04 | 本田技研工业株式会社 | 警报装置 |
JP2013256245A (ja) * | 2012-06-14 | 2013-12-26 | Calsonic Kansei Corp | 車両用表示機構 |
DE102012018742B3 (de) * | 2012-09-21 | 2014-03-13 | Audi Ag | Verfahren und Vorrichtung zur Verstellung eines Spiegels für ein Kraftfahrzeug |
JP6139909B2 (ja) * | 2013-02-26 | 2017-05-31 | 矢崎総業株式会社 | 車両用装備の機能追加システム及びその機能追加方法 |
JP2014174598A (ja) * | 2013-03-06 | 2014-09-22 | Denso Corp | 車両入力装置 |
JP5784061B2 (ja) * | 2013-03-27 | 2015-09-24 | 本田技研工業株式会社 | 入力装置、入力方法及び入力プログラム |
KR101556632B1 (ko) * | 2013-07-12 | 2015-10-01 | 유테크존 컴퍼니 리미티드 | 차량 내에서의 눈 제어 방법 및 이를 수행하는 전자 장치 |
US20150185834A1 (en) * | 2013-12-26 | 2015-07-02 | Theodore Charles Wingrove | System and method for gaze tracking |
JP6033804B2 (ja) | 2014-02-18 | 2016-11-30 | 本田技研工業株式会社 | 車載機器操作装置 |
JP6549839B2 (ja) * | 2014-12-08 | 2019-07-24 | 株式会社デンソーテン | 操作システム |
JP6464869B2 (ja) * | 2015-03-25 | 2019-02-06 | 株式会社デンソー | 操作システム |
ITUB20154786A1 (it) * | 2015-11-03 | 2017-05-03 | Ferrari Spa | Unita' e metodo di controllo di almeno un dispositivo di un veicolo |
JP2017165215A (ja) * | 2016-03-15 | 2017-09-21 | 本田技研工業株式会社 | 車両用表示装置 |
JP6908902B2 (ja) * | 2017-05-15 | 2021-07-28 | 国立大学法人東京工業大学 | 瞳孔径の変動に基づく情報入力装置 |
JP7219041B2 (ja) | 2018-10-05 | 2023-02-07 | 現代自動車株式会社 | 注視検出装置及びその輻輳制御方法 |
JP2020199848A (ja) * | 2019-06-07 | 2020-12-17 | 本田技研工業株式会社 | 運転者状態検出装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0858302A (ja) * | 1994-08-22 | 1996-03-05 | Tokai Rika Co Ltd | 車両用操作装置 |
JP3489491B2 (ja) * | 1999-06-24 | 2004-01-19 | 日本電気株式会社 | 人物行動解析装置及び人物行動解析プログラムを記録した記録媒体 |
JP2002347539A (ja) * | 2001-05-25 | 2002-12-04 | Nissan Motor Co Ltd | 車両用表示装置 |
JP2002367100A (ja) * | 2001-06-12 | 2002-12-20 | Nissan Motor Co Ltd | 運転者状態検出装置 |
JP2006298241A (ja) * | 2005-04-22 | 2006-11-02 | Toyota Motor Corp | 車両用表示装置 |
JP2007237919A (ja) * | 2006-03-08 | 2007-09-20 | Toyota Motor Corp | 車両用入力操作装置 |
-
2008
- 2008-10-28 JP JP2008276517A patent/JP5206314B2/ja active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020012232A1 (en) * | 2017-07-11 | 2020-01-16 | Bosch Car Multimedia Portugal S.a. | Display instrument cluster with driver monitoring camera and manufacturing method thereof |
EP3820728B1 (en) * | 2018-07-11 | 2023-02-01 | Bosch Car Multimedia Portugal, S.A. | Display instrument cluster with driver monitoring camera and manufacturing method thereof |
Also Published As
Publication number | Publication date |
---|---|
JP2010105417A (ja) | 2010-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5206314B2 (ja) | 車載用電子機器 | |
US20190272030A1 (en) | Gaze Driven Interaction for a Vehicle | |
US10532746B2 (en) | Vehicle and controlling method thereof | |
US9731602B2 (en) | Display apparatus for vehicle and vehicle having the display apparatus | |
JP5005758B2 (ja) | 自動車における車載機器の操作装置 | |
JP3941786B2 (ja) | 車両用操作入力装置および方法 | |
JP6464869B2 (ja) | 操作システム | |
JP2003200788A (ja) | 表示制御装置および表示制御方法、駆動制御装置および駆動制御方法 | |
CN111409689B (zh) | 车载装置操作系统 | |
JP2007302116A (ja) | 車両搭載機器の操作装置 | |
US10864866B2 (en) | Vehicle and control method thereof | |
Fleming | Advances in automotive electronics [automotive electronics] | |
JP2024029098A (ja) | 車両用情報表示システム | |
JP2023181337A (ja) | 車両用表示制御装置、車両用表示制御方法及びプログラム | |
CN111824036A (zh) | 车载显示装置调节方法及系统 | |
JP3668834B2 (ja) | 車両用表示装置 | |
JP2007145238A (ja) | 情報表示装置 | |
US20230095614A1 (en) | Mirror position registration control apparatus | |
JP2007121796A (ja) | 表示制御装置 | |
JP2005313722A (ja) | 車載機器の操作表示装置及びその操作表示方法 | |
JP5181998B2 (ja) | 車載用電子機器 | |
JP2009002756A (ja) | 情報提供装置および情報提供方法 | |
JP2019127078A (ja) | 表示装置 | |
US11977809B2 (en) | Console display interlocking method and vehicle system using the same | |
JP7179188B2 (ja) | 表示支援装置、表示支援方法、表示支援システム及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130204 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5206314 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |