JP5853897B2 - Operation control device and operation control program - Google Patents
Operation control device and operation control program Download PDFInfo
- Publication number
- JP5853897B2 JP5853897B2 JP2012172959A JP2012172959A JP5853897B2 JP 5853897 B2 JP5853897 B2 JP 5853897B2 JP 2012172959 A JP2012172959 A JP 2012172959A JP 2012172959 A JP2012172959 A JP 2012172959A JP 5853897 B2 JP5853897 B2 JP 5853897B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- driver
- operation control
- traveling
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 38
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 description 45
- 238000004458 analytical method Methods 0.000 description 13
- 238000012806 monitoring device Methods 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
- B60K35/656—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being a passenger
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K15/00—Arrangement in connection with fuel supply of combustion engines or other fuel consuming energy converters, e.g. fuel cells; Mounting or construction of fuel tanks
- B60K15/03—Fuel tanks
- B60K2015/0321—Fuel tanks characterised by special sensors, the mounting thereof
- B60K2015/03217—Fuel level sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/18—Information management
- B60K2360/197—Blocking or enabling of input functions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/21—Optical features of instruments using cameras
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Navigation (AREA)
- User Interface Of Digital Computer (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、同乗者がいる場合は、車両走行中の車載装置の操作を許可する操作制御装置、及び、操作制御プログラムに関する。 The present invention relates to an operation control device that permits operation of an in-vehicle device while a vehicle is traveling, and an operation control program.
近年、自動車には、ナビゲーション装置を始めとする各種の車載装置が搭載されている。そして、これら車載装置の多くは、安全性を確保するため、車両走行中の操作が禁止されている。 In recent years, various in-vehicle devices such as navigation devices are mounted on automobiles. Many of these on-vehicle devices are prohibited from being operated while the vehicle is running in order to ensure safety.
しかし、車両が走行中というだけで車載装置の操作を禁止してしまうと、運転者の操作はもちろん、同乗者の操作ですら車両走行中はその操作が一律に禁止されてしまうという不便さがあった。 However, if the operation of the in-vehicle device is prohibited simply because the vehicle is running, not only the driver's operation, but also the passenger's operation, the operation is uniformly prohibited while the vehicle is running. there were.
そのため、ある車載装置では、運転者の脇見を検出し、その総脇見時間が予め設定された規定時間以下であれば操作を許可し、総脇見時間が規定時間を超えたときは操作を禁止している。 For this reason, some in-vehicle devices detect the driver's side look and allow the operation if the total look-ahead time is less than the preset specified time, and prohibit the operation when the total look-ahead time exceeds the specified time. ing.
つまり、この車載装置では、車両が走行中であっても、運転者の総脇見時間が規制時間を越えない場合、安全性は確保できるとして、同乗者による操作はもちろん、運転者による操作をも許可していた(特許文献1)。 In other words, in this in-vehicle device, even if the vehicle is running, if the total look-ahead time of the driver does not exceed the regulation time, safety can be ensured, and not only the operation by the passenger but also the operation by the driver is possible. (Patent Document 1).
しかし、車両運転中の運転者は、カーブにさしかかったとき、右左折をするとき、十字路や横断歩道等を通過するため左右確認をするとき、後方確認のためバックミラーやサイドミラーを確認するときなど、様々な場面で、正面前方以外の方向に顔を向けている。 However, when the driver is driving a vehicle, when turning right or left, when checking left and right to pass a crossroad or a pedestrian crossing, or when checking the rearview mirror or side mirror for backward confirmation In various scenes, etc., he faces his face in a direction other than the front front.
そのため、上述した総脇見時間による判定を行っても、総脇見時間が規定時間以下にならないことが多く、結局、車載装置の操作は、運転者による操作はもちろん、同乗者による操作も一律に禁止されてしまっていた。 For this reason, even if the above-mentioned judgment by the total look-ahead time is performed, the total look-aside time is often not less than the specified time, and as a result, not only the operation by the driver but also the operation by the passenger is uniformly prohibited. It has been done.
このように、同乗者の操作まで一律に禁止されてしまうと、同乗者による操作は車両の安全性とは関わりのないものなので、運転者も同乗者もその車載装置に対して不便さを感じてしまう。 In this way, if the passenger's operation is forbidden uniformly, the passenger's operation is not related to the safety of the vehicle, so both the driver and passenger feel inconvenience to the in-vehicle device. End up.
一方、上述の特許文献1では、総脇見時間内であれば運転者が車載装置の操作をしても安全であるとしているが、車両走行中の運転者による車載装置の操作は、総脇見時間の多少にかかわらず危険なものである。 On the other hand, in the above-mentioned Patent Document 1, it is said that it is safe for the driver to operate the in-vehicle device if it is within the total look-ahead time. It is dangerous regardless of the amount.
他方、同乗者の有無を検出する検出装置等の特別なハード構成を備えることによって、同乗者がいる場合、その検出結果を用いて車載装置の操作を許可するようにしてもよいが、コストが高くなってしまうデメリットがある。 On the other hand, by providing a special hardware configuration such as a detection device that detects the presence or absence of a passenger, if the passenger is present, the detection result may be used to allow the operation of the in-vehicle device, but the cost is reduced. There is a demerit that becomes higher.
そこで本発明は、同乗者を検出するための特別なハード構成を備えることなく、同乗者がいる場合は、車両走行中であっても車載装置の操作を許可する操作制御装置、及び、操作制御プログラムを提供することを目的とする。 Therefore, the present invention does not have a special hardware configuration for detecting a passenger, and when there is a passenger, an operation control device that permits operation of the in-vehicle device even when the vehicle is traveling, and operation control The purpose is to provide a program.
この目的を達成するため、本発明の操作制御装置では、走行判定手段(S10)が、車載装置を搭載している車両が走行しているかを判定し、この走行判定手段により車両が走行していると判定される場合は、第1操作禁止手段(S40)が、車載装置を操作するための操作部に対する操作を禁止している。 In order to achieve this object, in the operation control device of the present invention, the travel determination means (S10) determines whether or not a vehicle equipped with the in-vehicle device is traveling, and the travel determination means causes the vehicle to travel. In the case where it is determined that there is, the first operation prohibiting means (S40) prohibits the operation on the operation unit for operating the in-vehicle device.
しかし、本発明の操作制御装置では、口動作検出手段(S16)が、運転者の顔を撮像する撮像部で撮像した運転者の顔の画像から運転者の口に動きがあるかを検出し、音声検出手段(S11)が、この口動作検出手段が運転者の口の動きを検出していないときに、車内で発生する音声を集音部を用いて検出した場合、解除手段(S18)が、第1操作禁止手段による操作部に対する操作の禁止を解除している。 However, in the operation control device of the present invention, the mouth movement detection means (S16) detects whether there is a movement in the driver's mouth from the image of the driver's face captured by the imaging unit that images the driver's face. When the voice detection means (S11) detects the voice generated in the vehicle using the sound collecting unit when the mouth movement detection means does not detect the movement of the driver's mouth, the release means (S18) However, the prohibition of the operation with respect to the operation unit by the first operation prohibiting unit is canceled.
一般に、同乗者がいるとき、運転者は、車載装置の操作を同乗者にまかせることが多く、同乗者がいない場合は、車載装置の操作を運転者自身がやらざるを得ないため、車両走行中であるにもかかわらず、運転者は車載装置を操作してしまうことが多いと考えられる。そのため、本発明では、同乗者の有無を検出して、車載装置の操作を許可するか否かを判断している。 In general, when there is a passenger, the driver often leaves the operation of the in-vehicle device to the passenger, and when there is no passenger, the driver himself has to do the operation of the in-vehicle device. Despite being in the middle, it is considered that the driver often operates the in-vehicle device. Therefore, in the present invention, it is determined whether or not the operation of the in-vehicle device is permitted by detecting the presence or absence of a passenger.
また、近年、ナビゲーション装置を始めとする車載装置には、音声操作用のマイク(集音部)が備えられることが多く、また、車両には、運転者の脇見や居眠りを検出するため、運転者の顔を撮像するカメラ(撮像部)が備えられることが多くなっている。 In recent years, in-vehicle devices such as navigation devices are often equipped with a microphone (sound collecting unit) for voice operation, and the vehicle is driven to detect a driver's aside or doze. In many cases, a camera (imaging unit) that images a person's face is provided.
そのため、これらを利用することで、同乗者を検出するための特別なハード構成を備えることなく、本発明の操作制御装置を構成することができる。
従って、本発明の操作制御装置を用いると、同乗者がいる場合は、車両走行中であっても車載装置の操作が許可され、同乗者は、車載装置をいつでも操作することができるので、運転者も同乗者も車載装置に対して不便さを感じることはない。
Therefore, by using these, the operation control apparatus of the present invention can be configured without providing a special hardware configuration for detecting a passenger.
Accordingly, when the operation control device of the present invention is used, when a passenger is present, the operation of the in-vehicle device is permitted even when the vehicle is traveling, and the passenger can operate the in-vehicle device at any time. Neither the passenger nor the passenger feel inconvenience to the in-vehicle device.
また、本発明の操作制御装置は、同乗者を検出するための特別なハード構成を備えなくてもよいので、コストを抑えて導入することができる。
さらに、本発明の操作制御装置を用いると、同乗者がいない場合は、車両走行中の車載装置の操作が禁止されるので、車両走行中に車載装置を操作する危険な運転を確実に防止することができる。
In addition, the operation control device of the present invention does not have to be provided with a special hardware configuration for detecting a passenger, and thus can be introduced at a reduced cost.
Furthermore, when the operation control device of the present invention is used, when there is no passenger, the operation of the in-vehicle device while the vehicle is traveling is prohibited, so that dangerous driving for operating the in-vehicle device while traveling the vehicle is surely prevented. be able to.
尚、請求項4に記載された操作制御プログラムを用いると、集音部及び撮像部を備えた車両であれば、この操作制御プログラムを車載装置等にインストールすることで、上述した効果を有する操作制御装置を構成することができる。 If the operation control program described in claim 4 is used, if the vehicle has a sound collection unit and an imaging unit, the operation control program can be installed in an in-vehicle device or the like, thereby providing the operation having the above-described effects. A control device can be configured.
因みに、上記各手段等の括弧内の符号は、後述する実施形態に記載の具体的手段等との対応関係を示す一例であり、本発明は上記各手段等の括弧内の符号に示された具体的手段等に限定されるものではない。 Incidentally, the reference numerals in parentheses for each of the above means are examples showing the correspondence with the specific means described in the embodiments described later, and the present invention is indicated by the reference numerals in the parentheses of the above respective means. It is not limited to specific means.
以下に本発明の実施形態を図面と共に説明する。
(全体構成)
車両1は、図1に示すように、ナビゲーション装置3及び監視装置5を備えている。
(ナビゲーション装置3)
ナビゲーション装置3は、中央制御装置30、車速検出部31、マイク32、地図情報記憶部33、現在位置検出部34、画像表示部35、操作部36、遠隔操作部37を備えている。
Embodiments of the present invention will be described below with reference to the drawings.
(overall structure)
As shown in FIG. 1, the vehicle 1 includes a navigation device 3 and a
(Navigation device 3)
The navigation device 3 includes a
中央制御装置30は、図示しないCPU、及び、操作制御プログラムが記憶されたROM30a、RAM30bを備えるコンピュータ装置である。この中央制御装置30は、ROM30aに記憶された操作制御プログラムを実行することで後述する操作制御処理を実行する。また、RAM30bには後述する同乗者フラグに関する情報が記憶される。同乗者フラグが立てられているときは、この同乗者フラグに関する情報として「1」が記憶され、同乗者フラグが立てられていないときは、「0」が記憶される。
The
車速検出部31は、車両1に備えられた車速センサから、車両1の速度に関する信号を入力して、ナビゲーション装置3の中央制御装置30で処理できる信号に変換して出力する装置である。
The vehicle
マイク32は、ナビゲーション装置3を音声操作等するため、車両1内で発生した音声等を拾うためのもので、ステアリングコラム、インパネ等に設置されている。
地図情報記憶部33は、地図情報を記憶したHDDやICメモリ等の記憶装置、または、地図情報を記憶したDVD等の記録媒体から地図情報を読み取る読取装置など、中央制御装置30の要求に応じて地図情報を出力可能な装置で構成されている。
The
The map information storage unit 33 responds to a request from the
この地図情報としては、地図の描画情報の他、地図上に表示される道路、交差点、分岐点、駐車場、商業施設等の各種施設と、これら各種施設の位置を示す位置情報とが関連付けられた施設位置情報や、経路案内処理その他の処理で必要な情報を有している。 As this map information, in addition to map drawing information, various facilities such as roads, intersections, branch points, parking lots, commercial facilities, etc. displayed on the map are associated with position information indicating the positions of these various facilities. Facility location information and information necessary for route guidance processing and other processing.
現在位置検出部34は、GPS受信機、ジャイロスコープ、車速センサなどで構成されており、これらを用いてナビゲーション装置3が搭載された利用者の自車両の現在位置や走行方向などを検出する。
The current
画像表示部35は、液晶表示装置等からなり、中央制御装置30の指示に従って、地図情報記憶部33から得た地図情報及び現在位置検出部34から得た現在位置情報等によって地図上に現在位置等を記した経路案内用の画像や各種処理に応じた画像を表示する。
The
操作部36は、複数のボタン型のスイッチ、画像表示部35の画面上に積層された透明なタッチパネルで構成されたヒューマンインターフェイス装置である。
遠隔操作部37は、ナビゲーション装置3を構成する筐体から離れた位置に設置され、無線などによりナビゲーション装置3を遠隔操作可能なリモコン型の操作装置であり、例えば、ステアリングコラム等に着脱可能に設置される。
(監視装置5)
次に、監視装置5は、運転者の脇見や居眠りなどを監視する装置であり、画像処理部50、投光器制御部51、投光器52、カメラ制御部53、カメラ54で構成される。
The
The
(Monitoring device 5)
Next, the
画像処理部50は、図示しないCPU、ROM、RAM等によって構成されているコンピュータ装置で、カメラ54で撮像された画像の画像情報を入力し、この画像情報を解析し、その解析結果をナビゲーション装置3の中央制御装置30に出力する装置である。
The
この監視装置5では、運転者の顔をカメラ54で撮像しており、画像処理部50は、このカメラ54で撮像された画像の画像情報から、運転者の視線、顔向き、口の動きを解析して、その解析結果を中央制御装置30からの要求に応じて出力している。
In the
この画像処理部50で実行される解析方法としては、(2値化処理や濃淡情報によるパターンマッチング等の画像処理)などがあり、本実施形態ではどのような解析方法を用いてもよいが、本実施形態はその解析方法に特徴があるものではないので、その説明については省略する。
As an analysis method executed by the
投光器52は、遠赤外線を運転者の顔に向けて照射する投光器であり、カメラ54とともに、ステアリングコラム又はインパネ上に配置される。
投光器制御部51は、この投光器52の点灯や明るさ等を制御する装置で、画像処理部50からの指示を受けて投光器52を制御する。
The
The
画像処理部50では、カメラ54で撮像した画像を解析して、その解析結果の善し悪し等により投光器52の明るさや点灯を判断しており、投光器制御部51は、この画像処理部50での判断結果に従って、投光器52を制御している。
The
カメラ54は、運転者の顔を撮像するものであり、前述したように投光器52とともに、ステアリングコラム又はインパネ上等に配置される。
カメラ制御部53は、カメラ54の絞り等を制御する装置であり、画像処理部50からの指示を受けてカメラ54を制御する。
The
The
画像処理部50では、カメラ54で撮像した画像を解析して、その解析結果の善し悪し等によりカメラ54の絞り等を判断しており、カメラ制御部53は、この画像処理部50での判断結果に従って、カメラ54を制御している。
(操作制御処理)
次に、ナビゲーション装置3の中央制御装置30で実行される操作制御処理について説明する。
The
(Operation control processing)
Next, an operation control process executed by the
この操作制御処理は、監視装置5や、このナビゲーション装置3が備える車速検出部31等から各種情報を入力するとともに、これら入力された情報に基づいてROM30aに記憶された操作制御プログラムを中央制御装置30が処理することにより実行される。
In this operation control process, various information is input from the
この操作制御処理が開始されると、図2に示すように、まず、S10が実行される。
S10では、車速検出部31から入力された車両1の速度に関する信号に基づいて、車両1が予め定められた速度(例えば、時速5km/h)以上の速度で走行しているかが判定される。
When this operation control process is started, S10 is first executed as shown in FIG.
In S10, based on the signal regarding the speed of the vehicle 1 input from the vehicle
このS10の判定の基準となる速度は、運転者がナビゲーション装置3を操作しても安全上問題がない速度であればよく、上述した時速5km/hに限られるものではない。
この判定(S10)で、車両1の速度が予め定められた速度未満である場合は(S10:NO)、次にS30の処理が実行され、車両1の速度が予め定められた速度以上である場合は(S10:YES)、次にS11の処理が実行される。
The speed used as the criterion for the determination in S10 is not limited to the above-mentioned speed of 5 km / h, as long as the speed does not cause a safety problem even when the driver operates the navigation device 3.
In this determination (S10), when the speed of the vehicle 1 is less than the predetermined speed (S10: NO), the process of S30 is executed next, and the speed of the vehicle 1 is equal to or higher than the predetermined speed. If this is the case (S10: YES), then the process of S11 is executed.
S11では、マイク32によって音声が拾われたか否かが判定される。このS11により、音声が拾われたと判定された場合は(S11:YES)、次に、S14の処理が実行され、S11により、音声が拾われていないと判定された場合は(S11:NO)、次に、S12の処理が実行される。
In S11, it is determined whether or not sound is picked up by the
S14では、監視装置5の画像処理部50に対し、運転者の口の動きの解析結果に関する情報を出力するよう指示する処理が実行され、続くS16では、S14での処理により、監視装置5の画像処理部50から入力した運転者の口の動きの解析結果に関する情報に基づいて、運転者が話しているか否かが判定される。
In S14, processing for instructing the
このS16の処理により、運転者が話していると判定された場合は(S16:YES)、次に、S12の処理が実行され、運転者が話していないと判定された場合は(S16:NO)、次に、S17の処理が実行される。 If it is determined that the driver is speaking by the process of S16 (S16: YES), then the process of S12 is executed, and if it is determined that the driver is not speaking (S16: NO) Next, the process of S17 is executed.
このS16では、S14において、車内で誰かがしゃべっていると判定されないと実行されないので、このS16において運転者が話していないと判定された場合(S16:NO)、同乗者がいるものと判定される。 In S16, since it is not executed unless it is determined in S14 that someone is speaking in the vehicle, if it is determined in S16 that the driver is not speaking (S16: NO), it is determined that there is a passenger. The
S12では、同乗者がいるとすでに判定されているか判定する処理が実行される。
この操作制御処理は、ナビゲーション装置3が動作している間、繰り返し実行され、この操作制御処理で実行される後述するS18では、S11及びS16での判定により同乗者がいると判定された場合(S11:YES、S16:NO)、同乗者フラグが立てられる。
In S12, processing for determining whether it is already determined that there is a passenger is executed.
This operation control process is repeatedly executed while the navigation device 3 is operating. In S18, which will be described later, which is executed in this operation control process, it is determined that there is a passenger by the determination in S11 and S16 ( S11: YES, S16: NO), the passenger flag is set.
このS12では、すでに実行された前回以前の操作制御処理のS18において、同乗者フラグが立てられているか否かを判定している。
この判定(S12)で、同乗者がいると判定された場合(S12:YES)、次に、運転者が脇見をしていないか判定するS20の処理が実行され、同乗者がいないと判定された場合(S12:NO)、次に、S40の処理が実行される。
In S12, it is determined whether or not the passenger flag is set in S18 of the previous operation control process that has already been executed.
If it is determined in this determination (S12) that there is a passenger (S12: YES), then the process of S20 is performed to determine whether the driver is looking aside, and it is determined that there is no passenger. If this is the case (S12: NO), next, the process of S40 is executed.
S17でも、この同乗者フラグが立っているか否かを判定することにより、同乗者がいるとすでに判定されているか判定する処理が実行される。
この判定(S17)で、同乗者がいるとすでに判定され、同乗者フラグがすでに立っているときは(S17:YES)、次に、S19の処理が実行され、ナビゲーション装置3の動作を開始した後、車速が一定速度を超えたと始めて判定されるか(S10:YES)、後述するS28での処理によって同乗者フラグが倒されていて、同乗者フラグが立っていないと判定された場合(S17:NO)、次に、S18の処理が実行される。
Even in S17, by determining whether or not this fellow passenger flag is set, processing for determining whether or not there is a fellow passenger is executed.
In this determination (S17), it is already determined that there is a passenger, and when the passenger flag is already set (S17: YES), the process of S19 is then executed and the operation of the navigation device 3 is started. After that, it is determined for the first time that the vehicle speed has exceeded a certain speed (S10: YES), or when it is determined that the passenger flag has been defeated by the processing in S28 described later and the passenger flag is not set (S17). : NO) Next, the process of S18 is executed.
S18では、同乗者フラグを立てる処理が実行される。
このS18では、S11及びS16の判定で、音声が入力されているにもかかわらず(S11:YES)、運転者が話をしていないと判定された場合(S16:NO)、すなわち、同乗者がいると判定された場合に実行される処理であり、中央制御装置30のRAM30bに記憶された同乗者フラグ情報を「0」から「1」にして、同乗者フラグが立てられた状態にする。
In S18, processing for setting a passenger flag is executed.
In S18, when it is determined in S11 and S16 that the driver is not speaking even though voice is input (S11: YES), that is, the passenger This process is executed when it is determined that there is a passenger, and the passenger flag information stored in the
S19では、監視装置5の画像処理部50に対し、運転者の視線の解析結果に関する情報を出力するよう指示する処理が実行され、続くS20では、S19での処理により、監視装置5の画像処理部50から入力した運転者の視線の解析結果に関する情報に基づいて、運転者の視線方向がナビゲーション装置3に向いているか否かが判定される。
In S19, a process for instructing the
このS20の処理により、運転者がナビゲーション装置3に視線を向けていると判定された場合は(S20:YES)、次に、S26の処理が実行され、運転者が視線を向けていないと判定された場合は(S20:NO)、次に、S22の処理が実行される。 If it is determined by the process of S20 that the driver is looking at the navigation device 3 (S20: YES), then the process of S26 is executed and it is determined that the driver is not looking at the line of sight. If so (S20: NO), then the process of S22 is executed.
S22では、監視装置5の画像処理部50に対し、運転者の顔向きの解析結果に関する情報を出力するよう指示する処理が実行され、続くS24では、S22での処理により、監視装置5の画像処理部50から入力した運転者の顔向きの解析結果に関する情報に基づいて、運転者がナビゲーション装置3に視線を向けているか否かが判定される。
In S22, processing for instructing the
このS22の処理により、運転者がナビゲーション装置3に顔を向けていると判定された場合は(S22:YES)、次に、S26の処理が実行され、運転者が顔を向けていないと判定された場合は(S20:NO)、次に、S30の処理が実行される。 If it is determined by the process of S22 that the driver faces the navigation device 3 (S22: YES), then the process of S26 is executed and it is determined that the driver does not face the face. If so (S20: NO), next, the process of S30 is executed.
S26では、運転者が一定時間以上、ナビゲーション装置3に視線又は顔を向けているか否かが判定される。
このS26の判定方法としては、例えば、一定時間以上の運転者の視線又は顔向きに関する情報を中央制御装置30のRAM30b等に記録し、この記録された情報のすべてがナビゲーション装置3に運転者が視線又は顔を向けているという情報であるか否かにより判定してもよい。
In S <b> 26, it is determined whether or not the driver has turned his or her gaze or face toward the navigation device 3 for a certain time or more.
As the determination method of S26, for example, information on the driver's line of sight or face orientation for a predetermined time or longer is recorded in the
この判定(S26)により、運転者が一定時間以上、ナビゲーション装置3に視線又は顔を向けていると判定された場合(S26:YES)、次に、S28の処理が実行され、運転者が一定時間以上、ナビゲーション装置3に視線又は顔を向けていないと判定された場合(S26:NO)、次に、S30の処理が実行される。 If it is determined by this determination (S26) that the driver has turned his or her gaze or face to the navigation device 3 for a certain time or longer (S26: YES), then the process of S28 is executed, and the driver is fixed. When it is determined that the line of sight or the face is not directed to the navigation device 3 for more than the time (S26: NO), next, the process of S30 is executed.
S28では、同乗者フラグを倒す処理が実行される。すなわち、運転者がナビゲーション装置3を操作しているかもしれないので、危険であるとして、同乗者フラグを倒す処理が実行される。 In S28, processing for defeating the passenger flag is executed. That is, since the driver may be operating the navigation device 3, a process of defeating the passenger flag is executed because it is dangerous.
S30では、ナビゲーション装置3の操作が許可され、操作部36又は遠隔操作部37による操作がなされた場合、その操作に従ってナビゲーション装置3を動作させる処理が実行される。
In S30, when the operation of the navigation device 3 is permitted and the operation by the
一方、S40では、ナビゲーション装置3の操作が禁止され、操作部36又は遠隔操作部37による操作がなされても、ナビゲーション装置3は動作しない。
以下、再び、S10以下の処理が繰り返し実行される。
On the other hand, in S40, the operation of the navigation device 3 is prohibited, and the navigation device 3 does not operate even if the
Thereafter, the processes after S10 are repeatedly executed.
以上説明した操作制御処理を実行した場合、S10により、車両1の車速が予め定められた速度未満である場合は(S10:NO)、ナビゲーション装置3の操作は常時許可される(S30)。 When the operation control process described above is executed, if the vehicle speed of the vehicle 1 is less than a predetermined speed (S10: NO), the operation of the navigation device 3 is always permitted (S30).
また、車両1の車速が予め定められた速度以上である場合であっても(S10:YES)、同乗者がいる場合は(S11:YES、S16:NOの場合、S11:NO又はS16YES、S12:YES)、ナビゲーション装置3の操作は許可される。 Even if the vehicle speed of the vehicle 1 is equal to or higher than a predetermined speed (S10: YES), if there is a passenger (S11: YES, S16: NO, S11: NO or S16 YES, S12) : YES), the operation of the navigation device 3 is permitted.
しかし、同乗者がいる場合であっても、運転者が一定時間以上ナビゲーション装置3を見ている場合(S20:YES、S24:YES)、ナビゲーション装置3の操作は禁止される。 However, even if there is a passenger, if the driver has been watching the navigation device 3 for a certain time or longer (S20: YES, S24: YES), the operation of the navigation device 3 is prohibited.
この場合、車両1の速度を予め定められた速度未満に落とすか(S10:NO)、同乗者が声を発するとともに運転者が声を発しない動作を行えば(S11:YES、S16:NO)、ナビゲーション装置3の操作は許可され、同乗者によるナビゲーション装置3の操作が再度可能となる。
[本実施形態の特徴的な作用効果]
本実施形態の操作制御処理を実行すると、同乗者がいる場合は、車両走行中であってもナビゲーション装置3の操作が許可され、同乗者は、ナビゲーション装置3をいつでも操作することができるので、運転者も同乗者もナビゲーション装置3に対して不便さを感じることはない。
In this case, if the speed of the vehicle 1 is reduced below a predetermined speed (S10: NO), or if the passenger speaks and the driver does not speak (S11: YES, S16: NO) The operation of the navigation device 3 is permitted, and the passenger can operate the navigation device 3 again.
[Characteristic effects of this embodiment]
When the operation control process of the present embodiment is executed, if there is a passenger, the operation of the navigation device 3 is permitted even when the vehicle is traveling, and the passenger can operate the navigation device 3 at any time. Neither the driver nor the passenger feel inconvenience to the navigation device 3.
また、本実施形態では、ナビゲーション装置3及び監視装置5にすでに備えられているマイク32及びカメラ54を用い、中央制御装置30で操作制御処理を実行しているだけなので、同乗者を検出するための特別なハード構成を備えなくてもよいので、コストを抑えて導入することができる。
Further, in the present embodiment, the
さらに、本実施形態の操作制御処理を実行すると、同乗者がいない場合は、車両走行中のナビゲーション装置3の操作が禁止されるので(S11:YESからS16:NOとなることはない)、運転者が車両走行中にナビゲーション装置3を操作する危険な運転を確実に防止することができる。 Further, when the operation control process of the present embodiment is executed, if there is no passenger, the operation of the navigation device 3 while the vehicle is traveling is prohibited (S11: YES to S16: NO), driving It is possible to reliably prevent a dangerous driving in which a person operates the navigation device 3 while the vehicle is traveling.
また、本実施形態では、同乗者がいる場合であっても、運転者がナビゲーション装置3が位置する方向を見ていた場合、ナビゲーション装置3の操作が禁止されるので、運転者がナビゲーション装置3を操作するためよそ見をしていても、これを防止することができる。
(その他の実施形態)
上記実施形態では操作制御処理を実行する操作制御プログラムがROM30aに実行された例について説明したが、この操作制御プログラムは、既存のナビゲーション装置3にCDやDVD等のメディアを用いてインストールするようにしてもよい。
Further, in the present embodiment, even when there is a passenger, when the driver is looking in the direction in which the navigation device 3 is located, the operation of the navigation device 3 is prohibited. This can be prevented even if you are looking away to operate.
(Other embodiments)
In the above embodiment, an example in which the operation control program for executing the operation control process is executed on the ROM 30a has been described. However, the operation control program is installed in the existing navigation device 3 using a medium such as a CD or a DVD. May be.
また、上記実施形態では、ナビゲーション装置3について説明したが、これ以外の車載装置に操作制御プログラムをインストールするなどして、その車載装置に対して操作制御プログラムを実行するようにしてもよい。
(対応関係)
本発明の操作制御装置は、本実施形態のうち、操作制御処理を実行する中央制御装置30、車速検出部31、マイク32、操作部36、遠隔操作部37、カメラ54に相当する。また、本発明の操作手段は、本実施形態の操作部36、遠隔操作部37に相当し、撮像部はカメラ54に相当する。
Moreover, although the navigation apparatus 3 was demonstrated in the said embodiment, you may make it run an operation control program with respect to the vehicle-mounted apparatus by installing an operation control program in the vehicle-mounted apparatus other than this.
(Correspondence)
The operation control device of the present invention corresponds to the
本発明の走行判定手段及び走行判定ステップは本実施形態のS10の処理に相当し、第1操作禁止手段及び第1操作禁止ステップはS40の処理に相当する。
本発明の音声検出手段及び音声検出ステップは本実施形態のS11の処理に相当し、撮像部はカメラ54、口動作検出手段及び口動作検出ステップはS16の処理に相当し、解除手段及び解除ステップはS18の処理に相当する。
The travel determination means and the travel determination step of the present invention correspond to the process of S10 of the present embodiment, and the first operation prohibition means and the first operation prohibition step correspond to the process of S40.
The voice detection means and the voice detection step of the present invention correspond to the processing of S11 of the present embodiment, the imaging unit corresponds to the processing of S54, the mouth movement detection means and the mouth movement detection step correspond to the processing of S16, the release means and the release step. Corresponds to the processing of S18.
本発明の視線検出手段及び視線検出ステップは、本実施形態のS20、S24の処理に相当し、脇見検出手段及び脇見検出ステップはS26の処理に相当し、第2操作禁止手段及び第2操作禁止ステップはS28の処理に相当する。 The line-of-sight detection means and the line-of-sight detection step of the present invention correspond to the processes of S20 and S24 of the present embodiment, and the armpit detection means and the armpit detection step correspond to the process of S26, and the second operation prohibition means and the second operation prohibition. The step corresponds to the process of S28.
尚、本発明は、特許請求の範囲に記載された発明の趣旨に合致するものであればよく、上述の実施形態に限定されるものではない。 Note that the present invention is not limited to the above-described embodiment as long as it meets the gist of the invention described in the claims.
1… 車両 3… ナビゲーション装置 5… 監視装置 30… 中央制御装置
31… 車速検出部 32… マイク 33… 地図情報記憶部 34… 現在位置検出部
35… 画像表示部 36… 操作部 37… 遠隔操作部 50… 画像処理部
51… 投光器制御部 52… 投光器 53… カメラ制御部 54… カメラ
DESCRIPTION OF SYMBOLS 1 ... Vehicle 3 ...
Claims (6)
前記車載装置を搭載している車両が走行しているか判定する走行判定手段(S10)と、
該走行判定手段により車両が走行していると判定される場合は、前記操作部に対する操作を禁止する第1操作禁止手段(S40)と、
車内に設置されたマイク(32)と、
該マイクを用いて車内で発生した音声を検出する音声検出手段(S11)と、
運転者の顔を撮像する撮像部(54)と、
該撮像部で撮像した運転者の顔の画像から、運転者の口に動きがあるかを検出する口動作検出手段(S16)と、
該口動作検出手段が運転者の口の動きを検出していないときに、前記音声検出手段が車内で発生する音声を検出した場合、前記第1操作禁止手段による前記操作手段に対する操作の禁止を解除する解除手段(S18)と
を備えることを特徴とする操作制御装置。 Operation units (36, 37) for operating the in-vehicle device;
Traveling determination means (S10) for determining whether a vehicle equipped with the in-vehicle device is traveling;
When the travel determination means determines that the vehicle is traveling, first operation prohibiting means (S40) for prohibiting operation on the operation unit;
A microphone (32) installed in the car,
Voice detection means (S11) for detecting voice generated in the vehicle using the microphone;
An imaging unit (54) for imaging the driver's face;
Mouth operation detecting means (S16) for detecting whether or not the driver's mouth is moving from the image of the driver's face imaged by the imaging unit;
If the voice detection means detects a voice generated in the vehicle when the mouth movement detection means does not detect the movement of the driver's mouth, the first operation prohibition means prohibits the operation of the operation means. An operation control device comprising: release means (S18) for releasing.
該撮像部で撮像した運転者の顔の画像から、運転者の視線方向又は顔向きを検出する視線検出手段(S20、S24)と、
前記視線検出手段で検出された運転者の視線方向又は顔向きから、運転者が一定時間以上、前記車載装置を見ているか検出する脇見検出手段(S26)と、
前記脇見検出手段により、運転者が一定時間以上、前記車載装置を見ていると判定された場合、前記操作部に対する操作を禁止する第2操作禁止手段と(S28)、
を備えることを特徴とする操作制御装置。 The operation control device according to claim 1,
Gaze detection means (S20, S24) for detecting the gaze direction or face direction of the driver from the image of the driver's face imaged by the imaging unit;
Aside look detection means (S26) for detecting whether the driver is looking at the in-vehicle device for a certain time or more from the driver's gaze direction or face direction detected by the gaze detection means;
A second operation prohibiting unit that prohibits an operation on the operation unit when it is determined by the armpit detection unit that the driver is watching the vehicle-mounted device for a certain period of time (S28);
An operation control device comprising:
前記走行判定手段は、
前記車両が予め定められた速度以上で走行しているとき、前記車両が走行していると判定することを特徴とする操作制御装置。 In the operation control device according to any one of claims 1 and 2,
The travel determination means includes
An operation control device that determines that the vehicle is traveling when the vehicle is traveling at a predetermined speed or more.
該走行判定ステップにより車両が走行していると判定される場合は、前記車載装置を操作するための操作部に対する操作を禁止する第1操作禁止ステップ(S40)と、
車内に設置されたマイクを用いて車内で発生した音声を検出する音声検出ステップ(S11)と、
運転者の顔を撮像する撮像部で撮像した運転者の顔の画像から、運転者の口に動きがあるかを検出する口動作検出ステップ(S16)と、
該口動作検出ステップで運転者の口の動きが検出されていないときに、前記音声検出ステップにより、車内で発生する音声が検出された場合、前記第1操作禁止ステップでの前記操作部に対する操作の禁止を解除する解除ステップ(S18)と
を備えることを特徴とする操作制御プログラム。 A traveling determination step (S10) for determining whether or not the vehicle equipped with the in-vehicle device is traveling;
A first operation prohibiting step (S40) for prohibiting an operation on an operation unit for operating the in-vehicle device when it is determined by the travel determination step that the vehicle is traveling;
A sound detection step (S11) for detecting sound generated in the vehicle using a microphone installed in the vehicle;
Mouth operation detection step (S16) for detecting whether there is a movement in the driver's mouth from the image of the driver's face captured by the imaging unit that images the driver's face;
When a voice generated in the vehicle is detected by the voice detection step when no movement of the driver's mouth is detected in the mouth movement detection step, an operation on the operation unit in the first operation prohibition step is performed. An operation control program comprising: a release step (S18) for canceling the prohibition.
前記撮像部で撮像した運転者の顔の画像から、運転者の視線方向又は顔向きを検出する視線検出ステップ(S20,S24)と、
前記視線検出ステップで検出された運転者の視線方向又は顔向きから、運転者が一定時間以上、前記車載装置を見ているか検出する脇見検出ステップ(S26)と、
前記脇見検出ステップにより、運転者が一定時間以上、前記車載装置を見ていると判定された場合、前記操作部に対する操作を禁止する第2操作禁止ステップ(S40)と、
を備えることを特徴とする操作制御プログラム。 In the operation control program according to claim 4,
A line-of-sight detection step (S20, S24) for detecting a driver's line-of-sight direction or face direction from the image of the driver's face imaged by the imaging unit;
Aside detection step (S26) for detecting whether the driver is looking at the vehicle-mounted device for a certain time or more from the driver's line-of-sight direction or face direction detected in the line-of-sight detection step;
A second operation prohibiting step (S40) for prohibiting an operation on the operation unit when it is determined by the side look detection step that the driver is watching the in-vehicle device for a certain time or more;
An operation control program comprising:
前記走行判定ステップは、
前記車両が予め定められた速度以上で走行しているとき、前記車両が走行していると判定することを特徴とする操作制御プログラム。 In the operation control program according to any one of claims 4 and 5,
The travel determination step includes
An operation control program for determining that the vehicle is traveling when the vehicle is traveling at a speed equal to or higher than a predetermined speed.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012172959A JP5853897B2 (en) | 2012-08-03 | 2012-08-03 | Operation control device and operation control program |
PCT/JP2013/004582 WO2014020889A1 (en) | 2012-08-03 | 2013-07-29 | Operation control device and operation control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012172959A JP5853897B2 (en) | 2012-08-03 | 2012-08-03 | Operation control device and operation control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014032119A JP2014032119A (en) | 2014-02-20 |
JP5853897B2 true JP5853897B2 (en) | 2016-02-09 |
Family
ID=50027596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012172959A Expired - Fee Related JP5853897B2 (en) | 2012-08-03 | 2012-08-03 | Operation control device and operation control program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5853897B2 (en) |
WO (1) | WO2014020889A1 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6544214B2 (en) * | 2015-11-17 | 2019-07-17 | トヨタ自動車株式会社 | Operating device |
JP6764706B2 (en) * | 2016-06-16 | 2020-10-07 | 日産自動車株式会社 | Display method for vehicles and in-vehicle equipment |
WO2019171452A1 (en) * | 2018-03-06 | 2019-09-12 | 三菱電機株式会社 | Driving assistance device, driving assistance method, and driving assistance system provided with driving assistance device |
JP7227106B2 (en) * | 2019-08-22 | 2023-02-21 | 本田技研工業株式会社 | Operation control device, operation control method, and program |
JP2022134915A (en) * | 2021-03-04 | 2022-09-15 | 株式会社Jvcケンウッド | Detection function control device, detection function control method, and program |
WO2023105700A1 (en) * | 2021-12-09 | 2023-06-15 | 三菱電機株式会社 | Update determination device and update determination method |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7164117B2 (en) * | 1992-05-05 | 2007-01-16 | Automotive Technologies International, Inc. | Vehicular restraint system control system and method using multiple optical imagers |
JP4487633B2 (en) * | 2004-05-24 | 2010-06-23 | 日産自動車株式会社 | In-vehicle communication device |
JP4421668B2 (en) * | 2006-05-23 | 2010-02-24 | パイオニア株式会社 | Imaging control apparatus, imaging control method, imaging control program, and recording medium |
JP4942604B2 (en) * | 2007-10-02 | 2012-05-30 | 本田技研工業株式会社 | Vehicle telephone call determination device |
JP2010241371A (en) * | 2009-04-09 | 2010-10-28 | Toyota Motor Corp | Driving state detection apparatus |
JP2010262424A (en) * | 2009-05-01 | 2010-11-18 | Nikon Corp | Onboard camera system |
-
2012
- 2012-08-03 JP JP2012172959A patent/JP5853897B2/en not_active Expired - Fee Related
-
2013
- 2013-07-29 WO PCT/JP2013/004582 patent/WO2014020889A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2014020889A1 (en) | 2014-02-06 |
JP2014032119A (en) | 2014-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5853897B2 (en) | Operation control device and operation control program | |
EP3330148B1 (en) | Automatic driving system for vehicles | |
US9248796B2 (en) | Visually-distracted-driving detection device | |
US7680592B2 (en) | System and apparatus for drive assistance | |
JP6380002B2 (en) | Perimeter monitoring device | |
WO2020031873A1 (en) | Visually-distracted driving detection device | |
JP2019059245A (en) | Head-up display device and display control method | |
JP2007094618A (en) | Notification controller and notification control method, recording medium, and program | |
JP5590747B2 (en) | Driver dangerous driving notification device | |
JP2007082594A (en) | Fatigue detection device | |
JP2008500919A (en) | Display system for moving body and moving body | |
JP2017220097A (en) | Drive support device | |
WO2014006835A1 (en) | Driving assistance device and driving assistance program product | |
JP2014120114A (en) | Travel support system, travel support method, and computer program | |
JP2004061259A (en) | System, method, and program for providing information | |
JP6631569B2 (en) | Operating state determining apparatus, operating state determining method, and program for determining operating state | |
JP6398182B2 (en) | Signal information presentation device | |
JP6468306B2 (en) | Visual assistance device, method and program | |
JP4894689B2 (en) | Vehicle control apparatus, vehicle control method, and computer program | |
JP5066539B2 (en) | Device operation control device, device operation control method, and program | |
JP4265992B2 (en) | Driving assistance device | |
WO2019167109A1 (en) | Display control device and display control method for vehicle | |
JP2009181322A (en) | Display control device for vehicles | |
JP7263992B2 (en) | vehicle controller | |
JP2005189936A (en) | Vehicle control system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151123 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5853897 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |