JP7466725B2 - Traffic management device and computer program - Google Patents
Traffic management device and computer program Download PDFInfo
- Publication number
- JP7466725B2 JP7466725B2 JP2023022785A JP2023022785A JP7466725B2 JP 7466725 B2 JP7466725 B2 JP 7466725B2 JP 2023022785 A JP2023022785 A JP 2023022785A JP 2023022785 A JP2023022785 A JP 2023022785A JP 7466725 B2 JP7466725 B2 JP 7466725B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- driving
- data
- roll call
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004590 computer program Methods 0.000 title claims description 4
- 238000001514 detection method Methods 0.000 claims description 67
- 238000004458 analytical method Methods 0.000 claims description 50
- 238000006243 chemical reaction Methods 0.000 claims description 38
- 230000008921 facial expression Effects 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000007726 management method Methods 0.000 description 58
- 238000003745 diagnosis Methods 0.000 description 43
- 238000010586 diagram Methods 0.000 description 29
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 13
- 230000001815 facial effect Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 230000008451 emotion Effects 0.000 description 12
- 230000036541 health Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003442 weekly effect Effects 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
Description
本発明は、商用車の運転者の管理装置に係り、例えば運転者点呼時における運転適格性を客観的に把握する技術に関する。 The present invention relates to a management device for commercial vehicle drivers, and to a technology for objectively grasping the driving suitability of drivers, for example, during a driver roll call.
貨物自動車運送事業輸送安全規則によれば、運送事業者は、運転乗務員に対して運転者点呼を行う必要があるとされる。ここにいう「運転者点呼」は、運転業務を開始する運転乗務員や運転業務を終了した運転乗務員が運転者「本人」であることを認証する作業であるが、運転開始前にその日の運転乗務員の健康状態(酒気の有無を含む)を確認したり、運行の安全を確保するために必要な指示を各運転乗務員に行うこと、つまり、危険な運転又は車両事故の発生を限りなくゼロにすることが大きな目的となっている。 According to the Trucking Business Transportation Safety Regulations, transportation companies are required to conduct driver roll calls of their drivers. The "driver roll call" referred to here is the task of verifying that a driver who is about to start driving duties or a driver who has finished driving duties is the "real" driver, but the main purpose is to check the health status of the drivers for the day (including whether they are drunk or not) before they start driving and to give each driver the necessary instructions to ensure safe operation, in other words, to reduce the occurrence of dangerous driving or vehicle accidents to as close to zero as possible.
運転者点呼は、一般に運行管理者が、受診する運転乗務員と対面することにより行われる。このような形態の運転者点呼は「対面点呼」と呼ばれる。しかし、対面点呼では、特定の時間帯に多くの運転乗務員が集中することがあり、順番を待つ運転乗務員にストレスを与え、その後の運転に支障を生じさせかねない問題がある。運行管理者にとっても注意が行き届かず、適切な指示を与えることができない場合がある。 Driver roll calls are generally conducted by the operations manager meeting face-to-face with the drivers who are coming in for a checkup. This type of driver roll call is called a "face-to-face roll call." However, face-to-face roll calls can have the problem that many drivers are concentrated in a certain time period, causing stress for drivers waiting their turn and potentially interfering with their driving thereafter. Operations managers may also not be able to pay attention and give appropriate instructions.
このような問題を解決する従来技術例として、特許文献1に開示された運転者点呼システムでは、運転者すなわち運転乗務員の血圧、アルコール濃度、体温を計測する健康管理システム部を本人認証用の点呼システム部に連動させ、運転者点呼中に、健康管理システム部による計測結果を表示装置に表示させている。健康管理システム部は、映像カメラ、マイクを有する面談端末も備えており、これにより、運行管理者による運転乗務員の健康状態の把握が容易になるほか、現在の健康状態が面談端末を通じて運転乗務員に伝えられることにより、運転乗務員本人よる健康意識の向上も可能になるとされる。
As an example of conventional technology that solves such problems, the driver roll call system disclosed in
特許文献1に開示されている運転者点呼システムは、運転時点呼の際の運転乗務員の健康状態を血圧等の測定データを通じて短時間で把握できる利点はあるが、1回の測定データだけでその運転乗務員の運転開始後の運行状況を予測することは困難である。
熟練した運転乗務員による車両事故は、一瞬の油断(集中力欠如等)が原因になる場合が多いといわれる。そして、そのような集中力欠如を生じさせる兆候、例えば睡眠不足、ストレス、本人も気がついていない病気の前兆は、その運転乗務員と長く接している運行管理者であれば察知できる可能性があると考えられるが、そうでない運転管理者の場合、それは困難である。
このような問題は、運転乗務員の労働管理の観点からも改善が求められていた。
本発明は、上記の問題を解消し、乗務員本人ですら認識できない、集中力欠如を生じさせる兆候を察知することを容易にし、これにより、労働管理を適正なものとすることができる技術を提供することを主たる課題とする。
The driver roll call system disclosed in
It is said that vehicle accidents caused by experienced drivers are often caused by a moment of carelessness (lack of concentration, etc.). And while it is thought that a traffic manager who has been in contact with the driver for a long time could possibly detect the signs of such lack of concentration, such as lack of sleep, stress, and illness that the driver himself is not aware of, this is difficult for a traffic manager who has not been in contact with the driver for a long time.
Such problems also required improvement from the perspective of labor management for driver and crew members.
The main objective of the present invention is to provide technology that can solve the above problems, make it easier to detect signs of lack of concentration that even crew members themselves cannot recognize, and thereby enable proper labor management.
本発明の運行管理装置は、運転開始前所定期間の運転者による車両運転状況を表す運行データに基づいて前記運転者の運転操作のばらつきの傾向を解析するとともに前記解析の結果を定量化する解析手段と、運転開始直前の前記運転者の顔を撮像した撮像データと前記運転者の発話内容を表す発話音データとの少なくとも一方のデータを取得し、取得したデータと過去に取得した当該運転者の前記データとを照合することにより、当該運転者の運転開始前の不随意反応を検出する検出手段と、前記定量化された解析の結果及び前記不随意反応の検出結果に対して所定の基準に基づくスコアをそれぞれ付与し、該スコアを保存するとともに、前記検出手段による検出日を起算とする所定期間毎に前記それぞれのスコアの集計結果を集計し、前記集計結果に基づいて、当該運転者による前記検出日における危険度を運転開始前に診断する診断手段と、前記危険度に応じた指示情報を運転開始前に出力する出力手段と、を備えることを特徴とする。 The operation management device of the present invention is characterized in that it comprises an analysis means for analyzing tendencies of variation in the driver's driving operation based on operation data representing the driver's vehicle driving conditions for a predetermined period before driving starts and quantifying the results of the analysis ; a detection means for detecting an involuntary reaction of the driver before driving starts by acquiring at least one of image data capturing an image of the driver's face immediately before driving starts and speech sound data representing the contents of the driver's speech, and comparing the acquired data with the data of the driver acquired in the past; a diagnosis means for assigning a score based on a predetermined standard to each of the quantified analysis results and the detection result of the involuntary reaction, storing the scores, and tallying up the results of the scores for each predetermined period starting from the date of detection by the detection means, and diagnosing the risk level of the driver on the date of detection before driving starts based on the tallying up results; and an output means for outputting instruction information corresponding to the risk level before driving starts.
本発明によれば、運転乗務員本人ですら認識できない油断を生じさせる兆候を察知することを容易にし、これにより、労働管理を適正なものとすることができる運行管理装置を提供することができる。 The present invention makes it easy to detect signs of carelessness that even the driver himself cannot recognize, and thus provides a traffic management device that enables proper labor management.
以下、本発明の実施の形態例を、図面を参照して詳細に説明する。
この実施形態では、運転業務における出庫点呼(乗務前点呼)の際に、点呼対象の運転乗務員が運転者本人であることの確認や、運転乗務員の当日の運転の危険度を診断する乗務員管理システムについて説明する。運転の危険度は、運転乗務者の車両運転状況と、不随意反応とにより診断される。運転の危険度により、運転乗務員の当日の運転適格性の客観的な判断が行われる。
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
In this embodiment, a driver management system is described that verifies that the driver who is the subject of the roll call is the driver himself/herself and diagnoses the driver's driving risk on the day during the depot roll call (pre-drive roll call) in driving work. The driving risk is diagnosed based on the driver's vehicle driving situation and involuntary reactions. Based on the driving risk, an objective judgment is made on the driver's driving suitability on the day.
<全体構成>
図1は、本発明を適用した乗務員管理システムの全体構成例を示す図であり、主として特徴的な部分を掲示してある。この乗務員管理システム1は、インターネット等のデジタルネットワークNに接続された運行管理装置である管理サーバ10を含んで構成される。
デジタルネットワークNには、例えば運転業務を管理する事業所等に設置される点呼端末20、データサーバ30の他、図示しない携帯電話等の情報端末も適宜接続され、それぞれ管理サーバ10とアクセスできるようになっている。
<Overall composition>
1 is a diagram showing an example of the overall configuration of a crew management system to which the present invention is applied, and mainly shows its characteristic parts. This
The digital network N is appropriately connected to roll
<点呼端末>
点呼端末20は、図1ではデジタルネットワークNに2台接続される構成であるが、この数は、何台であってもよい。点呼端末20は、撮像装置21、集音器22、カードリーダ・ライタ(R/W)23、表示装置24、アルコール検出器25、及び運転免許証リーダ26が接続される。撮像装置21は、点呼対象の運転乗務員の顔画像を撮像するカメラである。集音器22は、点呼対象の運転乗務員の音声を取得するマイクである。表示装置24は、点呼の際の案内画面や点呼による結果(運転危険度)を表示するディスプレイである。
<Roll call terminal>
1, two
R/W23は、ドライブレコーダで記録された運転乗務員のブレーキ、アクセル、ハンドル等の運転操作状況を記録した可搬性メモリ媒体の一例となるメモリカード231を離脱自在に保持するカード保持機構を備えている。メモリカード231には、それが装着されるドライブレコーダを一意に識別するための個体情報、車両の運行日、運転乗務員を識別するための運転乗務員ID及び運転乗務員名が記録されている。これによりメモリカード231は、運行日における運転操作状況が、当該運転乗務員固有のものとして記録されるようになっている。メモリカード231に記録される各種データは、運転乗務員による変更が制限されるものである。ドライブレコーダの記録機構は、運転操作状況を運転乗務員に秘匿した形態でメモリカード231へ出力する。「秘匿した形態」とは、乗務員の指示に基づかないで自動的に出力されることをいう。点呼端末20は、R/W23により、メモリカード231に書き込まれた運転操作状況を、運転乗務員IDとともに取得することになる。なお、ドライブレコーダは、デジタルネットワークNを通じてデータサーバ30と通信を行い、直接、運転操作状況及び運転乗務員IDを送信する通信機構を備えていてもよい。
The R/W 23 is equipped with a card holding mechanism that detachably holds the
アルコール検出器25は、点呼対象の運転乗務員のアルコール検出を行う。運転免許証リーダ26は、例えば運転乗務員が所持する運転免許証の表面に記載された文字、数字、記号、画像の内容を認識する。点呼端末20は、運転免許証リーダ26により認識した運転乗務員名とR/W23によりメモリカード231から取得する運転乗務員名とにより、点呼対象の運転乗務員の本人確認を行う。これらの点呼端末20の周辺装置自体は、公知のものを使用することができる。
The
点呼端末20は、例えばパーソナルコンピュータにより構成され、所定のコンピュータプログラムを実行することで動作する。点呼端末20は、撮像装置21から取得する運転乗務員の顔画像を含む撮像データ及び集音器22から取得する運転乗務員の発話内容を表す発話音データを管理サーバ10へ送信する。点呼端末20は、R/W23によりメモリカード231から取得する運転乗務員の運転操作状況に応じた車両運転状況を表す運行データを、撮像データ及び発話音データとともにデータサーバ30へ送信する。また、点呼端末20は、アルコール検出器25による検出結果及び運転免許証リーダ26による運転乗務員の本人確認結果を管理サーバ10へ送信する。点呼端末20は、表示装置24に、管理サーバ10からの指示に応じた画像を表示する。
The
<データサーバ>
データサーバ30は、Webサーバであり、点呼端末20から取得する撮像データ、発話音データ、及び運行データを、運転乗務員毎に蓄積するデータベースとして機能する。図2は、データサーバ30に蓄積されるデータの構成説明図である。データサーバ30は、運転乗務員IDに紐付けて撮像データ、発話音データ、及び運行データを蓄積する。これらのデータは、点呼時に、点呼端末20からデータサーバ30へ送信される。データサーバ30は、撮像データ、発話音データ、及び運行データを取得した日時(ここでは日付)毎に格納する。
<Data Server>
The
<管理サーバ>
管理サーバ10は、例えばパーソナルコンピュータにより構成され、本発明の運行管理用コンピュータプログラムを実行することで、通信部11、解析部12、検出部13、診断部14、及び出力部15として機能する。管理サーバ10には表示装置16が接続される。管理サーバ10は、点呼端末20から取得する点呼時(検出日)の撮像データ及び発話音データと、データサーバ30に格納された点呼時を起算とする所定期間の撮像データ、発話音データ及び運行データと、に基づいて運転乗務員の運転の危険度を診断する。管理サーバ10は、診断した危険度に応じた指示情報を表示装置16或いは点呼端末20へ出力する。なお、本実施形態では、危険度の診断に撮像データ及び発話音データを用いる場合について説明するが、これらのデータの少なくとも一方と運行データとにより危険度の診断が行われてもよい。
<Management Server>
The
通信部11は、デジタルネットワークNを介して点呼端末20及びデータサーバ30との間で通信を行うための通信インタフェースである。管理サーバ10が処理に用いる各種データは、通信部11を介して管理サーバ10に入力される。また指示情報は、通信部11により点呼端末20へ送信される。管理サーバ10からデータサーバ30へのデータの書き込みは、通信部11を介して行われる。
The
・解析部
解析部12は、通信部11によりデータサーバ30から取得した運転乗務員の運行データに基づいて、該運転乗務員の運転操作の傾向解析を行う。そのために解析部12は、運転乗務員の運転開始日直前の運行データをデータサーバ30から取得する。解析部12は、運行データに含まれるブレーキ操作、アクセル操作、ハンドル操作、又はこれらの複合操作の傾向解析を行う。解析部12は、複数の運転乗務員の運行データをデータサーバ30から取得し、複数の運行乗務員の運行データを解析する。解析部12は、運転乗務員の運転開始日直前の運行データの解析結果を、複数の運転乗務員の運行データの解析結果の統計値に基づいて定量化する。
Analysis Unit
解析部12は、定量化を、例えばブレーキ操作、アクセル操作、ハンドル操作、又はこれらの複合操作の散布図を用いて行う。例えば、無事故無違反者と事故違反経験者とでは、ブレーキ操作を行うときの車両の速度と、ブレーキ操作の強度とに相違があり、無事故無違反者は低い速度域で強いブレーキ操作を行う傾向にあり、事故違反経験者は高い速度域で強いブレーキ操作を行う傾向にある。散布図は、このような速度とブレーキ強度との操作傾向を表す。
The
図3は、ブレーキ操作に関する散布図の例示図である。安全なブレーキ操作の散布図と事故が予知される危険なブレーキ操作の散布図とを比較すると、安全なブレーキ操作の方が、ブレーキをかけるときの速度、ブレーキをかける強さ、及びブレーキ操作のおだやかさのばらつきが少ない。安全なブレーキ操作の場合、危険なブレーキ操作の場合よりも低速でブレーキ操作が開始され、ブレーキをかける強さも低い値になり、やわらかなブレーキ操作が行われる傾向にある。そのために、安全なブレーキ操作の場合、ブレーキ操作のおだやかさを表す点が、危険なブレーキ操作の場合よりも低めの値に集まる。つまり、安全なブレーキ操作とは、低速で行われるやわらかなブレーキ操作であり、危険なブレーキ操作とは、高速で行われる急なブレーキ操作である。 Figure 3 is an example of a scatter diagram for braking operations. Comparing a scatter diagram of safe braking operations with a scatter diagram of dangerous braking operations that predict accidents, safe braking operations have less variation in the speed at which the brakes are applied, the strength of the brakes applied, and the gentleness of the brake operation. In the case of safe braking operations, braking operations are initiated at a slower speed than in the case of dangerous braking operations, the strength of the brakes applied is also lower, and the brake operation tends to be gentler. As a result, in the case of safe braking operations, the points representing the gentleness of the brake operation are concentrated at lower values than in the case of dangerous braking operations. In other words, safe braking operations are gentle braking operations performed at low speeds, and dangerous braking operations are sudden braking operations performed at high speeds.
図4は、ハンドル操作に関する散布図の例示図である。安全なハンドル操作の散布図と事故が予知される危険なハンドル操作の散布図とを比較すると、安全なハンドル操作の方が、ハンドル操作中の最大速度、ハンドル操作の角度、及びハンドル操作のおだやかさのばらつきが少ない。安全なハンドル操作の場合、危険なハンドル操作の場合よりも操作中の最大速度が低速であり、ハンドルの角度も小さく、ゆるやかなハンドル操作が行われる傾向にある。そのために、安全なハンドル操作の場合、ハンドル操作のおだやかさを表す点が、危険なハンドル操作の場合よりも低めの値に集まる。つまり、安全なハンドル操作とは、充分減速して行われるゆるやかなハンドル操作であり、危険なハンドル操作とは、減速せずに行われる急激なハンドル操作である。 Figure 4 is an example of a scatter diagram for steering. Comparing a scatter diagram for safe steering with a scatter diagram for dangerous steering that predicts an accident, safe steering has less variation in the maximum speed during steering, the angle of steering, and the gentleness of steering. In the case of safe steering, the maximum speed during operation is slower than in the case of dangerous steering, and the steering angle is smaller, so steering tends to be performed more gently. For this reason, in the case of safe steering, the points representing the gentleness of steering tend to be concentrated at lower values than in the case of dangerous steering. In other words, safe steering is gentle steering performed with sufficient deceleration, while dangerous steering is abrupt steering performed without deceleration.
図5は、右左折操作に関する散布図の例示図である。安全な右左折操作の散布図と事故が予知される危険な右左折操作の散布図とを比較すると、安全な右左折操作の方が、右左折操作開始時の速度(例えば交差点進入時の速度)、ハンドルの角度、及び右左折操作時の最大速度(例えば交差点時の最大速度)のばらつきが少ない。安全な右左折操作の場合、危険な右左折操作の場合よりも操作開始時の速度及び操作中の最大速度が低速であり、ハンドルの角度も小さい傾向にある。そのために、安全な右左折操作の場合、右左折により生じる遠心力を表す点が、危険な右左折操作の場合よりも低めの値に集まる。つまり、安全な右左折操作とは、例えば、充分減速して交差点に進入し、交差点内の最大速度が低く、遠心力の低いハンドル操作であり、危険な右左折操作とは、例えば交差点に高速のまま進入し、交差点の最大速度が高く、遠心力の高いハンドル操作である。 Figure 5 is an example of a scatter diagram for right and left turn operations. Comparing a scatter diagram of a safe right and left turn operation with a scatter diagram of a dangerous right and left turn operation that predicts an accident, a safe right and left turn operation has less variation in the speed at the start of the right and left turn operation (e.g., the speed at the start of the turn operation), the steering angle, and the maximum speed during the right and left turn operation (e.g., the maximum speed at the intersection). In the case of a safe right and left turn operation, the speed at the start of the turn operation and the maximum speed during the turn tend to be lower than in the case of a dangerous right and left turn operation, and the steering angle also tends to be smaller. Therefore, in the case of a safe right and left turn operation, the points representing the centrifugal force generated by the right and left turn tend to be concentrated at lower values than in the case of a dangerous right and left turn operation. In other words, a safe right and left turn operation is, for example, a steering operation in which the vehicle decelerates sufficiently before entering an intersection, the maximum speed in the intersection is low, and the centrifugal force is low, while a dangerous right and left turn operation is, for example, a steering operation in which the vehicle enters an intersection at a high speed, the maximum speed at the intersection is high, and the centrifugal force is high.
解析部12は、複数の運転乗務員の運行データによる散布図の分布状況と、点呼対象の運転乗務員の過去の運行データによる散布図の分布状況、及び該運転乗務員の事故の有無を用いて学習を行い、運転乗務員の運行開始日直前の運行データの解析結果の定量化を行う。この際、解析部12は、道路状況、天気、気温、季節、曜日、渋滞予想等を考慮して運行データの解析を行ってもよい。
The
解析部12は、定量化により、複数段階(本実施形態では5段階)の事故予測レベル及び安全指数で表される運転診断データを生成して出力する。図6は、安全指数及び事故予測レベルの説明図である。解析部12は、定量化した運転乗務員の運行開始日直前の所定期間(本実施形態では1週間)の運行データの解析結果である事故予測率を日毎に算出し、所定期間の事故予測率の平均値を算出する。図6(a)は、1週間の事故予測率とその平均値を例示する。解析部12は、1週間の事故予測率の平均値に応じて、事故予測レベル及び安全指数を取得する。図6(b)は、事故予測率の平均値と、事故予測レベル及び安全指数との関係を例示する。事故予測レベルは、Level1~Level5の5段階で表される。安全指数は、事故予測レベルに対応して、「100」、「80」、「60」、「40」、「20」の5段階で表される。この例では、1週間の事故予測率の平均値が0.32であるために、事故予測レベルがLevel3であり、安全指数が60となる。事故予測値が高い程、事故予測レベルが高くなり、安全指数が低い値になる。
The
・検出部
検出部13は、運転開始前に、当日の運転乗務員の顔画像の撮像データと当日の運転乗務員の発話音データとの少なくとも一方を、通信部11を介して点呼端末20から取得し、取得したデータを用いて運転乗務員の不随意反応を検出する。検出部13は、データサーバ30から該運転乗務員の以前の顔画像と発話音データとの少なくとも一方を取得し、当日の顔画像或いは発話音の特徴と、以前の顔画像或いは発話音の特徴とを比較することで、運転乗務員の当日の不随意反応を検出する。
The
・顔画像による不随意反応検出
顔画像の撮像データを用いて不随意反応を検出する場合、検出部13は、撮像データと所定の参照データとの照合処理により運転乗務員の表情を抽出する。参照データは、顔画像から表情を抽出する際の判断基準となる画像である。検出部13は、顔画像と参照データとを比較し、その差異に応じて運転乗務員の表情を抽出する。検出部13は、点呼時点で取得した顔画像から抽出した表情と、それ以前の顔画像から抽出した当該運転乗務員の表情とを比較することで、不随意反応を検出する。検出部13は、照合処理により、怒り、軽蔑、嫌悪、恐怖、喜び、悲しみ、驚きのうち、それ以前に抽出して記憶されたものと異なる一以上の特徴を不随意反応として検出する。
Involuntary reaction detection by facial image When detecting an involuntary reaction using imaging data of a facial image, the
検出部13は、それ以前の顔画像から抽出した運転乗務員の表情を、例えばデータサーバ30から以前の該運転乗務員の画像データを取得し、取得した画像データと参照データとの照合処理により抽出してもよい。また、検出部13は、顔画像から運転乗務員の表情を抽出する度にデータサーバ30に抽出結果を格納し、顔画像から不随意反応を検出する際に、データサーバ30から、抽出結果を、それ以前の顔画像から抽出した運転乗務員の表情として取得してもよい。
The
検出部13は、顔画像の画像データと参照データとの照合処理により、顔表情から感情分析を行うことで、運転乗務員の表情を抽出する。感情分析は、撮像データの顔画像から表情の画像分析により7分類(怒り、軽蔑、嫌悪、恐怖、喜び、悲しみ、驚き)の感情要素を評点化して行われる。また、検出部13は、顔画像から瞼挙動解析により眠気度合を検出して睡眠状況を把握する。
図7は、顔画像分析の説明図である。図7(a)の例では、7分類の感情要素の評点(スコア)は、「喜び」が「100.00」、「驚き」が「05.00」であり、他が「00.00」である。検出部13は、点呼時の顔画像から取得した7分類の各感情要素と、各感情要素の平均スコアとを比較することで 不随意反応を表す値を検出する。
The
Fig. 7 is an explanatory diagram of face image analysis. In the example of Fig. 7(a), the scores of the seven emotion elements are "Happiness" is "100.00", "Surprise" is "05.00", and the rest are "00.00". The
・発話音による不随意反応検出
発話音データを用いて不随意反応を検出する場合、検出部13は、発話音データの音声 処理により該運転乗務員に固有の発話音の特徴を抽出する。検出部13は、抽出した発話音の特徴をそれ以前に抽出した当該運転乗務員の発話音の特徴と比較することで、運転乗務員の不随意の反応を検出する。例えば検出部13は、点呼時点で取得した発話音データから抽出した発話音の特徴と、それ以前に抽出した運転乗務員の発話音の特徴との比較結果に応じて、体調に応じて数値が変化する元気圧を算定する。検出部13は、それ以前に算定して記憶された該運転乗務員の元気圧との差分値を不随意反応として検出する。
- Detection of involuntary reaction by speech sound When detecting an involuntary reaction using speech sound data, the
検出部13は、それ以前の発話音から抽出した運転乗務員の発話音の特徴を、例えばデータサーバ30から以前の該運転乗務員の発話音データを取得し、取得した発話音データから抽出してもよい。また、検出部13は、それ以前の発話音から発話音の特徴を抽出する度にデータサーバ30に抽出結果を格納し、発話音データから不随意反応を検出する際に、データサーバ30から、抽出結果を、それ以前の発話音から抽出した運転乗務員の発話音の特徴として取得してもよい。
The
「元気圧」は、発話時の心の状態、元気さの度合いを表す値であり、声の周波数を解析することで得られる。検出部13は、元気圧を一定期間累積して分析した長期的な心の元気さの傾向(上昇・安定・下降)を「活量値」として表す。図8は、元気圧と活量値との説明図である。図8(a)は1週間の元気圧を例示する。図8(b)は1週間の活量値を例示する。検出部13は、元気圧(G)と活量値(K)との平均値((G+K)/2)を、不随意反応を表す値として検出する(図8(c))。
"Vitality" is a value that represents the state of mind and level of vitality at the time of speaking, and is obtained by analyzing the frequency of the voice. The
・診断部
診断部14は、解析部12による定量化された解析結果及び検出部13による不随意反応の検出結果を所定条件と照合することにより、運転乗務員の検出日の運転危険度を診断する。診断部14は、診断結果である危険度を出力部15へ出力する。出力部15は、危険度に応じた指示情報を表示装置16により出力する。なお、出力部15は、指示情報を表示装置16に表示させる他に、通信部11により点呼端末20へ送信して、点呼端末20の表示装置24に表示させてもよい。
Diagnosis Unit The
図9は、表示装置16により出力される指示情報の例示図である。図9(a)は、指示情報を含む点呼記録表の全体図である。図9(b)は、点呼記録表の項目の拡大図である。点呼記録表は、表示装置16に表示される。運行管理者は、点呼時に表示装置16に表示される点呼記録表を確認し、その内容を判断の根拠として、運転操作者に対して点呼、指示を行うことになる。運転操作者は、点呼端末20に接続される表示装置24に表示された点呼記録表を確認しながら運行管理者による点呼を受けることで、自身の運転時の危険度等を確認することができる。
Figure 9 is an example diagram of instruction information output by
点呼記録表は、電子化されて管理サーバ10に保存されており、乗務前点呼の結果と乗務後点呼の結果とが、車両、運転者名、運行内容行先・顧客名毎に記録される。乗務前点呼の結果は、点呼方法、点呼場所、点呼時間、日常点検の確認、危険度予測ツール判定、健康状態疾病疲労睡眠不足、アルコールの検出結果、点呼執行者(運行管理者名)、及び指示事項が含まれる。乗務後点呼の結果は、点呼方法、点呼場所、点呼時間、健康状態疾病疲労、アルコールの検出結果、点呼執行者(運行管理者名)、前日休憩時間、1ヶ月拘束時間、及び指示事項が含まれる。運行管理者は、点呼記録表に基づく点呼を行った後に、点呼記録表に必要事項を入力し、後日の点呼時に活用することができる。
The roll call record sheet is digitized and stored in the
点呼記録表は、診断部14による診断結果である危険度を「危険度予知ツール判定」の項目に表示する。危険度は赤、黄又は緑として表される。診断部14による診断の結果、危険度が赤や黄で表される場合、「指示事項等」の項目に診断結果に応じた注意事項が有る旨が表示される。図9(b)の例では、危険度が黄であり、注意事項が有る旨が表示されている。運行管理者が「危険度予知ツール判定」の黄の判定ボタンを選択することで、管理サーバ10による危険度の判定根拠となった運転操作傾向や不随意反応の検出結果による診断結果が表示装置16に表示される。運行管理者は、これにより運転乗務員への運転指導を行うことができる。また運行管理者は、乗務後点検の際に、前日の休憩時間及び1ヶ月拘束時間を確認し、運転乗務員に対して指示等を行うことができる。
The roll call record table displays the risk level, which is the result of the diagnosis by the
図9(c)は、診断結果の詳細の例示図である。診断結果の詳細には、運転診断の結果、顔画像の画像データによる診断結果、及び発話音データによる診断結果が含まれる。診断部14は、解析部12から取得する定量化された傾向解析の解析結果(運転診断データ)に対して所定の基準に基づくスコアを付与する。図9(c)の例では、診断部14は、解析部12から取得する定量化された傾向解析の解析結果(事故予測レベル、安全指数)に対して、「60」のスコアを付与する。診断部14は、このように付与する運転診断データに応じたスコアを、検出日から起算して所定期間毎に集計する。
Figure 9 (c) is an example diagram of the details of the diagnosis result. The details of the diagnosis result include the result of the driving diagnosis, the diagnosis result based on the image data of the face image, and the diagnosis result based on the speech sound data. The
診断部14は、検出部13から取得する不随意反応の検出結果に対して所定の基準に基づくスコアを付与する。診断部14は、顔画像の画像データから不随意反応が検出された場合、感情分析及び週間感情起伏線の平均スコアに基づくスコアを付与する。図7(b)は、週間感情起伏線を例示する。診断部14は、感情要素毎にスコアの1週間の平均スコアを算出する。週間感情起伏線は、過去の所定期間(例えば1週間)の感情要素のスコアの平均値を繋いだ線である。図9(c)の例では、診断部14は、顔画像の画像データから検出された不随意反応に対して「60」のスコアを付与する。診断部14は、このように付与する顔画像データに応じたスコアを、検出日から起算して所定期間毎に集計する。
The
診断部14は、発話音データから不随意反応が検出された場合、元気圧及び活量値に基づくスコアを付与する。図8(c)で例示した発話音データから検出された不随意反応を表す値に対して、図9(c)の例では、診断部14は、「80」のスコアを付与する。診断部14は、このように付与する発話音データに応じたスコアを、検出日から起算して所定期間毎に集計する。
When an involuntary reaction is detected from the speech sound data, the
診断部14は、各スコアの集計結果の合計値に応じて、検出日における運転操作傾向が複数レベルの危険度のいずれのレベルに属するかを決定する。図9(c)の例では、診断部14は、各スコアの合計値が「200」であるために、危険度がレンジ「90~210」のレベルに属すると決定する。危険度がレンジ「300~230」である場合、診断部14は、出力部15に緑の色画像を表示させる指示情報を出力させる。危険度がレンジ「210~90」である場合、診断部14は、出力部15に黄の色画像を表示させる指示情報を出力させる。危険度がレンジ「90~20」である場合、診断部14は、出力部15に赤の色画像を表示させる指示情報を出力させる。
The
色画像やメッセージの表示により、運行管理者は、運転乗務員の危険度により当日の運転適格性を把握することができる。運行管理者は、表示装置16に表示される点呼記録表やメッセージと、当該運転乗務員の勤務時間や残業時間を表す労務管理データと、により総合的に運転乗務員による車両の運行の可否を判断する。運行管理者は、これにより運転乗務員への運転指導や、運転の停止を指示することができる。なお、診断部14は、点呼端末20から取得するアルコールの検出結果が規定値以上の場合や運転免許証による運転乗務員の本人確認結果が運転乗務員と一致しない場合には、診断処理を行わずに、乗務を許可しない旨のメッセージを表示装置16や点呼端末20の表示装置24に表示させてもよい。これにより、運行管理者は、飲酒運転や運転免許証の不携帯を事前に防止することができる。
By displaying color images and messages, the operation manager can grasp the driver's driving suitability for the day based on the driver's risk level. The operation manager makes a comprehensive judgment on whether the driver can operate the vehicle based on the roll call record sheet and messages displayed on the
<運用形態>
図10は、管理サーバ10による出庫点呼処理の説明図である。管理サーバ10は、出庫点呼時に点呼端末20から点呼処理の依頼を受け付けることで、出庫点呼処理を開始する。管理サーバ10は、出庫点呼処理を開始すると、まず、点呼端末20から運行データと、顔画像の画像データ及び発話音データの少なくとも一方と、アルコールの検出結果と、運転免許証による運転乗務員の本人確認結果と、を通信部11により取得する(S101)。管理サーバ10は、取得したアルコールの検出結果及び運転免許証による運転乗務員の本人確認結果により、アルコールの検出結果が規定値以上であるか否か及び運転免許証が運転者本人であるか否かを確認して、出庫点呼処理を継続するか否かを判定する(S102)。
<Operational form>
10 is an explanatory diagram of the delivery roll call process by the
アルコールの検出結果が規定値以上の場合や運転免許証の認識結果が運転者本人と一致しない場合、管理サーバ10は、出庫点呼処理を中止する(S102:N)。管理サーバ10は、表示装置16及び点呼端末20の表示装置24に、乗務を許可しない旨のメッセージを表示させて処理を終了する(S103)。
If the alcohol detection result is equal to or exceeds a prescribed value, or if the driver's license recognition result does not match the driver, the
アルコールの検出結果が規定値未満、且つ運転免許証の認識結果が運転者本人と一致する場合、管理サーバ10は、出庫点呼処理を継続する(S102:Y)。管理サーバ10は、解析部12により運行データを解析し、定量化された解析結果を出力する(S104)。管理サーバ10は、検出部13により顔画像の画像データ及び発話音データの少なくとも一方に基づいて、運転乗務員の不随意反応を検出し、検出結果を出力する(S105)。
If the alcohol detection result is below the specified value and the driver's license recognition result matches the driver, the
診断部14は、解析部12から出力される定量化された解析結果及び検出部13から出力される不随意反応の検出結果を取得し、解析結果及び不随意反応の検出結果に基づいて運転乗務員の運転危険度を診断する(S106)。診断部14は、診断結果を出力部15へ送信する。出力部15は、診断結果が危険度予測ツールの項目に入力された点呼記録表を表示装置16及び点呼端末20の表示装置24に表示させる(S107)。運行管理者は、表示装置16に表示される点呼記録表に基づいて、運転乗務員による車両運行の可否を判断する。
The
<実施形態の効果>
このように本実施形態の乗務員管理システム1を用いることで、運行管理者は、主観のみの判断ではなく、過去に取得してデータサーバ30に格納しているビッグデータから得られる平素のデータとの比較分析結果を考慮した、総合的な定量化されたデータにより、運転乗務員の安全運転に資する高度な出庫点呼を行うことができる。具体的には、運行管理者は、運転乗務員の運転危険度やその時点の運転乗務員の状態を、点呼に際して取得したデータと過去に取得したデータとの比較分析結果を含む点呼記録表を参照して判断することができる。これにより運行管理者は、乗務員管理システム1により運転乗務員本人ですら認識できない集中力欠如を表示させる兆候の察知を容易に行い、労働管理を適正なものとすることができる。
Effects of the embodiment
In this way, by using the
例えば乗務員管理システム1は、運転開始日直前のブレーキ操作、アクセル操作、ハンドル操作又はこれらの複合操作の傾向解析の結果を複数の運転者の解析結果の統計値に基づいて定量化する。例えば乗務員管理システム1は、複数の運転者のブレーキ操作、アクセル操作、ハンドル操作又はこれらの複合操作の解析結果の散布図に基づいて定量化する。乗務員管理システム1は、傾向解析の結果に対して所定の基準に基づくスコアを付与するとともに、検出日を起算とする所定期間毎にスコアを集計し、集計結果に基づいて検出日における運転操作傾向を複数レベルの危険度のうちいずれのレベルに属するかを決定する。このような乗務員管理システム1は、複数の運転者の運転操作の解析結果の統計値を用いることで、点呼対象の運転者の運転操作傾向から事故発生の危険度を適切に決定することができる。運行管理者は、運転乗務員の運転危険度を総合的な定量化されたデータにより判断して、労働管理を適正なものとすることができる。
For example, the
本実施形態の乗務員管理システム1は、撮像データと所定の参照データとの照合処理により運転者の表情(怒り、軽蔑、嫌悪、恐怖、喜び、悲しみ、驚き)を抽出し、抽出した表情をそれ以前に抽出した運転者の表情と比較することにより、不随意反応を検出する。乗務員管理システム1は、検出された特徴に対して所定の基準に基づくスコアを付与するとともに、検出日を起算とする所定期間毎にスコアを集計し、集計結果に基づいて検出日における不随意反応を複数レベルの危険度のうちいずれのレベルに属するかを決定する。このような乗務員管理システム1は、運転者の過去の顔の表情との比較により検出される不随意反応に基づく危険度の決定が可能となる。そのために運行管理者は、乗務員管理システム1により運転乗務員本人ですら認識できない集中力欠如を表示させる兆候の察知を容易に行い、労働管理を適正なものとすることができる。
The
本実施形態の乗務員管理システム1は、運転者に固有の発話音の特徴を、それ以前に抽出した運転者の発話音の特徴と比較することにより、不随意反応を検出する。例えば、乗務員管理システム1は、発話音の特徴から体調に応じて数値が変化する元気圧を算定するとともに、それ以前に算定された運転者の元気圧との差分値を不随意反応として検出する。
乗務員管理システム1は、検出された差分値に対して所定の基準に基づくスコアを付与するとともに、検出日を起算とする所定期間毎にスコアを集計し、集計結果に基づいて検出日における不随意反応を複数レベルの危険度のうちいずれのレベルに属するかを決定する。このような乗務員管理システム1は、運転者の過去の元気圧との比較により検出される不随意反応に基づく危険度の決定が可能となる。そのために運行管理者は、乗務員管理システム1により運転乗務員本人ですら認識できない集中力欠如を表示させる兆候の察知を容易に行い、労働管理を適正なものとすることができる。
The
The
本実施形態の乗務員管理システム1は、診断結果を赤、黄又は緑の色画像と対応付けて、所定の表示装置に表示させる。また、診断結果に対応するメッセージ情報を出力する。運行管理者は、診断結果が色画像で表示されるために、診断結果の目視確認を容易に行えるようになる。また、診断結果に対応するメッセージ情報が出力されるために、運行管理者は、運転乗務員への的確な指示が可能である。
The
1…乗務員管理システム、10…管理サーバ、20…点呼端末、30…データサーバ、21…撮像装置、22…集音器、23…カードリーダ・ライタ(R/W)、16,24…表示装置、11…通信部、12…解析部、13…検出部、14…診断部、15…出力部、231…メモリカード、N…デジタルネットワーク。 1...crew management system, 10...management server, 20...roll call terminal, 30...data server, 21...imaging device, 22...sound collector, 23...card reader/writer (R/W), 16, 24...display device, 11...communication unit, 12...analysis unit, 13...detection unit, 14...diagnosis unit, 15...output unit, 231...memory card, N...digital network.
Claims (4)
運転開始直前の前記運転者の顔を撮像した撮像データと前記運転者の発話内容を表す発話音データとの少なくとも一方のデータを取得し、取得したデータと過去に取得した当該運転者の前記データとを照合することにより、当該運転者の運転開始前の不随意反応を検出する検出手段と、
前記定量化された解析の結果及び前記不随意反応の検出結果に対して所定の基準に基づくスコアをそれぞれ付与し、該スコアを保存するとともに、前記検出手段による検出日を起算とする所定期間毎に前記それぞれのスコアの集計結果を集計し、前記集計結果に基づいて、当該運転者による前記検出日における危険度を運転開始前に診断する診断手段と、
前記危険度に応じた指示情報を運転開始前に出力する出力手段と、
を備えることを特徴とする、運行管理装置。 an analysis means for analyzing a tendency of variability in a driver's driving operation based on driving data representing a vehicle driving state by the driver for a predetermined period before the start of driving , and quantifying a result of the analysis ;
A detection means for detecting an involuntary reaction of the driver before the start of driving by acquiring at least one of image data capturing an image of the face of the driver immediately before the start of driving and speech sound data representing the contents of the speech of the driver and comparing the acquired data with the data of the driver acquired in the past;
a diagnostic means for assigning a score based on a predetermined criterion to each of the quantified analysis results and the involuntary reaction detection results , storing the scores, and tallying up the scores for each predetermined period starting from the detection date by the detection means, and diagnosing the risk of the driver on the detection date based on the tallying up results before the start of driving;
an output means for outputting instruction information according to the risk level before starting driving;
An operation management device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023022785A JP7466725B2 (en) | 2018-08-21 | 2023-02-16 | Traffic management device and computer program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018154994A JP7235276B2 (en) | 2018-08-21 | 2018-08-21 | Operation control device and computer program |
JP2023022785A JP7466725B2 (en) | 2018-08-21 | 2023-02-16 | Traffic management device and computer program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018154994A Division JP7235276B2 (en) | 2018-08-21 | 2018-08-21 | Operation control device and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023057147A JP2023057147A (en) | 2023-04-20 |
JP7466725B2 true JP7466725B2 (en) | 2024-04-12 |
Family
ID=69624336
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018154994A Active JP7235276B2 (en) | 2018-08-21 | 2018-08-21 | Operation control device and computer program |
JP2023022785A Active JP7466725B2 (en) | 2018-08-21 | 2023-02-16 | Traffic management device and computer program |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018154994A Active JP7235276B2 (en) | 2018-08-21 | 2018-08-21 | Operation control device and computer program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7235276B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023056733A (en) * | 2021-10-08 | 2023-04-20 | ウイングアーク1st株式会社 | Roll-call support device and program |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000185676A (en) | 1998-10-12 | 2000-07-04 | Data Tec:Kk | Movable body operation tendency analysis method, operation control system, component of same, and recording medium |
JP2007212421A (en) | 2006-02-13 | 2007-08-23 | Denso Corp | Entertainment information providing system for automobile |
JP2008123448A (en) | 2006-11-15 | 2008-05-29 | Toyota Motor Corp | Driver state estimation device, server, driver information collection device, and driver state estimation system |
JP2009075988A (en) | 2007-09-24 | 2009-04-09 | Denso Corp | Vehicle periphery monitoring device |
JP2010008268A (en) | 2008-06-27 | 2010-01-14 | Denso Corp | Travel supporting system |
JP2010231776A (en) | 2009-03-04 | 2010-10-14 | Denso Corp | Driving support device |
JP2011238060A (en) | 2010-05-11 | 2011-11-24 | Tokai Denshi Inc | Roll call system |
JP2013216241A (en) | 2012-04-10 | 2013-10-24 | Denso Corp | Affect-monitoring system |
JP2017138725A (en) | 2016-02-02 | 2017-08-10 | 富士通株式会社 | Risk determination device, risk determination method and risk determination program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3842497B2 (en) * | 1999-10-22 | 2006-11-08 | アルパイン株式会社 | Audio processing device |
JP2014013496A (en) * | 2012-07-04 | 2014-01-23 | Denso Corp | Driving assistance device, and program |
JP6158563B2 (en) * | 2013-04-02 | 2017-07-05 | 本田技研工業株式会社 | Route guidance apparatus, control method therefor, and program |
JP6499438B2 (en) * | 2014-12-24 | 2019-04-10 | 株式会社 ミックウェア | Navigation device, navigation method, and program |
JP6447465B2 (en) * | 2015-11-09 | 2019-01-09 | 株式会社デンソー | Driving assistance device |
-
2018
- 2018-08-21 JP JP2018154994A patent/JP7235276B2/en active Active
-
2023
- 2023-02-16 JP JP2023022785A patent/JP7466725B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000185676A (en) | 1998-10-12 | 2000-07-04 | Data Tec:Kk | Movable body operation tendency analysis method, operation control system, component of same, and recording medium |
JP2007212421A (en) | 2006-02-13 | 2007-08-23 | Denso Corp | Entertainment information providing system for automobile |
JP2008123448A (en) | 2006-11-15 | 2008-05-29 | Toyota Motor Corp | Driver state estimation device, server, driver information collection device, and driver state estimation system |
JP2009075988A (en) | 2007-09-24 | 2009-04-09 | Denso Corp | Vehicle periphery monitoring device |
JP2010008268A (en) | 2008-06-27 | 2010-01-14 | Denso Corp | Travel supporting system |
JP2010231776A (en) | 2009-03-04 | 2010-10-14 | Denso Corp | Driving support device |
JP2011238060A (en) | 2010-05-11 | 2011-11-24 | Tokai Denshi Inc | Roll call system |
JP2013216241A (en) | 2012-04-10 | 2013-10-24 | Denso Corp | Affect-monitoring system |
JP2017138725A (en) | 2016-02-02 | 2017-08-10 | 富士通株式会社 | Risk determination device, risk determination method and risk determination program |
Also Published As
Publication number | Publication date |
---|---|
JP2023057147A (en) | 2023-04-20 |
JP2020030552A (en) | 2020-02-27 |
JP7235276B2 (en) | 2023-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8249311B2 (en) | Alcohol test system, alcohol test device, alcohol test method, and program | |
JP7466725B2 (en) | Traffic management device and computer program | |
Mccrady et al. | Maintaining change after conjoint behavioral alcohol treatment for men: Outcomes at 6 months | |
WO2021068595A1 (en) | Driver identity verification method and apparatus, and electronic device | |
CN109146217A (en) | Safety travel appraisal procedure, device, server, computer readable storage medium | |
US10809248B2 (en) | System for certifying a detection of a gaseous substance exhaled by an individual, and method using the system | |
JP2007024543A (en) | Safety inspection system | |
KR20210042860A (en) | Method, device and system for outputting information | |
KR102354510B1 (en) | Kiosk system for managing attendance of employee based on drinking measurement and method thereof | |
Pasko et al. | Under lock and key: Trauma, marginalization, and girls' juvenile justice involvement | |
CN115511329A (en) | Electric power operation compliance monitoring system and method | |
JP2003217010A (en) | Age discrimination control system for automatic vending machine based on biometric authentication | |
Dunham et al. | Officer and suspect demeanor: A qualitative analysis of change | |
US20170116470A1 (en) | System and method for automated sensing of emotion based on facial expression analysis | |
CN113763613A (en) | Method and system for managing information of people entering and leaving cell | |
CN109572551A (en) | Automobile safety driving system | |
CN113312958A (en) | Driver state-based order dispatching priority adjusting method and device | |
CN116230213A (en) | Intelligent injury identification method and system | |
JP2011013911A (en) | Roll call management system | |
CN113537073A (en) | Method and system for accurately processing special events in business hall | |
JP2018036712A (en) | Responder assignment system, responder assignment method, and responder assignment device | |
KR20220034967A (en) | Method for Measuring Drinking Based on Non-Face-to-Face | |
US20230274760A1 (en) | Voice processing device, voice processing method, recording medium, and voice authentication system | |
CN112309127B (en) | AI-based parking management system and method | |
Runge et al. | Identification and referral of impaired drivers through emergency department protocols |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240402 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7466725 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |