JP7412514B1 - キャビンモニタリング方法及び上記キャビンモニタリング方法を実行するキャビンモニタリングシステム - Google Patents
キャビンモニタリング方法及び上記キャビンモニタリング方法を実行するキャビンモニタリングシステム Download PDFInfo
- Publication number
- JP7412514B1 JP7412514B1 JP2022197249A JP2022197249A JP7412514B1 JP 7412514 B1 JP7412514 B1 JP 7412514B1 JP 2022197249 A JP2022197249 A JP 2022197249A JP 2022197249 A JP2022197249 A JP 2022197249A JP 7412514 B1 JP7412514 B1 JP 7412514B1
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- image
- data
- cabin
- creature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 230000001815 facial effect Effects 0.000 claims abstract description 36
- 238000003384 imaging method Methods 0.000 claims abstract description 12
- 210000003128 head Anatomy 0.000 claims description 123
- 210000000056 organ Anatomy 0.000 claims description 9
- 230000005856 abnormality Effects 0.000 claims description 7
- 238000003707 image sharpening Methods 0.000 claims description 5
- 238000003706 image smoothing Methods 0.000 claims description 5
- 210000001747 pupil Anatomy 0.000 claims description 4
- 208000033748 Device issues Diseases 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 2
- 230000002159 abnormal effect Effects 0.000 description 13
- 239000003550 marker Substances 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 206010042772 syncope Diseases 0.000 description 2
- 206010001488 Aggression Diseases 0.000 description 1
- 230000016571 aggressive behavior Effects 0.000 description 1
- 208000012761 aggressive behavior Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/886—Radar or analogous systems specially adapted for specific applications for alarm systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/411—Identification of targets based on measurements of radar reflectivity
- G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G06T5/70—
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
Abstract
【課題】ローコストでキャビン内の全空間をモニタリングできるキャビンモニタリング方法及びキャビンモニタリングシステムを提供する。【解決手段】移動する乗り物のキャビン内に配置されてキャビン内の一連の画像を撮影する撮影装置と、キャビン内に対して電波を送受信することにより一連の点群データを取得するレーダー装置とを備えるキャビンモニタリングシステムであって、撮影装置から一連のターゲット画像を取得し、受信した点群データに対してターゲット点群データを取得し、生物の位置の検知に用いられる生物位置検知モデルを利用して少なくとも１つの生物位置データを取得し、生物位置データに基づき、且つ、生物の顔面の特徴の検知に用いられる顔面検知モデルを利用して、少なくとも１つの顔面特徴データを取得し、顔面特徴データ及び少なくとも１つの生物骨格特徴データに基づいてキャビン内の状況のモニタリングを実行する。【選択図】図２
Description
本発明はモニタリング方法に関し、特に、キャビンモニタリング方法及び上記キャビンモニタリング方法を実行するキャビンモニタリングシステムに関する。
運転手及び乗客の安全のため、不測の事態が起きても運転手が即時に対応できるよう、キャビン内の状況を常時把握する必要がある。従って、近年ではキャビン内の画像監視が発展してきているが、カメラが一台しかない場合、どこに配置しても、どうしても死角があり、キャビン全体を監視することはできない。特に、監視対象の顔がカメラに向かっていない場合、その顔面の特徴をよく把握できなくなる。更に、例えば赤外線カメラの場合、赤外線照明の範囲が不十分になりがちであり、照明が足りない場合、後部座席の様子をよくとらえられない。従って、特許文献１に記載されるように、複数のカメラ及び照明を設けることによって、はじめてキャビン全体をカバーできるようになる。
しかし、この場合ではコストが掛かる上、多数のカメラからの情報を処理するのに必要な計算資源も多くなる。
従って、本発明の目的はローコストでキャビン内の全空間をモニタリングできるキャビンモニタリング方法及びキャビンモニタリングシステムの提供を目的とする。
上記目的を達成すべく、本発明は、
移動する乗り物のキャビン内に配置されて上記キャビン内の一連の画像を撮影する撮影装置と上記キャビン内に対して電波を送受信することにより一連の点群データを取得するレーダー装置とに電気的に接続し、前記撮影装置から前記一連の画像を受信し、前記レーダー装置から前記一連の点群データを受信するコンピュータ装置により実行されるキャビンモニタリング方法であって、
所定の期間中において、前記レーダー装置から前記一連の点群データを候補点群データとして受信した後、受信した前記候補点群データに対して処理を実行してターゲット点群データを取得するステップＡと、
前記期間中において、前記撮影装置から受信した前記一連の画像である複数の候補画像からターゲット画像を取得するステップＢと、
前記ターゲット点群データ及び前記ターゲット画像に基づいて、統合画像を取得するステップＣと、
前記統合画像に基づき、且つ、生物の位置の検知に用いられる生物位置検知モデルを利用して少なくとも１つの生物における一体の前記統合画像における位置に関連付けられている少なくとも１つの生物位置データを取得する、ステップＤと、
前記統合画像及び前記少なくとも１つの生物位置データに基づき、且つ、生物の骨格特徴の検知に用いられる骨格検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の骨格の前記統合画像における位置を含む、少なくとも１つの生物骨格特徴データを取得する、ステップＥと、
前記統合画像及び前記少なくとも１つの生物位置データに基づき、且つ、生物の顔面の特徴の検知に用いられる顔面検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の複数の顔面器官の前記統合画像における位置を含む、少なくとも１つの顔面特徴データを取得する、ステップＦと、
前記少なくとも１つの顔面特徴データ及び前記少なくとも１つの生物骨格特徴データに基づいてキャビン内の状況のモニタリングを実行する、ステップＧと、を含むことを特徴とするキャビンモニタリング方法を提供する。
移動する乗り物のキャビン内に配置されて上記キャビン内の一連の画像を撮影する撮影装置と上記キャビン内に対して電波を送受信することにより一連の点群データを取得するレーダー装置とに電気的に接続し、前記撮影装置から前記一連の画像を受信し、前記レーダー装置から前記一連の点群データを受信するコンピュータ装置により実行されるキャビンモニタリング方法であって、
所定の期間中において、前記レーダー装置から前記一連の点群データを候補点群データとして受信した後、受信した前記候補点群データに対して処理を実行してターゲット点群データを取得するステップＡと、
前記期間中において、前記撮影装置から受信した前記一連の画像である複数の候補画像からターゲット画像を取得するステップＢと、
前記ターゲット点群データ及び前記ターゲット画像に基づいて、統合画像を取得するステップＣと、
前記統合画像に基づき、且つ、生物の位置の検知に用いられる生物位置検知モデルを利用して少なくとも１つの生物における一体の前記統合画像における位置に関連付けられている少なくとも１つの生物位置データを取得する、ステップＤと、
前記統合画像及び前記少なくとも１つの生物位置データに基づき、且つ、生物の骨格特徴の検知に用いられる骨格検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の骨格の前記統合画像における位置を含む、少なくとも１つの生物骨格特徴データを取得する、ステップＥと、
前記統合画像及び前記少なくとも１つの生物位置データに基づき、且つ、生物の顔面の特徴の検知に用いられる顔面検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の複数の顔面器官の前記統合画像における位置を含む、少なくとも１つの顔面特徴データを取得する、ステップＦと、
前記少なくとも１つの顔面特徴データ及び前記少なくとも１つの生物骨格特徴データに基づいてキャビン内の状況のモニタリングを実行する、ステップＧと、を含むことを特徴とするキャビンモニタリング方法を提供する。
また、本発明は、移動する乗り物のキャビン内に配置されて上記キャビン内の一連の画像を撮影する撮影装置と上記キャビン内に対して電波を送受信することにより一連の点群データを取得するレーダー装置とに電気的に接続し、前記撮影装置から前記一連の画像を受信し、前記レーダー装置から前記一連の点群データを受信するコンピュータ装置により実行されるキャビンモニタリング方法であって、
所定の期間中において、前記レーダー装置から前記一連の点群データを候補点群データとして受信した後、受信した前記候補点群データに対して処理を実行してターゲット点群データを取得するステップＡと、
前記期間中において、前記撮影装置から受信した前記一連の画像である複数の候補画像からターゲット画像を取得するステップＢと、
前記ターゲット画像に基づいて、生物の骨格特徴を検知するための画像骨格検知モデルを用いて、少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の骨格の前記ターゲットにおける位置が含まれている、少なくとも１つの画像生物骨格特徴データを取得するステップＣと、
前記ターゲット画像に基づいて、生物の頭部姿勢の特徴を検知するための画像頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の画像頭部中心点の前記ターゲット画像における位置を含むと共に、前記画像頭部中心点に関連付けられた画像頭部仰俯角と画像頭部方位角と画像頭部回転角とを含む画像姿勢角データを含む少なくとも１つの画像頭部姿勢特徴データを取得する、ステップＤと、
前記ターゲット点群データに基づいて、生物の位置を検知するための点群生物位置検知モデルを用いて、前記少なくとも１つの生物における一体のワールド座標における位置に関連付けられた少なくとも１つの点群生物位置データを取得する、ステップＥと、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の骨格特徴を検知するための点群骨格検知モデルを用いて関連付けられた生物の骨格のワールド座標における位置を含む点群生物の骨格特徴データを取得する、ステップＦと、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の頭部姿勢の特徴を検知するための点群頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、
関連付けられた生物の点群頭部中心点の前記ワールド座標における位置を含むと共に、前記点群頭部中心点に関連付けられた点群頭部仰俯角と点群頭部方位角と点群頭部回転角とを含む点群姿勢角データを含む少なくとも１つの点群頭部姿勢特徴データを取得する、ステップＧと、
前記少なくとも１つの画像生物骨格特徴データと、前記少なくとも１つの画像頭部姿勢特徴データと、前記少なくとも１つの点群生物の骨格特徴データと、前記少なくとも１つの点群頭部姿勢特徴データとに基づいて、キャビン内の状況のモニタリングを実行する、ステップＨと、が実行されることを特徴とするキャビンモニタリング方法をも提供する。
所定の期間中において、前記レーダー装置から前記一連の点群データを候補点群データとして受信した後、受信した前記候補点群データに対して処理を実行してターゲット点群データを取得するステップＡと、
前記期間中において、前記撮影装置から受信した前記一連の画像である複数の候補画像からターゲット画像を取得するステップＢと、
前記ターゲット画像に基づいて、生物の骨格特徴を検知するための画像骨格検知モデルを用いて、少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の骨格の前記ターゲットにおける位置が含まれている、少なくとも１つの画像生物骨格特徴データを取得するステップＣと、
前記ターゲット画像に基づいて、生物の頭部姿勢の特徴を検知するための画像頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の画像頭部中心点の前記ターゲット画像における位置を含むと共に、前記画像頭部中心点に関連付けられた画像頭部仰俯角と画像頭部方位角と画像頭部回転角とを含む画像姿勢角データを含む少なくとも１つの画像頭部姿勢特徴データを取得する、ステップＤと、
前記ターゲット点群データに基づいて、生物の位置を検知するための点群生物位置検知モデルを用いて、前記少なくとも１つの生物における一体のワールド座標における位置に関連付けられた少なくとも１つの点群生物位置データを取得する、ステップＥと、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の骨格特徴を検知するための点群骨格検知モデルを用いて関連付けられた生物の骨格のワールド座標における位置を含む点群生物の骨格特徴データを取得する、ステップＦと、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の頭部姿勢の特徴を検知するための点群頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、
関連付けられた生物の点群頭部中心点の前記ワールド座標における位置を含むと共に、前記点群頭部中心点に関連付けられた点群頭部仰俯角と点群頭部方位角と点群頭部回転角とを含む点群姿勢角データを含む少なくとも１つの点群頭部姿勢特徴データを取得する、ステップＧと、
前記少なくとも１つの画像生物骨格特徴データと、前記少なくとも１つの画像頭部姿勢特徴データと、前記少なくとも１つの点群生物の骨格特徴データと、前記少なくとも１つの点群頭部姿勢特徴データとに基づいて、キャビン内の状況のモニタリングを実行する、ステップＨと、が実行されることを特徴とするキャビンモニタリング方法をも提供する。
更に、上記キャビンモニタリング方法を実行するシステムとして、本発明は、
移動する乗り物のキャビン内に配置されて上記キャビン内の一連の候補画像を撮影する撮影装置と、
上記キャビン内に対して電波を送受信することにより一連の候補点群データを取得するレーダー装置と、
前記撮影装置及び前記レーダー装置に電気的に接続し、所定の期間中において、前記レーダー装置から受信した前記一連の候補点群データと、前記期間中において、前記撮影装置から受信した前記画像に基づいて、キャビン内の状況のモニタリングを実行するキャビンモニタリングシステムをも提供する。
移動する乗り物のキャビン内に配置されて上記キャビン内の一連の候補画像を撮影する撮影装置と、
上記キャビン内に対して電波を送受信することにより一連の候補点群データを取得するレーダー装置と、
前記撮影装置及び前記レーダー装置に電気的に接続し、所定の期間中において、前記レーダー装置から受信した前記一連の候補点群データと、前記期間中において、前記撮影装置から受信した前記画像に基づいて、キャビン内の状況のモニタリングを実行するキャビンモニタリングシステムをも提供する。
本発明は、コンピュータ装置を用いて、レーダー装置及び撮影装置によって取得されるデータを統合させるので、レーダー装置の特性を利用することによってカメラ装置を複数設けることが不要となり、少ない機材及び計算資源でキャビン内の全空間のモニタリングを実現し、ローコストなキャビンモニタリング方法及びキャビンモニタリングシステムを提供することができる。
以下では図面を参照して本発明のキャビンモニタリング方法及び上記キャビンモニタリング方法を実行するキャビンモニタリングシステムについて詳しく説明する。
具体的説明に入る前に、本発明において同じ役割を担う構成要素に関しては、全く同じものでなくても、同じ符号が振り分けられている。
具体的説明に入る前に、本発明において同じ役割を担う構成要素に関しては、全く同じものでなくても、同じ符号が振り分けられている。
図１に本発明のキャビンモニタリングシステム１の実施例が示されており、上記キャビンモニタリングシステム１は、移動する乗り物に配置される撮影装置１１と、レーダー装置１２と、信号取得装置１４と、アラーム装置１５と、コンピュータ装置１３と、を備えている。
撮影装置１１は、移動する乗り物内において、一連の画像を撮影するのに用いられるものである。
レーダー装置１２は、上記移動する乗り物内における一連の点群データを取得するのに用いられるものである。
信号取得装置１４は、上記移動する乗り物の運転状態データに関連する乗り物信号を継続して取得するのに用いられるものである。
コンピュータ装置１３は、撮影装置１１と、レーダー装置１２と、信号取得装置１４と、アラーム装置１５と、に電気的に接続する。
なお、撮影装置１１は例えばカメラであり、３３ｍｓ（ミリ秒）ごとに一枚の画像を撮影する。レーダー装置１２としては、例えばミリメーターウェーブレーダ（ｍｍＷａｖｅ Ｒａｄｅｒ）であり、５０ｍｓごとに点群データを一つ取得する。上記移動する乗り物の運転状態データとして、例えば、上記乗り物のスピード、エンジン状態、ドアの開閉状態とが挙げられる。アラーム装置１５は、例えばスピーカー、ランプ、もしくはスクリーンである。コンピュータ装置１３は、例えばプロセッサーもしくはマイクロプロセッサーなど、計算機能を実行できるチップであるが、これに限らない。
図１と図２を参照し、本発明のキャビンモニタリングシステムは、本発明のキャビンモニタリング方法の第１の実施例を実施する。本発明のキャビンモニタリング方法の第１の実施例は、以下のステップを含む。
ステップ２１において、コンピュータ装置１３は所定の期間内でレーダー装置１２から複数の候補点群データを受信した後、受信したこれらの候補点群データに対して例えば以下のサブステップに示される処理を実行することでターゲット点群データを取得する。
図３を合わせて参照し、ステップ２１には以下のサブステップが含まれる。
サブステップ２１１において、コンピュータ装置１３はレーダー装置１２から最新の候補点群データを受信する。
サブステップ２１２において、コンピュータ装置１３はこれまで受信したすべての候補点群データを重ねると共に、外れ値を除去することで、統合点群データを取得する。
なお、外れ値を除去する方法として、この実施例において、コンピュータ装置１３はこれらの候補点群データ中におけるドットの四分位数（Ｑｕａｅｔｉｌｅ）を利用して、ある範囲を中間成分の上限値と下限値として設定してから、この範囲外の数値が対応するドットを削除する、という処理方法を利用できるが、これに限らない。
サブステップ２１３において、コンピュータ装置１３は受信した候補点群データの数がプリセット数値を超えるか否かを判断する。受信した候補点群データの数がこのプリセット数値を超えていないとコンピュータ装置１３が判断した場合は、受信した候補点群データの数がこのプリセット数値を超えたとコンピュータ装置１３が判断するまで、サブステップ２１１～２１３を繰り返して実行する。そして受信した候補点群データの数がこのプリセット数値を超えたとコンピュータ装置１３が判断すると、ステップ２１４を実行する。
サブステップ２１４においては、サブステップ２１２において取得した統合点群データをターゲット点群データとする。
ステップ２２において、コンピュータ装置１３はこの所定の期間内において撮影装置１１から受信した複数の候補画像の中からターゲット画像を取得する。
例えば、サブステップ２１３において上記プリセット数値は３であり、この所定の期間は０～１５０ｍｓとなる。そしてこの所定の期間において、コンピュータ装置１３が４つの候補画像を受信したとすると、ステップ２２では、コンピュータ装置１３はこの４つの候補画像から１つの候補画像を選択してターゲット画像とする。
ステップ２３において、コンピュータ装置１３はこのターゲット画像に対して画像平滑化（ｉｍａｇｅ ｓｍｏｏｔｈｉｎｇ）処理と、画像シャープ化（ｉｍａｇｅ ｓｈａｒｐｅｎｉｎｇ）処理と、カラー強化処理とを実行する。画像平滑化処理によって、ターゲット画像における不良な量子化ノイズを除去するが、ターゲット画像はこれにより多少ぼやけるので、画像シャープ化処理によりターゲット画像における物体のエッジを際立たせ、そしてカラー強化処理によってターゲット画像における明度のコントラストを強化できる。なお上記各画像処理は、場合によって少なくともいずれか一つが行われればよい。
なお、この実施例においては、ステップ２３を実行することでターゲット画像の特徴を際立たせるが、これに限らず、他の実施例では、ステップ２３を実行しなくてもよい。
ステップ２４において、コンピュータ装置１３はこのターゲット点群データ及びこのターゲット画像に基づいて、統合画像を取得する。
図４を合わせて参照し、ステップ２４には以下のサブステップが含まれる。
サブステップ２４１において、コンピュータ装置１３はこのターゲット点群データにおけるすべてのドットに対して振り分けを行うことで、複数の点群グループを取得し、各点群グループはいずれも１つの生物を表す。
サブステップ２４１において、コンピュータ装置１３はこのターゲット点群データにおけるすべてのドットに対して振り分けを行うことで、複数の点群グループを取得し、各点群グループはいずれも１つの生物を表す。
なお、この実施例において、k平均法（ｋ－ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ）及びＬｌｏｙｄ－Ｍａｘアルゴリズム（Ｌｌｏｙｄ－Ｍａｘ ａｌｇｏｒｉｔｈｍ）を用いるが、これらに限られることはない。
サブステップ２４２において、コンピュータ装置１３はこれらの点群グループを上記ターゲット画像に投影することで、上記統合画像を取得する。
ここで、コンピュータ装置１３はこれらの点群グループをターゲット画像に投影することによって、深さ情報を有する統合画像を取得する。
ここで、コンピュータ装置１３はこれらの点群グループをターゲット画像に投影することによって、深さ情報を有する統合画像を取得する。
ステップ２５において、コンピュータ装置１３は上記統合画像に基づき、生物の位置を検出するのに用いられる生物位置検知モデルを用いて、いずれも少なくとも１つの生物における一体の上記統合画像における位置に関連付けられる少なくとも１つの生物位置データを取得する。
ステップ２６において、コンピュータ装置１３は上記統合画像及び上記少なくとも１つの生物位置データに基づいて、生物の骨格特徴の検知に用いられる骨格検知モデルを用いて、上記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の骨格の上記統合画像における位置に関連する少なくとも１つの生物骨格特徴データを取得する。
ステップ２７において、コンピュータ装置１３は上記統合画像及び上記少なくとも１つの生物位置データに基づいて、生物の顔面の特徴の検知に用いられる顔面検知モデルを用いて、上記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の複数の顔面器官の上記統合画像における位置を含む少なくとも１つの顔面特徴データを取得する。
ここでの顔面器官として、例えば目、鼻、唇があげられるが、これらに限らない。
ステップ２８において、コンピュータ装置１３は各顔面特徴データに対しその顔面特徴データが関連付けられた生物の複数の顔面器官の統合画像における位置に基づいて、これらの顔面器官における両方の瞳孔及び鼻先のワールド座標における位置を含む顔面姿勢データを取得する。
なお、この実施例において、コンピュータ装置１３はまず撮影装置１１の上記ワールド座標における位置を算出してから、ロドリゲスの回転公式（Ｒｏｄｒｉｇｕｅｓ' ｒｏｔａｔｉｏｎ ｆｏｒｍｕｌａ）を利用して３次元空間に関連する回転ベクトルを算出し、最後はこれらの瞳孔及び上記鼻先の上記統合画像における位置及び上記回転ベクトルに基づいて、上記顔面姿勢データを取得し、且つ、コンピュータ装置１３は瞳孔の上記ワールド座標における位置に基づいて視線の方向（ベクトル）を取得するが、顔面姿勢データの取得方法はこれに限らない。
ステップ２９において、コンピュータ装置１３は最新に取得した目標乗り物信号と、上記少なくとも１つの顔面特徴データと、上記少なくとも１つの生物骨格特徴データと、上記少なくとも１つの顔面姿勢データとに基づいて、キャビン内の状況のモニタリングを実行する。
なお、この実施例において、キャビン内の状況のモニタリングから検知し得る異常としては、例えば子供がチャイルドシートから離れることや、運転手への接近、乗客の失神あるいは座席／福祉車両の椅子から転げ落ちること、頭もしくは手足を窓の外に出すこと、異常に手足を振り回すこと、攻撃的な行為、乗客の置き去りなどが上げられ、ここで、人の存在／置き去りの検知に当たっては、上記目標乗り物信号が必要となるが、人の存在／置き去りの検知が不要な場合、ステップ２９では、コンピュータ装置１３は目標乗り物信号に基づいてキャビン内の異常状況のモニタリングを実行する必要はなくなるが、これに限られることではない。
なお、上記生物位置検知モデルは、複数の生物位置トレーニング情報に基づいて、ディープラーニングアルゴリズムを利用してトレーニングされたものであり、各生物位置トレーニング情報には、トレーニング点群データが投影されたトレーニング画像と、少なくとも１つの生物に対応する少なくとも１つのトレーニング画像の位置マーカーとが含まれる。上記骨格検知モデルは、複数の骨格トレーニング情報に基づいて、上記ディープラーニングアルゴリズムを利用してトレーニングされたものであり、各骨格トレーニング情報には、上記トレーニング画像と、上記少なくとも１つの位置マーカーと、各位置マーカーにそれぞれ対応する少なくとも１つの骨格位置マーカーと、が含まれる。上記顔面検知モデルは、複数の顔面トレーニング情報に基づいて、上記ディープラーニングアルゴリズムを利用してトレーニングすることによって取得したものであり、各顔面トレーニング情報はいずれも上記トレーニング画像と、上記少なくとも１つの位置マーカーと、複数の顔面器官位置マーカーとを含む。
ステップ３０において、キャビン内の異常状況を検出すると、コンピュータ装置１３は異常信号を生成してアラーム装置１５に出力し、アラーム装置１５に警告を発させる。
図１と図５を参照し、本発明のキャビンモニタリングシステムは本発明のキャビンモニタリング方法の第２の実施例を実行する。第２の実施例は以下のステップを含む。
図１と図５を参照し、本発明のキャビンモニタリングシステムは本発明のキャビンモニタリング方法の第２の実施例を実行する。第２の実施例は以下のステップを含む。
ステップ３１において、コンピュータ装置１３は所定の期間内にレーダー装置１２から複数の候補点群データを受信した後、これらの候補点群データに対して処理を実行してターゲット点群データを取得する。
コンピュータ装置１３が上記ターゲット点群データを取得する方法は、上記第１の実施例のステップ２１と同一であるので、詳しい説明を省略する。
ステップ３２において、コンピュータ装置１３は上記所定の期間内に撮影装置１１から受信した複数の候補画像から、１つのターゲット画像を取得する。
ステップ３３において、コンピュータ装置１３は上記ターゲット画像に対して画像平滑化処理と、画像シャープ化処理と、カラー強化処理との少なくともいずれかの処理を実行する。
ステップ３２において、コンピュータ装置１３は上記所定の期間内に撮影装置１１から受信した複数の候補画像から、１つのターゲット画像を取得する。
ステップ３３において、コンピュータ装置１３は上記ターゲット画像に対して画像平滑化処理と、画像シャープ化処理と、カラー強化処理との少なくともいずれかの処理を実行する。
ステップ３４において、コンピュータ装置１３は上記ターゲット画像に基づいて、生物の骨格特徴の検知に用いられる画像骨格検知モデルを利用し、それぞれ少なくとも１つの生物に関連付けられ、且つ、関連付けられた生物の骨格の上記ターゲット画像における位置を含む少なくとも１つの画像生物骨格特徴データと、各画像生物骨格特徴データに関連する画像骨格信頼度数値と、を取得する。
ステップ３５において、コンピュータ装置１３は上記ターゲット画像及び上記少なくとも１つの画像生物骨格特徴データに基づいて、生物の頭部姿勢の特徴の検知に用いられる画像頭部姿勢検知モデルを利用し、少なくとも１つの画像頭部姿勢特徴データ及び各画像頭部姿勢特徴データに関連する画像頭部姿勢信頼度数値を取得する。各画像頭部姿勢特徴データは、いずれも上記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の画像頭部中心点の上記ターゲット画像における位置と、上記画像頭部中心点に関連付けられた画像頭部仰俯角と、画像頭部方位角と、画像頭部回転角の画像姿勢角データとを含む。
なお、他の実施方法において、コンピュータ装置１３は上記ターゲット画像のみに基づいて、上記画像頭部姿勢検知モデルを利用して上記少なくとも１つの画像頭部姿勢特徴データ及び上記画像頭部姿勢信頼度数値を取得することができるが、これに限られることはない。
注意すべきは、上記画像頭部仰俯角（ｐｉｔｃｈ）はワールド座標のＸ軸の周りの回転角を表し、すなわち頭を仰ぐ回転角である。上記画像頭部方位角（ｙａｗ）は上記ワールド座標のＹ軸の周りの回転角を表し、すなわち頭を傾げる回転角である。上記画像頭部回転角（ｒｏｌｌ）は上記ワールド座標のＺ軸の周りの回転角を表し、すなわち頭を振る回転角である。上記少なくとも１つの画像頭部姿勢特徴データを取得する方法としては、例えば“BAZAREVSKY, Valentin, et al. Blazeface: Sub-millisecond neural face detection on mobile gpus. arXiv preprint arXiv:１９０７.０５０４７, ２０１９.”を参考することができ、ここでは詳しい説明を省略する。
ステップ３６において、コンピュータ装置１３は上記ターゲット点群データにおけるすべてのドットに対して振り分けを行うことで、複数の点群グループを取得する。
ステップ３７において、コンピュータ装置１３は上記ターゲット点群データ及びこれら複数の点群グループに基づいて、生物の位置の検知に用いられる点群生物位置検知モデルを利用し、それぞれ少なくとも１つの生物の上記ワールド座標における位置に関連付けられた少なくとも１つの点群生物位置データを取得する。
ステップ３８において、コンピュータ装置１３は上記ターゲット点群データ及び上記少なくとも１つの点群生物位置データに基づいて、生物の骨格特徴の検知に用いられる点群骨格検知モデルを利用し、少なくとも１つの点群生物骨格特徴データ及び各点群生物骨格特徴データに関連する点群骨格信頼度数値を取得する。各点群生物骨格特徴データは、上記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の骨格の上記ワールド座標における位置を含む。
ステップ３９において、コンピュータ装置１３は上記ターゲット点群データ及び上記少なくとも１つの点群生物位置データに基づいて、生物の頭部姿勢の特徴の検知に用いられる点群頭部姿勢検知モデルを利用し、少なくとも１つの点群頭部姿勢特徴データと、各点群頭部姿勢特徴データに関連する点群頭部姿勢信頼度数値とを取得する。各点群頭部姿勢特徴データは上記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の点群頭部中心点の上記ワールド座標における位置を含むと共に、点群姿勢角データを含み、点群姿勢角データは、上記点群頭部中心点に関連付けられた点群頭部仰俯角と点群頭部方位角と点群頭部回転角とを含む。
ステップ４０において、コンピュータ装置１３は上記少なくとも１つの画像生物骨格特徴データと、上記少なくとも１つの画像頭部姿勢特徴データと、上記少なくとも１つの点群生物骨格特徴データと、上記少なくとも１つの点群頭部姿勢特徴データと、上記画像骨格信頼度数値と、上記画像頭部姿勢信頼度数値と、上記点群骨格信頼度数値と、上記点群頭部姿勢信頼度数値とに基づいて、キャビン内の異常状況のモニタリングを実行する。
なお、本実施例においても、キャビン内の異常状況としては、例えば子供がチャイルドシートから離れることや、運転手への接近、乗客の失神あるいは座席／福祉車両の椅子から転げ落ちること、頭もしくは手足を窓の外に出すこと、異常に手足を振り回すこと、攻撃的な行為、乗客の置き去りなどが上げられ、ここで、キャビン内の異常状態に人の存在／置き去りが含まれる場合は、ステップ４０では、コンピュータ装置１３はその時間点で取得された目標乗り物信号に基づいてキャビン内の異常状況のモニタリングを実行することができるが、これに限られることではない。
図６を合わせて参照し、ステップ４０には以下のサブステップが含まれる。
サブステップ４０１において、コンピュータ装置１３は上記画像骨格信頼度数値及び上記画像頭部姿勢信頼度数値の総合値が上記点群骨格信頼度数値と上記点群頭部姿勢信頼度数値との総合値より大きいか否かを判断する。コンピュータ装置１３によって上記画像骨格信頼度と上記画像頭部姿勢信頼度数値の総合値が上記点群骨格信頼度数値と上記点群頭部姿勢信頼度数値との総合値より大きいと判断された場合、サブステップ４０２に進む。上記画像骨格信頼度と上記画像頭部姿勢信頼度数値の総合値が上記点群骨格信頼度数値と上記点群頭部姿勢信頼度数値との総合値より大きくないと判断された場合、サブステップ４０３に進む。
サブステップ４０２において、コンピュータ装置１３は上記少なくとも１つの画像生物骨格特徴データ及び上記少なくとも１つの画像頭部姿勢特徴データに基づいてキャビン内の異常状況のモニタリングを実行する。
サブステップ４０３において、コンピュータ装置１３は上記少なくとも１つの点群生物骨格特徴データ及び上記少なくとも１つの点群頭部姿勢特徴データに基づいてキャビン内の異常状況のモニタリングを実行する。
注意すべきは、この実施例において、コンピュータ装置１３は上記画像骨格信頼度数値と上記画像頭部姿勢信頼度数値との総合値が上記点群骨格信頼度数値と上記点群頭部姿勢信頼度数値との総合値が一致する場合、サブステップ４０３を実行すると予めに設定されているが、これに限らず、他の実施例では、コンピュータ装置１３は上記画像骨格信頼度数値と上記画像頭部姿勢信頼度数値との総合値が上記点群骨格信頼度数値と上記点群頭部姿勢信頼度数値との総合値が一致する場合、サブステップ４０２を実行すると予めに設定されることができる。
更に注意すべきは、この実施例において、コンピュータ装置１３は上記画像骨格信頼度数値と上記画像頭部姿勢信頼度数値と上記点群骨格信頼度数値と上記点群頭部姿勢信頼度数値とに基づいて、キャビン内の異常状況のモニタリングを、上記少なくとも１つの画像生物骨格特徴データ及び上記少なくとも１つの画像頭部姿勢特徴データに基づいて実行するか、あるいは上記少なくとも１つの点群生物骨格特徴データ及び上記少なくとも１つの点群頭部姿勢特徴データに基づいて実行するかを判断する。他の実施例では、コンピュータ装置１３は上記少なくとも１つの画像生物骨格特徴データ及び上記少なくとも１つの点群生物骨格特徴データとを統合させて少なくとも１つの合成生物骨格特徴データを生成すると共に、上記少なくとも１つの画像頭部姿勢特徴データ及び上記少なくとも１つの点群頭部姿勢特徴データを統合させて少なくとも１つの合成頭部姿勢特徴データを生成してから上記少なくとも１つの合成生物骨格特徴データ及び上記少なくとも１つの合成頭部姿勢特徴データに基づいてキャビン内の異常状況のモニタリングを実行することもできる。すなわち、他の実施方法では、ステップ３４、３５、３８、３９において、コンピュータ装置１３は上記画像骨格信頼度数値と上記画像頭部姿勢信頼度数値と上記点群骨格信頼度数値と上記点群頭部姿勢信頼度数値とを取得せず、そしてステップ４０では、コンピュータ装置１３は上記少なくとも１つの画像生物骨格特徴データと上記少なくとも１つの画像頭部姿勢特徴データと上記少なくとも１つの点群生物骨格特徴データと上記少なくとも１つの点群頭部姿勢特徴データとに基づいて、キャビン内の異常状況のモニタリングを実行する。
ステップ４１において、キャビン内の異常状況を検出すると、コンピュータ装置１３は異常信号を生成してアラーム装置１５に出力し、アラーム装置１５に警告を発させる。
以上をまとめると、本発明のキャビンモニタリング方法及びそのシステムは、コンピュータ装置１３により上記ターゲット点群データ及び上記ターゲット画像を統合させることで上記統合画像を取得してから、レーダー装置１２の特性を利用して上記生物位置検知モデルと上記骨格検知モデルと上記顔面検知モデルとの識別成功率を強化する。すなわち、大量の撮影装置の代わりにレーダー装置１２を用いることで、比較的に低いコスト及び計算資源でキャビン全体をカバーすることができる。この他、コンピュータ装置１３を用いて上記画像骨格検知モデルと上記画像頭部姿勢検知モデルと上記点群骨格検知モデルと上記画像頭部姿勢検知モデルとを利用して得られる上記少なくとも１つの画像生物の骨格特徴データと、上記少なくとも１つの画像頭部姿勢特徴データと、上記少なくとも１つの点群生物の骨格特徴データと、上記少なくとも１つの点群頭部姿勢特徴データ進行を統合し、更にレーダー装置１２の特性を利用して大量の撮影装置の代わりにレーダー装置１２を用いることで、比較的に低いコスト及び計算資源でキャビン全体をカバーすることができる。
以上、本発明の実施形態を説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々の変更が可能である。
１ キャビンモニタリングシステム
１１ 撮影装置
１２ レーダー装置
１３ コンピュータ装置
２１～３０ ステップ
２１１～２１４ サブステップ
２４１～２４２ サブステップ
３１～４１ ステップ
４０１～４０３ サブステップ
１１ 撮影装置
１２ レーダー装置
１３ コンピュータ装置
２１～３０ ステップ
２１１～２１４ サブステップ
２４１～２４２ サブステップ
３１～４１ ステップ
４０１～４０３ サブステップ
Claims (16)
- 移動する乗り物のキャビン内に配置されて上記キャビン内の一連の画像を撮影する撮影装置と上記キャビン内に対して電波を送受信することにより一連の点群データを取得するレーダー装置とに電気的に接続し、前記撮影装置から前記一連の画像を受信し、前記レーダー装置から前記一連の点群データを受信するコンピュータ装置により実行されるキャビンモニタリング方法であって、
所定の期間中において、前記レーダー装置から前記一連の点群データを候補点群データとして受信した後、受信した前記候補点群データに対して処理を実行してターゲット点群データを取得するステップＡと、
前記期間中において、前記撮影装置から受信した前記一連の画像である複数の候補画像からターゲット画像を取得するステップＢと、
前記ターゲット点群データ及び前記ターゲット画像に基づいて、統合画像を取得するステップＣと、
前記統合画像に基づき、且つ、生物の位置の検知に用いられる生物位置検知モデルを利用して少なくとも１つの生物における一体の前記統合画像における位置に関連付けられている少なくとも１つの生物位置データを取得する、ステップＤと、
前記統合画像及び前記少なくとも１つの生物位置データに基づき、且つ、生物の骨格特徴の検知に用いられる骨格検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の骨格の前記統合画像における位置を含む、少なくとも１つの生物骨格特徴データを取得する、ステップＥと、
前記統合画像及び前記少なくとも１つの生物位置データに基づき、且つ、生物の顔面の特徴の検知に用いられる顔面検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の複数の顔面器官の前記統合画像における位置を含む少なくとも１つの顔面特徴データを取得する、ステップＦと、
前記少なくとも１つの顔面特徴データ及び前記少なくとも１つの生物骨格特徴データに基づいてキャビン内の状況のモニタリングを実行する、ステップＧと、を含むことを特徴とするキャビンモニタリング方法。 - 前記ステップＥと前記ステップＧの間に、各前記顔面特徴データに対し、該顔面特徴データが関連付けられている生物の各前記顔面器官の前記統合画像における位置に基づいて、これらの顔面器官における２つの瞳孔及び１つの鼻先のワールド座標における位置を示す顔面姿勢データを取得する、ステップＨが実行され、前記ステップＧにおいては、更に前記ステップＨにおいて取得した顔面姿勢データに基づいてキャビン内の状況のモニタリングを実行する、ことを特徴とする請求項１に記載のキャビンモニタリング方法。
- 前記ステップＡにおいて、
前記レーダー装置から最新の候補点群データを受信するサブステップＡ１と、
前記期間中において受信したすべての前記候補点群データを統合すると共に、外れ値を除去して統合点群データとして作成するサブステップＡ２と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えたかどうかを判断するサブステップＡ３と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えていない場合、前記候補点群データの数が所定値を超えるまで前記サブステップＡ１～サブステップＡ３を繰り返すサブステップＡ４と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えた場合、直前に実行された前記サブステップＡ２において作成された前記統合点群データを前記ターゲット点群データとして取得するサブステップＡ５と、が実行される、ことを特徴とする請求項１に記載のキャビンモニタリング方法。 - 前記ステップＣにおいて、
前記ターゲット点群データにおけるすべての点を振り分けして複数の点群グループを取得するサブステップＣ１と、
取得した各点群グループを前記ターゲット画像に投影して前記統合画像を取得するサブステップＣ２と、が実行される、ことを特徴とする請求項１に記載のキャビンモニタリング方法。 - 前記ステップＢと前記ステップＣの間に、
前記ターゲット画像に対して画像平滑化処理と、画像シャープ化処理と、カラー強化処理との少なくともいずれか１つの処理を実行するステップＩが実行される、ことを特徴とする請求項１に記載のキャビンモニタリング方法。 - 前記コンピュータ装置は、前記乗り物のキャビン内に配置されて前記乗り物の運転状態データに関連する乗り物信号を取得するのに用いられる信号取得装置に電気的に接続しており、
前記ステップＧでは、最新に取得した前記乗り物信号に更に基づいてキャビン内の状況のモニタリングを実行することを特徴とする請求項１に記載のキャビンモニタリング方法。 - 前記コンピュータ装置は、前記乗り物のキャビン内に配置されるアラーム装置に電気的に接続しており、
前記ステップＧにおいてキャビン内の状況に異常が検知された場合、前記ステップＧの後に、前記コンピュータ装置から異常信号を前記アラーム装置に出力し、異常信号を受信した前記アラーム装置は警報を発する、ステップＨが実行される、ことを特徴とする請求項１に記載のキャビンモニタリング方法。 - 移動する乗り物のキャビン内に配置されて上記キャビン内の一連の画像を撮影する撮影装置と上記キャビン内に対して電波を送受信することにより一連の点群データを取得するレーダー装置とに電気的に接続し、前記撮影装置から前記一連の画像を受信し、前記レーダー装置から前記一連の点群データを受信するコンピュータ装置により実行されるキャビンモニタリング方法であって、
所定の期間中において、前記レーダー装置から前記一連の点群データを候補点群データとして受信した後、受信した前記候補点群データに対して処理を実行してターゲット点群データを取得するステップＡと、
前記期間中において、前記撮影装置から受信した前記一連の画像である複数の候補画像からターゲット画像を取得するステップＢと、
前記ターゲット画像に基づいて、生物の骨格特徴を検知するための画像骨格検知モデルを用いて、少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の骨格の前記ターゲット画像における位置が含まれている、少なくとも１つの画像生物骨格特徴データを取得するステップＣと、
前記ターゲット画像に基づいて、生物の頭部姿勢の特徴を検知するための画像頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の画像頭部中心点の前記ターゲット画像における位置を含むと共に、前記画像頭部中心点に関連付けられた画像頭部仰俯角と画像頭部方位角と画像頭部回転角とを含む画像姿勢角データを含む少なくとも１つの画像頭部姿勢特徴データを取得する、ステップＤと、
前記ターゲット点群データに基づいて、生物の位置を検知するための点群生物位置検知モデルを用いて、前記少なくとも１つの生物における一体のワールド座標における位置に関連付けられた少なくとも１つの点群生物位置データを取得する、ステップＥと、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の骨格特徴を検知するための点群骨格検知モデルを用いて関連付けられた生物の骨格のワールド座標における位置を含む点群生物骨格特徴データを取得する、ステップＦと、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の頭部姿勢の特徴を検知するための点群頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の点群頭部中心点の前記ワールド座標における位置を含むと共に、前記点群頭部中心点に関連付けられた点群頭部仰俯角と点群頭部方位角と点群頭部回転角とを含む点群姿勢角データを含む少なくとも１つの点群頭部姿勢特徴データを取得する、ステップＧと、
前記少なくとも１つの画像生物骨格特徴データと、前記少なくとも１つの画像頭部姿勢特徴データと、前記少なくとも１つの点群生物骨格特徴データと、前記少なくとも１つの点群頭部姿勢特徴データとに基づいて、キャビン内の状況のモニタリングを実行する、ステップＨと、が実行されることを特徴とするキャビンモニタリング方法。 - 前記ステップＡにおいて、
前記レーダー装置から最新の候補点群データを受信するサブステップＡ１と、
前記期間中において受信したすべての前記候補点群データを統合すると共に、外れ値を除去して統合点群データとして作成するサブステップＡ２と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えたかどうかを判断するサブステップＡ３と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えていない場合、前記候補点群データの数が所定値を超えるまで前記サブステップＡ１～サブステップＡ３を繰り返すサブステップＡ４と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えた場合、直前に実行された前記サブステップＡ２において作成された前記統合点群データを前記ターゲット点群データとして取得するサブステップＡ５と、が実行される、ことを特徴とする請求項８に記載のキャビンモニタリング方法。 - 前記ステップＢと前記ステップＣの間に、
前記ターゲット画像に対して画像平滑化処理と、画像シャープ化処理と、カラー強化処理との少なくともいずれか１つの処理を実行するステップＩが実行される、ことを特徴とする請求項８に記載のキャビンモニタリング方法。 - 前記ステップＥが実行される前に、前記ターゲット点群データにおけるすべての点を振り分けして複数の点群グループを取得するステップＪが実行され、
前記ステップＥでは、取得した各点群グループに基づいて、前記少なくとも１つの点群生物位置データを取得する、ことを特徴とする請求項８に記載のキャビンモニタリング方法。 - 前記ステップＣでは、前記画像生物骨格特徴データに関連する画像骨格信頼度数値を更に取得し、
前記ステップＤでは、前記画像頭部姿勢特徴データに関連する画像頭部姿勢信頼度数値を更に取得し、
前記ステップＦでは、前記点群生物骨格特徴データに関連する点群骨格信頼度数値を更に取得し、
前記ステップＧでは、前記点群頭部姿勢特徴データに関連する点群頭部姿勢信頼度数値を更に取得し、
前記ステップＨでは、更に前記画像骨格信頼度数値と、前記画像頭部姿勢信頼度数値と、前記点群骨格信頼度数値と、前記点群頭部姿勢信頼度数値とに基づいて、キャビン内の状況のモニタリングを実行し、
前記ステップＨは、
前記画像骨格信頼度数値と前記画像頭部姿勢信頼度数値の総合値が前記点群骨格信頼度数値と前記点群頭部姿勢信頼度数値の総合値より大きいか否かを判断するサブステップＨ１と、
前記画像骨格信頼度数値と前記画像頭部姿勢信頼度数値の総合値が前記点群骨格信頼度数値と前記点群頭部姿勢信頼度数値の総合値より大きい場合、前記少なくとも１つの画像生物骨格特徴データ及び前記少なくとも１つの画像頭部姿勢特徴データに基づいてキャビン内の状況のモニタリングを実行するサブステップＨ２と、
前記画像骨格信頼度数値と前記画像頭部姿勢信頼度数値の総合値が前記点群骨格信頼度数値と前記点群頭部姿勢信頼度数値の総合値より大きくない場合、前記少なくとも１つの点群生物骨格特徴データ及び前記少なくとも１つの点群頭部姿勢特徴データに基づいてキャビン内の状況のモニタリングを実行するサブステップＨ３と、を含む、ことを特徴とする請求項８に記載のキャビンモニタリング方法。 - 前記コンピュータ装置は、前記乗り物のキャビン内に配置されて前記乗り物の運転状態データに関連する乗り物信号を取得するのに用いられる信号取得装置に電気的に接続しており、
前記ステップＨでは、最新に取得した前記乗り物信号に更に基づいてキャビン内の状況のモニタリングを実行することを特徴とする請求項８に記載のキャビンモニタリング方法。 - 前記コンピュータ装置は、前記乗り物のキャビン内に配置されるアラーム装置に電気的に接続しており、
前記ステップＨにおいてキャビン内の状況に異常が検知された場合、前記ステップＨの後に、前記コンピュータ装置から異常信号を前記アラーム装置に出力し、異常信号を受信した前記アラーム装置は警報を発する、ステップＩが実行される、ことを特徴とする請求項８に記載のキャビンモニタリング方法。 - 移動する乗り物のキャビン内に配置されて上記キャビン内の一連の候補画像を撮影する撮影装置と、
上記キャビン内に対して電波を送受信することにより一連の候補点群データを取得するレーダー装置と、
前記撮影装置及び前記レーダー装置に電気的に接続し、所定の期間中において、前記レーダー装置から受信した前記一連の候補点群データと、前記期間中において、前記撮影装置から受信した前記画像に基づいて、キャビン内の状況のモニタリングを実行するコンピュータ装置と、を備え、
前記コンピュータ装置は、前記候補点群データに対して処理を実行してターゲット点群データを取得し、そして前記一連の候補画像からターゲット画像を取得し、それから前記ターゲット点群データ及び前記ターゲット画像に基づいて統合画像を取得し、前記統合画像に基づいて、生物の位置を検知するための生物位置検知モデルを用いて、少なくとも１つの生物における一体の前記統合画像における位置に関連付けられた少なくとも１つの生物位置データを取得し、前記統合画像及び前記少なくとも１つの生物位置データに基づいて、且つ、生物の骨格特徴の検知に用いられる骨格検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の骨格の前記統合画像における位置を含む少なくとも１つの生物骨格特徴データを取得し、
前記統合画像及び前記少なくとも１つの生物位置データに基づいて、生物の顔面の特徴を検知するための顔面検知モデルを用いて前記少なくとも１つの生物における一体に関連付けられ、且つ関連付けられた生物の複数の顔面器官の前記統合画像における位置を含む少なくとも１つの顔面特徴データを取得し、前記少なくとも１つの顔面特徴データ及び前記少なくとも１つの生物骨格特徴データに基づいて、キャビン内の状況のモニタリングを実行する、ことを特徴とするキャビンモニタリングシステム。 - 前記コンピュータ装置は、各前記候補点群データに対して処理を行ってターゲット点群データを取得することにより、各前記候補画像の中からターゲット画像を取得し、前記ターゲット画像に基づいて、生物の骨格特徴を検知するための画像骨格検知モデルを利用し、少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の骨格の前記ターゲット画像における位置を含む少なくとも１つの画像生物骨格特徴データを取得し、
前記ターゲット画像に基づいて、生物の頭部姿勢の特徴を検知するための画像頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の画像頭部中心点の前記ターゲット画像における位置を含むと共に、前記画像頭部中心点に関連付けられた画像頭部仰俯角と画像頭部方位角と画像頭部回転角とを含む画像姿勢角データを含む少なくとも１つの画像頭部姿勢特徴データを取得し、
前記ターゲット点群データに基づいて、生物の位置を検知するための点群生物位置検知モデルを用いて、前記少なくとも１つの生物における一体のワールド座標における位置に関連付けられた少なくとも１つの点群生物位置データを取得し、
生物の骨格特徴を検知するための点群骨格検知モデルを用いて、関連付けられた生物の骨格の前記ワールド座標における位置を含む少なくとも１つの点群生物骨格特徴データを取得し、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の頭部姿勢の特徴を検知するための点群頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の点群頭部中心点の前記ワールド座標における位置を含むと共に、前記点群頭部中心点に関連付けられた点群頭部仰俯角と点群頭部方位角と点群頭部回転角とを含む点群姿勢角データを含む少なくとも１つの点群頭部姿勢特徴データを取得し、
前記少なくとも１つの画像生物骨格特徴データと、前記少なくとも１つの画像頭部姿勢特徴データと、前記少なくとも１つの点群生物骨格特徴データと、前記少なくとも１つの点群頭部姿勢特徴データに基づいて、キャビン内の状況のモニタリングを実行する、ことを特徴とする請求項１５に記載のキャビンモニタリングシステム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111136796 | 2022-09-28 | ||
| TW111136796A TWI815680B (zh) | 2022-09-28 | 2022-09-28 | 艙內偵測方法及其系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7412514B1 true JP7412514B1 (ja) | 2024-01-12 |
| JP2024049276A JP2024049276A (ja) | 2024-04-09 |
Family
ID=88966136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022197249A Active JP7412514B1 (ja) | 2022-09-28 | 2022-12-09 | キャビンモニタリング方法及び上記キャビンモニタリング方法を実行するキャビンモニタリングシステム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240104943A1 (ja) |
| JP (1) | JP7412514B1 (ja) |
| TW (1) | TWI815680B (ja) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10163018B1 (en) | 2016-06-14 | 2018-12-25 | State Farm Mutual Automobile Insurance Company | Apparatuses, systems, and methods for inferring a driving enviroment based on vehicle occupant actions |
| CN111417992A (zh) | 2017-11-30 | 2020-07-14 | 松下知识产权经营株式会社 | 图像处理装置、图像处理系统、摄像装置、摄像系统及图像处理方法 |
| CN112330746A (zh) | 2020-11-27 | 2021-02-05 | 苏州感测通信息科技有限公司 | 一种基于tx2的移动底盘障碍物检测方法 |
| WO2021048988A1 (ja) | 2019-09-12 | 2021-03-18 | 富士通株式会社 | 骨格認識方法、骨格認識プログラムおよび情報処理装置 |
| US20210179117A1 (en) | 2017-12-04 | 2021-06-17 | Guardian Optical Technologies Ltd. | Systems and methods for adjustment of vehicle sub-systems based on monitoring of vehicle occupant(s) |
| CN113066162A (zh) | 2021-03-12 | 2021-07-02 | 武汉大学 | 一种用于电磁计算的城市环境快速建模方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11263443B2 (en) * | 2019-07-19 | 2022-03-01 | Sri International | Centimeter human skeleton pose estimation |
| US11423567B2 (en) * | 2020-06-17 | 2022-08-23 | Fotonation Limited | Method and system to determine the location and/or orientation of a head |
| TW202205841A (zh) * | 2020-07-21 | 2022-02-01 | 佐臻股份有限公司 | 具影像及深度傳輸的監視系統 |
| CN113221648B (zh) * | 2021-04-08 | 2022-06-03 | 武汉大学 | 一种基于移动测量系统的融合点云序列影像路牌检测方法 |
| CN114091601B (zh) * | 2021-11-18 | 2023-05-05 | 业成科技（成都）有限公司 | 人员状况侦测的传感器融合方法 |
-
2022
- 2022-09-28 TW TW111136796A patent/TWI815680B/zh active
- 2022-12-09 JP JP2022197249A patent/JP7412514B1/ja active Active
- 2022-12-15 US US18/082,126 patent/US20240104943A1/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10163018B1 (en) | 2016-06-14 | 2018-12-25 | State Farm Mutual Automobile Insurance Company | Apparatuses, systems, and methods for inferring a driving enviroment based on vehicle occupant actions |
| CN111417992A (zh) | 2017-11-30 | 2020-07-14 | 松下知识产权经营株式会社 | 图像处理装置、图像处理系统、摄像装置、摄像系统及图像处理方法 |
| US20210179117A1 (en) | 2017-12-04 | 2021-06-17 | Guardian Optical Technologies Ltd. | Systems and methods for adjustment of vehicle sub-systems based on monitoring of vehicle occupant(s) |
| WO2021048988A1 (ja) | 2019-09-12 | 2021-03-18 | 富士通株式会社 | 骨格認識方法、骨格認識プログラムおよび情報処理装置 |
| CN112330746A (zh) | 2020-11-27 | 2021-02-05 | 苏州感测通信息科技有限公司 | 一种基于tx2的移动底盘障碍物检测方法 |
| CN113066162A (zh) | 2021-03-12 | 2021-07-02 | 武汉大学 | 一种用于电磁计算的城市环境快速建模方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240104943A1 (en) | 2024-03-28 |
| TWI815680B (zh) | 2023-09-11 |
| JP2024049276A (ja) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10867195B2 (en) | Systems and methods for monitoring driver state | |
| CN109271914B (zh) | 检测视线落点的方法、装置、存储介质和终端设备 | |
| JP6695503B2 (ja) | 車両の運転者の状態を監視するための方法及びシステム | |
| US9405982B2 (en) | Driver gaze detection system | |
| CN104573623B (zh) | 人脸检测装置、方法 | |
| KR20200051529A (ko) | 단순한 2d 카메라를 기반으로 하여 자율주행 자동차와 통신하기 위한 거동 제어 | |
| EP2596746B1 (en) | Pupil detection device and pupil detection method | |
| US11042999B2 (en) | Advanced driver assist systems and methods of detecting objects in the same | |
| CN112016457A (zh) | 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质 | |
| CN104573622B (zh) | 人脸检测装置、方法 | |
| JP2022530605A (ja) | 子供状態検出方法及び装置、電子機器、記憶媒体 | |
| JP2007310705A (ja) | 車両周辺監視装置 | |
| US11455810B2 (en) | Driver attention state estimation | |
| JP5598751B2 (ja) | 動作認識装置 | |
| JP2008140290A (ja) | 頭部の位置・姿勢検出装置 | |
| US11221671B2 (en) | Opengaze: gaze-tracking in the wild | |
| CN114764912A (zh) | 驾驶行为识别方法、设备和存储介质 | |
| JP5983243B2 (ja) | 検出装置 | |
| JP2010191793A (ja) | 警告表示装置及び警告表示方法 | |
| Martin et al. | Real time driver body pose estimation for novel assistance systems | |
| JP6922821B2 (ja) | 画像解析装置、方法およびプログラム | |
| JP7412514B1 (ja) | キャビンモニタリング方法及び上記キャビンモニタリング方法を実行するキャビンモニタリングシステム | |
| Sharara et al. | A real-time automotive safety system based on advanced ai facial detection algorithms | |
| WO2021070611A1 (ja) | 画像処理装置、および非一時的なコンピュータ可読媒体 | |
| WO2021262166A1 (en) | Operator evaluation and vehicle control based on eyewear data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230919 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231226 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7412514 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |