JP7306417B2 - 検知装置および積載率推定システム - Google Patents

検知装置および積載率推定システム Download PDF

Info

Publication number
JP7306417B2
JP7306417B2 JP2021049745A JP2021049745A JP7306417B2 JP 7306417 B2 JP7306417 B2 JP 7306417B2 JP 2021049745 A JP2021049745 A JP 2021049745A JP 2021049745 A JP2021049745 A JP 2021049745A JP 7306417 B2 JP7306417 B2 JP 7306417B2
Authority
JP
Japan
Prior art keywords
luggage compartment
door
compartment door
image
opening angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021049745A
Other languages
English (en)
Other versions
JP2022148168A (ja
Inventor
真矢 松下
智啓 下沢
由佳 水師
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isuzu Motors Ltd
Original Assignee
Isuzu Motors Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isuzu Motors Ltd filed Critical Isuzu Motors Ltd
Priority to JP2021049745A priority Critical patent/JP7306417B2/ja
Priority to DE112022001702.3T priority patent/DE112022001702T5/de
Priority to PCT/JP2022/011559 priority patent/WO2022202484A1/ja
Priority to US18/282,822 priority patent/US20240161509A1/en
Priority to CN202280017338.0A priority patent/CN116897367A/zh
Publication of JP2022148168A publication Critical patent/JP2022148168A/ja
Application granted granted Critical
Publication of JP7306417B2 publication Critical patent/JP7306417B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05FDEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F7/00Accessories for wings not provided for in other groups of this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05YINDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2400/00Electronic control; Electrical power; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/10Electronic control
    • E05Y2400/44Sensors not directly associated with the wing movement
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05YINDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2900/00Application of doors, windows, wings or fittings thereof
    • E05Y2900/50Application of doors, windows, wings or fittings thereof for vehicles
    • E05Y2900/53Type of wing
    • E05Y2900/531Doors
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05YINDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2900/00Application of doors, windows, wings or fittings thereof
    • E05Y2900/50Application of doors, windows, wings or fittings thereof for vehicles
    • E05Y2900/53Type of wing
    • E05Y2900/531Doors
    • E05Y2900/532Back doors or end doors
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05YINDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2900/00Application of doors, windows, wings or fittings thereof
    • E05Y2900/50Application of doors, windows, wings or fittings thereof for vehicles
    • E05Y2900/53Type of wing
    • E05Y2900/546Tailboards, tailgates or sideboards opening upwards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本開示は、荷室を備えた車両で用いられる検知装置および積載率推定システムに関する。
従来、荷物が積み込まれる荷室を備えた車両が知られている。また、荷室の開口部に設けられた扉(以下、荷室扉ともいう)の開き角を検知するセンサが知られている(例えば、特許文献1参照)。
特開平4-292772号公報
しかしながら、上述したセンサは、荷室扉が開閉されたときに衝撃を受けやすい位置(例えば、荷室扉周辺)に限定して設けられるため、センサ自体やセンサに接続される配線の耐久性および安定性が低下するおそれがある。また、センサが荷室扉周辺に設けられると、荷室扉周辺の設計の自由度が低下する。
本開示の一態様の目的は、耐久性高く荷室扉の開き角を安定的に検知できるとともに、荷室扉周辺の設計自由度の低下を抑制できる検知装置および積載率推定システムを提供することである。
本開示の一態様に係る検知装置は、荷室に設置されているカメラから、開状態である荷室扉の一部が撮影された1つの画像を取得し、前記1つの画像において前記荷室扉に相当する部分である扉相当部分を認識する認識部と、前記扉相当部分と、基準部分とがなす角度を前記荷室扉の開き角として算出する算出部と、を有する。
本開示の一態様に係る積載率推定システムは、荷室に設置されているカメラから、開状態である荷室扉の一部が撮影された1つの画像を取得し、前記1つの画像において前記荷室扉に相当する部分である扉相当部分を認識する認識部と、前記扉相当部分と、基準部分とがなす角度を前記荷室扉の開き角として算出する算出部と、前記開き角が予め定められた閾値以下になった場合、前記荷室扉が閉状態であると判定する判定部と、を備えた検知装置と、前記判定部によって前記荷室扉が閉状態であると判定された場合に、前記荷室扉を備えた車両の積載率を推定する積載率推定装置と、を有する。
本開示によれば、耐久性高く荷室扉の開き角を安定的に検知できるとともに、荷室扉周辺の設計自由度の低下を抑制できる。
本開示の実施の形態に係る車両を模式的に示す側面図 本開示の実施の形態に係る扉を模式的に示す正面図 本開示の実施の形態に係る積載率推定システムの構成の一例を示すブロック図 本開示の実施の形態に係る荷室後方画像の一例を模式的に示す図 本開示の実施の形態に係る扉相当部分、上端部相当部分、開き角の一例を模式的に示す図 本開示の実施の形態に係る検知装置の動作の一例を示すフローチャート 本開示の変形例に係る車両を模式的に示す側面図 本開示の変形例に係る荷室後方画像の一例を模式的に示す図
以下、本開示の実施の形態について、図面を参照しながら説明する。なお、各図において共通する構成要素については同一の符号を付し、それらの説明は適宜省略する。
まず、本実施の形態の車両Vについて、図1を用いて説明する。図1は、車両Vを模式的に示す側面図である。
図1に示すように、車両Vは、キャブ1および荷室2を備えたトラックである。なお、車両Vは、トラックに限定されず、他の車種であってもよい。
荷室2は、例えば箱型であり、その後方側面に開口部(図示略。以下同様)を有する。その開口部を介して、荷物の積み込みや荷下ろしが行われる。なお、図1において、荷室2内における積み荷の図示は省略している(図7も同様)。
荷室2の後方には、開口部の位置に対応するように、開閉自在な扉3(荷室扉の一例)が設けられている。上端部2aは、荷室2の後面(開口部が設けられた面)における上端部である。
ここで、図2を用いて、扉3について説明する。図2は、扉3を模式的に示す正面図である。
図2に示すように、扉3は、右扉3aおよび左扉3bを有する、両開きタイプ(観音開きタイプと言ってもよい)の扉である。図2は、右扉3aおよび左扉3bが閉まっている状態(以下、閉状態ともいう)を示している。
右扉3aおよび左扉3bは、それぞれ、鉛直方向(荷室2の高さ方向と言ってもよい)を軸として回転する。より具体的には、右扉3aおよび左扉3bは、それぞれ、荷室2の後面(開口部が設けられた面)における左右の端部(点線b参照)を鉛直方向の軸として、開口部の中央(点線a参照)から左右方向(矢印A参照)に回転して開く。
以上、扉3について説明した。以下、図1の説明に戻る。
車両Vにおいて、荷室2の後方の上面には、車両Vの外部かつ後方(具体的には、扉3の外側付近)を撮影するカメラ4が設けられている。カメラ4は、開状態となった扉3の一部(具体的には、右扉3aおよび左扉3bそれぞれの上面部)を撮影できるように設けられている。なお、カメラ4の設置位置は、図1に示す位置に限定されない。
カメラ4は、撮影により得られた荷室2の後方の画像(以下、荷室後方画像という)を、後述する検知装置100(図3参照)へ送信する。荷室後方画像の詳細については、図4を用いて後述する。
図1では図示は省略するが、荷室2内には、深度センサが設けられている。深度センサは、それ自身から人や物体までの距離を二次元的に計測可能なセンサである。深度センサの検知結果は、後述する積載率推定装置200(図3参照)へ出力される。
また、図1では図示は省略するが、車両Vには、さらに、後述する検知装置100および積載率推定装置200(図3参照)が搭載されている。
以上、車両Vについて説明した。
次に、本実施の形態の積載率推定システムSについて、図3を用いて説明する。図3は、積載率推定システムSの構成例を示すブロック図である。
図3に示す積載率推定システムSは、図1に示した車両Vに搭載される。
図3に示すように、積載率推定システムSは、図1に示したカメラ4のほかに、検知装置100および積載率推定装置200を有する。
図示は省略するが、検知装置100および積載率推定装置200は、それぞれ、ハードウェアとして、例えば、CPU(Central Processing Unit)、コンピュータプログラムを格納したROM(Read Only Memory)、RAM(Random Access Memory)を有する。以下に説明する各装置の機能は、CPUがROMから読み出したコンピュータプログラムをRAMにて実行することにより実現される。例えば、検知装置100および積載率推定装置200は、ECU(Electronic Control Unit)で実現されてもよい。
積載率推定装置200は、深度センサの検知結果に基づいて、積載率の推定を行う装置である。積載率とは、車両Vの最大積載体積に対する、荷室2内に配置された積み荷の体積の割合である。
積載率推定装置200で行われる積載率の推定方法は、公知の技術を適用できる。公知の技術としては、例えば、特開2003-35527号公報、<URL:https://creanovo.de/portfolio/wabco-cargocam/>、<URL:https://www.ncos.co.jp/news/news_210113.html>等に開示された方法が挙げられるが、それらに限定されない。
積載率推定装置200は、検知装置100から、扉3が閉状態である旨を示す情報を受け取った場合に、積載率の推定を実行する。
検知装置100は、カメラ4から取得した荷室後方画像に基づいて、扉3に相当する部分を認識し、その認識結果に基づいて、扉3の開き角(以下、単に「開き角」ともいう)を算出する装置である。また、検知装置100は、算出された開き角と閾値との比較により、扉3が開状態であるかまたは閉状態であるかを判定する装置である。
図3に示すように、検知装置100は、認識部110、算出部120、および判定部130を有する。
認識部110は、カメラ4から荷室後方画像を取得する。
ここで、図4を用いて、カメラ4により撮影された荷室後方画像の一例について説明する。図4は、荷室後方画像の一例を模式的に示す図である。
図4に示す荷室後方画像は、カラー画像である。図4に示すように、荷室後方画像には、例えば、開状態である右扉3aを示す画像(以下、右扉3a画像という)、開状態である左扉3bを示す画像(以下、左扉3b画像という)、および、荷室2の後方の上端部2aを示す画像(以下、上端部2a画像という)が含まれている。
右扉3a画像には、右扉3aの上面部5aを示す画像が含まれている。左扉3b画像には、扉3aの上面部5aを示す画像が含まれている。上面部5a、5b、上端部2aのそれぞれには、所定の色(例えば、赤色)が付されている。
以上、荷室後方画像の一例について説明した。以下、図3の説明に戻る。
認識部110は、荷室後方画像上において、扉3に相当する部分(領域と言ってもよい。以下同様)である扉相当部分(詳細は後述)を認識する。また、認識部110は、荷室後方画像上において、上端部2aに相当する部分である上端部相当部分(詳細は後述)を認識する。
算出部120は、扉相当部分と、上端部相当部分とがなす角度を算出する。算出された角度は、扉3の開き角である。
ここで、図5を用いて、扉相当部分および上端部相当部分の認識方法、および、開き角の算出方法の一例について説明する。図5は、扉相当部分、上端部相当部分、開き角それぞれの一例を模式的に示す図である。
まず、認識部110は、図4に示した荷室後方画像に対して上面部5a、5bおよび上端部2aそれぞれに付された色を抽出するフィルタリング処理を行う。これにより、算出部120は、荷室後方画像において、図5に示す上面部相当部分6a、6b、上端部相当部分8aを認識(特定と言ってもよい)する。
上面部相当部分6aは、荷室後方画像における、上面部5a(図4参照)に相当する部分である。上面部相当部分6bは、荷室後方画像における、上面部5b(図4参照)に相当する部分である。上面部相当部分6a、6bは、扉相当部分の一例である。
上端部相当部分8aは、荷室後方画像における、上端部2a(図4参照)に相当する部分である。上端部相当部分8aは、水平方向の直線である。上端部相当部分8aは、基準部分の一例である。
次に、認識部110は、上面部相当部分6a、6bのそれぞれに基づいて、図5に示す線分c1、c2を検出する。線分c1は、上面部相当部分6aの長手方向に沿った線分である。線分c2は、上面部相当部分6bの長手方向に沿った線分である。なお、線分c1、c2についても、扉相当部分の一例と言ってもよい。
次に、認識部110は、上端部相当部分8aに基づいて、線分を検出する。この線分は上端部相当部分8aと重複するため、図5では図示および符号を省略している。以下、この線分を、基準線分という。なお、基準線分についても、基準部分の一例と言ってもよい。
次に、算出部120は、線分c1と、基準線分とのなす角度θ1を算出する。同様に、算出部120は、線分c2と、基準線分とのなす角度θ2を算出する。角度θ1、θ2は、扉3の開き角(具体的には、扉3a、扉3bそれぞれの開き角)の一例である。
なお、上記説明では、上端部相当部分8aが基準部分として設定され、基準線分が検出される場合を例に挙げたが、これに限定されない。例えば、荷室後方画像に上端部2a画像が含まれない場合(換言すれば、カメラ4によって上端部2aが撮影されない場合)には、図5に示す荷室後方画像の下端部xが基準部分として用いられてもよい。その場合、算出部120は、線分c1と、下端部xとのなす角度を扉3aの開き角として算出し、線分c2と、下端部xとのなす角度を、扉3bの開き角として算出する。なお、下端部xも、上端部相当部分8aと同様に、水平方向の直線である。
以上、扉相当部分および上端部相当部分の認識方法、および、開き角角度の算出方法の一例について説明した。以下、図3の説明に戻る。
判定部130は、算出部120により算出された開き角と、予め定められた閾値とを比較する。そして、判定部130は、開き角が閾値より大きい場合には、扉3が開状態であると判定し、開き角が閾値以下である場合には、扉3が閉状態であると判定する。
例えば、判定部130は、図5に示した角度θ1、θ2の両方が閾値以下である場合、扉3が閉状態であると判定する。また、例えば、判定部130は、図5に示した角度θ1、θ2のうち少なくとも一方が閾値より大きい場合、扉3が開状態であると判定する。
閾値は、右扉3a、左扉3bが閉状態であるとみなすことができる値であり、予め実施された実験またはシミュレーション等の結果に基づいて設定される。閾値は、例えば、ゼロに近い正の数でもよいし、または、ゼロでもよい。
判定部130は、扉3が閉状態であると判定した場合、扉3が閉状態である旨を示す判定結果情報を、積載率推定装置200へ送信(出力)する。この判定結果情報を受け取った積載率推定装置200は、積載率の推定を行う。
以上、積載率推定システムSおよび検知装置100の構成について説明した。
次に、検知装置100の動作について、図6を用いて説明する。図6は、検知装置100の動作例を示すフローチャートである。図6のフローは、例えば、車両Vの停車時に開始され、車両Vの停車中繰り返し行われる。
まず、認識部110は、カメラ4から荷室後方画像を取得する(ステップS1)。
次に、認識部110は、荷室後方画像において扉相当部分(例えば、図5に示した上面部相当部分6a、6b。より具体的には、例えば、図5に示した線分c1、c2)および基準部分(例えば、図5に示した上端部相当部分8aまたは下端部x)を認識する(ステップS2)。
次に、算出部120は、扉相当部分と基準部分とがなす開き角を算出する(ステップS3)。
次に、判定部130は、算出された開き角が閾値以下であるか否かを判定する(ステップS4)。
開き角が閾値以下ではない場合(ステップS4:NO)、フローは、ステップS1へ戻る。ここでいう「開き角が閾値以下ではない場合」とは、例えば、図5に示した角度θ1、θ2のうち少なくとも一方が閾値より大きい場合である。
一方、開き角が閾値以下である場合(ステップS4:YES)、判定部130は、扉3が閉状態であると判定する(ステップS5)。ここでいう「開き角が閾値以下である場合」とは、例えば、図5に示した角度θ1、θ2がともに閾値以下である場合である。
次に、判定部130は、扉3が閉状態である旨を示す判定結果情報を、積載率推定装置200へ送信する(ステップS6)。この判定結果情報を受け取った積載率推定装置200は、積載率の推定を行う。
以上、検知装置100の動作について説明した。
ここまで詳述したように、本実施の形態の検知装置100は、開状態である扉3の一部(例えば、上面部5a、5b)が撮影された画像(例えば、荷室後方画像)を取得し、その画像上において扉3に相当する部分である扉相当部分(例えば、上面部相当部分6a、6b)と、予め定められた基準部分(例えば、上端部相当部分8a)とがなす角度(例えば、角度θ1、θ2)を扉3の開き角として算出することを特徴とする。
よって、本実施の形態の検知装置100は、例えば特許文献1のような荷室扉周辺に設置されるセンサを用いる必要なく、開き角を算出できる。したがって、耐久性高く荷室扉の開き角を安定的に検知できるとともに、荷室扉周辺の設計自由度の低下を抑制できる。
また、本実施の形態の検知装置100は、算出された開き角に基づいて、扉3の開閉状態を判定することを特徴とする。
よって、本実施の形態の検知装置100は、例えば特許文献1のような荷室扉周辺に設置されるセンサを用いる必要なく、算出された開き角を基に扉3の開閉状態を判定できる。したがって、耐久性高く荷室扉の開閉状態を安定的に判定できるとともに、荷室扉周辺の設計自由度の低下を抑制できる。
また、本実施の形態の積載率推定システムSは、検知装置100によって扉3が閉状態であると判定された場合に、積載率推定装置200が積載率の推定を行うことを特徴とする。
作業者が荷室2内にいるときに積載率を推定すると、作業者も積み荷と同様に扱われ、積載率の推定精度が低下してしまう。本実施の形態の積載率推定システムSでは、扉3が閉状態であるとき(すなわち、作業者が荷室2内にいない状態のとき)に、積載率を推定するため、推定精度を向上させることができる。
なお、本開示は、上記実施の形態の説明に限定されず、その趣旨を逸脱しない範囲において種々の変形が可能である。以下、変形例について説明する。
[変形例1]
実施の形態では、荷室扉が鉛直方向を軸として左右方向に回転する扉である場合を例に挙げて説明したが、これに限定されない。
例えば、荷室扉は、水平方向を軸として上下方向に回転する扉であってもよい。この例について、図7、図8を用いて以下に説明する。
図7は、本変形例に係る車両Vを模式的に示す側面図である。図8は、本変形例に係る荷室後方画像の一例を模式的に示す図である。図7、図8において、図1、図4と同じ構成要素には同一符号を付している。
図7に示すように、荷室2の後方には、図1等に示した扉3の代わりに、扉7が設けられている。
扉7は、水平方向(荷室2の幅方向と言ってもよい)を軸として回転する。より具体的には、扉7は、荷室2の後面(開口部が設けられた面)の上端部2aを水平方向の軸として、開口部の下端側から上方向(矢印B参照)に回転して開く。図7において、点線で示す扉7は、開状態を示している。
図8に示す荷室後方画像は、カラー画像である。図8に示すように、荷室後方画像には、例えば、開状態である扉7を示す画像(以下、扉7画像という)が含まれる。
扉7画像には、扉7の側端部7aを示す画像が含まれている。側端部7aには、所定の色(例えば、赤色)が付されている。
まず、認識部110は、図8に示した荷室後方画像をカメラ4から取得し、その荷室後方画像に対して側端部7aおよび上端部2aそれぞれに付された色を抽出するフィルタリング処理を行う。これにより、図示は省略するが、認識部110は、荷室後方画像において、側端部7aに相当する部分である側端部相当部分および上端部2aに相当する部分である上端部相当部分(例えば、図5に示した8a)を認識(特定と言ってもよい)する。側端部相当部分は、扉相当部分の一例である。
次に、認識部110は、側端部相当部分に基づいて、線分(図示略。以下、第1の線分という)を検出する。この第1の線分は、側端部相当部分(側端部7aと言ってもよい)の長手方向に沿った線分である。なお、この第1の線分についても、扉相当部分の一例と言ってもよい。また、認識部110は、実施の形態と同様に、上端部相当部分に基づいて、基準線分(図示略。基準部分の一例)を検出する。
次に、算出部120は、検出された第1の線分と、基準線分(または、下端部xでもよい)とのなす角度を、開き角として算出する。
その後の判定部130による判定処理は、実施の形態と同様である。
なお、扉7は、開状態のときに、その下端部を折り畳むことが可能なものであってもよい。
また、実施の形態および本変形例では、荷室扉が荷室2の後方に設けられる扉である場合を例に挙げて説明したが、これに限定されず、荷室扉は、例えば荷室2の側方に設けられる扉であってもよい。
[変形例2]
実施の形態において、認識部110は、リアルタイムに扉相当部分および上端部相当部分(下端部xを用いる場合は、扉相当部分のみでよい)を認識し、算出部120は、リアルタイムに開き角を算出してもよい。そして、判定部130は、リアルタイムに算出される開き角の経時変化に応じて、扉3の開閉状態を判定してもよい。例えば、判定部120判定部130は、経過時間とともに開き角が大きくなる場合、扉3が開かれつつあると判定し、経過時間とともに開き角が小さくなる場合、扉3が閉じられつつあると判定してもよい。
[変形例3]
実施の形態では、扉3の一部(例えば、上面部5a、5b、および上端部2a)に所定の色を付しておき、認識部110が、荷室後方画像に対してその色に基づくフィルタリング処理を行うことで、扉相当部分(例えば、上面部相当部分6a、6b)および基準部分(例えば、上端部相当部分8a)を認識する場合を例に挙げて説明したが、これに限定されない。
例えば、認識部110は、荷室後方画像に対して、公知の技術である「エッジ検出+多角形検出」または「ディープラーニングによる画像認識」等の処理を行うことにより、扉相当部分(および、上端部相当部分)を認識してもよい。ただし、それらの処理は、実施の形態で説明したフィルタリング処理に比べて、高い計算能力が求められるため、コストがかかる。
[変形例4]
実施の形態では、検知装置100と積載率推定装置200とを別体で設ける場合を例に挙げて説明したが、これに限定されない。
例えば、検知装置100は、積載率推定装置200の機能(積載率推定部と言ってもよい)を有してもよい。その場合、カメラ4と検知装置100とを合わせて、積載率推定システムと呼んでもよい。
また、実施の形態では、検知装置100および積載率推定装置200が車両Vに搭載される場合を例に挙げて説明したが、これに限定されない。例えば、検知装置100および積載率推定装置200のうち少なくとも一方が、車両Vの外部に設置されるコンピュータ(例えば、サーバ等)で実現されてもよい。その場合、例えば、車両Vに搭載された通信装置(図示略)が、荷室後方画像や判定結果情報を上記コンピュータへ送信してもよい。
[変形例5]
実施の形態では、扉3が閉状態である旨を示す判定結果情報が積載率推定装置200に送信される場合を例に挙げて説明したが、これに限定されない。
例えば、判定部130は、扉3の開状態または閉状態のいずれかを示す判定結果情報を、キャブ1内に設けられた報知装置(図示略。例えば、ディスプレイ、スピーカ等)に送信してもよい。その場合、報知装置は、開状態または閉状態のいずれかを示す画像表示や音声出力等を行う。これにより、ユーザ(例えば、車両Vの乗員、または、荷積みや荷下ろしを行う作業者等)は、扉3の開閉状態を認識することができる。
[変形例6]
また、実施の形態では、検知装置100が判定部130を有する場合を例に挙げて説明したが、判定部130は、検知装置100と別体の装置で実現されてもよい。すなわち、検知装置100は、少なくとも、認識部110および算出部120を有する構成であってもよい。なお、その場合、算出部110は、算出された開き角を示す情報を所定の装置(例えば、車両Vに搭載されたコンピュータ、車両Vの外部に設置されたコンピュータ、または、上記変形例5で述べた報知装置など)に出力(送信)してもよい。
以上、変形例について説明した。なお、上記変形例は、適宜組み合わせてもよい。
本開示の検知装置および積載率推定システムは、荷室を備えた車両に有用である。
1 キャブ
2 荷室
2a 荷室2の後方の上端部
3、7 扉
3a 右扉
3b 左扉
4 カメラ
5a 右扉3aの上面部
5b 左扉3bの上面部
6a、6b 上面部相当部分
8a 上端部相当部分
100 検知装置
110 認識部
120 算出部
130 判定部
200 積載率推定装置
S 積載率推定システム
V 車両

Claims (10)

  1. 荷室に設置されているカメラから、開状態である荷室扉の一部が撮影された1つの画像を取得し、前記1つの画像において前記荷室扉に相当する部分である扉相当部分を認識する認識部と、
    前記扉相当部分と、基準部分とがなす角度を前記荷室扉の開き角として算出する算出部と、を有する、
    検知装置。
  2. 前記開き角が予め定められた閾値以下になった場合、前記荷室扉が閉状態であると判定する判定部をさらに有する、
    請求項1に記載の検知装置。
  3. 前記認識部は、
    前記扉相当部分をリアルタイムに認識し、
    前記算出部は、
    前記扉相当部分に基づいて、前記開き角をリアルタイムに算出し、
    前記判定部は、
    経過時間とともに前記開き角が大きくなる場合、前記荷室扉が開かれつつあると判定し、
    経過時間とともに前記開き角が小さくなる場合、前記荷室扉が閉じられつつあると判定する、
    請求項2に記載の検知装置。
  4. 前記荷室扉の一部には、所定の色が付されており、
    前記認識部は、
    前記1つの画像に対して前記所定の色に基づくフィルタリングを行うことにより、前記扉相当部分を認識し、
    前記扉相当部分の長手方向に沿った線分を検出し、
    前記線分と、前記基準部分としての直線とのなす角度を、前記開き角として算出する、
    請求項1から3のいずれか1項に記載の検知装置。
  5. 前記荷室扉は、
    鉛直方向を軸として左右方向に回転する扉である、
    請求項1から4のいずれか1項に記載の検知装置。
  6. 前記荷室扉は、
    水平方向を軸として上下方向に回転する扉である、
    請求項1から4のいずれか1項に記載の検知装置。
  7. 前記1つの画像は、
    前記荷室の外部を撮影するカメラで撮影される画像である、
    請求項1から6のいずれか1項に記載の検知装置。
  8. 前記荷室扉が閉状態であると判定された場合に、前記荷室扉を備えた車両の積載率を推定する積載率推定部をさらに有する、
    請求項1から7のいずれか1項に記載の検知装置。
  9. 前記判定部は、
    前記荷室扉が閉状態であると判定した場合、前記荷室扉が閉状態である旨を示す情報を、前記荷室扉を備えた車両の積載率を推定する積載率推定装置へ送信する、
    請求項2に記載の検知装置。
  10. 荷室に設置されているカメラから、開状態である荷室扉の一部が撮影された1つの画像を取得し、前記1つの画像において前記荷室扉に相当する部分である扉相当部分を認識する認識部と、
    前記扉相当部分と、基準部分とがなす角度を前記荷室扉の開き角として算出する算出部と、
    前記開き角が予め定められた閾値以下になった場合、前記荷室扉が閉状態であると判定する判定部と、を備えた検知装置と、
    前記判定部によって前記荷室扉が閉状態であると判定された場合に、前記荷室扉を備えた車両の積載率を推定する積載率推定装置と、を有する、
    積載率推定システム。
JP2021049745A 2021-03-24 2021-03-24 検知装置および積載率推定システム Active JP7306417B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021049745A JP7306417B2 (ja) 2021-03-24 2021-03-24 検知装置および積載率推定システム
DE112022001702.3T DE112022001702T5 (de) 2021-03-24 2022-03-15 Erfassungsvorrichtung und system zur schätzung des beladungsgrades
PCT/JP2022/011559 WO2022202484A1 (ja) 2021-03-24 2022-03-15 検知装置および積載率推定システム
US18/282,822 US20240161509A1 (en) 2021-03-24 2022-03-15 Sensing device and loading rate estimation system
CN202280017338.0A CN116897367A (zh) 2021-03-24 2022-03-15 检测装置及载货率推断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021049745A JP7306417B2 (ja) 2021-03-24 2021-03-24 検知装置および積載率推定システム

Publications (2)

Publication Number Publication Date
JP2022148168A JP2022148168A (ja) 2022-10-06
JP7306417B2 true JP7306417B2 (ja) 2023-07-11

Family

ID=83396136

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021049745A Active JP7306417B2 (ja) 2021-03-24 2021-03-24 検知装置および積載率推定システム

Country Status (5)

Country Link
US (1) US20240161509A1 (ja)
JP (1) JP7306417B2 (ja)
CN (1) CN116897367A (ja)
DE (1) DE112022001702T5 (ja)
WO (1) WO2022202484A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006342576A (ja) 2005-06-09 2006-12-21 Isono Body:Kk 車両用ドアの開閉システム
JP2014149597A (ja) 2013-01-31 2014-08-21 Secom Co Ltd 通行物体検出装置
WO2020100955A1 (ja) 2018-11-14 2020-05-22 日本電気株式会社 情報処理システム、情報処理方法及び記録媒体
CN111723706A (zh) 2020-06-09 2020-09-29 杭州古德微机器人有限公司 基于树莓派的厢式货车厢门开度监控装置及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3867955B2 (ja) 2001-07-23 2007-01-17 鹿島建設株式会社 積載物の体積計測方法及び装置
JP6323279B2 (ja) * 2014-09-22 2018-05-16 三菱電機株式会社 保冷保温庫、及び、その管理システム
JP2021049745A (ja) 2019-09-26 2021-04-01 ブラザー工業株式会社 液体吐出装置、及び液体吐出装置の制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006342576A (ja) 2005-06-09 2006-12-21 Isono Body:Kk 車両用ドアの開閉システム
JP2014149597A (ja) 2013-01-31 2014-08-21 Secom Co Ltd 通行物体検出装置
WO2020100955A1 (ja) 2018-11-14 2020-05-22 日本電気株式会社 情報処理システム、情報処理方法及び記録媒体
CN111723706A (zh) 2020-06-09 2020-09-29 杭州古德微机器人有限公司 基于树莓派的厢式货车厢门开度监控装置及系统

Also Published As

Publication number Publication date
JP2022148168A (ja) 2022-10-06
DE112022001702T5 (de) 2024-01-18
US20240161509A1 (en) 2024-05-16
WO2022202484A1 (ja) 2022-09-29
CN116897367A (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
KR102098131B1 (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
US9662977B2 (en) Driver state monitoring system
US9785842B2 (en) Safety alarm system and method for vehicle
KR101270602B1 (ko) 차량 주변 영상 제공 방법
US8269616B2 (en) Method and system for detecting gaps between objects
US9367751B2 (en) Object detection device for area around vehicle
KR20140076415A (ko) 차량의 사각지대 정보 제공 장치 및 방법
US12026902B2 (en) Method and system for monitoring a spatial area in a personnel interlock
JP5233977B2 (ja) 乗員姿勢推定装置
US20240303311A1 (en) Processing system and processing method
JP7306417B2 (ja) 検知装置および積載率推定システム
FR2859430A1 (fr) Dispositif de determination de collision
JP5471361B2 (ja) 画像判定装置、画像判定方法および画像判定プログラム
US20200265221A1 (en) Processing system and processing method
US20210284188A1 (en) Electronic apparatus, input locking control method, and input locking control program
WO2022202564A1 (ja) 検知装置および積載率推定システム
CN112241660A (zh) 一种基于视觉的防盗监测方法和装置
JP7259880B2 (ja) 積載率推定装置
CN115841657A (zh) 车载摄像头状态异常检测方法、装置及可读存储介质
JP4623044B2 (ja) 眼の開閉状態検出装置
CN105740788A (zh) 一种基于帧间直方图扰动检测的车内异常防盗方法
JPH06255388A (ja) 運転状態検出装置
JP4204818B2 (ja) 画像処理装置
CN113734181B (zh) 基于外界因素动态监控车门开关的方法和装置
KR20130046137A (ko) 체형 인식을 통한 차량 환경 설정 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230612

R150 Certificate of patent or registration of utility model

Ref document number: 7306417

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150