WO2022202564A1 - 検知装置および積載率推定システム - Google Patents

検知装置および積載率推定システム Download PDF

Info

Publication number
WO2022202564A1
WO2022202564A1 PCT/JP2022/011999 JP2022011999W WO2022202564A1 WO 2022202564 A1 WO2022202564 A1 WO 2022202564A1 JP 2022011999 W JP2022011999 W JP 2022011999W WO 2022202564 A1 WO2022202564 A1 WO 2022202564A1
Authority
WO
WIPO (PCT)
Prior art keywords
door
luggage compartment
determination value
determination
closed
Prior art date
Application number
PCT/JP2022/011999
Other languages
English (en)
French (fr)
Inventor
真矢 松下
智啓 下沢
由佳 水師
Original Assignee
いすゞ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by いすゞ自動車株式会社 filed Critical いすゞ自動車株式会社
Priority to US18/280,416 priority Critical patent/US20240046662A1/en
Priority to DE112022001690.6T priority patent/DE112022001690T5/de
Priority to CN202280017337.6A priority patent/CN116964622A/zh
Publication of WO2022202564A1 publication Critical patent/WO2022202564A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60J—WINDOWS, WINDSCREENS, NON-FIXED ROOFS, DOORS, OR SIMILAR DEVICES FOR VEHICLES; REMOVABLE EXTERNAL PROTECTIVE COVERINGS SPECIALLY ADAPTED FOR VEHICLES
    • B60J5/00—Doors
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F7/00—Accessories for wings not provided for in other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Definitions

  • the present disclosure relates to a detection device and a loading factor estimation system used in a vehicle with a luggage compartment.
  • the sensors described above are provided only in locations that are likely to receive impact when the luggage compartment door is opened and closed (for example, around the luggage compartment door). Stability may decrease.
  • the sensor is provided around the luggage compartment door, the degree of freedom in designing the vicinity of the luggage compartment door is reduced.
  • An object of one aspect of the present disclosure is to provide a detection device and a loading factor estimation system that are highly durable and capable of stably detecting the open/closed state of a luggage compartment door and suppressing a decrease in the degree of freedom in designing the vicinity of the luggage compartment door. is.
  • a detection device acquires a color image of the interior of a luggage compartment provided with an openable/closable door, and determines a determination value based on color information of a plurality of pixels included in the color image.
  • a calculating unit for calculating, determining that the door is in an open state when the determination value is greater than a predetermined threshold, and determining that the door is in a closed state when the determination value is equal to or less than the threshold and a determination unit that determines that
  • a loading rate estimation system acquires a color image of the interior of a luggage compartment provided with a door that can be freely opened and closed, and based on color information of a plurality of pixels included in the color image, for determination a calculating unit for calculating a value, determining that the door is in an open state when the determination value is greater than a predetermined threshold, and determining that the door is in a closed state when the determination value is equal to or less than the threshold.
  • a detector that determines that the door is in a closed state, and a loading factor estimation that estimates the loading factor of the vehicle that includes the luggage compartment when the door is determined to be in the closed state by the determiner. and an apparatus.
  • the present disclosure it is possible to stably detect the open/closed state of the luggage compartment door with high durability, and to suppress a decrease in the degree of freedom in designing the area around the luggage compartment door.
  • FIG. 1 is a diagram schematically showing the interior of a vehicle and a luggage compartment according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing an example of the configuration of the load factor estimation system according to the embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of a luggage compartment image according to the embodiment of the present disclosure.
  • FIG. 4 is a diagram schematically showing an example of the configuration of the determination area according to the embodiment of the present disclosure.
  • FIG. 5 is a flow chart showing an example of the operation of the detection device according to the embodiment of the present disclosure.
  • FIG. 1 is a side view schematically showing the interior of a vehicle V and a luggage compartment.
  • the vehicle V is a truck with a cab 1 and a luggage compartment 2.
  • the vehicle V is not limited to a truck, and may be another type of vehicle.
  • the luggage compartment 2 is, for example, box-shaped, and has an opening (not shown; hereinafter the same) on its rear side. Cargo is loaded and unloaded through the opening.
  • FIG. 1 shows a state in which a plurality of loads 5 are arranged near an inner wall surface 6 of the luggage compartment 2 (specifically, an inner wall surface of a side wall located in front of the luggage compartment 2). .
  • a door 3 that can be freely opened and closed is provided at the rear of the luggage compartment 2 so as to correspond to the position of the opening.
  • Examples of the door 3 include, but are not limited to, a door that opens by rotating left and right from the center of the opening around the left and right ends of the opening (a so-called double-door type door).
  • a camera 4 capable of photographing the interior of the luggage compartment 2 (excluding the door 3 and the opening) is provided behind the luggage compartment 2 .
  • the camera 4 transmits an image of the interior of the luggage compartment 2 (hereinafter referred to as an image of the luggage compartment) obtained by photographing to the determination device 100 (see FIG. 2) described later.
  • FIG. 1 illustrates the case where the camera 4 is installed on the ceiling of the luggage compartment 2 as an example, the installation position of the camera 4 is not limited to this.
  • the image of the luggage compartment is a color image with color information for each pixel that constitutes it.
  • the color image is an RGB image having R (red), G (green), and B (blue) elements, and the color information is RGB values.
  • R (red), G (green), and B (blue) elements the color information is RGB values.
  • the camera 4 is configured integrally with a depth sensor (not shown).
  • a depth sensor is a sensor that can two-dimensionally measure the distance from itself to a person or an object.
  • the detection result of the depth sensor is output to the loading factor estimation device 100 (see FIG. 2), which will be described later.
  • the vehicle V is further equipped with a detection device 100 and a load factor estimation device 200 (see FIG. 2), which will be described later.
  • FIG. 2 is a block diagram showing a configuration example of the load factor estimation system S. As shown in FIG.
  • the loading factor estimation system S shown in FIG. 2 is mounted on the vehicle V shown in FIG.
  • the detection device 100 and the loading rate estimation device 200 each include hardware such as a CPU (Central Processing Unit), a ROM (Read Only Memory) storing a computer program, and a RAM (Random Access Memory). have The functions of each device described below are realized by the CPU executing a computer program read from the ROM in the RAM.
  • the detection device 100 and the load factor estimation device 200 may be realized by an ECU (Electronic Control Unit).
  • the detection device 100 calculates a determination value (details will be described later) based on the image of the luggage compartment obtained from the camera 4, and compares the determination value with a threshold value to determine whether the door 3 is open or closed. It is a device for determining whether or not a state exists.
  • the detection device 100 has a calculation unit 110 and a determination unit 120.
  • the calculation unit 110 acquires an image of the luggage compartment from the camera 4 .
  • FIG. 3 is a diagram showing an example of an image of the luggage compartment.
  • the cargo room image includes an image showing the cargo 5 and the inner wall surface 6 shown in FIG.
  • a determination area 7 including a plurality of pixels is set in the image of the luggage compartment.
  • the determination area 7 is set in the central portion of the cargo room image (more specifically, the image showing the central portion of the inner wall surface 6).
  • the setting (including change) of the determination area 7 is performed in advance by a computer program, for example.
  • the setting takes into consideration the usage of the user (for example, the occupant of the vehicle V, or the worker who loads or unloads the cargo), the required accuracy, and the like.
  • FIG. 4 is a diagram schematically showing a configuration example of the judgment area 7. As shown in FIG.
  • the determination area 7 includes pixels A, pixels B, pixels C, and pixels D.
  • pixels A to D each have an RGB value.
  • the RGB values of pixel A are, for example, (23, 11, 1).
  • the RGB values of pixel B are, for example, (18, 12, 1).
  • the RGB values of pixel C are, for example, (19, 13, 0).
  • the RGB values of pixel D are, for example, (20, 12, 2).
  • the determination area 7 has been described above.
  • the calculation unit 110 recognizes the determination area 7 in the luggage compartment image shown in FIG.
  • a judgment value is a value that is compared with a predetermined threshold value, and is, for example, a statistic (average, variance, sum, etc.) for a plurality of pixels.
  • the determination value may be the average value of each of the R, G, and B values of pixels A to D.
  • the determination value may be an average value of RGB total values (total values of R value, G value, and B value) for each of pixels AD.
  • the determination value may be the median value of each of the R value, G value, and B value of pixels AD.
  • it may be the total value of each of the R value, G value, and B value of pixels A to D.
  • the threshold is a value at which the door 3 can be regarded as closed, and is set based on the results of pre-implemented experiments or simulations.
  • the determination unit 120 compares the determination value calculated by the calculation unit 110 with a predetermined threshold.
  • the determination unit 120 determines that the door 3 is open.
  • the determination unit 120 determines that the door 3 is closed. Further, in this case, the determination unit 120 transmits (outputs) determination result information indicating that the door 3 is closed to the loading factor estimation device 200 .
  • the loading rate estimating device 200 determines whether the loading rate is It is a device for rate estimation.
  • the loading ratio is the ratio of the volume of the cargo 5 arranged in the luggage compartment 2 to the maximum loading volume of the vehicle V. As shown in FIG.
  • a known technique can be applied to the loading factor estimation method performed by the loading factor estimation device 200 .
  • Known technologies include, for example, JP-A-2003-35527, ⁇ URL: https://creanovo.de/portfolio/wabco-cargocam/>, ⁇ URL: https://www.ncos.co.jp/ news/news_210113.html> and the like, but not limited to them.
  • FIG. 5 is a flow chart showing an operation example of the detection device 100 .
  • the flow of FIG. 5 is started, for example, when the vehicle V is stopped, and is repeatedly performed while the vehicle V is stopped.
  • the calculation unit 110 acquires an image of the luggage compartment from the camera 4 (step S1).
  • the calculation unit 110 calculates each of a plurality of pixels (for example, pixels A to D shown in FIG. 4) included in the judgment area 7 in the luggage compartment image (for example, the luggage compartment image shown in FIG. 3).
  • a determination value is calculated based on the RGB values (step S2). Note that the determination value may be in any of the above-described modes.
  • the determination unit 120 determines whether or not the calculated determination value is equal to or less than the threshold (step S3).
  • step S3 NO
  • the flow returns to step S1.
  • step S3 determines that the door 3 is closed.
  • the determination unit 120 transmits determination result information indicating that the door 3 is closed to the load factor estimation device 200 (step S5).
  • the load factor estimating device 200 that has received this determination result information estimates the load factor.
  • the detection device 100 of the present embodiment acquires a color cargo room image, and based on color information (for example, RGB values) of a plurality of pixels included in the cargo room image, A judgment value is calculated, and if the judgment value is greater than the threshold, it is judged that the door 3 is open, and if the judgment value is equal to or less than the threshold, it is judged that the door 3 is closed. It is characterized by
  • the detection device 100 of the present embodiment can detect the open/closed state of the door 3 without the need to use a sensor installed around the luggage compartment door as disclosed in Patent Documents 1 and 2, for example. Therefore, it is possible to stably detect the opened/closed state of the luggage compartment door with high durability, and to suppress a decrease in the degree of freedom in designing the vicinity of the luggage compartment door.
  • the load factor estimation system S of the present embodiment is characterized in that the load factor estimation device 200 estimates the load factor when the detection device 100 determines that the door 3 is closed.
  • the loading factor estimation system S of the present embodiment the loading factor is estimated when the door 3 is closed (that is, when the worker is not in the luggage compartment 2), so the estimation accuracy is improved. be able to.
  • the camera 4 and the depth sensor are integrated, so the configuration can be simplified.
  • the detection device 100 may have the function of the loading factor estimating device 200 (which may be called a loading factor estimating unit). In that case, the combination of the camera 4 and the detection device 100 may be called a loading rate estimation system.
  • the detection device 100 and the load factor estimation device 200 are mounted on the vehicle V has been described as an example, but the present invention is not limited to this.
  • the detection device 100 and the load factor estimation device 200 may be realized by a computer (for example, a server or the like) installed outside the vehicle V.
  • a communication device (not shown) mounted on the vehicle V may transmit the luggage compartment image and determination result information to the computer.
  • the determination area 7 may be the entire cargo room image.
  • the determination area 7 may be an area corresponding to a portion of the luggage compartment 2 that is first exposed to light when the door 3 is opened. In that case, if the door 3 is open even a little, it can be determined that the door 3 is open, so the determination speed can be further improved.
  • determination unit 120 may transmit determination result information indicating whether door 3 is open or closed to a device other than load factor estimation device 200 .
  • the determination unit 120 may transmit determination result information indicating either the open state or the closed state of the door 3 to a notification device (not shown; for example, a display, a speaker, etc.) provided in the cab 1. good.
  • the notification device performs image display, voice output, or the like indicating either the open state or the closed state.
  • the detection device and loading factor estimation system of the present disclosure are useful for vehicles with luggage compartments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

耐久性高く荷室扉の開閉状態を安定的に検知できるとともに、荷室扉周辺の設計自由度の低下を抑制できる検知装置および積載率推定システム。検知装置は、開閉自在の扉が設けられた荷室の内部のカラー画像を取得し、前記カラー画像に含まれる複数の画素の色情報に基づいて、判定用値を算出する算出部と、前記判定用値が予め定められた閾値より大きい場合、前記扉が開状態であると判定し、前記判定用値が前記閾値以下である場合、前記扉が閉状態であると判定する判定部と、を有する。

Description

検知装置および積載率推定システム
　本開示は、荷室を備えた車両で用いられる検知装置および積載率推定システムに関する。
　従来、荷物が積み込まれる荷室を備えた車両が知られている。また、荷室の開口部に設けられた扉（以下、荷室扉ともいう）の開閉状態を検知するセンサが知られている（例えば、特許文献１、２参照）。
日本国特開平４－２９２７７２号公報 日本国特開平７－３３１９６０号公報
　しかしながら、上述したセンサは、荷室扉が開閉されたときに衝撃を受けやすい位置（例えば、荷室扉周辺）に限定して設けられるため、センサ自体やセンサに接続される配線の耐久性および安定性が低下するおそれがある。また、センサが荷室扉周辺に設けられると、荷室扉周辺の設計の自由度が低下する。
　本開示の一態様の目的は、耐久性高く荷室扉の開閉状態を安定的に検知できるとともに、荷室扉周辺の設計自由度の低下を抑制できる検知装置および積載率推定システムを提供することである。
　本開示の一態様に係る検知装置は、開閉自在の扉が設けられた荷室の内部のカラー画像を取得し、前記カラー画像に含まれる複数の画素の色情報に基づいて、判定用値を算出する算出部と、前記判定用値が予め定められた閾値より大きい場合、前記扉が開状態であると判定し、前記判定用値が前記閾値以下である場合、前記扉が閉状態であると判定する判定部と、を有する。
　本開示の一態様に係る積載率推定システムは、開閉自在の扉が設けられた荷室の内部のカラー画像を取得し、前記カラー画像に含まれる複数の画素の色情報に基づいて、判定用値を算出する算出部と、前記判定用値が予め定められた閾値より大きい場合、前記扉が開状態であると判定し、前記判定用値が前記閾値以下である場合、前記扉が閉状態であると判定する判定部と、を備えた検知装置と、前記判定部によって前記扉が閉状態であると判定された場合に、前記荷室を備えた車両の積載率を推定する積載率推定装置と、を有する。
　本開示によれば、耐久性高く荷室扉の開閉状態を安定的に検知できるとともに、荷室扉周辺の設計自由度の低下を抑制できる。
図１は、本開示の実施の形態に係る車両および荷室内を模式的に示す図である。 図２は、本開示の実施の形態に係る積載率推定システムの構成の一例を示すブロック図である。 図３は、本開示の実施の形態に係る荷室内画像の一例を示す図である。 図４は、本開示の実施の形態に係る判定用領域の構成の一例を模式的に示す図である。 図５は、本開示の実施の形態に係る検知装置の動作の一例を示すフローチャートである。
　以下、本開示の実施の形態について、図面を参照しながら説明する。なお、各図において共通する構成要素については同一の符号を付し、それらの説明は適宜省略する。
　まず、本実施の形態の車両Ｖについて、図１を用いて説明する。図１は、車両Ｖおよび荷室内を模式的に示す側面図である。
　図１に示すように、車両Ｖは、キャブ１および荷室２を備えたトラックである。なお、車両Ｖは、トラックに限定されず、他の車種であってもよい。
　荷室２は、例えば箱型であり、その後方側面に開口部（図示略。以下同様）を有する。その開口部を介して、荷物の積み込みや荷下ろしが行われる。図１では例として、複数の積み荷５が、荷室２の内壁面６（具体的には、荷室２の前方に位置する側壁の内壁面）の近傍に配置されている状態を示している。
　荷室２の後方には、開口部の位置に対応するように、開閉自在な扉３が設けられている。扉３としては、例えば、開口部の左右の端部を軸に、開口部の中央から左右に回転して開く扉（いわゆる観音開きタイプの扉）が挙げられるが、これに限定されない。
　荷室２の後方には、荷室２の内部（ただし、扉３および開口部を除く）を撮影可能なカメラ４が設けられている。カメラ４は、撮影により得られた荷室２内の画像（以下、荷室内画像という）を、後述する判定装置１００（図２参照）へ送信する。なお、図１では例として、カメラ４が荷室２の天井に設置される場合を図示したが、カメラ４の設置位置は、これに限定されない。
　荷室内画像は、それを構成する画素毎に色情報を有するカラー画像である。本実施の形態では、カラー画像がＲ（赤）、Ｇ（緑）、Ｂ（青）の要素を有するＲＧＢ画像であり、かつ、色情報がＲＧＢ値である場合を例に挙げて説明する。荷室内画像の詳細については、図３、図４を用いて後述する。
　また、カメラ４は、深度センサ（図示略）と一体的に構成されている。深度センサは、それ自身から人や物体までの距離を二次元的に計測可能なセンサである。深度センサの検知結果は、後述する積載率推定装置１００（図２参照）へ出力される。
　図１では図示は省略するが、車両Ｖには、さらに、後述する検知装置１００および積載率推定装置２００（図２参照）が搭載されている。
　以上、車両Ｖについて説明した。
　次に、本実施の形態の積載率推定システムＳについて、図２を用いて説明する。図２は、積載率推定システムＳの構成例を示すブロック図である。
　図２に示す積載率推定システムＳは、図１に示した車両Ｖに搭載される。
　図示は省略するが、検知装置１００および積載率推定装置２００は、それぞれ、ハードウェアとして、例えば、ＣＰＵ（Central Processing Unit）、コンピュータプログラムを格納したＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を有する。以下に説明する各装置の機能は、ＣＰＵがＲＯＭから読み出したコンピュータプログラムをＲＡＭにて実行することにより実現される。例えば、検知装置１００および積載率推定装置２００は、ＥＣＵ（Electronic Control Unit）で実現されてもよい。
　検知装置１００は、カメラ４から取得した荷室内画像に基づいて、判定用値（詳細は後述）を算出し、その判定用値と閾値との比較により、扉３が開状態であるかまたは閉状態であるかを判定する装置である。
　図２に示すように、検知装置１００は、算出部１１０および判定部１２０を有する。
　算出部１１０は、カメラ４から荷室内画像を取得する。
　ここで、図３を用いて、カメラ４により撮影された荷室内画像の一例について説明する。図３は、荷室内画像の一例を示す図である。
　図３に示すように、荷室内画像には、図１に示した積み荷５や内壁面６を示す画像が含まれている。
　また、図３に示すように、荷室内画像には、複数の画素を含む判定用領域７が設定される。ここでは例として、判定用領域７は、荷室内画像の中央部分（より詳細には、内壁面６の中央部分を示す画像）に設定されているとする。
　判定用領域７の設定（変更も含む）は、例えば、事前にコンピュータプログラムによって行われる。その設定には、ユーザ（例えば、車両Ｖの乗員、または、荷積みや荷下ろしを行う作業者等）の使い方や求められる精度などが考慮される。
　以上、荷室内画像の一例について説明した。
　続いて、図４を用いて、図３に示した判定用領域７について説明する。図４は、判定用領域７の構成例を模式的に示す図である。
　図４に示すように、判定用領域７は、画素Ａ、画素Ｂ、画素Ｃ、画素Ｄを含む。
　また、図４に示すように、画素Ａ～Ｄは、それぞれ、ＲＧＢ値を有する。画素ＡのＲＧＢ値は、例えば（２３，１１，１）である。画素ＢのＲＧＢ値は、例えば（１８，１２，１）である。画素ＣのＲＧＢ値は、例えば（１９，１３，０）である。画素ＤのＲＧＢ値は、例えば（２０，１２，２）である。
　以上、判定用領域７について説明した。
　以下、図２の説明に戻る。
　算出部１１０は、図３に示した荷室内画像において判定用領域７を認識し、その判定用領域７に含まれる画素Ａ～ＤそれぞれのＲＧＢ値に基づいて、判定用値を算出する。
　判定用値とは、予め定められた閾値と比較される値であり、例えば、複数の画素における統計量(平均、分散、合計など)である。
　例えば、判定用値は、画素Ａ～ＤにおけるＲ値、Ｇ値、Ｂ値それぞれの平均値であってもよい。または、例えば、判定用値は、画素Ａ～Ｄ毎のＲＧＢ合計値（Ｒ値とＧ値とＢ値の合計値）の平均値であってもよい。または、例えば、判定用値は、画素Ａ～ＤにおけるＲ値、Ｇ値、Ｂ値それぞれの中央値であってもよい。または、例えば、画素Ａ～ＤにおけるＲ値、Ｇ値、Ｂ値それぞれの合計値であってもよい。
　閾値は、扉３が閉状態であるとみなすことができる値であり、予め実施された実験またはシミュレーション等の結果に基づいて設定される。
　判定部１２０は、算出部１１０により算出された判定用値と、予め定められた閾値とを比較する。
　判定用値が閾値より大きい場合、判定部１２０は、扉３が開状態であると判定する。
　判定用値が閾値以下である場合、判定部１２０は、扉３が閉状態であると判定する。さらに、この場合、判定部１２０は、扉３が閉状態である旨を示す判定結果情報を、積載率推定装置２００へ送信（出力）する。
　積載率推定装置２００は、検知装置１００（具体的には、判定部１２０）から扉３が閉状態である旨を示す判定結果情報を受け取った場合に、深度センサの検知結果に基づいて、積載率の推定を行う装置である。積載率とは、車両Ｖの最大積載体積に対する、荷室２内に配置された積み荷５の体積の割合である。
　積載率推定装置２００で行われる積載率の推定方法は、公知の技術を適用できる。公知の技術としては、例えば、特開２００３－３５５２７号公報、＜URL：https://creanovo.de/portfolio/wabco-cargocam/＞、＜URL：https://www.ncos.co.jp/news/news_210113.html＞等に開示された方法が挙げられるが、それらに限定されない。
　また、積載率推定システムＳおよび検知装置１００の構成について説明した。
　次に、検知装置１００の動作について、図５を用いて説明する。図５は、検知装置１００の動作例を示すフローチャートである。図５のフローは、例えば、車両Ｖの停車時に開始され、車両Ｖの停車中繰り返し行われる。
　まず、算出部１１０は、カメラ４から荷室内画像を取得する（ステップＳ１）。
　次に、算出部１１０は、荷室内画像（例えば、図３に示した荷室内画像）中の判定用領域７に含まれる複数の画素（例えば、図４に示した画素Ａ～Ｄ）それぞれのＲＧＢ値に基づいて、判定用値を算出する（ステップＳ２）。なお、判定用値は、上述したいずれの態様であってもよい。
　次に、判定部１２０は、算出された判定用値が閾値以下であるか否かを判定する（ステップＳ３）。
　判定用値が閾値以下ではない場合（ステップＳ３：ＮＯ）、フローはステップＳ１へ戻る。
　判定用値が閾値以下である場合（ステップＳ３：ＹＥＳ）、判定部１２０は、扉３が閉状態であると判定する（ステップＳ４）。
　次に、判定部１２０は、扉３が閉状態である旨を示す判定結果情報を積載率推定装置２００へ送信する（ステップＳ５）。この判定結果情報を受け取った積載率推定装置２００は、積載率の推定を行う。
　以上、検知装置１００の動作について説明した。
　ここまで詳述したように、本実施の形態の検知装置１００は、カラーの荷室内画像を取得し、その荷室内画像に含まれる複数の画素の色情報（例えば、ＲＧＢ値）に基づいて、判定用値を算出し、判定用値が閾値より大きい場合には扉３が開状態であると判定し、判定用値が閾値以下である場合には、扉３が閉状態であると判定することを特徴とする。
　よって、本実施の形態の検知装置１００は、例えば特許文献１、２のような荷室扉周辺に設置されるセンサを用いる必要なく、扉３の開閉状態を検知できる。したがって、耐久性高く荷室扉の開閉状態を安定的に検知できるとともに、荷室扉周辺の設計自由度の低下を抑制できる。
　また、本実施の形態の積載率推定システムＳは、検知装置１００によって扉３が閉状態であると判定された場合に、積載率推定装置２００が積載率の推定を行うことを特徴とする。
　作業者が荷室２内にいるときに積載率を推定すると、作業者も積み荷５と同様に扱われ、積載率の推定精度が低下してしまう。本実施の形態の積載率推定システムＳでは、扉３が閉状態であるとき（すなわち、作業者が荷室２内にいない状態のとき）に、積載率を推定するため、推定精度を向上させることができる。
　また、本実施の形態の積載率推定システムＳでは、カメラ４と深度センサとが一体化されているため、構成をシンプルにすることができる。
　なお、本開示は、上記実施の形態の説明に限定されず、その趣旨を逸脱しない範囲において種々の変形が可能である。以下、変形例について説明する。
　［変形例１］
　実施の形態では、検知装置１００と積載率推定装置２００とを別体で設ける場合を例に挙げて説明したが、これに限定されない。
　例えば、検知装置１００は、積載率推定装置２００の機能（積載率推定部と言ってもよい）を有してもよい。その場合、カメラ４と検知装置１００とを合わせて、積載率推定システムと呼んでもよい。
　また、実施の形態では、検知装置１００および積載率推定装置２００が車両Ｖに搭載される場合を例に挙げて説明したが、これに限定されない。例えば、検知装置１００および積載率推定装置２００が、車両Ｖの外部に設置されるコンピュータ（例えば、サーバ等）で実現されてもよい。その場合、例えば、車両Ｖに搭載された通信装置（図示略）が、荷室内画像や判定結果情報を上記コンピュータへ送信してもよい。
　［変形例２］
　実施の形態では、図３に示したように、長方形状の判定用領域７が荷室内画像の中央部分に１つだけ設定されている場合を例に挙げて説明したが、判定用領域７の位置、形状、大きさ、数は、図３の図示に限定されない。ただし、判定用領域７は、荷室内画像において扉３の開閉によって明暗の差が出やすい領域であることが好ましい。
　例えば、判定用領域７は、荷室内画像全体であってもよい。
　または、例えば、判定用領域７は、扉３が開いたときに荷室２内において最初に光が当たる部分に相当する領域であってもよい。その場合では、扉３が少しでも開いていれば、開状態であると判定できるので、より判定速度を向上させることができる。
　［変形例３］
　実施の形態において、判定部１２０は、扉３が開状態であるかまたは閉状態であるかを示す判定結果情報を積載率推定装置２００以外の装置へ送信してもよい。
　例えば、判定部１２０は、扉３の開状態または閉状態のいずれかを示す判定結果情報を、キャブ１内に設けられた報知装置（図示略。例えば、ディスプレイ、スピーカ等）に送信してもよい。その場合、報知装置は、開状態または閉状態のいずれかを示す画像表示や音声出力等を行う。これにより、ユーザ（例えば、車両Ｖの乗員、または、荷積みや荷下ろしを行う作業者等）は、扉３の開閉状態を認識することができる。
　以上、変形例について説明した。なお、上記変形例は、適宜組み合わせてもよい。
　本出願は、２０２１年３月２４日付で出願された日本国特許出願（特願２０２１－０４９７４４）に基づくものであり、その内容はここに参照として取り込まれる。
　本開示の検知装置および積載率推定システムは、荷室を備えた車両に有用である。
　１　キャブ
　２　荷室
　３　扉
　４　カメラ
　５　積み荷
　６　（前方側壁の）内壁面
　１００　検知装置
　１１０　算出部
　１２０　判定部
　２００　積載率推定装置
　Ｓ　積載率推定システム
　Ｖ　車両

Claims (7)

  1. 　開閉自在の扉が設けられた荷室の内部のカラー画像を取得し、前記カラー画像に含まれる複数の画素の色情報に基づいて、判定用値を算出する算出部と、
    　前記判定用値が予め定められた閾値より大きい場合、前記扉が開状態であると判定し、前記判定用値が前記閾値以下である場合、前記扉が閉状態であると判定する判定部と、を有する、
    　検知装置。
  2. 　前記算出部は、
    　前記カラー画像において部分的に設定された判定用領域を認識し、
    　前記判定用領域に含まれる前記複数の画素の色情報に基づいて、前記判定用値を算出する、
    　請求項１に記載の検知装置。
  3. 　前記判定用値は、前記色情報としてのＲＧＢ値に基づく統計量である、
    　請求項１に記載の検知装置。
  4. 　前記扉が閉状態であると判定された場合に、前記荷室を備えた車両の積載率を推定する積載率推定部をさらに有する、
    　請求項１に記載の検知装置。
  5. 　前記判定部は、
    　前記扉が閉状態であると判定した場合、前記扉が閉状態である旨を示す情報を、前記荷室を備えた車両の積載率を推定する積載率推定装置へ送信する、
    　請求項１に記載の検知装置。
  6. 　前記カラー画像は、
    　前記荷室の内部に設けられたカメラで撮影される画像であり、
    　前記積載率は、
    　前記カメラと一体化された深度センサの検知結果に基づいて推定される、
    　請求項４に記載の検知装置。
  7. 　開閉自在の扉が設けられた荷室の内部のカラー画像を取得し、前記カラー画像に含まれる複数の画素の色情報に基づいて、判定用値を算出する算出部と、
    　前記判定用値が予め定められた閾値より大きい場合、前記扉が開状態であると判定し、前記判定用値が前記閾値以下である場合、前記扉が閉状態であると判定する判定部と、を備えた検知装置と、
    　前記判定部によって前記扉が閉状態であると判定された場合に、前記荷室を備えた車両の積載率を推定する積載率推定装置と、を有する、
    　積載率推定システム。
PCT/JP2022/011999 2021-03-24 2022-03-16 検知装置および積載率推定システム WO2022202564A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/280,416 US20240046662A1 (en) 2021-03-24 2022-03-16 Detecting device, and loading ratio estimating system
DE112022001690.6T DE112022001690T5 (de) 2021-03-24 2022-03-16 Detektionsvorrichtung und beladungsverhältnis-schätzungssystem
CN202280017337.6A CN116964622A (zh) 2021-03-24 2022-03-16 检测装置及载货率推断系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-049744 2021-03-24
JP2021049744A JP7342907B2 (ja) 2021-03-24 2021-03-24 検知装置および積載率推定システム

Publications (1)

Publication Number Publication Date
WO2022202564A1 true WO2022202564A1 (ja) 2022-09-29

Family

ID=83397154

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/011999 WO2022202564A1 (ja) 2021-03-24 2022-03-16 検知装置および積載率推定システム

Country Status (5)

Country Link
US (1) US20240046662A1 (ja)
JP (1) JP7342907B2 (ja)
CN (1) CN116964622A (ja)
DE (1) DE112022001690T5 (ja)
WO (1) WO2022202564A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015194118A1 (ja) * 2014-06-16 2015-12-23 日本電気株式会社 物体管理装置、物体管理方法及び物体管理プログラムを記憶する記録媒体
JP2017032432A (ja) * 2015-08-03 2017-02-09 株式会社日本自動車部品総合研究所 超音波式物体検知装置
JP2017069613A (ja) * 2015-09-28 2017-04-06 株式会社日本ヴューテック 映像記録装置
JP2020060960A (ja) * 2018-10-10 2020-04-16 日野自動車株式会社 荷捌き場所斡旋システム、荷捌き場所斡旋方法及び荷捌き場所斡旋プログラム
JP2020060451A (ja) * 2018-10-10 2020-04-16 日野自動車株式会社 荷室監視システム及び荷室監視方法
US10762331B1 (en) * 2019-10-11 2020-09-01 Zebra Technologies Corporation Three-dimensional (3D) depth and two-dimensional (2D) imaging systems and methods for automatic container door status recognition

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3867955B2 (ja) 2001-07-23 2007-01-17 鹿島建設株式会社 積載物の体積計測方法及び装置
JP2021049744A (ja) 2019-09-26 2021-04-01 キヤノン株式会社 画像形成装置、情報処理方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015194118A1 (ja) * 2014-06-16 2015-12-23 日本電気株式会社 物体管理装置、物体管理方法及び物体管理プログラムを記憶する記録媒体
JP2017032432A (ja) * 2015-08-03 2017-02-09 株式会社日本自動車部品総合研究所 超音波式物体検知装置
JP2017069613A (ja) * 2015-09-28 2017-04-06 株式会社日本ヴューテック 映像記録装置
JP2020060960A (ja) * 2018-10-10 2020-04-16 日野自動車株式会社 荷捌き場所斡旋システム、荷捌き場所斡旋方法及び荷捌き場所斡旋プログラム
JP2020060451A (ja) * 2018-10-10 2020-04-16 日野自動車株式会社 荷室監視システム及び荷室監視方法
US10762331B1 (en) * 2019-10-11 2020-09-01 Zebra Technologies Corporation Three-dimensional (3D) depth and two-dimensional (2D) imaging systems and methods for automatic container door status recognition

Also Published As

Publication number Publication date
US20240046662A1 (en) 2024-02-08
CN116964622A (zh) 2023-10-27
JP2022148167A (ja) 2022-10-06
JP7342907B2 (ja) 2023-09-12
DE112022001690T5 (de) 2024-02-22

Similar Documents

Publication Publication Date Title
US11090999B2 (en) Door protection system and method
US20150043782A1 (en) System, apparatus, and method of detecting and displaying obstacles and data associated with the obstacles
US10735664B2 (en) Image shooting control device for vehicle, driver monitoring device, image shooting control method for vehicle, and driver monitoring method
KR20200069841A (ko) 차량의 안전 하차 보조 장치, 그를 포함한 시스템 및 그 방법
WO2022202564A1 (ja) 検知装置および積載率推定システム
KR20210112111A (ko) 차량 및 그 제어 방법
KR20210041915A (ko) 알코올 인터락 제어 장치 및 방법
JP7009537B2 (ja) エレベータの利用者検知システム
WO2018079357A1 (ja) 電子ミラー装置
JP5977932B2 (ja) カゴ内状態監視装置、カゴ内状態監視方法およびプログラム
KR20150058881A (ko) 영상 인식을 기반으로 하는 차량의 공기순환 제어방법
US7246042B2 (en) Apparatus and method for enhancing accuracy of sensor signal
WO2022202484A1 (ja) 検知装置および積載率推定システム
JP7259880B2 (ja) 積載率推定装置
JPWO2019159321A1 (ja) 異常検出装置及び異常検出方法
JP7019740B2 (ja) エレベータの利用者検知システム
JP6705572B1 (ja) 電子機器、入力ロック制御方法、及び入力ロック制御プログラム
US12024186B2 (en) Electronic apparatus, input locking control method, and input locking control program
JPH06255388A (ja) 運転状態検出装置
US11643016B2 (en) Rearview camera field of view with alternative tailgate positions
US20240116578A1 (en) Method for truck backup with dynamic length
US11945490B2 (en) Shopping cart
JP7183457B2 (ja) エレベータの利用者検知システム
US20230377352A1 (en) Methods and Systems for Determining One or More Characteristics Inside a Cabin of a Vehicle
JP2021116029A (ja) 検知装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22775352

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280017337.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18280416

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2301005947

Country of ref document: TH

WWE Wipo information: entry into national phase

Ref document number: 112022001690

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22775352

Country of ref document: EP

Kind code of ref document: A1