JP7439797B2 - 車載装置、物体の通知方法、及びプログラム - Google Patents
車載装置、物体の通知方法、及びプログラム Download PDFInfo
- Publication number
- JP7439797B2 JP7439797B2 JP2021104882A JP2021104882A JP7439797B2 JP 7439797 B2 JP7439797 B2 JP 7439797B2 JP 2021104882 A JP2021104882 A JP 2021104882A JP 2021104882 A JP2021104882 A JP 2021104882A JP 7439797 B2 JP7439797 B2 JP 7439797B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- vehicle device
- unit
- selection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000004891 communication Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 description 12
- 239000000470 constituent Substances 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
本開示の別の局面は、カメラ(15)により車両(9)の車室(55)内を撮影した画像を取得し、前記車両の環境である車両環境、及び、前記車室内にある物体(57)の前記カメラを基準とする相対位置の少なくとも一方を含む選択要因を取得し、前記選択要因に応じて画像認識モデルを選択し、前記画像に対し、選択した前記画像認識モデルを用いて画像認識を行い、前記物体を認識する処理を行い、所定条件を満たす前記物体を認識した場合、ユーザの携帯端末(23)への報知に繋がる前記物体の認識結果に関する情報を、通信ユニットを介して、前記携帯端末と通信可能なクラウド(5)へ通知する、物体の通知方法である。
本開示の別の局面である物体の通知方法によれば、車両環境や物体の相対位置に応じて、適切な画像認識モデルを選択し、画像認識を行うことができる。そのため、車室内にある物体を高精度に認識することができる。その結果、携帯端末への通知を正確に行うことができる。
<第1実施形態>
1.モビリティIoTシステム1の構成
モビリティIoTシステム1の構成を、図1に基づき説明する。IoTは、Internet of Thingsの略である。モビリティIoTシステム1は、車載装置3と、クラウド5と、サービス提供サーバ7と、を備える。なお、図1では便宜上、1のみの車載装置3を記載しているが、モビリティIoTシステム1は、例えば、複数の車載装置3を備える。複数の車載装置3は、それぞれ、異なる車両9に搭載されている。
クラウド5は、車載装置3、サービス提供サーバ7、及び携帯端末23と通信可能である。携帯端末23は、例えば、車両9のユーザが所持する携帯端末である。携帯端末23として、例えば、スマートフォン、タブレット端末、ノートPC等が挙げられる。
車載装置3及び車両9の構成を、図1~図3に基づき説明する。図1に示すように、車載装置3は、制御部35と、記憶部37と、時計38と、を備える。制御部35は、CPU39と、例えば、RAM又はROM等の半導体メモリ(以下、メモリ41とする)とを備える。制御部35の機能は、メモリ41に格納されたプログラムをCPU39が実行することにより実現される。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。
選択要因取得ユニット47は、選択要因を取得する。選択要因は、車両9の環境である車両環境、及び、車両9の車室55内にある物体57の、カメラ15を基準とする相対位置(以下では物体の相対位置とする)の少なくとも一方を含む。選択要因は、カメラ15が撮影して生じる画像に対して画像認識を行った場合の物体認識精度に影響する。
例えば、モデル選択ユニット49は、車両環境に応じて画像認識モデルを選択する。具体的には、モデル選択ユニット49は、夜間に車室55内が暗い場合は、暗いカメラ画像向けの画像認識モデルを選択する。また、モデル選択ユニット49は、昼間に車室55内が明るい場合、夕日によって車室55内が明るい場合、夜間であるがルームランプ17の点灯により車室55内が明るい場合等のそれぞれにおいて、場合に適した画像認識モデルを選択する。
また、例えば、モデル選択ユニット49は、物体の相対位置に応じて画像認識モデルを選択する。具体的には、モデル選択ユニット49は、カメラ15から物体57までの距離が遠い場合は、物体57が小さく撮影されたカメラ画像向けの画像認識モデルを選択する。また、モデル選択ユニット49は、カメラ15から物体57までの距離が近い場合は、物体57が大きく撮影されたカメラ画像向けの画像認識モデルを選択する。また、モデル選択ユニット49は、物体57がカメラ15の正面にある場合、物体57が、カメラ15を基準として斜めや側方に近い場合等のそれぞれにおいて、場合に適した画像認識モデルを選択する。選択要因として、車両環境及び物体の相対位置を用いて画像認識モデルを選択することで、物体をさらに高精度に認識することができる。
物体認識ユニット51は、画像取得ユニット43が取得した画像に対し、モデル選択ユニット49が選択した画像認識モデルを用いて画像認識を行い、物体57を認識する処理を行う。
図3に示すように、センサ13及びカメラ15は、それぞれ、車両9の車室55内に設置されている。センサ13の位置はカメラ15の位置に近い。例えば、センサ13及びカメラ15は、フロントガラスの上部、又はルームミラー付近に設置される。また、センサ13の位置を基準とするカメラ15の相対位置は一定である。
車載装置3が実行する処理を図4に基づき説明する。図4に示す処理は、例えば、スリープ状態にあった車載装置3が起動したときに実行される。車載装置3は、例えば、以下のように起動する。車両9のドアのロックが解除されたとき、車両ECU11が起動する。起動した車両ECU11は、車載装置3を起動する。なお、車載装置3は、図4に示す処理が終了したとき、スリープ状態となる。
ステップ3では、選択要因取得ユニット47が車両環境を取得する。例えば、選択要因取得ユニット47は、ナビ21を用いて、車両9の位置、及び車両9の進行方向を取得する。また、選択要因取得ユニット47は、例えば、時計38を用いて現在時刻を取得する。また、選択要因取得ユニット47は、例えば、通信機19を介してクラウド5と通信を行うことにより、天候を取得する。天候は、例えば、車両9の位置における現時点での天候である。また、選択要因取得ユニット47は、例えば、ルームランプ17から、ルームランプ17の状態を取得する。また、選択要因取得ユニット47は、例えば、カメラ15で車室55内を撮影し、撮影した画像を解析し、車室55内の明るさを検出してもよい。なお、ナビ21、時計38、及びルームランプ17は、車両9に搭載された装置に対応する。クラウド5は車両9の外部に対応する。なお、選択要因取得ユニット47は、ステップ2、3の処理のうちの一方のみを行ってもよい。
ステップ8では、物体認識ユニット51が、前記ステップ7で取得した画像に対し、前記ステップ4で選択した画像認識モデルを用いて画像認識を行い、物体57を認識する処理を行う。
(1A)車載装置3は、カメラ15を用いて車室55内を撮影し、画像を取得する。車載装置3は、選択要因を取得する。車載装置3は、選択要因に応じて画像認識モデルを選択する。車載装置3は、取得した画像に対し、選択した画像認識モデルを用いて画像認識を行い、物体57を認識する処理を行う。車載装置3は、物体57を認識した場合、クラウド5を介して携帯端末23へ報知する。
(1E)車載装置3は、車両9の外部から車両環境を取得する。車両9の外部とは、例えば、クラウド5である。そのため、車載装置3は、車両9において取得することが困難な車両環境を取得することができる。
<他の実施形態>
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
(2)第1実施形態では、車載装置3は、車両9が停車し、かつ、キーロックがオンになったときに画像を取得した。画像を取得するタイミングは、他のタイミングであってもよい。例えば、車載装置3は、エンジンがオンになる前、アイドリング状態のとき、走行中、停車からキーロックオンまでの期間等に画像を取得してもよい。この場合も、第1実施形態と同様の効果を奏することができる。
(7)選択要因取得ユニット47は、車両9の走行中に選択要因を取得してもよい。モデル選択ユニット49は、車両9の走行中に画像認識モデルを選択してもよい。物体認識ユニット51は、車両9の走行後、車両9が駐車しているときに、物体を認識する処理を行ってもよい。この場合、駐車している車両9の中に物体57が置き去りにされた場合に通知を行うことができる。
(8)本開示に記載の制御部35及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部35及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。制御部35に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。
Claims (10)
- 通信ユニット(45)を介して、ユーザの携帯端末(23)と通信可能なクラウド(5)との間で通信を行うように構成された車載装置(3)であって、
カメラ(15)により車両(9)の車室(55)内を撮影した画像を取得するように構成された画像取得ユニット(43)と、
前記車両の環境である車両環境、及び、前記車室内にある物体(57)の前記カメラを基準とする相対位置の少なくとも一方を含む選択要因を取得するように構成された選択要因取得ユニット(47)と、
前記選択要因取得ユニットが取得した前記選択要因に対応付けられた画像認識モデルを選択するように構成されたモデル選択ユニット(49)と、
前記画像取得ユニットが取得した前記画像に対し、前記モデル選択ユニットが選択した前記画像認識モデルを用いて画像認識を行い、前記物体を認識する処理を行うように構成された物体認識ユニット(51)と、
を備え、
前記物体認識ユニットが所定条件を満たす前記物体を認識した場合、前記携帯端末への報知に繋がる前記物体の認識結果に関する情報を、前記通信ユニットを介して前記クラウドへ通知する、
車載装置。 - 請求項1に記載の車載装置であって、
前記選択要因取得ユニットは、前記画像取得ユニットが前記画像を取得する前に、前記選択要因を取得するように構成され、
前記モデル選択ユニットは、前記画像取得ユニットが前記画像を取得する前に、前記画像認識モデルを選択するように構成された、
車載装置。 - 請求項1に記載の車載装置であって、
前記選択要因取得ユニットは、前記車両の走行中に前記選択要因を取得するように構成され、
前記モデル選択ユニットは、前記車両の走行中に前記画像認識モデルを選択するように構成され、
前記物体認識ユニットは、前記車両の走行後、前記車両が駐車しているときに、前記物体を認識する処理を行うように構成された、
車載装置。 - 請求項1~3のいずれか1項に記載の車載装置であって、
前記選択要因は、前記車両の位置、前記車両の進行方向、現在時刻、及び天候から成る群から選択される1以上を含む前記車両環境を含む、
車載装置。 - 請求項1~4のいずれか1項に記載の車載装置であって、
前記選択要因は、前記車室に設けられたルームランプ(17)の状態を含む前記車両環境を含む、
車載装置。 - 請求項1~5のいずれか1項に記載の車載装置であって、
前記選択要因取得ユニットは、前記車両の外部(5)から前記車両環境を取得するように構成された、
車載装置。 - 請求項1~6のいずれか1項に記載の車載装置であって、
前記選択要因取得ユニットは、前記車両に搭載された装置(3、17、21)から前記車両環境を取得するように構成された、
車載装置。 - 請求項1~7のいずれか1項に記載の車載装置であって、
前記選択要因取得ユニットは、センサ(13)を用いて、前記相対位置を取得するように構成された、
車載装置。 - カメラ(15)により車両(9)の車室(55)内を撮影した画像を取得し、
前記車両の環境である車両環境、及び、前記車室内にある物体(57)の前記カメラを基準とする相対位置の少なくとも一方を含む選択要因を取得し、
前記選択要因に対応付けられた画像認識モデルを選択し、
前記画像に対し、選択した前記画像認識モデルを用いて画像認識を行い、前記物体を認識する処理を行い、
所定条件を満たす前記物体を認識した場合、ユーザの携帯端末(23)への報知に繋がる前記物体の認識結果に関する情報を、通信ユニットを介して、前記携帯端末と通信可能なクラウド(5)へ通知する、
物体の通知方法。 - 請求項1~8のいずれか1項に記載の車載装置の制御部としてコンピュータを機能させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021104882A JP7439797B2 (ja) | 2021-06-24 | 2021-06-24 | 車載装置、物体の通知方法、及びプログラム |
PCT/JP2022/023959 WO2022270379A1 (ja) | 2021-06-24 | 2022-06-15 | 車載装置、物体の通知方法、プログラム、及び車両用システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021104882A JP7439797B2 (ja) | 2021-06-24 | 2021-06-24 | 車載装置、物体の通知方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2023003665A JP2023003665A (ja) | 2023-01-17 |
JP2023003665A5 JP2023003665A5 (ja) | 2023-05-17 |
JP7439797B2 true JP7439797B2 (ja) | 2024-02-28 |
Family
ID=84544289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021104882A Active JP7439797B2 (ja) | 2021-06-24 | 2021-06-24 | 車載装置、物体の通知方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7439797B2 (ja) |
WO (1) | WO2022270379A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002347476A (ja) | 2001-05-28 | 2002-12-04 | Mitsubishi Motors Corp | 車載ディスプレイ防眩機構 |
JP2014215877A (ja) | 2013-04-26 | 2014-11-17 | 株式会社デンソー | 物体検出装置 |
JP2019123421A (ja) | 2018-01-18 | 2019-07-25 | 株式会社デンソー | 乗員検知システム、照明制御システム、及び車内照明方法 |
JP2019172191A (ja) | 2018-03-29 | 2019-10-10 | 矢崎総業株式会社 | 車内監視モジュール、及び、監視システム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7071316B2 (ja) * | 2019-07-19 | 2022-05-18 | 株式会社日立製作所 | 車両用情報処理装置 |
-
2021
- 2021-06-24 JP JP2021104882A patent/JP7439797B2/ja active Active
-
2022
- 2022-06-15 WO PCT/JP2022/023959 patent/WO2022270379A1/ja unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002347476A (ja) | 2001-05-28 | 2002-12-04 | Mitsubishi Motors Corp | 車載ディスプレイ防眩機構 |
JP2014215877A (ja) | 2013-04-26 | 2014-11-17 | 株式会社デンソー | 物体検出装置 |
JP2019123421A (ja) | 2018-01-18 | 2019-07-25 | 株式会社デンソー | 乗員検知システム、照明制御システム、及び車内照明方法 |
JP2019172191A (ja) | 2018-03-29 | 2019-10-10 | 矢崎総業株式会社 | 車内監視モジュール、及び、監視システム |
Also Published As
Publication number | Publication date |
---|---|
JP2023003665A (ja) | 2023-01-17 |
WO2022270379A1 (ja) | 2022-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101976419B1 (ko) | 차량용 도어 제어 장치 및 차량 | |
US10011216B1 (en) | Auto turn signal initiation based on lane change and driver history | |
US10196068B2 (en) | Convenience apparatus for vehicle and vehicle | |
US10525873B2 (en) | Turn by turn activation of turn signals | |
JP2019508764A (ja) | 駐車時アラートを生成するためのシステム及び方法 | |
US10220704B2 (en) | Method and apparatus for door status detection | |
US10713501B2 (en) | Focus system to enhance vehicle vision performance | |
KR101969805B1 (ko) | 차량 제어 장치 및 그것을 포함하는 차량 | |
JP2017140890A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US10829034B2 (en) | Vehicle control device | |
US11364868B2 (en) | Vehicle control system and vehicle control method | |
CN107878465B (zh) | 移动体控制装置和移动体 | |
US11040656B2 (en) | Alert apparatus for vehicle | |
CN106314424A (zh) | 基于汽车的超车辅助方法、装置及汽车 | |
CN107640107B (zh) | 用于车辆的行驶前检测的设备及方法 | |
US11951997B2 (en) | Artificial intelligence-enabled alarm for detecting passengers locked in vehicle | |
JP2020138701A (ja) | 制御装置 | |
CN115743031A (zh) | 用于侵入者的威慑的系统和方法 | |
JP7439797B2 (ja) | 車載装置、物体の通知方法、及びプログラム | |
CN104508595B (zh) | 提供多级对准稳定性指示的车辆成像系统 | |
US20190299848A1 (en) | User guidance device | |
JP7470967B2 (ja) | システム、プログラム、機械学習方法、及び機械学習モデル等 | |
CN115131749A (zh) | 图像处理装置、图像处理方法以及计算机可读取存储介质 | |
JP2019172241A (ja) | ユーザ誘導装置 | |
US11914914B2 (en) | Vehicle interface control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230509 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240129 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7439797 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |