JP6022930B2 - カメラシステム、カメラモジュールおよびカメラ制御方法 - Google Patents
カメラシステム、カメラモジュールおよびカメラ制御方法 Download PDFInfo
- Publication number
- JP6022930B2 JP6022930B2 JP2012281745A JP2012281745A JP6022930B2 JP 6022930 B2 JP6022930 B2 JP 6022930B2 JP 2012281745 A JP2012281745 A JP 2012281745A JP 2012281745 A JP2012281745 A JP 2012281745A JP 6022930 B2 JP6022930 B2 JP 6022930B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- vehicle
- image
- unit
- camera module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 20
- 239000003550 marker Substances 0.000 claims description 69
- 238000003384 imaging method Methods 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 30
- 238000004891 communication Methods 0.000 claims description 27
- 230000002093 peripheral effect Effects 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 12
- 240000004050 Pentaglottis sempervirens Species 0.000 description 9
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
Description
2 車両
3 フロントカメラモジュール
4,5 サイドカメラモジュール
6 リアカメラモジュール
3a〜6a レンズ部
3b〜6b 撮像部
3c〜6c 視点変換画像生成部
3d〜6d 出力部
3e〜6e 電源部
3f〜6f 制御部
3g〜6g 通信部
3h〜6h 記憶部
6i 画像合成部
3j〜6j 物体認識部
7 表示手段
7a 画面
7a1〜7a4 分割範囲
8 車両モデル
9 車両ネットワーク
10 処理ユニット
11 物体認識部
12 物体
13 マーカー
A〜D 境界
x,x1 領域
y,y1 領域
Claims (11)
- 車両の周辺を撮像する複数のカメラモジュールを備え、複数の前記カメラモジュールが撮像した各カメラ画像を出力し、前記車両内の表示手段にて各画像を合成した車両周辺画像が表示されるカメラシステムであって、
複数の前記カメラモジュールは、それぞれ自己の撮像したカメラ画像から物体認識処理を行う物体認識部と、前記車両に設けられた車両ネットワークを介した通信を行う通信部と、を有し、
前記通信部は、それぞれ前記物体認識部で認識した認識物体の座標情報を前記車両ネットワークに出力し、
前記複数のカメラモジュールの少なくとも一つは、前記車両ネットワークを介して他のカメラモジュールから前記認識物体の座標情報を取得することを特徴とするカメラシステム。 - 前記複数のカメラモジュールの少なくとも一つは、前記取得した座標情報を用いて前記車両周辺画像中の前記認識物体に対するマーカーを付す、請求項1に記載のカメラシステム。
- 複数の前記カメラモジュールの少なくとも一つは、互いに隣接する一対のカメラ画像の双方に前記認識物体が位置する場合に、前記座標情報を用いて、一方のカメラ画像と他方のカメラ画像との双方に跨る滑らかなマーカーを生成する、請求項2に記載のカメラシステム。
- 複数の前記カメラモジュールの少なくとも一つは、前記マーカーの位置、大きさおよび形状の少なくとも一つを変更する、請求項3に記載のカメラシステム。
- 複数の前記カメラモジュールは、それぞれ制御部を有し、該制御部のいずれか一つが主制御部となって、前記座標情報を用いた前記車両周辺画像へのマーカー付加処理を行う請求項2から4のいずれか一項に記載のカメラシステム。
- 前記主制御部は、複数の前記カメラモジュールのそれぞれに設けられた他の制御部を、前記車両ネットワークを介して統括制御する請求項5に記載のカメラシステム。
- 複数の前記カメラモジュールは、それぞれ前記車両ネットワークを介して接続される前記車両の処理ユニットにより識別情報が割り当てられ、該識別情報に応じて前記主制御部が決定される請求項6に記載のカメラシステム。
- 前記識別情報の割り当ては、前記車両ネットワークの規格におけるネゴシエーションのプロトコルに準拠して行われる請求項7に記載のカメラシステム。
- 前記カメラ画像は、撮像部が撮像した画像を視点変換した俯瞰画像である、請求項1から8のいずれか一項に記載のカメラシステム。
- 複数のカメラモジュールが撮像した各カメラ画像を合成して、車両内の表示手段に車両周辺画像として表示を行うカメラシステムに用いられるカメラモジュールであって、
前記車両の周辺を撮像する撮像部と、
前記撮像部が撮像した画像から物体認識処理を行う物体認識部と、
前記車両に設けられた車両ネットワークを介した通信を行う通信部と、を有し、
前記通信部は、前記物体認識部で認識した認識物体の座標情報を前記車両ネットワークに出力し、
前記車両ネットワークを介して他のカメラモジュールから該他のカメラモジュールが物体認識部で認識した認識物体の座標情報を取得する、ことを特徴とするカメラモジュール。 - 複数のカメラモジュールが撮像した各カメラ画像を合成して、車両内の表示手段に車両周辺画像として表示を行う際のカメラ制御方法であって、
前記カメラモジュールが、自己が撮像したカメラ画像から物体認識処理により認識物体を認識する認識工程と、
前記カメラモジュールが、前記認識工程において認識した認識物体の座標情報を車両に設けられた車両ネットワークに出力する出力工程と、
前記カメラモジュールが、前記車両ネットワークを介して他のカメラモジュールから該他のカメラモジュールが物体認識部で認識した認識物体の座標情報を取得する工程と、を有することを特徴とするカメラ制御方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012281745A JP6022930B2 (ja) | 2012-12-25 | 2012-12-25 | カメラシステム、カメラモジュールおよびカメラ制御方法 |
US14/655,028 US10242254B2 (en) | 2012-12-25 | 2013-12-20 | Camera system for a vehicle, camera module, and method of controlling camera |
PCT/JP2013/007510 WO2014103272A1 (ja) | 2012-12-25 | 2013-12-20 | カメラシステム、カメラモジュールおよびカメラ制御方法 |
EP13867217.5A EP2939877B1 (en) | 2012-12-25 | 2013-12-20 | Camera system, camera module, and camera control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012281745A JP6022930B2 (ja) | 2012-12-25 | 2012-12-25 | カメラシステム、カメラモジュールおよびカメラ制御方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016198541A Division JP6185135B2 (ja) | 2016-10-06 | 2016-10-06 | 統合画像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014125029A JP2014125029A (ja) | 2014-07-07 |
JP6022930B2 true JP6022930B2 (ja) | 2016-11-09 |
Family
ID=51020390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012281745A Active JP6022930B2 (ja) | 2012-12-25 | 2012-12-25 | カメラシステム、カメラモジュールおよびカメラ制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10242254B2 (ja) |
EP (1) | EP2939877B1 (ja) |
JP (1) | JP6022930B2 (ja) |
WO (1) | WO2014103272A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016047150A1 (ja) | 2014-09-26 | 2016-03-31 | 京セラ株式会社 | 撮像装置、車両および変動検出方法 |
US9718405B1 (en) * | 2015-03-23 | 2017-08-01 | Rosco, Inc. | Collision avoidance and/or pedestrian detection system |
JP6788977B2 (ja) | 2016-02-23 | 2020-11-25 | 京セラ株式会社 | 車両及び車両における制御方法 |
DE102017209427B3 (de) * | 2017-06-02 | 2018-06-28 | Volkswagen Aktiengesellschaft | Vorrichtung zur Fahrschlauchabsicherung |
JP7263731B2 (ja) * | 2018-10-26 | 2023-04-25 | 株式会社デンソー | 画像処理装置 |
WO2020116205A1 (ja) | 2018-12-07 | 2020-06-11 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006018951A1 (ja) | 2004-08-18 | 2006-02-23 | Olympus Corporation | 画像生成方法および画像生成装置 |
JP2006143009A (ja) * | 2004-11-19 | 2006-06-08 | Fuji Heavy Ind Ltd | 車両の運転支援装置 |
EP1696669B1 (en) | 2005-02-24 | 2013-07-03 | Aisin Seiki Kabushiki Kaisha | Vehicle surrounding monitoring device |
JP4742733B2 (ja) | 2005-08-05 | 2011-08-10 | 日産自動車株式会社 | 画像つなぎ目処理装置および画像つなぎ目処理方法 |
JP2007187618A (ja) * | 2006-01-16 | 2007-07-26 | Omron Corp | 物体識別装置 |
JP4702106B2 (ja) * | 2006-03-02 | 2011-06-15 | 株式会社デンソー | 死角支援情報報知装置及びプログラム |
JP5380941B2 (ja) * | 2007-10-01 | 2014-01-08 | 日産自動車株式会社 | 駐車支援装置及び方法 |
ES2538827T3 (es) * | 2009-09-01 | 2015-06-24 | Magna Mirrors Of America, Inc. | Sistema de formación de imágenes y de exhibición para un vehículo |
JP5696872B2 (ja) | 2010-03-26 | 2015-04-08 | アイシン精機株式会社 | 車両周辺監視装置 |
EP2431226B1 (de) * | 2010-09-17 | 2016-07-27 | SMR Patents S.à.r.l. | Rückblickeinrichtung für ein Kraftfahrzeug |
JP5704902B2 (ja) * | 2010-11-26 | 2015-04-22 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 運転支援装置及び運転支援方法 |
DE102011077398B4 (de) | 2011-06-10 | 2021-11-04 | Robert Bosch Gmbh | Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren |
-
2012
- 2012-12-25 JP JP2012281745A patent/JP6022930B2/ja active Active
-
2013
- 2013-12-20 US US14/655,028 patent/US10242254B2/en active Active
- 2013-12-20 EP EP13867217.5A patent/EP2939877B1/en active Active
- 2013-12-20 WO PCT/JP2013/007510 patent/WO2014103272A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20150347830A1 (en) | 2015-12-03 |
EP2939877B1 (en) | 2018-05-16 |
JP2014125029A (ja) | 2014-07-07 |
WO2014103272A1 (ja) | 2014-07-03 |
EP2939877A1 (en) | 2015-11-04 |
US10242254B2 (en) | 2019-03-26 |
EP2939877A4 (en) | 2016-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6022930B2 (ja) | カメラシステム、カメラモジュールおよびカメラ制御方法 | |
JP6937443B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
CN105308620B (zh) | 信息处理设备、接近对象通知方法和程序 | |
KR101198206B1 (ko) | 휴대 단말을 이용한 차량 주변 영상 제공 시스템 및 그 방법 | |
JP6406159B2 (ja) | 車載表示制御装置、車載表示制御方法 | |
JP2012170127A (ja) | 車両用周辺監視装置および映像表示方法 | |
JP2016119526A (ja) | 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法 | |
CN104512335A (zh) | 停车支援装置 | |
WO2013103115A1 (ja) | 画像表示装置 | |
JP6903925B2 (ja) | 撮像表示システム、乗用装置 | |
JP6375633B2 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
JP2006254318A (ja) | 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法 | |
JP6185135B2 (ja) | 統合画像処理システム | |
JP2017111739A (ja) | 運転支援装置、運転支援方法 | |
JP2007288611A (ja) | 車載用画像表示装置 | |
JP2005182305A (ja) | 車両走行支援装置 | |
JP6702001B2 (ja) | 撮像装置及び撮像システム | |
JP2023047495A (ja) | 移動体、画像処理方法、およびコンピュータプログラム | |
JP6274936B2 (ja) | 運転支援装置 | |
JP4730819B2 (ja) | 周辺状況表示装置及び周辺状況表示方法 | |
CN202573989U (zh) | 环车鸟瞰装置 | |
JP6020736B2 (ja) | 予測進路提示装置及び予測進路提示方法 | |
JP2008233398A (ja) | 表示装置 | |
KR20150129542A (ko) | 어라운드 뷰 시스템의 동작방법 | |
JP6209921B2 (ja) | 予測進路提示システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161006 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6022930 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |