JP6893322B2 - 画像生成システム、画像表示システム、画像生成方法、画像生成プログラム、及び移動体 - Google Patents
画像生成システム、画像表示システム、画像生成方法、画像生成プログラム、及び移動体 Download PDFInfo
- Publication number
- JP6893322B2 JP6893322B2 JP2019050367A JP2019050367A JP6893322B2 JP 6893322 B2 JP6893322 B2 JP 6893322B2 JP 2019050367 A JP2019050367 A JP 2019050367A JP 2019050367 A JP2019050367 A JP 2019050367A JP 6893322 B2 JP6893322 B2 JP 6893322B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing unit
- processing
- unit
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 212
- 238000012545 processing Methods 0.000 claims description 430
- 230000008569 process Effects 0.000 claims description 190
- 239000002131 composite material Substances 0.000 claims description 27
- 239000000203 mixture Substances 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 230000007423 decrease Effects 0.000 description 19
- 238000001514 detection method Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 238000012937 correction Methods 0.000 description 12
- 230000008901 benefit Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000009966 trimming Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
(1)概要
本実施形態に係る画像生成システム2の概要について、図1を参照して説明する。
以下、本実施形態に係る画像生成システム2、及び画像生成システム2を備える画像表示システム1について図1〜3を参照して説明する。
(2.1.1)画像生成システム
本実施形態の画像生成システム2の構成を図1〜図3に基づいて説明する。
画像表示システム1は、画像生成システム2と、画像生成システム2によって生成された画像データを表示する表示部3と、を備える。つまり、画像生成システム2と表示部3とで画像表示システム1が構成される。
本実施形態の画像生成システム2の各部の動作を図5〜図10に基づいて説明する。
ソフト処理部10が備える動作制御部11の動作を図5に基づいて説明する。
ハード処理部20が備える動作設定部30の動作を図6に基づいて説明する。
第1処理部50のプレグラフィックス処理部51の動作について図7を参照して説明する。
第2処理部60の検索部61の動作について図8を参照して説明する。
第2処理部60のマッチング部62の動作について図9を参照して説明する。
第1処理部50のポストグラフィックス処理部52の動作について図10を参照して説明する。
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、画像生成システム2又は画像表示システム1と同様の機能は、画像生成方法、画像生成プログラム(コンピュータプログラム)、又は画像生成プログラムを記録した非一時的な記録媒体等で具現化されてもよい。一態様に係る画像生成方法は、第1画像データを取得するステップと、第1画像データに対して所定の加工処理を実行して第2画像データを生成するステップと、第2画像データに対して認識処理を実行するステップと、を含む。この画像生成方法では、加工処理と認識処理とを、プロセッサからの命令によらずに、同期して実行する。また、一態様に係る画像生成プログラムは、コンピュータシステムに、上記の画像生成方法を実行させるためのプログラムである。
以上説明したように、第1の態様の画像生成システム(2)は、取得部(40)と、第1処理部(50)と、第2処理部(60)と、を備える。取得部(40)は第1画像データを取得する。第1処理部(50)は、取得部(40)が取得した第1画像データに対して所定の加工処理を実行して第2画像データを生成する。第2処理部(60)は、第2画像データに対して認識処理を実行する。第1処理部(50)と第2処理部(60)とは、プロセッサ(10)からの命令によらずに、同期して処理を実行する。
2 画像生成システム
3 表示部
10 ソフト処理部(プロセッサ)
11 動作制御部(設定情報生成部)
30 動作設定部(デコード部)
40 取得部
50 第1処理部
52 ポストグラフィックス処理部(合成処理部)
60 第2処理部
100 移動体
101 本体(移動体本体)
Claims (15)
- 第1画像データを取得する取得部と、
前記取得部が取得した前記第1画像データに対して所定の加工処理を実行して第2画像データを生成する第1処理部と、
前記第2画像データに対して認識処理を実行する第2処理部と、を備え、
前記第1処理部と前記第2処理部とは、プロセッサからの命令によらずに、前記加工処理と前記認識処理とを含む一連の処理を同期して実行し、
前記第1処理部が、前記一連の処理が設定された所定の設定情報に従って前記加工処理を実行し、前記第2処理部が前記設定情報に従って前記認識処理を実行する、
画像生成システム。 - 前記第1画像データが、複数の画像フレームを含む第1群の画像フレームを表し、
前記第2画像データが、複数の画像フレームを含む第2群の画像フレームを表す、
請求項1に記載の画像生成システム。 - 前記認識処理が、検索処理と、マッチング処理とを含み、
前記検索処理では、前記第2画像データから特徴量を検索し、
前記マッチング処理では、前記検索処理によって検索された前記特徴量に基づいて、前記第2群の画像フレームのうちマッチング対象の2つの画像フレームをマッチングする、
請求項2に記載の画像生成システム。 - 前記取得部は前記第1群の画像フレームを取得し、
前記第1処理部は、前記取得部が取得した前記第1群の画像フレームに対してそれぞれ前記加工処理を実行して前記第2群の画像フレームを生成し、
前記検索処理では、マッチング対象の前記2つの画像フレームについて前記特徴量を検索し、
前記マッチング処理では、前記検索処理で検索された前記特徴量に基づいて、マッチング対象の前記2つの画像フレームのマッチングを行うことによって、マッチング対象の前記2つの画像フレームに共通して存在する特徴点を検出する、
請求項3に記載の画像生成システム。 - 前記第1処理部は、前記マッチング処理において検出された前記特徴点を基に、マッチング対象の前記2つの画像フレームを合成した合成画像データを生成する合成処理部を、
備える、
請求項4に記載の画像生成システム。 - マッチング対象の前記2つの画像フレームは部分的に重複している、
請求項4又は5に記載の画像生成システム。 - 前記取得部は、複数のカメラから前記第1群の画像フレームを取得する、
請求項2〜6のいずれか1項に記載の画像生成システム。 - 前記複数のカメラは、移動体に設けられて、前記移動体の外側を撮影する、
請求項7に記載の画像生成システム。 - 前記設定情報を受け付けると、前記設定情報を前記第1処理部と前記第2処理部とに出力するデコード部を、更に備える、
請求項1〜8のいずれか1項に記載の画像生成システム。 - 前記デコード部は、所定の更新条件が成立すると、前記設定情報を更新して、更新後の前記設定情報を前記第1処理部と前記第2処理部とに出力する、
請求項9に記載の画像生成システム。 - 前記設定情報を生成する設定情報生成部を、更に備える、
請求項10に記載の画像生成システム。 - 請求項1〜11のいずれか1項に記載の画像生成システムと、前記画像生成システムで生成された画像を表示する表示部と、を備える、
画像表示システム。 - 第1画像データを取得するステップと、
前記第1画像データに対して所定の加工処理を実行して第2画像データを生成するステップと、
前記第2画像データに対して認識処理を実行するステップと、を含み、
プロセッサからの命令によらずに、前記加工処理と前記認識処理とを含む一連の処理を同期して実行し、
前記一連の処理が設定された所定の設定情報に従って前記加工処理を実行し、前記設定情報に従って前記認識処理を実行する、
画像生成方法。 - コンピュータシステムに、請求項13に記載の画像生成方法を実行させるための、
画像生成プログラム。 - 請求項12に記載の画像表示システムと、前記画像表示システムを搭載する移動体本体と、を備える、
移動体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018053549 | 2018-03-20 | ||
JP2018053549 | 2018-03-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019169146A JP2019169146A (ja) | 2019-10-03 |
JP6893322B2 true JP6893322B2 (ja) | 2021-06-23 |
Family
ID=67983803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019050367A Active JP6893322B2 (ja) | 2018-03-20 | 2019-03-18 | 画像生成システム、画像表示システム、画像生成方法、画像生成プログラム、及び移動体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10965866B2 (ja) |
JP (1) | JP6893322B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112165572A (zh) * | 2020-09-10 | 2021-01-01 | Oppo(重庆)智能科技有限公司 | 图像处理方法、装置、终端及存储介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8625680B2 (en) * | 2003-09-07 | 2014-01-07 | Microsoft Corporation | Bitstream-controlled post-processing filtering |
JP2008022240A (ja) * | 2006-07-12 | 2008-01-31 | Fujifilm Corp | 撮影装置,画像処理装置、及び画像ファイル生成方法,画像処理方法、並びに画像処理プログラム |
JP4980089B2 (ja) | 2007-01-31 | 2012-07-18 | 富士重工業株式会社 | ステレオ画像処理装置 |
US8219878B1 (en) * | 2007-12-03 | 2012-07-10 | Marvell International Ltd. | Post-processing decoder of LDPC codes for improved error floors |
JP5679763B2 (ja) | 2010-10-27 | 2015-03-04 | ルネサスエレクトロニクス株式会社 | 半導体集積回路及び全周囲映像システム |
US9672431B2 (en) * | 2012-11-09 | 2017-06-06 | Analog Devices Global | Object detection |
US10798422B2 (en) * | 2015-10-20 | 2020-10-06 | Intel Corporation | Method and system of video coding with post-processing indication |
JP2017085297A (ja) | 2015-10-26 | 2017-05-18 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6631350B2 (ja) * | 2016-03-22 | 2020-01-15 | 株式会社デンソー | ドライブレコーダ |
JP6652463B2 (ja) | 2016-08-02 | 2020-02-26 | 日立オートモティブシステムズ株式会社 | 車載カメラ装置、車載カメラ調整装置及び車載カメラ調整システム |
WO2018037789A1 (ja) * | 2016-08-22 | 2018-03-01 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
-
2019
- 2019-03-15 US US16/354,925 patent/US10965866B2/en active Active
- 2019-03-18 JP JP2019050367A patent/JP6893322B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US20190297257A1 (en) | 2019-09-26 |
US10965866B2 (en) | 2021-03-30 |
JP2019169146A (ja) | 2019-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10956774B2 (en) | Electronic device for acquiring image using plurality of cameras and method for processing image using the same | |
CN110322542B (zh) | 重建真实世界3d场景的视图 | |
US7916177B2 (en) | Image-capturing apparatus, image-capturing method and program for detecting and correcting image blur | |
US8886017B2 (en) | Display image generating method | |
US10764496B2 (en) | Fast scan-type panoramic image synthesis method and device | |
US20170064174A1 (en) | Image shooting terminal and image shooting method | |
KR20190032061A (ko) | 이미지 보정을 수행하는 전자 장치 및 그 동작 방법 | |
CN109005334B (zh) | 一种成像方法、装置、终端和存储介质 | |
US11917291B2 (en) | Apparatus and method for producing slow motion video | |
CN111131698A (zh) | 图像处理方法及装置、计算机可读介质、电子设备 | |
KR102383134B1 (ko) | 우선 순위에 기반하여 이미지를 처리하는 전자 장치 및 그 동작 방법 | |
CN101656836A (zh) | 照相机、图像合成方法以及程序 | |
JP2019080226A (ja) | 撮像装置、撮像装置の制御方法、及びプログラム | |
CN103945116A (zh) | 用于在具有相机的移动终端中处理图像的设备和方法 | |
JP6893322B2 (ja) | 画像生成システム、画像表示システム、画像生成方法、画像生成プログラム、及び移動体 | |
CN116668836B (zh) | 拍照处理方法和电子设备 | |
US10701286B2 (en) | Image processing device, image processing system, and non-transitory storage medium | |
US10785470B2 (en) | Image processing apparatus, image processing method, and image processing system | |
CN115908120A (zh) | 图像处理方法和电子设备 | |
CN113674138B (zh) | 图像处理方法、装置及系统 | |
CN114066731A (zh) | 生成全景图的方法、装置、电子设备及存储介质 | |
CN117714840B (zh) | 图像处理方法、装置、芯片、电子设备及介质 | |
CN116934654B (zh) | 图像模糊度的确定方法及其相关设备 | |
CN113034369A (zh) | 一种基于多摄像头的图像生成方法、装置和计算机设备 | |
CN117714863A (zh) | 拍摄方法及其相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200507 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210127 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210127 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210204 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210420 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210514 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6893322 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
SZ03 | Written request for cancellation of trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z03 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |