JP7245318B2 - カメラシステムの評価装置及び評価方法 - Google Patents
カメラシステムの評価装置及び評価方法 Download PDFInfo
- Publication number
- JP7245318B2 JP7245318B2 JP2021506232A JP2021506232A JP7245318B2 JP 7245318 B2 JP7245318 B2 JP 7245318B2 JP 2021506232 A JP2021506232 A JP 2021506232A JP 2021506232 A JP2021506232 A JP 2021506232A JP 7245318 B2 JP7245318 B2 JP 7245318B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- viewpoint
- video
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims description 57
- 238000012545 processing Methods 0.000 claims description 129
- 230000003287 optical effect Effects 0.000 claims description 94
- 238000004088 simulation Methods 0.000 claims description 45
- 238000006243 chemical reaction Methods 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 131
- 230000006399 behavior Effects 0.000 description 40
- 238000010586 diagram Methods 0.000 description 28
- 230000005540 biological transmission Effects 0.000 description 18
- 230000036544 posture Effects 0.000 description 12
- 230000015654 memory Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B17/00—Systems involving the use of models or simulators of said systems
- G05B17/02—Systems involving the use of models or simulators of said systems electric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/23—Pc programming
- G05B2219/23446—HIL hardware in the loop, simulates equipment to which a control module is fixed
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2637—Vehicle, car, auto, wheelchair
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Geometry (AREA)
Description
図1は、本発明の実施例に係る光学フィルタ機能を用いたHILSの構成例を示す図である。CG映像S7が入力されるステレオカメラECU6を評価する評価環境は、車両挙動シミュレータ1と、左視点映像生成機能2と、右視点映像生成機能3と、光学フィルタ機能4と、カメラフォーマット変換機能5とから構成される。
図9は、本発明に係る一実施例として光学フィルタ機能4を映像生成機能に統轄したHILSの構成例を示す図である。実施例2では、左視点映像生成機能2及び右視点映像生成機能3が、CG映像を生成する際に光学的な画像処理を実行する。以下の実施例2の説明において、実施例1と異なる箇所を主に説明し、実施例1と同じ機能の構成には同じ符号を付し、それらの説明は省略する。
図12は、本実施例に係る一構成例として光学フィルタ機能4を用いたSILSの構成例を示す図である。実施例3では、実施例1のステレオカメラECU6の機能をソフトウェアで構成されたステレオカメラモデル7が実行するので、ステレオカメラモデル7に入力されるデータは形式を変換する必要がなく、カメラフォーマット変換機能5が不要となる。以下の実施例3の説明において、実施例1と異なる箇所を主に説明し、実施例1と同じ機能の構成には同じ符号を付し、それらの説明は省略する。
図13は、本実施例に係る一構成例として単眼カメラのHILSの構成例を示す図である。以下の実施例4の説明において、実施例1と異なる箇所を主に説明し、実施例1と同じ機能の構成には同じ符号を付し、それらの説明は省略する。
図14は、実施例の一例として視点映像CG映像部を示す。本実施例では、実際のレンズのようにCG映像を作成する場合、仮想空間上に存在する光源からRGB映像を描画する。光源が発する光の情報として輝度情報があり、光学処理情報S8に含まれる。作成するRGB映像には色深度が存在し、複数の色情報を有している。この色深度は任意に設定可能であり、Xbitとする。また、この色深度の情報は、輝度情報から関連付けられ、輝度情報と色深度の設定は任意に設定可能とし、1次元や2次元などの引数参照も可能とする。
すなわち本実施例は、映像生成部がカメラ画像処理部からの輝度情報に基づいて、任意の映像データを作成する。
また、輝度情報から映像データへの生成は、任意に設定可能な変数により変換する。
また、映像生成部で作成された映像データから、光学センサを模擬した映像データに変換する。
また、映像生成部で作成された映像データは、任意に設定可能な変数を用いて光学センサを模擬した映像データへ変換する。
2:左視点映像生成機能
3:右視点映像生成機能
4:光学フィルタ機能
5:カメラフォーマット変換機能
6:ステレオカメラECU
7:ステレオカメラモデル
101:シミュレーションモデル
102:センサモデル
103:環境モデル
104:車両モデル
105:視点情報I/F
106:CAN I/F
201:CG環境情報
202:座標情報受信部
203:視点映像用CG生成部
204:CG映像送信部
401:CG映像受信部
402:ゲイン調整 処理部
403:ぼかし処理部
404:ノイズ処理部
405:歪み処理部
406:CG映像送信部
501:CG映像受信部
502:カラーフィルタ変換部
503:映像形式変換部
504:CG映像送信I/F
601:CG映像受信I/F
602:画像認識部
603:車両制御部
S1:左視点座標・姿勢
S2:右視点座標・姿勢
S3:左視点映像
S4:右視点映像
S5:光学処理後の左視点映像
S6:光学処理後の右視点映像
S7:カメラI/Fに適合した視点映像
S8:光学処理情報
S9:シャッタ信号
S10:アクセル、ブレーキ、舵角などの車両制御情報
S11:車両情報
Claims (11)
- 外界を撮像するカメラを含むカメラシステムの評価装置であって、
前記カメラが撮影する外界の映像を模擬するシミュレーション用映像を生成する映像生成部と、
前記カメラから出力される映像を模擬するための光学的な画像処理を、前記シミュレーション用映像に行う光学フィルタ部と、
前記画像処理された後の映像を用いて認識処理を行って、車両制御用の信号を生成するカメラ画像処理部と、
前記カメラが搭載される車両の挙動及び周辺環境を模擬するシミュレータと、
映像の形式を変換する変換部とを備え、
前記カメラは、少なくとも左視点映像と右視点映像とを撮影する複眼カメラであって、
前記映像生成部は、前記シミュレータの出力に基づいて、左視点シミュレーション用映像と右視点シミュレーション用映像とを生成し、
前記光学フィルタ部は、前記カメラ画像処理部からの出力に基づいて、前記左視点シミュレーション用映像と前記右視点シミュレーション用映像とのそれぞれに前記光学的な画像処理を行い、前記カメラ画像処理部からのタイミング信号に従って前記光学処理された左視点シミュレーション用映像と右視点シミュレーション用映像とを同期して出力し、
前記変換部は、前記画像処理された左視点シミュレーション用映像と右視点シミュレーション用映像とを前記カメラ画像処理部に入力可能な形式の映像に変換し、
前記カメラ画像処理部は、前記画像処理された後に、前記形式が変換された映像を用いて認識処理を行って、車両制御用の信号を生成することを特徴とする評価装置。 - 請求項1に記載の評価装置であって、
前記光学フィルタ部は、前記映像生成部に設けられることを特徴とする評価装置。 - 請求項1又は2に記載の評価装置であって、
前記光学フィルタ部は、ゲイン調整処理と、ぼかし処理と、ノイズ処理と、歪み処理との少なくとも一つの処理を行うことを特徴とする評価装置。 - 請求項1又は2に記載の評価装置であって、
前記カメラ画像処理部は、前記カメラシステムに実装される電子制御装置であることを特徴とする評価装置。 - 請求項1又は2に記載の評価装置であって、
前記カメラ画像処理部は、ソフトウェアによるカメラ機能シミュレータであることを特徴とする評価装置。 - 請求項1又は2に記載の評価装置であって、
前記光学フィルタ部は、ゲイン調整処理と、ぼかし処理と、ノイズ処理と、歪み処理を任意の順に実行するように変更することを特徴とする評価装置。 - 請求項1に記載の評価装置であって、
前記映像生成部は、前記カメラ画像処理部からの輝度情報に基づいて、任意の映像データを作成する評価装置。 - 請求項7に記載の評価装置であって、
前記輝度情報から前記映像データの生成は、任意に設定可能な変数により変換することを特徴とする評価装置。 - 請求項3に記載の評価装置であって、
前記映像生成部で作成された映像データから、光学センサを模擬した映像データに変換することを特徴とする評価装置。 - 請求項9に記載の評価装置であって、
前記映像生成部で作成された映像データは、任意に設定可能な変数を用いて光学センサを模擬した映像データへ変換することを特徴とする評価装置。 - 外界を撮像するカメラを含むカメラシステムの評価を演算装置が行う方法であって、
前記演算装置が、前記カメラが撮影する外界の映像を模擬するシミュレーション用映像を生成する映像生成手順と、
前記演算装置が、前記カメラから出力される映像を模擬するための光学的な画像処理を、前記シミュレーション用映像に行う光学フィルタ手順と、
前記演算装置が、前記画像処理された後の映像を用いて認識処理を行って、車両制御用の信号を生成するカメラ画像処理手順と、
前記演算装置が、前記カメラが搭載される車両の挙動及び周辺環境を模擬するシミュレーション手順と、
前記演算装置が、映像の形式を変換する変換手順とを備え、
前記カメラは、少なくとも左視点映像と右視点映像とを撮影する複眼カメラであって、
前記映像生成手順では、前記演算装置が、前記シミュレーション手順の出力に基づいて、左視点シミュレーション用映像と右視点シミュレーション用映像とを生成し、
前記光学フィルタ手順では、前記演算装置が、前記カメラ画像処理手順からの出力に基づいて、前記左視点シミュレーション用映像と前記右視点シミュレーション用映像とのそれぞれに前記光学的な画像処理を行い、前記カメラ画像処理手順からのタイミング信号に従って前記光学処理された左視点シミュレーション用映像と右視点シミュレーション用映像とを同期して出力し、
前記変換手順では、前記演算装置が、前記画像処理された左視点シミュレーション用映像と右視点シミュレーション用映像とを前記カメラ画像処理手順に入力可能な形式の映像に変換し、
前記カメラ画像処理手順では、前記演算装置が、前記画像処理された後に、前記形式が変換された映像を用いて認識処理を行って、車両制御用の信号を生成することを特徴とする方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019051526 | 2019-03-19 | ||
JP2019051526 | 2019-03-19 | ||
PCT/JP2020/004733 WO2020189081A1 (ja) | 2019-03-19 | 2020-02-07 | カメラシステムの評価装置及び評価方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020189081A1 JPWO2020189081A1 (ja) | 2021-10-28 |
JP7245318B2 true JP7245318B2 (ja) | 2023-03-23 |
Family
ID=72520611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021506232A Active JP7245318B2 (ja) | 2019-03-19 | 2020-02-07 | カメラシステムの評価装置及び評価方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220101500A1 (ja) |
JP (1) | JP7245318B2 (ja) |
DE (1) | DE112020000836T5 (ja) |
WO (1) | WO2020189081A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2022149411A1 (ja) * | 2021-01-07 | 2022-07-14 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008069189A1 (ja) | 2006-12-04 | 2008-06-12 | Fujitsu Limited | 運転模擬評価方法、運転模擬評価装置及びコンピュータプログラム |
JP2009265915A (ja) | 2008-04-24 | 2009-11-12 | Toyota Central R&D Labs Inc | シミュレーション装置及びプログラム |
JP2010026845A (ja) | 2008-07-22 | 2010-02-04 | Yokogawa Electric Corp | 車載カメラ用電子ユニットの評価システム |
JP2015015527A (ja) | 2013-07-03 | 2015-01-22 | クラリオン株式会社 | 映像表示システム、映像合成装置及び映像合成方法 |
WO2017171005A1 (ja) | 2016-04-01 | 2017-10-05 | 株式会社wise | 3dグラフィック生成、人工知能の検証・学習システム、プログラム及び方法 |
JP2018060511A (ja) | 2016-10-06 | 2018-04-12 | 株式会社アドバンスド・データ・コントロールズ | シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101272571B1 (ko) * | 2011-11-11 | 2013-06-10 | 재단법인대구경북과학기술원 | 지능형 자동차의 스테레오 비전 시스템에 대한 시뮬레이션 장치 및 이를 이용한 카메라 교정 방법 |
-
2020
- 2020-02-07 DE DE112020000836.3T patent/DE112020000836T5/de active Pending
- 2020-02-07 WO PCT/JP2020/004733 patent/WO2020189081A1/ja active Application Filing
- 2020-02-07 US US17/426,969 patent/US20220101500A1/en active Pending
- 2020-02-07 JP JP2021506232A patent/JP7245318B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008069189A1 (ja) | 2006-12-04 | 2008-06-12 | Fujitsu Limited | 運転模擬評価方法、運転模擬評価装置及びコンピュータプログラム |
JP2009265915A (ja) | 2008-04-24 | 2009-11-12 | Toyota Central R&D Labs Inc | シミュレーション装置及びプログラム |
JP2010026845A (ja) | 2008-07-22 | 2010-02-04 | Yokogawa Electric Corp | 車載カメラ用電子ユニットの評価システム |
JP2015015527A (ja) | 2013-07-03 | 2015-01-22 | クラリオン株式会社 | 映像表示システム、映像合成装置及び映像合成方法 |
WO2017171005A1 (ja) | 2016-04-01 | 2017-10-05 | 株式会社wise | 3dグラフィック生成、人工知能の検証・学習システム、プログラム及び方法 |
JP2018060511A (ja) | 2016-10-06 | 2018-04-12 | 株式会社アドバンスド・データ・コントロールズ | シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法 |
Also Published As
Publication number | Publication date |
---|---|
DE112020000836T5 (de) | 2022-01-05 |
JPWO2020189081A1 (ja) | 2021-10-28 |
WO2020189081A1 (ja) | 2020-09-24 |
US20220101500A1 (en) | 2022-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7011711B2 (ja) | カメラおよび回折光学要素の外因性較正のためのシステムおよび方法 | |
US11663691B2 (en) | Method and apparatus for restoring image | |
JP6883608B2 (ja) | 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム | |
US9514572B2 (en) | Mixed reality space image providing apparatus | |
JP7064257B2 (ja) | 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体 | |
WO2021016891A1 (zh) | 处理点云的方法和装置 | |
JP7245318B2 (ja) | カメラシステムの評価装置及び評価方法 | |
JP2022506061A (ja) | ローリングシャッター画像/ビデオのsfm/slamに対するアプリケーションで畳み込みニューラルネットワークを用いる画像/ビデオにおけるローリングシャッター補正 | |
CN116205069A (zh) | 基于智能驾驶域控制器的场景注入方法、系统及装置 | |
JP2022131778A5 (ja) | ||
JP4961405B2 (ja) | シミュレーション装置の画像データ生成装置 | |
US11823353B2 (en) | System and method for generating bokeh image for DSLR quality depth-of-field rendering and refinement and training method for the same | |
Pfeffer et al. | Video injection methods in a real-world vehicle for increasing test efficiency | |
KR101588409B1 (ko) | 마커를 이용하여 표출되는 증강 현실 객체에 대한 입체 사운드 제공 방법 | |
JP6967150B2 (ja) | 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム | |
JP2021039563A (ja) | 教師データとしてのデプス画像にラベルを付与するプログラム、装置及び方法 | |
US11037354B1 (en) | Character joint representation | |
KR102412373B1 (ko) | 다중 시점 X-ray 데이터를 활용한 3D 데이터 생성 장치 및 방법 | |
Rebling et al. | Development and testing of driver assistance systems with unity | |
KR102654614B1 (ko) | 깊이 이미지 생성 장치 및 그 동작 방법 | |
KR102445874B1 (ko) | 멀티 카메라 시스템을 보정하기 위한 전자 장치 및 이의 제어 방법 | |
WO2022259608A1 (ja) | 電子制御ユニットの評価装置及び評価方法 | |
WO2023106252A1 (ja) | 情報処理方法、情報処理システム、情報処理プログラム及び情報処理プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体 | |
Chen et al. | A Vehicle Driving Simulator Based on Mixed Reality | |
CN118036336A (zh) | 范围自适应高保真深度数据模拟方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230310 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7245318 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |