JP7476151B2 - 画像処理システム、画像処理方法、およびコンピュータプログラム - Google Patents
画像処理システム、画像処理方法、およびコンピュータプログラム Download PDFInfo
- Publication number
- JP7476151B2 JP7476151B2 JP2021155137A JP2021155137A JP7476151B2 JP 7476151 B2 JP7476151 B2 JP 7476151B2 JP 2021155137 A JP2021155137 A JP 2021155137A JP 2021155137 A JP2021155137 A JP 2021155137A JP 7476151 B2 JP7476151 B2 JP 7476151B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- distortion
- distortion correction
- region
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 122
- 238000004590 computer program Methods 0.000 title claims description 12
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000012937 correction Methods 0.000 claims description 193
- 230000003287 optical effect Effects 0.000 claims description 87
- 238000003384 imaging method Methods 0.000 claims description 61
- 238000000034 method Methods 0.000 claims description 43
- 239000002131 composite material Substances 0.000 claims description 18
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 38
- 230000008569 process Effects 0.000 description 33
- 230000006870 function Effects 0.000 description 16
- 238000012790 confirmation Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Closed-Circuit Television Systems (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Studio Devices (AREA)
- Geometry (AREA)
Description
低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により生成した画像信号を取得する画像取得手段と、
前記光学像の特性に基づき前記画像信号に対して歪曲補正をする歪曲補正領域と、歪曲補正しない非歪曲補正領域とを設定するための設定手段と、
前記光学像の特性に基づき前記歪曲補正領域の前記画像信号に対して歪曲補正すると共に、歪曲補正された前記画像信号と、前記非歪曲補正領域の前記画像信号とを合成して合成画像を生成する表示信号生成手段と、を有し、
前記設定手段は、低歪曲領域と高歪曲領域の全体を前記歪曲補正領域とする状態と、低歪曲領域と高歪曲領域の全体を前記非歪曲補正領域とする状態と、を設定可能である、ことを特徴とする。
実施形態1では、高精細な電子ルームミラー用の表示や広範囲な後方などの車両周辺確認用の表示を少ない数のカメラで両立する改善された方法について説明する。
図1は、実施形態1の画像処理システムにおける車両と撮像部の位置関係を説明する図である。
カメラユニット11~14は略同様の構成を有し、それぞれ光学像を撮像する撮像素子と、撮像素子の受光面に光学像を形成する光学系とを有する。
なお、例えばカメラユニット11、13が有する光学系の光軸は略水平となるように設置し、カメラユニット12、14が有する光学系の光軸は水平よりも若干下方を向くように設置されている。
図2(B)は、本実施形態におけるカメラユニット11が有する光学系の像高yと半画角θとの関係を表す射影特性を表した図である。図2(B)では、半画角(光軸と入射光線とがなす角度)θを横軸とし、カメラユニット11のセンサ面上(像面上)での結像高さ(像高)yを縦軸として示している。
また、θmaxをカメラユニット11が有する光学系が有する最大の半画角とするとき、θaとθmaxの比θa/θmaxは所定の下限値以上であることが望ましく、例えば所定の下限値として0.15~0.16が望ましい。
さらに、カメラユニット11が有する光学系は、その射影特性y(θ)が、以下の数1も満足するように構成されている。
なお、カメラユニット11~14のそれぞれの光学系の高解像度領域10aは撮像画角11a~14aに対応しており、低解像度領域10bは撮像画角11b~14bに対応している。
図3は実施形態1における画像処理システムの構成を説明するための機能ブロック図である。
図3において画像処理システム100は、移動体としての車両1に搭載されており、カメラユニット11~14の筐体内にはそれぞれ撮像部21~24とカメラ処理部31~34が配置されている。
31~34はカメラ処理部であり、撮像部21~24と共にそれぞれ同じカメラユニット11~14の筐体に収納されており、撮像部21~24から出力された撮像信号をそれぞれ処理する。なお、図3では撮像部24、カメラ処理部34の詳細およびその配線は便宜上省略されている。
なお、本実施形態の認識部31b~34bは少なくとも高解像度領域10aから得られたRAW画像信号に対して画像認識処理を行い、所定の対象物を認識する。そのために、高解像度領域10aだけを切り出してから画像認識処理してもよい。
或いは、認識部31b~34bは、高解像度領域10aから得られたRAW画像信号を切り出して、その高解像度領域10aから得られたRAW画像信号に対してだけ画像認識処理を行ってもよい。
一方、認識部31b~34bは、統合処理部40の統合制御部41cから、対象物の種類と、その対象物の移動方向に関する情報または優先認識領域情報のセットである予測情報を受信する。この予測情報については後述する。
なお、取り付け位置座標は、カメラユニット毎に車両に対する取り付け位置が決まっている場合が多いので、事前にカメラ情報部内のメモリに記憶しておいてもよい。また、カメラユニットの姿勢座標は車両1に対する相対的な座標であり、カメラユニットに設けられた不図示のエンコーダなどから取得してもよい。あるいは3次元加速度センサなどを用いて取得してもよい。
なお、カメラ情報は撮像部21~24の固有の情報であり、互いに異なり、それらの情報は統合処理部40に送信され、統合処理部40において画像処理などをする際に参照される。ここで、カメラ情報部31c~34cは、光学像の特性に関する特性情報を保持する特性情報保持部として機能している。
なお、カメラ処理部31~34の内部の機能ブロックの一部または全部を、CPUに、メモリに記憶されたコンピュータプログラムを実行させることによって実現してもよいが、その場合には、CPUの処理速度を高めることが望ましい。
画像処理部41aはカメラ処理部31~34からそれぞれのRAW画像信号を取得すると共に、カメラ情報部31c~34cより各カメラユニット11~14のカメラ情報を取得する。
カメラ情報は、前述のように、異画角レンズ21c~24cの光学特性や撮像素子21d~24dの画素数、光電変換特性、ガンマ特性、感度特性、RAW画像信号のフォーマット情報、カメラユニットの車両座標における取り付け座標や姿勢情報などを含む。
すなわち、光学像の特性に基づき歪曲補正領域の画像信号に対して歪曲補正すると共に、歪曲補正された画像信号と、歪曲補正しない非歪曲補正領域の画像信号とを合成して合成画像を生成する。すなわち、画像処理部41aは表示信号生成部としても機能しており、歪曲補正などを行って、合成画像を生成する表示信号生成ステップを行う。なお、本実施形態において歪曲補正領域はユーザにより、または自動で設定可能である。
なお、低解像度領域10bの画像信号と高解像度領域10aから得られた画像信号の両方に対して歪曲補正を行う場合には、画像処理部31a~34aでそれぞれ得られたRAW画像信号をそのまま歪曲補正してもよい。
ここで、認識部41bは、画像取得部により取得された画像信号の内、第1の画像認識部で画像認識を行った一部領域を含む、該一部領域より広い領域の画像信号を画像認識して第2の画像認識結果を出力する第2の画像認識部として機能している。なお、第2の画像認識部は、低歪曲領域としての高解像度領域10aと高歪曲領域としての低解像度領域10bに対応した画像信号を合成した合成画像について画像認識して第2の画像認識結果を出力している。
その場合、つなぎ合わされる複数の撮像部の画像は、それぞれの撮影画角の少なくとも一部が互いに所定量以上のオーバーラップ領域を有するように設定されていることが望ましい。
例えば認識部31b~34bにより認識された画像内の対象物の占める割合と認識部41bにより認識された同じ対象物の、画面内に閉める割合を比較し、その割合が大きい方の認識結果を、より信頼性が高いと判断して採用してもよい。
ここで、統合制御部41cは、第1の画像認識結果の信頼性と第2の画像認識結果の信頼性に基づき統合された画像認識結果を出力する統合処理部として機能している。
第2表示部51は、例えば車両1の運転席の前方の車幅方向の中央付近の操作パネル周辺に設置される。なお、移動体としての車両1には、不図示のナビゲーションシステムや、オーディオシステムなどが搭載されている。
なお、第2表示部51は例えばタブレット端末の表示部であってもよく、統合処理部40に対して有線で接続することにより表示することもできるし、通信部62を介して無線で画像を受信して表示することもできる。
なお、統合処理部40などに含まれる機能ブロックの一部または全部をハードウェアで実現するようにしてもよいし、CPU42に、メモリ43に記憶されたコンピュータプログラムを実行させることによって実現してもよい。ハードウェアとしては、専用回路(ASIC)やプロセッサ(リコンフィギュラブルプロセッサ、DSP)などを用いることができる。
統合処理部40は記憶部61に記憶された過去の情報を再生し、それを第1表示部50や第2表示部51に表示することも可能である。
63は操作部でありユーザの操作によって画像処理システムに対する様々な指示を入力するためのものである。操作部は例えばタッチパネルや操作ボタンなどを含む。
図4に示すように、後方のカメラユニット13の高解像度で低歪曲な像を撮像可能な撮像画角13aの画像は撮像素子の受光面81の高解像度領域(低歪曲領域)10aに結像する。また、低解像度で高歪曲な像を撮像可能な撮像画角13bの画像は撮像素子の受光面88の低解像度領域(高歪曲領域)10bに結像する。
図5(B)は歪曲補正後の画像信号を説明するための図であり、図に示すように低解像度領域(高歪曲領域)10bからの画像信号の歪曲は補正されている。ただし、歪曲補正をしても画像の周辺部の歪曲は若干残る場合がある。
本実施形態においては、これらの3つの表示パターン(歪曲補正する領域の形状や位置や大きさ)を適宜切り替えられるように構成している。なお、前述のように、歪曲補正する領域(或いは歪曲補正しない領域)の形状や位置や大きさを切り替えられるようにしても良い。
本実施形態1においては、ユーザが歪曲補正する領域(または歪曲補正しない非歪曲補正領域)を、操作部63などを用いて手動で選択できるように構成することで、最適な歪曲処理領域を選択することができる。即ち、ユーザにとって遅延が少なく認識しやすい映像を適宜表示することができ、異画角レンズのような光学系を用いた画像処理システムの性能をより引き出すことができる。
実施形態1においては手動で歪曲補正領域の選択を行ったが、実施形態2においては自動で選択を行う。
図8は、実施形態2における歪曲領域選択例を説明するためのフローチャートである。図8のフローは、走行制御部(ECU)60からの走行状態を示す信号に応じて統合処理部40のCPU42がメモリ43内のコンピュータプログラムを実行することにより例えばフレーム単位で処理される。
ステップS82でYes、即ち高解像度領域(低歪曲領域)10aから得られる画像に対象物が認識された場合には、ステップS86に進む。
なお、実施形態1、実施形態2においては、認識部31b~34bは、前述のように、高解像度領域(低歪曲領域)10aの例えば内側の所定の大きさの矩形領域について画像認識を行う。一方、認識部41bでは図6(A)~図6(C)などの例に示されるような、それぞれの表示画面に対応した全体領域について画像認識を行う。
なお、ユーザが、歪曲補正しない領域の位置、大きさ、形状を設置する際に、カメラ情報部31c~34cから取得した光学系の特性情報に基づき高解像度領域10aと低解像度領域10bの境界画像を表示することが望ましい。即ち、境界画像を参照しながら設定できるようにすることで、どの部分を歪曲補正すべきかが正しく判断できる。
次に図9は実施形態3における歪曲領域選択例を説明するためのフローチャートである。
図9のフローは、走行制御部(ECU)60からの走行状態を示す信号に応じて統合処理部40のCPU42がメモリ43内のコンピュータプログラムを実行することにより例えばフレーム単位で処理される。
図10(A)~(E)に示すように複数種類の表示領域、歪曲補正領域、画像認識領域を切り替えられるようになっており、これらの領域は走行制御部(ECU)60からの車両制御情報に基づき切り替えられる。
ステップS92において、車両制御情報に基づき車両が前進状態か否かを判別する。前進であればステップS93において、進路変更中か否かを判別し、Noの場合にはステップS94で前進速度が所定の閾値V1よりも大きいか否かを判別する。
また、82Lは左側方のカメラユニット14の基準画角の画像、82Cは正面のカメラユニット11の基準画角の画像、82Rは右側方のカメラユニット12の基準画角の画像を示している。
図12(A)に示すように、ステップS94で前進速度がV1以下と判別された場合には、基準画角の画像82L、82C、82Rを並べて第1表示部50の表示画面501に表示する。
本実施形態ではステップS94で前進速度がV1以下と判別された場合には、カメラユニット13からの画像についても基準画角の画像82Bが表示される。
また、このとき高解像度領域(低歪曲領域)10a内の画像に対しては歪曲補正を行わず、表示領域84の内側であって高解像度領域(低歪曲領域)10aの外側の領域について歪曲補正を行う。進路変更中においては、前進速度はそれほど高くないので、このような歪曲補正を行う。なお、認識部31b~34bは画像認識領域841について画像認識を行う。一方、認識部41bは広画角の表示領域84全体に対して画像認識を行う。
そして、図11(C)に示すように、第1表示部50の表示画面501には、左側方のカメラユニット14の広画角の画像84L、正面のカメラユニット11の広画角の画像84C、右側面のカメラユニット12の広画角の画像84Rが並べて表示される。
さらに、例えば左に進路変更中の場合には、図11(C)に並べて表示される3つの画像を表示画面501の中心に対して左側にずらして表示してもよい。逆に右に進路変更中の場合には、図11(C)に並べて表示される3つの画像を表示画面501の中心に対して右側にずらして表示してもよい。そのように表示することで視認性を高めることができる。
なお、図11(A)~(C)においてはカメラユニット11、12、14からの画像を並べて或いは合成して表示しているが、例えばカメラユニット12、13、14からの画像を並べて或いは合成して表示してもよい。
図13(A)は実施形態3の後退時の上下方向に狭画角の画像85Bの表示例を説明するための図であり、第2表示部51の表示画面511に例えば図13(A)のような上下方向に狭画角の画像85Bが表示される。
ここで、図13(B)は、実施形態3の後進用の広画角の画像86Bの表示例を示した図である。
なお、歪曲補正をする領域と歪曲補正をしない領域の境界を示すための境界画像を例えば通常走行中などに表示可能としてもよい。
上述した実施形態1~3において説明された様々な機能、処理および方法の少なくとも一つは、プログラムを用いて実現することができる。以下、実施形態4では、上述した実施形態1おいて説明された様々な機能、処理および方法の少なくとも一つを実現するためのプログラムを「プログラムX」と呼ぶ。さらに、実施形態4では、プログラムXを実行するためのコンピュータを「コンピュータY」と呼ぶ。パーソナルコンピュータ、マイクロコンピュータ、CPU(Central Processing Unit)などは、コンピュータYの一例である。上述した実施形態における画像処理システムなどのコンピュータも、コンピュータYの一例である。
10a:高解像度領域
10b:低解像度領域
11~14:カメラユニット
21~24:撮像部
31~34:カメラ処理部
31b~34b:認識部
40:統合処理部
41b:認識部
50:第1表示部
51:第2表示部
60:走行制御部ECU
Claims (18)
- 低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により生成した画像信号を取得する画像取得手段と、
前記光学像の特性に基づき前記画像信号に対して歪曲補正をする歪曲補正領域と、歪曲補正しない非歪曲補正領域とを設定するための設定手段と、
前記光学像の特性に基づき前記歪曲補正領域の前記画像信号に対して歪曲補正すると共に、歪曲補正された前記画像信号と、前記非歪曲補正領域の前記画像信号とを合成して合成画像を生成する表示信号生成手段と、を有し、
前記設定手段は、前記低歪曲領域と前記高歪曲領域との全体を前記歪曲補正領域とする状態と、前記低歪曲領域と前記高歪曲領域との全体を前記非歪曲補正領域とする状態と、を設定可能である、
ことを特徴とする画像処理システム。 - 低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により生成した画像信号を取得する画像取得手段と、
前記光学像の特性に基づき前記画像信号に対して歪曲補正をする歪曲補正領域と、歪曲補正しない非歪曲補正領域とを設定するための設定手段と、
前記光学像の特性に基づき前記歪曲補正領域の前記画像信号に対して歪曲補正すると共に、歪曲補正された前記画像信号と、前記非歪曲補正領域の前記画像信号とを合成して合成画像を生成する表示信号生成手段と、を有し、
前記画像取得手段は移動体に設置されており、
前記設定手段は、前記移動体の移動状態に応じて前記歪曲補正領域と、前記非歪曲補正領域とを設定する、
ことを特徴とする画像処理システム。 - 低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により生成した画像信号を取得する画像取得手段と、
前記光学像の特性に基づき前記画像信号に対して歪曲補正をする歪曲補正領域と、歪曲補正しない非歪曲補正領域とを設定するための設定手段と、
前記光学像の特性に基づき前記歪曲補正領域の前記画像信号に対して歪曲補正すると共に、歪曲補正された前記画像信号と、前記非歪曲補正領域の前記画像信号とを合成して合成画像を生成する表示信号生成手段と、
前記画像信号に基づき画像認識をする第1の画像認識手段と、を有し、
前記設定手段は、前記第1の画像認識手段による画像認識の結果に基づき前記歪曲補正領域と、前記非歪曲補正領域とを設定する、
ことを特徴とする画像処理システム。 - 前記設定手段は、
前記低歪曲領域を前記非歪曲補正領域として設定し、
前記高歪曲領域を前記歪曲補正領域として設定可能である、
ことを特徴とする請求項1~3のいずれか1項に記載の画像処理システム。 - 前記第1の画像認識手段は、歪曲補正されていない画像に基づき画像認識をすることを特徴とする請求項3に記載の画像処理システム。
- 前記画像取得手段は移動体に設置されており、
前記第1の画像認識手段は、前記移動体の移動状態に応じて画像認識領域を変更することを特徴とする請求項3または5に記載の画像処理システム。 - 前記合成画像に基づき画像認識をする第2の画像認識手段を有することを特徴とする請求項3~6のいずれか1項に記載の画像処理システム。
- 前記画像取得手段は、前記光学像を形成する光学系と、
前記光学系により形成された前記光学像を撮像する撮像素子と、を含むことを特徴とする請求項1~7のいずれか1項に記載の画像処理システム。 - 異なる位置に配置された複数の前記画像取得手段を有し、
前記表示信号生成手段は、複数の前記画像取得手段から取得した前記画像信号を合成して合成画像を生成することを特徴とする請求項1~8のいずれか1項に記載の画像処理システム。 - 前記低歪曲領域と前記高歪曲領域はそれぞれ前記光学像の高解像度領域、低解像度領域に対応していることを特徴とする請求項1~9のいずれか1項に記載の画像処理システム。
- 前記光学系の焦点距離をf、半画角をθ、像面での像高をy、像高yと半画角θとの関係を表す射影特性をy(θ)とするとき、
前記低歪曲領域におけるy(θ)はf×θより大きく、前記高歪曲領域における前記射影特性とは異なることを特徴とする請求項8に記載の画像処理システム。 - 前記低歪曲領域は、中心射影方式(y=f×tanθ)または等距離射影方式(y=f×θ)に近似した射影特性となるように構成されていることを特徴とする請求項11に記載の画像処理システム。
- θmaxを前記光学系が有する最大の半画角、Aを所定の定数とするとき、
- 複数の前記画像取得手段を有し、少なくとも2つの前記画像取得手段の撮影範囲が互いに重複するように配置されていることを特徴とする請求項1~13のいずれか1項に記載の画像処理システム。
- 少なくとも2つの前記画像取得手段の前記低歪曲領域の前記撮影範囲が互いに重複するように配置されていることを特徴とする請求項14に記載の画像処理システム。
- 低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により生成した画像信号を取得する画像取得ステップと、
前記光学像の特性に基づき、前記画像信号に対して歪曲補正をする歪曲補正領域と、歪曲補正しない非歪曲補正領域とを設定するための設定ステップと、
前記光学像の特性に基づき前記歪曲補正領域の前記画像信号に対して歪曲補正すると共に、歪曲補正された前記画像信号と、前記非歪曲補正領域の前記画像信号とを合成して合成画像を生成する表示信号生成ステップと、
を有し、
前記設定ステップは、低歪曲領域と高歪曲領域の全体を前記歪曲補正領域とする状態と、低歪曲領域と高歪曲領域の全体を前記非歪曲補正領域とする状態と、を設定可能である、
ことを特徴とする画像処理方法。 - 画像処理システムのコンピュータに、
低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により生成した画像信号を取得する画像取得ステップと、
前記光学像の特性に基づき、前記画像信号に対して歪曲補正をする歪曲補正領域と、歪曲補正しない非歪曲補正領域とを設定するための設定ステップと、
前記光学像の特性に基づき前記歪曲補正領域の前記画像信号に対して歪曲補正すると共に、歪曲補正された前記画像信号と、前記非歪曲補正領域の前記画像信号とを合成して合成画像を生成する表示信号生成ステップと、
を行わせるコンピュータプログラムであって、
前記設定ステップは、低歪曲領域と高歪曲領域の全体を前記歪曲補正領域とする状態と、低歪曲領域と高歪曲領域の全体を前記非歪曲補正領域とする状態と、を設定可能である、
ことを特徴とするコンピュータプログラム。 - 低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により生成した画像信号を取得する画像取得手段と、
前記光学像の特性に基づき前記画像信号に対して歪曲補正をする歪曲補正領域と、歪曲補正しない非歪曲補正領域とを設定するための設定手段と、
前記光学像の特性に基づき前記歪曲補正領域の前記画像信号に対して歪曲補正すると共に、歪曲補正された前記画像信号と、前記非歪曲補正領域の前記画像信号とを合成して合成画像を生成する表示信号生成手段と、
を有し、
前記画像取得手段は、前記光学像を形成する光学系と、前記光学系により形成された前記光学像を撮像する撮像素子と、を含み、
前記光学系の焦点距離をf、半画角をθ、像面での像高をy、像高yと半画角θとの関係を表す射影特性をy(θ)とするとき、
前記低歪曲領域におけるy(θ)はf×θより大きく、前記高歪曲領域における前記射影特性とは異なり、
θmaxを前記光学系が有する最大の半画角、Aを所定の定数とするとき、
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021155137A JP7476151B2 (ja) | 2021-09-24 | 2021-09-24 | 画像処理システム、画像処理方法、およびコンピュータプログラム |
US17/942,284 US20230100099A1 (en) | 2021-09-24 | 2022-09-12 | Image processing system, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021155137A JP7476151B2 (ja) | 2021-09-24 | 2021-09-24 | 画像処理システム、画像処理方法、およびコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023046511A JP2023046511A (ja) | 2023-04-05 |
JP7476151B2 true JP7476151B2 (ja) | 2024-04-30 |
Family
ID=85722233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021155137A Active JP7476151B2 (ja) | 2021-09-24 | 2021-09-24 | 画像処理システム、画像処理方法、およびコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230100099A1 (ja) |
JP (1) | JP7476151B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004272578A (ja) | 2003-03-07 | 2004-09-30 | Minolta Co Ltd | 撮像装置及び歪み補正方法 |
WO2013008623A1 (ja) | 2011-07-12 | 2013-01-17 | 日産自動車株式会社 | 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法 |
JP2015132879A (ja) | 2014-01-09 | 2015-07-23 | クラリオン株式会社 | 車両用外界認識装置 |
JP2020014067A (ja) | 2018-07-13 | 2020-01-23 | マクセル株式会社 | ステレオ撮像装置 |
-
2021
- 2021-09-24 JP JP2021155137A patent/JP7476151B2/ja active Active
-
2022
- 2022-09-12 US US17/942,284 patent/US20230100099A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004272578A (ja) | 2003-03-07 | 2004-09-30 | Minolta Co Ltd | 撮像装置及び歪み補正方法 |
WO2013008623A1 (ja) | 2011-07-12 | 2013-01-17 | 日産自動車株式会社 | 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法 |
JP2015132879A (ja) | 2014-01-09 | 2015-07-23 | クラリオン株式会社 | 車両用外界認識装置 |
JP2020014067A (ja) | 2018-07-13 | 2020-01-23 | マクセル株式会社 | ステレオ撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
US20230100099A1 (en) | 2023-03-30 |
JP2023046511A (ja) | 2023-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10462372B2 (en) | Imaging device, imaging system, and imaging method | |
JP5194679B2 (ja) | 車両用周辺監視装置および映像表示方法 | |
JP5321711B2 (ja) | 車両用周辺監視装置および映像表示方法 | |
JP2005311868A (ja) | 車両周辺視認装置 | |
WO2010070920A1 (ja) | 車両周囲画像生成装置 | |
JP2009206747A (ja) | 車両用周囲状況監視装置及び映像表示方法 | |
JP2008060650A (ja) | 車載用撮像装置および車載用撮像装置の撮像方法 | |
JP2024063155A (ja) | 移動体、画像処理方法、およびコンピュータプログラム | |
JP7467402B2 (ja) | 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム | |
EP4156127A1 (en) | Image processing system, mobile object, image processing method, and storage medium | |
EP4155817A1 (en) | Camera unit installing method, mobile object, image processing system, image processing method, and storage medium | |
JP7476151B2 (ja) | 画像処理システム、画像処理方法、およびコンピュータプログラム | |
JP7434476B2 (ja) | 画像処理システム、画像処理方法、撮像装置、光学系、およびコンピュータプログラム | |
US20230094232A1 (en) | Image processing system, image processing method, storage medium, image pickup apparatus, and optical unit | |
US20240177492A1 (en) | Image processing system, image processing method, and storage medium | |
US20230394845A1 (en) | Movable apparatus, control method for movable apparatus, and storage medium | |
WO2023145693A1 (ja) | 画像処理システム、移動体、画像処理方法、及び記憶媒体 | |
JP2024050331A (ja) | 移動体及び撮像装置の設置方法 | |
JP2024050334A (ja) | 移動体及び撮像装置の設置方法 | |
CN118118800A (zh) | 图像处理系统、图像处理方法和存储介质 | |
JP2023109163A (ja) | 画像処理システム、移動体、画像処理方法、及びコンピュータプログラム | |
JP2023046571A (ja) | カメラシステム、移動体、制御方法、及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221006 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230821 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240417 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7476151 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |