JP2024015890A - Image processing system, image processing method, and computer program - Google Patents
Image processing system, image processing method, and computer program Download PDFInfo
- Publication number
- JP2024015890A JP2024015890A JP2022118264A JP2022118264A JP2024015890A JP 2024015890 A JP2024015890 A JP 2024015890A JP 2022118264 A JP2022118264 A JP 2022118264A JP 2022118264 A JP2022118264 A JP 2022118264A JP 2024015890 A JP2024015890 A JP 2024015890A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- area
- cutout
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 110
- 238000004590 computer program Methods 0.000 title claims description 14
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000003287 optical effect Effects 0.000 claims abstract description 28
- 238000003384 imaging method Methods 0.000 claims abstract description 22
- 238000012937 correction Methods 0.000 claims description 123
- 238000000034 method Methods 0.000 claims description 53
- 230000008859 change Effects 0.000 claims description 3
- 239000002131 composite material Substances 0.000 description 130
- 230000008569 process Effects 0.000 description 43
- 238000006073 displacement reaction Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 14
- 230000015572 biosynthetic process Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 11
- 238000003825 pressing Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像からの切出領域に関する画像処理システム、画像処理方法、及びコンピュータプログラムに関する。 The present invention relates to an image processing system, an image processing method, and a computer program related to cutout regions from images.
近年、車両に搭載されるルームミラーやサイドミラーを電子ミラーで置き換えるという要望がある。 In recent years, there has been a desire to replace the room mirrors and side mirrors installed in vehicles with electronic mirrors.
例えば特許文献1には、車両外の後方を撮像する撮像手段と車両内の表示手段を有し、撮像手段で撮像した画像を車両内の電子ルームミラーで表示し、ドライバーが車両外の後方の様子を確認できる電子ルームミラーシステムが記載されている。 For example, Patent Document 1 discloses that the vehicle has an imaging means for taking an image of the rear outside the vehicle and a display means inside the vehicle, and the image taken by the imaging means is displayed on an electronic rearview mirror inside the vehicle so that the driver can see the rear outside the vehicle. It mentions an electronic rearview mirror system that allows you to check what's going on.
又、電子ルームミラー用と、後進時の後方確認モニタ(以下バックモニタ)用の映像を1台のカメラで撮影するため、特殊な超広角レンズ(以下、単に超広角レンズと記載する)を用いたカメラ(以下、超広角カメラと記載する)が検討されている。
しかしこのようなカメラでは画像に歪みが発生しており、表示された画面の中の一部領域を操作する場合に、どのようなUIにするべきかについては十分に検討されていない。
In addition, a special ultra-wide-angle lens (hereinafter referred to simply as the ultra-wide-angle lens) is used to capture images for the electronic rearview mirror and the rear confirmation monitor when reversing (hereinafter referred to as the back monitor) with one camera. A new camera (hereinafter referred to as an ultra-wide-angle camera) is being considered.
However, in such a camera, distortion occurs in the image, and there has not been sufficient consideration as to what kind of UI should be used when operating a partial area of the displayed screen.
そこで本発明は、上記の課題を鑑みて、ユーザーが切出領域を調整しやすい画像処理システムを提供することを目的とする。 SUMMARY OF THE INVENTION In view of the above problems, it is an object of the present invention to provide an image processing system that allows a user to easily adjust a cutout area.
上記目的を達成するために、本発明の1側面の画像処理システムは、
低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により形成した撮影画像情報を取得する画像取得手段と、
前記撮影画像情報における切出領域の範囲を示す切出領域情報とを取得する情報取得手段と、
前記切出領域情報に基づき前記切出領域の境界を示す切出境界情報を形成する切出境界情報形成手段と、
前記低歪曲領域と前記高歪曲領域との境界を示す歪曲境界情報と、前記切出境界情報とを重畳した画像を形成する画像形成手段と、を有することを特徴とする。
In order to achieve the above object, an image processing system according to one aspect of the present invention includes:
an image acquisition means for acquiring captured image information formed by an imaging means for capturing an optical image having a low distortion region and a high distortion region;
Information acquisition means for acquiring cutout area information indicating a range of the cutout area in the photographed image information;
Cutting boundary information forming means for forming cutting boundary information indicating a boundary of the cutting region based on the cutting region information;
The present invention is characterized by comprising an image forming means for forming an image in which distortion boundary information indicating a boundary between the low distortion area and the high distortion area and the cutting boundary information are superimposed.
本発明によれば、ユーザーが切出領域を調整しやすい画像処理システムを実現することができる。 According to the present invention, it is possible to realize an image processing system in which a user can easily adjust a cutout area.
以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。 Embodiments of the present invention will be described below with reference to the drawings. However, the present invention is not limited to the following embodiments. In each figure, the same reference numerals are given to the same members or elements, and overlapping explanations are omitted or simplified.
<実施形態1>
本実施形態では、ユーザーが超広角カメラの撮影画像に対して、切出領域の範囲や歪曲の度合いを確認しながら、撮影画像の中の意図した領域を選択して切出領域を調整できるようにする。
<Embodiment 1>
In this embodiment, the user can adjust the cropping area by selecting the intended area in the captured image while checking the range of the cropping area and the degree of distortion in the image captured by the ultra-wide-angle camera. Make it.
図1は、実施形態1に係る画像処理システム100の構成を示す機能ブロック図である。画像処理システム100は、撮像部10、統合処理部20、合成画像表示部30、切出画像表示部40を有する。尚、撮像部10は車両等の移動体に搭載されるが、統合処理部20,合成画像表示部30,切出画像表示部40は車両等の移動体に搭載されていなくても良く、例えばリモートコントローラなどに設けられていても良い。
FIG. 1 is a functional block diagram showing the configuration of an
尚、図1に示される機能ブロックの一部は、統合処理部20等に含まれる不図示のコンピュータに、不図示のメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路(ASIC)やプロセッサ(リコンフィギュラブルプロセッサ、DSP)などを用いることができる。
Note that some of the functional blocks shown in FIG. 1 are realized by causing a computer (not shown) included in the integrated
又、図1に示される夫々の機能ブロックは、実線で囲われて表示されている場合であっても、同じ筐体等に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。尚、図1に関する上記の説明は、図14、図15についても同様に当てはまる。 Furthermore, even if the functional blocks shown in Figure 1 are surrounded by solid lines, they do not have to be built into the same housing, and can be connected to each other via signal paths. It may be configured by separate devices. Note that the above description regarding FIG. 1 also applies to FIGS. 14 and 15.
撮像部10は例えば超広角カメラであり、統合処理部20は例えば移動体としての車両に搭載するコンピュータであり、合成画像表示部30は例えばタッチパネルと押しボタン(切替キー)を搭載したカーナビモニタやタブレット端末である。又、切出画像表示部40は例えばタッチパネルと押しボタン(切替キー)を搭載した電子ルームミラーである。尚、電子ルームミラーは例えば運転席の前側の上方周辺などに設けられている。
The
撮像部10は超広角レンズ11と例えばCMOSイメージセンサやCCDイメージセンサなどの撮像素子12と例えばフラッシュメモリなどの記憶部13を有する。超広角レンズ11は、撮像素子12の受光面に、低歪曲領域と高歪曲領域とを有する光学像を形成するレンズまたはレンズ群である。
The
図2(A)、(B)は、本発明の実施形態1における超広角レンズ11の光学特性を説明するための図であり、図2(A)は、本実施形態における超広角レンズ11の、撮像素子の受光面上での各半画角における像高yを等高線状に示した図である。
2(A) and 2(B) are diagrams for explaining the optical characteristics of the ultra-wide-
図2(B)は、本実施形態における超広角レンズ11の、像高yと半画角θとの関係を表す射影特性を表した図である。図2(B)では、半画角(光軸と入射光線とがなす角度)θを横軸とし、撮像素子12のセンサ面上(像面上)での結像高さ(像高)yを縦軸として示している。
FIG. 2(B) is a diagram showing the projection characteristic representing the relationship between the image height y and the half angle of view θ of the ultra-wide-
本実施形態における超広角レンズ11は、図2(B)に示すように、所定の半画角θa未満の領域と半画角θa以上の領域でその射影特性y(θ)が異なるように構成されている。したがって、単位あたりの半画角θに対する像高yの増加量を解像度というとき、解像度が領域によって異なる。
As shown in FIG. 2(B), the ultra-wide-
この局所的な解像度は、射影特性y(θ)の半画角θでの微分値dy(θ)/dθで表されるともいえる。即ち、図2(B)の射影特性y(θ)の傾きが大きいほど解像度が高いといえる。又、図2(A)の等高線状の各半画角における像高yの間隔が大きいほど解像度が高いともいえる。 It can be said that this local resolution is expressed by the differential value dy(θ)/dθ of the projection characteristic y(θ) at the half angle of view θ. That is, it can be said that the larger the slope of the projection characteristic y(θ) in FIG. 2(B), the higher the resolution. It can also be said that the larger the interval between the image heights y in each half angle of view of the contour lines in FIG. 2(A), the higher the resolution.
本実施形態においては、半画角θが所定の半画角θa未満のときに撮像素子の受光面上に形成される中心周辺の領域を高解像度領域11a、半画角θが所定の半画角θa以上の外側の領域を低解像度領域11bと呼ぶ。尚、本実施形態では、高解像度領域11aと低解像度領域11bの境界、即ち低歪曲領域と高歪曲領域の境界を歪曲境界と呼ぶ。
In this embodiment, the area around the center formed on the light-receiving surface of the image sensor when the half-field angle θ is less than a predetermined half-field angle θa is a high-
尚、本実施形態において、高解像度領域11aは歪曲が相対的に少ない低歪曲領域であり、低解像度領域11bは歪曲が相対的に多い高歪曲領域となっている。したがって、本実施形態においては、高解像度領域、低解像度領域はそれぞれ低歪曲領域、高歪曲領域に対応しており、高解像度領域、低解像度領域をそれぞれ低歪曲領域、高歪曲領域と呼ぶ場合がある。
In this embodiment, the high-
本実施形態における超広角レンズ11は、高解像度領域(低歪曲領域)11aにおいてその射影特性y(θ)がf×θより大きくなるように構成されている(fは超広角レンズ11の焦点距離)。又、高解像度領域(低歪曲領域)における射影特性y(θ)は低解像度領域(高歪曲領域)における射影特性とは異なるように設定されている。
The ultra-wide-
又、θmaxを超広角レンズ11が有する最大の半画角とするとき、θaとθmaxの比θa/θmaxは所定の下限値以上であることが望ましく、例えば所定の下限値として0.15~0.16が望ましい。
Further, when θmax is the maximum half-field angle that the ultra-wide-
又、θaとθmaxの比θa/θmaxは所定の上限値以下であることが望ましく、例えば0.25~0.35とすることが望ましい。例えば、θmaxを90°とし、所定の下限値を0.15、所定の上限値0.35とする場合、θaは13.5~31.5°の範囲で決定することが望ましい。 Further, the ratio θa/θmax between θa and θmax is desirably less than a predetermined upper limit, for example, preferably 0.25 to 0.35. For example, when θmax is 90°, the predetermined lower limit is 0.15, and the predetermined upper limit is 0.35, it is desirable to determine θa in the range of 13.5 to 31.5°.
更に、超広角レンズ11は、その射影特性y(θ)が、以下の数式1を満足するように構成されている。
fは、前述のように超広角レンズ11の焦点距離であり、Aは所定の定数である。下限値を1とすることで、同じ最大結像高さを有する正射影方式(y=f×sinθ)の魚眼レンズよりも中心解像度を高くすることができ、上限値をAとすることで、魚眼レンズ同等の画角を得つつ良好な光学性能を維持することができる。所定の定数Aは、高解像度領域と、低解像度領域の解像度のバランスを考慮して決めればよく、1.4~1.9となるようにするのが望ましい。
f is the focal length of the ultra-wide-
以上のように超広角レンズ11を構成することで、光軸周辺の狭い画角において高精細な画像を得ることができ、かつその外側の広い画角において低解像度の撮像画像を得ることができる。即ち、高解像度領域11aにおいては、高解像度が得られる一方、低解像度領域11bでは、単位あたりの半画角θに対する像高yの増加量を小さくし、より広い画角を撮像することが可能になる。したがって、魚眼レンズと同等の広画角を撮像範囲としつつ、高解像度領域11aにおいては、高い解像度を得ることができる。
By configuring the ultra-wide-
更に、本実施形態では、高解像度領域(低歪曲領域)においては、通常の撮像用の光学系の射影特性である中心射影方式(y=f×tanθ)や等距離射影方式(y=f×θ)に近似した射影特性としている。従って、光学歪曲が小さく、精細に表示することが可能となる。したがって、例えば周囲の車両などを目視する際における自然な遠近感が得られると共に、画質の劣化を抑えて良好な視認性を得ることができる。 Furthermore, in this embodiment, in a high resolution region (low distortion region), the central projection method (y=f×tanθ) and the equidistant projection method (y=f×tanθ), which are the projection characteristics of a normal imaging optical system, are used. The projection characteristic is approximated to θ). Therefore, optical distortion is small and it is possible to display finely. Therefore, it is possible to obtain a natural sense of perspective when viewing surrounding vehicles, for example, and to obtain good visibility by suppressing deterioration of image quality.
尚、本実施形態の超広角レンズは例えば上述の数1の条件を満たす射影特性y(θ)を有する光学系を指している。しかし、上述の数1の条件を満たす射影特性y(θ)であれば、同様の効果を得ることができるため、本発明における超広角レンズ11の特性は、図2に示した射影特性に限定されない。
Note that the ultra-wide-angle lens of this embodiment refers to an optical system having a projection characteristic y(θ) that satisfies the above-mentioned condition of Equation 1, for example. However, the same effect can be obtained as long as the projection characteristic y(θ) satisfies the condition of Equation 1 above, so the characteristics of the ultra-wide-
図1に戻り、撮像素子は超広角レンズ11により形成された光学像を光電変換して撮像信号を形成する。撮像部10は図示しない画像処理部を有しており、画像処理部は撮像素子12より入力された撮像信号を画像処理し、撮像信号をRAW現像した撮影画像情報を撮影画像として統合処理部20に出力している。具体的には、画像処理部は撮像素子12からベイヤー配列に従って入力された撮像信号をデベイヤ処理し、RGBのラスタ形式の撮影画像情報へ変換する。
Returning to FIG. 1, the image sensor photoelectrically converts the optical image formed by the ultra-wide-
更に、画像処理部はホワイトバランスの調整やゲイン・オフセット調整、ガンマ処理、カラーマトリックス処理や可逆圧縮処理など種々の補正処理を行う。但し、非可逆圧縮処理などは行わず、RAW現像したいわゆるRGB画像を形成する。 Furthermore, the image processing section performs various correction processes such as white balance adjustment, gain/offset adjustment, gamma processing, color matrix processing, and reversible compression processing. However, irreversible compression processing is not performed, and a so-called RGB image that has been developed in RAW is formed.
記憶部13は、ROMを有し、超広角レンズ11に固有のレンズ特性情報13aを記憶している。レンズ特性情報13aは、例えば超広角レンズ11の光軸中心座標(以下レンズ中心座標L_cp)、歪曲収差の係数L_k、レンズの半径L_r、歪曲境界の半径L_bd等を含む。
The
これらの情報は、撮影画像ファイルにメタ情報として付加しても良い。尚、レンズ中心座標L_cpと歪曲境界の半径L_bdに基づき形成される、歪曲境界を意味する1ビットのメタ情報を歪曲境界情報と呼ぶ。 These pieces of information may be added to the photographed image file as meta information. Note that 1-bit meta information that means a distortion boundary and is formed based on the lens center coordinate L_cp and the radius L_bd of the distortion boundary is called distortion boundary information.
記憶部13は、RAMを有し、書き換え可能な情報として切出領域情報13b、合成画像出力モード13c、切出画像出力モード13dも記憶可能である。尚、このRAMに記憶される情報は例えば統合処理部20のRAM26などに記憶しても良い。
The
切出領域情報CAは、例えばユーザが選択した撮影画像情報上の切出領域の重心座標CA_cp、切出領域の横方向・縦方向の画素数を表す基準サイズCA_bs、基準サイズCA_bsに対する切出領域の倍率CA_m等を含む。尚、切出領域情報CAも、撮影画像ファイルにメタ情報として付加しても良い。 The cropping area information CA includes, for example, the centroid coordinate CA_cp of the cropping area on the captured image information selected by the user, a reference size CA_bs representing the number of pixels in the horizontal and vertical directions of the cropping area, and a cropping area for the reference size CA_bs. This includes the magnification CA_m, etc. Note that the cutout area information CA may also be added to the photographed image file as meta information.
尚、切出領域の基準サイズCA_bsに対して切出領域の倍率CA_mを掛けて算出した横方向・縦方向の画素数を切出領域サイズCA_sと呼ぶ。又、切出領域の重心座標CA_cpと切出領域サイズCA_sに基づき形成される、切出領域と切出領域以外の領域との境界を意味する1ビットのメタ情報を切出境界情報と呼ぶ。 Note that the number of pixels in the horizontal and vertical directions calculated by multiplying the reference size CA_bs of the cutout area by the magnification CA_m of the cutout area is called the cutout area size CA_s. Furthermore, 1-bit meta information that is formed based on the barycentric coordinates CA_cp of the cutout area and the cutout area size CA_s and means the boundary between the cutout area and an area other than the cutout area is called cutout boundary information.
合成画像出力モード13cは合成画像形成部23に入力され、撮影画像情報に対する歪曲補正の有無を決定する1ビットの情報である。例えば合成画像出力モードの値が0ならば合成画像形成部23が撮影画像情報に対して歪曲補正を行わない歪曲補正無モードを示し、合成画像出力モードの値が1ならば歪曲補正を行う歪曲補正有モードを示す。
The composite
切出画像出力モード13dは切出画像形成部24に入力され、切出画像内の撮影画像に対する歪曲補正の有無を決定する1ビットの情報である。例えば切出画像出力モードの値が0ならば切出画像形成部24が切出画像内の撮影画像に対して歪曲補正を行わない歪曲補正無モードを示し、切出画像出力モードの値が1ならば切出画像内の撮影画像に対して歪曲補正を行う歪曲補正有モードを示す。
The cropped
統合処理部20はFPGA(やSoC)の機能として切出境界情報算出部21と切出画像出力モード制御部22と合成画像形成部23と切出画像形成部24とを有する。又、コンピュータとしてのCPU25と主記憶媒体としてのRAM26とを有する。
The
又、統合処理部20はコンピュータプログラムを記憶する図示しないプログラムメモリや、画像処理システム100全体の各種情報の読み出し又は書き込みを行うDMAC(Direct Memory Access Controller)を有する。
The
切出境界情報算出部21は、撮影画像情報に対して重畳される、切出境界情報の形成を行う。又、切出境界情報算出部21は、内部に合成画像出力モード、切出画像出力モード、レンズ特性情報L、切出領域情報CA、切出境界情報を保持するレジスタを有する。
The cutout boundary
具体的には、切出境界情報算出部21は内部のレジスタが保持する合成画像出力モード、切出画像出力モードに基づき切出領域情報CAに対する処理を決定する。そして、内部のレジスタが保持するレンズ特性情報L、切出領域情報CAに基づき切出境界情報を形成する。又、切出境界情報を、切出画像出力モード制御部22と合成画像形成部23が夫々有するレジスタに書き込む。
Specifically, the cutout boundary
合成画像形成部23は、撮影画像情報に対して少なくとも歪曲境界情報、切出境界情報、メッセージ情報の1つを重畳して合成画像情報を形成し、合成画像情報を合成画像表示部30に出力する。又、合成画像形成部23は、内部に合成画像出力モード、レンズ特性情報L、歪曲境界情報、切出境界情報、メッセージ情報等を保持するレジスタを有する。尚、メッセージ情報については切出画像出力モード制御部22を説明する際に合わせて説明する。
The composite
合成画像形成部23は、撮像素子12から撮影画像情報を取得し、撮影画像情報に対して解像度変換を行う。又、合成画像形成部23は内部のレジスタが保持する合成画像出力モードに基づき撮影画像情報に対する歪曲補正の有無を決定する。そして、合成画像出力モードが歪曲補正有モードである場合、内部のレジスタが保持するレンズ特性情報Lに基づき撮影画像情報に対して歪曲補正を行う。
The composite
又、合成画像形成部23は内部のレジスタが保持する歪曲境界情報、切出境界情報を重畳して合成することで、図3(A)~(D)に示す合成画像200a、200b、300a、300bの少なくとも1つを示す合成画像情報を形成する。
In addition, the composite
図3は(A)~(D)は、実施形態1で形成される合成画像を説明する概念図であり、図3(A)、(B)は、合成画像出力モードが、歪曲補正無モードである時の合成画像を示す図である。歪曲境界情報201、切出境界情報202を夫々合成画像200a、200bに重畳した画像を示している。 FIGS. 3A to 3D are conceptual diagrams illustrating the composite image formed in the first embodiment, and FIGS. 3A and 3B show that the composite image output mode is the no-distortion correction mode. FIG. 3 is a diagram showing a composite image when . An image in which distortion boundary information 201 and cutout boundary information 202 are superimposed on composite images 200a and 200b, respectively, is shown.
又、切出境界情報202は切出境界情報算出部21によって合成画像出力モードと切出画像出力モードに応じた処理を行うことで形成されており、切出画像出力モードが歪曲補正無モードである場合は切出境界情報202aとして重畳される。又、切出画像出力モードが歪曲補正有モードである場合は切出境界情報202bとして重畳される。ここで切出境界情報202aの形状が長方形の時、切出境界情報202bの形状は樽型となり、歪曲境界の外側に離れるほど強く歪曲補正がかかった形状になる。
Further, the cropping boundary information 202 is formed by the cropping boundary
一方、図3(C)、(D)の合成画像300a、300bは合成画像出力モードが歪曲補正有モードである時の合成画像であり、歪曲境界情報301、切出境界情報302を夫々重畳した画像である。 On the other hand, the composite images 300a and 300b in FIGS. 3(C) and 3(D) are composite images when the composite image output mode is the distortion correction mode, and are obtained by superimposing distortion boundary information 301 and cutting boundary information 302, respectively. It is an image.
又、切出境界情報302は切出境界情報算出部21によって、合成画像出力モードと切出画像出力モードの値に応じた処理を行うことで形成されており、切出画像出力モードが歪曲補正無モードである場合は切出境界情報302aとして重畳される。一方、切出画像出力モードが歪曲補正有モードである場合は切出境界情報302bとして重畳される。
Further, the cropping boundary information 302 is formed by the cropping boundary
ここで切出境界情報302bの形状が長方形の時、切出境界情報302aの形状は糸巻き型となり、歪曲境界の外側に離れるほど強く歪曲した形状になる。又、合成画像形成部23は内部のレジスタが保持するメッセージ情報を合成画像情報に対して重畳して合成画像表示部30に出力する。
Here, when the shape of the cutout boundary information 302b is a rectangle, the shape of the cutout boundary information 302a is a pincushion shape, and the shape becomes more strongly distorted as it moves away from the distortion boundary. Further, the composite
切出画像出力モード制御部22は、切出領域が高歪曲領域を含んでいない場合、切出画像形成部24に入力される撮影画像情報に対して歪曲補正を行わないよう切出画像出力モードを歪曲補正無モードに切り替える。又、切出画像出力モード制御部22は内部に切出画像出力モード、歪曲境界情報、切出境界情報、メッセージ情報を保持するレジスタを有する。
When the cropped region does not include a highly distorted region, the cropped image output
そして、切出画像出力モード制御部22は、内部のレジスタが保持する歪曲境界情報と切出境界情報とに基づき、切出領域に高歪曲領域が含まれているか否かを判定する。切出領域に高歪曲領域が含まれていないと判定された場合、切出画像出力モードを歪曲補正無モードにして、RAM26内の切出画像出力モードを書き換える。
Then, the cropped image output
一方で、切出領域に高歪曲領域が含まれていると判定された場合には、切出画像出力モード制御部22は内部のレジスタが保持する切出画像出力モードに応じて2ビットのメッセージ情報を形成し、メッセージ情報をRAM26に書き込む。ここで、メッセージ情報は例えば図4~図7に示すメッセージ401、402、403の各メッセージのうち何れかを決定する2ビットの情報である。
On the other hand, if it is determined that the cropped region includes a highly distorted region, the cropped image output
図4(A)~(C)は、スワイプ操作時の合成画像表示部30の表示例を示す図、図5(A)~(C)は、ピンチ操作時の合成画像表示部30の表示例を示す図である。又、図6(A)、(B)は、合成画像の歪曲補正切替キー押下時の合成画像表示部30の表示例を示す図、図7(A)~(C)は、切出画像の歪曲補正切替キー押下時の合成画像表示部30の表示例を示す図である。
4(A) to (C) are diagrams showing display examples of the composite
本実施形態では、切出画像出力モード制御部22は、メッセージ情報は値00の場合は空白のメッセージ401、値10の場合は、「(切出画像に)高歪曲な領域を含んでいます」というメッセージ402にする。即ち、切出領域が前記低歪曲領域を含むか否かをメッセージを表示することができる。
In this embodiment, the cropped image output
又、値11の場合は、「(切出画像に対して)ミラーの歪曲を補正して表示してます」というメッセージ403にする。即ち、切出領域の画像の歪曲補正の有無に関するメッセージを表示することができる。 If the value is 11, a message 403 is displayed saying "Mirror distortion is corrected and displayed (on the cropped image)." That is, it is possible to display a message regarding the presence or absence of distortion correction for the image of the cutout area.
切出画像出力モード制御部22が形成したメッセージ情報に基づき、CPU25によって、図4~図7のメッセージ401、402、403の何れかのメッセージ情報が形成され、合成画像形成部23によって合成画像情報に重畳表示される。
Based on the message information formed by the cutout image output
切出画像形成部24は、切出領域情報CAに基づき撮影画像情報を切り出すことで切出画像情報を形成し、切出画像情報を切出画像表示部40に出力する。又、切出画像形成部24は、内部に切出画像出力モード、レンズ特性情報L、切出領域情報CA、切出画像情報を保持するレジスタを有する。
The cutout
具体的には、切出画像形成部24は撮像素子12から撮影画像情報を取得し、撮影画像情報に対して解像度変換を行う。又、切出画像形成部24は、内部のレジスタが保持する切出画像出力モードに基づき撮影画像情報に対する歪曲補正の有無を決定する。例えば、切出画像出力モードが歪曲補正有モードである場合、内部のレジスタが保持するレンズ特性情報Lに基づき切出画像の撮影画像情報に対して歪曲補正を行う。
Specifically, the cutout
又、切出画像形成部24は、内部のレジスタが保持する切出領域情報CAに基づき撮影画像情報を切り出すことで切出画像情報を形成し、切出画像情報に対して解像度変換を行い、切出画像情報を切出画像表示部40に出力する。
Further, the cutout
CPU25はプログラムメモリ内のコンピュータプログラムを実行することにより、画像処理システム100全体の各種制御を行う。又、CPU25は、記憶部13とRAM26との間で通信を行い、レンズ特性情報13a、切出領域情報13b、合成画像出力モード13c、切出画像出力モード13dの各種情報の読み出し及び書き込みを行う。又、CPU25は、レンズ中心座標L_cpと歪曲境界の半径L_bdから歪曲境界情報を形成し、歪曲境界情報をRAM26に書き込む。
The
又、CPU25はレンズ特性情報L、切出領域情報CA、合成画像出力モード、切出画像出力モード、歪曲境界情報の各種情報をRAM26から読み出す。そして、それらの情報を、切出境界情報算出部21、切出画像出力モード制御部22、合成画像形成部23、切出画像形成部24の各部が夫々有する各レジスタに書き込む。又、CPU25はRAM26からメッセージ情報を読み出し、メッセージ情報に従ってメッセージ画像情報を形成し、メッセージ画像情報を合成画像形成部23が有するレジスタに書き込む。
Further, the
又、CPU25は調整値入力UI32、調整値入力UI42の少なくとも何れかのタッチパネルから入力された電気信号に基づき画面上で切出領域の範囲のスワイプ、ピンチなどのユーザーの操作を検出する。そして、検出したユーザーの操作に基づき切出領域情報CAを算出し、RAM26内の切出領域情報CAを書き換える。即ち、調整値入力UI32、調整値入力UI42は、切出領域の範囲をユーザにより変更するための操作手段として機能している。
Further, the
又、CPU25は調整値入力UI32、調整値入力UI42の何れかの押し釦(切替キー)から入力された電気信号に基づき合成画像の歪曲補正切替キーの押下を検出し、合成画像出力モードを切り替えたのち、RAM26内の合成画像出力モードを書き換える。
Further, the
又、CPU25は入力された電気信号から切出画像の歪曲補正切替キーの押下を検出し、切出画像出力モードを切り替えたのち、RAM26内の切出画像出力モードを書き換える。
Further, the
合成画像表示部30、切出画像表示部40は夫々例えば液晶ディスプレイや有機ELディスプレイなどの表示部31、表示部41を有する。又、例えば投影型静電容量方式のタッチパネルと例えばモーメンタリ方式やターミネイト方式などの押しボタン(切替キー)を組合わせた調整値入力UI32、調整値入力UI42を有する。
The composite
表示部31に表示される合成画像をユーザーが参照しながら調整値入力UI32、調整値入力UI42の何れかを操作することで統合処理部20に入力された電気信号は、CPU25が実行するコンピュータプログラムによってユーザーの操作として検出される。
The electrical signal input to the
表示部31は、合成画像形成部23から入力された合成画像情報に基づき図3に示す何れかの合成画像を生成して表示する。表示部41は、切出画像形成部24から入力された切出画像情報に基づき切出画像を生成し表示する。
The
調整値入力UI32、調整値入力UI42は、夫々タッチパネルと押しボタン(切替キー)を有する。又、調整値入力UI32は、合成画像の歪曲補正切替キー601と切出画像の歪曲補正切替キー701を有しており、調整値入力UI42は、ユーザーによって押下されるキーとして切出画像の歪曲補正切替キー702を少なくとも有している。
The adjustment
ここで、合成画像の歪曲補正切替キー601は、撮影画像情報の歪曲補正のオンオフをユーザにより選択するための操作手段として機能している。又、切出画像の歪曲補正切替キー701は、切出境界情報及び切出領域の画像の歪曲補正のオンオフをユーザにより選択するための操作手段として機能している。 Here, the composite image distortion correction switching key 601 functions as an operation means for the user to select on/off of distortion correction of the photographed image information. Further, the cropped image distortion correction switching key 701 functions as an operation means for the user to select on/off of cropping boundary information and distortion correction of the image of the cropped area.
また、合成画像の歪曲補正切替キー601、切出画像の歪曲補正切替キー701,702の少なくとも何れかのキーに対してユーザーがキーを押下すると夫々のキーの押下を意味する2ビットの電気信号が形成され、電気信号を統合処理部20に出力する。
Furthermore, when the user presses at least one of the synthesized image distortion correction switching key 601 and the cropped image distortion correction switching keys 701 and 702, a 2-bit electrical signal indicating the depression of the respective key is generated. is formed and outputs an electrical signal to the
調整値入力UI32、調整値入力UI42のタッチパネルは夫々、表示部31、表示部41上に並んだ複数の透明な電極の層を有している。またタッチパネルは、電極の層に対して例えばユーザーが指を近づけるとタッチパネル内の複数の電極間の静電容量が同時に変化し各電極から電気信号を形成し、電気信号を統合処理部20に出力する。
The touch panels of the adjustment
次に、調整値入力UI32、調整値入力UI42に対するスワイプ操作の検出の説明を行う。ユーザーによるスワイプを検出した場合の合成画像表示部30の表示例を図4(A)~(C)に示す。
Next, detection of a swipe operation on the adjustment
CPU25は、調整値入力UI32のタッチパネル上の任意の1点から電気信号の入力を検出する。そして、電気信号が表示部31の合成画像に重畳された切出領域の範囲内から入力された電気信号であって、その後でその電気信号の入力座標が変位したことを検出した場合、入力された電気信号をスワイプ操作として検出する。
The
一方で、CPU25は、調整値入力UI42のタッチパネル上の任意の1点から電気信号の入力を検出したのち、その電気信号の入力座標の変位を検出した場合も、入力された電気信号をスワイプ操作として検出する。
On the other hand, when the
又、CPU25は調整値入力UI32、調整値入力UI42の何れかのタッチパネルから入力された電気信号の座標を撮影画像情報上の座標に変換し、スワイプ操作前の座標とスワイプ操作後の座標から入力された座標の変位(以下座標変位)を算出する。切出領域の重心座標CA_cpに対して座標変位を加算することでスワイプ操作後の切出領域の重心座標CA_cpを算出する。その後、RAM26内の切出領域の重心座標CA_cpの値を書き換える。
Further, the
この時、調整値入力UI32からの入力に対してはスワイプ操作後の座標からスワイプ操作前の座標を引いた値として座標変位を算出する。又、調整値入力UI42からの入力に対してはスワイプ操作前の座標からスワイプ操作後の座標を引いた値として座標変位を算出する。本実施形態では上記のように算出することで、ユーザーが合成画像を見て操作した場合でも、切出画像を見て操作した場合でも、切出領域の重心座標CA_cpは座標変位と同じ方向に変位する。
At this time, in response to the input from the adjustment
次に、調整値入力UI32、調整値入力UI42に対するピンチ操作の検出の説明を行う。ユーザーによるピンチを検出した場合の合成画像表示部30の表示例を図5に示す。CPU25は、調整値入力UI32、調整値入力UI42の何れかのタッチパネル上の任意の2点から電気信号の入力を検出したのち、2点の電気信号の入力座標の変位を検出した場合、入力された電気信号をピンチ操作として検出する。
Next, detection of a pinch operation on the adjustment
又、CPU25は、調整値入力UI32、調整値入力UI42の何れかのタッチパネルから入力された2点の各電気信号の座標を撮影画像情報上の座標に変換し、入力された2点間のピンチ操作前の距離とピンチ操作後の距離を夫々算出する。そして、ピンチ操作前の距離とピンチ操作後の距離から入力された2点間の距離の変位(以下距離変位)を算出する。
Further, the
この時、調整値入力UI32からの入力に対しては、ピンチ操作後の距離からピンチ操作前の距離を引いた値として距離変位を算出し、調整値入力UI42からの入力に対してはピンチ操作前の距離からピンチ操作後の距離を引いた値として距離変位を算出する。本実施形態では上記のように算出することで、ユーザーが合成画像を見て操作した場合でも、切出画像を見て操作した場合でも、距離変位が正の時は切出領域の拡大を、負の時は切出領域の縮小を夫々表すことができる。
At this time, for the input from the adjustment
その後、距離変位Δxに対して切出領域の拡大縮小の感度を示す定数k(以下拡大縮小の感度)を掛け合わせることで切出領域の倍率の変位ΔCA_mを算出する。又、切出領域の倍率CA_mに対して倍率の変位を加算することでピンチ操作後の切出領域の倍率CA_m_pchを算出する。これを数式で表すと以下の数式2となる。 Thereafter, the displacement ΔCA_m of the magnification of the cutout region is calculated by multiplying the distance displacement Δx by a constant k (hereinafter referred to as enlargement/contraction sensitivity) that indicates the sensitivity of scaling of the cutout region. Further, by adding the displacement of the magnification to the magnification CA_m of the cropping area, the magnification CA_m_pch of the cropping area after the pinch operation is calculated. Expressing this numerically, it becomes the following formula 2.
CA_m_pch=CA_m+k・Δx・・・数式2 CA_m_pch=CA_m+k・Δx...Formula 2
例えばピンチ操作前の切出領域の倍率CA_mが1.0倍で、距離変位が-10画素である時に、拡大縮小の感度を+0.01とすると、ピンチ操作後の切出領域の倍率CA_m_pchは0.9となる。これを数式で表すと以下の数式3となる。 For example, if the magnification CA_m of the cropped area before the pinch operation is 1.0 times and the distance displacement is -10 pixels, and the scaling sensitivity is set to +0.01, the magnification CA_m_pch of the cropped area after the pinch operation is It becomes 0.9. Expressing this in a mathematical formula is the following formula 3.
CA_m_pch=1.0+0.01・(-10)=0.9・・・数式3 CA_m_pch=1.0+0.01・(-10)=0.9...Formula 3
その後、CPU25はRAM26内の切出領域の倍率CA_mをピンチ操作後の切出領域の切出領域の倍率CA_m_pchに書き換える。
Thereafter, the
次に、調整値入力UI32、調整値入力UI42に対する押しボタン(切替キー)の押下の検出の説明を行う。図6(B)は、合成画像表示部30において、切出領域が撮影画像の左上に位置する状態で、ユーザーによる合成画像の歪曲補正切替キー601の押下を検出した場合の表示例を示している。
Next, detection of pressing of a push button (switching key) on the adjustment
又、図7(B)は、合成画像表示部30において、切出画像の歪曲補正切替キー701の押下を検出した場合、或いは、切出画像表示部40において、歪曲補正切替キー702の押下を検出した場合の合成画像表示部30の表示例を示している。
Further, FIG. 7(B) shows a case where pressing of the distortion correction switching key 701 of the cropped image is detected in the composite
尚、図6(B)では、合成画像の歪曲補正切替キー601が押下されることで歪曲補正前の合成画像200aが歪曲補正後の合成画像300aに切り替わった状態を示している。図6(B)のように、歪曲補正後の合成画像300aを表示することで、ユーザーは歪曲境界情報201の外側に離れるほど切出境界情報302aが強く歪曲していることを確認できる。 Note that FIG. 6B shows a state in which the composite image 200a before distortion correction is switched to the composite image 300a after distortion correction by pressing the composite image distortion correction switching key 601. By displaying the composite image 300a after distortion correction as shown in FIG. 6(B), the user can confirm that the cutout boundary information 302a is more strongly distorted as it moves further outside the distorted boundary information 201.
又、図7(B)では、切出画像の歪曲補正切替キー701又は歪曲補正切替キー702が押下されることで合成画像200aに重畳される切出境界情報202bが、合成画像200bにおいて切出領域202cに示されるように変化した状態を示している。ユーザーは図7(B)の表示によって歪曲境界の外側に離れるほど切出領域に対して強く歪曲補正がかかっていることを確認できる。尚、このとき図7(C)に示される電子ミラー(表示部41)上には切出領域の画像が歪曲補正された状態で表示される。 In addition, in FIG. 7B, when the cropped image distortion correction switching key 701 or the distortion correction switching key 702 is pressed, the cropping boundary information 202b superimposed on the composite image 200a changes to the cropped image 200b. A changed state is shown as shown in area 202c. The user can confirm from the display in FIG. 7B that the further outside the distortion boundary is, the stronger the distortion correction is applied to the cutout region. Note that at this time, the image of the cutout area is displayed on the electronic mirror (display unit 41) shown in FIG. 7(C) in a state in which the distortion has been corrected.
図8~図13は実施形態1の統合処理部20の一連の動作を説明するためのフローチャートである。本実施形態ではCPU25は図8、図11~図13のフローの夫々に対してマルチスレッドで動作している。又、図8~図13のフローの各ステップの処理は、統合処理部20内のコンピュータとしてのCPU25がメモリに記憶されたコンピュータプログラムを実行することによって行われる。
8 to 13 are flowcharts for explaining a series of operations of the
図8は実施形態1において合成画像を形成する際のフローチャートであり、合成画像情報を形成し、合成画像表示部30に合成画像情報を出力するフローを説明するためのものである。
FIG. 8 is a flowchart for forming a composite image in the first embodiment, and is for explaining the flow of forming composite image information and outputting the composite image information to the composite
又、図9は、図8のフロー内のステップS200を説明するフローチャートであり、切出境界情報算出部21の動作を説明するためのものである。図10は、図8のフロー内のステップS300を説明するフローチャートであり、切出画像出力モード制御部22の動作を説明するためのものである。
Further, FIG. 9 is a flowchart for explaining step S200 in the flow of FIG. 8, and is for explaining the operation of the cutout boundary
ステップS801では、CPU25は画像取得手段として機能し、撮像部10によって撮影を行い、合成画像形成部23に撮影画像情報を入力する。このとき、ステップS801は、低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により形成した撮影画像情報を取得する画像取得ステップとして機能している。
In step S<b>801 , the
ステップS802では、CPU25は情報取得手段として機能し、記憶部13からレンズ特性情報13a、切出領域情報13b、合成画像出力モード13c、切出画像出力モード13dの夫々の値を取得し、RAM26に書き込む。このとき、ステップS802は、撮影画像情報における切出領域の範囲を示す切出領域情報とを取得する情報取得ステップとして機能している。
In step S802, the
ステップS803では、CPU25は切出境界情報形成手段として機能し、レンズ特性情報Lに基づき歪曲境界情報を形成し、RAM26に書き込む。このとき、ステップS803は、切出領域情報に基づき切出領域の境界を示す切出境界情報を形成する切出境界情報形成ステップとして機能している。
In step S803, the
ステップS804では、CPU25は、RAM26からレンズ特性情報L、歪曲境界情報、切出領域情報CA、合成画像出力モード、切出画像出力モードの夫々の値を読み出す。そして、夫々の値を切出境界情報算出部21、切出画像出力モード制御部22、合成画像形成部23、切出画像形成部24の各部が有する各レジスタに書き込む。
In step S804, the
ステップS200では、CPU25は、切出境界情報算出部21によって、レンズ特性情報L、切出領域情報CA、合成画像出力モード、切出画像出力モードの夫々の値に基づき切出境界情報を形成する。即ち、各画像出力モード等に応じて図3の202a、202b、302a、302bの4通りの切出境界情報の何れか1つを形成する。ステップS200の詳細は図9のフローチャートを用いて後述する。
In step S200, the
その後、切出境界情報は切出画像出力モード制御部22、合成画像形成部23、切出画像形成部24の各部に渡される。その後ステップS300に進む。
Thereafter, the cutout boundary information is passed to the cutout image output
ステップS300では、CPU25は、切出画像出力モード制御部22によって、歪曲境界情報、切出境界情報の夫々の値に基づき、切出領域に高歪曲領域が含まれているか否かの判定をする。そして、判定結果と切出画像出力モードの値に応じて、図4~図7のメッセージ401に対応する値00、メッセージ402に対応する値10、メッセージ403に対応する値11の3通りのメッセージ情報を形成し、RAM26に書き込む。
In step S300, the
又、切出領域に高歪曲領域が含まれていないと判定された場合、切出画像出力モード制御部22によってRAM26内の切出画像出力モードを歪曲補正無モードに書き換える。ステップS300の詳細は図10のフローチャートを用いて後述する。
If it is determined that the cropped area does not include a highly distorted area, the cropped image output
ステップS805では、CPU25は、RAM26からメッセージ情報の値を読み出し、図4~図7の401、402、403に示す3通りの各メッセージの何れかに対応するメッセージ情報を形成し、メッセージ情報を合成画像形成部23に渡す。
In step S805, the
ステップS806では、CPU25は、合成画像形成部23によって、合成画像出力モードが歪曲補正有モードであるかの判定を行う。合成画像出力モードが歪曲補正有モードであればステップS807に進み、歪曲補正無モードであればステップS808に進む。
In step S806, the
ステップS807では、CPU25は、合成画像形成部23によって、レンズ特性情報Lに基づき撮影画像情報に対して歪曲補正を行うことで、撮影画像情報を歪曲補正後の撮影画像情報に変換する。
In step S807, the
ステップS808では、CPU25は画像形成手段として機能する。そして、合成画像形成部23によって、撮影画像情報に対して歪曲境界情報と切出境界情報とを重畳し、図3に示す合成画像200a、200b、300a、300bのうち少なくとも1つの情報を有する合成画像情報を形成する。このときステップS808は低歪曲領域と前記高歪曲領域との境界を示す歪曲境界情報と、切出境界情報とを重畳した画像を形成する画像形成ステップとして機能している。
In step S808, the
その後合成画像情報に対してメッセージ情報を重畳し、ステップS809で、CPU25は、合成画像情報を表示部31に出力する。ステップS810では、CPU25は、ユーザーから終了要求があったかを判定する。NoであればステップS804に進み、YesであればステップS811に進む。尚、ユーザーの終了要求は例えばCPU25が車両のエンジンOFFを検出した場合にYesとなる。
Thereafter, the message information is superimposed on the composite image information, and in step S809, the
ステップS811では、CPU25は、RAM26内の切出領域情報CA、合成画像出力モード、切出画像出力モードの夫々の値を読み出す。そして、記憶部13内の切出領域情報13b、合成画像出力モード13c、切出画像出力モード13dの夫々の値を書き換え、その後動作を終了する。
In step S811, the
このようにして、合成画像表示部30は、統合処理部20によって形成された合成画像情報を取得し、表示部31に合成画像を表示することができる。ここで表示部31は、画像形成手段により形成された画像を表示する表示手段として機能している。
In this way, the composite
図9は、前述のように、図8に示すコンピュータプログラムのフローのステップS200の中で行われる、切出境界情報算出部21が行う処理を説明するためのフローチャートである。
FIG. 9 is a flowchart for explaining the process performed by the cutting boundary
尚、切出境界情報算出部21は内部に各種情報を保持するレジスタを有しており、レジスタの値に基づき処理を行う。又、例えば動作を制御する1ビットの制御レジスタを有しており、CPU25から制御レジスタに1が書き込まれると動作を開始する。
Note that the cutout boundary
ステップS901~ステップS903では、CPU25は、上位ビットを合成画像出力モード、下位ビットを切出画像出力モードとした2ビットの各画像出力モードに基づき処理を決定する。合成画像出力モード・切出画像出力モードが、共に歪曲補正無モードの場合、切出境界情報として図3(A)のように202aを生成する。
In steps S901 to S903, the
又、合成画像出力モード・切出画像出力モードが、夫々歪曲補正無モード・歪曲補正有モードの場合、切出境界情報として図3(A)のように202bを生成する。又、合成画像出力モード・切出画像出力モードが、夫々歪曲補正有モード・歪曲補正無モードの場合、切出境界情報として図3(C)のように302aを姿勢する。又、合成画像出力モード・切出画像出力モードが共に歪曲補正有モードの場合、切出境界情報として図3(D)のように302bを生成する。 Further, when the composite image output mode and cropped image output mode are respectively a mode without distortion correction and a mode with distortion correction, 202b is generated as cropping boundary information as shown in FIG. 3(A). Further, when the composite image output mode and the cropped image output mode are respectively the distortion correction mode and the distortion correction non-mode, the posture 302a is set as the cropping boundary information as shown in FIG. 3(C). Further, when both the composite image output mode and the cropped image output mode are the distortion correction mode, 302b is generated as cropping boundary information as shown in FIG. 3(D).
即ち、ステップS901、ステップS902で合成画像出力モード・切出画像出力モードが共にNo、即ち歪曲補正無モードの場合(値00)、ステップS906に進む。ステップS902でYes、即ち歪曲補正無モード・歪曲補正有モードの場合(値01)、ステップS904に進む。 That is, if both the composite image output mode and the cropped image output mode are No in step S901 and step S902, that is, the distortion correction no mode (value 00), the process advances to step S906. If the result in step S902 is Yes, that is, if the distortion correction mode is not present or the distortion correction mode is present (value 01), the process advances to step S904.
ステップS903でNo、即ち歪曲補正有モード・歪曲補正無モードの場合(値10)、ステップS908に進む。ステップS903でYes、即ち歪曲補正有モード・歪曲補正有モードの場合(値11)、ステップS905に進む。 If No in step S903, that is, in the mode with distortion correction or the mode without distortion correction (value 10), the process advances to step S908. If Yes in step S903, that is, in the distortion correction mode/distortion correction mode (value 11), the process advances to step S905.
ステップS904、ステップS905の夫々では、CPU25は、レンズ特性情報Lと切出領域情報CAに基づき、切出領域の重心座標CA_cpに対して歪曲補正と同一の変換を行うことで、歪曲補正後の切出領域の重心座標CA_cpを形成する。ステップS904の処理後はステップS907に進み、ステップS905の処理後はステップS909に進む。
In each of steps S904 and S905, the
ステップS906、ステップS908の夫々では、CPU25は、切出領域情報CAに基づき切出領域サイズCA_sを形成し、切出領域の重心座標CA_cpと切出領域サイズCA_sに基づき切出境界情報を形成する。ステップS908の処理後はステップS911に進む。
In each of steps S906 and S908, the
ステップS907、ステップS909の夫々では、CPU25は、切出領域情報CAに基づき切出領域サイズCA_sを形成し、歪曲補正後の切出領域の重心座標CA_cpと切出領域サイズCA_sに基づき切出境界情報を形成する。ステップS907の処理後はステップS910に進む。ステップS910では、CPU25は、レンズ特性情報Lと切出境界情報に基づき切出境界情報の各座標に対して歪曲補正と逆の変換を行う。
In each of steps S907 and S909, the
一方、ステップS911では、CPU25は、レンズ特性情報Lと切出境界情報に基づき切出境界情報の各座標に対して歪曲補正と同一の変換を行う。更に、ステップS906、ステップS910、ステップS911、ステップS909の何れかのステップの後、CPU25は、形成した切出境界情報を切出画像出力モード制御部22、合成画像形成部23の各部が保持するレジスタに書き込む。その後制御レジスタを0にして動作を終了する。
On the other hand, in step S911, the
図10は、前述のように、図8のフロー内のステップS300を説明するフローチャートであり、切出画像出力モード制御部22の動作を説明するためのものである。
As described above, FIG. 10 is a flowchart for explaining step S300 in the flow of FIG. 8, and is for explaining the operation of the cropped image output
尚、切出画像出力モード制御部22は内部に各種情報を保持するレジスタを有しており、レジスタの値に基づき処理を行う。又、例えば動作を制御する1ビットの制御レジスタを有しており、CPU25から制御レジスタに1が書き込まれると動作を開始する。
Note that the cutout image output
ステップS1001では、CPU25は、歪曲境界情報と切出境界情報に基づき、切出領域に高歪曲領域が含まれているか否かを判別する。切出領域に高歪曲領域が含まれている場合は検出結果を1、切出領域に高歪曲領域が含まれていない場合は検出結果を0としてレジスタに保持する。
In step S1001, the
ステップS1002とステップS1003では、CPU25は、上位ビットをステップS1001の検出結果とし、下位ビットを切出画像出力モードとした2ビットのモード情報に基づき処理を決定する。このモード情報で、切出領域に高歪曲領域が含まれていない場合(値00又は値01の場合)、ステップS1004に進む。切出領域に高歪曲領域が含まれていて、かつ、切出画像出力モードが歪曲補正無モードの場合(値10の場合)、ステップS1007に進む。切出領域に高歪曲領域が含まれていて、かつ、切出画像出力モードが歪曲補正有モードの場合(値11)、ステップS1006に進む。
In steps S1002 and S1003, the
ステップS1004では、CPU25は、切出画像出力モードを歪曲補正無モードにする。その後ステップS1005に進む。
In step S1004, the
ステップS1005、ステップS1006、ステップS1007の夫々のステップでは、CPU25は、2ビットのモード情報の値に応じた2ビットのメッセージ情報を形成する。モード情報で、切出領域に高歪曲領域が含まれていない場合(値00又は値01の場合)、ステップS1005で、CPU25は、メッセージ情報として図4(A)のメッセージ401(メッセージ無)に対応する値00を書き込む。
In each of steps S1005, S1006, and S1007, the
切出領域に高歪曲領域が含まれていて、かつ、切出画像出力モードが歪曲補正無モードの場合(値10の場合)、ステップS1007で、CPU25は、メッセージ情報として図5(B)、図6(A)、図7(A)のメッセージ402に対応する値10を書き込む。
If the cropped region includes a highly distorted region and the cropped image output mode is the no-distortion correction mode (value 10), in step S1007, the
切出領域に高歪曲領域が含まれていて、かつ、切出画像出力モードが歪曲補正有モードの場合(値11の場合)、ステップS1006で、CPU25は、図7(B)のメッセージ403に対応する値11を書き込む。
If the cropped region includes a highly distorted region and the cropped image output mode is the distortion correction mode (value 11), in step S1006, the
ステップS1005、ステップS1006、ステップS1007の何れかのステップの後、CPU25は、メッセージ情報と切出画像出力モードの夫々の値をRAM26に書き込み、制御レジスタを0にして動作を終了する。
After step S1005, step S1006, or step S1007, the
このように、CPU25は切出画像出力モード制御部22によって形成されたメッセージ情報に基づき、図8のステップS105にてメッセージ情報を形成することができる。
In this way, the
図11は実施形態1の切出領域情報を変更する際の処理フローの例を示すフローチャートであり、タッチパネルからユーザーの操作を検出し、ユーザーの操作に応じてRAM26内の切出領域情報CAを書き換えるフローを説明するためのものである。
FIG. 11 is a flowchart showing an example of a processing flow when changing the cutout area information in the first embodiment, in which a user's operation is detected from the touch panel, and the cutout area information CA in the
ステップS1101では、CPU25は、調整値入力UI32又は調整値入力UI42のタッチパネルから電気信号の入力があったか判別する。電気信号の入力があった場合はステップS1102に進み、ない場合はステップS1109に進む。
In step S1101, the
ステップS1102では、CPU25は、調整値入力UI32、調整値入力UI42の何れかに入力された電気信号に応じてユーザーの操作を検出する。ここで、スワイプ操作、ピンチ操作、その他の電気信号の何れかを検出する。
In step S1102, the
ステップS1103では、CPU25は、ユーザーからの入力がスワイプ操作だったかを判定する。スワイプ操作の場合ステップS1104に進み、スワイプ操作ではない場合ステップS1106に進む。
In step S1103, the
ステップS1104では、CPU25は、入力された電気信号に基づき座標変位を算出し、スワイプ操作前の切出領域の重心座標CA_cpに対して座標変位を加算し、スワイプ操作後の切出領域の重心座標CA_cpを算出する。ステップS1105では、CPU25は、切出領域の重心座標CA_cpをRAM26に書き込む。その後ステップS1109に進む。
In step S1104, the
ステップS1106では、CPU25は、ユーザーからの入力がピンチ操作だったかを判定する。ピンチ操作の場合ステップS1107に進み、ピンチ操作ではない場合ステップS1109に進む。
In step S1106, the
ステップS1107では、CPU25は、入力された電気信号に基づき切出領域の倍率の変位を算出し、ピンチ操作前の切出領域の倍率CA_mに対して倍率の変位を加算し、ピンチ操作後の切出領域の倍率CA_mを算出する。ステップS1108では、CPU25は、RAM26内の切出領域の倍率CA_mを書き換える。その後ステップS1109に進む。
In step S1107, the
ステップS1109では、ユーザーから終了要求があったかを判定する。NoであればステップS1101に進み、Yesであれば動作を終了する。 In step S1109, it is determined whether there is a termination request from the user. If No, the process advances to step S1101, and if Yes, the operation ends.
このように、合成画像表示部30、切出画像表示部40の夫々はタッチパネルに対するユーザーの操作を統合処理部20に入力し、CPU25によってユーザーの操作に応じてRAM26内の切出領域情報CAが書き換えられる。従って切出領域を調整することができる。
In this way, each of the composite
図12は、実施形態1の画像出力モードを変更する際の処理フローを示すフローチャートであり、ユーザーのキーの押下を検出し、ユーザーが押下したキーに応じてRAM26内の切出領域情報CAを書き換えるフローを説明するためのものである。
FIG. 12 is a flowchart showing the processing flow when changing the image output mode in the first embodiment, in which the press of a key by the user is detected and the cutout area information CA in the
ステップS1201では、CPU25は、調整値入力UI32又は調整値入力UI42の押しボタンの各種キーから電気信号の入力があったかを判別する。電気信号の入力があった場合はステップS1202に進み、ない場合はステップS1207に進む。
In step S1201, the
ステップS1202では、CPU25は、調整値入力UI32、調整値入力UI42の何れかに入力された電気信号に応じて合成画像の歪曲補正切替キーと切出画像の歪曲補正切替キーからの電気信号の立ち上がりを検出する。
In step S1202, the
ステップS1203では、CPU25は、各種キーからの電気信号の立ち上がりの検出結果に基づき、合成画像の歪曲補正切替キーが押下されたかを判定する。押下された場合はステップS1204に進み、押下されていない場合はステップS1205に進む。
In step S1203, the
ステップS1204では、CPU25は、合成画像出力モードを切り替え、RAM26に書き込む。ステップS1205では、CPU25は、各種キーからの電気信号の立ち上がりの検出結果に基づき、切出画像の歪曲補正切替キーが押下されたかを判定する。押下された場合はステップS1206に進み、押下されていない場合はステップS1207に進む。
In step S1204, the
ステップS1206では、CPU25は、切出画像出力モードを切り替え、RAM26に書き込む。ステップS1207では、CPU25は、ユーザーから終了要求があったかを判定する。NoであればステップS1201に戻り、Yesであれば動作を終了する。
In step S1206, the
従って、合成画像表示部30、切出画像表示部40の夫々がユーザーからの押しボタンの押下を統合処理部20に入力すると、CPU25によって各種キーと対応した合成画像出力モード、切出画像出力モードの夫々のモードが切り替えられる。つまり、各種キーを押下することで、合成画像に対する歪曲補正の有無と切出画像に対する歪曲補正の有無を切り替えられる。
Therefore, when each of the composite
図13は、実施形態1の切出画像を形成する際の処理フローを示すフローチャートであり、切出画像情報を形成し、切出画像表示部40に切出画像情報を出力するフローを説明するものである。
FIG. 13 is a flowchart showing a processing flow when forming a cutout image according to the first embodiment, and describes a flow of forming cutout image information and outputting the cutout image information to the cutout
ステップS1301では、CPU25は、撮像部10によって撮影を行い、切出画像形成部24に撮影画像情報を入力する。ステップS1302では、CPU25がRAM26からレンズ特性情報L、切出領域情報CA、切出画像出力モードの夫々の値を読み出し、切出画像形成部24が有するレジスタに書き込む。
In step S<b>1301 , the
ステップS1303では、CPU25は、切出画像形成部24によって、切出画像出力モードが歪曲補正有モードであるかの判定を行う。切出画像出力モードが歪曲補正有モードであればステップS1304に進み、歪曲補正無モードであればステップS1305に進む。
In step S1303, the
ステップS1304では、CPU25は、切出画像形成部24によって、レンズ特性情報Lの値に基づき撮影画像情報に対して歪曲補正を行うことで、撮影画像情報を歪曲補正後の撮影画像情報に変換する。ステップS1305では、CPU25は切出画像形成手段として機能し、切出画像形成部24によって、切出領域情報CAに基づき撮影画像情報から一部の画像情報を切り出すことで、切出画像情報を形成する。
In step S1304, the
その後ステップS1306で、CPU25は、切出画像情報を切出画像表示部40の表示部41に出力させる。ステップS1307では、CPU25は、ユーザーから終了要求があったかを判定する。NoであればステップS1302に進み、Yesであれば動作を終了する。このようなフローにより、切出画像表示部40は統合処理部20によって形成された切出画像情報を取得し、表示部41に切出画像を表示することができる。
Thereafter, in step S1306, the
以上で説明したように、本実施形態によれば、撮影画像に対して歪曲境界情報と切出境界情報を重畳した合成画像を表示することによって、ユーザーは超広角カメラの撮影画像から切出領域を容易に調整することができる。そして切出領域の画像の歪曲補正を適宜選択的に実行することができる。 As described above, according to the present embodiment, by displaying a composite image in which distortion boundary information and cropping boundary information are superimposed on a photographed image, the user can can be easily adjusted. Distortion correction of the image in the cutout area can then be selectively performed as appropriate.
尚、本実施形態によれば、調整値入力UI32と調整値入力UI42でスワイプ操作後の座標とスワイプ操作前の座標の相関関係を反対にして座標変位を算出している。又、調整値入力UI32と調整値入力UI42でピンチ操作後の距離変位とピンチ操作前の距離変位の相関関係を反対にして切出領域の倍率の変位を算出している。
According to the present embodiment, the coordinate displacement is calculated by reversing the correlation between the coordinates after the swipe operation and the coordinates before the swipe operation in the adjustment
上記のように算出することによって、ユーザーは合成画像を見ながら調整値入力UI32を操作する場合、切出領域を持つ感覚で操作することができる。その一方で、切出画像を見ながら調整値入力UI42を操作する場合、撮影画像を持つ感覚で操作することができる。
By calculating as described above, when the user operates the adjustment
又、本実施形態によれば、切出領域に高歪曲領域が含まれず、切出画像に対して歪曲補正を行う必要がない場合は歪曲補正を行わないように自動で切り替えることによって、歪曲補正にかかる処理時間を省き、切出画像を低遅延で表示することができる。 Further, according to the present embodiment, if the cropped region does not include a highly distorted region and there is no need to perform distortion correction on the cropped image, distortion correction is automatically performed by switching not to perform distortion correction. It is possible to save processing time and display cutout images with low delay.
<実施形態2>
尚、実施形態1では、統合処理部20に例えば車両に搭載されるコンピュータに対してユーザーの操作を入力するユーザーインタフェースを介して夫々調整値入力UI32、42の2つの調整値入力UIを有する。しかし、調整値入力UIの数は2つに限定されず、少なくとも1つ以上の調整値入力UIを有していれば良い。
<Embodiment 2>
In the first embodiment, the
又、以下に説明する実施形態2のように、合成画像表示部30の調整値入力UI32や切出画像表示部40の調整値入力UI42とは別に調整値入力UI50を統合処理部に接続する構成としても良い。
Further, as in the second embodiment described below, an adjustment
図14は、実施形態2に係る画像処理システムの構成例を示す機能ブロック図であり、調整値入力UI50は例えばキーボードであり複数のキーを有する。具体的には、調整値入力UI50は例えば右方向キー、左方向キー、上方向キー、下方向キー、切出領域の拡大キー、切出領域の縮小キー、合成画像の歪曲補正切替キー、切出画像の歪曲補正切替キーを夫々有する。
FIG. 14 is a functional block diagram showing a configuration example of an image processing system according to the second embodiment, and the adjustment
CPU25は左右上下キーからの入力を検出すると、例えば各方向キーを押してから戻すまでの間、切出領域の重心座標CA_cpに対して各方向キーと対応する一定の座標変位の値を例えば+1画素を一定間隔で例えば0.1秒間隔で加算する。その後RAM26の切出領域の重心座標CA_cpを書き換える。
When the
又、CPU25は切出領域の拡大キー、切出領域の縮小キーからの入力を検出すると、例えば各キーを押してから戻すまでの間、切出領域の倍率CA_mに対して一定値を、一定間隔(例えば0.1秒間隔)で加算する。その後RAM26の切出領域の倍率CA_mを書き換える。尚、上記一定値は例えば拡大の場合+0.05、縮小の場合-0.05などとすれば良い。
Further, when the
このように、図14に示す実施形態2の構成によれば、調整値入力UI内にタッチパネルを構成しないでユーザーの操作を検出し、切出領域の調整を行う画像処理システムを実現できる。 As described above, according to the configuration of the second embodiment shown in FIG. 14, it is possible to realize an image processing system that detects user operations and adjusts the cutout area without configuring a touch panel in the adjustment value input UI.
<実施形態3>
尚、実施形態2では、切出領域情報13bの中に含まれる基準サイズCA_bsは、画像処理システムの中で書き換えられていないが、切出画像表示部40の表示解像度に応じて書き換えても良い。切出画像表示部40が記憶部43を有する構成とした実施形態3を図15に示す。
<Embodiment 3>
Note that in the second embodiment, the reference size CA_bs included in the
図15は、実施形態3に係る画像処理システムの構成例を示す機能ブロック図であり、図15において記憶部43は読み出し専用のメモリであり、切出画像表示部40に固有の表示解像度の情報を有する。CPU25は記憶部43から表示解像度の情報を読み出し、表示解像度に基づきRAM26内の基準サイズCA_bsを書き換える。
FIG. 15 is a functional block diagram showing a configuration example of an image processing system according to the third embodiment. In FIG. has. The
又、CPU25はRAM26から基準サイズCA_bsを読み出し、記憶部13の切出領域情報13bの中に含まれる基準サイズCA_bsを書き換える。このような図15にしめす実施形態3の構成によれば、電子ルームミラーに固有の表示解像度で、切出領域の基準サイズCA_bsの調整を行う画像処理システムを実現できる。
Further, the
尚、実施形態3ではCPU25は図8、図11~図13のフローの夫々に対してマルチスレッドで動作している。しかし、撮像部10、統合処理部20、合成画像表示部30、切出画像表示部40の夫々がCPUを有する構成とし、図8、図11~図13の各フローを夫々のCPUが夫々のコンピュータプログラムを実行することで分散処理しても良い。このように、各部で分散処理すれば、統合処理部20のCPU25の負荷を低減できる。
In the third embodiment, the
尚、上記実施形態1,3では調整値入力UI32、42の夫々は押しボタンを有する。しかし、調整値入力UI32、42の何れかのタッチパネル上に押しボタンの合成画像の歪曲補正切替キー、切出画像の歪曲補正切替キーの各種キーを意味する領域を少なくとも1つ以上設けても良い。そして、その領域にタッチすることで形成される電気信号をキーの押下としてCPU25に検出させる構成にしても良い。
Note that in the first and third embodiments described above, each of the adjustment
又、調整値入力UI32、42の夫々の押しボタンの合成画像の歪曲補正切替キーと切出画像の歪曲補正切替キーの両方を合成画像表示部30にのみ含める構成としても良いし、切出画像表示部40にのみ含める構成としても良い。そのように構成すれば、調整値入力UI32、42をタッチパネルのみで実現し、押しボタンにかかるコストを削減できる。
Further, it may be configured such that both the composite image distortion correction switching key and the cropped image distortion correction switching key of the push buttons of the adjustment
尚、上記実施形態1、3では、調整値入力UI32、42の夫々はマルチタッチ可能なタッチパネルで構成され、ピンチ操作を検出することで切出領域の拡大、縮小を行っている。しかし、調整値入力UI32、42などが、切出領域の拡大キー、切出領域の縮小キー、合成画像の歪曲補正切替キー、切出画像の歪曲補正切替キーの各種キーを有する構成としても良い。
In the first and third embodiments described above, each of the adjustment
そしてCPU25は切出領域の拡大キー、切出領域の縮小キーの何れかのキーの押下を検出し、拡大又は縮小と対応した符号を持つ一定値を切出領域の倍率CA_mに対して加算しても良い。そのように構成すれば、調整値入力UI32、42はシングルタッチのみに対応したタッチパネルと各種キーを備えた押しボタンとを有する構成とすることが可能となり、投影型静電容量方式ではないタッチパネルにも対応することができる。
Then, the
<実施形態4>
実施形態1~3では図10のフローにおいて、ステップS1002とステップS1003で処理を決定した後、ステップS1004、ステップS1006、ステップS1007の何れかに進んでいる。しかし実施形態4では、ステップS1002にて切出領域に高歪曲領域が含まれていた場合、ステップS1003を行わずに、切出画像出力モードを歪曲補正有モードにするステップに進むようにする。このフローにした場合の画像処理システムの動作を図16に示す。
<Embodiment 4>
In the first to third embodiments, in the flow shown in FIG. 10, after determining the process in step S1002 and step S1003, the process proceeds to any one of step S1004, step S1006, and step S1007. However, in the fourth embodiment, if it is determined in step S1002 that the cropped area includes a highly distorted area, the process proceeds to the step of setting the cropped image output mode to the distortion correction mode without performing step S1003. FIG. 16 shows the operation of the image processing system when this flow is adopted.
図16(A)、(B)は、実施形態4におけるスワイプ操作時の合成画像表示部30の表示例を示す図である。切出境界情報202bの範囲で示された切出領域が、歪曲境界情報201で示された低歪曲領域の範囲外にスワイプされた場合、合成画像200aから合成画像200bに自動で切り替え、切出領域の画像に対して歪曲補正を自動的に行う。即ち、切出領域が低歪曲領域を含む場合には切出領域の画像の歪曲補正を自動的に行う。
FIGS. 16A and 16B are diagrams showing display examples of the composite
図6(B)のように歪曲補正された合成画像300aの中の切出領域をスワイプして、歪曲境界情報301で示された低歪曲領域の範囲外に出た場合にも、切出領域の画像に対して歪曲補正を自動的に行っても良い。 As shown in FIG. 6(B), even if you swipe the cutout area in the distortion-corrected composite image 300a and the cutout area goes outside the range of the low distortion area indicated by the distortion boundary information 301, the cutout area Distortion correction may be automatically performed on the image.
このように、歪曲境界を境にして切出画像に対する歪曲補正の有無を自動で切り替えることで、歪曲補正の有無による切出画像の表示の変化をユーザーに感じさせることなく切出画像に対する歪曲補正を切り替えることができる。 In this way, by automatically switching the presence or absence of distortion correction on the cropped image at the distortion boundary, distortion correction can be performed on the cropped image without making the user feel that the display of the cropped image changes depending on whether or not distortion correction is performed. can be switched.
尚、本実施形態ではメッセージ情報の上位ビットのレジスタと切出領域に高歪曲領域が含まれているか否かの検出結果のレジスタを別々に構成しているが、メッセージ情報の上位ビットと検出結果を同一のレジスタで構成しても良い。 Note that in this embodiment, the register for the upper bits of message information and the register for the detection result of whether or not a high distortion area is included in the cutout area are configured separately; may be configured with the same register.
又、本実施形態ではメッセージ情報の下位ビットのレジスタと切出画像出力モードのレジスタを別々に構成しているが、メッセージ情報の下位ビットと切出画像出力モードを同一のレジスタで構成しても良い。そのように構成すれば、ステップS1004~ステップS1007の各ステップに該当する、検出結果と切出画像出力モードに応じてメッセージ情報を形成する各ステップを省略できる。 Furthermore, in this embodiment, the register for the lower bits of the message information and the register for the cropped image output mode are configured separately, but the lower bits of the message information and the cropped image output mode may also be configured in the same register. good. With such a configuration, it is possible to omit the steps of forming message information according to the detection result and cutout image output mode, which correspond to steps S1004 to S1007.
尚、本実施形態ではFPGAの機能としての切出境界情報算出部21、切出画像出力モード制御部22、合成画像形成部23、切出画像形成部24の各部は夫々、各種情報を保持する各レジスタを別々に有している。しかし、同一の情報を同一のレジスタで構成し、各部はそのレジスタに基づき処理を行うように構成しても良い。そのように構成すれば、FPGA内のレジスタの回路リソースを削減できる。
In this embodiment, each of the cutout boundary
尚、上記実施形態では歪曲境界や切出境界を常に画像に重畳して表示する例を説明したが、歪曲境界や切出境界の重畳表示の少なくとも一方を選択的にオンオフするための操作スイッチ等を設けても良い。 In addition, in the above embodiment, an example was explained in which the distorted boundary and the cropping boundary are always displayed superimposed on the image, but an operation switch etc. for selectively turning on/off at least one of the superimposed display of the distorted boundary and the cropping boundary is also provided. may be provided.
又、上記実施形態では歪曲境界や切出境界を撮影画像に重畳して表示する例を説明したが、撮影画像の代わりにCGや図3に示されるようなグリッドからなる背景画像に重畳させて表示するようにしても良い。 Further, in the above embodiment, an example was explained in which the distortion boundary or the cutout boundary is displayed superimposed on the photographed image, but instead of the photographed image, it may be superimposed on a background image consisting of CG or a grid as shown in FIG. It may also be displayed.
尚、上述の実施例においては移動体として自動車の例について説明した。しかし、移動体はは例えば自動車、列車、船舶、飛行機、ロボット、ドローン、自律移動体などの移動をする移動装置であれば、どのようなものであってもよい。尚、自律移動体は例えばAGV(Automatic Guided Vehicle)やAMR(Autonomous Mobile Robot)などであっても良い。 Incidentally, in the above-described embodiments, an example of an automobile was explained as the moving object. However, the mobile object may be any mobile device that moves, such as a car, train, ship, airplane, robot, drone, or autonomous mobile object. Note that the autonomous mobile body may be, for example, an AGV (Automatic Guided Vehicle) or an AMR (Autonomous Mobile Robot).
又、完全に自律移動しなくても運転支援的な使い方をするものであっても良い。又、実施例の画像処理システムの一部がそれらの移動体に搭載されていても良いし、搭載されていなくても良い。又、移動体をリモートコントロールする場合にも本発明の画像処理システムを適用することができる。 Furthermore, even if the vehicle does not move completely autonomously, it may be used as a driving support. Moreover, a part of the image processing system of the embodiment may or may not be mounted on those moving bodies. Furthermore, the image processing system of the present invention can be applied to remote control of a moving body.
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせても良い。尚、本実施形態は、以下の組み合わせを含む。 Although the present invention has been described above in detail based on its preferred embodiments, the present invention is not limited to these specific embodiments, and the present invention may take various forms without departing from the gist of the present invention. included. Some of the embodiments described above may be combined as appropriate. Note that this embodiment includes the following combinations.
(構成1)低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により形成した撮影画像情報を取得する画像取得手段と、前記撮影画像情報における切出領域の範囲を示す切出領域情報とを取得する情報取得手段と、前記切出領域情報に基づき前記切出領域の境界を示す切出境界情報を形成する切出境界情報形成手段と、前記低歪曲領域と前記高歪曲領域との境界を示す歪曲境界情報と、前記切出境界情報とを重畳した画像を形成する画像形成手段と、を有することを特徴とする画像処理システム。 (Configuration 1) Image acquisition means for acquiring photographed image information formed by an imaging means for photographing an optical image having a low distortion region and a high distortion region, and a cutout region indicating the range of the cutout region in the photographed image information. information acquisition means for acquiring information; cutout boundary information forming means for forming cutout boundary information indicating a boundary of the cutout region based on the cutout region information; and information on the low distortion region and the high distortion region. 1. An image processing system comprising: an image forming means for forming an image in which distorted boundary information indicating a boundary of a target area and the cut-out boundary information are superimposed.
(構成2)前記画像形成手段により形成された前記画像を表示する表示手段を有することを特徴とする構成1に記載の画像処理システム。 (Configuration 2) The image processing system according to Configuration 1, further comprising a display unit that displays the image formed by the image forming unit.
(構成3)前記画像形成手段は、前記切出領域情報に基づき前記撮影画像情報の一部を切り出した前記画像を形成する切出画像形成手段を有することを特徴とする構成1又は2に記載の画像処理システム。 (Structure 3) According to structure 1 or 2, the image forming means has a cutout image forming means for forming the image by cutting out a part of the photographed image information based on the cutout area information. image processing system.
(構成4)前記切出領域の範囲をユーザにより変更するための操作手段を有することを特徴とする構成1~3のいずれか1つに記載の画像処理システム。 (Structure 4) The image processing system according to any one of Structures 1 to 3, further comprising an operation means for a user to change the range of the cutout area.
(構成5)前記操作手段はタッチパネルを含むことを特徴とする構成4に記載の画像処理システム。 (Structure 5) The image processing system according to Structure 4, wherein the operation means includes a touch panel.
(構成6)前記タッチパネルによりスワイプ操作とピンチ操作の少なくとも一方を行うことが可能であることを特徴とする構成5に記載の画像処理システム。 (Structure 6) The image processing system according to Structure 5, wherein at least one of a swipe operation and a pinch operation can be performed using the touch panel.
(構成7)前記撮影画像情報の歪曲補正をユーザにより選択するための操作手段を有することを特徴とする構成1~6のいずれか1つに記載の画像処理システム。 (Configuration 7) The image processing system according to any one of configurations 1 to 6, further comprising an operation means for a user to select distortion correction of the photographed image information.
(構成8)前記切出境界情報の歪曲補正をユーザにより選択するための操作手段を有することを特徴とする構成1~7のいずれか1つに記載の画像処理システム。 (Structure 8) The image processing system according to any one of Structures 1 to 7, further comprising an operation means for a user to select distortion correction of the cutting boundary information.
(構成9)前記切出領域の画像の歪曲補正をユーザにより選択するための操作手段を有することを特徴とする構成1~8のいずれか1つに記載の画像処理システム。 (Structure 9) The image processing system according to any one of Structures 1 to 8, further comprising an operation means for a user to select distortion correction for the image of the cutout area.
(構成10)前記画像形成手段は、前記切出領域が前記低歪曲領域を含むか否かに関するメッセージを表示することを特徴とする構成1~9のいずれか1つに記載の画像処理システム。 (Structure 10) The image processing system according to any one of Structures 1 to 9, wherein the image forming means displays a message regarding whether or not the cutout area includes the low distortion area.
(構成11)前記画像形成手段は、前記切出領域の画像の歪曲補正の有無に関するメッセージを表示することを特徴とする構成1~10のいずれか1つに記載の画像処理システム。 (Structure 11) The image processing system according to any one of Structures 1 to 10, wherein the image forming means displays a message regarding whether or not distortion correction is to be performed on the image of the cutout area.
(構成12)前記画像形成手段は、前記切出領域が前記低歪曲領域を含む場合に前記切出領域の画像の歪曲補正を行うことを特徴とする構成1~11のいずれか1つに記載の画像処理システム。 (Structure 12) According to any one of Structures 1 to 11, the image forming means performs distortion correction on the image of the cutout area when the cutout area includes the low distortion area. image processing system.
(構成13)前記光学像を形成する光学系の焦点距離をf、半画角をθ、像面での像高をy、像高yと半画角θとの関係を表す射影特性をy(θ)とするとき、前記低歪曲領域におけるy(θ)はf×θより大きく、前記高歪曲領域における前記射影特性とは異なることを特徴とする構成1~12のいずれか1つに記載の画像処理システム。 (Structure 13) The focal length of the optical system that forms the optical image is f, the half angle of view is θ, the image height on the image plane is y, and the projection characteristic representing the relationship between the image height y and the half angle of view θ is y. (θ), y(θ) in the low distortion region is larger than f×θ and is different from the projection characteristic in the high distortion region, according to any one of configurations 1 to 12. image processing system.
(構成14)前記低歪曲領域は、中心射影方式(y=f×tanθ)または等距離射影方式(y=f×θ)に近似した前記射影特性となるように構成されていることを特徴とする構成13に記載の画像処理システム。
(Structure 14) The low distortion area is configured so that the projection characteristic approximates a central projection method (y=f×tanθ) or an equidistant projection method (y=f×θ). The image processing system according to
(構成15)θmaxを前記光学系が有する最大の半画角、Aを所定の定数とするとき、
(方法)低歪曲領域と高歪曲領域とを有する光学像を撮像する撮像手段により形成した撮影画像情報を取得する画像取得ステップと、前記撮影画像情報における切出領域の範囲を示す切出領域情報とを取得する情報取得ステップと、前記切出領域情報に基づき前記切出領域の境界を示す切出境界情報を形成する切出境界情報形成ステップと、前記低歪曲領域と前記高歪曲領域との境界を示す歪曲境界情報と、前記切出境界情報とを重畳した画像を形成する画像形成ステップと、を有することを特徴とする画像処理方法。 (Method) An image acquisition step of acquiring captured image information formed by an imaging means that captures an optical image having a low distortion area and a high distortion area, and cutout area information indicating the range of the cutout area in the captured image information. an information acquisition step of acquiring information about the extraction region; a cutting boundary information forming step of forming cutting boundary information indicating a boundary of the cutting region based on the cutting region information; An image processing method comprising an image forming step of forming an image in which distorted boundary information indicating a boundary and the cut-out boundary information are superimposed.
(プログラム)構成1~15のいずれか1つに記載の画像処理システムの各手段をコンピュータにより制御するためのコンピュータプログラム。 (Program) A computer program for controlling each means of the image processing system according to any one of configurations 1 to 15 by a computer.
<その他の実施形態>
上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
<Other embodiments>
The present invention also applies when a software program that implements the functions of the above-described embodiments is supplied directly from a recording medium or using wired/wireless communication to a system or device having a computer capable of executing the program, and the program is executed. Included in invention.
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。 Therefore, in order to realize the functional processing of the present invention on a computer, the program code itself that is supplied and installed in the computer also realizes the present invention. In other words, the present invention also includes a computer program itself for realizing the functional processing of the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。 In this case, the form of the program does not matter, such as an object code, a program executed by an interpreter, or script data supplied to the OS, as long as it has the function of a program.
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでも良い。 The recording medium for supplying the program may be, for example, a hard disk, a magnetic recording medium such as a magnetic tape, an optical/magnetic optical storage medium, or a nonvolatile semiconductor memory.
又、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。 Further, as a method for supplying the program, a method may be considered in which a computer program forming the present invention is stored in a server on a computer network, and a connected client computer downloads and programs the computer program.
10:撮像部
11:超広角レンズ
12:撮像素子
20:統合処理部
21:切出境界情報算出部
22:切出画像出力モード制御部
23:合成画像形成部
24:切出画像形成部
10: Imaging unit 11: Ultra-wide-angle lens 12: Imaging element 20: Integrated processing unit 21: Cutout boundary information calculation unit 22: Cutout image output mode control unit 23: Composite image formation unit 24: Cutout image formation unit
Claims (17)
前記撮影画像情報における切出領域の範囲を示す切出領域情報とを取得する情報取得手段と、
前記切出領域情報に基づき前記切出領域の境界を示す切出境界情報を形成する切出境界情報形成手段と、
前記低歪曲領域と前記高歪曲領域との境界を示す歪曲境界情報と、前記切出境界情報とを重畳した画像を形成する画像形成手段と、を有することを特徴とする画像処理システム。 an image acquisition means for acquiring captured image information formed by an imaging means for capturing an optical image having a low distortion region and a high distortion region;
Information acquisition means for acquiring cutout area information indicating a range of the cutout area in the photographed image information;
Cutting boundary information forming means for forming cutting boundary information indicating a boundary of the cutting region based on the cutting region information;
An image processing system comprising: an image forming means for forming an image in which distortion boundary information indicating a boundary between the low distortion area and the high distortion area and the cutting boundary information are superimposed.
前記低歪曲領域におけるy(θ)はf×θより大きく、前記高歪曲領域における前記射影特性とは異なることを特徴とする請求項1に記載の画像処理システム。 The focal length of the optical system that forms the optical image is f, the half angle of view is θ, the image height on the image plane is y, and the projection characteristic representing the relationship between the image height y and the half angle of view θ is y(θ). and when,
2. The image processing system according to claim 1, wherein y(θ) in the low distortion region is larger than f×θ and is different from the projection characteristic in the high distortion region.
前記撮影画像情報における切出領域の範囲を示す切出領域情報とを取得する情報取得ステップと、
前記切出領域情報に基づき前記切出領域の境界を示す切出境界情報を形成する切出境界情報形成ステップと、
前記低歪曲領域と前記高歪曲領域との境界を示す歪曲境界情報と、前記切出境界情報とを重畳した画像を形成する画像形成ステップと、を有することを特徴とする画像処理方法。 an image acquisition step of acquiring captured image information formed by an imaging means that captures an optical image having a low distortion area and a high distortion area;
an information acquisition step of acquiring cutout area information indicating the range of the cutout area in the photographed image information;
a cutting boundary information forming step of forming cutting boundary information indicating a boundary of the cutting area based on the cutting area information;
An image processing method comprising: forming an image in which distortion boundary information indicating a boundary between the low distortion area and the high distortion area and the cutting boundary information are superimposed.
A computer program for controlling each means of the image processing system according to any one of claims 1 to 15 by a computer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022118264A JP2024015890A (en) | 2022-07-25 | 2022-07-25 | Image processing system, image processing method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022118264A JP2024015890A (en) | 2022-07-25 | 2022-07-25 | Image processing system, image processing method, and computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024015890A true JP2024015890A (en) | 2024-02-06 |
Family
ID=89772610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022118264A Pending JP2024015890A (en) | 2022-07-25 | 2022-07-25 | Image processing system, image processing method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024015890A (en) |
-
2022
- 2022-07-25 JP JP2022118264A patent/JP2024015890A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10304157B2 (en) | Information processing method, information processing device, and program | |
US9646404B2 (en) | Information processing method, information processing device, and program that facilitates image processing operations on a mobile device | |
US10452945B2 (en) | Image generating device, electronic device, image generating method and recording medium | |
US10437545B2 (en) | Apparatus, system, and method for controlling display, and recording medium | |
JP5517746B2 (en) | Image processing apparatus and method | |
JP2018110375A (en) | Display device, program, and display method | |
CN104838313A (en) | Imaging device and method for controlling same | |
JP5966584B2 (en) | Display control apparatus, display control method, and program | |
JP6350695B2 (en) | Apparatus, method, and program | |
JP2018109946A (en) | Display device, program, and method for display | |
JP2024513783A (en) | How to control the camera | |
JP6583486B2 (en) | Information processing method, information processing program, and information processing apparatus | |
JP2024015890A (en) | Image processing system, image processing method, and computer program | |
US10701286B2 (en) | Image processing device, image processing system, and non-transitory storage medium | |
JP6128185B2 (en) | Apparatus, method, and program | |
JP6777208B2 (en) | program | |
JP2016021267A (en) | Device, method, and program | |
JP2018109740A (en) | Display device, program, and method for display | |
US20220165021A1 (en) | Apparatus, system, method, and non-transitory medium | |
JP2017224330A (en) | Device, method, and program |