JP5442164B2 - 移動体周辺映像補正装置 - Google Patents
移動体周辺映像補正装置 Download PDFInfo
- Publication number
- JP5442164B2 JP5442164B2 JP2013503224A JP2013503224A JP5442164B2 JP 5442164 B2 JP5442164 B2 JP 5442164B2 JP 2013503224 A JP2013503224 A JP 2013503224A JP 2013503224 A JP2013503224 A JP 2013503224A JP 5442164 B2 JP5442164 B2 JP 5442164B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- distortion
- reference line
- distortion parameter
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002093 peripheral effect Effects 0.000 title claims description 109
- 238000003702 image correction Methods 0.000 title claims description 71
- 238000012937 correction Methods 0.000 claims description 123
- 238000001514 detection method Methods 0.000 claims description 94
- 238000004364 calculation method Methods 0.000 claims description 74
- 238000003384 imaging method Methods 0.000 claims description 61
- 238000011156 evaluation Methods 0.000 claims description 47
- 238000012935 Averaging Methods 0.000 claims description 43
- 239000000284 extract Substances 0.000 claims description 8
- 238000000034 method Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 238000010187 selection method Methods 0.000 description 4
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Geometry (AREA)
Description
このように、従来はカメラ特性等の設定作業に手間がかかるという課題があった。
実施の形態1.
図1に示す車両周辺映像補正装置10は、撮像装置(以下、カメラ)に接続する撮像部11と、所定の処理を行う基準線検出部12、歪みパラメータ算出部13および歪み補正部14と、表示装置に接続する表示部15とから構成される。ここでは、車両周辺映像補正装置10が車両に搭載されるカーナビゲーション装置等に組み込まれて使用される場合を想定し、車両に取り付けられたカメラおよび車室内に設置された表示装置を利用する。
以下では、撮像部11に接続するカメラとして広角のリアカメラを例に用いて説明する。
図2(a)に撮像部11がカメラから取得した歪曲映像の一例を示す。基準線検出部12は画像処理により、この歪曲映像からエッジを抽出する。図2(b)はエッジ抽出結果を示し、この図のように基準線に関係のないエッジが映像中に多数存在する場合は、基準線検出部12が映像に対してリサイズおよびぼかし等の画像処理を加え、基準線を検出しやすくしてもよい。
続いて基準線検出部12は、エッジ抽出結果から、水平方向につながるエッジを抽出する。図2(c)に水平方向につながるエッジ抽出結果を示す。車両後方または前方にカメラを設置した場合、映像の上端から下端までつながる垂直方向のエッジが検出されることは稀有であるため、垂直方向のつながりは無視する。ただし、カメラを車両側方に設置した場合等、状況によっては垂直方向につながるエッジを抽出してもよい。なお、基準線検出部12は水平方向につながるエッジの抽出本数が所定本数以下の場合にその歪曲映像を破棄し、以下の処理に用いないようにしてもよい。
続いて基準線検出部12は、予め与えられている平均的な魚眼カメラの歪み(図2(d)に一例を示す)を参照し、水平方向につながるエッジ抽出結果においてエッジ間の短い切れ目を補完する。図2(e)にエッジ間の補完結果を示す。図2(c)の切れ目100が図2(e)では補完されている。
続いて基準線検出部12は、エッジ間の補完結果において、一定以上の長さを持たないエッジを削除する。図2(f)に短いエッジの削除結果を示す。図2(e)の短いエッジ101が図2(f)では削除されて、3本のエッジ102〜104のみ残っている。
続いて基準線検出部12は、所定距離内に存在する近い位置のエッジ同士を1本のエッジにまとめる。図2(g)に近い位置のエッジ同士をまとめた結果を示す。図2(f)の近い位置のエッジ102,103が、図2(g)では1本のエッジ105にまとめられている。
(P1)エッジの長さ
エッジが長いほど優先度が高くなるよう重み付けする
(P2)エッジの歪みと平均的な魚眼カメラの歪みとの類似度
類似度が高いほど優先度が高くなるよう重み付けする
(P3)図2(f)から図2(g)への移行処理で1本にまとめる基となったエッジの本数
多くのエッジを1本にまとめるほど優先度が高くなるよう重み付けする
(P4)映像の上下方向の中心からの距離
中心からの距離が遠いほど優先度が高くなるよう重み付けする(映像の中心は歪みが小さいため、基準線としては不適切である)
歪み補正部14は、歪みパラメータ算出部13が算出した歪みパラメータを用いて、基準線が直線になるように映像中の各画素を座標変換し、歪曲映像全体の歪みを補正する。
図3は、樽型歪み補正方法を説明する図である。図3(a)は、撮像部11が取得した歪曲映像の一例であり、図3(b)はその歪曲映像を歪み補正した歪み補正映像の一例である。また、格子は映像上に設定されたXY軸の座標位置を示し、中心座標(0,0)とする。また、基準線106を一例として示す。
Xu=Xd+k×(Xd2+Yd2)
Yu=Yd+k×(Xd2+Yd2) (1)
ここで、(Xu,Yu)は歪み補正後の座標、(Xd,Yd)は歪み補正前の座標、kは歪みパラメータである。
そして、歪み補正部14が、歪みパラメータ算出部13の算出した歪みパラメータkを用いて、式(1)より、撮像部11の取得した歪曲映像の各画素の座標(Xd,Yd)を座標(Xu,Yu)に変換した歪み補正映像を生成する。
図5は、この発明の実施の形態2に係る車両周辺映像補正装置10aの構成を示すブロック図である。図5において図1と同一または相当の部分については同一の符号を付し説明を省略する。この車両周辺映像補正装置10aは、新たに、映像保存部21、記憶媒体22および基準線平均化部23を備える構成である。
なお、基準線検出部12aは、処理時間等を考慮し、記憶媒体22が保存している映像のうちのいくつかを抜き出して、上記処理を行う構成としてもよい。また、基準線検出部12aは、平均化に適さない基準線の画像を基準線平均化部23へ出力しないようにすれば、処理時間を短縮すると共に、より適切な基準線を得ることができるので、より望ましい。平均化に適さない基準線の画像とは、例えば基準線平均化部23へ出力する候補となる基準線の形状が平均的な魚眼カメラの歪み量から所定以上に大きくずれていたり、基準線の長さが所定の長さに足りなかったり、基準線が画面中央にあったり(画面中央付近は歪み量が小さいので基準線としては不適切である)する画像である。
なお、基準線平均化部23は、複数の基準線が存在する場合には、優先度が最も高い基準線、あるいはユーザが指定した基準線を選択する。
基準線検出部12aが3つの歪曲映像から図6(a)〜(c)に示すような基準線107〜111を検出したとする。基準線平均化部23は、これらの基準線107〜111を白色で記した画像を合成する。具体的には、それぞれの映像の各画素が白を0、黒を1とする画素値を持つ白黒画像であるとして、複数の映像の同一画素の画素値の平均値を求め、合成した画像の各画素値とする。合成した画像の各画素値の中で、最も白が濃い部分(あるいは画素値が所定値以下の部分)をエッジと同様に考え、途切れている部分を補完して基準線を検出することで、複数本の基準線を平均化できる。例えば図6(d)に示す合成画像からは図6(e)の基準線112が選択される。
なお、基準線平均化部23は、複数の基準線に設けられた優先度に応じて白色の濃さを調整して、重み付き平均を求めてもよい。
撮像部11がカメラから歪曲映像を取得して、映像保存部21および歪み補正部14に出力し(ステップST21)、映像保存部21が歪曲映像を記憶媒体22に保存する(ステップST22)。映像保存部21は歪み補正処理に足りる十分な歪曲映像が保存できているか否か判定し(ステップST23)、不十分なら(ステップST23“NO”)、ステップST21へ戻る。十分なら(ステップST23“YES”)、続いて基準線検出部12aが、記憶媒体22に保存されている全ての歪曲映像から基準線を検出し終えたか否かを判定する(ステップST24)。基準線検出部12aは、全て検出し終えていなければ(ステップST24“NO”)、複数の歪曲映像毎に基準線を検出する(ステップST25)。
図9に、変形例を示す。図9において、図1および図5と同一または相当の部分については同一の符号を付し説明を省略する。この車両周辺映像補正装置10a−1は、複数の歪みパラメータから最適な歪みパラメータを算出する最適歪みパラメータ算出部である歪みパラメータ平均化部24を備える構成である。
歪みパラメータ平均化部24は、1枚以上の歪曲映像の基準線から歪みパラメータ算出部13aが算出した歪みパラメータを入力とし、平均化した歪みパラメータを算出し、歪み補正部14へ出力する。
歪み補正部14は上記実施の形態2と同様に、撮像部11から入力される歪曲映像を順次、歪みパラメータを用いて歪み補正し、表示部15が歪み補正映像として画面表示する。
図10は、この発明の実施の形態3に係る車両周辺映像補正装置10bの構成を示すブロック図である。図10において図1および図5と同一または相当の部分については同一の符号を付し説明を省略する。この車両周辺映像補正装置10bは、新たに、歪みパラメータ評価部31、最適歪みパラメータ算出部32、地形情報取得部33および周辺物体検知部34を備える構成である。
歪みパラメータ評価部31は、評価のためのリファレンス映像として歪曲映像を用意しておき、各歪みパラメータを用いてリファレンス映像の歪み補正を行い、歪み補正したリファレンス映像からエッジ抽出を行う。図11(a)にリファレンス映像113と、そのリファレンス映像113に対して歪みパラメータk1〜k3で歪み補正してエッジ抽出したエッジ抽出映像114〜116とを示す。
なお、歪みパラメータ評価部31は、リファレンス映像として、記憶媒体22に保存されている歪曲映像を使用してもよいし、撮像部11bで新たに取得した歪曲映像を使用してもよい。また、歪みパラメータ評価部31は、単にエッジ抽出をするだけでなく、基準線検出部12bと同様に、歪み補正したリファレンス映像の垂直方向につながるエッジを削除したり、エッジ間の切れ目を補完したりしてもよい。
(A)歪みパラメータを算出する歪曲映像とは異なる映像
歪みパラメータ評価部31は、歪みパラメータ算出部13bで歪みパラメータ算出に使用する歪曲映像のスコアを下げ、リファレンス映像に選ばれにくく、または完全に選ばれないようにする。なお、歪みパラメータを算出する歪曲映像をリファレンス映像に用いると、リファレンス映像から算出された歪みパラメータが最適歪みパラメータになり、後述する最適歪みパラメータ算出部32で最適な歪みパラメータを求めることができなくなるという問題がある。
基準線検出部12bにより高い優先度が付与された基準線は、はっきりとしたエッジを有している等の特徴を持つため、リファレンス映像としても有効である。そこで歪みパラメータ評価部31は、この優先度が高い映像ほどスコアを上げる。
また、あまりに多数の基準線が検出されるような歪曲映像は、後述する図11(b)に示すエッジ量グラフで多数の突出部を持ってしまい、正しく評価できない可能性があるので、基準線の本数が多いほどスコアを下げるか、または完全に選ばれないようにする。
車両周囲に建造物がない開けた場所または高速道路では、正しいリファレンス映像を取得できる確率が高い。そこで、車両周辺映像補正装置10bが車両周辺の地形情報を取得する地形情報取得部33を備え、撮像部11bは、地形情報取得部33が取得する車両周辺の地形情報を利用して、リファレンス映像取得に適している場所(例えば、高速道路)で撮像された映像に高いスコアを付与して出力したり、適している場所で撮像された映像のみを出力したりする。
また、車両周辺映像補正装置10bが車両周辺に存在する物体を検知する周辺物体検知部34を備え、撮像部11bは、周辺物体検知部34が検知した物体に関する情報を利用して、リファレンス映像取得に適している場所(例えば、物体が検知されなかった場所)で撮像された映像に高いスコアを付与して出力したり、適している場所で撮像された映像のみを出力したりする。
なお、当該(C)に基づくリファレンス映像を使用する場合に地形情報取得部33および周辺物体検知部34の一方、または両方を備える構成とすればよく、当該(C)を考慮しない場合には不要である。この地形情報取得部33は、例えばカーナビゲーション装置の地図情報から地形情報を抽出する手段であり、また、周辺物体検知部34は、例えば車体に設置された超音波センサを具備するかカメラ映像から物体を認識する画像処理装置を具備するかして物体を検知する手段である。
図11(b)の3つのグラフの突出部117〜119を比較すると、突出部119が最も幅が狭く高さも高いので、歪みパラメータk3の評価値が最も高くなる。反対に、突出部117は最も幅が広く高さも低いので、歪みパラメータk1の評価値が最も低くなる。
基準線検出部12bが記憶媒体22に保存されている全ての歪曲映像から基準線を検出し終えると(図7に示すステップST24“YES”)、続いて歪みパラメータ評価部31が、これら全ての基準線についての歪みパラメータの評価値を算出し終えたか否か判定する(図12に示すステップST31)。
図13は、この発明の実施の形態4に係る車両周辺映像補正装置10cの構成を示すブロック図である。図13において図1と同一または相当の部分については同一の符号を付し説明を省略する。この車両周辺映像補正装置10cは、新たに、ユーザからの入力を受け付ける入力装置としての基準線選択部41および基準線描画部42を備える構成である。
(1)基準線に優先度を表示する
(2)優先度が高い基準線を強調表示する
(3)カーソルキー等で基準線を選択させる場合に、優先度が高い順にカーソルを移動する
具体例としては、タッチパネルと一体に構成された表示部15が画面表示する歪曲映像中の水平線および自車両バンパ等をユーザが指でなぞるといった操作を行うと、基準線描画部42がその入力操作を受け付けて基準線の情報として歪みパラメータ算出部13cに出力する。
車両周辺映像補正装置10cはユーザに対して、基準線選択部41および基準線描画部42のどちらを使用するか選択させる(ステップST41)。ユーザが基準線選択部41を選択した場合(ステップST41“基準線選択”)、基準線選択部41が、基準線検出部12cの検出した基準線の中から歪み補正に使用する基準線をユーザに選択させ、その基準線を歪みパラメータ算出部13cへ出力する(ステップST42)。
他方、ユーザが基準線描画部42を選択した場合(ステップST41“基準線描画”)、基準線描画部42が、基準線をユーザに描画させ、その基準線を歪みパラメータ算出部13cへ出力する(ステップST43)。
図16は、この発明の実施の形態5に係る車両周辺映像補正装置10dの構成を示すブロック図である。図16において図1と同一または相当の部分については同一の符号を付し説明を省略する。この車両周辺映像補正装置10dは、新たに、特徴物検出部51、ならびにユーザからの入力を受け付ける入力装置としての特徴物選択部52および中央位置入力部53を備える構成である。
本実施の形態5では、カメラが車両中央からずれた位置に設置されている場合に、このカメラが撮像した映像を用いて、表示部15に画面表示する歪み補正映像をセンタリングする。以下では、カメラが車両中央から左右方向(水平方向)にずれた位置に設置されている場合を例に用いて説明する。
また、画角が広いカメラを車両後部に取り付けている場合、左右の方向指示器が歪曲映像の左右に映ることがある。この場合、特徴物検出部51は、方向指示器の位置から大まかな車両中央位置を算出し、算出した位置付近に存在する特徴物の優先度を高く設定してもよい。
具体例としては、タッチパネルと一体に構成された表示部15が画面表示する歪み補正映像上でユーザが中央位置をタッチする操作を行うと、中央位置入力部53がその入力操作を受け付けて中央位置の情報として歪み補正部14dに出力する。
撮像部11、基準線検出部12、歪みパラメータ算出部13、および歪み補正部14dが所定の処理を行って歪曲映像を歪み補正し、表示部15が歪み補正映像を画面表示する(ステップST51)。なお、歪曲映像を歪み補正するまででとどめ、画面表示は行わなくともよい。続いて特徴物検出部51が、歪み補正映像からナンバプレート等の特徴物を検出する(ステップST52)。
他方、中央位置入力部53は、自車両の中央位置をユーザに指定させ、その指定位置を中央位置として歪み補正部14dへ出力する(ステップST55)。
なお、歪み補正部14dは、歪み補正映像に対して画像処理を加えてセンタリングを行ってもよいし、歪みパラメータと中央位置を入力として歪み補正を行う方法により歪曲映像に対して歪み補正とセンタリングを一度に行ってもよい。または、歪曲映像に画像処理を加えてセンタリングを行ってから、歪み補正を行ってもよい。
また、上記説明では歪み補正部14dは左右方向のみセンタリングを行ったが、これに加え、またはこれに代えて、上下方向(垂直方向)のセンタリングを行ってもよい。
Claims (14)
- 移動体の周辺を撮像する撮像装置から周辺映像を取得する撮像部と、
前記撮像部が取得した周辺映像からエッジを抽出し、当該エッジから曲線状の基準線を求める基準線検出部と、
前記基準線検出部が求めた基準線が直線状になるような、周辺映像の歪み補正用の歪みパラメータを算出する歪みパラメータ算出部と、
前記歪みパラメータ算出部が算出した歪みパラメータを用いて、前記撮像部が取得する周辺映像の歪みを補正して、表示部で表示する周辺映像として出力する歪み補正部と、
移動体の周辺の地形情報を取得する地形情報取得部とを備え、
前記撮像部は、前記地形情報取得部が取得した地形情報を利用して、前記撮像装置から周辺映像を選択的に取得することを特徴とする移動体周辺映像補正装置。 - 移動体の周辺を撮像する撮像装置から周辺映像を取得する撮像部と、
前記撮像部が取得した周辺映像からエッジを抽出し、当該エッジから曲線状の基準線を求める基準線検出部と、
前記基準線検出部が求めた基準線が直線状になるような、周辺映像の歪み補正用の歪みパラメータを算出する歪みパラメータ算出部と、
前記歪みパラメータ算出部が算出した歪みパラメータを用いて、前記撮像部が取得する周辺映像の歪みを補正して、表示部で表示する周辺映像として出力する歪み補正部と、
移動体の周辺に存在する物体を検知する周辺物体検知部とを備え、
前記撮像部は、前記周辺物体検知部が検知した物体に関する情報を利用して、前記撮像装置から周辺映像を選択的に取得することを特徴とする移動体周辺映像補正装置。 - 移動体の周辺を撮像する撮像装置から周辺映像を取得する撮像部と、
前記撮像部が取得した周辺映像からエッジを抽出し、当該エッジから曲線状の基準線を求める基準線検出部と、
前記基準線検出部が求めた基準線が直線状になるような、周辺映像の歪み補正用の歪みパラメータを算出する歪みパラメータ算出部と、
前記歪みパラメータ算出部が算出した歪みパラメータを用いて、前記撮像部が取得する周辺映像の歪みを補正して、表示部で表示する周辺映像として出力する歪み補正部と、
複数の基準線を平均化する基準線平均化部とを備え、
前記基準線検出部は、前記撮像部が取得した複数の周辺映像それぞれから基準線を検出して前記基準線平均化部に出力し、
前記歪みパラメータ算出部は、前記基準線平均化部が平均化した基準線が直線状になるような歪みパラメータを算出することを特徴とする移動体周辺映像補正装置。 - 前記基準線検出部が複数の基準線を検出して前記歪みパラメータ算出部が当該複数の基準線それぞれについて算出した複数の歪みパラメータを用いて、最適な歪みパラメータを算出する最適歪みパラメータ算出部を備え、
前記歪み補正部は、前記最適歪みパラメータ算出部が算出した最適な歪みパラメータを用いて周辺映像の歪みを補正することを特徴とする請求項1から請求項3のうちのいずれか1項記載の移動体周辺映像補正装置。 - 前記最適歪みパラメータ算出部は、複数の歪みパラメータの平均を算出して最適な歪みパラメータとすることを特徴とする請求項4記載の移動体周辺映像補正装置。
- 前記基準線検出部が複数の基準線を検出して前記歪みパラメータ算出部が当該複数の基準線それぞれについて算出した複数の歪みパラメータを用いて、リファレンス映像をそれぞれ歪み補正し当該補正結果に基づいて歪み補正の適切さを表す評価値を算出する歪みパラメータ評価部を備え、
前記最適歪みパラメータ算出部は、前記歪みパラメータ評価部が算出した評価値に基づいて、前記歪みパラメータ算出部が算出した複数の歪みパラメータのうちから最適な歪みパラメータを算出することを特徴とする請求項4記載の移動体周辺映像補正装置。 - 前記基準線検出部が検出した複数の基準線のうちからユーザに所望の基準線を選択させる基準線選択部を備え、
前記歪みパラメータ算出部は、前記基準線選択部がユーザから受け付けた基準線を用いて歪みパラメータを算出することを特徴とする請求項1から請求項3のうちのいずれか1項記載の移動体周辺映像補正装置。 - ユーザの描画する基準線を受け付ける基準線描画部を備え、
前記歪みパラメータ算出部は、前記基準線描画部がユーザから受け付けた基準線を用いて歪みパラメータを算出することを特徴とする請求項1から請求項3のうちのいずれか1項記載の移動体周辺映像補正装置。 - 周辺映像から所定の特徴物を検出する特徴物検出部と、
前記特徴物検出部が検出した複数の特徴物のうちからユーザに所望の特徴物を選択させる特徴物選択部とを備え、
前記歪み補正部は、前記周辺映像について、前記特徴物選択部がユーザから受け付けた特徴物が前記表示部の画面中央に表示されるようセンタリングを行うと共に歪み補正を行うことを特徴とする請求項1から請求項3のうちのいずれか1項記載の移動体周辺映像補正装置。 - 周辺映像の、前記表示部の画面中央に表示する位置をユーザから受け付ける中央位置入力部を備え、
前記歪み補正部は、前記周辺映像について、前記中央位置入力部がユーザから受け付けた位置が前記表示部の画面中央になるようセンタリングを行うと共に歪み補正を行うことを特徴とする請求項1から請求項3のうちのいずれか1項記載の移動体周辺映像補正装置。 - 前記基準線検出部は、水平方向に伸びた曲線状の基準線を検出することを特徴とする請求項1から請求項3のうちのいずれか1項記載の移動体周辺映像補正装置。
- 前記撮像装置は、移動体に着脱自在であることを特徴とする請求項1から請求項3のうちのいずれか1項記載の移動体周辺映像補正装置。
- 前記撮像装置は、広角撮像装置であることを特徴とする請求項1から請求項3のうちのいずれか1項記載の移動体周辺映像補正装置。
- 前記移動体は車両であることを特徴とする請求項1から請求項3のうちのいずれか1項記載の移動体周辺映像補正装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2011/001354 WO2012120561A1 (ja) | 2011-03-08 | 2011-03-08 | 移動体周辺映像補正装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5442164B2 true JP5442164B2 (ja) | 2014-03-12 |
JPWO2012120561A1 JPWO2012120561A1 (ja) | 2014-07-07 |
Family
ID=46797576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013503224A Active JP5442164B2 (ja) | 2011-03-08 | 2011-03-08 | 移動体周辺映像補正装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10178314B2 (ja) |
JP (1) | JP5442164B2 (ja) |
WO (1) | WO2012120561A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016104842A1 (ko) * | 2014-12-26 | 2016-06-30 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법 |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2013001941A1 (ja) * | 2011-06-27 | 2015-02-23 | 日本電気株式会社 | 物体検知装置、物体検知方法および物体検知プログラム |
JP5985336B2 (ja) * | 2012-09-27 | 2016-09-06 | 株式会社熊平製作所 | パノラマ画像作成装置、及び、プログラム |
EP3031206B1 (en) * | 2013-08-09 | 2020-01-22 | ICN Acquisition, LLC | System, method and apparatus for remote monitoring |
JP6271969B2 (ja) * | 2013-11-27 | 2018-01-31 | キヤノン株式会社 | 撮像装置および画像補正方法 |
WO2015151523A1 (ja) * | 2014-04-03 | 2015-10-08 | パナソニックIpマネジメント株式会社 | 後方視界確認装置と、それを搭載した自動車 |
JP6210946B2 (ja) * | 2014-07-29 | 2017-10-11 | 三菱電機ビルテクノサービス株式会社 | エレベータかご内カメラの画角調整装置およびエレベータかご内カメラの画角調整方法 |
WO2016090559A1 (zh) * | 2014-12-09 | 2016-06-16 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置及摄像设备 |
JP6552255B2 (ja) * | 2015-04-23 | 2019-07-31 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、及び、コンピュータプログラム |
US9609242B2 (en) * | 2015-06-25 | 2017-03-28 | Intel Corporation | Auto-correction of depth-sensing camera data for planar target surfaces |
JP2017208619A (ja) | 2016-05-16 | 2017-11-24 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム及び撮像システム |
CN106600644B (zh) * | 2016-11-16 | 2020-06-09 | 深圳六滴科技有限公司 | 全景摄像机的参数矫正方法及装置 |
EP3523777A4 (en) * | 2016-12-06 | 2019-11-13 | SZ DJI Technology Co., Ltd. | SYSTEM AND METHOD FOR CONFIGURING A WIDE ANGLE IMAGE |
WO2018179040A1 (ja) * | 2017-03-27 | 2018-10-04 | 日本電気株式会社 | カメラパラメータ推定装置、方法およびプログラム |
JP6919334B2 (ja) * | 2017-05-26 | 2021-08-18 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム |
WO2019049331A1 (ja) * | 2017-09-08 | 2019-03-14 | 株式会社ソニー・インタラクティブエンタテインメント | キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法 |
JP6958163B2 (ja) * | 2017-09-20 | 2021-11-02 | 株式会社アイシン | 表示制御装置 |
FR3071651B1 (fr) * | 2017-09-26 | 2019-10-25 | Renault S.A.S. | Procede d'affichage d'une vue etendue d'un environnement d'un vehicule automobile, et vehicule automobile associe |
CN107845058A (zh) * | 2017-09-28 | 2018-03-27 | 成都大熊智能科技有限责任公司 | 一种基于边缘线的三维重构实现投影畸变矫正的方法 |
US10958807B1 (en) | 2018-02-08 | 2021-03-23 | Digimarc Corporation | Methods and arrangements for configuring retail scanning systems |
US11995511B2 (en) | 2018-02-08 | 2024-05-28 | Digimarc Corporation | Methods and arrangements for localizing machine-readable indicia |
CN111670572B (zh) * | 2018-02-09 | 2022-01-28 | 索尼公司 | 校准装置、校准方法和计算机可读存储介质 |
US10846831B2 (en) * | 2018-12-19 | 2020-11-24 | GM Global Technology Operations LLC | Computing system for rectifying ultra-wide fisheye lens images |
US11004232B2 (en) | 2019-07-12 | 2021-05-11 | Mediatek Inc. | Method and apparatus for performing object detection according to bounding box distribution that is determined by considering lens configuration |
JP2022155102A (ja) * | 2021-03-30 | 2022-10-13 | 本田技研工業株式会社 | 移動体の制御装置、制御方法及びプログラム |
CN118537580B (zh) * | 2024-07-26 | 2024-09-27 | 魔视智能科技(上海)有限公司 | 鱼眼图像的边缘直线特征提取方法、装置、设备及介质 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5691765A (en) | 1995-07-27 | 1997-11-25 | Sensormatic Electronics Corporation | Image forming and processing device and method for use with no moving parts camera |
JP2004086747A (ja) * | 2002-08-28 | 2004-03-18 | Chinon Ind Inc | 歪曲収差測定方法及び画像処理装置 |
US6969183B2 (en) * | 2002-12-27 | 2005-11-29 | Ichikoh Industries, Ltd. | Digital lighting apparatus for vehicle, controller for digital lighting apparatus, and control program for digital lighting apparatus |
CA2559726C (en) * | 2004-03-24 | 2015-10-20 | A9.Com, Inc. | System and method for displaying images in an online directory |
JP2006127083A (ja) * | 2004-10-28 | 2006-05-18 | Aisin Seiki Co Ltd | 画像処理方法及び画像処理装置 |
US20080285886A1 (en) * | 2005-03-29 | 2008-11-20 | Matthew Emmerson Allen | System For Displaying Images |
JP2007158639A (ja) | 2005-12-05 | 2007-06-21 | Alpine Electronics Inc | 車両運転支援装置 |
WO2008081575A1 (ja) * | 2006-12-27 | 2008-07-10 | Nikon Corporation | 歪曲補正方法、歪曲補正装置、歪曲補正プログラム、及びディジタルカメラ |
JP4924896B2 (ja) * | 2007-07-05 | 2012-04-25 | アイシン精機株式会社 | 車両の周辺監視装置 |
US7925116B2 (en) * | 2007-10-25 | 2011-04-12 | Motorola Mobility, Inc. | Method and apparatus to facilitate forming a compensated image of a wide-angle image |
JP4640470B2 (ja) * | 2008-08-18 | 2011-03-02 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、および撮像装置 |
JP5182042B2 (ja) * | 2008-11-28 | 2013-04-10 | 富士通株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
JP5049304B2 (ja) | 2009-01-29 | 2012-10-17 | 本田技研工業株式会社 | 車両の周辺を画像表示するための装置 |
JP4748270B2 (ja) * | 2009-01-30 | 2011-08-17 | 株式会社ニコン | 画像処理装置および画像処理プログラム |
JP5482167B2 (ja) * | 2009-12-10 | 2014-04-23 | アイシン・エィ・ダブリュ株式会社 | 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム |
US8836784B2 (en) * | 2010-10-27 | 2014-09-16 | Intellectual Ventures Fund 83 Llc | Automotive imaging system for recording exception events |
US8983717B2 (en) * | 2010-12-21 | 2015-03-17 | Ford Global Technologies, Llc | Vehicle camera system operable in off-road mode and method |
US9111343B2 (en) * | 2011-01-18 | 2015-08-18 | Roche Diagnostics Hematology, Inc. | Microscope slide coordinate system registration |
-
2011
- 2011-03-08 JP JP2013503224A patent/JP5442164B2/ja active Active
- 2011-03-08 WO PCT/JP2011/001354 patent/WO2012120561A1/ja active Application Filing
- 2011-03-08 US US13/990,944 patent/US10178314B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016104842A1 (ko) * | 2014-12-26 | 2016-06-30 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2012120561A1 (ja) | 2014-07-07 |
WO2012120561A1 (ja) | 2012-09-13 |
US20130258047A1 (en) | 2013-10-03 |
US10178314B2 (en) | 2019-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5442164B2 (ja) | 移動体周辺映像補正装置 | |
JP4861574B2 (ja) | 運転支援装置 | |
JP4203512B2 (ja) | 車両周辺監視装置 | |
JP5706874B2 (ja) | 車両の周辺監視装置 | |
JP4919036B2 (ja) | 移動物体認識装置 | |
JP5143235B2 (ja) | 制御装置および車両周囲監視装置 | |
JP4832321B2 (ja) | カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法 | |
JP4872769B2 (ja) | 路面判別装置および路面判別方法 | |
WO2013161028A1 (ja) | 画像表示装置、ナビゲーション装置、画像表示方法、画像表示プログラム、及び記録媒体 | |
JP5083443B2 (ja) | 運転支援装置および方法、ならびに演算装置 | |
JP2011210087A (ja) | 車両周囲監視装置および車両周囲監視方法 | |
JP6340228B2 (ja) | 物体検出装置 | |
JP2010262576A (ja) | 対象物検出装置及びプログラム | |
JP2003028635A (ja) | 画像測距装置 | |
JP2013093639A (ja) | 車両周辺監視装置 | |
JP2020052671A (ja) | 表示制御装置、車両、表示制御方法 | |
KR101976498B1 (ko) | 차량용 제스처 인식 시스템 및 그 방법 | |
US10430952B2 (en) | Foreground-background differentiation in a vehicle | |
JP5020920B2 (ja) | 歩行者検出装置及びプログラム | |
JP6802999B2 (ja) | 区画線検出システム | |
KR20180094717A (ko) | Avm을 이용한 운전 지원 장치 및 시스템 | |
KR101484170B1 (ko) | Hud 영상 평가시스템 및 그 평가방법 | |
JP2009077022A (ja) | 運転支援システム及び車両 | |
US20240071104A1 (en) | Image processing device, image processing method, and recording medium | |
JP5176523B2 (ja) | 移動体検出装置、移動体検出方法および移動体検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5442164 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |