JP6223685B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP6223685B2
JP6223685B2 JP2013016193A JP2013016193A JP6223685B2 JP 6223685 B2 JP6223685 B2 JP 6223685B2 JP 2013016193 A JP2013016193 A JP 2013016193A JP 2013016193 A JP2013016193 A JP 2013016193A JP 6223685 B2 JP6223685 B2 JP 6223685B2
Authority
JP
Japan
Prior art keywords
image
composite image
vehicle
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013016193A
Other languages
English (en)
Other versions
JP2014147057A (ja
Inventor
健太 清水
健太 清水
正博 山田
正博 山田
康嘉 澤田
康嘉 澤田
巧 林田
巧 林田
梓 松岡
梓 松岡
直之 岡田
直之 岡田
稔 藤岡
稔 藤岡
由香 志土地
由香 志土地
俊徳 江坂
俊徳 江坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2013016193A priority Critical patent/JP6223685B2/ja
Priority to DE112013006544.4T priority patent/DE112013006544B4/de
Priority to PCT/JP2013/079934 priority patent/WO2014119081A1/ja
Priority to US14/655,918 priority patent/US10328866B2/en
Priority to CN201380071607.2A priority patent/CN104956668B/zh
Publication of JP2014147057A publication Critical patent/JP2014147057A/ja
Application granted granted Critical
Publication of JP6223685B2 publication Critical patent/JP6223685B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態は、画像処理装置および画像処理方法に関する。
従来、車両に搭載された複数の車載カメラで得られたカメラ画像を画像処理して合成することにより、車両の直上や後部などの任意の仮想視点からみた車両の周辺の様子を示す合成画像を生成してディスプレイに表示する装置が提案されている。
かかる装置では、車載カメラの個体差や取り付け位置のわずかな誤差等によって合成画像の合成位置にずれが生じることがあるため、例えば、ディーラーの作業者等によって、かかるずれを補正するキャリブレーション作業が行われる。
キャリブレーション作業は、例えば、所定形状のマーカーを車両の周囲に配置した状態で各車載カメラにより撮影された画像を表示させ、その各画像中に含まれるマーカーの像の位置を示すパラメータを作業者が指定することで実行される（例えば特許文献１を参照）。
特開２０１１−１５１６６６号公報
しかしながら、上記した従来のキャリブレーション作業は、すべての車載カメラに対して指定するパラメータを調整する作業と、パラメータ調整後に合成された合成画像を検証する作業とを繰り返す必要があったため、その作業が煩雑であった。
本発明は、上記に鑑みてなされたものであって、車載カメラのキャリブレーション作業を容易に実行することのできる画像処理装置および画像処理方法を提供することを目的とする。
上記課題を解決し、目的を達成するために、本発明の実施形態に係る、画像を処理する画像処理装置は、複数の車載カメラ画像に基づいて車両を仮想視点から見た合成画像を生成する生成部と、生成された前記合成画像を表示部へ表示させる表示制御部と、前記合成画像における、一のカメラ画像に基づく画像領域と他のカメラ画像に基づく画像領域との相対的な位置関係の変更を受け付ける変更受付部と、前記車両に対して予め定められた位置に設けられ、前記合成画像に写り込むマーカーと、前記合成画像に表示された車両との前記合成画像における相対位置が、前記マーカーと前記車両との実際の相対位置となった場合に前記合成画像中で前記マーカーと重複する表示を前記合成画像内の予め定められた固定位置に重畳させる表示重畳部とを備え、前記生成部は、前記位置関係の変更を受け付ける度に、変更された位置関係に基づいて前記合成画像を生成する。
本発明の実施形態に係る画像処理装置によれば、キャリブレーション作業を容易に実行することができる。
図１は、実施形態に係る画像処理装置の説明図である。 図２は、実施形態に係る画像処理装置の構成を示すブロック図である。 図３は、実施形態に係る表示変更部の説明図である。 図４は、３次元の直交座標系を示す図である。 図５Ａは、実施形態に係る表示操作部の遷移図である。 図５Ｂは、実施形態に係る表示操作部の遷移図である。 図５Ｃは、実施形態に係る表示操作部の遷移図である。 図５Ｄは、実施形態に係る表示操作部の遷移図である。 図５Ｅは、実施形態に係る表示操作部の遷移図である。 図６は、車両を後退させるときの案内軌跡を例示する俯瞰図である。 図７は、実施形態に係る画像処理装置の制御部が実行する処理を示すフローチャートである。 図８Ａは、実施形態に係る表示操作部の平面図である。 図８Ｂは、図８Ａの表示部を拡大表示させた表示操作部の平面図である。 図９は、実施形態に係る表示部の平面図である。
以下に添付図面を参照して、本願の開示する画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。まず、実施形態に係る画像処理装置の概要について図１を用いて説明する。図１は、実施形態に係る画像処理装置の説明図である。
図１に示すように、実施形態に係る画像処理装置は、例えば、車両２における前後左右の４か所に設けられるカメラによって撮像されるカメラ画像（車載カメラ画像）を画像処理して繋ぎ合わせることで、車両２を上方の仮想視点から見た俯瞰画像（以下、「合成画像」と記載する）を生成する装置である。かかる画像処理装置は、例えば、車室内に設けられるタッチパネル機能を備えた表示操作部８によって合成画像を表示させる。
ここで、画像処理装置では、例えば、車両２の前部に設けられるカメラの取り付け位置や取り付け角度が予め定められた位置や角度からずれていた場合、図１に示すように、車両２の前方を撮像した領域４ａの画像と他の画像との繋ぎ目にずれが生じる場合がある。
かかる画像の繋ぎ目のずれは、車両２のユーザに違和感を与える恐れがある。このため、かかる画像の繋ぎ目のずれは、例えば、車両２のディーラーの作業者がキャリブレーション作業を行うことによって補正される。
実施形態に係る画像処理装置は、かかるキャリブレーション作業を容易に行うことができるよう構成されたものである。具体的には、画像処理装置では、表示操作部８の表示領域内に、生成した車両周辺の合成画像を表示させる表示部４と、選択受付部５と、変更受付部６とを設けた。
ここで、選択受付部５は、車両２に設けられる複数のカメラから１つのカメラを選択させる操作を受け付ける操作ボタンを模した画像である。また、変更受付部６は、合成画像における、選択受付部５の操作によって選択された一のカメラ画像に基づく画像領域と他のカメラ画像に基づく画像領域との相対的な位置関係の変更を受け付ける操作ボタンを模した画像である。より具体的には、変更受付部６は、選択受付部５の操作によって選択されたカメラにより撮像されたカメラ画像の中で、合成画像に採用する領域を変更する操作を受け付ける。
かかる画像処理装置では、例えば、図１に示すように、車両の前方を撮像した領域４ａの画像と他の画像との繋ぎ目にずれが生じていた場合、作業者は、選択受付部５および変更受付部６を操作することでキャリブレーション作業を行う。
例えば、画像処理装置では、作業者によって選択受付部５のＦｒｏｎｔボタンがタッチされた場合に、後述の制御部１５（図２参照）が車両の前部に設けられたカメラを選択する。
その後、制御部１５は、作業者によって変更受付部６の左向き矢印ボタンがタッチされる毎に、車両の前部に設けられたカメラにより撮像されたカメラ画像の中で、合成画像に採用する領域を所定距離ずつ右側へずらし、その都度、合成画像を生成して表示部４に表示させる。
これにより、作業者は、変更受付部６の左向き矢印ボタンをタッチする度に表示部４に表示される車両の合成画像を確認しながら、キャリブレーション作業を行い、図１の下段に示すように、車両の前方を撮像した領域４ａの画像と他の画像との繋ぎ目のずれを容易に解消することができる。なお、かかる制御部１５によって順次生成される合成画像の具体例については、図５Ａ〜図５Ｅを参照して後述する。
また、実施形態に係る画像処理装置によれば、かかるキャリブレーション作業を、車両２に搭載されたすべてのカメラ単位で行うことができるので、例えば、いずれか一つのカメラを交換した場合のキャリブレーション作業も容易となる。
次に、実施形態に係る画像処理装置の構成について図２を用いて説明する。図２は、実施形態に係る画像処理装置の構成を示すブロック図である。図２に示すように、画像処理装置１は、カメラ３が搭載された車両２に適用される装置である。
ここで、カメラ３は、前方カメラ３ａ、後方カメラ３ｂ、左側方カメラ３ｃおよび右側方カメラ３ｄで構成される。これらの前方カメラ３ａ、後方カメラ３ｂ、左側方カメラ３ｃおよび右側方カメラ３ｄは、それぞれ、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）など、電子的に画像を取得する撮像素子を備える。
前方カメラ３ａは、例えばナンバープレート取付位置の近傍などの車両２の前端に設けられ、車両２の前方を撮影する。後方カメラ３ｂは、例えばナンバープレート取付位置の近傍などの車両２の後端に設けられ、車両２の後方を撮影する。また、左側方カメラ３ｃおよび右側方カメラ３ｄは、それぞれ、例えば左右のドアミラーの近傍などに設けられ、車両２の左側方および右側方を撮影する。
なお、カメラ３のレンズとしては、魚眼レンズなどの１８０度以上の画角を有する広角カメラが採用される。これにより、４つのカメラ３を利用することで、車両２の全周囲の撮影が可能となる。
かかるカメラ３が搭載された車両２に備えられる画像処理装置１は、表示操作部８と、制御部１５と、記憶部２０とを備える。表示操作部８は、タッチパネル機能を備えた表示デバイスであり、表示部４と、選択受付部５と、変更受付部６と、表示拡大部７とを備える。かかる表示部４は、後述する生成部１０で生成された合成画像を、表示制御部１１を介して表示出力する。
選択受付部５は、車両２に搭載された前方カメラ３ａ、後方カメラ３ｂ、左側方カメラ３ｃおよび右側方カメラ３ｄから１つを選択させる操作を受け付け、後述する画像選択部１２に出力する。
変更受付部６は、合成画像における、選択受付部５の操作によって選択された一のカメラ画像に基づく画像領域と他のカメラ画像に基づく画像領域との相対的な位置関係の変更を受け付ける。より具体的には、選択受付部５の操作によって選択されたカメラ３ａ、３ｂ、３ｃ、３ｄの撮像画像の中で、合成画像に採用する領域（以下、「画像合成領域」と記載する）を変更する操作を受け付け、後述する表示変更部１３に出力する。
表示拡大部７は、表示部４に表示された合成画像における任意の位置が選択された場合に、当該位置を含む合成画像の一部を拡大して表示部４へ表示させる。なお、表示拡大部７の選択による動作については、図８Ａ，図８Ｂを用いて後述する。
一方、制御部１５は、画像取得部９と、生成部１０と、表示制御部１１と、画像選択部１２と、表示変更部１３と、固定枠重畳部１４とを備える。
画像取得部９は、車両２に搭載された複数のカメラ３ａ、３ｂ、３ｃ、３ｄからそれぞれカメラ画像を取得する。画像取得部９で取得したカメラ画像は、生成部１０に出力される。
生成部１０は、画像取得部９によって取得されたカメラ３ａ、３ｂ、３ｃ、３ｄごとのカメラ画像のそれぞれから採用した領域に含まれる画像を繋ぎ合わせる画像処理を行うことで、車両２を仮想視点から見た合成画像を生成し、かかる合成画像を表示制御部１１に出力する。表示制御部１１は、生成部１０で合成した合成画像を表示部４へ表示させる。画像選択部１２は、複数のカメラ３ａ、３ｂ、３ｃ、３ｄのうち選択受付部５で選択された１つから取得されたカメラ画像を選択させる。
また、表示変更部１３は、変更受付部６の操作によって変更された画像合成領域に含まれる画像を生成部１０へ出力する。そして、生成部１０は、合成画像における、隣り合う画像領域同士の相対的な位置関係の変更を変更受付部６が受け付ける度に、変更された位置関係に基づいて表示部４へ表示させる合成画像を生成する。すなわち、表示変更部１３は、変更受付部６が操作される度に、生成部１０が表示制御部１１を介して表示部４へ表示させる合成画像を変更させる。
ここで、表示変更部１３による画像合成領域の変更について、図３を用いて説明する。図３は、実施形態に係る表示変更部１３における画像合成領域の変更について説明するための図である。なお、ここでは、理解を容易にするために、図３では車両２に搭載されたカメラ３ａで撮像されたカメラ画像は平面形状に画像処理されたものとして図示している。
ここで、図３に示す画像合成領域ｒ１は、合成画像に採用した場合、画像の繋ぎ目にずれが生じる領域であり、画像合成領域ｒ２は、合成画像に採用した場合、画像の繋ぎ目にずれが生じない領域である。
そこで、画像処理装置１では、合成画像に画像合成領域ｒ１が採用されている場合、変更受付部６の操作に応じて、合成画像に採用する領域を画像合成領域ｒ２へ変更させることによって、画像の繋ぎ目における画像のずれを解消する。
なお、ここでは、理解を容易にするために、カメラ画像上で画像合成領域を２次元的に移動させる場合について説明したが、カメラ３の取り付け位置や角度によっては、画像合成領域を３次元的に移動させる必要性が生じる場合もある。図４は、実施形態に係る画像処理装置１で規定する３次元の直交座標系を示す図である。
なお、図４では、鉛直上向きを正方向とし、鉛直下向きを負方向とするＺ軸、Ｚ軸に直交し、車両２の直進方向を正方向とするＹ軸を含む３次元の直交座標系を図示している。
カメラ３で撮像されたカメラ画像は、そのカメラ３のロール角、チルト角、パン角などを変更することにより変更される。また、カメラ画像中の画像合成領域も同様に、カメラ３のロール角、チルト角、パン角などに基づいて変更させることができるが、直感的に変更させることは困難である。
そこで、本実施形態では、後述の画像パラメータ１７を準備し、この画像パラメータ１７に基づいて画像合成領域を変更させることにより、画像合成領域を変更受付部６の操作により直感的に変更させることができる。
画像パラメータ１７は例えば、図４で説明した３次元の直交座標の組み合わせにより取得することができる。かかる組み合わせの一例につき、表１に示す。
Figure 0006223685
表１を参照すると、前方カメラ３ａで撮像されたカメラ画像である前方カメラ画像中の画像合成領域を上下方向に変更させるには、Ｘ軸を回転軸として回転させれば良いことがわかる。また、前方カメラ画像中の画像合成領域を回転させるには、Ｚ軸を回転軸として回転させれば良いことがわかる。一方、前方カメラ画像中の画像合成領域を左右方向に変更させるには、Ｙ軸およびＺ軸を回転軸としてそれぞれ回転させる必要があることがわかる。
なお、表１に示した回転軸の組み合わせは一例であり、車両２に搭載される各カメラ３の取付角度によりその組み合わせは変更しうる。
図２に戻り、固定枠重畳部１４は、車両２に対して予め定められた位置に設けられたマーカーと車両２との合成画像における相対位置が、マーカーと車両２との相対位置となった場合に、合成画像中でマーカーと重複する表示（以下「固定枠」という）を合成画像内の予め定められた固定位置に重畳させる。換言すれば、固定枠とは、各カメラ３が設計値どおりずれなく車両２に設置され、更にマーカーが車両２に対して予め定められた位置に設計値どおりずれなく設けられた場合に、マーカーが合成画像中に表示される設計上の位置である。なお、固定枠については後述する。
記憶部２０は、不揮発性メモリーやハードディスクドライブなどの記憶デバイスで構成される。なお、記憶部２０は、一時的にデータを記憶する揮発性メモリーを含んでよい。かかる記憶部２０には、固定枠記憶部１６と、画像パラメータ１７と、プログラム１８とが格納されている。
固定枠記憶部１６には、固定枠重畳部１４で合成画面上に重畳される固定枠に関する情報が記憶されている。かかる情報は、例えば合成画面上に表示される車両２の画像に対する相対位置に関するデータであっても、合成画面上に重畳される固定枠の形状そのものであっても良い。
画像パラメータ１７は、図３を用いて前述した、画像合成領域を変更受付部６の操作に応じて、撮像画像の中で合成画像に採用する画像合成領域を変更するために設定されるパラメータである。
プログラム１８は、制御部１５が合成画像を生成する場合に、記憶部２０から読み出して実行するプログラムを含む。かかるプログラム１８は、例えば生成部１０が画像取得部９によって取得された複数の車載カメラ画像に基づいて車両２を仮想視点から見た合成画像を生成する手順と、表示制御部１１が生成部１０によって生成された合成画像を表示部４へ表示させる手順と、生成部１０によって生成された合成画像における、画像取得部９によって取得された一のカメラ画像に基づく画像領域と画像取得部９によって取得された他のカメラ画像に基づく画像領域との相対的な位置関係の変更を変更受付部６が受け付ける手順と、変更受付部６が位置関係の変更を受け付ける度に、生成部１０が変更された位置関係に基づいて合成画像を生成する手順とをコンピュータに実行させる画像処理プログラムを含む。
かかる画像処理プログラムを画像処理装置１の制御部１５に実行させることにより、合成画像のキャリブレーション作業を容易に実行することができる。
次に、実施形態に係る表示操作部８の遷移の一例について、図５Ａ〜図５Ｅを用いて説明する。図５Ａ〜図５Ｅは、実施形態に係る表示操作部８の遷移図である。
図５Ａに示すように、表示操作部８は、合成画像を表示する表示部４、前述した選択受付部５および変更受付部６、リセットボタンＲ、バックボタンＢ、決定ボタン１９を表示する。
選択受付部５は、前方カメラ選択受付ボタン５ａと、後方カメラ選択受付ボタン５ｂと、左側方カメラ選択受付ボタン５ｃと、右側方カメラ選択受付ボタン５ｄとを含む。かかる選択受付部５では、選択受付ボタン５ａ〜５ｄのうちいずれかがタッチ操作されることにより、車両２の前後、左右にそれぞれ設けられたカメラ３ａ、３ｂ、３ｃ、３ｄからいずれか１つを選択させることができる。なお、かかる選択受付部５の構成は、車両に搭載されるカメラの配置や個数に応じて変更可能である。
また、変更受付部６は、方向変更受付部６ａと高さ変更受付部６ｂとを含む。かかる方向受付部６ａは、画像合成領域を、下方向および上方向にそれぞれ変更させるボタン６ａ１，６ａ２、左右方向にそれぞれ変更させるボタン６ａ３，６ａ４、反時計回りおよび時計回りにそれぞれ回転させるボタン６ａ５，６ａ６を含む。また、高さ変更受付部６ｂは、画像合成領域を高さ方向、すなわち図４に示すＺ軸に沿った正方向および負方向にそれぞれ変更させるボタン６ｂ１，６ｂ２を含む。
リセットボタンＲは、変更受付部６の操作によって変更された撮像画像における画像合成領域の位置をデフォルトの位置へ戻す（リセットする）ボタンである。バックボタンＢは、表示部４に表示される合成画像を選択受付部５や変更受付部６が操作される１つ前の状態に戻すボタンである。決定ボタン１９は、選択受付部５や変更受付部６が操作されることで画像合成領域が変更され、表示部４に表示された合成画像を確定させるボタンである。
ここで、表示部４に表示されている合成画像には、車両工場や車両整備場などに設けられた作業場の配置面上に配置された車両に対して予め定められた位置に設けられた第１のマーカーとしてのマーカーＭ１１〜Ｍ１４の画像が写り込んでいる。
かかるマーカーＭ１１〜Ｍ１４は、図２に示す生成部１０によって繋ぎ合わされる画像の繋ぎ目、つまり図５Ａに示す表示部４において破線を付した部分で、隣り合う画像同士にずれがあるか否かを確認するために設けられるものである。
具体的には、マーカーＭ１１〜Ｍ１４は、所定の幅および長さを有する２つのラインを互いに直交させた十字線であり、車両２の外周で隣り合う位置に設けられる２つのカメラの双方によって撮像される位置にそれぞれ設けられる。
かかるマーカーＭ１１〜Ｍ１４を設けておくことで、作業者は、合成画像における画像の繋ぎ目で、各マーカーＭ１１〜Ｍ１４が所定の十字形状となるように、変更受付部６を操作することによって合成画像のキャリブレーション作業を行うことができる。
例えば、図５Ａに示すように、表示部４の領域４ａに表示されたマーカーＭ１１，Ｍ１２の画像が表示部４の他の部分に対してずれている場合、作業者は、前方カメラ選択受付ボタン５ａを操作して前方カメラ３ａを選択する。
これにより、図５Ｂに示すように、前方カメラ選択受付ボタン５ａが選択され、領域４ａに表示された画像が変更可能な状態となっていることを明示する表示がなされる。ここで、作業者がマーカーＭ１１，Ｍ１２を左方向に移動させるようにボタン６ａ３を操作すると、図５Ｃに示すように、領域４ａに表示されたマーカーＭ１１，Ｍ１２の画像が予め設定された１単位だけ左方向に移動した合成画像が生成され表示部４に表示される。
このとき、ボタン６ａ３の横に表示される操作量を示す数値が「０」→「−１」に更新される。これにより、作業者は、ボタン６ａ３の操作量を数値によって確認することができる。なお、図５Ｃに示す状態では、画像の繋ぎ目におけるマーカーＭ１１、Ｍ１２が所定の十字形状とはなっていない。
そこで、作業者は、マーカーＭ１１，Ｍ１２が左方向に移動するように画像合成領域を変更させるボタン６ａ３を再度操作する。これにより、図５Ｄに示すように、領域４ａに表示されたマーカーＭ１１，Ｍ１２の画像が予め設定された１単位だけ左方向にさらに移動した合成画像が生成され表示部４に表示される。なお、このとき、ボタン６ａ３の横に表示される数値が「−１」→「−２」に更新される。
なお、図５Ｄに示す状態では、画像の繋ぎ目におけるマーカーＭ１１，Ｍ１２の左右方向の位置ずれは解消されているが、上下方向の位置ずれが解消されていない。そこで、作業者は、マーカーＭ１１，Ｍ１２が下方向に移動するように画像合成領域を変更させるボタン６ａ１を操作する。
これにより、図５Ｅに示すように、領域４ａに表示されたマーカーＭ１１，Ｍ１２の画像が予め設定された１単位だけ下方向にさらに移動し、画像の繋ぎ目におけるマーカーＭ１１，Ｍ１２が所定の十字形状となった合成画像が生成され表示部４に表示される。なお、このとき、ボタン６ａ１の横に表示される数値が「０」→「−１」に更新される。こうして、合成画像における画像の繋ぎ目のずれが解消した場合に、作業者は、決定ボタン１９を操作して、キャリブレーション作業を終了する。
図５Ａ〜図５Ｅを用いて説明したように、画像表示装置１は、合成画像内に表示されたマーカーＭ１１〜Ｍ１４の画像を表示部４において破線を付した画像の繋ぎ目部分で所定の十字形状となるように合成画像を変更させる。これより、合成画像における画像の繋ぎ目のずれに伴う違和感が解消される。
ところで、合成画像内に表示されたマーカーＭ１１〜Ｍ１４の画像が、表示部４において破線を付した画像の繋ぎ目部分で所定の十字形状となるように合成画像が生成、表示された場合であっても、マーカーＭ１１〜Ｍ１４と車両との合成画像上の相対位置がマーカーＭ１１〜Ｍ１４と車両との相対位置に対してずれている場合がある。
例えば、４つのマーカーＭ１１〜Ｍ１４が全て十字形状となっていても、マーカーＭ１１〜Ｍ１４の全てが合成画像中の車両に対していずれかの方向へ偏った位置に表示され、不具合が生じることがある。
かかる問題は、例えば、運転者が車両を後退させる際、運転者の運転操作を合成画像によって補助する場合に生じることがある。ここで、かかる点について、図６を用いて説明する。
図６は、車両２を後退させるときの案内軌跡を例示する俯瞰図である。図６中、ライン６０はマーカーＭ１１〜Ｍ１４と車両との合成画像上の相対位置がマーカーＭ１１〜Ｍ１４と車両との相対位置に対して一致している場合に車両２が２Ａの位置まで後退するときの案内軌跡を予測して示した俯瞰画像である。
一方、マーカーＭ１１〜Ｍ１４と車両との合成画像上の相対位置がマーカーＭ１１〜Ｍ１４と車両との相対位置に対して左右方向にずれている場合には、例えばライン６１に示すように車両２に対して左右方向にずれた案内軌跡を表示する懸念がある。また、マーカーＭ１１〜Ｍ１４と車両との合成画像上の相対位置がマーカーＭ１１〜Ｍ１４と車両との相対位置に対して前後方向にずれている場合には、例えばライン６２に示すように車両２に対して前後方向にずれた案内軌跡を表示する懸念がある。
このように、車両とマーカーとの相対位置が合成画像上の車両とマーカーとの相対位置とずれている場合、例えば後退時に走行する車両の軌跡をハンドルの舵角に応じて予測し、表示するバックガイドモニターなどでの不具合が懸念される。
本実施形態では、車両工場や車両整備場などに設けられた作業場の配置面上に配置された車両に対して予め定められた位置に、第２のマーカーとしてのＭ２１〜Ｍ２６を設けている。かかる第２のマーカーとしてのＭ２１〜Ｍ２６は、図５Ａに示すように、表示部４に表示される合成画像に写り込む。
かかるマーカーＭ２１は前方カメラ３ａにより撮影される領域に、マーカーＭ２２は後方カメラ３ｂにより撮影される領域に、それぞれ設けられる。また、マーカーＭ２１およびマーカーＭ２２は、車両２を挟んで互いに平行になるように設けられた、所定の幅および長さを有するラインである。
また、マーカーＭ２３，Ｍ２４はいずれも、左側方カメラ３ｃにより撮影される領域に設けられ、マーカーＭ２５，Ｍ２６はいずれも、右側方カメラ３ｄにより撮影される領域に設けられる。
マーカーＭ２３とマーカーＭ２５とは、車両２を挟んで互いに平行になるように設けられた所定の幅および長さを有するラインである。同様に、マーカーＭ２４とマーカーＭ２６とは、車両２を挟んで互いに平行になるように設けられた、所定の幅および長さを有するラインである。
なお、説明を容易にするために、以下、各マーカーの配置に関する説明中、各マーカーを構成するラインの幅は無視し、所定の長さのみを有するものとして取り扱う。
マーカーＭ２１はマーカーＭ１１を構成する２つのラインの交点と、マーカーＭ１２を構成する２つのラインの交点とをつなぐ直線上に配置されている。また、マーカーＭ２２はマーカーＭ１３を構成する２つのラインの交点と、マーカーＭ１４を構成する２つのラインの交点とをつなぐ直線上に配置されている。
マーカーＭ２３，Ｍ２４は、マーカーＭ１１を構成する２つのラインの交点とマーカーＭ１３を構成する２つのラインの交点とをつなぐ直線上に配置されている。また、マーカーＭ２５，Ｍ２６は、マーカーＭ１２を構成する２つのラインの交点と、マーカーＭ１４を構成する２つのラインの交点とをつなぐ直線上に配置されている。
一方、表示部４には、枠形状の表示Ｓ２１〜Ｓ２８（以下「固定枠」という）が合成画像内の予め定められた固定位置に重畳して表示されている。このうち固定枠Ｓ２１〜Ｓ２６は、車両２に対して予め定められた位置に設けられたマーカーＭ２１〜Ｍ２６と車両２との合成画像における相対位置が、マーカーＭ２１〜Ｍ２６と車両２との相対位置となった場合に、合成画像中に表示されたマーカーＭ２１〜Ｍ２６と重複する。
また、固定枠Ｓ２７，Ｓ２８は、車両２に対して予め定められた位置に設けられたマーカーＭ１３，Ｍ１４と車両２との合成画像の領域４ｃ，４ｄにおける相対位置が、マーカーＭ１３，Ｍ１４と車両２との相対位置となった場合に、合成画像中の領域４ｃ，４ｄに表示されたマーカーＭ１３，Ｍ１４の画像と重複する。
このように、固定枠Ｓ２１〜Ｓ２８に基づいて合成画像を変更させることにより車両に対するマーカーの絶対位置が正しく表示されることになる。これにより、キャリブレーション作業の精度がより高まる。
次に、実施形態に係る画像処理装置１の制御部１５が実行する処理について図７を用いて説明する。図７は、実施形態に係る画像処理装置１の制御部１５が実行する処理を示すフローチャートである。
図７に示すように、制御部１５は、まず、車両２に搭載された複数のカメラ３ａ、３ｂ、３ｃ、３ｄでそれぞれ撮像されたカメラ画像を取得する（ステップＳ１０１）。続いて、制御部１５は、取得したカメラ画像のそれぞれから採用した領域に含まれる画像を繋ぎ合わせる画像処理を行うことで、車両２の周辺の様子を示す合成画像を生成し、表示部４へ表示させる（ステップＳ１０２）。このとき、車両２に対して予め定められた位置に設けられたマーカーと該車両２との合成画像における相対位置が、マーカーと車両２との相対位置となった場合に、合成画像中でマーカーと重複する固定枠を合成画像内の予め定められた固定位置に重畳させても良い。
次に、制御部１５は選択受付部５が操作されたか否かを判定する（ステップＳ１０３）。選択受付部５が操作されたと判断された場合（ステップＳ１０３，Ｙｅｓ）、ステップＳ１０４に進み、選択受付部５が操作されていないと判断された場合（ステップＳ１０３，Ｎｏ）、ステップＳ１０７に進む。
制御部１５は、さらにステップＳ１０３での選択受付部５の操作に基づいてカメラ３を選択し（ステップＳ１０４）、ステップＳ１０５に進む。
次いで、制御部１５は変更受付部６が操作されたか否かを判定する（ステップＳ１０５）。変更受付部６が操作されたと判定された場合（ステップＳ１０５，Ｙｅｓ）、ステップＳ１０６に進み、変更受付部６が操作されていないと判定された場合（ステップＳ１０５，Ｎｏ）、ステップＳ１０７に進む。
また、制御部１５は変更受付部６が操作される度に生成部１０によって生成され、表示変更部１３を介して表示部４へ表示させる合成画像を変更させ（ステップＳ１０６）、次いでステップＳ１０２に戻る。
また、制御部１５は、決定ボタン１９が操作されたか否かを判定する（ステップＳ１０７）。決定ボタン１９が操作されていないと判定された場合（ステップＳ１０７，Ｎｏ）、ステップＳ１０３に戻り、決定ボタン１９が操作されたと判定された場合（ステップＳ１０７，Ｙｅｓ）、表示部４に最終的に表示された合成画像で確定される。
上述してきたように、実施形態に係る、画像を処理する画像処理装置は、複数の車載カメラ画像に基づいて車両を仮想視点から見た合成画像を生成する生成部と、生成された合成画像を表示部へ表示させる表示制御部と、合成画像における、一のカメラ画像に基づく画像領域と他のカメラ画像に基づく画像領域との相対的な位置関係の変更を受け付ける変更受付部とを備え、生成部は、前記位置関係の変更を受け付ける度に、変更された位置関係に基づいて前記合成画像を生成する。
したがって、実施形態に係る画像処理装置によれば、車載カメラのキャリブレーション作業を容易に実行することができる。
なお、表示部４の表示画面が小さい場合や解像度が低い場合には、変更受付部６の操作により変更された合成画像がきちんと調整されているか否かがはっきりしない場合がありうる。そこで、図８Ａ，図８Ｂに示すように、合成画像の一部を拡大させるようにしてもよい。
図８Ａは、実施形態に係る表示操作部８の平面図であり、図８Ｂは、図８Ａの表示部４を拡大表示させた表示操作部８の平面図である。
図８Ａにおいて、表示部４に表示された合成画像における、マーカーＭ１３の近傍の位置が選択された場合には、図８Ｂに示すように当該位置を含む合成画像の一部が拡大されて表示部４へ表示される。かかる表示拡大操作を実行することにより、変更受付部６が適正に操作されたか否かが確認しやすくなるため、車載カメラのキャリブレーション作業を容易に、かつ確実に実行することができる。
また、上述した各実施形態では表示操作部８はタッチパネルとして説明したが、表示部４のみをディスプレイで表示し、選択受付部５、変更受付部６を構成する各ボタンや表示拡大部７を物理的に押下することにより操作されるボタンにより構成されても良い。
なお、上述した各実施形態では車両２に搭載された複数のカメラ３によって撮像されたカメラ画像に基づいて生成された合成画像に基づいて画像処理を行う画像処理装置１として説明したが、例えば、図９に示すように単一のカメラ３によって撮像されたカメラ画像に基づいて画像処理を行う画像処理装置１であっても良い。図９は、実施形態に係る表示部の平面図である。
図９に示すように、後方カメラ３ｂのみによって撮像されたカメラ画像に基づいて生成された合成画像は、上述した各実施形態における車両２の周囲を俯瞰する合成画像のうち車両２の後方のみを俯瞰する画像となる。
つまり、画像処理装置１は、単一の車載カメラ画像に基づいて車両２を仮想視点から見た合成画像を生成し、生成された合成画像を表示部４へ表示させる。そして、その合成画像の予め定められた位置に表示される固定枠Ｓ２２と合成画像に写り込むマーカーＭ２２との相対的な位置関係の変更を受け付け、位置関係の変更を受け付ける度に、変更された位置関係に基づいて合成画像を生成する。
なお、上述した実施形態では単一のカメラ３は後方カメラ３ｂとして説明したが、前方カメラ３ａ、左側カメラ３ｃ、又は、右側カメラ３ｄの何れか一つであっても良い。
１ 画像処理装置
３ カメラ
４ 表示部
５ 選択受付部
６ 変更受付部
７ 表示拡大部
８ 表示操作部
９ 画像取得部
１０ 生成部
１１ 表示制御部
１３ 表示変更部
１４ 固定枠重畳部
１５ 制御部
２０ 記憶部

Claims (5)

  1. 画像を処理する画像処理装置において、
    複数の車載カメラ画像に基づいて車両を仮想視点から見た合成画像を生成する生成部と、
    生成された前記合成画像を表示部へ表示させる表示制御部と、
    前記合成画像における、一のカメラ画像に基づく画像領域と他のカメラ画像に基づく画像領域との相対的な位置関係の変更を受け付ける変更受付部と、
    前記車両に対して予め定められた位置に設けられ、前記合成画像に写り込むマーカーと、前記合成画像に表示された車両との前記合成画像における相対位置が、前記マーカーと前記車両との実際の相対位置となった場合に前記合成画像中で前記マーカーと重複する表示を前記合成画像内の予め定められた固定位置に重畳させる表示重畳部と
    を備え、
    前記生成部は、前記位置関係の変更を受け付ける度に、変更された位置関係に基づいて前記合成画像を生成することを特徴とする画像処理装置。
  2. 前記表示部に表示された前記合成画像における任意の位置が選択された場合に、当該位置を含む前記合成画像の一部を拡大して前記表示部へ表示させる表示拡大部
    をさらに備えることを特徴とする請求項１に記載の画像処理装置。
  3. 複数の車載カメラ画像に基づいて車両を仮想視点から見た合成画像を生成する工程と、
    生成された前記合成画像を表示させる工程と、
    前記合成画像における、一のカメラ画像に基づく画像領域と他のカメラ画像に基づく画像領域との相対的な位置関係の変更を受け付ける工程と、
    前記位置関係の変更を受け付ける度に、変更された位置関係に基づいて前記合成画像を生成する工程と
    を含み、
    前記車両が配置された配置面上には、前記車両に対して予め定められた位置に、第２のマーカーが設けられ、
    前記合成画像に写り込む前記第２のマーカーと、前記合成画像に表示された車両との前記合成画像における相対位置が、前記第２のマーカーと前記車両との実際の相対位置となった場合に前記合成画像中で前記第２のマーカーと重複する表示を、前記合成画像内の予め定められた固定位置に重畳させる工程と、
    前記合成画像中で前記第２のマーカーおよび重畳される前記表示が重複するように前記合成画像を変更させる工程と
    をさらに含むことを特徴とする画像処理方法。
  4. 前記車両が配置された配置面上には、前記車両の外周で隣り合う位置に設けられる２つの車載カメラの双方によって撮像される位置に所定形状の第１のマーカーが設けられ、
    前記合成画像に写り込む前記第１のマーカーが前記所定形状となるように前記相対的な位置関係を変更し、前記合成画像を生成させる工程
    をさらに含むことを特徴とする請求項３に記載の画像処理方法。
  5. 画像を処理する画像処理装置において、
    単一の車載カメラ画像に基づいて車両を仮想視点から見た合成画像を生成する生成部と、
    生成された前記合成画像を表示部へ表示させる表示制御部と、
    前記車両に対して予め定められた位置に設けられ、前記合成画像に写り込むマーカーと、前記合成画像に表示された車両との前記合成画像における相対位置が、前記マーカーと前記車両との実際の相対位置となった場合に前記合成画像中で前記マーカーと重複する枠形状の表示を前記合成画像内の予め定められた固定位置に重畳させる表示重畳部と、
    前記枠形状の表示と前記合成画像に写り込むマーカーとの相対的な位置関係の変更を受け付ける変更受付部と
    を備え、
    前記生成部は、前記位置関係の変更を受け付ける度に、変更された位置関係に基づいて前記合成画像を生成することを特徴とする画像処理装置。
JP2013016193A 2013-01-30 2013-01-30 画像処理装置および画像処理方法 Active JP6223685B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013016193A JP6223685B2 (ja) 2013-01-30 2013-01-30 画像処理装置および画像処理方法
DE112013006544.4T DE112013006544B4 (de) 2013-01-30 2013-11-05 Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
PCT/JP2013/079934 WO2014119081A1 (ja) 2013-01-30 2013-11-05 画像処理装置および画像処理方法
US14/655,918 US10328866B2 (en) 2013-01-30 2013-11-05 Image processing apparatus and image processing method for generating synthetic image and changing synthetic image
CN201380071607.2A CN104956668B (zh) 2013-01-30 2013-11-05 图像处理装置以及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013016193A JP6223685B2 (ja) 2013-01-30 2013-01-30 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2014147057A JP2014147057A (ja) 2014-08-14
JP6223685B2 true JP6223685B2 (ja) 2017-11-01

Family

ID=51261813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013016193A Active JP6223685B2 (ja) 2013-01-30 2013-01-30 画像処理装置および画像処理方法

Country Status (5)

Country Link
US (1) US10328866B2 (ja)
JP (1) JP6223685B2 (ja)
CN (1) CN104956668B (ja)
DE (1) DE112013006544B4 (ja)
WO (1) WO2014119081A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9723272B2 (en) 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system
KR101610508B1 (ko) * 2014-09-19 2016-04-20 현대자동차주식회사 Avm 자동 보정 시스템 및 방법
JP6601101B2 (ja) * 2015-09-29 2019-11-06 アイシン精機株式会社 表示制御装置
US10176554B2 (en) * 2015-10-05 2019-01-08 Google Llc Camera calibration using synthetic images
JP6323729B2 (ja) 2016-04-25 2018-05-16 パナソニックＩｐマネジメント株式会社 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法
JP6068710B1 (ja) * 2016-05-30 2017-01-25 株式会社ネクスコ・エンジニアリング北海道 俯瞰画像調整装置および俯瞰画像調整プログラム
US10331125B2 (en) * 2017-06-06 2019-06-25 Ford Global Technologies, Llc Determination of vehicle view based on relative location
US10466027B2 (en) 2017-06-21 2019-11-05 Fujitsu Ten Corp. Of America System and method for marker placement
JP7032950B2 (ja) 2018-02-19 2022-03-09 株式会社デンソーテン 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
JP7060418B2 (ja) 2018-03-15 2022-04-26 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
EP3644279A1 (en) * 2018-10-25 2020-04-29 Continental Automotive GmbH Static camera calibration using motion of vehicle portion
US10421401B1 (en) * 2019-05-02 2019-09-24 Richard C. Horian Video system for vehicles
JP7055158B2 (ja) * 2020-02-13 2022-04-15 株式会社クボタ 作業車
EP4195150A4 (en) * 2020-09-21 2024-06-26 Siemens Ltd., China TARGET POSITIONING METHOD AND APPARATUS AND COMPUTER-READABLE MEDIUM

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60029335T2 (de) * 1999-10-12 2006-11-16 Matsushita Electric Industrial Co., Ltd., Kadoma Überwachungskamera, verfahren zum anpassen einer kamera und fahrzeugüberwachungssystem
JP2006287826A (ja) * 2005-04-05 2006-10-19 Nissan Motor Co Ltd 車両用画像生成装置および方法
TW200829466A (en) * 2007-01-03 2008-07-16 Delta Electronics Inc Advanced bird view visual system
JP4548322B2 (ja) * 2005-11-28 2010-09-22 株式会社デンソー 駐車支援システム
KR101143176B1 (ko) * 2006-09-14 2012-05-08 주식회사 만도 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
CN201008471Y (zh) * 2007-01-26 2008-01-23 明门实业股份有限公司 婴儿摇椅及其驱动装置
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP4286294B2 (ja) 2007-02-21 2009-06-24 三洋電機株式会社 運転支援システム
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
DE102009050368A1 (de) * 2008-10-24 2010-05-27 Magna Electronics Europe Gmbh & Co.Kg Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
JP2010200054A (ja) * 2009-02-26 2010-09-09 Alpine Electronics Inc 複数カメラ撮影画像合成システム用カメラ調整方法及び装置
JP2010215029A (ja) * 2009-03-13 2010-09-30 Toyota Industries Corp 駐車支援装置
JP4751939B2 (ja) * 2009-03-31 2011-08-17 アイシン精機株式会社 車載カメラの校正装置
JP5523730B2 (ja) * 2009-04-07 2014-06-18 アルパイン株式会社 車載周辺画像表示装置
CN102549631B (zh) * 2009-09-30 2014-11-12 松下电器产业株式会社 车辆周围监视装置
JP5341789B2 (ja) * 2010-01-22 2013-11-13 富士通テン株式会社 パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
DE102010034139A1 (de) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
JP5813944B2 (ja) * 2010-12-06 2015-11-17 富士通テン株式会社 画像表示システム、画像処理装置及び画像表示方法
WO2013016409A1 (en) * 2011-07-26 2013-01-31 Magna Electronics Inc. Vision system for vehicle
TWI478833B (zh) * 2011-08-31 2015-04-01 Autoequips Tech Co Ltd 調校車用影像裝置之方法及其系統
US9491451B2 (en) * 2011-11-15 2016-11-08 Magna Electronics Inc. Calibration system and method for vehicular surround vision system

Also Published As

Publication number Publication date
JP2014147057A (ja) 2014-08-14
CN104956668B (zh) 2019-11-15
DE112013006544T5 (de) 2015-11-05
US20150356735A1 (en) 2015-12-10
DE112013006544B4 (de) 2024-07-25
WO2014119081A1 (ja) 2014-08-07
US10328866B2 (en) 2019-06-25
CN104956668A (zh) 2015-09-30
DE112013006544T8 (de) 2015-11-19

Similar Documents

Publication Publication Date Title
JP6223685B2 (ja) 画像処理装置および画像処理方法
JP5316805B2 (ja) 車載カメラ装置の画像調整装置及び車載カメラ装置
JP6099333B2 (ja) 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法
JP4975592B2 (ja) 撮像装置
JP3632563B2 (ja) 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP4863922B2 (ja) 運転支援システム並びに車両
JP4758481B2 (ja) 車両用画像処理装置及び車両用画像処理プログラム
JP5914013B2 (ja) 運転支援装置
JP2011182236A (ja) カメラキャリブレーション装置
JP2008187564A (ja) カメラ校正装置及び方法並びに車両
JP2005217889A (ja) 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP2009017462A (ja) 運転支援システム及び車両
JP2001218197A (ja) 車両用周辺表示装置
EP3002727B1 (en) Periphery monitoring apparatus and periphery monitoring system
WO2013038681A1 (ja) カメラ較正装置、カメラ、及びカメラ較正方法
JP2008149878A (ja) 運転支援装置
JP5020621B2 (ja) 運転支援装置
JP2010109451A (ja) 車両周囲監視装置及び車両周囲監視方法
JP2008205928A (ja) 運転支援システム
JP5638494B2 (ja) 画像生成方法、画像生成装置、及び操作支援システム
JP2013062692A (ja) 車載カメラの較正装置及び方法
JP5827095B2 (ja) キャリブレーションシステム、パラメータ取得装置、標識体、及び、パラメータ取得方法
JP2009083744A (ja) 合成画像調整装置
JP2009123131A (ja) 撮像装置
WO2010007960A1 (ja) 車載用カメラの視点変換映像システム及び視点変換映像取得方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170321

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171004

R150 Certificate of patent or registration of utility model

Ref document number: 6223685

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250