JPWO2017122294A1 - 周囲監視装置、画像処理方法、及び画像処理プログラム - Google Patents

周囲監視装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
JPWO2017122294A1
JPWO2017122294A1 JP2017561439A JP2017561439A JPWO2017122294A1 JP WO2017122294 A1 JPWO2017122294 A1 JP WO2017122294A1 JP 2017561439 A JP2017561439 A JP 2017561439A JP 2017561439 A JP2017561439 A JP 2017561439A JP WO2017122294 A1 JPWO2017122294 A1 JP WO2017122294A1
Authority
JP
Japan
Prior art keywords
image
vehicle
vehicle body
refraction
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017561439A
Other languages
English (en)
Other versions
JP6737288B2 (ja
Inventor
清水　誠也
誠也 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Socionext Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Socionext Inc filed Critical Socionext Inc
Publication of JPWO2017122294A1 publication Critical patent/JPWO2017122294A1/ja
Application granted granted Critical
Publication of JP6737288B2 publication Critical patent/JP6737288B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01H—STREET CLEANING; CLEANING OF PERMANENT WAYS; CLEANING BEACHES; DISPERSING OR PREVENTING FOG IN GENERAL CLEANING STREET OR RAILWAY FURNITURE OR TUNNEL WALLS
    • E01H5/00—Removing snow or ice from roads or like surfaces; Grading or roughening snow or ice
    • E01H5/04—Apparatus propelled by animal or engine power; Apparatus propelled by hand with driven dislodging or conveying levelling elements, conveying pneumatically for the dislodged material
    • E01H5/08—Apparatus propelled by animal or engine power; Apparatus propelled by hand with driven dislodging or conveying levelling elements, conveying pneumatically for the dislodged material dislodging essentially by driven elements
    • E01H5/09—Apparatus propelled by animal or engine power; Apparatus propelled by hand with driven dislodging or conveying levelling elements, conveying pneumatically for the dislodged material dislodging essentially by driven elements the elements being rotary or moving along a closed circular path, e.g. rotary cutter, digging wheels
    • E01H5/098—Apparatus propelled by animal or engine power; Apparatus propelled by hand with driven dislodging or conveying levelling elements, conveying pneumatically for the dislodged material dislodging essentially by driven elements the elements being rotary or moving along a closed circular path, e.g. rotary cutter, digging wheels about horizontal or substantially horizontal axises perpendicular or substantially perpendicular to the direction of clearing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D12/00—Steering specially adapted for vehicles operating in tandem or having pivotally connected frames
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

周囲監視装置は、車体屈折車両の第１の車体部分に搭載され、非屈折状態の第２の車体部分が存在する路面領域を見込む視野を撮像領域内に共通に含む２つの画像をそれぞれが撮像する少なくとも２つの撮像装置と、前記第２の車体部分の前記第１の車体部分に対する屈折角に応じて、前記路面領域に表示する画像として前記２つの画像のうちの一方を選択すると共に、前記２つの画像を合成して前記車体屈折車両の周囲を表示する合成画像を生成する制御部と、前記合成画像を表示する表示モニタを含む。

Description

本願開示は、周囲監視装置、画像処理方法、及び画像処理プログラムに関する。
除雪車等の車両の構造は、車体屈折車両である場合が多い。車体屈折車両においては、複数の車体部分が連結部を介して互いに連結されており、連結部前後の車体部分同士が所望の角度をなすように連結部で折れ曲がることにより、小さな旋回半径を実現することができる。そのため、大きな車体であっても小回りが利き、狭い場所でも作業をすることが可能となる。
近年、車両の安全機能として、車両の周囲を複数のカメラで撮像し、得られた複数の画像を合成することにより車両の全周囲を上方から俯瞰したかのような画像を生成し、当該俯瞰画像を運転席のモニタに表示するものがある。車体屈折車両においても、車両の前後左右に取り付けた広角カメラ映像から俯瞰画像を作成し、１画面内に車両周辺の状況を俯瞰画像として合成表示する機能を設けることが考えられる。通常の非屈折の車両の場合であれば、車体の領域形状が変わらないため、車両旋回時（右左折時）においても直進時と同様の画像合成及び表示処理を実行すればよい。
特許第５３６９４６５号公報 特開２００３−２３５０３６号公報 特開２００９−１０７６０２号公報 国際公開第ＷＯ２００９／０３１４００号パンフレット 国際公開第ＷＯ２０１２／１５７３７９号パンフレット
しかしながら、車体屈折車両の場合、直進時と右左折時とでは車体形状が異なるため、右左折時において直進時と同様の画像合成及び表示処理を行ったのでは、適切な画像を提供できない。例えば左折時であれば、左後方に飛び出した後部車体部分が合成画像において車両左側に映り込んだり、右側後方において後部車体部分が退いた後に露出される路面領域の画像が表示されずに合成画像中で死角となったりする。その結果、安全確認のために適切な周囲画像を操作者に提供できないという問題があった。
以上を鑑みると、車体屈折により露出される路面領域を適切に表示した周囲画像を提供する周辺監視装置が望まれる。
周囲監視装置は、車体屈折車両の第１の車体部分に搭載され、非屈折状態の第２の車体部分が存在する路面領域を見込む視野を撮像領域内に共通に含む２つの画像をそれぞれが撮像する少なくとも２つの撮像装置と、前記第２の車体部分の前記第１の車体部分に対する屈折角に応じて、前記路面領域に表示する画像として前記２つの画像のうちの一方を選択すると共に、前記２つの画像を合成して前記車体屈折車両の周囲を表示する合成画像を生成する制御部と、前記合成画像を表示する表示モニタを含む。
本願開示の少なくとも１つの実施例によれば、車体屈折により露出される路面領域を適切に表示した周囲画像を提供する周辺監視装置が望まれる。
車体屈折車両の構成の一例を示すである。 車体屈折車両を上部から見た上面図である。 車体屈折車両を左側から見た側面図である。 複数のカメラの撮像範囲の一例を示す図である。 車体屈折車両に搭載される周囲監視装置のハードウェア構成の一例を示す図である。 車体屈折車両に搭載される周囲監視装置の機能構成の一例を示す図である。 画像処理により合成された合成画像の一例を示す図である。 車体屈折時の屈折角の定義を示す図である。 角度センサの構成の一例を示す図である。 角度センサの別の構成一例を示す図である。 車載装置による画像合成処理の一例を示すフローチャートである。 非屈折時描画処理の一例を示すフローチャートである。 基本パターンの構成の一例を示す図である。 基本パターンに車両画像が重畳された合成画像の一例を示す図である。 屈折時描画処理の一例を示すフローチャートである。 左屈折時の補助パターンを重畳描画した合成画像の一例を示す図である。 左屈折の場合において車両画像が重畳された合成画像の一例を示す図である。 右屈折時の補助パターンを重畳描画した合成画像の一例を示す図である。 右屈折の場合において車両画像が重畳された合成画像の一例を示す図である。 車両周辺の撮像画像の一例を示す図である。 車両周囲に定義される立体投影面の一例を示した図である。 ポリゴンデータテーブルのデータ構造の一例を示す図である。 頂点データテーブルのデータ構造の一例を示す図である。
以下に、本発明の実施例を添付の図面を用いて詳細に説明する。各図において、同一又は対応する構成要素は同一又は対応する番号で参照し、その説明は適宜省略する。
図１は車体屈折車両の構成の一例を示すである。図１に示す車体屈折車両は除雪車であり、運転室が搭載された第１の車体部分１０、エンジン等の駆動装置が搭載された第２の車体部分１１、及び除雪装置１２を含む。除雪装置１２は下部に配置された回転羽根により雪を切り崩して、上部に配置されたブロワから雪を遠くにとばすことができる。除雪装置１２は回転羽根を有するものに限らず、例えばバケットや１又は複数のスノーブラウ等を有するものであってもよい。なお以下の説明においては、車体屈折車両の一例として除雪車を用いるが、車体屈折車両は除雪車に限られず、例えば、融雪車や掃雪車等の冬季作業車両、ホイールローダー、トレーラートラック、連結バス等であってもよい。
図２は、車体屈折車両を上部から見た上面図である。第１の車体部分１０と第２の車体部分１１とは、連結部１３により互いに連結されており、第１の車体部分１０の前後方向の中心軸Ａと第２の車体部分１１の前後方向の中心軸Ｂとは、直進時には図２に示されるように同一方向を向いている。車両旋回時や右左折時には第１の車体部分１０と第２の車体部分１１とが互いに角度をなすように車体が屈折し、第１の車体部分１０の中心軸Ａと第２の車体部分１１の中心軸Ｂとは異なる方向を向く。
図２に示す例において、第１の車体部分１０には、左カメラ２１、右カメラ２２、及び前方カメラ２３が搭載されている。また第２の車体部分１１には、後方カメラ２４が搭載されている。本願の周囲監視装置は、車体屈折により露出された路面領域に表示する画像として、左カメラ２１の画像又は右カメラ２２の画像を車体屈折角に応じて選択的に表示するものであり、前方カメラ２３及び後方カメラ２４は発明の目的のためには必ずしも必要でない。
前方カメラ２３が設けられる場合、前方カメラ２３は車両前方に斜め下向きに広がる視野を有し、車両前方の路面を含む車両周囲画像を撮像する。後方カメラ２４が設けられる場合、後方カメラ２４は車両後方に斜め下向きに広がる視野を有し、車両後方の路面を含む車両周囲画像を撮像する。左カメラ２１は車両左側に斜め下向きに広がる視野を有し、車両左側の路面を含む車両周囲画像を撮像する。右カメラ２２は車両右側に斜め下向きに広がる視野を有し、車両右側の路面を含む車両周囲画像を撮像する。
図３は、車体屈折車両を左側から見た側面図である。図３に模式的に示されるように、前方カメラ２３は車両前方に向かい斜め下方向を向いて第１の車体部分１０に取り付けられており、後方カメラ２４は車両後方に向かい斜め下方向を向いて第２の車体部分１１に取り付けられている。また左カメラ２１は、車両左側に向かい斜め下方向を向いて第１の車体部分１０に取り付けられている。図３には示されないが右カメラ２２も同様に、車両右側に向かい斜め下方向を向いて第１の車体部分１０に取り付けられている。
図４は、複数のカメラの撮像範囲の一例を示す図である。左カメラ２１、右カメラ２２、前方カメラ２３、及び後方カメラ２４はそれぞれ、視野範囲（撮像範囲）３１、３２、３３、及び３４を有する。カメラ２１乃至２４はいずれも平面画角１８０度以上の視野を有する広角カメラであってよい、特に左カメラ２１及び右カメラ２２については、平面画角が広い広角カメラであることが好ましい。左カメラ２１及び右カメラ２２は、第１の車体部分１０の後方において、非屈折状態の第２の車体部分１１が存在する路面領域を見込む撮像範囲を有し、この撮像範囲は左カメラ２１と右カメラ２２との間で一部重複している。従って、左カメラ２１及び右カメラ２２が撮像するこの領域を見込む画像部分は、それぞれの撮像する２つの画像において、同一の領域を異なる角度から撮像した共通画像部分となっている。
但し直進時（非屈折時）には、当該路面領域は第２の車体部分１１の下に隠れており、左カメラ２１及び右カメラ２２のいずれのカメラにおいても撮像されない。左カメラ２１及び右カメラ２２が撮像する画像において、当該路面領域を見込む視野領域に映し出されるのは第２の車体部分１１の左右の側面である。左折時には、第１の車体部分１０の後方において第２の車体部分１１が左後方に屈折するので、当該路面領域が露出され、視野領域３２を有する右カメラ２２により当該路面領域が撮像される。また右折時には、第１の車体部分１０の後方において第２の車体部分１１が右後方に屈折するので、当該路面領域が露出され、視野領域３１を有する左カメラ２１により当該路面領域が撮像される。
前述のように、本願の周囲監視装置は、車体屈折により露出された路面領域に表示する画像として、左カメラ２１の画像又は右カメラ２２の画像を車体屈折角に応じて選択的に表示するものであり、前方カメラ２３及び後方カメラ２４は発明の目的のためには必ずしも必要でない。即ち、本願の周囲監視装置は、必ずしも車両の全周囲３６０度の画像を表示する必要はなく、左カメラ２１の視野範囲３１及び右カメラ２２の視野範囲３２に相当する周辺領域の画像を、車両の周辺画像として表示するのでもよい。また例えば、前方カメラ２３、左カメラ２１、及び右カメラ２２のみを設け、後方カメラ２４を設けない周辺監視装置としてもよい。
図５は、車体屈折車両に搭載される周囲監視装置のハードウェア構成の一例を示す図である。図１に示す周囲監視装置は、左カメラ２１、右カメラ２２、前方カメラ２３、後方カメラ２４、角度センサ４０、センサインタフェース４１、カメラインタフェース４２、モニタコントローラ４３、及びモニタ４４を含む。周囲監視装置は更に、ＨＤＤ（ハードディスクドライブ）４５、ＲＯＭ（リードオンリーメモリ）４６、ＲＡＭ（ランダムアクセスメモリ）４７、ＣＰＵ（中央処理装置）４８、及びバス４９を含む。前述のように、前方カメラ２３及び後方カメラ２４は必ずしも設けられている必要はない。
角度センサ４０は、センサインタフェース４１を介してバス４９に接続される。左カメラ２１、右カメラ２２、前方カメラ２３、及び後方カメラ２４は、カメラインタフェース４２を介してバス４９に接続される。画像表示用のモニタ４４は、モニタコントローラ４３を介してバス４９に接続される。センサインタフェース４１、カメラインタフェース４２、モニタコントローラ４３、ＨＤＤ４５、ＲＯＭ４６、ＲＡＭ４７、及びＣＰＵ４８は、バス４９を介して互いに接続されている。ＣＰＵ４８、ＲＯＭ４６、及びＲＡＭ４７は、車両周囲監視のための画像を合成、生成、及び表示するための画像処理を実行するコンピュータである。
モニタ４４は、画像処理により生成された画像等を表示すると共に、周囲監視装置を操作する際にユーザとの対話を可能にするために様々なデータ表示等を行い、ユーザ入力等を受け付けてよい。車両周囲監視のための画像処理は、ＣＰＵ４８がコンピュータプログラムを実行することにより実現される。このコンピュータプログラムは、ＨＤＤ４５に格納されていてよい。プログラム実行時には、ＣＰＵ４８が、ＨＤＤ４５からプログラムをＲＡＭ４７にロードする。ＣＰＵ４８は、ＲＡＭ４７の空き記憶空間をワークエリアとして使用して、ＲＡＭ４７にロードされたプログラムを実行し、画像処理を実行する。なおＲＯＭ４６には、ＣＰＵ４８等の基本動作を制御するための制御プログラムが格納されている。
図６は、車体屈折車両に搭載される周囲監視装置の機能構成の一例を示す図である。図６において、各ボックスで示される各機能ブロックと他の機能ブロックとの境界は、基本的には機能的な境界を示すものであり、物理的な位置の分離、電気的な信号の分離、制御論理的な分離等に対応するとは限らない。周辺監視装置は、各機能ブロックの機能を有する電子回路ブロックを組み合わせて実現したハードウェア構成でもよいし、電子回路である汎用のプロセッサにおいてソフトウェアを実行することにより各機能ブロックの機能を実現したソフトウェア構成でもよい。図５に示すハードウェア構成の一例は、周辺監視装置の各機能をソフトウェア構成で実現する場合のものである。ハードウェアの場合、各機能ブロックは、他のブロックと物理的にある程度分離された１つのハードウェアモジュールであってもよいし、或いは他のブロックと物理的に一体となったハードウェアモジュール中の１つの機能を示したものであってもよい。ソフトウェアの場合、各機能ブロックは、他のブロックと論理的にある程度分離された１つのソフトウェアモジュールであってもよいし、或いは他のブロックと論理的に一体となったソフトモジュール中の１つの機能を示したものであってもよい。
なお図６に示す角度センサ４０並びにカメラ２１及び２２は、物理的な素子で実現される電子装置であってよい。図５に示される前方カメラ２３及び後方カメラ２４については、図６においては図示を省略してある。前述のように、前方カメラ２３及び後方カメラ２４は必ずしも必須の構成要素ではない。また左カメラ２１及び右カメラ２２からの画像データに基づいて第１の車体部分１０と第２の車体部分１１との間の屈折角を検出することも可能である。このように画像処理により屈折角を検出する場合、物理的な電子装置である角度センサ４０は構成要素として必要ではない。
図６において車載装置５０は、制御部５１、記憶部５２、表示部５３、及び操作部５４を含む。制御部５１は、車体角度推定部６１、表示パターン決定部６２、及び画像合成部６３を含む。記憶部５２は、カメラ画像バッファ６４、合成画像バッファ６５、表示パターン格納部６６、及び車両モデル格納部６７を含む。カメラ画像バッファ６４はカメラ２１及び２２から供給されるカメラ画像を格納するバッファ領域であってよい。合成画像バッファ６５は、画像処理により生成された車両周囲を示す合成画像を格納するためのバッファ領域であってよい。
表示パターン格納部６６は、車体非屈折時用の表示画像、車体右屈折時用の表示画像、及び車体左屈折時用の表示画像のそれぞれに対する表示パターンを格納したメモリ領域であってよい。この表示パターンは、車両画像及びその周囲画像とを含む合成画像を生成する際に、合成画像中の各部分画像領域に用いる画像を特定した定義パターンであってよい。非屈折時表示パターン、右屈折時表示パターン、及び左屈折時表示パターンについては後ほど詳細に説明する。
表示パターン格納部６６には更に、車両周囲を示す合成画像生成のために用いる情報として、カメラ２１及び２２（必要に応じて更にカメラ２３及び２４）の取り付け位置、取り付け方向（視野中心軸の方向）、画像境界パターンに関する情報等を格納してあってよい。この画像境界パターンは、車両周囲を表示する合成画像において、前方カメラ２３の撮像画像と左カメラ２１の撮像画像との境界線の位置、及び、前方カメラ２３の撮像画像と右カメラ２２の撮像画像との境界線の位置を規定する境界情報を含んでよい。同様に、画像境界パターンは、車両周囲を表示する合成画像において、後方カメラ２４の撮像画像と左カメラ２１の撮像画像との境界線の位置、及び、後方カメラ２４の撮像画像と右カメラ２２の撮像画像との境界線の位置を規定する境界情報を含んでよい。車両周囲画像を合成する場合には、これら境界情報により規定される境界線位置において各撮像画像をつなぎ合わせることにより、複数の画像からなる合成画像を生成してよい。なお境界部分における画像のつなぎ合わせにおいては、境界線に沿って切った２枚の画像を互いに単純に境界線に沿ってつなぎ合わせてよい。或いは、境界線の両側に幅を持たせた境界領域において２つの画像同士を重み付け加算して、当該重みを境界領域の端から端までの間で０から１まで徐々に変化させてもよい。
なお、上記の画像合成処理を効率的に実行するために、車両に設置されているカメラ２１乃至２４の位置及び視野の方向並びに各カメラの内部パラメータに基づいて、各撮像画像平面上の座標位置と合成画像平面上の座標位置との対応関係を予め求めておいてよい。そのようにして求めた座標位置の対応関係は、データテーブルとして表示パターン格納部６６に格納しておいてよい。このデータテーブルを用いることで、高品質な合成画像を効率的に生成することが可能となる。データテーブルのデータ構造及びそれを用いた画像合成処理については後述する。
車両モデル格納部６７は、車両モデルとして、第１の車体部分１０、第２の車体部分１１、及び除雪装置１２の二次元モデル或いは三次元モデルを格納したメモリ領域であってよい。当該モデルには、第１の車体部分１０、第２の車体部分１１、及び除雪装置１２のそれぞれの外形形状に関する情報、第１の車体部分１０と第２の車体部分１１とを連結する連結部の位置に関する情報等を含む。表示パターン格納部６６には更に、車両周囲画像に重畳する車両画像として、車体を上部から俯瞰した実写画像又はモデル画像を格納してあってよい。表示パターン格納部６６には更に、任意の視点からの合成画像を表示するシステムにおいて表示するための実写画像又はモデル画像を格納してあってよい。これらのモデルの情報に基づいて、推定された現在の屈折角に相当する角度で屈折した車体を示す車両画像を生成することが可能となる。
前述のように制御部５１は、車体角度推定部６１、表示パターン決定部６２、及び画像合成部６３を含む。車体角度推定部６１は、角度センサ４０からの屈折角を示す情報に基づいて、現在の車体の屈折角度を推定する。表示パターン決定部６２は、非屈折時用の表示画像、右屈折時用の表示画像、及び左屈折時用の表示画像のいずれの表示画像を生成するか、即ちいずれの表示パターンを用いるかを、車体角度推定部６１が推定した屈折角に応じて選択する。
画像合成部６３は、表示パターン格納部６６に格納される複数の表示パターンのうち表示パターン決定部６２により選択された表示パターンと、車両モデル格納部６７に格納される車両モデルと、屈折角を示す情報とに基づいて、合成画像を生成する。この際、画像合成部６３は、前述のデータテーブルを用いることにより車両真上の視点から見た車両周囲の俯瞰画像をカメラ２１乃至２４の撮像画像から生成し、更に、屈折角に応じた車両画像を当該俯瞰画像に嵌め込むことにより合成画像を生成する。任意の視点から見た車両周囲の画像を合成する処理については後述する。画像合成部６３が生成した合成画像は、表示部５３に表示される。
操作部５４は、周囲監視装置へのユーザ操作が発生したときに当該操作内容を示すデータを制御部５１に供給する。表示部５３と操作部５４とは、図５に示すモニタ４４の機能として提供されてよい。
図４を参照して説明したように、カメラ２１及び２２は、車体屈折車両の第１の車体部分１０に搭載され、非屈折状態の第２の車体部分１１が存在する路面領域を見込む視野を撮像領域内に共通に含む２つの画像をそれぞれが撮像する。図６に示す制御部５１は、第２の車体部分１１の第１の車体部分１０に対する屈折角に応じて、上記路面領域に表示する画像として２つの画像のうちの一方を選択すると共に、２つの画像を合成して車体屈折車両の周囲を表示する合成画像を生成する。そのような合成画像の一例を用いて、以下に、車載装置５０が実行する画像処理について説明する。
図７は、画像処理により合成された合成画像の一例を示す図である。図７に示す合成画像７０は、車体が左に屈折している場合の車両画像及びその車両の周囲画像を含む。具体的には、合成画像７０は、左カメラ２１により撮像されて合成画像７０に嵌め込まれた左側画像７１、右カメラ２２により撮像されて合成画像７０に嵌め込まれた右側画像７２、前方カメラ２３により撮像されて合成画像７０に嵌め込まれた前方画像７３を含む。左側画像７１と前方画像７３との境界は境界線７６であり、右側画像７２と前方画像７３との境界は境界線７７である。また合成画像７０は、左屈折した車体の各部に相当する第１の車体部分画像１０Ａ、第２の車体部分画像１１Ａ、及び除雪装置画像１２Ａを含む。
合成画像７０においては、非屈折時において第１の車体部分画像１０Ａ及び第２の車体部分画像１１Ａが占有する基本車両領域７４のうち、図面右下側即ち車両後部右側において露出された路面領域において、補助パターン画像７５が嵌め込まれている。非屈折時には基本車両領域７４は第１の車体部分画像１０Ａ及び第２の車体部分画像１１Ａにより占有されており、左カメラ２１又は右カメラ２２により撮像された画像を基本車両領域７４に表示（描画）する必要はない。即ち、例えば基本車両領域７４の図面左側エッジの左側に左側画像７１を描画し、基本車両領域７４の図面右側エッジの右側に右側画像７２を描画し、基本車両領域７４には非屈折状態の第１の車体部分画像１０Ａと第２の車体部分画像１１Ａとを描画すればよい。なお第１の車体部分画像１０Ａと第２の車体部分画像１１Ａとを描画する代わりに、第１の車体部分１０と第２の車体部分１１の形状に相当するブランクの矩形領域を基本車両領域７４に描画してもよい。
右左折や旋回に伴う車体屈折時には、第１の車体部分１０の後方で第２の車体部分１１が屈折することにより、非屈折時に第２の車体部分１１の下部に隠れていた路面領域が、基本車両領域７４において露出される。この露出された部分に、左カメラ２１により撮像された画像中で露出された路面領域に相当する位置の部分画像、又は、右カメラ２２により撮像された画像中で露出された路面領域に相当する位置の部分画像を嵌め込むことにより、合成画像７０を生成する。この際、基本車両領域７４中の画像はめ込み位置及び左カメラ２１及び右カメラ２２のいずれの撮像画像を嵌め込むかについては、第２の車体部分１１が左右いずれの方向に屈折しているかに応じて異なる。従って、屈折角が左右いずれであるかに応じて、左カメラ２１の撮像画像の部分画像又は右カメラ２２の撮像画像の部分画像のいずれかを選択し、更に基本車両領域７４中の画像はめ込み位置を選択し、選択された部分画像を選択されたはめ込み位置に嵌め込めばよい。
屈折角が左向きである場合には、右カメラ２２の撮像画像のうちの露出路面に対応する位置の部分画像を選択し、更に基本車両領域７４中の右側後部の略三角形状のはめ込み領域を選択し、選択された部分画像を選択されたはめ込み領域に嵌め込めばよい。このようにして嵌め込まれた画像が図７に示す補助パターン画像７５である。屈折角が右向きである場合には、左カメラ２１の撮像画像のうちの露出路面に対応する位置の部分画像を選択し、更に基本車両領域７４中の左側後部の略三角形状のはめ込み領域を選択し、選択された部分画像を選択されたはめ込み領域に嵌め込めばよい。
なおこのようにして左カメラ２１又は右カメラ２２の撮像画像中の部分画像を基本車両領域７４に補助パターン画像として嵌め込む際には、補助パターンは基本車両領域７４内のみではなく、基本車両領域７４の外側の車両後部に広がる画像であってよい。即ち、図７に示す例においては、三角形状の補助パターン画像７５の図面下方エッジは基本車両領域７４の図面下方（車両後方）エッジに一致しているが、三角形状の補助パターン画像７５は基本車両領域７４の図面下方エッジを越えて更に下側に延びていてよい。これにより、第２の車体部分１１が屈折することにより右カメラ２２から撮像可能になった車両後方領域の周辺画像を、合成画像において適宜活用することができる。なお、第２の車体部分１１の後面が向いている方向の視野については、後方カメラ２４が設けられている場合には、後方カメラ２４により撮像された後方画像を適宜嵌め込んでよい。後方カメラ２４が設けられていない場合、第２の車体部分１１の後面が向いている方向の周辺領域であって、左カメラ２１及び右カメラ２２にいずれにも撮像されない範囲については、ブランク画像を表示してもよい。
なお図７に一例として示す補助パターン画像７５の形状は、屈折角の角度に応じて変化させてもよいし、或いは角度の大きさによらず一定の形状としてもよい。屈折角の角度に応じて補助パターン画像７５の形状を変化させる場合、補助パターン画像７５の三角形状の図面上方（車両前方向）の頂点の角度を屈折角と同等となるように適宜変化させて補助パターン画像７５を生成してよい。しかしながら、合成画像７０中において第２の車体部分画像１１Ａを撮像画像の上から塗りつぶす形で重畳するのであれば、大きめの補助パターン画像７５を生成しておけば、逐一屈折角に応じて補助パターン画像７５の描画領域を変化させる必要はない。
例えば右カメラ２２の撮像画像から生成する補助パターン画像７５の場合であれば、右カメラ２２の撮像画像中で抽出できる最大の大きさ（右カメラ２２の視野範囲３２の左端まで広がる大きさ）の補助パターン画像７５を生成して合成画像７０に嵌め込めばよい。そのように嵌め込まれた補助パターン画像７５の上から、屈折角に応じた角度で配置された第２の車体部分画像１１Ａを上書きするように描画すれば、角度の大きさに応じて路面が現れる自然な画像を生成することができる。このとき、屈折角が小さい場合には、補助パターン画像７５中のかなりの大きさの部分に第２の車体部分１１の右側面が映りこんでいることになるが、その部分には第２の車体部分画像１１Ａが上書きするように描画されるので、自然な画像が生成される。
またこの際、後方カメラ２４が設けられている場合、屈折角に応じた角度で描画された第２の車体部分画像１１Ａの真後ろに延びる矩形領域には、後方カメラ２４の撮像画像を描画してよい。即ち、屈折角に応じた角度で描画された第２の車体部分画像１１Ａの左側面を後方に延長した線と右側面を後方に延長した線との間に挟まれる領域には、後方カメラ２４の撮像画像を描画してよい。なお後方カメラ２４の撮像画像と左カメラ２１及び右カメラ２２の撮像画像との境界部分の設定については、上記の方法に限られない。
このように、制御部５１は、屈折角に応じて車体屈折車両の第１の車体部分画像１０Ａ及び第２の車体部分画像１１Ａを生成し、当該生成した車両画像を撮像画像に重畳するように描画して合成画像７０を生成してよい。この際、制御部５１は、屈折角の大きさに応じた角度で屈折する車体屈折車両の車両画像を生成し、当該車両画像を撮像画像に上書きするように描画してよい。このようにすれば、制御部５１が、路面領域に表示する画像として補助パターン画像７５を生成して合成画像７０に嵌め込む際に、補助パターン画像７５の大きさを屈折角の大きさによらず一定のものとして処理すればよく、処理を単純化することができる。
図８は、車体屈折時の屈折角の定義を示す図である。図８に示されるように、第１の車体部分１０に対して第２の車体部分１１が角度をなすように屈折する場合、第１の車体部分１０の前後方向に延びる中心軸と第２の車体部分１１の前後方向に延びる中心軸との間の角度θとして、屈折角が定義される。右屈折時にはθがプラスとなり、左屈折時にはθがマイナスとなる。
図９は、角度センサ４０の構成の一例を示す図である。図９において、角度センサ４０は、第１の車体部分１０と第２の車体部分１１との間の連結部１３に設けられたセンサ装置１３Ａである。センサ装置１３Ａは、連結部１３における第１の車体部分１０に対する第２の車体部分１１の角度を検出し、検出された角度を屈折角を示す情報として車載装置５０に供給すればよい。このように連結部１３において角度を検出することにより、実際の屈折角を反映した精度の高い角度検出が可能になる。
図１０は、角度センサ４０の別の構成一例を示す図である。図１０において、角度センサ４０は、第１の車体部分１０の運転室に設けられる操舵方向操作ハンドル８０の回転軸８１に設けられたセンサ装置８１Ａである。センサ装置８１Ａは、操舵方向を操作する装置である操舵方向操作ハンドル８０の回転角度を検出し、検出された角度を屈折角を示す情報として車載装置５０に供給すればよい。操舵装置においては操舵角を検出する機能が設けられていることが通常であり、このような操舵装置の機能を用いて角度を検出することにより、別途角度センサを設けることなく、効率的な角度検出が可能となる。
図１１は、車載装置５０による画像合成処理の一例を示すフローチャートである。図１１及び以降の図において、フローチャートに記載された各ステップの実行順序は一例にすぎず、本願の意図する技術範囲が、記載された実行順番に限定されるものではない。例えば、Ａステップの次にＢステップが実行されるように本願に説明されていたとしても、Ａステップの次にＢステップを実行することが可能なだけでなく、Ｂステップの次にＡステップを実行することが、物理的且つ論理的に可能である場合がある。この場合、どちらの順番でステップを実行しても、当該フローチャートの処理に影響する全ての結果が同一であるならば、本願に開示の技術の目的のためには、Ｂステップの次にＡステップが実行されてもよいことは自明である。Ａステップの次にＢステップが実行されるように本願に説明されていたとしても、上記のような自明な場合を本願の意図する技術範囲から除外することを意図するものではなく、そのような自明な場合は、当然に本願の意図する技術範囲内に属する。
ステップＳ１において、車載装置５０の制御の下で、カメラ２１乃至２４により車両周辺が撮像され、撮像された画像（ビデオ画像）がカメラ画像バッファ６４に格納される。ステップＳ２において、制御部５１の車体角度推定部６１が、角度センサ４０からの角度情報を取得する。例えば、図１０に示すセンサ装置８１Ａからハンドル操舵角を示す角度情報が得られる。
ステップＳ３において、車体角度推定部６１は、ステップＳ２で取得された角度情報から、車体屈折角θ（図８参照）を推定する。ステップＳ４において、表示パターン決定部６２は、所定の正の閾値をθＴＨとして、推定された車体屈折角θが−θＴＨよりも小さいか、＋θＴＨよりも大きいか、或いはそれ以外（即ち−θＴＨ≦θ≦＋θＴＨ）であるかを判断する。−θＴＨ≦θ≦＋θＴＨである場合、表示パターン決定部６２は非屈折時表示パターンを選択し、この選択結果に基づいて、画像合成部６３がステップＳ５において非屈折時描画処理を実行する。θ＜−θＴＨである場合、表示パターン決定部６２は左屈折時表示パターンを選択し、この選択結果に基づいて、画像合成部６３がステップＳ６において左屈折時描画処理を実行する。＋θＴＨ＜θである場合、表示パターン決定部６２は右屈折時表示パターンを選択し、この選択結果に基づいて、画像合成部６３がステップＳ７において右屈折時描画処理を実行する。ステップＳ８において、画像合成部６３が表示部５３に合成画像を表示する。
図１２は、非屈折時描画処理の一例を示すフローチャートである。ステップＳ１１において、画像合成部６３は、基本パターンを描画する。
図１３は、基本パターンの構成の一例を示す図である。基本パターン１００は、左カメラ２１により撮像された最新の左側画像１０１、右カメラ２２により撮像された最新の右側画像１０２、前方カメラ２３により撮像された最新の前方画像１０３、及び後方カメラ２４により撮像された最新の後方画像１０４を含む。これらの最新の画像１０１乃至１０４を、図１３に一例として示すような境界線に沿ってつなぎ合わせることにより、車両周囲の現在の画像を車両領域９０の周囲に描画した合成画像が形成される。なおこの車両領域９０は、カメラ２１乃至２４がその周囲に配置された第１の車体部分１０と第２の車体部分１１とが非屈折時に占める領域であってよい。また、後方カメラ２４が設けられていない場合には、基本パターン１００中の後方画像１０４の画像位置にはブランク画像を描画してよい。同様に、前方カメラ２３が設けられていない場合には、基本パターン１００中の前方画像１０３の画像位置にはブランク画像を描画してよい。
図１２に戻り、ステップＳ１２において、画像合成部６３は、車両モデル屈折処理を実行する。具体的には、画像合成部６３は、図６に示される記憶部５２の車両モデル格納部６７の車両モデルに基づいて、非屈折時の車両画像を生成する。ステップＳ１３において、画像合成部６３は、ステップＳ１２で生成された車両画像を基本パターンに上書きするように描画する。
図１４は、基本パターンに車両画像が重畳された合成画像の一例を示す図である。図１４に示す合成画像１００Ａは、例えば図１３に示す基本パターン１００に対して、第１の車体部分画像１０Ａ、第２の車体部分画像１１Ａ、及び除雪装置画像１２Ａを含む車両画像を上書きするように描写することにより得られる。なお、前方カメラ２３は第１の車体部分１０の天井付近に搭載されているため、前方カメラ２３から除雪装置１２の画像を取得が可能である。そのため、除雪装置画像１２Ａに代わって除雪装置１２の画像を合成画像１００Ａに表示してもよい。
以上のように、基本パターン描画、車両モデル屈折処理、及び車両モデル重畳描画を実行することにより、非屈折時描画処理が終了する。
図１５は、屈折時描画処理の一例を示すフローチャートである。ステップＳ２１において、画像合成部６３は、基本パターンを描画する。基本パターンは、例えば図１３に示されるものであってよい。ステップＳ２２において、画像合成部６３は、右（又は左）屈折時補助パターン重畳描画処理を実行する。具体的には、例えば左屈折時描画処理であれば、車両領域内部の後部右側の三角形状領域及び必要に応じて車両領域の外側の後方領域も含む領域に対して、略三角形状の補助パターン画像を重畳するように描画する。また後方カメラ２４が設けられている場合には、前述したように、後方カメラの撮像画像を車両後方の屈折角に応じた位置に描画してよい。
図１６は、左屈折時の補助パターンを重畳描画した合成画像の一例を示す図である。図１６に示されるように、車両領域９０内部の後部右側の三角形状領域及び必要に応じて車両領域９０の外側の後方領域も含む領域に対して、略三角形状の補助パターン画像１０５を重畳するよう描画する。この際、補助パターン画像１０５は、基本パターン１００の描画画像に対して、上書きする形で重畳されてよい。また後方カメラ２４が設けられている場合には、後方カメラの撮像画像を、車両後方の屈折角に応じた位置に上書きする形で描画してもよい。この描画処理により、合成画像１００Ｂが生成される。
図１８は、右屈折時の補助パターンを重畳描画した合成画像の一例を示す図である。図１８に示されるように、車両領域９０内部の後部左側の三角形状領域及び必要に応じて車両領域９０の外側の後方領域も含む領域に対して、略三角形状の補助パターン画像１０６を重畳するよう描画する。この際、補助パターン画像１０６は、基本パターン１００の描画画像に対して、上書きする形で重畳されてよい。また後方カメラ２４が設けられている場合には、後方カメラの撮像画像を、車両後方の屈折角に応じた位置に上書きする形で描画してもよい。この描画処理により、合成画像１００Ｄが生成される。
図１５に戻り、ステップＳ２３において、画像合成部６３は、車両モデル屈折処理を実行する。具体的には、画像合成部６３は、図６に示される記憶部５２の車両モデル格納部６７の車両モデルに基づいて、右又は左屈折時の車両画像を生成する。ステップＳ２４において、画像合成部６３は、ステップＳ２３で生成された車両画像をステップＳ２２で生成した合成画像に重畳するように描画する。
図１７は、左屈折の場合において車両画像が重畳された合成画像の一例を示す図である。図１７に示す合成画像１００Ｃは、例えば図１６に示す合成画像１００Ｂに対して、第１の車体部分画像１０Ａ、第２の車体部分画像１１Ａ、及び除雪装置画像１２Ａを含む車両画像を上書きするように描写することにより得られる。
図１９は、右屈折の場合において車両画像が重畳された合成画像の一例を示す図である。図１９に示す合成画像１００Ｅは、例えば図１８に示す合成画像１００Ｄに対して、第１の車体部分画像１０Ａ、第２の車体部分画像１１Ａ、及び除雪装置画像１２Ａを含む車両画像を上書きするように描写することにより得られる。
以上のように、基本パターン描画、車両モデル屈折処理、及び車両モデル重畳描画を実行することにより、非屈折時描画処理が終了する。
上記説明した描画処理においては、カメラ２１乃至２４の撮像画像に基づいて、車両周囲の俯瞰画像を合成している。この画像合成処理においては、車両に設置されているカメラ２１乃至２４の位置及び視野の方向並びに各カメラの内部パラメータに関する情報に基づいて、画像の座標変換を行うことにより、各撮像画像から俯瞰画像を合成してよい。以下に、所望の視点から見た車両周辺画像を合成する処理について説明する。
図２０は、車両周辺の撮像画像の一例を示す図である。撮像画像２０１は左カメラ２１により撮像された画像であり、撮像画像２０２は右カメラ２２により撮像された画像である。また撮像画像２０３は前方カメラ２３により撮像された画像であり、撮像画像２０４は後方カメラ２４により撮像された画像である。これらの画像を、図２０に示されるようにＳ及びＴの直交座標で表される２次元平面上に配置して、フレームバッファ（例えば図６のカメラ画像バッファ６４）に格納する。座標（Ｓ，Ｔ）の値は、フレームバッファのアドレスに対応付けられている。従って、これらの画像を構成している各画素は、当該画素の位置を表す座標（Ｓ，Ｔ）の値により、フレームバッファから読み出すことができる。この撮像画像を、車両周囲の３次元空間中に定義される立体投影面に投影することにより、車両周囲の３次元空間を示す合成画像を生成することができる。
図２１は、車両周囲に定義される立体投影面の一例を示した図である。立体投影面２１１は、車両２１０の近傍では路面に沿って広がっており、車両２１０から遠ざかるほど上方即ちＺ軸の正方向に向かい路面から離れていくように広がるお椀型となっている。この立体投影面２１１は、Ｘ、Ｙ、及びＺの直交座標系で位置が表される互いに連結された複数のポリゴンにより定義されている。図２１の例では、ポリゴンとして４角形を用いている。ポリゴンの各頂点の位置は、図２１に示される３次元座標（Ｘ，Ｙ，Ｚ）の値により表される。
図２０の撮像画像２０１乃至２０４には、立体投影面２１１を構成する各ポリゴンに対応する矩形を示してある。例えば、図２０において示される矩形２０５は、図２１の立体投影面２１１におけるポリゴン２１３に対応している。従って、図２１に示される立体投影面２１１を構成する各頂点の３次元座標（Ｘ，Ｙ，Ｚ）の値は、図２０に示される２次元座標（Ｓ，Ｔ）の値に一対一に対応付けられている。
図２２はポリゴンデータテーブルのデータ構造の一例を示す図である。このポリゴンデータテーブルにおいて、「ポリゴンＩＤ」のテーブル列には、立体投影面２１１を構成するポリゴンの各々を一意に識別する識別子番号が格納されている。また「頂点ＩＤ」のテーブル列には、ポリゴンＩＤにより識別される各ポリゴンを構成する頂点（この例では４個の頂点）の各々について、各頂点を一意に識別する識別子番号が格納されている。同一の識別子番号を有する頂点は同一の頂点である。これら各頂点の位置を示すＸＹＺ座標値は、頂点データテーブルに格納される。
図２３は、頂点データテーブルのデータ構造の一例を示す図である。頂点データテーブルにおいて、「頂点ＩＤ」のテーブル列には、図２２に示すポリゴンデータテーブルの頂点ＩＤに対応する識別子番号が格納されている。「投影面の頂点座標」のテーブル列には、ある頂点の識別子番号（「頂点ＩＤ」の番号）を格納するテーブル行と同一のテーブル行に、当該頂点のＸＹＺ座標値が格納されている。「入力画像座標」のテーブル列には、ある頂点の識別子番号（「頂点ＩＤ」の番号）を格納するテーブル行と同一のテーブル行に、当該頂点のＳＴ座標値が格納されている。この頂点データテーブルにより、投影面の頂点座標（即ち図２１のポリゴンの各頂点のＸＹＺ座標）と入力画像座標（即ち図２０の矩形の各頂点のＳＴ座標）とが対応付けられることになる。
頂点データテーブルにより表されるＸＹＺ座標とＳＴ座標との関係は、車両に設置されているカメラ２１乃至２４の位置及び視野の方向、並びに各カメラの内部パラメータを用いて予め算出しておくようにする。全周囲映像の合成は、３次元空間で定義された任意の合成視点から見たものとして、ポリゴンデータテーブル中の各ポリゴンを描画することにより行われる。この描画は一般的な３次元グラフィクス処理であり、入力画像をテクスチャ画像、座標（Ｓ，Ｔ）をテクスチャ座標、座標値（Ｘ，Ｙ，Ｚ）をポリゴン頂点座標としたテクスチャポリゴン描画として処理される。これにより任意の視点から見た全周囲画像を合成することができる。このようにして合成画像を生成する際に、図１１を用いて説明した車体屈折車両用の合成画像処理を含めて実行すれば、車体屈折車両に対する適切な全周囲画像を生成することができる。特に、視点の位置を車両真上に設定すれば、例えば図７に示すような俯瞰画像を生成することができる。
以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。
例えば、前述の実施例では、左カメラ２１及び右カメラ２２は、１８０度以上の広角カメラである構成について説明したが、この構成は限定を意図するものではない。そのような広角カメラを用いる代わりに、１８０度以下の視野のカメラを複数台設けることにより、車両左右から後方にかけての視野範囲を複数のカメラによりカバーできるようにしてもよい。
また前述の実施例では、左カメラ２１及び右カメラ２２は、第１の車体部分１０に設けられている構成について説明したが、この構成は限定を意図するものではない。左カメラ２１及び右カメラ２２は、車両の他の箇所に設けられてよく、例えば第２の車体部分１１に設けられていてもよい。その場合、第１の車体部分１０が第２の車体部分１１に対して屈折することにより、第１の車体部分１０が退いた後に露出される路面領域に対して、左カメラ２１又は右カメラ２２の撮像画像を嵌め込むことで、車両周囲画像を合成してよい。
また前述の実施例では、角度センサを用いる構成について説明したが、この構成は限定を意図するものではない。角度センサを用いることなく、左カメラ２１及び右カメラ２２の少なくとも一方の撮像画像に基づいて、画像中に写っている車両画像の位置を画像処理で検出することにより車体の屈折角を推定してもよい。
１０ 第１の車体部分
１１ 第２の車体部分
１２ 除雪装置
２１ 左カメラ
２２ 右カメラ
２３ 前方カメラ
２４ 後方カメラ
４０ 角度センサ
４１ センサインタフェース
４２ カメラインタフェース
４３ モニタコントローラ
４４ モニタ
４５ ＨＤＤ
４６ ＲＯＭ
４７ ＲＡＭ
４８ ＣＰＵ
４９ バス
５０ 車載装置
５１ 制御部
５２ 記憶部
５３ 表示部
５４ 操作部
６１ 車体角度推定部
６２ 表示パターン決定部
６３ 画像合成部
６４ カメラ画像バッファ
６５ 合成画像バッファ
６６ 表示パターン格納部
６７ 車両モデル格納部

Claims (10)

  1. 車体屈折車両の第１の車体部分に搭載され、非屈折状態の第２の車体部分が存在する路面領域を見込む視野を撮像領域内に共通に含む２つの画像をそれぞれが撮像する少なくとも２つの撮像装置と、
    前記第２の車体部分の前記第１の車体部分に対する屈折角に応じて、前記路面領域に表示する画像として前記２つの画像のうちの一方を選択すると共に、前記２つの画像を合成して前記車体屈折車両の周囲を表示する合成画像を生成する制御部と、
    前記合成画像を表示する表示モニタ
    を含む周囲監視装置。
  2. 前記制御部は、前記屈折角に応じて前記車体屈折車両の車両画像を生成し、前記合成画像に前記車両画像を合成する請求項１記載の周囲監視装置。
  3. 前記制御部は、前記屈折角の大きさに応じた角度で屈折する前記車両画像を生成する請求項２記載の周囲監視装置。
  4. 前記制御部は、前記屈折角の方向が右屈折を示す場合に前記２つの画像のうちの第１の画像を選択し、前記屈折角の方向が左屈折を示す場合に前記２つの画像のうちの第２の画像を選択し、前記路面領域に表示する画像として、前記選択された第１又は第２の画像中の部分画像を用いるよう構成され、前記部分画像の大きさは前記屈折角の大きさによらず一定である請求項３記載の周囲監視装置。
  5. 前記制御部は、前記第１の車体部分と前記第２の車体部分との連結部に設けられた角度センサから前記屈折角を示す情報を取得する請求項１乃至４いずれか一項記載の周囲監視装置。
  6. 前記制御部は、前記車体屈折車両の操舵方向を操作する装置から前記屈折角を示す情報を取得する請求項１乃至４いずれか一項記載の周囲監視装置。
  7. 前記撮像装置は、前記第２の車体部分の上面より高い位置の前記第１の車体部分に搭載される、請求項１乃至６いずれか一項記載の周囲監視装置。
  8. 前記車体屈折車両は除雪装置を有する除雪車である請求項１乃至７いずれか一項記載の周囲監視装置。
  9. 車体屈折車両の第１の車体部分に搭載された２つの撮像装置によりそれぞれ撮像された、非屈折状態の第２の車体部分が存在する路面領域を見込む視野を撮像領域内に共通に含む２つの画像を受け取り、
    前記第２の車体部分の前記第１の車体部分に対する屈折角を示す屈折角情報を受け取り、
    前記屈折角情報が示す屈折角に応じて、前記路面領域に表示する画像として前記２つの画像のうちの一方を選択すると共に、前記２つの画像を合成して前記車体屈折車両の周囲を表示する合成画像を生成する
    各段階を含む画像処理方法。
  10. 車体屈折車両の第１の車体部分に搭載された２つの撮像装置によりそれぞれ撮像された、非屈折状態の第２の車体部分が存在する路面領域を見込む視野を撮像領域内に共通に含む２つの画像を受け取り、
    前記第２の車体部分の前記第１の車体部分に対する屈折角を示す屈折角情報を受け取り、
    前記屈折角情報が示す屈折角に応じて、前記路面領域に表示する画像として前記２つの画像のうちの一方を選択すると共に、前記２つの画像を合成して前記車体屈折車両の周囲を表示する合成画像を生成する
    各段階をコンピュータに実行させる画像処理プログラム。
JP2017561439A 2016-01-13 2016-01-13 周囲監視装置、画像処理方法、及び画像処理プログラム Active JP6737288B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/050838 WO2017122294A1 (ja) 2016-01-13 2016-01-13 周囲監視装置、画像処理方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2017122294A1 true JPWO2017122294A1 (ja) 2018-11-08
JP6737288B2 JP6737288B2 (ja) 2020-08-05

Family

ID=59311238

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017561439A Active JP6737288B2 (ja) 2016-01-13 2016-01-13 周囲監視装置、画像処理方法、及び画像処理プログラム

Country Status (3)

Country Link
US (1) US10721442B2 (ja)
JP (1) JP6737288B2 (ja)
WO (1) WO2017122294A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101844885B1 (ko) * 2016-07-11 2018-05-18 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
JP7106859B2 (ja) * 2017-12-27 2022-07-27 トヨタ自動車株式会社 画像表示装置
DE102018131220A1 (de) * 2018-12-06 2020-06-10 Liebherr-Werk Bischofshofen Gmbh Arbeitsmaschine
US11686058B2 (en) 2019-03-14 2023-06-27 Clark Equipment Company Snow blower implement
DE102019109305A1 (de) * 2019-04-09 2020-10-15 Claas Selbstfahrende Erntemaschinen Gmbh Schwenkkraftheber
DE102019216368A1 (de) * 2019-10-24 2021-04-29 Robert Bosch Gmbh Verfahren zum Ausgeben eines Steuersignals an eine Einheit eines Fahrzeugs
KR102316960B1 (ko) * 2019-11-28 2021-10-22 광운대학교 산학협력단 무인 항공기 영상 내 실시간 객체 검출 방법 및 장치
DE102019219017A1 (de) * 2019-12-05 2021-06-10 Robert Bosch Gmbh Anzeigeverfahren zur Darstellung eines Umgebungsmodells eines Fahrzeugs, Computerprogramm, Steuergerät und Fahrzeug
JP7442933B2 (ja) * 2020-03-20 2024-03-05 アルパイン株式会社 車両用画像処理装置
US11409299B2 (en) * 2020-08-19 2022-08-09 Caterpillar Inc. Determining object detection area based on articulation angle
CN112308984B (zh) * 2020-11-03 2024-02-02 豪威科技(武汉)有限公司 车载图像拼接方法、系统以及装置
DE112020007763T5 (de) 2020-11-10 2023-08-31 Mitsubishi Electric Corporation Sensorrauschenentfernungsvorrichtung und Sensorrauschenentfernungsverfahren
US20230133175A1 (en) * 2021-10-30 2023-05-04 Deere & Company Object detection system and method for a work machine using work implement masking
WO2023195056A1 (ja) * 2022-04-04 2023-10-12 株式会社ソシオネクスト 画像処理方法、ニューラルネットワークの学習方法、三次元画像表示方法、画像処理システム、ニューラルネットワークの学習システム、及び三次元画像表示システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5966683U (ja) * 1982-10-27 1984-05-04 株式会社新潟鐵工所 車両における連結部の保護装置
JP2008077628A (ja) * 2006-08-21 2008-04-03 Sanyo Electric Co Ltd 画像処理装置並びに車両周辺視界支援装置及び方法
JP2010030341A (ja) * 2008-07-25 2010-02-12 Asmo Co Ltd 後退確認装置
JP2012105158A (ja) * 2010-11-11 2012-05-31 Mitsubishi Fuso Truck & Bus Corp 連結車両用鳥瞰図表示システム
WO2012157379A1 (ja) * 2011-05-13 2012-11-22 日立建機株式会社 作業機械の周囲監視装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003235036A (ja) 2002-02-07 2003-08-22 Nissan Motor Co Ltd 車両用画像表示装置
JP2005223524A (ja) * 2004-02-04 2005-08-18 Nissan Motor Co Ltd 車両周辺監視装置
DE102007011180A1 (de) * 2007-03-06 2008-09-11 Daimler Ag Rangierhilfe und Verfahren für Fahrer von Fahrzeugen bzw. Fahrzeuggespannen, welche aus gegeneinander knickbare Fahrzeugelementen bestehen
JP2009060499A (ja) 2007-09-03 2009-03-19 Sanyo Electric Co Ltd 運転支援システム及び連結車両
JP2009107602A (ja) 2007-11-01 2009-05-21 Komatsu Ltd アーティキュレート式建設機械
JP5369465B2 (ja) 2008-03-25 2013-12-18 富士通株式会社 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
EP3021178B1 (en) * 2014-11-14 2020-02-19 Caterpillar Inc. System using radar apparatus for assisting a user of a machine of a kind comprising a body and an implement
US20160150189A1 (en) * 2014-11-20 2016-05-26 Caterpillar Inc. Image processing system and method
US20160301864A1 (en) * 2015-04-10 2016-10-13 Caterpillar Inc. Imaging processing system for generating a surround-view image
US9860445B2 (en) * 2015-06-15 2018-01-02 Bendix Commercial Vehicle Systems Llc Dual node composite image system architecture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5966683U (ja) * 1982-10-27 1984-05-04 株式会社新潟鐵工所 車両における連結部の保護装置
JP2008077628A (ja) * 2006-08-21 2008-04-03 Sanyo Electric Co Ltd 画像処理装置並びに車両周辺視界支援装置及び方法
JP2010030341A (ja) * 2008-07-25 2010-02-12 Asmo Co Ltd 後退確認装置
JP2012105158A (ja) * 2010-11-11 2012-05-31 Mitsubishi Fuso Truck & Bus Corp 連結車両用鳥瞰図表示システム
WO2012157379A1 (ja) * 2011-05-13 2012-11-22 日立建機株式会社 作業機械の周囲監視装置

Also Published As

Publication number Publication date
JP6737288B2 (ja) 2020-08-05
WO2017122294A1 (ja) 2017-07-20
US20180309962A1 (en) 2018-10-25
US10721442B2 (en) 2020-07-21

Similar Documents

Publication Publication Date Title
WO2017122294A1 (ja) 周囲監視装置、画像処理方法、及び画像処理プログラム
JP5422902B2 (ja) 画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法
JP5369465B2 (ja) 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
JP5922866B2 (ja) 車両の運転者に案内情報を提供するためのシステム及び方法
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
US20170203692A1 (en) Method and device for the distortion-free display of an area surrounding a vehicle
JP7106846B2 (ja) 周辺監視装置
JP6425991B2 (ja) 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法
JP2010093605A (ja) 操縦支援装置
JP7156937B2 (ja) 画像処理装置及び画像処理方法
WO2017188247A1 (ja) 表示制御装置
JP6958163B2 (ja) 表示制御装置
JP2007267343A (ja) 車両周辺画像提供装置および方法
JP2019028920A (ja) 表示制御装置
JP6876236B2 (ja) 表示制御装置
JP2022095303A (ja) 周辺画像表示装置、表示制御方法
JP7013751B2 (ja) 画像処理装置
JP5861871B2 (ja) 俯瞰画像提示装置
JP7314518B2 (ja) 周辺監視装置
JP2008294616A (ja) 運転支援システム及び車両
JP2018142883A (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6385621B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
CN113592704B (zh) 一种图像生成方法、装置及系统
JP5091882B2 (ja) 画像処理装置並びに視界支援装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200629

R150 Certificate of patent or registration of utility model

Ref document number: 6737288

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150