JP7209189B2 - 画像生成装置、カメラ、表示システム、車両及び画像生成方法 - Google Patents

画像生成装置、カメラ、表示システム、車両及び画像生成方法 Download PDF

Info

Publication number
JP7209189B2
JP7209189B2 JP2019056211A JP2019056211A JP7209189B2 JP 7209189 B2 JP7209189 B2 JP 7209189B2 JP 2019056211 A JP2019056211 A JP 2019056211A JP 2019056211 A JP2019056211 A JP 2019056211A JP 7209189 B2 JP7209189 B2 JP 7209189B2
Authority
JP
Japan
Prior art keywords
image
superimposed
vehicle
line
overlapping portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019056211A
Other languages
English (en)
Other versions
JP2020161866A (ja
Inventor
正寿 松下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019056211A priority Critical patent/JP7209189B2/ja
Priority to PCT/JP2019/048100 priority patent/WO2020194893A1/ja
Priority to CN201980094556.2A priority patent/CN113615165B/zh
Priority to DE112019006909.8T priority patent/DE112019006909T5/de
Publication of JP2020161866A publication Critical patent/JP2020161866A/ja
Priority to US17/479,627 priority patent/US11820300B2/en
Application granted granted Critical
Publication of JP7209189B2 publication Critical patent/JP7209189B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/28—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/085—Taking automatic action to adjust vehicle attitude in preparation for collision, e.g. braking for nose dropping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B60K2360/173—
    • B60K2360/176—
    • B60K2360/177—
    • B60K2360/179—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Description

本発明は、画像生成装置、カメラ、表示システム、車両及び画像生成方法に関する。
バックビューモニタ装置は、車両の後方に設置されたカメラで撮像された画像を車内のモニタに表示する装置である。バックビューモニタ装置の中には、特許文献１に開示されているように車両の後進時に車両の進行方向を表す補助線を車両の後方の画像に重畳して表示する運転支援機能を備えたものもある。
特開２０１２－１４７２８５公報
しかしながら、画像に補助線が重畳される場合、補助線が人などの回避すべき対象物に重畳されるために、車両の運転者にとって該対象物が見にくくなることがある。この場合、運転者は該対象物の認識が遅れ、安全な後進運転ができなくなる。
他方、画像に補助線が全く重畳されないと、バックビューモニタ装置は、運転者による後進運転を支援することができないため、利便性を欠くことになる。
本発明はこのような状況に鑑み、運転者による車両の安全な後進運転を妨げることなく、後進運転の支援を行うことができる画像を生成できる画像生成装置、画像生成装置を備えたカメラ及び表示システム、並びに、これを備える車両、画像生成方法を提供することを目的とする。
本発明に係る画像生成装置は、車両の後方の後方画像を取得する画像取得部と、前記車両の後進運転を補助する補助線が重畳される画像領域と、特定の対象物が位置する画像領域との重複部分が前記後方画像に含まれている場合、少なくとも前記重複部分において、前記補助線が重畳されていない又は半透明状態で重畳された画像を生成し、前記後方画像に前記重複部分が含まれていない場合、前記後方画像に前記補助線が重畳された画像を生成する画像生成部と、を備え、前記補助線は複数の線から構成されており、前記画像生成部は、前記後方画像に前記重複部分が含まれている場合、前記補助線の中の第１の線が重畳され、かつ、前記複数の線の中の第２の線が前記後方画像に重畳されていない又は半透明状態で重畳された画像を生成し、前記第１の線が重畳される画像領域は、前記重複部分を含まず、前記第２の線が重畳される画像領域は、前記重複部分を含む。
本発明に係るカメラは、車両の後方の後方画像を撮像する撮像部と、上述の画像生成装置と、を備える。
本発明に係る表示システムは、車両の後方の後方画像を撮像する撮像部と、上述の画像生成装置と、上述の画像生成装置によって生成された画像を表示する表示部と、を備える。
本発明に係る車両は、上述のカメラ又は上述の表示システムを備える。
本発明によれば、運転者による車両の安全な後進運転を妨げることなく、後進運転の支援を行うことができる画像生成装置、画像生成装置を備えたカメラ及び表示システム、並びに、これを備える車両、画像生成方法を提供することができる。
図１は、本発明の第１実施形態に係るリアカメラを備える車両を示す模式図である。 図２は、車両の後方の画像（後方画像）に補助線が重畳された画像（運転支援画像）の一例を示す図である。 図３は、本発明の第１実施形態に係る表示システムの構成を示すブロック図である。 図４は、本発明の第１実施形態に係る画像生成装置が行う動作を示すフローチャートを示す図である。 図５は、本発明の第１実施形態に係る画像生成装置によって生成される運転支援画像の一例を示す図である。 図６は、本発明の第１実施形態に係る画像生成装置によって生成される運転支援画像の一例を示す図である。 図７は、変形例に係る画像生成装置によって生成される運転支援画像の一例を示す図である。 図８は、本発明の第２実施形態に係る画像生成装置によって生成される運転支援画像の一例を示す図である。 図９は、本発明の第３実施形態に係る画像生成装置によって生成される運転支援画像の一例を示す図である。 図１０は、本発明の第４実施形態に係る画像生成装置が行う動作を示すフローチャートを示す図である。 図１１は、本発明の第４実施形態に係る画像生成装置によって生成される運転支援画像の一例を示す図である。 図１２は、本発明の第４実施形態に係る画像生成装置によって生成される運転支援画像の一例を示す図である。 図１３は、本発明の第５実施形態に係る画像生成装置によって生成される運転支援画像の一例を示す図である。 図１４は、本発明の第６実施形態に係る表示システムの構成を示すブロック図である。 図１５は、リアカメラが車両の設計位置に搭載された場合における、従来の画像生成装置によって生成された運転支援画像の一例を示す図である。 図１６は、リアカメラが車両の設計位置からずれた位置に搭載された場合における、従来の画像生成装置によって生成された運転支援画像の一例を示す図である。
以下、本発明の実施形態を図面を参照して説明する。
（第１実施形態）
図１は、本発明の第１実施形態に係るリアカメラ１０を備える車両１を示す模式図である。
車両１は、リアカメラ１０を車両１の後方に備えている。リアカメラ１０は、車両１の後方の画像を撮像する。リアカメラ１０によって撮像された画像は、車両１内の表示部５０（図３参照）に表示される。また、車両１の運転者が後進運転する場合、リアカメラ１０によって撮像された画像は、運転者の後進運転を補助するための補助線が重畳された後、車両１内の表示部５０に表示される。
図２は、車両１の後方の画像（後方画像）に補助線１００が重畳された画像（運転支援画像Ｐ１）の一例を示す図である。
補助線１００は、複数の線から構成されている。例えば、補助線１００は、車幅延長線１０１、１０２、及び後方距離目安線１０３、１０４、１０５から構成されている。車幅延長線１０１、１０２は、車両１が後進したときの車幅の一方端及び他方端の位置を示す。後方距離目安線１０３、１０４、１０５は、車両１の後方端から所定の距離離れた位置を示す。例えば、後方距離目安線１０３は、車両１の後方端からＸ１メートル、後方距離目安線１０４は、車両１の後方端からＸ２（＞Ｘ１）メートル、後方距離目安線１０５は、車両１の後方端からＸ３（＞Ｘ２）メートルの位置を示す。以下、車幅延長線及び後方距離目安線を単に「線」と呼ぶ。
このように、車両１の後方画像に補助線１００が重畳された画像が車内１の表示部５０に表示されることで、運転者は、車庫入れや駐車時の後進運転を容易に行うことできる。
しかしながら、図２に示されているように、車両１の後方画像に補助線１００が重畳された場合、後方画像に映っている歩行者Ｗ１や自転車の運転者Ｄ１に補助線１００が重なることがある。この場合、運転者は、運転支援画像Ｐ１を見た時に歩行者Ｗ１や自転車の運転者Ｄ１が存在することを認識しにくい。
本発明によれば、車両１の後方に人などの特定の対象物が存在する場合、車両１の運転者による特定の対象物の認識を妨げないような運転支援画像を表示することができる。以下、本発明の第１実施形態について説明する。
図３は、本発明の第１実施形態に係る表示システム２の構成を示すブロック図である。表示システム２は、図１に示されている車両１が備えている。表示システム２は、リアカメラ１０、ＥＣＵ（車両制御装置：Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２０、及び表示部５０を備える。なお、本実施形態において、ＥＣＵ２０は、補助線１００が重畳された運転支援画像を生成する画像生成装置３として機能する。
リアカメラ１０は、車両１の後方画像を撮像する。また、リアカメラ１０は、撮像した画像をＥＣＵ２０に送信する。
ＥＣＵ２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭ及びＲＡＭを含むメモリとを備える。ＣＰＵがＲＯＭに記憶されている制御プログラムを読みだして、ＲＡＭに展開し、展開したプログラムを実行することでＣＰＵは、撮像制御部３１、画像取得部３２、対象物検知部３３、画像生成部３４及び通信部３５として機能する。
撮像制御部３１は、リアカメラ１０による後方画像の撮像を制御する。具体的には、撮像制御部３１は、車両１の運転モードが後進運転モードに設定された場合に、リアカメラ１０に画像の撮像を開始させる信号（撮像開始信号）を送信する。また、撮像制御部３１は、車両１の運転モードが後進運転モードから他の運転モードに切り替えられた場合に、リアカメラ１０に画像の撮像を停止させる信号（撮像停止信号）を送信する。
運転モードは、車両１が前進するための前進運転モード、車両１が後進するための後進運転モード、車両１を停止するための停止モード等がある。運転モードが後進運転モードに設定されることには、前進運転モードから後進運転モードに切り替えられること、停止モードから後進運転モードに切り替えられることが含まれる。
画像取得部３２は、通信部３５を介してリアカメラ１０によって撮像された車両１の後方画像を取得する。
対象物検知部３３は、画像取得部３２が取得した後方画像に映っている特定の対象物及び特定の対象物の後方画像中の位置を検知する。特定の対象物は、予め設定されたものであり、例えば、歩行者、自転車の運転者（以下、自転車の運転者）等の人、及び移動体である。特定の対象物に関する設定は、ＥＣＵ２０のメモリに記憶されている。
画像生成部３４は、表示部５０に表示させる画像を生成する。具体的には、画像生成部３４は、対象物検知部３３の検知結果及び後方画像に基づいて、運転支援画像を生成する。また、画像生成部３４は、通信部３５を介して生成した運転支援画像を表示部５０に送信する。画像生成部３４については、後に詳細に説明する。
通信部３５は、リアカメラ１０、及び表示部５０等の車両１が備える機器とＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の車内ネットワークを介して通信可能である。
表示部５０は、車両１内に設けられたモニタである。表示部５０は、ＥＣＵ２０によって生成された運転支援画像を表示する。
次に、本発明の第１実施形態に係る表示システム２の動作について、図４、図５及び図６を参照して説明する。図４は、本発明の第１実施形態に係る画像生成装置３が行う動作を示すフローチャートを示す図である。図５及び図６は、画像生成装置３によって生成される運転支援画像の一例を示す図である。
撮像制御部３１は、車両１の運転モードが後進運転モードに設定されたか否かを判定する（ステップＡ１１）。ここで、撮像制御部３１は、トランスミッションのギアがバックギアに設定されたか否かを検知することで、車両１の運転モードが後進運転モードに設定されたか否かを判定できる。
車両１の運転モードが後進運転モードに設定されていない場合（ステップＡ１１のＮＯ）、画像生成装置３の動作は終了する。
車両１の運転モードが後進運転モードに切り替えられた場合（ステップＡ１１のＹＥＳ）、撮像制御部３１は、リアカメラ１０に撮像開始信号を送信する（ステップＡ１２）。リアカメラ１０は撮像開始信号を受信すると、車両１の後方画像の撮像を開始する。撮像された後方画像は順次ＥＣＵ２０に送信される。
次に、画像取得部３２はリアカメラ１０で撮像された後方画像を取得する（ステップＡ１３）。そして、対象物検知部３３は、メモリに記憶されている特定の対象物が後方画像に含まれているか否かを判定する（ステップＡ１４）。
後方画像に特定の対象物が含まれていない場合（ステップＡ１４のＮＯ）、画像生成部３４は、後方画像に補助線１００が重畳された画像を生成する（ステップＡ１６）。
ここで、画像生成部３４は、車両１の舵角に基づいて車両１の進行方向を推定する。次に、画像生成部３４は、その推定結果及び車両１の全幅等に基づいて後方画像中に補助線１００を重畳させる画像領域を決定する。そして、画像生成部３４は、決定した画像領域に補助線１００を重畳する。
次に、画像生成部３４は、生成された運転支援画像を表示部５０に送信する（ステップＡ１７）。ＥＣＵ２０から送信された運転支援画像は、表示部５０で表示される。ＥＣＵ２０から運転支援画像が送信された後は、ステップＡ２０に移る。
後方画像に特定の対象物が含まれている場合（ステップＡ１４のＹＥＳ）、画像生成部３４は、後方画像において補助線１００が重畳される画像領域と、特定の対象物が位置する画像領域との重複部分が後方画像に含まれているか否かを判定する（ステップＡ１５）。以下、後方画像における補助線１００が重畳される画像領域と、後方画像における特定の対象物が位置する画像領域との重複部分を「重複部分」と呼ぶ。
ここで、対象物検知部３３は、特定の対象物を検知するとともに、後方画像における特定の対象物の位置を検知する。また、画像生成部３４は、上述した方法で、補助線１００を重畳させようとする画像領域を決定する。そして、画像生成部３４は、対象物検知部３３が検知した特定の対象物が位置する画像領域と、決定した補助線１００を重畳させようとする画像領域とに基づいて、重複部分が後方画像中にあるか否を判定する。
重複部分が後方画像に含まれていない場合（ステップＡ１５のＮＯ）、画像生成部３４は、後方画像に補助線１００を重畳して運転支援画像を生成する（ステップＡ１６）。次いで、画像生成部３４は、生成した運転支援画像を表示部５０に送信する（ステップＡ１７）。ＥＣＵ２０から送信された運転支援画像は、表示部５０で表示される。
このときに表示部５０に表示される運転支援画像の一例である運転支援画像Ｐ２は図５に示されている。運転支援画像Ｐ２には、補助線１００が重畳されており、歩行者Ｗ１が映っている。なお、後方画像中に特定の対象物が含まれておらず、ステップＡ１６で生成される運転支援画像には、運転支援画像Ｐ２に含まれている歩行者Ｗ１が含まれない。
ＥＣＵ２０から運転支援画像Ｐ２が送信された後は、ステップＡ２０に移る。
重複部分が後方画像に含まれている場合（ステップＡ１５のＹＥＳ）、画像生成部３４は、後方画像に補助線１００を重畳しない運転支援画像を生成する（ステップＡ１８）。次いで、画像生成部３４は、生成した運転支援画像を表示部５０に送信する（ステップＡ１９）。その後、運転支援画像は、表示部５０に表示される。
このときに表示部５０に表示される運転支援画像の一例である運転支援画像Ｐ３は図６に示されている。図６の画像領域１００Ｒは、後方画像において補助線１００が重畳される画像領域、つまり、補助線１００が後方画像に重畳されたとした場合の画像領域を示している。図６の画像領域１００Ｒの境界である破線は、説明の都合上示されているだけであり、実際には運転支援画像Ｐ３中に表示されない。したがって、運転支援画像Ｐ３には、補助線１００が全く含まれない。
ＥＣＵ２０から運転支援画像Ｐ３が送信された後は、ステップＡ２０に移る。
ステップＡ２０において、撮像制御部３１は後進運転モードが解除されたか否か、つまり、車両１の運転モードが後進運転モードから他の運転モードに切り替えられたか否かを判定する（ステップＡ２０）。ここで、他の運転モードは、例えば、前進運転モードや停止モードである。撮像制御部３１は、ステップＡ１１で説明した方法と同様にして判定する。
後進運転モードが解除されていない場合（ステップＡ２０のＮＯ）、ステップＡ１３に移る。他方、後進運転モードが解除された場合（ステップＡ２０のＹＥＳ）、撮像制御部３１は、リアカメラ１０に撮像停止信号を送信する（ステップＡ２１）。リアカメラ１０は、撮像停止信号を受信した場合、後方画像の撮像を停止する。撮像が停止されると、画像生成装置３は、リアカメラ１０から後方画像を取得できないため、表示部５０に表示されるべき運転支援画像を表示部５０に送信することができなくなり、表示部５０での運転支援画像の表示が停止する。その後、画像生成装置３の動作は終了する。
なお、補助線１００は、必ずしも、線１０１、１０２、１０３、１０４、１０５から構成されていなくてもよい。例えば、補助線１００には、線１０４が含まれていなくてもよい。
以上説明したように、第１実施形態によれば、重複部分が後方画像に含まれている場合には、後方画像に補助線１００を重畳しない運転支援画像Ｐ３が生成される。このため、運転支援画像Ｐ３を車両１内の表示部５０に表示することで、車両１の運転者が、歩行者などの特定の対象物を認識しやすくなり、運転者は車両１の安全な後進運転を行うことができる。
一方、後方画像に重複部分が含まれていない場合には、後方画像に補助線１００が重畳されている運転支援画像（運転支援画像Ｐ２等）が生成される。このため、運転支援画像Ｐ２を車両１内の表示部５０に表示することで運転者が補助線１００を見ながら後進運転を行うことができるため、運転者は容易に後進運転することができる。
つまり、第１実施形態によれば、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる画像を生成できる。
なお、本実施形態において、補助線１００が重畳されていない運転支援画像Ｐ３を生成することに替えて、図７に示されている運転支援画像Ｐ４を生成してもよい。図７は、変形例に係る画像生成装置３によって生成される運転支援画像の一例を示す図である。
運転支援画像Ｐ４は、後方画像に半透明状態で補助線１００が重畳された画像である。補助線１００が半透明状態であれば、特定の対象物である歩行者Ｗ１及び自転車の運転者Ｄ１に重畳したとしても、車両１の運転者は、特定の対象物を認識しやすい。また、特定の対象物が位置していない画像領域では、運転者にとって半透明の補助線１００は視認可能である。したがって、重複部分が後方画像に含まれている場合、後方画像に補助線１００が半透明状態で重畳された運転支援画像を生成することでも、上述した実施形態と同様の作用効果を奏する。
（第２実施形態）
以下、図８を参照して本発明の第２実施形態を説明する。以下に説明する実施形態において、上述した第１実施形態と同一の作用効果を奏する部分には同一の符号を付することによりその部分の説明を省略し、以下の説明では第１実施形態と異なる点について主に説明する。なお、第２実施形態の表示システム２及び画像生成装置３の構成は、図３に示されている構成と同様である。
図８は、後方画像において車両１の後進運転を補助する補助線１００が重畳される画像領域と、特定の対象物が位置する画像領域とが重複する場合に、本発明の第２実施形態に係る画像生成装置３によって生成される画像の一例である。
第２実施形態では、画像生成部３４は、後方画像に重複部分が含まれている場合、線１０１～１０４が重畳され、線１０５が重畳されていない運転支援画像Ｐ５を生成する。このとき、線１０１、１０２、１０３、１０４が重畳される後方画像中の画像領域には、重複部分が含まれていない。一方、線１０５が重畳される後方画像中の画像領域には、重複部分を含む。
つまり、画像生成部３４は、後方画像に重畳したとすると特定の対象物が位置する画像領域に重畳されてしまう線のみを後方画像に重畳せずに、補助線１００の中のその他の線を後方画像に重畳する。
このため、運転支援画像Ｐ５には、線１０１、１０２、１０３、１０４が含まれる。図８の画像領域１０５Ｒは、後方画像において線１０５が重畳される画像領域、つまり、後方画像に重畳された場合に線１０５が位置する画像領域である。図８の画像領域１０５Ｒの境界を示す破線は、説明の都合上示されているだけであり、実際には運転支援画像Ｐ５中には表示されない。
第２実施形態の画像生成装置３の動作は、図４のステップＡ１８において、上述した運転支援画像Ｐ５を生成すること以外は、図４に示されている動作と同様である。
以上説明したように、第２実施形態によれば、重複部分が後方画像に含まれている場合、後方画像に重畳したとすると特定の対象物が位置する画像領域に重畳されてしまう線１０５が重畳されていない運転支援画像Ｐ５を生成する。したがって、第２実施形態においても第１実施形態と同様、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる画像を生成できる。また、運転支援画像Ｐ５を表示部５０に表示することで、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる。
更に、第２実施形態で生成される運転支援画像Ｐ５には、特定の対象物が位置する画像領域に重畳しない線１０１～１０４が含まれている。このため、線１０１～１０５すべてが重畳されていない運転支援画像Ｐ３と比べて、車両１の運転者に対してより効果的な運転支援を行うことができる画像を生成できる。
なお、画像生成部３４は、運転支援画像Ｐ５を生成することに替えて、後方画像に線１０１～１０４が重畳されており、かつ、線１０５を半透明状態にして重畳されている運転支援画像を生成してもよい。この場合においても、上述した第２実施形態と同様の作用効果を奏する。
（第３実施形態）
以下、図９を参照して本発明の第３実施形態を説明する。以下に説明する実施形態において、上述した第１実施形態と同一の作用効果を奏する部分には同一の符号を付することによりその部分の説明を省略し、以下の説明では第１実施形態と異なる点について主に説明する。なお、第３実施形態の表示システム２及び画像生成装置３の構成は、図３に示されている構成と同様である。
図９は、後方画像において車両１の後進運転を補助する補助線１００が重畳される画像領域と、特定の対象物が位置する画像領域とが重複する場合に、本発明の第３実施形態に係る画像生成装置３によって生成される運転支援画像の一例を示す図である。
第３実施形態では、画像生成部３４は、後方画像に重複部分が含まれている場合、重複部分において補助線１００が重畳されていない運転支援画像Ｐ６を生成する。
運転支援画像Ｐ６は、後方画像に線１０１、１０２、１０３、１０４が重畳され、重複部分以外の画像領域に線１０５が重畳された画像である。このため、運転支援画像Ｐ６は、あたかも、歩行者Ｗ１及び自転車の運転者Ｄ１が線１０５よりも前側に配置されているかのように見える。
第３実施形態の画像生成装置３の動作は、図４のステップＡ１８において、上述した運転支援画像Ｐ６を生成すること以外は、図４に示されている動作と同様である。
以上説明したように、第３実施形態によれば、重複部分が後方画像に含まれている場合、該重複部分において補助線が重畳されていない運転支援画像Ｐ６を生成する。したがって、第３実施形態においても第１実施形態と同様、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる画像を生成できる。また、運転支援画像Ｐ６を表示部５０に表示することで、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる。
更に、第３実施形態において生成される運転支援画像Ｐ６は、画像領域中の該重複部分以外については補助線１００が重畳されている。このため、第３実施形態においても第２実施形態と同様に、車両１の運転者に対してより効果的な運転支援を行うことができる画像を生成できる。
なお、画像生成部３４は、運転支援画像Ｐ６に替えて、重複部分において半透明状態にして補助線１００が重畳されている運転支援画像を生成してもよい。この場合においても、上述した第３実施形態と同様の作用効果を奏する。
（第４実施形態）
以下、本発明の第４実施形態を説明する。以下に説明する実施形態において、上述した第１実施形態と同一の作用効果を奏する部分には同一の符号を付することによりその部分の説明を省略し、以下の説明では第１実施形態と異なる点について主に説明する。なお、第４実施形態の表示システム２及び画像生成装置３の構成は、図３に示されている構成と同様である。
第４実施形態の対象物検知部３３は、後方画像に含まれる特定の対象物の数の増減を検知する。第４実施形態の画像生成部３４は、後方画像に含まれる特定の対象物の数の増減に応じて、画像生成モードを切り替える。画像生成モードには、第１画像生成モードと第２画像生成モードとがある。第１画像生成モードは、後方画像に重複部分が含まれている場合、後方画像に重畳したとすると特定の対象物が位置する画像領域に重畳されてしまう線のみが重畳されずに、その他の線が重畳された運転支援画像を生成する画像生成モードである。即ち、第１画像生成モードは、第２実施形態における運転支援画像Ｐ５を生成する画像生成モードである。第２画像生成モードは、後方画像に重複部分が含まれている場合に、補助線１００が重畳されていない運転支援画像を生成する画像生成モードである。即ち、第２画像生成モードは、第１実施形態における運転支援画像Ｐ３を生成する画像生成モードである。
以下、図１０、図１１及び図１２を参照して第４実施形態に係る表示システム２の動作を説明する。図１０は、本発明の第４実施形態に係る画像生成装置３が行う動作を示すフローチャートを示す図である。図１１及び図１２は、本発明の第４実施形態に係る画像生成装置３によって生成される運転支援画像の一例を示す図である。なお、図１１及び図１２において、画像領域１０１Ｒ、１０２Ｒ、１０３Ｒ、１０４Ｒ、１０５Ｒはそれぞれ、線１０１、１０２、１０３、１０４、１０５が後方画像に重畳されるとしたときの画像領域を示している。図１１における画像領域１０５Ｒの境界を示す破線は、実際の運転支援画像Ｐ７には表示されない。また、図１２における画像領域１０１Ｒ、１０２Ｒ、１０２Ｒ、１０４Ｒ、１０５Ｒの境界（画像領域１００Ｒの境界）を示す破線は、実際の運転支援画像Ｐ８には表示されない。
なお、図１０において、図４に示されているフローチャートの処理と同じ処理については、同じ参照符号が付されている。第４実施形態における画像生成装置３は、図４に破線枠で囲まれているステップＡ１８及びＡ１９に替えて、ステップＢ１１～Ｂ１９を実行する。
後方画像に特定の対象物が含まれている場合（ステップＡ１４のＹＥＳ）、画像生成部３４は、重複部分が後方画像に含まれているか否かを判定する（ステップＡ１５）。重複部分が後方画像に含まれている場合（ステップＡ１５のＹＥＳ）、画像生成部３４は、現在の画像生成モードを判定する（ステップＢ１１）。
現在の画像生成モードが第１画像生成モードである場合（ステップＢ１１のＹＥＳ）、対象物検知部３３は、後方画像に含まれる特定の対象物の数が増加したか否かを判定する（ステップＢ１２）。
なお、ステップＡ１４において、後方画像に特定の対象物が含まれていることが検知されているため、ステップＢ１２の処理が行われるときには、必ず後方画像中に少なくとも１つの特定の対象物が含まれていることになる。したがって、ステップＢ１２において、特定の対象物の数の増加とは、１以上の第１の数から第１の数よりも大きい第２の数に増加することを意味する。
後方画像に含まれている特定の対象物の数が増加していない場合（ステップＢ１２のＮＯ）、画像生成部３４は、図１１に例示されている一部の補助線が重畳された運転支援画像Ｐ７を生成する（ステップＢ１８）。ここで一部の補助線とは、補助線１００の中の後方画像に重畳したとすると特定の対象物が位置する画像領域に重畳されてしまう線（線１０５）以外の線（線１０１～１０４）のことである。運転支援画像Ｐ７が生成された後、画像生成部３４は、生成された運転支援画像を表示部５０に送信する（ステップＢ１９）。その後、ステップＡ２０に移る。
後方画像に含まれている特定の対象物の数が増加した場合（ステップＢ１２のＹＥＳ）、以下の処理が行われる。例えば、図１１に示すように、後方画像には特定の対象物として歩行者Ｗ１のみが含まれていたが、他の歩行者Ｗ２、Ｗ３、Ｗ４、Ｗ５が車両１の後方を横切ろうとして、図１２に示すように歩行者Ｗ２、Ｗ３、Ｗ４、Ｗ５が後方画像に映り込むようになったとする。
画像生成部３４は、画像生成モードを、第１画像生成モードから第２画像生成モードに切り替える（ステップＢ１３）。そして、画像生成部３４は、図１２に例示されている補助線１００が重畳されていない運転支援画像Ｐ８を生成する（ステップＢ１４）。運転支援画像Ｐ８が生成された後、画像生成部３４は、生成された運転支援画像Ｐ８を表示部５０に送信する（ステップＢ１５）。その後、ステップＡ２０に移る。
現在の画像生成モードが第２画像生成モードである場合（ステップＢ１１のＮＯ）、対象物検知部３３は、後方画像に含まれる特定の対象物の数が減少したか否かを判定する（ステップＢ１６）。
なお、ステップＡ１４において、後方画像に特定の対象物が含まれていることが検知されているため、ステップＢ１６の処理が行われるときには、必ず後方画像中に少なくとも１つの特定の対象物が含まれていることになる。したがって、ステップＢ１６において、特定の対象物の数の減少とは、２以上の数である第３の数から１以上であって第３の数よりも小さい数である第４の数に減少することを意味する。
後方画像に含まれている特定の対象物の数が減少していない場合（ステップＢ１６のＮＯ）、画像生成部３４は、図１２に例示されている補助線１００が生成されていない運転支援画像を生成する（ステップＢ１４）。そして、画像生成部３４は、生成した運転支援画像を表示部５０に送信する（ステップＢ１５）。その後、ステップＡ２０に移る。
一方、後方画像に含まれている特定の対象物の数が減少した場合（ステップＢ１６のＹＥＳ）、画像生成部３４は、画像生成モードを、第２画像生成モードから第１画像生成モードに切り替える（ステップＢ１７）。そして、画像生成部３４は、図１１に例示されている一部の補助線１００が重畳されている運転支援画像Ｐ７を生成し（ステップＢ１８）、生成した運転支援画像を表示部５０に送信する（ステップＢ１９）。その後、ステップＡ２０に移る。
以上説明したように、第４実施形態によれば、重複部分が後方画像に含まれている場合、特定の対象物が位置する画像領域に重畳されない線１０１～１０４が重畳されている運転支援画像Ｐ７又は、補助線１００が重畳されていない運転支援画像Ｐ８が生成される。したがって、第４実施形態においても第１実施形態と同様、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる画像を生成できる。また、運転支援画像Ｐ７及びＰ８を表示部５０に表示させることで、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる。
更に、第４実施形態によれば、後方画像に含まれる特定の対象物の増減に応じて画像生成モードを切り替える。このため、車両１の後方を横切る人が増えた場合には、しばらくは車両１が後進できない状態であると推測されるので、補助線１００が重畳しない画像を表示することで、運転支援を停止し、しばらくは車両１を停止することを促すことができる。他方、車両１の後方を横切る人が減少した場合には、まもなく車両１を後進できる状態になると推測できるので、一部の補助線を重畳した画像を表示することで、運転支援を開始し、車両１の運転者に車両１を発進するための準備を促すことができる。
なお、画像生成部３４は、運転支援画像Ｐ７を生成することに替えて、後方画像に線１０１～１０４が重畳されており、かつ、線１０５が半透明状態で重畳されている運転支援画像を生成してもよい。また、画像生成部３４は、運転支援画像Ｐ８を生成することに替えて、後方画像に補助線１００が半透明状態にされて重畳されている運転支援画像を生成してもよい。この場合においても、上述した第４実施形態と同様の作用効果を奏する。
（第５実施形態）
以下、図１３を参照して本発明の第５実施形態を説明する。以下に説明する実施形態において、上述した第１実施形態と同一の作用効果を奏する部分には同一の符号を付することによりその部分の説明を省略し、以下の説明では第１実施形態と異なる点について主に説明する。なお、第５実施形態の表示システム２及び画像生成装置３の構成は、図３に示されている構成と同様である。
第５実施形態では、画像生成部３４は、後方画像に重複部分が含まれている場合、図１３に例示されているような、重複部分から離れる程透明度が低くなるように補助線１００が重畳された運転支援画像Ｐ９を生成する。図１３は、本発明の第５実施形態に係る画像生成装置によって生成される運転支援画像の一例を示す図である。
運転支援画像Ｐ９において、補助線１００に含まれる線、及び線の部分の透明度は、以下に示す順に高い値となっている。
（１）線１０５
（２）線１０１の一部分である部分１０１ａ、及び線１０２の一部分である部分１０２ａ
（３）線１０４、線１０１の一部分である部分１０１ｂ、及び線１０２の一部分である部分１０２ｂ
（４）線１０３、線１０１の一部分である部分１０１ｃ、及び線１０２の一部分である部分１０２ｃ
つまり、重複部分に重畳している線１０５の透明度が最も高く、重複部分から離れるにしたがって、線の透明度は低くなり、重複部分から最も離れている線１０３、部分１０１ｃ及び部分１０２ｃの透明度が最も低い。なお、補助線１００に対する透明度の決め方は、これに限られない。例えば、上述したような線単位や線の部分単位で透明度が決定されるのではなく、同じ線又は線の部分においても、重複部分に近づくにつれて連続的に透明度が高まっていくように補助線１００の透明度が決定されてもよい。
以上説明したように、第５実施形態によれば、後方画像に重複部分が含まれている場合、重複部分に近いほど補助線１００の透明度を高くした運転支援画像Ｐ９を生成する。このため、運転支援画像Ｐ９が表示部５０に表示されたときに、車両１の運転者にとって重複部分近傍の画像領域の特定の対象物を認識することの妨げにならない。したがって、第５実施形態においても第１実施形態と同様、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる画像を生成できる。また、運転支援画像Ｐ９を表示部５０に表示することで、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる。
更に、第５実施形態によれば、運転支援画像Ｐ９は、重複部分から遠いほど補助線の透明度を低くした画像である。このため、運転支援画像Ｐ９が表示部５０に表示されたときに、重複部分から離れた画像領域において、車両１の運転者は補助線１００を認識しやすい。したがって、線１０１～１０５すべてが重畳されていない運転支援画像Ｐ３を生成する又は線１０１～１０５すべてが半透明状態で重畳された運転支援画像を生成する場合と比べて、車両１の運転者に対してより効果的な運転支援を行うことができる。
なお、第２、第３、及び第４実施形態において生成される運転支援画像Ｐ５、Ｐ６、Ｐ７に替えて、重複部分に近づくほど透明度が高くなるように補助線１００の一部が重畳された運転支援画像が生成されてもよい。
（第６実施形態）
以下、図１４を参照して本発明の第６実施形態を説明する。以下に説明する実施形態において、上述した第１実施形態と同一の作用効果を奏する部分には同一の符号を付することによりその部分の説明を省略し、以下の説明では第１実施形態と異なる点について主に説明する。
図１４は、本発明の第６実施形態に係る表示システム２の構成を示すブロック図である。第６実施形態の表示システム２は、リアカメラ６０と、表示部５０とを備える。
リアカメラ６０は、撮像部７０と画像生成装置８０とを備える。第１実施形態では、ＥＣＵ２０が画像生成装置３として機能したが、第６実施形態では、リアカメラ６０に画像生成装置８０が内蔵されている。
撮像部７０は、車両１の後方画像を撮像する。画像生成装置８０は、撮像部７０で撮像された後方画像に基づいて運転支援画像を生成し、生成した運転支援画像を表示部５０に送信する。
画像生成装置８０は、ＣＰＵと、ＲＯＭ及びＲＡＭを含むメモリを備える。ＣＰＵがＲＯＭに記憶されている制御プログラムを読みだして、ＲＡＭに展開し、展開したプログラムを実行することでＣＰＵは、撮像制御部８１、画像取得部８２、対象物検知部８３、画像生成部８４及び通信部８５として機能する。
なお、撮像制御部８１、画像取得部８２、対象物検知部８３、画像生成部８４及び通信部８５はそれぞれ、第１実施形態における、撮像制御部３１、画像取得部３２、対象物検知部３３、画像生成部３４及び通信部３５と同様の機能を有する。
以上説明したように、第６実施形態のように、リアカメラ６０内で運転支援画像が生成される場合でも第１実施形態と同様、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる。
後方画像中に重複部分が含まれる場合、少なくとも重複部分において、本発明の画像生成装置が、補助線１００が重畳されていない画像又は補助線１００が半透明状態で重畳された画像を生成することによるさらなる利点について以下、説明する。
図１５は、リアカメラ１０が車両１の設計位置に搭載された場合における、従来の画像生成装置によって生成された運転支援画像の一例を示す図である。図１５に示すようにポールＰＬ１、ＰＬ２、ＰＬ３、ＰＬ４、ＰＬ５、ＰＬ６、ＰＬ７が配置されている場所に車両１を後進運転することで車庫入れすることを想定する。
運転支援画像Ｐ１０は、リアカメラ１０で撮像された画像に補助線１００が重畳されて生成されている。リアカメラ１０は車両１の設計通りの位置に搭載されているため、補助線１００は、ポールＰＬ１～ＰＬ７に重なっていない。
しかしながら、リアカメラ１０の車両１に対する取付位置が設計位置からずれた場合、従来の画像生成装置によって生成される運転支援画像では、補助線１００がポールＰＬ１～ＰＬ７に重なることがある。
図１６は、リアカメラ１０が車両１の設計位置からずれた位置に搭載された場合における、従来の画像生成装置によって生成された運転支援画像の一例を示す図である。運転支援画像Ｐ１１では、補助線１００が左側にシフトして、ポールＰＬ２に重なっている。
即ち、リアカメラ１０が設計位置に搭載されたときには補助線１００が特定の対象物に重ならなかったとしても、リアカメラ１０の搭載位置が設計位置からずれることで、特定の対象物に補助線１００が重なってしまうことがある。特定の対象物に補助線１００が重なった画像が生成された場合、表示部５０にその画像が表示されたとしても運転者は特定の対象物を認識しにくい。
しかしながら、本発明の画像生成装置によれば、後方画像中の特定の対象物が位置する画像領域には補助線１００が重畳されていない、又は半透明状態で補助線１００が重畳された運転支援画像を生成する。このため、リアカメラ１０の搭載位置が設計位置からずれた場合であっても、運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる画像を生成できる。また、該画像を表示部に表示させることで運転者による車両１の安全な後進運転を妨げることなく、後進運転の支援を行うことができる。
＜注釈＞
その他、上記各実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
本発明は、運転者による車両の安全な後進運転を妨げることなく、後進運転の支援を行うことができる画像を生成できる画像生成装置に好適に利用される。
１ 車両
２ 表示システム
３，８０ 画像生成装置
１０，６０ リアカメラ
２０ ＥＣＵ
３１，８１ 撮像制御部
３２，８２ 画像取得部
３３，８３ 対象物検知部
３４，８４ 画像生成部
３５，８５ 通信部
５０ 表示部
７０ 撮像部
Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７，Ｐ８，Ｐ９，Ｐ１０，Ｐ１１ 運転支援画像
ＰＬ１，ＰＬ２，ＰＬ３，ＰＬ４，ＰＬ５，ＰＬ６，ＰＬ７ ポール
１００ 補助線
１０１，１０２ 車幅延長線
１０３，１０４，１０５ 後方距離目安線
１０１ａ，１０１ｂ，１０１ｃ，１０２ａ，１０２ｂ，１０２ｃ 部分
Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５ 歩行者
Ｄ１ 自転車の運転者
１００Ｒ，１０１Ｒ，１０２Ｒ，１０３Ｒ，１０４Ｒ，１０５Ｒ 画像領域

Claims (10)

  1. 車両の後方の後方画像を取得する画像取得部と、
    前記車両の後進運転を補助する補助線が重畳される画像領域と、特定の対象物が位置する画像領域との重複部分が前記後方画像に含まれている場合、少なくとも前記重複部分において、前記補助線が重畳されていない又は半透明状態で重畳された画像を生成し、前記後方画像に前記重複部分が含まれていない場合、前記後方画像に前記補助線が重畳された画像を生成する画像生成部と、を備え、
    前記補助線は複数の線から構成されており、
    前記画像生成部は、前記後方画像に前記重複部分が含まれている場合、前記補助線の中の第１の線が重畳され、かつ、前記複数の線の中の第２の線が前記後方画像に重畳されていない又は半透明状態で重畳された画像を生成し、
    前記第１の線が重畳される画像領域は、前記重複部分を含まず、
    前記第２の線が重畳される画像領域は、前記重複部分を含む、
    画像生成装置。
  2. 前記後方画像に含まれる前記特定の対象物の数の増減を検知する対象物検知部を更に備え、
    前記対象物検知部が検知した前記特定の対象物の数が、１以上の数である第１の数から前記第１の数よりも大きい第２の数に増加した場合、前記画像生成部は、前記補助線が前記後方画像に重畳されていない又は半透明状態で重畳された画像を生成する請求項１に記載の画像生成装置。
  3. 前記対象物検知部が検知した前記特定の対象物の数が、２以上の数である第３の数から１以上の数であって前記第３の数よりも小さい数である第４の数に減少した場合、前記画像生成部は、前記第１の線が重畳され、かつ、前記第２の線が前記後方画像に重畳されていない又は半透明状態で重畳された画像を生成する請求項２に記載の画像生成装置。
  4. 前記画像生成部は、前記後方画像に前記重複部分が含まれている場合、前記重複部分から離れる程透明度が低くなるように前記補助線が重畳された画像を生成する請求項１から３のいずれか一項に記載の画像生成装置。
  5. 車両の後方の後方画像を撮像する撮像部と、
    請求項１から４のいずれか一項に記載の画像生成装置と、
    を備えるカメラ。
  6. 車両の後方の後方画像を撮像する撮像部と、
    請求項１から４のいずれか一項に記載の画像生成装置と、
    前記画像生成装置によって生成された画像を表示する表示部と、
    を備える表示システム。
  7. 請求項５のカメラ又は請求項６に記載の表示システムを備える車両。
  8. 車両の後方の後方画像を取得する画像取得部と、
    前記車両の後進運転を補助する補助線が重畳される画像領域と、特定の対象物が位置する画像領域との重複部分が前記後方画像に含まれている場合、少なくとも前記重複部分において、前記補助線が重畳されていない又は半透明状態で重畳された画像を生成し、前記後方画像に前記重複部分が含まれていない場合、前記後方画像に前記補助線が重畳された画像を生成する画像生成部と、を備え、
    前記画像生成部は、前記後方画像に前記重複部分が含まれている場合、前記重複部分から離れる程透明度が低くなるように前記補助線が重畳された画像を生成する画像生成装置。
  9. 車両の後方の後方画像を取得し、
    前記車両の後進運転を補助する補助線が重畳される画像領域と、特定の対象物が位置する画像領域との重複部分が前記後方画像に含まれている場合、少なくとも前記重複部分において、前記補助線が重畳されていない又は半透明状態で重畳された画像を生成し、
    前記後方画像に前記重複部分が含まれていない場合、前記後方画像に前記補助線が重畳された画像を生成し、
    前記補助線は複数の線から構成されており、
    前記後方画像に前記重複部分が含まれている場合、前記補助線の中の第１の線が重畳され、かつ、前記複数の線の中の第２の線が前記後方画像に重畳されていない又は半透明状態で重畳された画像を生成し、
    前記第１の線が重畳される画像領域は、前記重複部分を含まず、
    前記第２の線が重畳される画像領域は、前記重複部分を含む、
    画像生成方法。
  10. 車両の後方の後方画像を取得し、
    前記車両の後進運転を補助する補助線が重畳される画像領域と、特定の対象物が位置する画像領域との重複部分が前記後方画像に含まれている場合、少なくとも前記重複部分において、前記補助線が重畳されていない又は半透明状態で重畳された画像を生成し、
    前記後方画像に前記重複部分が含まれていない場合、前記後方画像に前記補助線が重畳された画像を生成し、
    前記後方画像に前記重複部分が含まれている場合、前記重複部分から離れる程透明度が低くなるように前記補助線が重畳された画像を生成する、
    画像生成方法。
JP2019056211A 2019-03-25 2019-03-25 画像生成装置、カメラ、表示システム、車両及び画像生成方法 Active JP7209189B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019056211A JP7209189B2 (ja) 2019-03-25 2019-03-25 画像生成装置、カメラ、表示システム、車両及び画像生成方法
PCT/JP2019/048100 WO2020194893A1 (ja) 2019-03-25 2019-12-09 画像生成装置、カメラ、表示システム及び車両
CN201980094556.2A CN113615165B (zh) 2019-03-25 2019-12-09 图像生成装置、摄像机、显示系统以及车辆
DE112019006909.8T DE112019006909T5 (de) 2019-03-25 2019-12-09 Bilderzeugungsvorrichtung, Kamera, Anzeigesystem und Fahrzeug
US17/479,627 US11820300B2 (en) 2019-03-25 2021-09-20 Image generation device, camera, display system, and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019056211A JP7209189B2 (ja) 2019-03-25 2019-03-25 画像生成装置、カメラ、表示システム、車両及び画像生成方法

Publications (2)

Publication Number Publication Date
JP2020161866A JP2020161866A (ja) 2020-10-01
JP7209189B2 true JP7209189B2 (ja) 2023-01-20

Family

ID=72608783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019056211A Active JP7209189B2 (ja) 2019-03-25 2019-03-25 画像生成装置、カメラ、表示システム、車両及び画像生成方法

Country Status (5)

Country Link
US (1) US11820300B2 (ja)
JP (1) JP7209189B2 (ja)
CN (1) CN113615165B (ja)
DE (1) DE112019006909T5 (ja)
WO (1) WO2020194893A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758505A (zh) * 2023-06-26 2023-09-15 珠海视熙科技有限公司 一种倒车辅助线的构建方法、装置、介质及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007043530A (ja) 2005-08-04 2007-02-15 Nissan Motor Co Ltd 運転支援装置、および運転支援方法
JP2010016805A (ja) 2008-06-04 2010-01-21 Sanyo Electric Co Ltd 画像処理装置、運転支援システム、及び画像処理方法
JP2010136289A (ja) 2008-12-08 2010-06-17 Denso It Laboratory Inc 運転支援装置及び運転支援方法
JP2012096585A (ja) 2010-10-29 2012-05-24 Suzuki Motor Corp 駐車支援装置
JP2018056982A (ja) 2016-09-26 2018-04-05 株式会社Ｊｖｃケンウッド 表示制御装置、表示制御方法及びプログラム
JP2018098567A (ja) 2016-12-09 2018-06-21 京セラ株式会社 撮像装置、画像処理装置、表示システム、および車両

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4151137B2 (ja) * 1998-12-16 2008-09-17 株式会社豊田自動織機 車両における障害物検出装置及び車両
JP2005132170A (ja) 2003-10-29 2005-05-26 Mitsubishi Motors Corp 駐車支援装置
JP5636609B2 (ja) * 2008-05-08 2014-12-10 アイシン精機株式会社 車両周辺表示装置
JP5071743B2 (ja) * 2010-01-19 2012-11-14 アイシン精機株式会社 車両周辺監視装置
CN102452372A (zh) * 2010-10-27 2012-05-16 西安众智惠泽光电科技有限公司 倒车测距报警系统
JP2012147285A (ja) 2011-01-13 2012-08-02 Alpine Electronics Inc バックモニタ装置
KR20120106033A (ko) * 2011-03-17 2012-09-26 현대모비스 주식회사 차량 정보를 이용한 후진 주행 궤적선 제공 장치 및 그 방법
JP2016175549A (ja) * 2015-03-20 2016-10-06 株式会社デンソー 安全確認支援装置、安全確認支援方法
CN105128745A (zh) * 2015-09-21 2015-12-09 浙江吉利汽车研究院有限公司 一种倒车动态轨迹线的实现方法和实现装置
JP6774605B2 (ja) * 2017-03-14 2020-10-28 株式会社Ｊｖｃケンウッド 表示制御装置、表示装置、表示制御方法及びプログラム
EP3554062B1 (en) * 2016-12-09 2022-12-14 Kyocera Corporation Imaging apparatus
JP6940066B2 (ja) 2017-09-20 2021-09-22 株式会社ウエノシステック 人工芝構造体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007043530A (ja) 2005-08-04 2007-02-15 Nissan Motor Co Ltd 運転支援装置、および運転支援方法
JP2010016805A (ja) 2008-06-04 2010-01-21 Sanyo Electric Co Ltd 画像処理装置、運転支援システム、及び画像処理方法
JP2010136289A (ja) 2008-12-08 2010-06-17 Denso It Laboratory Inc 運転支援装置及び運転支援方法
JP2012096585A (ja) 2010-10-29 2012-05-24 Suzuki Motor Corp 駐車支援装置
JP2018056982A (ja) 2016-09-26 2018-04-05 株式会社Ｊｖｃケンウッド 表示制御装置、表示制御方法及びプログラム
JP2018098567A (ja) 2016-12-09 2018-06-21 京セラ株式会社 撮像装置、画像処理装置、表示システム、および車両

Also Published As

Publication number Publication date
CN113615165A (zh) 2021-11-05
US11820300B2 (en) 2023-11-21
CN113615165B (zh) 2024-01-19
US20220001813A1 (en) 2022-01-06
DE112019006909T5 (de) 2021-12-02
WO2020194893A1 (ja) 2020-10-01
JP2020161866A (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
US8340870B2 (en) Vehicle maneuver assistance device
JP4573242B2 (ja) 運転支援装置
JP5744352B2 (ja) 車両周辺表示装置
JP6193714B2 (ja) 駐車支援装置
JP6086368B2 (ja) 駐車支援装置
JP6014433B2 (ja) 画像処理装置、画像処理方法、及び、画像処理システム
JP5904093B2 (ja) 車載画像生成装置
JP2015027852A (ja) 運転支援装置
JP2012034076A (ja) 車両用視覚補助システム及び該システムを備える車両
JP2008049889A (ja) 駐車支援装置
JP6774938B2 (ja) 駐車支援システム及び駐車支援装置
JP2009065483A (ja) 駐車支援装置
JP2011065520A (ja) 運転支援装置
JP2009284386A (ja) 車両用駐車支援装置
JP2010264945A (ja) 駐車支援装置、駐車支援方法及び駐車支援プログラム
JP7209189B2 (ja) 画像生成装置、カメラ、表示システム、車両及び画像生成方法
JP2007249814A (ja) 画像処理装置及び画像処理プログラム
CN107534757B (zh) 车辆用显示装置以及车辆用显示方法
JP2020011668A (ja) 駐車支援装置、及び駐車支援装置の制御方法
JP2005132170A (ja) 駐車支援装置
JP2007329611A (ja) 車両周辺監視装置、車両周辺監視システム、および車両周辺監視方法
JP2012147285A (ja) バックモニタ装置
WO2019026246A1 (ja) 車両周辺画像表示装置および車両周辺画像表示方法
JP2007235842A (ja) 車載画像表示システム
JP2009118133A (ja) 車両後方画像表示方法及び装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191021

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221221

R151 Written notification of patent or utility model registration

Ref document number: 7209189

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03