JP7204506B2

JP7204506B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP7204506B2
Application number: JP2019016336A
Authority: JP
Inventors: 克弘安田; 欣孫
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2019-01-31
Filing date: 2019-01-31
Publication date: 2023-01-16
Anticipated expiration: 2039-01-31
Also published as: JP2020123283A

Description

本発明は、画像処理装置及び画像処理方法に関する。

車両の後退時に、車両に搭載されたリアカメラによって生成された後方撮影画像を用いて生成された合成画像を車室内のディスプレイに表示する技術が知られている。この技術は、車室内のディスプレイに表示される合成画像が定期的に更新されることが求められる。

特許文献１に開示された画像処理装置は、車室内のディスプレイに表示された合成画像が更新されない場合、合成画像の代わりにリアカメラによって生成された後方撮影画像をディスプレイに表示させる。具体的には、この画像処理装置は、マルチメディア用マイクロコンピュータと、映像デコーダと、を備える。マイクロコンピュータは、後方撮影画像の上にガイド線が描かれた合成画像を生成し、生成した合成画像を映像デコーダに出力する。映像デコーダは、マイクロコンピュータによって出力される合成画像が定期的に更新されている場合、その合成画像をディスプレイに表示させる。映像デコーダは、その合成画像が定期的に更新されていない場合、ディスプレイに表示させる画像を、その合成画像から後方撮影画像に切り換える。

しかし、映像デコーダは、マイクロコンピュータから出力された合成画像が定期的に更新されたか否かを判断するためだけに、マイクロコンピュータを別途搭載しなければならない。このため、特許文献１に開示された画像処理装置は、コストを低減するのが難しいという問題があった。

特開２０１７－０８１４４５号公報

本発明の目的は、コストを低減することができる画像処理装置及び画像処理方法を提供することである。

（第１の発明）
第１の発明は、移動体に搭載されたカメラによって撮影された第１画像を用いた合成画像を生成する画像処理装置であって、前記合成画像を生成する合成処理と、前記合成画像に関連する処理とは異なる第１所定処理を実行する第１プロセッサコアと、前記第１画像とは異なる第２画像を生成する処理と、前記第２画像に関連する処理とは異なる第２所定処理を実行する第２プロセッサコアと、を備え、前記合成処理は、前記第２プロセッサコアによって生成された前記第２画像が所定の時間間隔で更新された場合には前記第２画像を前記第１画像の上に重なるように配置するとともに前記第２画像の画素のうち画素値が初期値である画素の透過率を１００％とし、その他の画素の透過率を０％として前記合成画像を生成し、前記第２画像が前記所定の時間間隔で更新されなかった場合には前記第１画像を前記第２画像の上に重なるように配置するとともに前記第１画像の画素の透過率を０％として前記合成画像を生成する処理である。

第１の発明において、第１所定処理を行う第１プロセッサコアが第１画像と第２画像とを合成して合成画像を生成し、第２所定処理を行う第２プロセッサコアが第２画像を生成する。このため、第１の発明では、第２画像が所定の時間間隔で更新されているか否かの検知という画像関連処理のみを行うためだけに、別途マイクロコンピュータを設ける必要がない。したがって、第１の発明は、コストを低減することができる。

また、第２画像が更新されない場合、第１プロセッサコアは、第１画像と第２画像との位置関係を変更して合成画像を生成する。この結果、第１プロセッサコアは、負荷を増加させることなく、合成画像において第２画像を目立たなくすることができる。

（第２の発明）
第２の発明に係る画像処理装置において、前記第１プロセッサコアは、前記合成処理を実行する前に、前記第２画像が前記所定の時間間隔で更新されたか否かを判断する。

第２の発明は、合成画像を生成する前に、過去に生成された第２画像が前記所定の時間間隔で更新されたか否かを判断する。このため、第２の発明は、第２画像が所定の時間間隔で更新されなかった場合に、迅速に、合成画像の生成に用いる画像の上下を変更できる。

（第３の発明）
第３の発明に係る画像処理装置において、前記合成画像は、前記第２画像が所定の時間間隔で更新された場合には、前記第２画像と共に前記第１画像の少なくとも一部も視認可能であるように生成され、前記第２画像が前記所定の時間間隔で更新されなかった場合には、前記第２画像が視認されないように生成される。

第３の発明において、合成画像は、第２画像を上にして合成画像を生成した場合、合成画像において第１画像と第２画像の両方が見えるように生成される。また、第３の発明において、合成画像は、第１画像を上にして合成画像を生成した場合、合成画像において第２画像が見えないように生成される。このため、第３の発明は、第２画像が所定の時間間隔で更新されなかった場合においても、少なくとも第１画像を視認させることができる。

（第４の発明）
第４の発明は、移動体に搭載されたカメラによって撮影された第１画像を用いた合成画像を生成する画像処理装置であって、前記合成画像を生成する合成処理と、前記合成画像に関連する処理とは異なる第１所定処理を実行する第１プロセッサコアと、前記第１画像とは異なる第２画像を生成する処理と、前記第２画像に関連する処理とは異なる第２所定処理を実行する第２プロセッサコアと、を備え、前記第１プロセッサコアは、前記第２プロセッサコアの負荷が所定の負荷量を超えた場合には前記第１画像を前記第２画像の上に重なるように配置して前記合成画像を生成し、前記第２プロセッサコアの負荷が所定の負荷量以下である場合には前記第２画像を前記第１画像の上に重なるように配置して前記合成画像を生成する。

第４の発明において、第１プロセッサコアは、第２プロセッサコアの負荷が所定の値を超えたか否かによって第２画像が定期的に更新されたか否かを判断する。したがって、第４の発明は、第２画像が更新されたか否かを判断する処理を簡略化できるので、第１プロセッサコアの負荷を軽減できる。

第４の発明において、第１プロセッサコアは、合成画像が定期的に更新されていないと判断した後に、合成画像が定期的に更新されていると判断すると、第２画像を第１画像の上に重なるように配置して合成画像を生成する状態に復帰することができる。第４の発明は、自ら元の状態に復帰できるので、長期間の運用を行うことができる。

（第５の発明）
第５の発明に係る画像処理装置において、前記第１プロセッサコアでは、リアルタイムオペレーティングシステムが動作し、前記第２プロセッサコアでは、汎用オペレーティングシステムが動作する。

第５の発明において、第１プロセッサコアでは、リアルタイムオペレーティングシステムが動作する。このため、第１プロセッサコアは、所定の時間内に画像合成を行うことができる。また、第２プロセッサコアでは、汎用オペレーティングシステムが動作する。このため、第２プロセッサコアでは、第２画像の生成のような複雑な処理を行うことができる。

（第６の発明）
第６の発明は、第１プロセッサコアと第２プロセッサコアとを備える画像処理装置を用いて、移動体に搭載されたカメラによって撮影された第１画像を用いた合成画像を生成する画像処理方法であって、前記第１プロセッサコアに、前記合成画像を生成する合成処理と、前記合成画像に関連する処理とは異なる第１所定処理を実行させる第１工程と、前記第２プロセッサコアに、前記第１画像とは異なる第２画像を生成する処理と、前記第２画像に関連する処理とは異なる第２所定処理を実行させる第２工程と、を備え、前記合成処理は、前記第２プロセッサコアによって生成された前記第２画像が所定の時間間隔で更新された場合には前記第２画像を前記第１画像の上に重なるように配置するとともに前記第２画像の画素のうち画素値が初期値である画素の透過率を１００％とし、その他の画素の透過率を０％として前記合成画像を生成し、前記第２画像が前記所定の時間間隔で更新されなかった場合には前記第１画像を前記第２画像の上に重なるように配置するとともに前記第１画像の画素の透過率を０％として前記合成画像を生成する処理である。

第６の発明において、第１所定処理を行う第１プロセッサコアが第１画像と第２画像とを合成して合成画像を生成し、第２所定処理を行う第２プロセッサコアが第２画像を生成する。このため、第１の発明では、第２画像が所定の時間間隔で更新されているか否かの検知という画像関連処理のみを行うためだけに、別途マイクロコンピュータを設ける必要がない。したがって、第１の発明は、コストを低減することができる。

本発明は、コストを低減することができる画像処理装置及び画像処理方法を提供することができる。

本発明の実施形態に係る画像処理装置の構成を示す機能ブロック図である。図１に示す第１プロセッサコアと、第２プロセッサコアの構成を示す機能ブロック図である。画像処理装置の動作の概略を説明する図である。カメラによって生成されるフレームの一例を示す図である。ガイド線画像生成部より生成されるガイド線画像の一例を示す図である。ＨＭＩ画像生成部により生成されるＨＭＩ画像の一例を示す図である。確認領域と、固着検知に用いられる画素との位置関係の一例を示す図である。ガイド線画像の固着が検知されていない場合におけるフレーム、ガイド線画像及びＨＭＩ画像の配置順序を示す図である。固着が検知されない場合における合成画像の一例を示す図である。ガイド線画像の固着が検知された場合におけるフレーム、ガイド線画像及びＨＭＩ画像の配置順序を示す図である。固着が検知された場合における合成画像の一例を示す図である。第１プロセッサコア及び第２プロセッサコアの動作を示す図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、本発明は、以下に示す実施形態に限定されるものではない。また、これらの実施の例は例示に過ぎず、本発明は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のもの、又は相当するものを示すものとする。

（実施形態）
図１に本発明の実施形態に係る画像処理装置の構成を示す機能ブロック図を示す。図１に示す画像処理装置２０は、車両１の後退時において、カメラ１１により生成された車両１の後方画像と、車両１の車幅等を示すガイド線画像とが重畳された合成画像を生成する。ディスプレイ３１は、画像処理装置２０によって生成された合成画像を表示する。これにより、車両１の運転者は、車両１の後退時における車両１の進行方向を予測できる。

カメラ１１は、車両１の後方に搭載されたリアカメラである。カメラ１１は、車両１の後方が撮影された動画像１１Ａを生成する。動画像１１Ａは、複数のフレーム２１１Ａを有する。動画像１１Ａのフレームレートは、例えば、３０ｆｐｓ（ｆｒａｍｅｓｐｅｒｓｅｃｏｎｄ）である。

舵角検出部１２は、車両１に備わるステアリングホイールの操舵角を検知し、検知した操舵角を車両１に備わる操舵輪の実舵角１２Ａに変換する。舵角検出部１２は、実舵角１２Ａを出力する。

ディスプレイ３１は、画像処理装置２０によって生成された合成画像２１２Ａを取得する。ディスプレイ３１は、取得した合成画像２１２Ａを表示する。ディスプレイ３１は、例えば、車両１に搭載されたカーナビゲーション・システムに備わる液晶ディスプレイである。

画像処理装置２０は、第１プロセッサコア２１と、第２プロセッサコア２２と、を備える。第１プロセッサコア２１上では、リアルタイムオペレーティングシステムが動作する。第２プロセッサコア２２上では、Ｌｉｎｕｘ（登録商標）等の汎用オペレーティングシステムが動作する。

第１プロセッサコア２１は、カメラ１１によって生成された動画像１１Ａを取得する。具体的には、第１プロセッサコア２１は、カメラ１１がフレーム２１１Ａを生成するたびにその生成されたフレーム２１１Ａを取得する。第１プロセッサコアは、フレーム２１１Ａを取得すると、その取得したフレーム２１１Ａを第２プロセッサコア２２に出力する。フレーム２１１Ａは、本発明の第１画像に相当する。

第２プロセッサコア２２は、舵角検出部１２から取得した実舵角１２Ａを用いて、ガイド線画像２２１Ａを生成する。ガイド線画像２２１Ａは、車両１の後退時における車幅や予想進路を示すガイド線を有する。ガイド線画像２２１Ａは、本発明の第２画像に相当する。ガイド線画像２２１Ａについては、後述する。第２プロセッサコア２２は、ガイド線画像２２１Ａに関連する処理とは異なる第２所定処理を実行する。

第１プロセッサコア２１は、合成画像２１２Ａを生成する合成処理を実行する前に、ガイド線画像２２１Ａが所定の時間間隔で更新されているか否かを判断する。第１プロセッサコア２１は、ガイド線画像２２１Ａが所定の時間間隔で更新されていると判断した場合、ガイド線画像２２１Ａを、動画像１１Ａの所定の時刻におけるフレーム２１１Ａの上に重なるように配置して合成画像を生成する。第１プロセッサコア２１は、ガイド線画像２２１Ａが所定の時間間隔で更新されていないと判断した場合、動画像１１Ａの所定の時刻におけるフレーム２１１Ａを、ガイド線画像２２１Ａの上に重なるように配置して合成画像２１２Ａを生成する。第１プロセッサコア２１は、第１画像であるフレーム２１１Ａに関連する処理とは異なる第１所定処理を実行する。

図２に、第１プロセッサコア２１と、第２プロセッサコア２２との構成を示す機能ブロック図を示す。第１プロセッサコア２１は、フレーム抽出部２１１と、画像合成部２１２と、出力部２１３と、固着検知部２１４と、第１所定処理部２１５とを備える。

フレーム抽出部２１１は、カメラ１１によって生成された動画像１１Ａを取得する。フレーム抽出部２１１は、取得した動画像１１Ａから、所定の時刻におけるフレーム２１１Ａを抽出する。

画像合成部２１２は、フレーム抽出部２１１によって抽出された所定の時刻におけるフレーム２１１Ａを取得する。画像合成部２１２は、第２プロセッサコア２２によって生成されたガイド線画像２２１Ａ及びＨＭＩ画像２２２Ａを取得する。画像合成部２１２は、所定の時刻におけるフレーム２１１Ａと、ガイド線画像２２１Ａ及びＨＭＩ画像２２２Ａとを合成して、合成画像２１２Ａを生成する。画像合成部２１２は、取得した画像を合成する際に、例えば、アルファブレンドを用いる。

出力部２１３は、画像合成部２１２によって合成された合成画像２１２Ａを取得する。出力部２１３は、取得した合成画像２１２Ａをディスプレイ３１に表示可能な形式に変換する。出力部２１３は、変換後の合成画像２１２Ａを、ディスプレイ３１に出力する。

固着検知部２１４は、第２プロセッサコア２２によって生成されたガイド線画像２２１Ａが、所定の時間間隔で更新されているか否かを確認する。以後、画像が所定の時間間隔で更新されていないことを、画像が固着しているということがある。また、以後、画像が固着しているか否かを検知することを、画像の固着検知ということがある。画像の固着検知については、後述する。

第１所定処理部２１５は、合成画像２１２Ａに関連する処理とは異なる第１所定処理を実行する。第１所定処理は、第１プロセッサコア２１によって行われる処理のうち、合成画像２１２Ａに関連する処理とは異なる処理である。第１所定処理は、例えば、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）関連の処理である。

第２プロセッサコア２２は、ガイド線画像生成部２２１と、ＨＭＩ画像生成部２２２と、第２所定処理部２２３と、を備える。

ガイド線画像生成部２２１は、フレーム抽出部２１１によって抽出された所定の時刻におけるフレーム２１１Ａを取得する。ガイド線画像生成部２２１は、フレーム２１１Ａを用いて、ガイド線画像２２１Ａを生成する。ガイド線画像２２１Ａは、フレーム２１１Ａに対応するフレーム又は静止画像である。

ＨＭＩ（ＨｕｍａｎＭａｃｈｉｎｅＩｎｔｅｒｆａｃｅ）画像生成部２２２は、ＨＭＩ画像２２２Ａを生成する。ＨＭＩ画像２２２Ａは、フレーム又は静止画像である。ＨＭＩ画像は、例えば、車両１の運転者に向けたメッセージを含む画像である。

第２所定処理部２２３は、第２画像であるガイド線画像２２１Ａに関連する処理とは異なる第２所定処理を実行する。つまり、第２所定処理は、第２プロセッサコア２２によって行われる処理のうち、ガイド線画像２２１Ａに関連する処理とは異なる処理である。第２所定処理は、例えば、ＨＭＩ画像２２２Ａに関する処理や、音楽等のＡＶ（Ａｕｄｉｏ－Ｖｉｓｕａｌ）関連処理である。

［動作概略］
図３は、画像処理装置２０の動作の概略を説明する図である。以下、図３を参照しながら、車両１が駐車場内で後退して駐車する場合を例にして、画像処理装置２０の動作概略を説明する。

第１プロセッサコア２１において、フレーム取得部２１１は、カメラ１１によって時刻Ｔ１に生成されたフレーム２１１Ａを取得する。図３に示すように、時刻Ｔ１に生成されたフレーム２１１Ａは、駐車場に描かれた白線６１を含む。

第２プロセッサコア２２において、ガイド線画像生成部２２１は、時刻Ｔ１における実舵角１２Ａを舵角検出部１２から取得する。ガイド線画像生成部２２１は、取得した時刻Ｔ１における実舵角１２Ａに基づいて、時刻Ｔ１におけるガイド線画像２２１Ａを生成する。図３に示すように、時刻Ｔ１におけるガイド線画像２２１Ａは、車幅及び車両後端からの距離を示すガイド線６２を含む。ＨＭＩ画像生成部２２２は、ＨＭＩ画像２２２Ａを生成する。図３に示すように、ＨＭＩ画像２２２Ａは、フレームが生成される各時刻において共通であり、例えば、車両１の運転者に注意喚起を促すメッセージ６３を含む。

第１プロセッサコア２１において、固着検知部２１４は、時刻Ｔ１に生成されたガイド線画像２２１Ａが、時刻Ｔ２に生成されたガイド線画像２２１Ａ（図示省略）から更新されたか否かを判断する。時刻Ｔ２は、時刻Ｔ１よりも前の時刻であり、時刻Ｔ１の直前にフレーム２１１Ａが生成された時刻である。時刻Ｔ１から時刻Ｔ２までの時間は、フレーム間隔に相当する。

固着検知部２１４が、ガイド線画像２２１Ａが更新されていると判断した場合、画像合成部２１２は、ＨＭＩ画像２２２Ａ及び時刻Ｔ１に生成されたガイド線画像２２１Ａを、時刻Ｔ１に生成されたフレーム２１１Ａの上に重なるように配置して合成画像を生成する。この場合、合成画像は、白線６１、ガイド線６２及びメッセージ６３を含む。

固着検知部２１４が、ガイド線画像２２１Ａが固着したと判断した場合、画像合成部２１２は、時刻Ｔ１に生成されたフレーム２１１Ａを、ＨＭＩ画像２２２Ａ及び時刻Ｔ１に生成されたガイド線画像２２１Ａの上に重なるように配置して合成画像２１２Ａを生成する。フレーム２１１Ａの各画素の透過率が０％に設定されるため、合成画像２１２Ａは、ガイド線６２及びメッセージ６３を含まない。つまり、ガイド線画像２２１Ａが固着した場合、時刻Ｔ１に生成されたフレーム２１１Ａのみがディスプレイ３１に表示される。

第１プロセッサコア２１は、合成画像の生成及び固着検出と並行して第１所定処理を実行する。画像処理装置２０は、固着検出のみに用いられるマイクロコンピュータを備えなくてもよい。従って、画像処理装置２０のコストを低減できる。

［動作詳細］
＜フレームの取得＞
カメラ１１は、予め設定されたフレーム間隔でフレーム２１１Ａを生成する。第１プロセッサコアにおいて、フレーム取得部２１１は、カメラ１１がフレーム２１１Ａを生成するたびに、生成されたフレーム２１１Ａを取得する。フレーム取得部２１１は、取得したフレーム２１１Ａを画像合成部２１２に出力する。

図４は、カメラ１１によって生成されるフレーム２１１Ａの一例を示す図である。図４に示すフレーム２１１Ａは、時刻Ｔ１に生成され、駐車場に描かれた白線６１を含む。図４に示すフレーム２１１Ａは、図３に示すフレーム２１１Ａと同じである。

＜ガイド線画像の生成＞
時刻Ｔ１に生成されたフレーム２１１Ａがフレーム取得部２１１によって取得された場合、ガイド線画像生成部２２１は、時刻Ｔ１における車両１の実舵角に基づいてガイド線画像２２１Ａを生成する。上述の「時刻Ｔ１に生成されたガイド線画像２２１Ａ」は、時刻Ｔ１における車両１に備わる操舵輪の実舵角に基づいて生成されるガイド線画像２２１Ａのことである。

ガイド線画像生成部２２１は、車両に備わる操舵輪の実舵角１２Ａを舵角検出部１２から取得する。ガイド線画像生成部２２１は、取得した実舵角１２Ａに基づいて、時刻Ｔ１における実舵角１２Ａに基づくガイド線画像２２１Ａを生成する。なお、ガイド線画像２２１Ａの生成は周知の技術であるため、その詳細な説明を省略する。

図５は、ガイド線画像生成部２２１より生成されるガイド線画像２２１Ａの一例を示す図である。図５に示すガイド線画像２２１Ａは、図３に示すガイド線画像２２１Ａの拡大図である。

図５を参照する。図５において、ガイド線画像２２１Ａは、フレーム２１１Ａと同じサイズを有する静止画像である。ガイド線画像２２１Ａの画素のうち、ガイド線６２が描画される画素は、例えば、ガイド線を示す黄色を示すＲＧＢ値を画素値として有する。ガイド線画像２２１Ａの画素のうち、ガイド線６２が描画されない画素の画素値は、初期値のままである。初期値は、例えば、白を示すＲＧＢ値（２５５、２５５、２５５）である。

＜ＨＭＩ画像の生成＞
ＨＭＩ画像生成部２２２は、図示しない車両１のシフトレバーから出力されるシフト位置情報がリバースを示す場合、ＨＭＩ画像２２２Ａを生成する。ＨＭＩ画像２２２Ａは、各フレームに共通であり、時間の経過に応じて変化しない。従って、ＨＭＩ画像生成部２２２は、フレーム２１１Ａがフレーム取得部２１１によって取得されるたびに、ＨＭＩ画像２２２Ａを生成しなくてもよい。

図６は、ＨＭＩ画像生成部２２２により生成されるＨＭＩ画像２２２Ａの一例を示すメッセージである。図６を参照して、ＨＭＩ画像２２２Ａは、車両１の運転者に注意喚起を促すメッセージ６３を含む。ＨＭＩ画像２２２Ａにおいて、メッセージ６３が描画される領域の画素は、初期値と異なるＲＧＢ値を有する。メッセージ６３が配置されない領域の画素値は、初期値のままである。

＜固着検知＞
固着検知部２１４は、時刻Ｔ１に生成されたフレーム２１１Ａを用いた合成画像２１２Ａの生成を開始する前に、時刻Ｔ１に生成されたガイド線画像２２１Ａが固着しているか否かを判断する。

具体的には、固着検知部２１４は、時刻Ｔ１に生成されたガイド線画像２２１Ａを時刻Ｔ２に生成されたガイド線画像２２１Ａと比較する。固着検知部２１４は、比較結果に基づいて、ガイド線画像２２１Ａが固着しているか否かを判断する。以下、固着検出部２１４が、時刻Ｔ１に生成されたガイド線画像２２１Ａが固着しているか否かを判断する例を説明する。

図５を参照する。固着検知部２１４は、時刻Ｔ１に生成されたガイド線画像２２１Ａに確認領域７１を設定する。確認領域７１は、ガイド線６２がガイド線画像２２１Ａにおいて描画される最大領域であり、固着検知部２１４に予め設定されている。なお、確認領域７１は、フレーム２１１Ａの生成時刻において変化することはなく、一定である。

図７は、確認領域７１と、固着検知に用いられる画素Ｐ１１～Ｐ１９との位置関係の一例を示す図である。図７に示すように、固着検知部２１４は、時刻Ｔ１に生成されたガイド線画像２２１Ａにおいて設定された確認領域７１内の画素の中から、固着検知に用いる画素Ｐ１１～Ｐ１９を選択する。同様に、固着検知部２１４は、時刻Ｔ２に生成されたガイド線画像２２１Ａから固着検知に用いる画素Ｐ１１～Ｐ１９を選択する。

固着検知部２１４は、時刻Ｔ１における選択画素と、時刻Ｔ２における選択画素との差分絶対値和を算出する。時刻Ｔ１における選択画素とは、時刻Ｔ１に生成されたガイド線画像２２１Ａから選択された画素Ｐ１１～Ｐ１９である。時刻Ｔ２における選択画素とは、時刻Ｔ２に生成されたガイド線画像２２１Ａから選択された画素Ｐ１１～Ｐ１９である。

固着検知部２１４は、その算出した差分絶対値和を、予め設定された固着基準値と比較する。算出した差分絶対値和が固着基準値よりも大きい場合、固着検知部２１４は、時刻Ｔ１に生成されたガイド線画像２２１Ａが固着していないと判断する。この場合、固着検知部２１４は、後述する連続該当数を０に初期化する。

算出した差分絶対値和が基準値よりも大きい場合、固着検知部２１４は、連続該当数をインクリメントする。連続該当数とは、算出した差分絶対値和が基準値以下であるフレームが連続した回数である。固着検知部２１４は、連続該当数が予め設定された連続基準値よりも大きい場合、ガイド線画像２２１Ａが固着していると判断する。

＜合成画像の生成＞
（固着が検知されていない場合）
図８は、ガイド線画像２２１Ａの固着が検知されていない場合におけるフレーム２１１Ａ、ガイド線画像２２１Ａ及びＨＭＩ画像２２２Ａの配置順序を示す図である。図８に示すフレーム２１１Ａ、ガイド線画像２２１Ａ及びＨＭＩ画像２２２Ａは、図３に示すフレーム２１１Ａ、ガイド線画像２２１Ａ及びＨＭＩ画像２２２Ａと同じである。

以下、図８を参照しながら、固着が検知されていない場合における成画像の生成を説明する。

固着検知部２１４によってガイド線画像２２１Ａが固着していないと判断された場合、画像合成部２１２は、図８に示すように、時刻Ｔ１に生成されたガイド線画像２２１Ａを、時刻Ｔ１に生成されたフレーム２１２Ａの上に配置する。画像合成部２１２は、ＨＭＩ画像２２２Ａを、時刻Ｔ１に生成されたガイド線画像２２１Ａの上に配置する。画像合成部２１２は、図８に示すように配置されたフレーム２１１Ａと、ガイド線画像２２１Ａと、ＨＭＩ画像２２２Ａとを合成して、合成画像２１２Ａを生成する。合成画像２１２Ａの生成には、例えば、アルファブレンドが用いられる。

固着が検知されていない場合、画像合成部２１２は、画像合成の前に、ガイド線画像２２１Ａ及びＨＭＩ画像２２２Ａの透過率を調整する。具体的には、画像合成部２１２は、ガイド線画像２２１Ａの画素のうち、画素値が初期値のままである画素の透過率を１００％に設定し、その他の画素の透過率を０％に設定する。画像合成部２１２は、ＨＭＩ画像２２２Ａの画素のうち、画素値が初期値のままである画素の透過率を１００％に設定し、その他の画素の透過率を０％に設定する。

図９は、固着が検知されない場合における合成画像２１２Ａの一例を示す図である。図９を参照して、固着が検知されない場合は、合成画像２１２Ａは、白線６１と、ガイド線６２と、メッセージ６３とを含む。透過率が調整されたガイド線画像２２１Ａ及びＨＭＩ画像２２２Ａが、時刻Ｔ１に生成されたフレーム２１１Ａの上に配置されているためである。車両１の運転者は、ディスプレイ３１に表示された合成画像２１２Ａを参照して、車両１の後方の様子や、車両１の予測進路等を容易に把握できる。

（固着が検知された場合）
図１０は、ガイド線画像２２１Ａの固着が検知された場合におけるフレーム２１１Ａ、ガイド線画像２２１Ａ及びＨＭＩ画像２２２Ａの配置順序を示す図である。図１０に示すフレーム２１１Ａ、ガイド線画像２２１Ａ及びＨＭＩ画像２２２Ａは、図３に示すフレーム２１１Ａ、ガイド線画像２２１Ａ及びＨＭＩ画像２２２Ａと同じである。

図９を参照しながら、固着が検知された場合における合成画像の生成を説明する。固着検知部２１４が、ガイド線画像２２１Ａが固着していると判断した場合、画像合成部２１２は、フレーム２１１Ａの全画素の透過率を０％に設定する。画像合成部２１２は、図１０に示すように、ＨＭＩ画像２２２Ａを、時刻Ｔ１に生成されたガイド線画像２２１Ａの上に配置する。画像合成部２１２は、時刻Ｔ１に生成されたフレーム２１１Ａを、時刻Ｔ１に生成されたガイド線画像２２１Ａの上に配置する。画像合成部２１２は、上述のように配置されたフレーム２１１Ａと、ガイド線画像２２１Ａと、ＨＭＩ画像２２２Ａとを合成して、合成画像２１２Ａを生成する。

図１１は、固着が検知された場合における合成画像２１２Ａの一例を示す図である。図１１を参照して、固着が検知されない場合は、合成画像２１２Ａは、時刻Ｔ１に生成されたフレーム２１１Ａと同じとなる。フレーム２１１Ａの透過率が０％に設定され、フレーム２１１Ａがガイド線画像２２１Ａ及びＨＭＩ画像２２２Ａの上に配置されているためである。

ガイド線画像２２１Ａが固着した場合、ガイド線６２は、車両１の移動やステアリングホイールの操作に応じて変化しない。しかし、本実施形態に係る画像処理装置２０は、フレーム２１１Ａが車両１の後退に伴って変化するにも関わらず、ガイド線６２が固定された状態を解消することができる。この結果、画像処理装置２０は、固着したガイド線６２が表示される続けることにより発生する車両１の運転者の違和感を抑制できる。

ガイド線画像２２１Ａが固着した場合、第１プロセッサコア２１は、フレーム２１１Ａと、ガイド線画像２２１Ａと、ＨＭＩ画像２２２Ａとの位置関係を変更するだけで、合成画像の内容を変更できる。ガイド線画像２２１Ａは、第２プロセッサコアの負荷が急激に増加する等して固着した場合であっても、第１プロセッサコア２１は、第２プロセッサコアの負荷の変化に影響を受けることなく、合成画像の生成を継続できる。

＜フローチャート＞
図１２は、第１プロセッサコア２１及び第２プロセッサコア２２の動作を示す図である。第１プロセッサコア２１は、図１２に示す処理と並行して、第１所定処理を実行し、第２プロセッサコア２２は、図１２に示す処理と並行して、第２所定処理を実行する。

第１プロセッサコア２１及び第２プロセッサコア２２は、車両１の図示しないシフトレバーがリバースの位置に移動した場合、図１２に示す処理を開始する。

第２プロセッサコア２２は、ＨＭＩ画像２２２Ａを生成する（ステップＳ２０１）。第２プロセッサコア２２は、生成したＨＭＩ画像２２２Ａを第１プロセッサコア２１に出力する。その後、第２プロセッサコア２２は、フレーム取得時刻の通知を受けるまで待機する。

第１プロセッサコア２１は、カメラ１１によって生成されたフレーム２１２Ａを取得する（ステップＳ１０１）。第１プロセッサコア２１は、ステップＳ１０１においてフレーム２１１Ａを取得した時刻を第２プロセッサコア２２に通知する。その後、第１プロセッサコア２１は、ガイド線画像２２１Ａを第２プロセッサコア２２から受けるまで待機する。

第２プロセッサコア２２は、フレーム取得時刻の通知を受けた場合、フレーム取得時刻における車両１の実舵角１２Ａに基づいて、ガイド線画像２２１Ａを生成する（ステップＳ２０２）。第２プロセッサコア２２は、ステップＳ２０１で生成したガイド線画像２２１Ａを第１プロセッサコア２１に出力する（ステップＳ２０３）。

第２プロセッサコア２２は、シフトレバーのリバースが解除されたか否かを判断する（ステップＳ２０４）。リバースが解除されていない場合（ステップＳ２０４においてＮｏ）、第２プロセッサコア２２は、フレーム取得時刻を第１プロセッサコア２１から受けるまで待機する。リバースが解除された場合（ステップＳ２０４においてＹｅｓ）、第２プロセッサコア２２は、図１２に示す処理を終了する。

第１プロセッサコア２１は、ガイド線画像２２１Ａを第２プロセッサコア２２から受けた場合、その受けたガイド線画像２２１Ａの固着を検知する（ステップＳ１０３）。ガイド線画像２２１Ａの固着が検知されなかった場合（ステップＳ１０４においてＹｅｓ）、第１プロセッサコア２１は、ガイド線画像２２１Ａ及びＨＭＩ画像２２２Ａをフレーム２１１Ａの上に重なるように配置して合成画像２１２Ａを生成する（ステップＳ１０５）。固着が検知された場合（ステップＳ１０４においてＮｏ）、第１プロセッサコア２１は、フレーム２１１Ａをガイド線画像２２１Ａ及びＨＭＩ画像２２２Ａの上に重なるように配置して合成画像２１２Ａを生成する（ステップＳ１０６）。

第１プロセッサコア２１は、シフトレバーのリバースが解除されたか否かを判断する（ステップＳ１０７）。リバースが解除されていない場合（ステップＳ１０７においてＮｏ）、第１プロセッサコア２１は、次のフレームを取得するために、ステップＳ１０１に戻る。リバースが解除された場合（ステップＳ１０７においてＹｅｓ）、第１プロセッサコア２１は、図１２に示す処理を終了する。

本実施形態において、第１所定処理を行う第１プロセッサコア２１が第１画像と第２画像とを合成して合成画像を生成し、第２所定処理を行う第２プロセッサコア２２が第２画像を生成する。このため、本実施形態では、第２画像が所定の時間間隔で更新されているか否かの検知という画像関連処理のみを行うためだけに、別途マイクロコンピュータを設ける必要がない。したがって、本実施形態は、コストを低減することができる。

また、本実施形態において、第２画像が更新されない場合、第１プロセッサコア２１は、第１画像と第２画像との位置関係を変更して合成画像を生成する。この結果、本実施形態において、第１プロセッサコア２１は、負荷を増加させることなく、合成画像において第２画像を目立たなくすることができる。

本実施形態は、合成画像を生成する前に、過去に生成された第２画像が前記所定の時間間隔で更新されたか否かを判断する。このため、本実施形態は、第２画像が所定の時間間隔で更新されなかった場合に、迅速に、合成画像の生成に用いる画像の上下を変更できる。

本実施形態において、合成画像は、第２画像を上にして合成画像を生成した場合、合成画像において第１画像と第２画像の両方が見えるように生成される。また、本実施形態において、合成画像は、第１画像を上にして合成画像を生成した場合、合成画像において第２画像が見えないように生成される。このため、本実施形態は、第２画像が所定の時間間隔で更新されなかった場合においても、少なくとも第１画像を視認させることができる。

本実施形態において、第１プロセッサコア２１は、第２プロセッサコア２２の負荷が所定の値を超えたか否かによって第２画像が定期的に更新されたか否かを判断する。したがって、本実施形態は、第２画像が更新されたか否かを判断する処理を簡略化できるので、第１プロセッサコア２１の負荷を軽減できる。

（変形例１）
上記実施形態では、第１プロセッサコア２１は、図１２に示す処理の実行中に第１所定処理を実行する例を説明したが、本発明はこれに限定されない。本変形例では、第１プロセッサコア２１は、図１２に示す処理と、第１所定処理とを実行可能であればよい。同様に、本変形例では、第２プロセッサコア２２は、図１２に示す処理と、第２所定処理とを実行可能であればよい。

（変形例２）
上記実施形態では、固着検知部２１４が、ガイド線画像２２１Ａの画素値を用いてガイド線画像２２１Ａの固着を検知する例を説明したが、本発明はこれに限定されない。本変形例では、第１プロセッサコア２１は、第２プロセッサコア２２の負荷量に基づいて、ガイド線画像２２１Ａの固着を検知してもよい。これにより、ガイド線画像２２１Ａが固着したか否かを判断する処理を簡略化できる。

第２プロセッサコア２２は、第１プロセッサコア２１に第２プロセッサコア２２の負荷量を定期的に通知する。第２プロセッサコア２２の負荷量は、例えば、第２プロセッサコア２２の使用率である。第１プロセッサコア２１は、第２プロセッサコア２２の負荷量が所定の負荷量を超えている期間が所定の時間以上継続した場合には、ガイド線画像２２１Ａが固着していると判断する。所定の負荷量は、例えば、使用率が８０％である。

第１プロセッサコア２１は、ガイド線画像２２１Ａが固着したと判断した後においても、第２プロセッサコア２２の負荷量をモニタする。第２プロセッサコア２２の負荷量が所定の負荷量を超えている期間が上記の所定時間を下回った場合、第１プロセッサコア２１は、ガイド線画像２２１Ａの固着が解消されたと判断すればよい。

本変形例において、第１プロセッサコア２１は、合成画像が定期的に更新されていないと判断した後に、合成画像が定期的に更新されていると判断すると、第２画像を第１画像の上に重なるように配置して合成画像を生成する状態に復帰することができる。本変形例は、自ら元の状態に復帰できるので、長期間の運用を行うことができる。

（変形例３）
上記実施形態では、固着検知部２１４は、ガイド線画像２２１Ａの固着検知の際に９個の画素情報を用いる例を説明したが、本発明はこれに限定されない。本変形例では、固着検知部２１４は、任意の数の画素を用いてガイド線画像２２１Ａの固着を検知する。例えば、固着検知部２１４は、確認領域７１内の全画素を用いてガイド線画像２２１Ａの固着検知を行ってもよい。また、固着検知部２１４は、ガイド線画像２２１Ａが有する全画素を用いてガイド線画像２２１Ａの固着を検知してもよい。

（変形例４）
上記実施形態では、画像処理装置２０は、合成画像２１２Ａを生成する前にガイド線画像２２１Ａの固着検知を行う例を説明したが、本発明はこれに限定されない。本変形例では、画像処理装置２０は、画像合成部２１２から出力された合成画像２１２Ａ又は出力部２１３から出力された合成画像２１２Ａの固着検知を行う。さらに、本変形例では、固着検知を行う際の対象となる合成画像２１２Ａを、画像処理装置２０とは別に設けられたメモリ（不図示）に格納し、そのメモリ内のデータを確認することで、固着検知を行ってもよい。本変形例で用いるメモリは、例えば、ＤＤＲＳＤＲＡＭ（Ｄｏｕｂｌｅ－Ｄａｔａ－ＲａｔｅＳｙｎｃｈｒｏｎｏｕｓＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）である。本変形例では、合成画像２１２Ａを用いて固着検知を行うので、車両１が直進後退する場合等のガイド線画像２２１Ａが変化しにくい場合に、誤って固着していると判断することを防止できる。

（変形例５）
上記実施形態では、ガイド線画像２２１Ａの固着を検知する例を説明したが、本発明はこれに限定されない。本変形例では、第１プロセッサコア２１は、第２プロセッサコア２２の負荷量に基づいて、第２プロセッサコア２２が実行中の一部の処理を一時的に停止させる。例えば、第１プロセッサコア２１は、第２プロセッサコア２２の負荷量が所定の値を超えると、第２プロセッサコア２２が実行中の処理のうち、ガイド線画像２２１Ａに関連する処理以外の処理を一時的に停止させる。本変形例では、ガイド線画像２２１Ａに関連する処理以外の処理を一時的に停止させるので、ガイド線画像２２１Ａの固着を防止することができる。

（変形例６）
上記実施形態では、舵角検出部１２から取得した実舵角に基づいてガイド線画像２２１Ａを生成する例を説明したが、本発明はこれに限定されない。本変形例では、ガイド線画像生成部２２１は、フレーム取得部２１１から取得したフレーム２１１Ａの時間経過に伴う変化に基づいてガイド線画像２２１Ａを生成する。具体的には、ガイド線画像生成部２２１は、フレーム２１１Ａの時間経過に伴う変化から動きベクトルを求め、求めた動きベクトルから車両１の実舵角を求める。ガイド線画像生成部２２１は、求めた実舵角に基づいて、ガイド線画像２２１Ａを生成する。

（変形例７）
上記実施形態では、アルファブレンドを用いて合成画像２１２Ａを生成する例を説明したが、本発明はこれに限定されない。本変形例では、画像合成部２１２は、クロマキー合成により、合成画像２１２Ａを生成する。

本変形例では、例えば、ガイド線画像２２１Ａの画素のうち、画素値が初期値である画素を透明にする。また、ＨＭＩ画像２２２Ａの画素のうち、画素値が初期値である画素を透明にする。その後、画像合成部２１２は、合成画像２１２Ａを生成する。

固着が検知されない場合において、画像合成部２１２は、図８のように画像を重なるように配置して合成画像２１２Ａを生成する。固着が検知されない場合における合成画像２１２Ａは、図９に示す画像である。固着が検知された場合において、画像合成部２１２は、図１０のように画像を重なるように配置して合成画像２１２Ａを生成する。固着が検知された場合における合成画像２１２Ａは、図１１に示す画像である。

（変形例８）
上記実施形態では、フレーム２１１Ａと、ガイド線画像２２１Ａと、ＨＭＩ画像２２２Ａと、を用いて合成画像２１２Ａを生成する例を説明したが、本発明はこれに限定されない。本変形例では、合成画像２１２Ａを生成する際に、ガイド線画像２２１Ａと、ＨＭＩ画像２２２Ａと、を用いなくてもよい。つまり、本変形例では、フレーム２１１Ａをもちいて合成画像２１２Ａを生成する。したがって、合成画像２１２Ａは、フレーム２１１Ａと同じ画像となる。

以上、本発明の実施形態を説明したが、上述した実施形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。

１：車両
１１：カメラ
１２：舵角検出部
２０：画像処理装置
２１：第１プロセッサコア
２１１：フレーム抽出部
２１２：画像合成部
２１３：出力部
２１４：固着検知部
２１５：第１所定処理部
２２：第２プロセッサコア
２２１：ガイド線画像生成部
２２２：ＨＭＩ画像生成部
２２３：第２所定処理部
３１：ディスプレイ

Claims

移動体に搭載されたカメラによって撮影された第１画像を用いた合成画像を生成する画像処理装置であって、
前記合成画像を生成する合成処理と、前記合成画像に関連する処理とは異なる第１所定処理を実行する第１プロセッサコアと、
前記第１画像とは異なる第２画像を生成する処理と、前記第２画像に関連する処理とは異なる第２所定処理を実行する第２プロセッサコアと、
を備え、
前記合成処理は、前記第２プロセッサコアによって生成された前記第２画像が所定の時間間隔で更新された場合には前記第２画像を前記第１画像の上に重なるように配置するとともに前記第２画像の画素のうち画素値が初期値である画素の透過率を１００％とし、その他の画素の透過率を０％として前記合成画像を生成し、前記第２画像が前記所定の時間間隔で更新されなかった場合には前記第１画像を前記第２画像の上に重なるように配置するとともに前記第１画像の画素の透過率を０％として前記合成画像を生成する処理である、
画像処理装置。
前記第１プロセッサコアは、前記合成処理を実行する前に、前記第２画像が前記所定の時間間隔で更新されたか否かを判断する、
請求項１に記載の画像処理装置。
前記合成画像は、前記第２画像が所定の時間間隔で更新された場合には、前記第２画像と共に前記第１画像の少なくとも一部も視認可能であるように生成され、前記第２画像が前記所定の時間間隔で更新されなかった場合には、前記第２画像が視認されないように生成される、
請求項１又は２に記載の画像処理装置。
移動体に搭載されたカメラによって撮影された第１画像を用いた合成画像を生成する画像処理装置であって、
前記合成画像を生成する合成処理と、前記合成画像に関連する処理とは異なる第１所定処理を実行する第１プロセッサコアと、
前記第１画像とは異なる第２画像を生成する処理と、前記第２画像に関連する処理とは異なる第２所定処理を実行する第２プロセッサコアと、
を備え、
前記第１プロセッサコアは、前記第２プロセッサコアの負荷が所定の負荷量を超えた場合には前記第１画像を前記第２画像の上に重なるように配置して前記合成画像を生成し、前記第２プロセッサコアの負荷が所定の負荷量以下である場合には前記第２画像を前記第１画像の上に重なるように配置して前記合成画像を生成する、
画像処理装置。
前記第１プロセッサコアでは、リアルタイムオペレーティングシステムが動作し、
前記第２プロセッサコアでは、汎用オペレーティングシステムが動作する、
請求項１から４のいずれかに記載の画像処理装置。
第１プロセッサコアと第２プロセッサコアとを備える画像処理装置を用いて、移動体に搭載されたカメラによって撮影された第１画像を用いた合成画像を生成する画像処理方法であって、
前記第１プロセッサコアに、前記合成画像を生成する合成処理と、前記合成画像に関連する処理とは異なる第１所定処理を実行させる第１工程と、
前記第２プロセッサコアに、前記第１画像とは異なる第２画像を生成する処理と、前記第２画像に関連する処理とは異なる第２所定処理を実行させる第２工程と、
を備え、
前記合成処理は、前記第２プロセッサコアによって生成された前記第２画像が所定の時間間隔で更新された場合には前記第２画像を前記第１画像の上に重なるように配置するとともに前記第２画像の画素のうち画素値が初期値である画素の透過率を１００％とし、その他の画素の透過率を０％として前記合成画像を生成し、前記第２画像が前記所定の時間間隔で更新されなかった場合には前記第１画像を前記第２画像の上に重なるように配置するとともに前記第１画像の画素の透過率を０％として前記合成画像を生成する処理である、
画像処理方法。
第１プロセッサコアと第２プロセッサコアとを備える画像処理装置を用いて、移動体に搭載されたカメラによって撮影された第１画像を用いた合成画像を生成する画像処理方法であって、
前記第１プロセッサコアに、前記合成画像を生成する合成処理と、前記合成画像に関連する処理とは異なる第１所定処理を実行させる第１工程と、
前記第２プロセッサコアに、前記第１画像とは異なる第２画像を生成する処理と、前記第２画像に関連する処理とは異なる第２所定処理を実行させる第２工程と、
を備え、
前記第１工程は、前記第２プロセッサコアの負荷が所定の負荷量を超えた場合には前記第１画像を前記第２画像の上に重なるように配置して前記合成画像を生成し、前記第２プロセッサコアの負荷が所定の負荷量以下である場合には前記第２画像を前記第１画像の上に重なるように配置して前記合成画像を生成する、
画像処理方法。
第１プロセッサコアと第２プロセッサコアを備え、
前記第１プロセッサコアは、前記第２プロセッサコアの負荷が所定の負荷量を超えていない場合には、移動体に搭載されたカメラで撮影された第１画像に、前記第２プロセッサコアで生成された第２画像が重畳された画像を生成し、前記第２プロセッサコアの負荷が所定の負荷量を超えている場合には前記第１画像に、前記第２画像が重畳されていない画像を生成する、
画像処理装置。
第１プロセッサコアと第２プロセッサコアを備える画像処理装置が実行する画像処理方法であって、
前記第１プロセッサコアが、前記第２プロセッサコアの負荷が所定の負荷量を超えていない場合には、移動体に搭載されたカメラで撮影された第１画像に、前記第２プロセッサコアで生成された第２画像が重畳された画像を生成し、前記第２プロセッサコアの負荷が所定の負荷量を超えている場合には前記第１画像に、前記第２画像が重畳されていない画像を生成する、
画像処理方法。