JP6893322B2 - 画像生成システム、画像表示システム、画像生成方法、画像生成プログラム、及び移動体 - Google Patents

Description

本開示は、画像生成システム、画像表示システム、画像生成方法、画像生成プログラム、及び移動体に関する。より詳細には、本開示は、入力された画像データを加工して画像データを生成する画像生成システム、画像表示システム、画像生成方法、画像生成プログラム、及び移動体に関する。

従来、複数のカメラで撮影することで得られた画像データをもとに全周囲の画像（俯瞰画像）を生成し、この画像を表示装置に表示する全周囲映像システムがあった（例えば特許文献１参照）。

この全周囲映像システムは、複数のカメラから入力される画像データをもとに全周囲の画像を生成して表示装置に表示するプロセッサを有している。

プロセッサは、複数の画像処理モジュールと、中央処理装置とを備えている。複数の画像処理モジュールの各々は、複数のカメラのうち対応するカメラから入力された画像について、魚眼レンズに起因する歪みを補正する処理を行い、歪み補正後の画像を半導体メモリに書き込む。複数の画像処理モジュールの各々は、ディスプレイリストを格納するためのディスプレイリストバッファを備え、ディスプレイリストバッファに格納されたディスプレイリストに従って歪み補正を行う。複数の画像処理モジュールにおいて１画面分の画像データが得られたら、ディスプレイリストにおけるＴＲＡＰ命令が実行され、中央処理装置に対する割り込みが発生する。中央処理装置では、割り込みに対応する所定の割り込み処理を実行し、歪み補正処理後の画像データを半導体メモリから読み出して、歪み補正処理後の画像データから全周囲の画像データを生成し、表示装置に表示する。

特開２０１２−９５０７５号公報

上述の全周囲映像システムでは、複数の画像表示モジュールにおいて１画面分の画像データが得られたら、複数の画像表示モジュールが中央処理装置に対する割り込みを発生する。そして、中央処理装置は、複数の画像表示モジュールから割り込みを受けると、所定の割り込み処理を実行するのであるが、中央処理装置への割り込みによる待ち合わせが発生すると、処理速度が低下するという問題があった。

本開示の目的は、処理速度の低下を抑制可能な画像生成システム、画像表示システム、画像生成方法、画像生成プログラム、及び移動体を提供することにある。

本開示の一態様の画像生成システムは、取得部と、第１処理部と、第２処理部と、を備える。前記取得部は、第１画像データを取得する。前記第１処理部は、前記取得部が取得した前記第１画像データに対して所定の加工処理を実行して第２画像データを生成する。前記第２処理部は、前記第２画像データに対して認識処理を実行する。前記第１処理部と前記第２処理部とは、プロセッサからの命令によらずに、前記加工処理と前記認識処理とを含む一連の処理を同期して実行する。前記第１処理部が、前記一連の処理が設定された所定の設定情報に従って前記加工処理を実行し、前記第２処理部が前記設定情報に従って前記認識処理を実行する。

本開示の一態様の画像表示システムは、前記画像生成システムと、前記画像生成システムで生成された画像を表示する表示部と、を備える。

本開示の一態様の画像生成方法は、第１画像データを取得するステップと、前記第１画像データに対して所定の加工処理を実行して第２画像データを生成するステップと、前記第２画像データに対して認識処理を実行するステップと、を含む。前記画像生成方法は、プロセッサからの命令によらずに、前記加工処理と前記認識処理とを含む一連の処理を同期して実行する。前記画像生成方法は、前記一連の処理が設定された所定の設定情報に従って前記加工処理を実行し、前記設定情報に従って前記認識処理を実行する。

本開示の一態様の画像生成プログラムは、コンピュータシステムに前記画像生成方法を実行させるためのプログラムである。

本開示の一態様の移動体は、前記画像表示システムと、前記画像表示システムを搭載する移動体本体と、を備える。

本開示によれば、処理速度の低下を抑制可能な画像生成システム、画像表示システム、画像生成方法、画像生成プログラム、及び移動体を提供することができる。

図１は、本開示の一実施形態に係る画像生成システムを備える画像表示システムのブロック図である。 図２は、同上の画像表示システムを備える移動体の概略説明図である。 図３は、同上の画像表示システムを備える移動体の運転席に座った利用者の前方視界を説明する説明図である。 図４Ａ〜図４Ｃは、同上の画像表示システムに入力されるカメラの画像を説明する説明図である。図４Ｄは、同上の画像表示システムによって表示される合成画像の説明図である。 図５は、同上の画像生成システムが備える動作制御部の動作を示すフローチャートである。 図６は、同上の画像表示システムが備える動作設定部の動作を示すフローチャートである。 図７は、同上の画像表示システムが備えるプレグラフィックス処理部の動作を示すフローチャートである。 図８は、同上の画像表示システムが備える検索部の動作を示すフローチャートである。 図９は、同上の画像表示システムが備えるマッチング部の動作を示すフローチャートである。 図１０は、同上の画像表示システムが備えるポストグラフィックス処理部の動作を示すフローチャートである。

（実施形態）
（１）概要
本実施形態に係る画像生成システム２の概要について、図１を参照して説明する。

本実施形態の画像生成システム２は、第１画像データに所定処理を実行して第２画像データを生成し、生成した第２画像データに対して認識処理を実行する。

画像生成システム２は、取得部４０と、第１処理部５０と、第２処理部６０と、を備える。取得部４０は第１画像データを取得する。第１処理部５０は、取得部４０が取得した第１画像データに対して所定の加工処理を実行して第２画像データを生成する。第２処理部６０は、第２画像データに対して認識処理を実行する。第１処理部５０と第２処理部６０とは、プロセッサ（ソフト処理部１０）からの命令によらずに、同期して処理を実行する。

本実施形態に係る画像表示システム１は、画像生成システム２と、画像生成システム２で生成された画像を表示する表示部３と、を備える。

また、本実施形態に係る移動体１００（図２参照）は、画像表示システム１と、画像表示システム１を搭載する本体（移動体本体）１０１と、を備える。

プロセッサが、第１処理部５０に加工処理を実行させた後に第１処理部５０からの完了信号を受け付けると、第２処理部６０に認識処理を実行させる場合は、プロセッサで完了信号の待ち受けを行う必要があり、プロセッサの処理速度が低下する可能性がある。本実施形態の画像生成システム２では、第１処理部５０と第２処理部６０とが、プロセッサ（後述のソフト処理部１０）からの命令によらずに同期して処理を実行する。したがって、プロセッサにおいて第１処理部５０から加工処理の完了信号が入力されるのを待ち受ける必要がなく、プロセッサの処理速度の低下を抑制できる、という利点がある。

ここにおいて、取得部４０は、例えばディジタルビデオカメラのようなカメラ４が定期又は不定期に撮影することで、カメラ４によって取り込まれる複数の画像フレームで表される第１画像データを、カメラ４から取得する。第１画像データによって表される複数の画像フレームを以下では第１群の画像フレームともいう。カメラ４は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charged Coupled Devices）イメージセンサ等の撮像素子を有している。カメラ４は、定期又は不定期に対象範囲を撮影して得た第１画像データを出力する。尚、取得部４０は、カメラ４から第１画像データを取得するものに限定されず、外部記憶装置又はデータベースに蓄積された第１画像データを外部記憶装置又はデータベースから取得してもよい。外部記憶装置としては、ハードディスクドライブ（HDD:Hard Disk Drive）、ソリッドステートドライブ（SSD:Solid State Drive）、フラッシュメモリ等がある。また、取得部４０は、放送局から電波で送信された第１画像データを受信するものでもよいし、通信ネットワークを通じて送信された第１画像データを受信するものでもよい。

また、「所定の加工処理」とは、例えば、カメラ４が広角レンズを備えている場合にカメラ４で撮影することで得られた第１画像データから、画像の歪みを補正する補正処理である。なお、所定の加工処理は、画像の歪みを補正する処理に限定されない。所定の加工処理は、第１画像データの画像の歪み、変形、明るさ、コントラスト、色調、サイズのうち少なくとも１つを補正する処理でもよい。

第２処理部６０が第２画像データに対して行う認識処理とは、例えば、第２画像データから特徴量を検索し、検索された特徴量に基づいて第２画像データから物体（人・車等の移動物体、建物・樹木等の静止物体等）を認識する処理である。ここにおいて、特徴量とは、例えば、各画素の特徴（濃度、輝度、色等）を数値化したもの、又は隣接する画素の集合である「領域」の特徴（領域に含まれる複数画素の濃度、輝度、色等）を数値化したものである。また、第２処理部６０では、第２画像データから検索された特徴量に基づいて特徴点を求めてもよい。特徴点は特徴を有する画像上の点であり、特徴点は１つの画素に限らず、隣接する画素の集合（領域）であってもよい。第２処理部６０は、第２画像データから検索された特徴量に基づいて画像内の物体を認識してもよいし、第２画像データによって表される複数の画像フレームからそれぞれ検索された特徴量に基づいて、複数の画像フレームに存在する同一の物体を認識してもよい。以下では、第２画像データによって表される複数の画像フレームを第２群の画像フレームともいう。

（２）詳細
以下、本実施形態に係る画像生成システム２、及び画像生成システム２を備える画像表示システム１について図１〜３を参照して説明する。

本実施形態の画像表示システム１は、図２に示すような自動車（移動体）１００に適用される。本実施形態の画像表示システム１は、自動車１００の本体（移動体本体）１０１に設けられて本体１０１の外側（例えば後方）を撮影するカメラ４の映像を、本体１０１の内側（つまり車室の内部）に配置された表示部３（図２及び図３参照）に表示する電子ミラーシステムである。尚、以下の説明では、図２において「上」、「下」、「前」、「後」の矢印で示す通りに各方向を規定する。また、上下方向、及び前後方向とそれぞれ直交する方向を左右方向と規定する。ただし、これらの方向は画像表示システム１の設置方向を規定する趣旨ではない。また、図面中の各方向を示す矢印は説明のために表記しているに過ぎず、実体を伴わない。

本実施形態では、自動車１００の本体１０１の後方をそれぞれ撮影する複数（例えば３台）のカメラ４が本体１０１に設けられている。図４Ａ〜図４Ｃに、３台のカメラ４でそれぞれ撮影することによって得られた画像フレームＧ１，Ｇ２，Ｇ３を示す。画像フレームＧ１は、例えば自動車１００の左側に設けられたカメラ４が本体１０１の左後方を撮影することで得られた画像フレームである。画像フレームＧ２は、例えば本体１０１の後部において左右方向の中央に設けられたカメラ４が本体１０１の後方を撮影することで得られた画像フレームである。画像フレームＧ３は、例えば自動車１００の右側に設けられたカメラ４が本体１０１の右後方を撮影することで得られた画像フレームである。尚、本実施形態ではカメラ４の台数が３台であるが、カメラ４の台数は３台に限定されず、２台でもよいし、４台以上でもよい。

ここにおいて、画像フレームＧ２に写る領域と画像フレームＧ１に写る領域とが部分的に重複し、画像フレームＧ２に写る領域と画像フレームＧ３に写る領域とが部分的に重複するように、３台のカメラ４が本体１０１に配置されている。本実施形態の画像生成システム２では、３台のカメラ４の画像フレームＧ１，Ｇ２，Ｇ３の画像データを合成し、３つの画像フレームＧ１，Ｇ２，Ｇ３を繋ぎ合わせた広角の合成画像Ｇ４（図４Ｄ参照）の画像データを生成する。そして、画像表示システム１は、画像生成システム２によって生成された合成画像Ｇ４を表示部３に表示させている。したがって、自動車１００のユーザ２００（例えば、運転者等）は、表示部３に表示された合成画像Ｇ４を基に、本体１０１の後方の状況を広い範囲で確認することができる。

（２．１）構成
（２．１．１）画像生成システム
本実施形態の画像生成システム２の構成を図１〜図３に基づいて説明する。

画像生成システム２は、ソフト処理部１０と、ハード処理部２０とを備える。

ソフト処理部１０は、例えば、プロセッサおよびメモリを有するマイクロコンピュータで構成されている。つまり、ソフト処理部１０は、プロセッサおよびメモリを有するコンピュータシステムで実現されている。そして、プロセッサが所定のプログラム（画像生成プログラムを含む）を実行することにより、コンピュータシステムがソフト処理部１０として機能する。プログラムは、メモリに予め記録されていてもよいし、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。

ソフト処理部１０は、ハード処理部２０の動作を制御する動作制御部１１の機能を備える。動作制御部１１は、ハード処理部２０（つまり、第１処理部５０及び第２処理部６０）の処理内容に関する設定情報をハード処理部２０に設定する機能を有する。具体的には、動作制御部１１は、設定情報としてハード処理部２０に実行させる一連のコマンドのリストであるディプレイリストを生成する。動作制御部１１は、生成したディスプレイリストを、ソフト処理部１０とハード処理部２０とがともにアクセス可能なメモリに書き込む。つまり、動作制御部１１が、設定情報を生成する設定情報生成部として機能する。設定情報生成部としての動作制御部１１は、初期設定時及び設定時に、上位ソフトウェアの要求を、ハード処理部２０のリソースに合わせて動作最適化（例えば、パイプライン処理のための処理順序の変更等）を行ったディスプレイリストを生成する。したがって、システム全体の動作を高速化できる。

また、動作制御部１１は、ハード処理部２０に動作を開始させる起動トリガを与える機能を有している。

ハード処理部２０は、ハードウェア（例えば表示部３及びカメラ４等）を制御するデバイスドライバと、ＡＰＩ（Application Programming Interface）とを含む。ＡＰＩは、デバイスドライバと、ソフト処理部１０によって処理される上位ソフトウェアとの間のインターフェースである。

ハード処理部２０は、動作設定部３０、取得部４０、第１処理部５０、及び第２処理部６０の機能を備える。

動作設定部３０は、ソフト処理部１０の動作制御部１１から、第１処理部５０及び第２処理部６０の処理内容に関する設定情報を取得する。本実施形態では、動作設定部３０は、設定情報であるディスプレイリストを記憶するメモリから、ディスプレイリストを読み込むことによって、動作制御部１１から設定情報を取得する。動作設定部３０は、ディスプレイリストを読み込むと、ディスプレイリストをデコードし、第１処理部５０及び第２処理部６０が実行する一連のコマンドを取得する。つまり、動作設定部３０が、設定情報を受け付けると、設定情報を第１処理部５０と第２処理部６０とに出力するデコード部の機能を有する。

また、動作設定部３０は、動作制御部１１からトリガ信号が入力されると、第１処理部５０及び第２処理部６０にトリガ信号を出力して、第１処理部５０及び第２処理部６０に設定情報によって設定された一連の処理を開始させる。

本実施形態では、動作設定部３０が、メモリから読み込んだディスプレイリスト（設定情報）をデコードすることによって、第１処理部５０及び第２処理部６０の処理内容を取得し、取得した処理内容を第１処理部５０及び第２処理部６０に出力する。そして、動作設定部３０が第１処理部５０及び第２処理部６０に処理内容を設定した後に、動作設定部３０が動作制御部１１から起動トリガを受け付けると、第１処理部５０及び第２処理部６０に処理内容に応じた処理を開始させている。第１処理部５０は、動作設定部３０が取得した設定情報に従って、取得部４０が取得した第１画像データに対して所定の加工処理を行って第２画像データを生成する。また、第２処理部６０は、動作設定部３０が取得した設定情報に従って、第２画像データに対して認識処理を行う。つまり、３台のカメラ４から１フレーム分の第１画像データが入力されるごとに、第１処理部５０及び第２処理部６０は設定された一連のコマンドに基づいて所定の処理を実行する。したがって、ソフト処理部１０（プロセッサ）は、動作設定部３０に対して起動トリガを与えればよく、第１処理部５０及び第２処理部６０に所定の処理を実行させるための命令をその都度与える必要がない。ソフト処理部１０（プロセッサ）が第１処理部５０から完了信号の待ち受けを行う必要はなく、ソフト処理部１０（プロセッサ）の処理速度の低下を抑制できるという利点がある。

取得部４０は、カメラ４で撮影することで得られた第１画像データを取得する。本実施形態では、本体１０１の後方を撮影する３台のカメラ４が本体１０１に設けられている。取得部４０は、例えば移動体１００に設けられた車内ネットワークを介して３台のカメラ４と通信する機能を有している。３台のカメラ４は定期又は不定期に本体１０１の後方を撮影しており、取得部４０は、３台のカメラ４の各々から第１画像データを車内ネットワークを介して取得する。本実施形態の取得部４０は第１画像データによって表される複数の画像フレーム（すなわち、第１群の画像フレーム）を取得する。

第１処理部５０は、取得部４０が取得した第１画像データに対してグラフィックス処理を実行するグラフィックス処理部である。第１処理部５０は、プレグラフィックス処理部５１と、ポストグラフィックス処理部５２とを備える。

プレグラフィックス処理部５１は、第１画像データに対して所定の加工処理を実行することによって第２画像データを生成する。本実施形態ではカメラ４が、より広い範囲を撮影可能なように広角レンズを備えているため、カメラ４で撮影された画像にはレンズの特性による歪みが発生する。そこで、プレグラフィックス処理部５１では、第１画像データに対して画像の歪みを補正する補正処理を行い、歪みが補正された第２画像データを生成する。本実施形態では、取得部４０が、複数台のカメラ４によって同じタイミングで撮影された複数の画像フレームの第１画像データを取得しており、第１処理部５０のプレグラフィックス処理部５１は、取得部４０が取得した複数の画像フレームの第１画像データに対してそれぞれ加工処理を実行して複数の画像フレームの第２画像データを生成する。プレグラフィックス処理部５１では、画像フレームＧ１，Ｇ２，Ｇ３の第１画像データに対してそれぞれ補正処理を行い、補正後の第２画像データを生成する。

ポストグラフィックス処理部５２は、第２処理部６０から入力されるマッチング結果に基づいて、プレグラフィックス処理部５１によって表示用に加工された複数の画像フレームの画像データを合成することで合成画像Ｇ４の画像データを生成する。ポストグラフィックス処理部５２は、画像フレームＧ１，Ｇ２，Ｇ３において、第２処理部６０によるマッチング処理でマッチングされた画素又は領域が存在する場合のみ、画像フレームＧ１，Ｇ２，Ｇ３を合成して合成画像Ｇ４の画像データを生成する。ポストグラフィックス処理部５２は、合成画像Ｇ４の画像データを表示部３に出力することによって、表示部３に合成画像Ｇ４を表示させる。本実施形態では、ポストグラフィックス処理部５２が、マッチング処理において検出された特徴点を基に、マッチング対象の２つの画像フレームを合成した合成画像データを生成する合成処理部の機能を備えている。

第２処理部６０は、第１処理部５０によって所定の加工処理が行われた後の第２画像データに対して認識処理を実行する認識処理部である。第２処理部６０は、検索部６１と、マッチング部６２とを備える。本実施形態では、第２処理部６０による認識処理が、第２画像データから特徴量を検索する検索処理と、検索処理によって検索された特徴量に基づいて第２群の画像フレームのうちマッチング対象の２つの画像フレームをマッチングするマッチング処理と、を含んでいる。

検索部６１は、プレグラフィックス処理部５１から入力される第２画像データにおいて特徴量を生成する対象の画素又は領域を検索する検索処理と、検索処理で検索された画素又は領域に対して特徴量を生成する特徴量生成処理とを行う。

検索部６１は、検索処理を行って特徴量を生成する対象の画素又は領域を絞り込むことで、マッチング部６２によるマッチング処理の処理量を削減する。検索部６１は、第２画像データに対して、エッジ検出処理、コーナー検出処理、物体検出処理、人物検出処理、顔検出処理のうち少なくとも１つの検出処理を行うことで、特徴量を生成可能な画素又は領域を検索する。ここで、エッジ検出処理とは、例えば微分フィルタを用い、第２画像データにおいて各画素の濃度又は明るさが急激に変化する部分を検出する処理である。コーナー検出処理とは、エッジの交点であるコーナーを検出する処理である。物体検出処理は、例えば第２画像データから所定の大きさ及び形状の移動領域を抽出することによって、第２画像データから物体（静止物体、移動物体等）に対応する画素又は領域を検出する処理である。人物検出処理は、例えば第２画像データから所定の大きさ及び形状の移動領域を抽出することによって、第２画像データから人物に対応する画素又は領域を検出する処理である。顔検出処理は、例えば第２画像データから所定の大きさ及び形状の移動領域を抽出することによって、第２画像データから人物の顔部分に対応する画素又は領域を検出する処理である。

また、検索部６１は、検索処理によって特徴量を生成する対象の画素又は領域が検索されると、検索処理で検索された画素又は領域において特徴量を生成する処理を行う。本実施形態では、検索部６１は、第２群の画像フレームのうちマッチング対象の２つの画像フレームについて特徴量を検索する検索処理を行う。検索部６１は、例えば、検索された画素（検出点）における特徴量として、スティッチング処理に用いられる局所特徴量を生成する。局所特徴量には、ＯＲＢ（Oriented FAST and Rotated BRIEF）特徴量、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量、ＳＵＲＦ（Speed Upped Robust Feature）特徴量、等がある。検索部６１は、検索処理で検索された領域の特徴量として、色平均値又はヒストグラム等の大域特徴量を生成してもよい。検索部６１は、特徴量として、検索処理で検索されたエッジ又はコーナー等の端点の座標を生成してもよい。検索部６１は、検索処理で検索された領域の特徴量として、当該領域の色値、又は色値から求めた加工値（例えば、色値の二乗値、符号化した色値、又は色値をフーリエ変換した値、等）を生成してもよい。検索部６１は、検索処理で検索された画素又は領域の特徴量として、これらの画素又は領域に対応付けられたキーワード等を生成してもよい。尚、検索部６１は、特徴量として、局所特徴量、大域特徴量、端点の座標、検索された領域の色値又は色値から求めた加工値、検索された画素又は領域に対応付けられたキーワード、のうちの複数を生成してもよい。

マッチング部６２は、３つの画像フレームＧ１，Ｇ２，Ｇ３のうちマッチング対象の２つの画像フレームの第２画像データについて、検索部６１の検索処理で検索された特徴量を基に、マッチング処理を行う。本実施形態では、３つの画像フレームＧ１，Ｇ２，Ｇ３のうち部分的に重複している２つの画像フレーム、つまり画像フレームＧ１，Ｇ２の組、又は画像フレームＧ２，Ｇ３の組がマッチング対象の画像フレームとなる。マッチング部６２は、マッチング対象となる２つの画像フレームにおいて特徴量が検出された場合のみ、マッチング対象の２つの画像フレーム間でマッチング処理を行う。

マッチング部６２は、例えば、マッチング対象の２つの画像フレームの第２画像データからそれぞれ求められたＯＲＢ特徴量について、バイナリ値のハミング距離が所定の第１閾値よりも小さいか否かを比較することでマッチング処理を行う。尚、マッチング部６２は、マッチング対象の２つの画像フレームの第２画像データからそれぞれ求められたＳＩＦＴ特徴量又はＳＵＲＦ特徴量について、ベクトル値の差分が所定の第２閾値よりも小さいか否かを比較することでマッチング処理を行ってもよい。また、マッチング部６２は、マッチング対象の２つの画像フレームの第２画像データからそれぞれ求められた特徴量について、テンプレートマッチングを行うことでマッチング処理を行ってもよい。また、マッチング部６２は、マッチング対象の２つの画像フレームの第２画像データからそれぞれ求められたキーワードについてマッチング処理を行ってもよい。また、マッチング部６２は、上述したマッチング処理を複数組み合わせて実施してもよい。

このように、本実施形態のマッチング部６２は、マッチング対象の２つの画像フレームについて検索処理で検索された特徴量のマッチングを行うことによって、マッチング対象の２つの画像フレームに共通して存在する特徴点を検出する。

（２．１．２）画像表示システム
画像表示システム１は、画像生成システム２と、画像生成システム２によって生成された画像データを表示する表示部３と、を備える。つまり、画像生成システム２と表示部３とで画像表示システム１が構成される。

表示部３は、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイなどの薄型の表示デバイスを備える。表示部３には、ポストグラフィックス処理部５２から合成画像Ｇ４の画像データが入力される。表示部３は、ポストグラフィックス処理部５２から入力される画像データを基に、合成画像Ｇ４を画面上に表示する。

画像表示システム１は、画像生成システム２及び表示部３等の部品を収納したハウジング７０を備えている（図２及び図３参照）。ハウジング７０は、例えば合成樹脂の成型品等で構成されている。ハウジング７０の後部の表面には開口部が設けられており、この開口部に表示部３が取り付けられている。

ハウジング７０は、移動体１００の本体１０１の天井部分１０２においてウィンドシールド１０４（フロントガラス）に近い前側部分であって、前部座席１０３に着座するユーザ２００が前方を向いた状態でユーザ２００の視界に入る位置に取り付けられている。ハウジング７０は、ボールジョイントを有する支持棒７１を介して本体１０１の天井部分１０２に取り付けられており、ユーザ２００の前方視界を邪魔しない位置に配置されている。

（２．２）動作
本実施形態の画像生成システム２の各部の動作を図５〜図１０に基づいて説明する。

（２．２．１）動作制御部の動作説明
ソフト処理部１０が備える動作制御部１１の動作を図５に基づいて説明する。

ソフト処理部１０が上位ソフトウェアを実行し、上位ソフトウェアの命令で３台のカメラ４の画像フレームを合成して合成画像を表示部３に表示させる画像合成動作を行う場合、ソフト処理部１０の動作制御部１１がハード処理部２０に処理内容を設定する。

動作制御部１１は、ハード処理部２０の処理内容を設定する設定情報を生成し、生成した設定情報をハード処理部２０に設定する（Ｓ１）。つまり、動作制御部１１は、ハード処理部２０の第１処理部５０及び第２処理部６０に実行させる一連のコマンドのリストであるディスプレイリストを生成し、ソフト処理部１０とハード処理部２０とがともにアクセス可能なメモリにディスプレイリストを書き込む。

動作制御部１１は、ハード処理部２０に設定情報を設定すると、ハード処理部２０に３台のカメラ４の画像フレームを合成して表示部３に表示させる動作を開始させる起動トリガを出力する（Ｓ２）。

動作制御部１１は、起動トリガを出力すると、ハード処理部２０からの合成完了信号を待ち受ける入力待ちの状態になる（Ｓ３）。合成完了信号は、１フレーム分の合成画像の生成が完了したことを示す信号である。

動作制御部１１は、ハード処理部２０から合成完了信号が入力されると、処理を継続するか否かの判定を行う（Ｓ４）。

動作制御部１１は、上位ソフトウェアから画像合成動作を終了する命令が入力されていなければ、処理を継続すると判断し（Ｓ４：Ｙｅｓ）、設定情報に変更があるか否かを判断する（Ｓ５）。動作制御部１１は、上位ソフトウェアから設定情報の変更指示が入力されるという更新条件が成立していれば、設定情報が変更されたと判断し、更新条件が成立していなければ、設定情報に変更がないと判断する。動作制御部１１は、設定情報に変更がある場合はステップＳ１に戻って処理を継続し、設定情報に変更が無い場合はステップＳ２に戻って処理を継続する。

また、動作制御部１１は、ステップＳ４において、上位ソフトウェアから画像合成動作を終了する命令が入力されていなければ、ハード処理部２０の動作設定部３０に終了命令を出力して、処理を終了する（Ｓ４：Ｎｏ）。

（２．２．２）動作制御部の動作説明
ハード処理部２０が備える動作設定部３０の動作を図６に基づいて説明する。

画像生成システム２が動作を開始すると、動作設定部３０は、ソフト処理部１０の動作制御部１１からの起動トリガを待ち受ける入力待ちの状態になる（Ｓ１１）。

動作設定部３０は、動作制御部１１から起動トリガが入力されると、ディスプレイリスト（設定情報）をメモリから読み込む（Ｓ１２）。

動作設定部３０は、メモリから読み込んだディスプレイリストをデコードして、第１処理部５０及び第２処理部６０に出力する（Ｓ１３）。これにより、第１処理部５０及び第２処理部６０がそれぞれ有するＡＰＩに一連の処理を行うコマンドが設定される。

その後、動作設定部３０は、第１処理部５０及び第２処理部６０からの完了信号を待ち受ける入力待ちの状態となる（Ｓ１４）。ここで、第１処理部５０及び第２処理部６０は、１フレーム分の画像についての処理が終了すると、完了信号を動作設定部３０に出力する。

そして、動作設定部３０は、第１処理部５０及び第２処理部６０から完了信号が入力されると、１フレーム分の画像の合成が終了したことを示す合成完了信号をソフト処理部１０の動作制御部１１に出力し（Ｓ１５）、処理を継続するか否かを判断する（Ｓ１６）。

ここで、ソフト処理部１０の動作制御部１１から終了信号が入力されていなければ、動作設定部３０は処理を継続すると判断し（Ｓ１６：Ｙｅｓ）、ステップＳ１１に戻って処理を継続する。ソフト処理部１０の動作制御部１１から終了信号が入力されていれば（Ｓ１６：Ｎｏ）、動作設定部３０は処理を終了し、第１処理部５０及び第２処理部６０に終了信号を出力して、第１処理部５０及び第２処理部６０よる画像合成処理を終了する。

上述のように、動作制御部１１は、所定の更新条件が成立すると、設定情報を変更してメモリに記憶する。したがって、動作設定部３０は、所定の更新条件が成立すると、動作制御部１１によって変更された設定情報をメモリから読み込んでおり、設定情報を更新して、更新後の設定情報を第１処理部５０及び第２処理部６０に設定する。

ここで、設定情報の更新時においても、ソフト処理部１０の動作制御部１１が、更新後の設定情報に基づいてディスプレイリストを生成し、ソフト処理部１０とハード処理部２０とがともにアクセス可能なメモリに更新後のディスプレイリストを書き込んでいる。ハード処理部２０は、次回の処理開始時に、メモリからディスプレイリストを取得することで、更新後のディスプレイリストに従って動作を行うので、ソフト処理部１０とハード処理部２０とで同期をとらずに設定情報の更新が可能になる。よって、システム全体の処理速度の低下を抑制できる。

（２．２．３）プレグラフィックス処理部の動作説明
第１処理部５０のプレグラフィックス処理部５１の動作について図７を参照して説明する。

画像生成システム２が動作を開始すると、プレグラフィックス処理部５１は動作設定部３０から設定情報を待ち受ける入力待ちの状態となる（Ｓ２１）。

プレグラフィックス処理部５１は、動作設定部３０から設定情報が入力されると、設定情報に基づいて一連の処理（ステップＳ２２以降の処理）を実行する。

プレグラフィックス処理部５１は、取得部４０から処理対象の１フレーム分の第１画像データを取り込む（Ｓ２２）。プレグラフィックス処理部５１は、取得部４０から、画像フレームＧ１，Ｇ２，Ｇ３の第１画像データを順番に取り込む。

プレグラフィックス処理部５１は、画像フレームＧ１，Ｇ２，Ｇ３の第１画像データに対して、所定の加工処理を施すことによって、第２処理部６０による認識用の第２画像データを生成し、第２画像データを検索部６１に出力する（Ｓ２３）。ここで、プレグラフィックス処理部５１が認識用の第２画像データを生成するために行う加工処理は、例えば、広角レンズによる画像の歪みを補正する歪み補正処理である。尚、加工処理は歪み補正処理に限定されず、視点の位置を変換する投影変換処理、画像ピラミッドを生成する画像ピラミッド生成処理、又は検索部６１が検索する範囲の画像を切り出すトリミング処理でもよい。また、加工処理は、モノクロ画像に変換するモノクロ加工処理、第１画像データの色空間を変換する色空間変換処理、所定のフィルタをかけるフィルタ処理、又はコントラストを調整するコントラスト調整処理でもよい。また、プレグラフィックス処理部５１は、歪み補正処理、投影変換処理、画像ピラミッド生成処理、トリミング処理、モノクロ加工処理、色空間変換処理、フィルタ処理、コントラスト調整処理のうちの複数を組み合わせた加工処理を行ってもよい。

また、プレグラフィックス処理部５１は、画像フレームＧ１，Ｇ２，Ｇ３の第１画像データに対して表示のための加工処理を施すことによって表示用の第２画像データを生成し、表示用の第２画像データをポストグラフィックス処理部５２に出力する（Ｓ２４）。表示のための加工処理には、上記した歪み補正処理、投影変換処理、トリミング処理、色空間変換処理、フィルタ処理、コントラスト調整処理の他、ミップマップを生成するミップマップ生成処理、又はキューブマップを生成するキューブマップ生成処理、等がある。尚、プレグラフィックス処理部５１は、歪み補正処理、投影変換処理、ミップマップ生成処理、キューブマップ生成処理、トリミング処理、色空間変換処理、フィルタ処理、コントラスト調整処理のうちの複数を組み合わせた加工処理を行ってもよい。

プレグラフィックス処理部５１は、画像フレームＧ１，Ｇ２，Ｇ３の第１画像データの全てについて加工処理を終了するまで、ステップＳ２２〜Ｓ２４の処理を繰り返す。

そして、プレグラフィックス処理部５１は、画像フレームＧ１，Ｇ２，Ｇ３の第１画像データの全てについて加工処理を終了すると（Ｓ２５：Ｙｅｓ）、完了信号を動作設定部３０に出力し（Ｓ２６）、処理を継続するか否かを判断する（Ｓ２７）。

ここで、プレグラフィックス処理部５１は、動作設定部３０から終了信号が入力されていなければ、処理継続と判断し（Ｓ２７：Ｙｅｓ）、ステップＳ２１に移行して処理を継続する。プレグラフィックス処理部５１は、動作設定部３０から終了信号が入力されていれば、処理終了と判断し（Ｓ２７：Ｎｏ）、第１画像データの加工処理を終了する。

（２．２．４）検索部の動作説明
第２処理部６０の検索部６１の動作について図８を参照して説明する。

画像生成システム２が動作を開始すると、検索部６１は動作設定部３０から設定情報を待ち受ける入力待ちの状態となる（Ｓ３１）。

検索部６１は、動作設定部３０から設定情報が入力されると、設定情報に基づいて一連の処理（Ｓ３２以降の処理）を実行する。

検索部６１は、プレグラフィックス処理部５１から１フレーム分の画像フレームＧ１，Ｇ２，Ｇ３の第２画像データを取得する（Ｓ３２）。検索部６１は、画像フレームＧ１，Ｇ２，Ｇ３の第２画像データのそれぞれで特徴量を生成する対象の画素又は領域を検索する検索処理を行う（Ｓ３３）。ここにおいて、検索部６１は、第２画像データに対して、上述したエッジ検出処理、コーナー検出処理、物体検出処理、人物検出処理、顔検出処理のうち少なくとも１つの検出処理を行うことで、特徴量を生成可能な画素又は領域を検索する。

検索部６１は、検索処理の結果に基づいて、特徴量を１つ以上生成可能か否かを判断する（Ｓ３４）。

検索部６１は、特徴量を１つ以上生成可能と判断すると（Ｓ３４：Ｙｅｓ）、特徴量を生成してマッチング部６２に出力する（Ｓ３５）。ここにおいて、特徴量には、上述した検出点の局所特徴量、検索処理で検索された検索領域の大域特徴量、エッジ又はコーナー等の端点の座標、検索領域の色値又は色値から求めた加工値、検索処理で検索された画素又は領域に対応付けられたキーワード等がある。尚、検索部６１は、検出点の局所特徴量、検索領域の大域特徴量、エッジ又はコーナー等の端点の座標、検索領域の色値又は色値から求めた加工値、検索処理で検索された画素又は領域に対応付けられたキーワードのうちの複数を特徴量として生成してもよい。

一方、検索部６１は、検索処理において特徴量を生成する対象の画素又は領域を検索できなかった場合、特徴量を生成不可能と判断し（Ｓ３４：Ｎｏ）、特徴量を生成不可能である旨の通知信号をマッチング部６２に出力する（Ｓ３６）。

検索部６１は、ステップＳ３５の処理又はステップＳ３６の処理を終えると、画像フレームＧ１，Ｇ２，Ｇ３の第２画像データの全てについて処理が完了したか否かを判断する（Ｓ３７）。

処理が完了していない場合（Ｓ３７：Ｎｏ）、検索部６１は、画像フレームＧ１，Ｇ２，Ｇ３の第２画像データの全てについて処理を完了するまで、ステップＳ３２以降の処理を繰り返す。

一方、画像フレームＧ１，Ｇ２，Ｇ３の第２画像データの全てについて処理が完了した場合（Ｓ３７：Ｙｅｓ）、検索部６１は、完了信号を動作設定部３０に出力し（Ｓ３８）、処理を継続するか否かを判断する（Ｓ３９）。

ここで、検索部６１は、動作設定部３０から終了信号が入力されていなければ（Ｓ３９：Ｙｅｓ）、ステップＳ３１に移行して処理を継続する。検索部６１は、動作設定部３０から終了信号が入力されていれば（Ｓ３９：Ｎｏ）、検索処理を終了する。

（２．２．５）マッチング部の動作説明
第２処理部６０のマッチング部６２の動作について図９を参照して説明する。

画像生成システム２が動作を開始すると、マッチング部６２は動作設定部３０から設定情報を待ち受ける入力待ちの状態となる（Ｓ４１）。

マッチング部６２は、動作設定部３０から設定情報が入力されると、設定情報に基づいて一連の処理（ステップＳ４２以降の処理）を実行する。

マッチング部６２は、検索部６１から、マッチング対象の画像フレームＧ１，Ｇ２，Ｇ３について行った検索処理の結果を受け付ける（Ｓ４２）。検索処理において検索部６１が特徴量を生成している場合、マッチング部６２は、検索部６１から検索処理の結果として特徴量が入力される。検索処理において検索部６１が特徴量を生成できなかった場合、マッチング部６２は、検索部６１から検索処理の結果として特徴量が無い旨の通知が入力される。

ここで、マッチング部６２は、画像フレームＧ１，Ｇ２，Ｇ３のうちマッチング対象の２つの画像フレーム（画像フレームＧ１，Ｇ２の組、又は画像フレームＧ２，Ｇ３の組）についてマッチング処理が可能か否かを判断する（Ｓ４３）。

マッチング対象の２つの画像フレームのうち少なくとも一方に特徴量が存在しなければ、マッチング部６２は、マッチング処理が不能であると判断して（Ｓ４３：Ｙｅｓ）、ステップＳ４７の処理に移行する。

一方、マッチング対象の２つの画像フレームの両方に特徴量が存在すれば、マッチング部６２は、マッチング処理が可能であると判断して（Ｓ４３：Ｎｏ）、マッチング処理を行う（Ｓ４４）。

マッチング部６２は、画像フレームＧ１，Ｇ２，Ｇ３のうちマッチング対象の２つの画像フレームの第２画像データについて、検索部６１によって検索された特徴量を基に、マッチング処理を行う。マッチング部６２は、例えば、マッチング対象の２つの画像フレームの第２画像データからそれぞれ求められたＯＲＢ特徴量について、バイナリ値のハミング距離が第１閾値よりも小さいか否かを比較することでマッチング処理を行う。尚、マッチング部６２は、マッチング対象の２つの画像フレームの第２画像データからそれぞれ求められたＳＩＦＴ特徴量又はＳＵＲＦ特徴量について、ベクトル値の差分が第２閾値よりも小さいか否かを比較することでマッチング処理を行ってもよい。マッチング部６２は、マッチング対象の２つの画像フレームの第２画像データからそれぞれ求められた特徴量について、テンプレートマッチングを行うことでマッチング処理を行ってもよい。マッチング部６２は、マッチング対象の２つの画像フレームの第２画像データからそれぞれ求められたキーワードについてマッチング処理を行ってもよい。また、マッチング部６２は、上述したマッチング処理を複数組み合わせて実施してもよい。

尚、マッチング部６２は、マッチング処理の実行後に異常値と判断されたマッチング結果を削除してもよい。ここで、マッチング部６２は、中央値との差分が所定の第３閾値を超える場合はマッチング結果を異常値と判断してもよいし、以前のフレームでのマッチング結果との差分が所定の第４閾値を超える場合は今回のマッチング結果を異常値と判断してもよい。

マッチング部６２は、マッチング処理を行った後、マッチング対象の２つの画像フレームにおいて、マッチングされた画素又は領域のペアが存在するか否かを判断する（Ｓ４５）。ここにおいて、画素又は領域がマッチングされるとは、マッチング対象の２つの画像フレームの画素又は領域が、２つの画像に写っている同一の物体に対応する画素又は領域であると判定されることを意味する。

マッチングされた画素又は領域のペアが存在する場合（Ｓ４５：Ｙｅｓ）、マッチング部６２は、マッチングされた画素又は領域のペアをポストグラフィックス処理部５２に出力する（Ｓ４６）。

一方、マッチングされた画素又は領域のペアが存在しない場合（Ｓ４５：Ｎｏ）、マッチング部６２は、マッチングできた画素又は領域のペアが無い旨の通知をポストグラフィックス処理部５２に出力する（Ｓ４７）。

マッチング部６２は、ステップＳ４６の処理又はステップＳ４７の処理を終えると、画像フレームＧ１，Ｇ２，Ｇ３の第２画像データの全てについて処理が完了したか否かを判断する（Ｓ４８）。

処理が完了していない場合（Ｓ４８：Ｎｏ）、マッチング部６２は、画像フレームＧ１，Ｇ２，Ｇ３の第２画像データの全てについてマッチング処理を完了するまで、ステップＳ４２以降の処理を繰り返す。

一方、画像フレームＧ１，Ｇ２，Ｇ３の第２画像データの全てについて処理が完了した場合（Ｓ４８：Ｙｅｓ）、マッチング部６２は、完了信号を動作設定部３０に出力し（Ｓ４９）、処理を継続するか否かを判断する（Ｓ５０）。

ここで、マッチング部６２は、動作設定部３０から終了信号が入力されていなければ（Ｓ５０：Ｙｅｓ）、ステップＳ４１に移行して処理を継続する。マッチング部６２は、動作設定部３０から終了信号が入力されていれば（Ｓ５０：Ｎｏ）、検索処理を終了する。

（２．２．６）ポストグラフィックス処理部の動作説明
第１処理部５０のポストグラフィックス処理部５２の動作について図１０を参照して説明する。

画像生成システム２が動作を開始すると、ポストグラフィックス処理部５２は動作設定部３０から設定情報を待ち受ける入力待ちの状態となる（Ｓ５１）。

ポストグラフィックス処理部５２は、動作設定部３０から設定情報が入力されると、設定情報に基づいて一連の処理（ステップＳ５２以降の処理）を実行する。

ポストグラフィックス処理部５２は、画像フレームＧ１，Ｇ２，Ｇ３の第１画像データについて表示用の加工処理が施された後の表示用の第２画像データをプレグラフィックス処理部５１から取得する（Ｓ５２）。

また、ポストグラフィックス処理部５２は、マッチング部６２から、マッチング対象の２つの画像フレーム（画像フレームＧ１，Ｇ２の組、又は画像フレームＧ２，Ｇ３の組）について行ったマッチング処理の結果を取得する（Ｓ５３）。マッチング処理においてマッチングされた画素又は領域のペアが存在する場合、ポストグラフィックス処理部５２は、マッチング処理の結果としてマッチングされた画素又は領域のペアに関する情報（例えば座標等）をマッチング部６２から取得する。マッチング処理においてマッチングされた画素又は領域のペアが存在しなかった場合、ポストグラフィックス処理部５２は、マッチングされた画素又は領域のペアが無い旨の通知をマッチング部６２から取得する。

ここで、ポストグラフィックス処理部５２は、マッチング処理の結果に基づいて、マッチング対象の２つの画像フレーム（画像フレームＧ１，Ｇ２の組、又は画像フレームＧ２，Ｇ３の組）においてマッチングされた画素又は領域のペアが存在するか否かを判断する（Ｓ５４）。

マッチング対象の２つの画像フレームにおいてマッチングされた画素又は領域のペアが存在する場合（Ｓ５４：Ｎｏ）、ポストグラフィックス処理部５２は、マッチング結果を用いてマッチング対象の２つの画像フレームを合成した合成画像の画像データを生成する（Ｓ５５）。ここにおいて、ポストグラフィックス処理部５２は、合成画像中に、マッチングした旨の表示、マッチングした画素又は領域の表示、マッチングした物体、人物、又は顔画像の表示、等が出力されるように、合成画像の画像データを生成してもよい。

マッチング対象の２つの画像フレームにおいてマッチングされた画素又は領域のペアが存在しない場合（Ｓ５４：Ｙｅｓ）、ポストグラフィックス処理部５２は、マッチング結果を用いずにマッチング対象の２つの画像フレームを合成した合成画像の画像データを生成する（Ｓ５６）。ポストグラフィックス処理部５２は、例えば、３台のカメラ４の設置位置、及び撮影方向等の撮影条件に基づいて、マッチング対象の２つの画像フレームを合成した合成画像の画像データを生成する。ポストグラフィックス処理部５２は、過去のマッチング結果を用いて、マッチング対象の２つの画像フレームを合成した合成画像の画像データを生成してもよい。また、ポストグラフィックス処理部５２は、合成画像中に、マッチング対象の２つの画像フレームにおいて、マッチングできた画素又は領域が存在しなかった旨の表示が出力されるように、合成画像の画像データを生成してもよい。

ポストグラフィックス処理部５２は、ステップＳ５５の処理又はステップＳ５６の処理を終えると、画像フレームＧ１，Ｇ２，Ｇ３の表示用の画像データの全てについて合成処理が完了したか否かを判断する（Ｓ５７）。

合成処理が完了していない場合（Ｓ５７：Ｎｏ）、ポストグラフィックス処理部５２は、画像フレームＧ１，Ｇ２，Ｇ３の表示用の画像データの全てについて合成処理を完了するまで、ステップＳ５２以降の処理を繰り返す。

一方、画像フレームＧ１，Ｇ２，Ｇ３の表示用の画像データの全てについて合成処理が完了した場合（Ｓ５７：Ｙｅｓ）、ポストグラフィックス処理部５２は、合成画像Ｇ４の画像データを表示部３に出力し（Ｓ５８）、表示部３に１フレーム分の合成画像Ｇ４を表示させる。

また、ポストグラフィックス処理部５２は、１フレーム分の合成画像Ｇ４の出力が完了したことを示す完了信号を動作設定部３０に出力し（Ｓ５９）、処理を継続するか否かを判断する（Ｓ６０）。

ここで、ポストグラフィックス処理部５２は、動作設定部３０から終了信号が入力されていなければ（Ｓ６０：Ｙｅｓ）、ステップＳ５１に移行して処理を継続する。ポストグラフィックス処理部５２は、動作設定部３０から終了信号が入力されていれば（Ｓ６０：Ｎｏ）、画像の合成処理を終了する。

本実施形態の画像生成システム２の動作は以上の通りである。本実施形態の画像生成システム２では、グラフィックス処理のＡＰＩを含む第１処理部５０に処理内容を設定する設定部と、スティッチング処理のＡＰＩを含む第２処理部６０に処理内容を設定する設定部とが統合されている。つまり、第１処理部５０が含むグラフィックス処理のＡＰＩと、第２処理部６０が含むスティッチング処理のＡＰＩとで、ディスプレイリストのような設定情報が統合されている。ディスプレイリストには、マッチング部６２がステップＳ４３の判断で分岐するステップＳ４６及びＳ４７の処理、ポストグラフィックス処理部５２がステップＳ５４の判断で分岐するステップＳ５５及びＳ５６の処理の両方の設定情報があらかじめ含められている。これにより、それぞれ前段回路の結果を取得して判断・分岐した処理に対応した設定を用いてマッチング部６２やポストグラフィックス処理部５２を動作させることができる。そして、ソフト処理部１０の動作制御部１１がハード処理部２０に対して起動トリガを与えると、第１処理部５０と第２処理部６０とがディスプレイリストに基づいて、同期して画像合成動作を実行する。そのため、ソフト処理部１０が、第１処理部５０の処理完了を受けて第２処理部６０に処理開始の指示を与える必要がない。つまり、ソフト処理部１０において第１処理部５０の処理完了を待ち受けする必要がないので、ソフト処理部１０の処理速度が低下するのを抑制することができる。

ここにおいて、本実施形態の画像生成システム２と比較例とで、３つの画像フレームＧ１，Ｇ２，Ｇ３を合成して合成画像Ｇ４を生成する合成処理にかかる時間をシミュレーションしたところ、以下のような結果が得られた。なお、比較例は、プロセッサ（ソフト処理部１０）が、第１処理部５０の処理完了を受けて、第２処理部６０に処理開始の指示を与えるように構成された画像生成システムである。ソフト処理部１０の低負荷時において１回の合成処理にかかる時間は、比較例では４．９６［ｍＳ］であるのに対して、本実施形態の画像生成システム２では４．３４［ｍｓ］であり、１回の合成処理にかかる時間を１４．３％短縮できる。ソフト処理部１０の高負荷時において１回の合成処理にかかる時間は、比較例では６．１５［ｍＳ］であるのに対して、本実施形態の画像生成システム２では５．５３［ｍｓ］であり、１回の合成処理にかかる時間を１１．２％短縮できる。

（３）変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、画像生成システム２又は画像表示システム１と同様の機能は、画像生成方法、画像生成プログラム（コンピュータプログラム）、又は画像生成プログラムを記録した非一時的な記録媒体等で具現化されてもよい。一態様に係る画像生成方法は、第１画像データを取得するステップと、第１画像データに対して所定の加工処理を実行して第２画像データを生成するステップと、第２画像データに対して認識処理を実行するステップと、を含む。この画像生成方法では、加工処理と認識処理とを、プロセッサからの命令によらずに、同期して実行する。また、一態様に係る画像生成プログラムは、コンピュータシステムに、上記の画像生成方法を実行させるためのプログラムである。

本開示における画像生成システム２、画像表示システム１又は画像生成方法の実行主体は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラム（画像生成プログラム）をプロセッサが実行することによって、本開示における画像生成システム２、画像表示システム１又は画像生成方法の実行主体としての機能が実現される。プログラム（画像生成プログラム）は、コンピュータシステムのメモリに予め記録されていてもよいが、電気通信回線を通じて提供されてもよいし、コンピュータシステムで読み取り可能な非一時的な記録媒体に記録されて提供されてもよい。コンピュータシステムで読み取り可能な非一時的な記録媒体は、メモリカード、光学ディスク、ハードディスクドライブ等である。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）等を含む１乃至複数の電子回路で構成される。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。

また、上記の実施形態では、画像生成システム２は、１つのハウジング７０に収まる１つの装置にて実現されているが、画像生成システム２の機能が２つ以上の装置に分散して設けられてもよい。また、画像生成システム２が備える第１処理部５０及び第２処理部６０の各々の機能が、複数の装置に分散して設けられていてもよい。また、画像生成システム２の少なくとも一部の機能は、例えば、クラウド（クラウドコンピューティング）によって実現されてもよい。

上記の実施形態において、複数台のカメラ４が本体１０１の前方又は側方を撮影可能なように配置されてもよく、画像生成システム２が、複数台のカメラ４で撮影された画像フレームをスティッチングすることで、本体１０１の前方又は側方の画像を生成することができる。

また、複数台のカメラ４が本体１０１の周りを全周に亘って撮影可能なように配置されてもよく、画像生成システム２が、複数台のカメラ４で撮影された画像フレームをスティッチングすることで、本体１０１の周りの全周画像を生成することができる。

上記の実施形態では、画像生成システム２は、複数の画像フレームを合成するスティッチング処理を行っているが、画像生成システム２はスティッチング処理以外の処理を行ってもよい。例えば、画像生成システム２は、第１画像データに所定の加工処理を行って第２画像データを生成し、第２画像データに対して認識処理を実行することで第２画像データから所望の対象物を検出する処理を行ってもよい。

上記実施形態の画像生成システム２を備える画像表示システム１は、自動車１００に適用されるものに限らず、例えば、二輪車、電車、航空機、建設機械、及び船舶等、自動車１００以外の移動体にも適用可能である。

また、上記実施形態の画像生成システム２を備える画像表示システム１は、移動体に適用されるものに限定されず、例えば住宅、集合住宅、オフィスビル、商業施設等の施設に適用されるものでもよい。

また、上記の実施形態において、２値の比較において、「より小さい」としているところは「以下」であってもよい。つまり、２値の比較において、２値が等しい場合を含むか否かは、基準値等の設定次第で任意に変更できるので、「より小さい」か「以下」かに技術上の差異はない。同様に、上記の実施形態において、２値の比較において、「超える」としているところは「以上」であってもよい。

（まとめ）
以上説明したように、第１の態様の画像生成システム（２）は、取得部（４０）と、第１処理部（５０）と、第２処理部（６０）と、を備える。取得部（４０）は第１画像データを取得する。第１処理部（５０）は、取得部（４０）が取得した第１画像データに対して所定の加工処理を実行して第２画像データを生成する。第２処理部（６０）は、第２画像データに対して認識処理を実行する。第１処理部（５０）と第２処理部（６０）とは、プロセッサ（１０）からの命令によらずに、同期して処理を実行する。

この態様によれば、プロセッサ（１０）が、第１処理部（５０）の処理完了を受けて、第２処理部（６０）に処理開始の命令を出力する場合に比べて、プロセッサ（１０）が第１処理部（５０）から処理完了を通知する信号を待ち受ける必要がない。よって、プロセッサ（１０）の処理速度の低下を抑制できる、という利点がある。

第２の態様の画像生成システム（２）では、第１の態様において、第１画像データが、複数の画像フレームを含む第１群の画像フレームを表し、第２画像データが、複数の画像フレームを含む第２群の画像フレームを表す。

この態様によれば、プロセッサ（１０）の処理速度の低下を抑制できる、という利点がある。

第３の態様の画像生成システム（２）では、第２の態様において、認識処理が、検索処理と、マッチング処理とを含む。検索処理では、第２画像データから特徴量を検索する。マッチング処理では、検索処理によって検索された特徴量に基づいて、第２群の画像フレームのうちマッチング対象の２つの画像フレームをマッチングする。

この態様によれば、第２処理部（６０）において、第２画像データから検索された特徴量をマッチング対象とマッチングするマッチング処理が行われる場合でも、プロセッサ（１０）の処理速度の低下を抑制できる。

第４の態様の画像生成システム（２）では、第３の態様において、取得部（４０）は第１群の画像フレームを取得する。第１処理部（５０）は、取得部（４０）が取得した第１群の画像フレームに対してそれぞれ加工処理を実行して第２群の画像フレームを生成する。検索処理では、マッチング対象の２つの画像フレームについて特徴量を検索する。マッチング処理では、検索処理で検索された特徴量に基づいて、マッチング対象の２つの画像フレームに共通して存在する特徴点を検出する。

この態様によれば、第２処理部（６０）が、複数の画像の第１画像データを加工して得られた複数の第２画像データのうち、マッチング対象の２つの第２画像データについてマッチング処理を実行する場合でも、プロセッサ（１０）の処理速度の低下を抑制できる。

第５の態様の画像生成システム（２）は、第４の態様において、マッチング処理において検出された特徴点を基に、マッチング対象の２つの画像フレームを合成した合成画像データを生成する合成処理部（５２）を、更に備える。

この態様によれば、マッチング対象の２つの第２画像データを合成した合成画像データを生成する場合でも、プロセッサ（１０）の処理速度の低下を抑制できる、という利点がある。

第６の態様の画像生成システム（２）では、第４又は第５の態様において、マッチング対象の２つの画像フレームは部分的に重複している。

第７の態様の画像生成システム（２）では、第２〜第６のいずれかの態様において、取得部（４０）は、複数のカメラ（４）から第１群の画像フレームを取得する。

第８の態様の画像生成システム（２）では、第７の態様において、複数のカメラ（４）は、移動体（１００）に設けられて、移動体（１００）の外側を撮影する。

第９の態様の画像生成システム（２）では、第１〜第８のいずれかの態様において、第１処理部（５０）が所定の設定情報に従って加工処理を実行し、第２処理部（６０）が設定情報に従って認識処理を実行する。

この態様によれば、設定情報に従って第１処理部（５０）と第２処理部（６０）とが処理を実行するので、プロセッサ（１０）の処理の負担を軽減でき、プロセッサ（１０）の処理速度の低下を抑制できる、という利点がある。

第１０の態様の画像生成システム（２）では、第９の態様において、設定情報を受け付けると、設定情報を第１処理部（５０）と第２処理部（６０）とに出力するデコード部（３０）を、更に備える。

この態様によれば、デコード部（３０）に設定情報を出力することで、デコード部（３０）から第１処理部（５０）と第２処理部（６０）とに設定情報を出力させることができ、プロセッサ（１０）の処理速度の低下を抑制できる、という利点がある。

第１１の態様の画像生成システム（２）では、第１０の態様において、デコード部（３０）は、所定の更新条件が成立すると、設定情報を更新して、更新後の設定情報を第１処理部（５０）と第２処理部（６０）とに出力する。

この態様によれば、更新条件が成立した場合には、第１処理部（５０）及び第２処理部（６０）の処理内容に関する設定情報を更新することができる。

第１２の態様の画像生成システム（２）では、第１１の態様において、設定情報を生成する設定情報生成部（１１）を更に備える。

この態様によれば、プロセッサ（１０）の処理速度の低下を抑制できる、という利点がある。

第１３の態様の画像表示システム（１）は、第１〜第１２のいずれかの態様の画像生成システム（２）と、画像生成システム（２）で生成された画像を表示する表示部（３）と、を備える。

この態様によれば、プロセッサ（１０）の処理速度の低下を抑制可能な画像表示システム（１）を提供できる。

第１４の態様の画像生成方法は、第１画像データを取得するステップと、第１画像データに対して所定の加工処理を実行して第２画像データを生成するステップと、第２画像データに対して認識処理を実行するステップと、を含む。第１０の態様の画像生成方法は、加工処理と認識処理とを、プロセッサからの命令によらずに、同期して実行する。

この態様によれば、プロセッサ（１０）の処理速度の低下を抑制可能な画像生成方法を提供できる。

第１５の態様の画像生成プログラムは、コンピュータシステムに、第１４の態様の画像生成方法を実行させるためのプログラムである。

この態様によれば、プロセッサ（１０）の処理速度の低下を抑制可能な画像生成プログラムを提供できる。

第１６の態様の移動体（１００）は、第１３の態様の画像表示システム（１）と、画像表示システム（１）を搭載する移動体本体（１０１）と、を備える。

この態様によれば、プロセッサ（１０）の処理速度の低下を抑制可能な移動体（１００）を提供できる。

上記態様に限らず、実施形態に係る画像生成システムの種々の構成（変形例を含む）は、画像生成方法、画像生成プログラム（コンピュータプログラム）、又は画像生成プログラムを記録した非一時的記録媒体等で具現化可能である。

第２〜第８の態様に係る構成については、画像生成システム（２）に必須の構成ではなく、適宜省略可能である。

１ 画像表示システム
２ 画像生成システム
３ 表示部
１０ ソフト処理部（プロセッサ）
１１ 動作制御部（設定情報生成部）
３０ 動作設定部（デコード部）
４０ 取得部
５０ 第１処理部
５２ ポストグラフィックス処理部（合成処理部）
６０ 第２処理部
１００ 移動体
１０１ 本体（移動体本体）

Claims (15)

1. 第１画像データを取得する取得部と、
   前記取得部が取得した前記第１画像データに対して所定の加工処理を実行して第２画像データを生成する第１処理部と、
   前記第２画像データに対して認識処理を実行する第２処理部と、を備え、
   前記第１処理部と前記第２処理部とは、プロセッサからの命令によらずに、前記加工処理と前記認識処理とを含む一連の処理を同期して実行し、
   前記第１処理部が、前記一連の処理が設定された所定の設定情報に従って前記加工処理を実行し、前記第２処理部が前記設定情報に従って前記認識処理を実行する、
   画像生成システム。
2. 前記第１画像データが、複数の画像フレームを含む第１群の画像フレームを表し、
   前記第２画像データが、複数の画像フレームを含む第２群の画像フレームを表す、
   請求項１に記載の画像生成システム。
3. 前記認識処理が、検索処理と、マッチング処理とを含み、
   前記検索処理では、前記第２画像データから特徴量を検索し、
   前記マッチング処理では、前記検索処理によって検索された前記特徴量に基づいて、前記第２群の画像フレームのうちマッチング対象の２つの画像フレームをマッチングする、
   請求項２に記載の画像生成システム。
4. 前記取得部は前記第１群の画像フレームを取得し、
   前記第１処理部は、前記取得部が取得した前記第１群の画像フレームに対してそれぞれ前記加工処理を実行して前記第２群の画像フレームを生成し、
   前記検索処理では、マッチング対象の前記２つの画像フレームについて前記特徴量を検索し、
   前記マッチング処理では、前記検索処理で検索された前記特徴量に基づいて、マッチング対象の前記２つの画像フレームのマッチングを行うことによって、マッチング対象の前記２つの画像フレームに共通して存在する特徴点を検出する、
   請求項３に記載の画像生成システム。
5. 前記第１処理部は、前記マッチング処理において検出された前記特徴点を基に、マッチング対象の前記２つの画像フレームを合成した合成画像データを生成する合成処理部を、
   備える、
   請求項４に記載の画像生成システム。
6. マッチング対象の前記２つの画像フレームは部分的に重複している、
   請求項４又は５に記載の画像生成システム。
7. 前記取得部は、複数のカメラから前記第１群の画像フレームを取得する、
   請求項２〜６のいずれか１項に記載の画像生成システム。
8. 前記複数のカメラは、移動体に設けられて、前記移動体の外側を撮影する、
   請求項７に記載の画像生成システム。
9. 前記設定情報を受け付けると、前記設定情報を前記第１処理部と前記第２処理部とに出力するデコード部を、更に備える、
   請求項１〜８のいずれか１項に記載の画像生成システム。
10. 前記デコード部は、所定の更新条件が成立すると、前記設定情報を更新して、更新後の前記設定情報を前記第１処理部と前記第２処理部とに出力する、
    請求項９に記載の画像生成システム。
11. 前記設定情報を生成する設定情報生成部を、更に備える、
    請求項１０に記載の画像生成システム。
12. 請求項１〜１１のいずれか１項に記載の画像生成システムと、前記画像生成システムで生成された画像を表示する表示部と、を備える、
    画像表示システム。
13. 第１画像データを取得するステップと、
    前記第１画像データに対して所定の加工処理を実行して第２画像データを生成するステップと、
    前記第２画像データに対して認識処理を実行するステップと、を含み、
    プロセッサからの命令によらずに、前記加工処理と前記認識処理とを含む一連の処理を同期して実行し、
    前記一連の処理が設定された所定の設定情報に従って前記加工処理を実行し、前記設定情報に従って前記認識処理を実行する、
    画像生成方法。
14. コンピュータシステムに、請求項１３に記載の画像生成方法を実行させるための、
    画像生成プログラム。
15. 請求項１２に記載の画像表示システムと、前記画像表示システムを搭載する移動体本体と、を備える、
    移動体。

Images