JP7164706B2 - 画像繋ぎ合わせ方法及び装置、車載画像処理装置、電子機器、記憶媒体 - Google Patents

Description

関連出願の相互参照

本開示は、２０１８年８月２９日に中国国家知識産権局に提出された、出願番号がＣＮ２０１８１０９９８６３４．９で、発明の名称が「画像繋ぎ合わせ方法及び装置、車載画像処理装置、電子機器、記憶媒体」である中国特許出願の優先権を主張し、その全ての内容は援用することによって本開示に組み込まれる。

本開示は画像処理技術に関し、特に画像繋ぎ合わせ方法及び装置、車載画像処理装置、電子機器、記憶媒体に関する。

サラウンドビュースプライシングシステムは、先進運転支援システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ、ＡＤＡＳ）の重要な構成要素として、自動車の周囲の状況をドライバー又はインテリジェントな意思決定システムにリアルタイムで表示することができる。従来のサラウンドビュースプライシングシステムは、通常、車体の周りの複数の方位にカメラをそれぞれ取り付け、各カメラによって車体の周りの画像をそれぞれ収集し、収集した画像を融合して３６０度のパノラマを形成してドライバー又はインテリジェントな意思決定システムに表示する。

本開示の実施例は、サラウンドビュースプライシングの発明を提供する。

本開示の実施例の一の側面では、繋ぎ合わせ対象となる複数枚の入力画像のそれぞれの輝度補償情報を取得することであって、前記複数枚の入力画像のそれぞれは、機器の異なる箇所に設けられたマルチカメラによって対応して収集されたものであることと、各入力画像の輝度補償情報に基づいてそれぞれ入力画像を輝度補償することと、輝度補償された入力画像を繋ぎ合わせ処理して繋ぎ合わせ画像を得ることとを含む画像繋ぎ合わせ方法を提供する。

本開示の実施例の別の側面では、繋ぎ合わせ対象となる複数枚の入力画像のそれぞれの輝度補償情報を取得するための第１の取得モジュールであって、前記複数枚の入力画像のそれぞれは、マルチカメラによって対応して収集されたものである第１の取得モジュールと、各入力画像の輝度補償情報に基づいてそれぞれ入力画像を輝度補償するための補償モジュールと、輝度補償された入力画像を繋ぎ合わせ処理して繋ぎ合わせ画像を得るための繋ぎ合わせモジュールとを含む画像繋ぎ合わせ装置を提供する。

本開示の実施例の別の側面では、繋ぎ合わせ情報テーブルと、それぞれマルチカメラによって対応して収集された複数枚の入力画像とを記憶するための第１の記憶モジュールと、前記第１の記憶モジュールから繋ぎ合わせ対象となる複数枚の入力画像のそれぞれの輝度補償情報を取得することと、各出力ブロックのそれぞれについて、前記第１の記憶モジュールから前記出力ブロックに対応する入力画像における入力画像ブロックを取得することと、前記入力画像ブロックの位置する入力画像の輝度補償情報に基づいて前記入力画像ブロックを輝度補償し、輝度補償された入力画像ブロックに基づいて前記出力ブロックにおける出力画像ブロックを取得して、取得された出力画像ブロックを前記第１の記憶モジュールに順次書き戻すことと、前記繋ぎ合わせ情報テーブルに対応する１つの繋ぎ合わせ画像のすべての出力画像ブロックが前記メモリに書き戻されたことに応じて、繋ぎ合わせ画像を得ることとに用いられるコンピューティングチップとを含む車載画像処理装置を提供する。

本開示の実施例の別の側面では、コンピュータプログラムを記憶するためのメモリと、前記メモリに記憶されたコンピュータプログラムを実行するためのプロセッサであって、前記コンピュータプログラムが実行されると、本開示の上記いずれかの実施例に記載の方法を実行するプロセッサとを含む電子機器を提供する。

本開示の実施例の別の側面では、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、当該コンピュータプログラムがプロセッサによって実行されると、本開示の上記いずれかの実施例に記載の方法を実行させるコンピュータ読み取り可能な記憶媒体を提供する。

本開示の上記実施例に係る画像繋ぎ合わせ方法及び装置、車載画像処理装置、電子機器、記憶媒体によれば、マルチカメラによって対応して収集された複数枚の入力画像を繋ぎ合わせる場合、繋ぎ合わせ対象となる当該複数枚の入力画像のそれぞれの輝度補償情報を取得し、各入力画像の輝度補償情報に基づいてそれぞれ入力画像を輝度補償し、輝度補償された入力画像を繋ぎ合わせ処理して繋ぎ合わせ画像を得る。本開示の実施例では、繋ぎ合わせ対象となる複数枚の入力画像を輝度補償することにより、繋ぎ合わせ対象となる画像の全局的な輝度補償を実現し、異なるカメラが配置された環境の光線の違い及び露光の違いによる繋ぎ合わせ対象となる複数枚の入力画像の輝度の違いにより繋ぎ合わせ画像に繋ぎ合わせの跡が生じることを解消することができるため、繋ぎ合わせ画像に示される視覚効果が向上され、当該繋ぎ合わせ画像に基づく様々な応用効果に寄与することになり、例えば、本開示の実施例が車両に適用される場合、得られた車両の運転環境を表示するための繋ぎ合わせ画像は、インテリジェント運転制御の精度の向上に寄与する。

以下、図面及び実施例を参照しながら、本開示の発明をさらに詳しく説明する。

明細書の一部をなす図面は本開示の実施例を説明し、かつその説明とともに本開示の原理の解釈に用いられる。
図面を参照しながら、以下の詳しい説明に基づいて、本開示をより明確に理解できる。
図１は、本開示の画像繋ぎ合わせ方法の一実施例のフローチャートである。 図２は、本開示の実施例における６枚の入力画像に対応する繋ぎ合わせ画像の領域例示図である。 図３は、本開示の画像繋ぎ合わせ方法の別の実施例のフローチャートである。 図４は、本開示の画像繋ぎ合わせ方法の別の実施例のフローチャートである。 図５は、本開示の画像繋ぎ合わせ装置の一実施例の構造模式図である。 図６は、本開示の画像繋ぎ合わせ装置の別の実施例の構造模式図である。 図７は、本開示の車載画像処理装置の一実施例の構造模式図である。 図８は、本開示の車載画像処理装置の別の実施例の構造模式図である。 図９は、本開示の電子機器の一適用実施例の構造模式図である。

以下、図面を参照しながら、本開示の様々な例示的実施例を詳しく説明する。なお、別途で説明しない限り、これらの実施例に説明される部材及びステップの相対的な配置、数式及び数値は、本開示の範囲を限定しない。

本開示の実施例において、「複数」は、２つ以上を指してもよく、「少なくとも１つ」は、１つ、２つ以上、一部又は全部を指してもよいことが理解されたい。

当業者なら理解できるように、本開示の実施例における「第１」、「第２」などの用語は、異なるステップ、装置やモジュールなどを区別するためのものであり、何らの特別の技術的意味もなく、それらの間の必然的な論理的順序を示すものでもない。

また、本開示の実施例において言及される任意の部材、データ又は構造は、明確な限定や文脈からの逆な示唆がない場合、通常、１つ以上と理解される。

また、本開示の各実施例の説明は、主に各実施例間の相違点を強調するものであるが、その同一点又は類似点が相互参照できるので、簡潔にするために、一々詳しく説明しないことが理解されたい。

なお、説明の便宜上、図面に示される各部分の寸法は、実際の比例関係に基づいて作成されていないことが理解されたい。

以下、少なくとも１つの例示的実施例の説明は実際には、説明的なものに過ぎず、本開示及びその適用または使用への限定にならない。

当業者に知られている技術、方法及び装置を詳しく説明しないことがあるが、適切な場合、前記技術、方法及び装置は、明細書の一部として見なされるべきである。

なお、類似する符号及び文字は以下の図面において類似項を示すため、ある項目が１つの図面において定義されると、それ以降の図面においてそれをさらに検討する必要がない。

また、本明細書における用語「及び／又は」は、単に関連対象との関連関係を記述するものであり、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢの両方が存在し、Ｂのみが存在するという３つの場合を示してもよい。また、本開示における「／」という記号は通常、前後関連対象が「又は」の関係にあることを示す。

本開示の実施例は、端末装置、コンピュータシステム、サーバなどの電子機器に適用でき、多くの他の汎用又は専用のコンピューティングシステム環境又は配置とともに動作し得る。端末装置、コンピュータシステム、サーバなどの電子機器とともに使用するのに適した周知の端末装置、コンピューティングシステム、環境及び／又は配置の例としては、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルドまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル家電、ネットワークPC、小型コンピュータシステム、大型コンピュータシステム及び上記システムのいずれかを含む分散クラウドコンピューティング技術環境などが挙げられるが、これらに限定されない。

端末装置、コンピュータシステム、サーバなどの電子機器は、コンピュータシステムによって実行されるコンピュータシステム実行可能命令（プログラムモジュールなど）の一般的なコンテキストで説明されてよい。一般に、プログラムモジュールは、特定のタスクを実行するか、又は特定の抽象データタイプを実現するルーチン、プログラム、目的プログラム、コンポーネント、論理、データ構造などを含んでよい。コンピュータシステム／サーバは、分散クラウドコンピューティング環境において実施されてよく、分散クラウドコンピューティング環境において、タスクは、通信ネットワークを介して接続された遠隔処理装置によって実行される。分散クラウドコンピューティング環境において、プログラムモジュールは、記憶装置を含むローカル又はリモートなコンピューティングシステム記憶媒体にあってよい。

図１は、本開示の画像繋ぎ合わせ方法の一実施例のフローチャートである。図１に示すように、この実施例の画像繋ぎ合わせ方法は、以下のことを含む。

１０２．繋ぎ合わせ対象となる複数枚の入力画像のそれぞれの輝度補償情報を取得する。

複数枚の入力画像のそれぞれは、機器の異なる箇所に設けられたマルチカメラによって対応して収集されたものである。当該マルチカメラの配置位置及び方向により、当該マルチカメラによって収集された複数枚の入力画像のうち少なくとも２枚の隣接画像間に重畳領域がある、あるいは、２枚の隣接画像間ごとに重畳領域がある、例えば、いずれの２枚の隣接画像間にも重畳領域があるようにすることができる。ただし、隣接画像は、上記機器の異なる箇所のうち隣接する箇所に設けられたカメラによって収集された画像、又は繋ぎ合わせ画像における隣接する位置にある画像に対応する複数枚の入力画像である。

本開示の実施例では、マルチカメラの配置位置及び方向を限定せず、マルチカメラによって収集された複数枚の入力画像のうち少なくとも２枚の隣接画像間又は２枚の隣接画像間ごとに重畳領域があれば、本開示の実施例を採用して複数枚の入力画像の繋ぎ合わせを実現できる。

いくつかの実施形態では、マルチカメラが設けられた上記機器は、車両又はロボット、また、繋ぎ合わせ画像の取得を必要とする機器、例えば、他の交通手段などであってもよい。マルチカメラが設けられた上記機器が車両である場合、車両の長さや幅およびカメラの撮像範囲によっては、上記マルチカメラの数が４～８個であってよい。

よって、いくつかの実施形態では、上記マルチカメラには、車両のヘッドに配置された少なくとも１つのカメラと、車両のテールに配置された少なくとも１つのカメラと、車両の車体の一方側の中央領域に配置された少なくとも１つのカメラと、車両の車体の他方側の中央領域に配置された少なくとも１つのカメラとが含まれ、あるいは、上記マルチカメラには、車両のヘッドに配置された少なくとも１つのカメラと、車両のテールに配置された少なくとも１つのカメラと、車両の車体の一方側の前半部領域及び後半部領域にそれぞれ配置された少なくとも２つのカメラと、車両の車体の他方側の前半部領域及び後半部領域にそれぞれ配置された少なくとも２つのカメラとが含まれてよい。

例えば、実際の応用では、長さ及び幅が大きい車両の場合、撮像範囲が車両の周りをカバーできることを確保するために、車両のヘッド、テール及び各側にそれぞれ２つのカメラを配置し、車両の周囲に合計で８つのカメラを配置することができる。長さが大きい車両の場合、撮像範囲が車両の周りをカバーできることを確保するために、車両のヘッド及びテールにそれぞれ１つのカメラを配置し、車両の各側にそれぞれ２つのカメラを配置し、車両の周囲に合計で６つのカメラを配置することができる。長さ及び幅が小さい車両の場合、撮像範囲が車両の周りをカバーできることを確保するために、車両のヘッド、テール及び各側にそれぞれ１つのカメラを配置し、車両の周囲に合計で４つのカメラを配置することができる。

いくつかの実施形態では、上記マルチカメラは、少なくとも１つの魚眼カメラ、及び／又は、少なくとも１つの非魚眼カメラを含んでよい。

ここで、魚眼カメラは、焦点距離が１６ｍｍ以下で、画角が通常、９０°を超え、ひいては１８０°に近い又は等しいレンズであり、極端な広角レンズである。魚眼カメラを用いる場合、画角範囲が広いという利点を有し、魚眼カメラを用いる場合、少ないカメラを配置することで広範囲のシーンを撮影することが可能となる。

一選択可能な例では、動作１０２は、メモリに記憶された対応する命令をプロセッサが呼び出すことによって実行されてもよいし、プロセッサによって実行される第１の取得モジュールによって実行されてもよい。

１０４．各入力画像の輝度補償情報に基づいてそれぞれ入力画像を輝度補償する。

本開示の実施例では、画像を輝度補償し、すなわち、画像における各画素点の画素値を調整して画像の輝度における視覚効果を調整する。

一選択可能な例では、動作１０４は、メモリに記憶された対応する命令をプロセッサが呼び出すことによって実行されてもよいし、プロセッサによって実行される補償モジュールによって実行されてもよい。

１０６．輝度補償された入力画像を繋ぎ合わせ処理して繋ぎ合わせ画像を得る。

一選択可能な例では、動作１０６は、メモリに記憶された対応する命令をプロセッサが呼び出すことによって実行されてもよいし、プロセッサによって実行される繋ぎ合わせモジュールによって実行されてもよい。

上記実施例によれば、マルチカメラによって対応して収集された複数枚の入力画像を繋ぎ合わせる場合、繋ぎ合わせ対象となる当該複数枚の入力画像のそれぞれの輝度補償情報を取得し、各入力画像の輝度補償情報に基づいてそれぞれ入力画像を輝度補償し、輝度補償された入力画像を繋ぎ合わせ処理して繋ぎ合わせ画像を得る。本開示の実施例では、繋ぎ合わせ対象となる複数枚の入力画像を輝度補償することにより、繋ぎ合わせ対象となる画像の全局的な輝度補償を実現し、異なるカメラが配置された環境の光線の違い及び露光の違いによる繋ぎ合わせ対象となる複数枚の入力画像の輝度の違いにより繋ぎ合わせ画像に繋ぎ合わせの跡が生じることを解消することができるため、繋ぎ合わせ画像に示される視覚効果が向上され、当該繋ぎ合わせ画像に基づく様々な応用効果に寄与することになり、例えば、本開示の実施例が車両に適用される場合、得られた車両の運転環境を表示するための繋ぎ合わせ画像は、インテリジェント運転制御の精度の向上に寄与する。

いくつかの実施形態では、上記動作１０２は、上記複数枚の入力画像間の重畳領域に基づいて、当該複数枚の入力画像のそれぞれの輝度補償情報を決定することを含んでよい。

いくつかの実施形態では、各入力画像の輝度補償情報は、輝度補償された各入力画像間の輝度差を予め設定された輝度許容範囲内に収めるために用いられる。

あるいは、いくつかの実施形態では、各入力画像の輝度補償情報は、輝度補償された重畳領域ごとに２枚の入力画像の画素値の差分の和を、最小にする又は予め設定された誤差値よりも小さくするために用いられる。

重畳領域の撮影対象は同一であるため、輝度の比較が可能となり、本開示の実施例では、重畳領域に基づいて入力画像の輝度補償情報を決定するため、精度が高いようになり、輝度補償された各入力画像間の輝度差を予め設定された輝度許容範囲内に収める、あるいは、重畳領域ごとに２枚の入力画像の画素値の差分の和を、最小にするまたは予め設定された誤差値よりも小さくすることにより、繋ぎ合わせ画像における異なる入力画像が環境光線の違い及びカメラの露光の違いにより重畳領域に繋ぎ合わせ跡を生じることを軽減又は回避し、視覚効果を向上させることができる。

いくつかの実施形態では、上記動作１０４は、以下のことを含んでよい。

それぞれ出力領域における各出力ブロックについて、出力ブロックに対応する入力画像における入力画像ブロックを取得する。ここで、ある出力ブロックに対応する入力画像ブロックが隣接する入力画像間の重畳領域に属する場合、この動作において、当該出力ブロックに対応する、重畳領域を有するすべての入力画像における入力画像ブロックを取得し、重畳領域の入力画像ブロックの重ね合わせ及び繋ぎ合わせを実現する。

輝度補償された入力画像ブロックの位置する入力画像の輝度補償情報に基づいて当該入力画像ブロックを輝度補償する。

本開示の実施例では、出力領域は、繋ぎ合わせ画像の出力領域であり、出力ブロックは、当該出力領域における１つのブロックである。図２は、本開示の実施例における６枚の入力画像に対応する繋ぎ合わせ画像の領域の例示図である。図２における６枚の入力画像はそれぞれ、繋ぎ合わせ画像の出力領域（１）～（６）に対応し、当該６枚の入力画像はそれぞれ、車両の周り（例えば、車両の前方、後方、左側中前部、左側中後部、右側中前部、右側中後部に分布する）に配置されたカメラにより収集して取得されたものである。

一選択可能な例では、出力ブロックは正方形であってもよく、出力ブロックの辺長は、２のＮ乗であってもよい。例えば、図２では、出力ブロックのサイズは、後続の計算を容易にするために３２×３２である。

本開示の実施例では、入力ブロック、出力ブロック、入力画像ブロック、出力画像ブロックのサイズ単位は、画像データの読み取りや処理を容易にするために、画素であってもよい。

いくつかの選択可能な例では、上記出力ブロックに対応する入力画像における入力画像ブロックを取得することは、以下の形態により実現され得る。

出力ブロックの座標情報に対応する入力画像における入力画像ブロックの位置情報を取得する。当該位置情報は、例えば、入力画像ブロックのサイズ及びオフセットアドレスを含んでよい。入力画像ブロックのサイズ及びオフセットアドレスに基づいて入力画像における入力画像ブロックの位置を決定することができる。

入力画像ブロックの位置情報に基づいて、対応する入力画像から入力画像ブロックを取得する。

画像は、赤緑青（ＲＧＢ）の３つのチャンネルを有するので、本開示のいくつかの実施形態では、各入力画像の各チャンネルはそれぞれ、１つの輝度補償情報を有し、各チャンネルにおいて、繋ぎ合わせ対象となる複数枚の入力画像の輝度補償情報は、当該チャンネルの輝度補償情報の群を形成する。それに応じて、この実施形態では、入力画像ブロックの位置する入力画像の輝度補償情報に基づいて入力画像ブロックを輝度補償することは、入力画像ブロックの各チャンネルのそれぞれについて、入力画像の当該チャンネルでの輝度補償情報で当該入力画像ブロックの各画素のチャンネルでの画素値との乗算処理を行う、すなわち、入力画像ブロックの各画素の当該チャンネルでの画素値を当該入力画像ブロックの位置する入力画像の当該チャンネルでの輝度補償情報と乗算することを含んでよい。

また、本開示の別の実施例では、入力画像ブロックの位置する入力画像の輝度補償情報に基づいて当該入力画像ブロックを輝度補償した後、輝度補償された入力画像ブロックに基づいて当該出力ブロックにおける出力画像ブロックを取得することをさらに含んでよい。それに応じて、この実施例では、輝度補償された入力画像を繋ぎ合わせ処理して繋ぎ合わせ画像を得ることは、各出力画像ブロックを繋ぎ合わせて繋ぎ合わせ画像を得ることを含んでよい。

いくつかの実施形態では、輝度補償された入力画像ブロックに基づいて出力ブロックにおける出力画像ブロックを取得することは、以下のことを含んでよい。

出力ブロックにおける各画素点の座標及び対応する入力画像ブロックにおける座標に基づいて、補間アルゴリズム（例えば、バイリニア補間アルゴリズム）によって、当該対応する入力画像ブロックを補間して当該出力ブロックにおける出力画像ブロックを得る。本開示の実施例は、補間アルゴリズムの具体的な表現形態を限定しない。

例えば、出力ブロックにおける各画素点の座標及び対応する入力画像ブロックにおける座標に基づいて、出力ブロックの注目画素点１に対応する入力画像ブロックにおける４つの関連画素の座標をそれぞれｘ（ｎ）ｙ（ｍ）、ｘ（ｎ＋１）ｙ（ｍ）、ｘ（ｎ）ｙ（ｍ＋１）、ｘ（ｎ＋１）ｙ（ｍ＋１）として決定することができる。入力画像ブロックにおいて４つの座標における画素の画素値に基づいて、バイリニア補間アルゴリズムによって出力画像の注目画素１の画素値を算出することができる。対応する画素点の画素値に基づいて補間処理を行うことにより、注目画素点の画素値をより正確にし、出力画像をよりリアルにすることができる。

ここで、出力ブロックに対応する入力画像における入力画像ブロックが重畳領域に属する場合、入力画像ブロックを補間して出力画像ブロックを得ることは、当該出力ブロックに対応する各入力画像ブロックのそれぞれを補間し、出力ブロックに対応するすべての補間された入力画像ブロックを重ね合わせて出力画像ブロックを得ることを含んでもよい。

いくつかの選択可能な例では、出力ブロックに対応するすべての補間された入力画像ブロックを重ね合わせることは、以下のことを含んでよい。

各補間された入力画像ブロックの各チャンネルのそれぞれについて、各画素点の少なくとも２つの異なる解像度における画素値の平均値、加重値、または加重平均値を取得する。ただし、少なくとも２つの異なる解像度は、補間された入力画像ブロックの解像度と、補間された入力画像ブロックの解像度よりも低い少なくとも１つの低い解像度とを含み、例えば、補間された入力画像ブロックの解像度が３２×３２である場合、ここの少なくとも２つの異なる解像度は、３２×３２、１６×１６、８×８及び４×４を含んでよく、すなわち、各画素点の３２×３２、１６×１６、８×８及び４×４の解像度における画素値の平均値、加重値、または加重平均値を取得する。ここで、１つの画素点の３２×３２、１６×１６、８×８及び４×４の解像度における画素値の平均値は、当該画素点の３２×３２、１６×１６、８×８及び４×４の解像度における画素値の和の平均値である。１つの画素点の３２×３２、１６×１６、８×８及び４×４の解像度における画素値の重み係数をＡ、Ｂ、Ｃ、Ｄとすると、１つの画素点の３２×３２、１６×１６、８×８及び４×４の解像度における画素値の加重値は、当該画素点の３２×３２、１６×１６、８×８及び４×４の解像度における画素値のそれぞれと対応する重み係数Ａ、Ｂ、Ｃ、Ｄのそれぞれとの積の和である。１つの画素点の３２×３２、１６×１６、８×８及び４×４の解像度における画素値の加重平均値は、当該画素点の３２×３２、１６×１６、８×８及び４×４の解像度における画素値のそれぞれと対応する重み係数Ａ、Ｂ、Ｃ、Ｄのそれぞれとの積の和の平均値である。

出力ブロックに対応するすべての補間された入力画像ブロックについて、各チャンネルごとに各画素点の画素値の平均値、加重値、または加重平均値の加重重ね合わせを行う。ただし、加重重ね合わせとは、各画素点の画素値の平均値、加重値、または加重平均値に、対応する予め設定された重み係数をそれぞれ乗算して重ね合わせることを意味する。

上記実施例によれば、重畳領域について、出力ブロックに対応するすべての補間された入力画像ブロックを重ね合わせる場合、各画素点の画素値の平均値、加重値、または加重平均値の加重重ね合わせを行うことができるため、重畳領域における継ぎ目の発生が解消され、表示効果が最適化される。

本開示の画像繋ぎ合わせ方法の別の実施例では、以下のことを含んでもよい。

上記マルチカメラによって対応して収集された複数枚の収集画像から繋ぎ合わせ画像への各段変換情報に基づいて、融合変換情報を取得する。ここの各段変換情報は例えば、レンズ歪み除去情報、画角変換情報、レジストレーション情報を含んでよい。

ここで、レンズ歪み除去情報は、魚眼カメラで撮像された入力画像に対する魚眼歪み除去情報、及び／又は、非魚眼カメラで撮像された入力画像に対する歪み除去情報を含む。

魚眼カメラ又は非魚眼カメラで撮像された入力画像には歪みが存在する可能性があるので、レンズ歪み除去情報により、様々な魚眼カメラ又は非魚眼カメラで撮像された入力画像を歪み除去することができる。

いくつかの選択可能な形態では、融合変換情報は、融合変換関数として表すことができる。

以下、それぞれ魚眼歪み除去情報、画角変換情報、レジストレーション情報を説明する。

１）魚眼歪み除去情報
魚眼歪み除去情報は、入力画像に対して魚眼歪み除去動作をするために用いられる。当該魚眼歪み除去情報は、魚眼歪み除去関数という関数として表すことができ、魚眼歪み除去関数に基づいて入力画像のある画素点に対して魚眼歪み除去動作を行った座標は、以下のように示される。

式（１）
ｆ１は、魚眼歪み除去関数である。入力画像に対して画素点毎に上記式（１）に基づいて魚眼歪み除去動作を行うと、魚眼歪み除去された画像が得られる。
魚眼歪み除去動作前の入力画像のある画素点の座標を（ｘ０，ｙ０）とすると、半径ｒは、以下のように示される。

式（２）
まず、以下の式（３）によって逆増幅関数Ｍを求める。

式（３）
ただし、

式（４）
ただし、ｋは、カメラの歪みの程度に関する定数であり、カメラの広角レンズの角度に基づいて決定することができる。
魚眼歪み除去関数に基づいて上記画素点に対して魚眼歪み除去動作を行った座標は、以下のように示される。

式（５）

２）画角変換情報
繋ぎ合わせ画像の画角については、通常、鳥瞰図、正面図、または背面図であり、画角変換情報により、魚眼歪み除去された画像を画角変換し、魚眼歪み除去された画像を繋ぎ合わせ画像に必要な画角に変換することができる。画角変換情報は、画角変換関数として表すことができ、画角変換関数によって魚眼歪み除去された画像における上記画素点を画角変換した座標は、以下のように示される。

式（６）
ただし、ｆ２は、画角変換関数である。同様に、魚眼歪み除去された画像を、画素毎に変換して得られた座標に基づいて写像すると、対応する画角変換された画像を得ることができる。本開示の実施例では、以下の方法により画角変換された画像のある画素点の座標写像関係を取得することができる。
画角変換前の画像における上記画素点の座標を（ｘ１，ｙ１）とし、画角変換された３次元座標を（ｘ２，ｙ２，ｚ２）とすると、

式（７）

式（８）
となる。
繋ぎ合わせ画像における上記画素点の座標を（ｘ，ｙ）とすると、

式（９）
となる。
上記式（９）に示す方程式系には、ａ１１、ａ１２、ａ１３、ａ２１、ａ２２、ａ２３、ａ３１、ａ３２、ａ３３、ｘ、ｙの８つの未知数がある。４群の画角変換前の画像から画角変換後の画像への同一の画素点の座標の写像関係に基づいて、上記８つの未知数の数値を取得することができる。

３）レジストレーション情報
画像の繋ぎ合わせ中に、画角変換された重畳領域を有する画像を位置上で２つずつレジストレーションする必要がある。複数枚の入力画像を繋ぎ合わせる場合、そのうちのいずれかの入力画像に対応する画角変換された画像を基準画像として選択し、画角変換された重畳領域を有する画像を２つずつレジストレーションする。その後、基準画像によってレジストレーションされた画像を基準画像として順次選択する。重畳領域を有する２枚の画像をレジストレーションする場合は、予め設定された特徴抽出アルゴリズム、例えばスケール不変特徴変換（ＳＩＦＴ）アルゴリズムを用いて、これらの２枚の画像の重畳領域の特徴点を抽出し、そして、予め設定されたマッチングアルゴリズム、例えばランダムサンプルコンセンサス（Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ、ＲＡＮＳＡＣ）アルゴリズムを用いて、抽出された２枚の画像の、通常複数のペアがある特徴点をペアリングし、さらに、ペアになっている点の座標によって、２枚の画像における非基準画像から基準画像までのアフィン変換行列

を算出することができる。

本開示のいくつかの実施例では、レジストレーション情報は、レジストレーション関数として表すことができ、このレジストレーション関数に基づいて、非基準画像から基準画像への同一の画素点の座標写像関係を得ることができる。

式（１０）
ただし、ｆ３は、アフィン変換行列に対応するレジストレーション関数である。ここで、アフィン変換は、２次元座標変換であり、１つの画素点のアフィン変換前の座標を（ｘ２，ｙ２）とし、アフィン変換前の座標を（ｘ，ｙ）とすると、アフィン変換の座標形式は、以下のように示される。

式（１１）

式（１２）

上記した魚眼歪み除去、画角変換、レジストレーション（アフィン変換）は、いずれも線形変換であるため、本開示の実施例では、魚眼歪み除去、画角変換、レジストレーション（アフィン変換）という３つの動作を融合する、すなわち、３つの座標変換情報の融合変換関数ｆ４を求めることができる。そのようにして、融合変換された上記画素点の座標は、ｐ（ｘ，ｙ）＝ｆ４（ｘ０，ｙ０）として表すことができる。当該融合変換関数に基づいて、繋ぎ合わせ画像のある画素点の元入力画像における対応する座標値を得ることができる。

本開示の画像繋ぎ合わせ方法の別の実施例では、繋ぎ合わせ情報テーブルを生成する動作を含んでもよい。例えば、以下の形態により実現することができる。

マルチカメラによって対応して収集された複数枚の収集画像から繋ぎ合わせ画像への融合変換情報に基づいて、出力ブロックにおける各画素点の座標に対応する収集画像の入力ブロックにおける画素点の座標を取得する。

入力ブロックの位置情報（例えば、サイズ及びオフセットアドレス）、および、入力ブロックが任意の２枚の収集画像の重畳領域に属するか否かを示すための重畳属性情報を取得する。

出力ブロックの順序に従って、繋ぎ合わせ情報テーブルにおいて各出力ブロックの関連情報をそれぞれ１つの情報テーブルブロックによって記録する。いくつかの実施形態では、当該出力ブロックの関連情報は、例えば、出力ブロックの位置情報（例えば、出力ブロックのサイズ、出力ブロックのオフセットアドレス）、出力ブロックに対応する入力ブロックの重畳属性情報、出力ブロックに対応する入力ブロックの属する入力画像の識別子、出力ブロックにおける各画素点の座標に対応する入力ブロックにおける画素点の座標、入力ブロックの位置情報（例えば、入力ブロックのサイズ及び入力ブロックのオフセットアドレス）を含んでよいが、これらに限定されない。

入力ブロックサイズは、入力ブロックの画素点の座標における最大値と最小値との差である。その幅ｗ及び高さｈは、ｗ＝ｘ_ｍａｘ－ｘ_ｍｉｎ、ｈ＝ｙ_ｍａｘ－ｙ_ｍｉｎとして表すことができる。入力ブロックのオフセットアドレスは、ｘ_ｍｉｎ及びｙ_ｍｉｎである。ｘ_ｍａｘは、入力ブロックの画素点の座標におけるｘ座標の最大値であり、ｘ_ｍｉｎは、入力ブロックの画素点の座標におけるｘ座標の最小値であり、ｙ_ｍａｘは、入力ブロックの画素点の座標におけるｙ座標の最大値であり、ｙ_ｍｉｎは、画素点の座標におけるｙ座標の最小値である。

それに応じて、この実施例では、出力ブロックに対応する入力画像における入力画像ブロックを取得することは、繋ぎ合わせ情報テーブルから１つの情報テーブルブロックを順次読み取り、読み取られた情報テーブルブロックに記録されている出力ブロックの関連情報に基づいて、記録されている出力ブロックに対応する入力画像ブロックを取得することを含んでよい。

上記実施例によれば、レンズ歪み除去情報、画角変換情報、レジストレーション情報を１つの融合変換情報に融合することができ、当該融合変換情報に基づいて、入力画像と繋ぎ合わせ画像との画素点の座標の対応関係を直接算出することができ、それにより、入力画像に対する歪み除去動作、画角変換動作及びレジストレーション動作を１つの動作によって実現することができるので、算出プロセスが簡略化され、処理速度及び効率が向上される。

いくつかの実施形態では、コンピューティングチップによる読み取りを容易にするために、各画素点の座標を定量化することができ、例えば、画素点のｘ座標及びｙ座標をそれぞれ８ｂｉｔの整数及び４ｂｉｔの小数に定量化することにより、座標で示されるデータのサイズを節約できるだけでなく、比較的正確な座標位置を示すこともできる。例えば、入力画像ブロックにおける１つの画素点の座標が（１２９．１２３４、２１０．４３２１）である場合、定量化された座標は、（１０００００１．００１０、１１０１００１０．０１１１）として表すことができる。

上記マルチカメラのうちいずれか１つ以上のカメラの位置及び／又は方向が変わると、融合変換情報が変わる可能性があり、融合情報に基づいて生成された繋ぎ合わせ情報テーブルにおける情報が変わる可能性もある。そのため、本開示のさらなる実施例では、上記マルチカメラのうちいずれか１つ以上のカメラの位置及び／又は方向の変化に応じて、融合変換情報を再取得し、繋ぎ合わせ情報テーブルを再生成する。すなわち、マルチカメラによって対応して収集された複数枚の収集画像から繋ぎ合わせ画像への各段変換情報に基づいて融合変換情報を取得する動作と、マルチカメラによって対応して収集された複数枚の収集画像から繋ぎ合わせ画像への融合変換情報に基づいて、出力ブロックにおける各画素点の座標に対応する収集画像の入力ブロックにおける画素点の座標を取得する動作と、入力ブロックの位置情報、および、入力ブロックが任意の２枚の収集画像の重畳領域に属するか否かを示すための重畳属性情報を取得する動作と、出力ブロックの順序に従って、繋ぎ合わせ情報テーブルにおいて各出力ブロックの関連情報をそれぞれ１つの情報テーブルブロックによって記録する動作とを再実行する。

また、本開示の画像繋ぎ合わせ方法の別の実施例では、マルチカメラで収集された複数枚の収集画像間の重畳領域に基づいて、当該複数枚の収集画像のそれぞれの輝度補償情報を取得して繋ぎ合わせ情報テーブル、又は繋ぎ合わせ情報テーブルの各情報テーブルブロックに記憶することを含んでもよい。

それに応じて、この実施例では、繋ぎ合わせ対象となる複数枚の入力画像のそれぞれの輝度補償情報を取得することは、繋ぎ合わせ情報テーブル又は情報テーブルブロックから同一のカメラで収集された収集画像の輝度補償情報を対応する入力画像の輝度補償情報としてそれぞれ取得することにより実現することができる。

本開示のさらなる実施例では、以下のことを含んでもよい。上記マルチカメラが配置された環境における光線の変化が所定の条件を満たす場合、例えば、上記マルチカメラが配置された環境における光線の変化が予め設定された数値よりも大きい場合、複数枚の収集画像のそれぞれの輝度補償情報を再取得するようにし、すなわち、マルチカメラで収集された複数枚の収集画像間の重畳領域に基づいて、複数枚の収集画像のそれぞれの輝度補償情報を取得する動作と、今回取得した各収集画像の輝度補償情報で繋ぎ合わせ情報テーブルにおける各収集画像の輝度補償情報を更新する動作とを再実行するようにする。

いくつかの実施形態では、マルチカメラによって収集された複数枚の収集画像間の重畳領域に基づいて、複数枚の収集画像のそれぞれの輝度補償情報を取得することは、以下のことを含んでよい。

輝度補償された上記複数枚の収集画像間の重畳領域ごとに２枚の収集画像の画素値の差分の和が最小となるように、複数枚の収集画像のそれぞれの輝度補償情報を取得する。

各カラー画像はそれぞれ、赤緑青（ＲＧＢ）の３つのチャンネルを有し、いくつかの実施形態では、それぞれ収集画像の各チャンネルについて、輝度補償された複数枚の収集画像間の重畳領域ごとに２枚の収集画像のチャンネルでの画素値の差分の和が最小となるように、上記複数枚の収集画像のそれぞれのチャンネルでの輝度補償情報を取得する。すなわち、この実施例では、収集画像の各チャンネル、例えば、Ｒチャンネル、Ｇチャンネル、Ｂチャンネルに対応して、それぞれ、上記複数枚の収集画像のそれぞれの当該チャンネルでの輝度補償情報を含む１群の輝度補償情報を取得する。この実施例によれば、上記複数枚の収集画像のそれぞれのＲチャンネル、Ｇチャンネル、Ｂチャンネルでの３群の輝度補償情報を取得することができる。

例えば、一選択可能な例では、上記複数枚の収集画像間の重畳領域ごとに２枚の収集画像の画素値の差分の和を予め設定された誤差関数で示すことができるため、当該誤差関係の関数値が最小となるときの各収集画像の輝度補償情報を取得することができる。ここで、当該誤差関数は、同一の重畳領域を有する収集画像の輝度補償情報と重畳領域における少なくとも１つの画素点の画素値との関数である。

いくつかの選択可能な例では、それぞれ収集画像の各チャンネルについて、誤差関数の関数値が最小となるときに各収集画像のチャンネルでの輝度補償情報を取得することにより、誤差関数の関数値が最小するときの各収集画像の輝度補償情報を取得することができる。この実施例では、誤差関数は、同一の重畳領域を有する収集画像の輝度補償情報と重畳領域における少なくとも１つの画素点のチャンネルでの画素値との関数である。

例えば、一選択可能な例では、図２に示す６枚の繋ぎ合わせ対象となる入力画像について、その１つのチャンネルでの誤差関数は、以下のように示される。

式（１３）
ただし、ａ１、ａ２、ａ３、ａ４、ａ５、ａ６はそれぞれ、当該６枚の入力画像の当該チャンネルでの輝度補償情報（輝度補償係数ともいう）を示し、ｐ１、ｐ２、ｐ３、ｐ４、ｐ５、ｐ６はそれぞれ、当該チャンネルに対応する当該６枚の入力画像の画素値（すなわち、Ｒ成分、Ｇ成分、Ｂ成分）の平均値を示す。ｅ（ｉ）の関数値が最小となる場合、当該６枚の入力画像の当該チャンネルでの視覚的差異が最小である。また、本開示の実施例では、上記式（１３）に示す形態に限定されず、他の形態の誤差関数を採用してもよい。

ここで、以下の形態により、１つのチャンネルの誤差関数の関数値を取得することができる。

収集画像の１つのチャンネルについて、同一の重畳領域を有する２枚の収集画像ごとに重畳領域における画素値の加重差分値の絶対値の和、又は、同一の重畳領域を有する２枚の収集画像ごとに重畳領域における画素値の加重差分値の自乗値の和をそれぞれ取得する。

ここで、２枚の収集画像の重畳領域における画素値の加重差分値は、第１の積と第２の積との差分値を含む。第１の積は、第１の収集画像の輝度補償情報と第１の収集画像の重畳領域における少なくとも１つの画素点の画素値の和との積を含む。第２の積は、第２の収集画像の輝度補償情報と第２の収集画像の重畳領域における少なくとも１つの画素点の画素値の和との第２の積を含む。

本開示の上記実施例によれば、繋ぎ合わせ情報テーブルにおいてすべての出力ブロックの関連情報を記録してから、当該繋ぎ合わせ情報テーブルに基づいて画像繋ぎ合わせを行うと、当該繋ぎ合わせ情報テーブルをメモリに読み込むとともに、マルチカメラによってリアルタイム又は予め設定された周期で収集された繋ぎ合わせ対象となる複数枚の入力画像をメモリに読み込むことにより、適用中に当該繋ぎ合わせ情報テーブル及び入力画像を容易に読み取ることができる。

繋ぎ合わせ情報テーブルを１回だけ生成すれば、直接検索して画像繋ぎ合わせを行うことができるが、光線が変わる及び／又はカメラの位置／方向が変わる場合のみに更新する必要があるため、画像繋ぎ合わせに必要な時間を短縮することができ、低遅延や大スループットの利点を有し、繋ぎ合わせ画像の処理効率を向上させ、スマートカーのサラウンドビュースプライシングのリアルタイム性要件を満たし、繋ぎ合わせ映像の表示フレームレート及び解像度を向上させることができる。

一つの可能な実施形態では、メモリは、ＤＤＲ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ、ダブルレート）メモリなどの様々なタイプのメモリであり得る。

図３は、本開示の画像繋ぎ合わせ方法の別の実施例のフローチャートである。図３に示すように、当該実施例の画像繋ぎ合わせ方法は、以下のことを含む。

２０２．繋ぎ合わせ対象となる複数枚の入力画像の重畳領域に基づいて、当該複数枚の入力画像のそれぞれの輝度補償情報を決定する。

一選択可能な例では、当該動作２０２は、メモリに記憶された対応する命令をプロセッサが呼び出すことによって実行されてもよいし、プロセッサによって実行される第１の取得モジュールによって実行されてもよい。

２０４．それぞれ繋ぎ合わせ画像の対応する領域における各出力ブロックについて、出力ブロックに対応する入力画像における入力画像ブロックを取得する。

出力ブロックに対応する入力画像ブロックが重畳領域に属する場合、当該出力ブロックに対応する、重畳領域を有するすべての入力画像における入力画像ブロックを取得する。

一選択可能な例では、当該動作２０４は、メモリに記憶された対応する命令をプロセッサが呼び出すことによって実行されてもよいし、プロセッサによって実行される第２の取得モジュールによって実行されてもよい。

２０６．入力画像ブロックの位置する入力画像の輝度補償情報に基づいて当該入力画像ブロックを輝度補償する。

一選択可能な例では、当該動作２０６は、メモリに記憶された対応する命令をプロセッサが呼び出すことによって実行されてもよいし、プロセッサによって実行される補償モジュールによって実行されてもよい。

２０８．輝度補償された入力画像ブロックに基づいて当該出力ブロックにおける出力画像ブロックを取得する。

出力ブロックに対応する入力画像における入力画像ブロックが重畳領域に属する場合、さらに、それぞれ出力画像ブロックの各チャンネルについて、各画素点の少なくとも２つの異なる解像度における画素値の平均値、加重値、または加重平均値を取得し、各画素点の画素値の平均値、加重値、または加重平均値の加重重ね合わせを行って、出力画像ブロックを得ることができる。少なくとも２つの異なる解像度は、補間された入力画像ブロックの解像度と、補間された入力画像ブロックの解像度よりも低い少なくとも１つの低い解像度とを含む。

一選択可能な例では、当該動作２０８は、メモリに記憶された対応する命令をプロセッサが呼び出すことによって実行されてもよいし、プロセッサによって実行される第３の取得モジュールによって実行されてもよい。

２１０．繋ぎ合わせ画像の対応する領域におけるすべての出力画像ブロックを繋ぎ合わせて繋ぎ合わせ画像を得る。

一選択可能な例では、当該動作２１０は、メモリに記憶された対応する命令をプロセッサが呼び出すことによって実行されてもよいし、プロセッサによって実行される繋ぎ合わせモジュールによって実行されてもよい。

この実施例によれば、ブロック処理の方式を用いて各出力画像ブロックをそれぞれ取得する場合、フルパイプラインを使用して入力画像の処理を高速化できるため、処理遅延がとても小さく、スループットが大きく、映像繋ぎ合わせのリアルタイム性要件を満たすことができる。

図４は、本開示の画像繋ぎ合わせ方法の別の実施例のフローチャートである。この実施例では、繋ぎ合わせ情報テーブルを予め生成しておくことを例として、本開示の実施例の画像繋ぎ合わせ方法についてさらに説明する。図４に示すように、この実施例の画像繋ぎ合わせ方法は、以下のことを含む。

３０２．メモリにおける繋ぎ合わせ情報テーブルから１つの情報テーブルブロックを順次読み取ってコンピューティングチップに読み込み、読み取られた情報テーブルブロックに記録されている出力ブロックの関連情報に基づいて、メモリから記録されている出力ブロックに対応する入力画像ブロックを取得してコンピューティングチップに読み込む。

当該読み取られた情報テーブルブロックに記録されている出力ブロックの関連情報に基づいて、出力ブロックに対応する入力画像における入力画像ブロックが重畳領域に属する場合、メモリから当該出力ブロックに対応する、重畳領域を有するすべての入力画像における入力画像ブロックを取得してコンピューティングチップに読み込む。

一選択可能な例では、当該動作３０２は、メモリに記憶された対応する命令をプロセッサが呼び出すことによって実行されてもよいし、プロセッサによって実行される第２の取得モジュールによって実行されてもよい。

３０４．コンピューティングチップに読み込まれた各入力画像ブロックの各チャンネルのそれぞれについて、入力画像の当該チャンネルでの輝度補償情報で当該入力画像ブロックにおける各画素を輝度補償する。すなわち、各画素の当該チャンネルでの画素値を乗算処理する。

一選択可能な例では、当該動作３０４は、メモリに記憶された対応する命令をプロセッサが呼び出すことによって実行されてもよいし、プロセッサによって実行される補償モジュールによって実行されてもよい。

３０６．コンピューティングチップに読み込まれた情報テーブルブロックに記録されている出力ブロックの関連情報に基づいて、出力ブロックに対応する入力画像における入力画像ブロックが重畳領域に属するか否かを決定する。

出力ブロックに対応する入力画像における入力画像ブロックが重畳領域に属する場合、動作３０８を実行する。そうでなければ、出力ブロックに対応する入力画像における入力画像ブロックが重畳領域に属しない場合、動作３１４を実行する。

３０８．出力ブロックに対応する各入力画像ブロックのそれぞれについて、当該出力ブロックにおける各画素点の座標及び対応する入力画像ブロックにおける座標を取得して当該入力画像ブロックを補間する。

３１０．各補間された入力画像ブロックの各チャンネルのそれぞれについて、各画素点の少なくとも２つの異なる解像度における画素値の平均値、加重値、または加重平均値を取得する。

ここで、少なくとも２つの異なる解像度は、補間された入力画像ブロックの解像度と、補間された入力画像ブロックの解像度よりも低い少なくとも１つの低い解像度とを含む。

３１２．出力ブロックに対応するすべての補間された入力画像ブロックについて、各チャンネルごとに各画素点の画素値の平均値、加重値、または加重平均値の加重重ね合わせを行って出力画像ブロックを得る。

その後、動作３１６を実行する。

３１４．当該出力ブロックにおける各画素点の座標及び対応する入力画像ブロックにおける座標を取得し、当該入力画像ブロックを補間して出力画像ブロックを得る。

３１６．得られた出力画像ブロックをメモリに順次書き戻す。

一選択可能な例では、当該動作３０６～３１６は、メモリに記憶された対応する命令をプロセッサが呼び出すことによって実行されてもよいし、プロセッサによって実行される第３の取得モジュールによって実行されてもよい。

３１８．繋ぎ合わせ情報テーブルに対応する１つの繋ぎ合わせ画像領域のすべての出力画像ブロックがメモリに書き戻されたことに応じて、メモリにおけるすべての出力画像ブロックについて繋ぎ合わせて繋ぎ合わせ画像を得る。

一選択可能な例では、当該動作３１８は、メモリに記憶された対応する命令をプロセッサが呼び出すことによって実行されてもよいし、プロセッサによって実行される繋ぎ合わせモジュールによって実行されてもよい。

いくつかの実施形態では、上記コンピューティングチップは例えば、フィールド・プログラマブル・ゲート・アレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔａ Ａｒｒａｙ、ＦＰＧＡ）であってもよい。コンピューティングチップがＦＰＧＡである場合、動作３０２において、メモリにおける繋ぎ合わせ情報テーブルから１つの情報テーブルブロックを順次読み取ってＦＰＧＡのキャッシュに記憶しておくことができる。動作３０４～３１４において、ＦＰＧＡのキャッシュデータを処理する。

上記実施例によれば、ＦＰＧＡの内部でフルパイプラインを用いて画像の処理を高速化することができるため、処理遅延がとても小さく、スループットが大きく、映像繋ぎ合わせのリアルタイム性要件を満たすことができる。

車両に配置されたマルチカメラで撮像された入力画像は、サイズが大きく、かつリアルタイムで撮像されたものであるため、繋ぎ合わせ情報テーブルに記憶されるデータ量も大きくなる一方、ＦＰＧＡは、キャッシュが小さいが、ブロック読み取りの方式に従って、メモリから情報テーブルブロック及び対応する入力画像ブロックをキャッシュに読み取ってから処理するため、画像の並列処理効率が向上される。

出力ブロックの領域が小さいと、メモリの帯域幅使用率が低い一方、ＦＰＧＡの内部キャッシュ容量が限られているため、出力ブロックの領域を大きくしすぎてはいけない。本開示の実施例では、効率とＦＰＧＡのキャッシュサイズとを同時に考慮して出力ブロックのサイズを決定でき、一選択可能な例では、出力ブロックのサイズは、３２×３２画素である。

繋ぎ合わせ画像における画素点の座標は、局所的な離散状で元入力画像における画素点の座標に対応しているため、１ラインの出力画像は、カメラで収集された同一の入力画像において１ラインにならない。ラインバッファとは、画像を１ラインずつ処理する際に、処理効率を向上させるために使用される先入れ先出し（ＦＩＦＯ）技術のことであり、従来のラインバッファ方式では、１ラインの出力画像に対応する入力に多くのラインの入力画像があるため、大量のライン入力画像を読み込んでしまい、しかし、多くの画素が使用されないため、必然的にメモリ帯域の利用率が低くなり、処理効率が低下することに繋がる。本開示の実施例では、ブロック処理の方式を提案しており、繋ぎ合わせ画像の領域をまずブロック化し、それに対応する入力画像及び繋ぎ合わせ情報テーブルもブロック化する。ＦＰＧＡは画像繋ぎ合わせを行う際にメモリ内の入力画像ブロック及び情報テーブルブロックを少しずつ読み取って処理するので、ＦＰＧＡのキャッシュデータ量を節約し、画像繋ぎ合わせの処理効率を向上させることができる。

また、本開示の上記実施例によれば、繋ぎ合わせ画像を得た後、以下のことを含んでもよい。

繋ぎ合わせ画像を表示する、又は、繋ぎ合わせ画像に基づいて衝突警報及び／又は運転制御を行う。

本開示の実施例に係るいずれかの画像繋ぎ合わせ方法は、データ処理能力を有する任意の適切な装置により実行されてもよい。その装置としては、端末装置やサーバなどを含むが、これらに限定されない。あるいは、本開示の実施例に係るいずれかの画像繋ぎ合わせ方法は、プロセッサによって実行されてもよい。例えば、プロセッサは、メモリに記憶された対応する命令を呼び出して本開示の実施例に係るいずれかの画像繋ぎ合わせ方法を実行する。以下、このことについて詳しく説明しない。

当業者なら理解できるように、上記方法の実施例の全部又は一部のステップは、プログラムが関連ハードウェアを命令して実現され、前記プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてよく、そのプログラムは実行されると、上記方法の実施例を含むステップを実行し、前記記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスクや光学ディスクなどのプログラムコードを記憶できる様々な媒体を含む。

図５は、本開示の画像繋ぎ合わせ装置の一実施例の構造模式図である。この実施例の画像繋ぎ合わせ装置は、本開示の上記各画像繋ぎ合わせ方法の実施例を実現するために用いられる。図５に示すように、この実施例の画像繋ぎ合わせ装置は、第１の取得モジュールと、補償モジュールと、繋ぎ合わせモジュールとを含む。

第１の取得モジュールは、繋ぎ合わせ対象となる複数枚の入力画像のそれぞれの輝度補償情報を取得することに用いられる。複数枚の入力画像のそれぞれは、マルチカメラによって対応して収集されたものである。

複数枚の入力画像のそれぞれは、機器の異なる箇所に設けられたマルチカメラによって対応して収集されたものである。当該マルチカメラの配置位置及び方向により、当該マルチカメラによって収集された複数枚の入力画像のうち少なくとも２枚の隣接画像間に重畳領域がある、あるいは、２枚の隣接画像間ごとに重畳領域があるようにすることができる。

いくつかの実施形態では、マルチカメラが設けられた上記機器は、車両又はロボット、また、繋ぎ合わせ画像の取得を必要とする機器、例えば、他の交通手段などであってもよい。マルチカメラが設けられた上記機器が車両である場合、車両の長さや幅およびカメラの撮像範囲によっては、上記マルチカメラの数が４～８個であってよい。

よって、いくつかの実施形態では、上記マルチカメラには、車両のヘッドに配置された少なくとも１つのカメラと、車両のテールに配置された少なくとも１つのカメラと、車両の車体の一方側の中央領域に配置された少なくとも１つのカメラと、車両の車体の他方側の中央領域に配置された少なくとも１つのカメラとが含まれ、あるいは、マルチカメラには、車両のヘッドに配置された少なくとも１つのカメラと、車両のテールに配置された少なくとも１つのカメラと、車両の車体の一方側の前半部領域及び後半部領域にそれぞれ配置された少なくとも２つのカメラと、車両の車体の他方側の前半部領域及び後半部領域にそれぞれ配置された少なくとも２つのカメラとが含まれてよい。

いくつかの実施形態では、マルチカメラは、少なくとも１つの魚眼カメラ、及び／又は、少なくとも１つの非魚眼カメラを含んでよい。

補償モジュールは、各入力画像の輝度補償情報に基づいてそれぞれ入力画像を輝度補償することに用いられる。

繋ぎ合わせモジュールは、輝度補償された入力画像を繋ぎ合わせ処理して繋ぎ合わせ画像を得ることに用いられる。

上記実施例によれば、マルチカメラによって対応して収集された複数枚の入力画像を繋ぎ合わせる場合、繋ぎ合わせ対象となる当該複数枚の入力画像のそれぞれの輝度補償情報を取得し、各入力画像の輝度補償情報に基づいてそれぞれ入力画像を輝度補償し、輝度補償された入力画像を繋ぎ合わせ処理して繋ぎ合わせ画像を得る。本開示の実施例では、繋ぎ合わせ対象となる複数枚の入力画像を輝度補償することにより、繋ぎ合わせ対象となる画像の全局的な輝度補償を実現し、異なるカメラが配置された環境の光線の違い及び露光の違いによる繋ぎ合わせ対象となる複数枚の入力画像の輝度の違いにより繋ぎ合わせ画像に繋ぎ合わせの跡が生じることを解消することができるため、繋ぎ合わせ画像に示される視覚効果が向上され、当該繋ぎ合わせ画像に基づく様々な応用効果に寄与することになり、例えば、本開示の実施例が車両に適用される場合、得られた車両の運転環境を表示するための繋ぎ合わせ画像は、インテリジェント運転制御の精度の向上に寄与する。

いくつかの実施形態では、第１の取得モジュールは、複数枚の入力画像における重畳領域に基づいて、複数枚の入力画像のそれぞれの輝度補償情報を決定することに用いられる。

各入力画像の輝度補償情報は、輝度補償された各入力画像間の輝度差を予め設定された輝度許容範囲内に収めることに用いられる。あるいは、各入力画像の輝度補償情報は、輝度補償された重畳領域ごとに２枚の入力画像の画素値の差分の和を、最小にする又は予め設定された誤差値よりも小さくすることに用いられる。

図６は、本開示の画像繋ぎ合わせ装置の別の実施例の構造模式図である。図６に示すように、図５に示す実施例と比べて、この実施例は、各出力ブロックのそれぞれについて、出力ブロックに対応する入力画像における入力画像ブロックを取得するための第２の取得モジュールをさらに含む。それに応じて、この実施例では、補償モジュールは、入力画像ブロックの位置する入力画像の輝度補償情報に基づいて入力画像ブロックを輝度補償することに用いられる。

いくつかの実施形態では、出力ブロックに対応する入力画像における入力画像ブロックが隣接する入力画像間の重畳領域に属する場合、第２の取得モジュールは、出力ブロックに対応する、重畳領域を有するすべての入力画像における入力画像ブロックを取得することに用いられる。

いくつかの実施形態では、第２の取得モジュールは、出力ブロックの座標情報に対応する入力画像における入力画像ブロックの位置情報を取得することと、入力画像ブロックの位置情報に基づいて、対応する入力画像から入力画像ブロックを取得することとに用いられる。

いくつかの実施形態では、補償モジュールは、入力画像ブロックの各チャンネルのそれぞれについて、入力画像のチャンネルでの輝度補償情報で入力画像ブロックにおける各画素のチャンネルでの画素値との乗算処理を行うことに用いられる。

また、再度図６を参照すると、本開示の画像繋ぎ合わせ装置の別の実施例では、輝度補償された入力画像ブロックに基づいて出力ブロックにおける出力画像ブロックを取得するための第３の取得モジュールを含んでもよい。それに応じて、この実施例では、繋ぎ合わせモジュールは、各出力画像ブロックを繋ぎ合わせて繋ぎ合わせ画像を得ることに用いられる。

いくつかの実施形態では、第３の取得モジュールは、出力ブロックにおける各画素点の座標及び対応する入力画像ブロックにおける座標に基づいて、入力画像ブロックを補間して出力ブロックにおける出力画像ブロックを得ることに用いられる。

いくつかの実施形態では、出力ブロックに対応する入力画像ブロックが隣接する入力画像間の重畳領域に属する場合、第３の取得モジュールは、出力ブロックにおける各画素点の座標及び対応する各入力画像ブロックにおける座標に基づいて、出力ブロックに対応する各入力画像ブロックのそれぞれを補間し、出力ブロックに対応するすべての補間された入力画像ブロックを重ね合わせて出力画像ブロックを得ることに用いられる。

一選択可能な例では、第３の取得モジュールは、出力ブロックに対応するすべての補間された入力画像ブロックを重ね合わせる際に、各補間された入力画像ブロックの各チャンネルのそれぞれについて、各画素点の少なくとも２つの異なる解像度における画素値の平均値、加重値、または加重平均値を取得することであって、少なくとも２つの異なる解像度は、補間された入力画像ブロックの解像度と、補間された入力画像ブロックの解像度よりも低い少なくとも１つの低い解像度とを含むことと、出力ブロックに対応するすべての補間された入力画像ブロックについて、各チャンネルごとに各画素点の画素値の平均値、加重値、または加重平均値の加重重ね合わせを行うこととに用いられる。

また、再度図６を参照すると、本開示の画像繋ぎ合わせ装置の別の実施例では、マルチカメラによって対応して収集された複数枚の収集画像から繋ぎ合わせ画像への融合変換情報に基づいて、出力ブロックにおける各画素点の座標に対応する収集画像の入力ブロックにおける画素点の座標を取得するための第４の取得モジュールと、入力ブロックの位置情報、および、入力ブロックが任意の２枚の収集画像の重畳領域に属するか否かを示すための重畳属性情報を取得するための第５の取得モジュールと、出力ブロックの順序に従って、繋ぎ合わせ情報テーブルにおいて各出力ブロックの関連情報をそれぞれ１つの情報テーブルブロックによって記録するための生成モジュールと、繋ぎ合わせ情報テーブルを記憶するための記憶モジュールとを含んでもよい。それに応じて、この実施例では、第２の取得モジュールは、繋ぎ合わせ情報テーブルから１つの情報テーブルブロックを順次読み取り、読み取られた情報テーブルブロックに記録されている出力ブロックの関連情報に基づいて、記録されている出力ブロックに対応する入力画像ブロックを取得することに用いられる。

ここで、出力ブロックの関連情報は例えば、出力ブロックの位置情報、出力ブロックに対応する入力ブロックの重畳属性情報、出力ブロックに対応する入力ブロックの属する入力画像の識別子、出力ブロックにおける各画素点の座標に対応する入力ブロックにおける画素点の座標、入力ブロックの位置情報を含んでよいが、これらに限定されない。

また、再度図６を参照すると、本開示の画像繋ぎ合わせ装置の別の実施例では、マルチカメラによって対応して収集された複数枚の収集画像から繋ぎ合わせ画像への各段変換情報に基づいて、融合変換情報を取得するための第６の取得モジュールを含んでもよい。各段変換情報は例えば、レンズ歪み除去情報、画角変換情報、レジストレーション情報を含んでよいが、これらに限定されない。

ここで、レンズ歪み除去情報は、魚眼カメラで撮像された入力画像に対する魚眼歪み除去情報、及び／又は、非魚眼カメラで撮像された入力画像に対する歪み除去情報を含む。

再度図６を参照すると、本願の画像繋ぎ合わせ装置の別の実施例では、マルチカメラのうちいずれか１つ以上のカメラの位置及び／又は方向が変わる場合に、マルチカメラによって対応して収集された複数枚の収集画像から繋ぎ合わせ画像への融合変換情報に基づいて、出力ブロックにおける各画素点の座標に対応する収集画像の入力ブロックにおける画素点の座標を取得するように第４の取得モジュールに指示し、入力ブロックの位置情報、および、入力ブロックが任意の２枚の収集画像の重畳領域に属するか否かを示すための重畳属性情報を取得するように第５の取得モジュールに指示し、出力ブロックの順序に従って、繋ぎ合わせ情報テーブルにおいて各出力ブロックの関連情報をそれぞれ１つの情報テーブルブロックによって記録するように生成モジュールに指示するための制御モジュールを含んでもよい。

再度図６を参照すると、本開示の画像繋ぎ合わせ装置の別の実施例では、すべての出力ブロックの関連情報を繋ぎ合わせ情報テーブルに記録した後、繋ぎ合わせ情報テーブルをメモリに読み込むことと、マルチカメラで収集された繋ぎ合わせ対象となる複数枚の入力画像をメモリに読み込むこととに用いられる読み取りモジュールを含んでもよい。それに応じて、この実施例では、第２の取得モジュールは、メモリにおける繋ぎ合わせ情報テーブルから１つの情報テーブルブロックを順次読み取ってコンピューティングチップに読み込み、読み取られた情報テーブルブロックに記録されている出力ブロックの関連情報に基づいて、メモリから記録されている出力ブロックに対応する入力画像ブロックを取得してコンピューティングチップに読み込むことに用いられる。コンピューティングチップは、補償モジュールと、繋ぎ合わせモジュールとを含む。繋ぎ合わせモジュールは、取得された出力画像ブロックをメモリに順次書き戻すことと、繋ぎ合わせ情報テーブルに対応する１つの繋ぎ合わせ画像のすべての出力画像ブロックがメモリに書き戻されると、繋ぎ合わせ画像を得ることとに用いられる。

再度図６を参照すると、本開示の画像繋ぎ合わせ装置の別の実施例では、マルチカメラによって収集された複数枚の収集画像間の重畳領域に基づいて、複数枚の収集画像のそれぞれの輝度補償情報を取得して、繋ぎ合わせ情報テーブル又は繋ぎ合わせ情報テーブルの各情報テーブルブロックに記憶するための第７の取得モジュールを含んでもよい。それに応じて、この実施例では、第１の取得モジュールは、繋ぎ合わせ情報テーブル又は情報テーブルブロックから同一のカメラで収集された収集画像の輝度補償情報を、対応する入力画像の輝度補償情報としてそれぞれ取得することに用いられる。

また、さらなる実施例では、制御モジュールはさらに、光線の変化が所定の条件を満たすことを検出すると、マルチカメラによって収集された複数枚の収集画像間の重畳領域に基づいて、複数枚の収集画像のそれぞれの輝度補償情報を取得するように第７の取得モジュールに指示し、今回取得した各収集画像の輝度補償情報で繋ぎ合わせ情報テーブルにおける各収集画像の輝度補償情報を更新することに用いられる。

いくつかの実施形態では、第７の取得モジュールは、輝度補償された複数枚の収集画像間の重畳領域ごとに２枚の収集画像の画素値の差分の和が最小となるように、複数枚の収集画像のそれぞれの輝度補償情報を取得することに用いられる。

いくつかの実施形態では、第７の取得モジュールは、それぞれ収集画像の各チャンネルについて、輝度補償された複数枚の収集画像間の重畳領域ごとに２枚の収集画像のチャンネルでの画素値の差分の和が最小となるように、複数枚の収集画像のそれぞれのチャンネルでの輝度補償情報を取得することに用いられる。

いくつかの実施形態では、第７の取得モジュールは、収集画像の１つのチャンネルについて、同一の重畳領域を有する２枚の収集画像ごとに重畳領域における画素値の加重差分値の絶対値の和、又は、同一の重畳領域を有する２枚の収集画像ごとに重畳領域における画素値の加重差分値の自乗値の和をそれぞれ取得することにより、収集画像の１つのチャンネルについて、複数枚の収集画像間の重畳領域ごとに２枚の収集画像のチャンネルでの画素値の差分の和を取得する。２枚の収集画像の重畳領域における画素値の加重差分値は、第１の積と第２の積との差分値を含み、第１の積は、第１の収集画像の輝度補償情報と第１の収集画像の重畳領域における少なくとも１つの画素点の画素値の和との積を含み、第２の積は、第２の収集画像の輝度補償情報と第２の収集画像の重畳領域における少なくとも１つの画素点の画素値の和との第２の積を含む。

再度図６を参照すると、本開示の画像繋ぎ合わせ装置の別の実施例では、繋ぎ合わせ画像を表示するための表示モジュール、及び／又は、繋ぎ合わせ画像に基づいてインテリジェント運転制御を行うためのインテリジェント運転モジュールを含んでもよい。

図７は、本開示の車載画像処理装置の一実施例の構造模式図である。この実施例の車載画像処理装置は、本開示の上記各画像繋ぎ合わせ方法の実施例を実現するために用いられる。図７に示すように、この実施例の車載画像処理装置は、
繋ぎ合わせ情報テーブルと、それぞれマルチカメラによって対応して収集された複数枚の入力画像とを記憶するための第１の記憶モジュールと、
第１の記憶モジュールから繋ぎ合わせ対象となる複数枚の入力画像のそれぞれの輝度補償情報を取得することと、各出力ブロックのそれぞれについて、第１の記憶モジュールから出力ブロックに対応する入力画像における入力画像ブロックを取得することと、入力画像ブロックの位置する入力画像の輝度補償情報に基づいて入力画像ブロックを輝度補償し、輝度補償された入力画像ブロックに基づいて出力ブロックにおける出力画像ブロックを取得して、取得された出力画像ブロックを第１の記憶モジュールに順次書き戻すことと、繋ぎ合わせ情報テーブルに対応する１つの繋ぎ合わせ画像のすべての出力画像ブロックがメモリに書き戻されたことに応じて、繋ぎ合わせ画像を得ることとに用いられるコンピューティングチップとを含む。

いくつかの実施形態では、繋ぎ合わせ情報テーブルは、少なくとも１つの情報テーブルブロックを含み、当該情報テーブルブロックは、複数枚の入力画像の輝度補償情報と、各出力ブロックの関連情報とを含み、出力ブロックの関連情報は、出力ブロックの位置情報、出力ブロックに対応する入力ブロックの重畳属性情報、出力ブロックに対応する入力ブロックの属する入力画像の識別子、出力ブロックにおける各画素点の座標に対応する入力ブロックにおける画素点の座標、入力ブロックの位置情報を含む。

いくつかの実施形態では、上記第１の記憶モジュールは、揮発性記憶モジュールを含んでよく、コンピューティングチップは、フィールド・プログラマブル・ゲート・アレイＦＰＧＡを含んでよい。

いくつかの実施形態では、上記第１の記憶モジュールは、さらに、マルチカメラによって対応して収集された複数枚の収集画像から繋ぎ合わせ画像への融合変換情報に基づいて、出力ブロックにおける各画素点の座標に対応する収集画像の入力ブロックにおける画素点の座標を取得することと、入力ブロックの位置情報、および、入力ブロックが任意の２枚の収集画像の重畳領域に属するか否かを示すための重畳属性情報を取得することと、出力ブロックの順序に従って、繋ぎ合わせ情報テーブルにおいて各出力ブロックの関連情報をそれぞれ１つの情報テーブルブロックによって記録することとに用いられる第１のアプリケーションユニットと、マルチカメラによって収集された複数枚の収集画像間の重畳領域に基づいて、複数枚の収集画像のそれぞれの輝度補償情報を取得して繋ぎ合わせ情報テーブルの各情報テーブルブロックに記憶するための第２のアプリケーションユニットとを記憶することに用いられる。

図８は、本開示の車載画像処理装置の別の実施例の構造模式図である。図８に示すように、図７に示す実施例と比べて、この実施例の車載画像処理装置は、
コンピューティングチップの実行支援情報を記憶するための不揮発性記憶モジュールと、
マルチカメラと第１の記憶モジュールとを接続し、マルチカメラによって収集された複数枚の入力画像を第１の記憶モジュールに書き込むための入力インタフェースと、
第１の記憶モジュールと表示画面とを接続し、第１の記憶モジュールにおける繋ぎ合わせ画像を表示画面に出力して表示させるための第１の出力インタフェースと、
第１の記憶モジュールとインテリジェント運転モジュールとを接続し、インテリジェント運転モジュールが繋ぎ合わせ画像に基づいてインテリジェント運転制御を行うように、第１の記憶モジュールにおける繋ぎ合わせ画像をインテリジェント運転モジュールに出力するための第２の出力インタフェースとのいずれか１つ以上のモジュールを含んでもよい。

また、本開示の実施例に係る別の電子機器は、
コンピュータプログラムを記憶するためのメモリと、
メモリに記憶されるコンピュータプログラムを実行するためのプロセッサであって、コンピュータプログラムが実行されると、本開示の上記いずれかの実施例の画像繋ぎ合わせ方法を実行するプロセッサとを含む。

図９は、本開示の電子機器の一適用実施例の構造模式図である。以下、本開示の実施例の端末装置又はサーバを実現するための電子機器の構造模式図である図９を参照する。図９に示すように、この電子機器は、１つ以上のプロセッサや通信部などを含み、前記１つ以上のプロセッサは例えば、１つ以上の中央処理ユニット（ＣＰＵ）、及び／又は１つ以上の画像プロセッサ（ＧＰＵ）などであり、プロセッサは、読み出し専用メモリ（ＲＯＭ）に記憶された実行可能命令又は記憶部からランダムアクセスメモリ（ＲＡＭ）にロードされた実行可能命令に従って、様々な適切な動作及び処理を実行することができる。通信部は、ネットワークカードを含んでよいが、これに限定されない。前記ネットワークカードは、ＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでよいが、これに限定されない。プロセッサは、読み出し専用メモリ及び／又はランダムアクセスメモリと通信して実行可能命令を実行し、バスを介して通信部に接続し、通信部を介して他の対象機器と通信し、本開示の実施例に係るいずれかの画像繋ぎ合わせ方法に対応する動作を完了することができる。例えば、繋ぎ合わせ対象となる複数枚の入力画像のそれぞれの輝度補償情報を取得し、前記複数枚の入力画像のそれぞれは、機器の異なる箇所に設けられたマルチカメラによって対応して収集されたものであり、各入力画像の輝度補償情報に基づいてそれぞれ入力画像を輝度補償し、輝度補償された入力画像を繋ぎ合わせ処理して繋ぎ合わせ画像を得る。

なお、ＲＡＭには、装置の動作に必要な様々なプログラム及びデータがさらに記憶されてもよい。ＣＰＵ、ＲＯＭ及びＲＡＭは、バスを介して互いに接続されている。ＲＡＭがある場合、ＲＯＭは、オプションモジュールである。ＲＡＭは、実行可能命令を記憶する、又は、実行されると本開示の上記いずれかの画像繋ぎ合わせ方法に対応する動作をプロセッサに実行させる実行可能命令をＲＯＭに書き込む。入力／出力（Ｉ／Ｏ）インタフェースも、バスに接続されている。通信部は、集積して設けられてもよいし、複数のサブモジュール（例えば、複数のＩＢネットワークカード）を有しかつバスに接続されるように設けられてもよい。

キーボードやマウスなどを含む入力部、陰極線管（ＣＲＴ）や、液晶ディスプレイ（ＬＣＤ）、スピーカなどを含む出力部、ハードディスクなどを含む記憶部、ＬＡＮカードやモデムなどのネットワークインターフェースカードを含む通信部は、Ｉ／Ｏインタフェースに接続されている。通信部は、例えばインターネットのネットワークを介して通信処理を行う。ドライブも必要に応じて、Ｉ／Ｏインタフェースに接続されている。磁気ディスク、光学ディスク、光磁気ディスク、半導体メモリなどのリムーバブルメディアは、それから読み取られたコンピュータプログラムが必要に応じて記憶部にインストールされるように、必要に応じてドライブに装着される。

図９に示すアーキテクチャは、選択可能な実施形態の１つに過ぎなく、具体的な実践中に、実際の必要に応じて、上記図９の部品の数及び種類を選択、削除、追加又は置換することができ、異なる機能部品は、個別に設けられてもよいし、集積して設けられてもよく、例えば、ＧＰＵ及びＣＰＵは、個別に設けられてもよいし、ＧＰＵをＣＰＵに集積してもよく、通信部は、個別に設けられてもよいし、ＣＰＵ又はＧＰＵに集積して設けられてもよいことなどが注意されたい。これらの代替可能な実施形態はすべて、本開示に開示される技術的範囲内に含まれる。

特に、本開示の実施例によれば、上記フローチャートを参照して説明するプロセスは、コンピュータソフトウェアプログラムとして実現され得る。例えば、本開示の実施例は、機械可読媒体に有形に含まれるコンピュータプログラムを含むコンピュータプログラム製品を含み、コンピュータプログラムは、フローチャートに示す方法を実行するためのプログラムコードを含み、プログラムコードは、本開示のいずれかの実施例に係る画像繋ぎ合わせ方法を実行するステップに対応する命令を含んでよい。このような実施例では、このコンピュータプログラムは、通信部を介してネットワークからダウンロード及びインストールされ、及び／又はリムーバブルメディアからインストールされ得る。コンピュータプログラムは、ＣＰＵによって実行されると、本開示の実施例の画像繋ぎ合わせ方法に記載の上記機能を実行する。

また、本開示の実施例は、コンピュータ命令を含み、コンピュータ命令が機器のプロセッサにおいて実行されると、本開示の上記いずれかの実施例の画像繋ぎ合わせ方法を実行させるコンピュータプログラムをさらに提供する。

また、本開示の実施例は、コンピュータプログラムが記憶されており、当該コンピュータプログラムがプロセッサによって実行されると、本開示の上記いずれかの実施例の画像繋ぎ合わせ方法を実行させるコンピュータ読み取り可能な記憶媒体をさらに提供する。

本開示の実施例は、以下のシーンに用いることができる。

本開示の実施例は、スマートカーの運転シーンに用いることができる。支援運転シーンでは、本開示の実施例を用いて映像サラウンドビュースプライシング処理を行って、繋ぎ合わせ効果、リアルタイム性及びフレームレートの要件を満たすことができる。

ドライバーがブラインドゾーンの状況を含む自動車の周囲のリアルタイムの状況を調べる必要がある場合、本開示の実施例によれば、例えば、車をバックしてパーキングする又は道が渋滞しているときなどのドライバーの視線が遮られるときや、狭い道路を走行しているとき、繋ぎ合わせ画像をドライバーに表示することができる。

スマートカーの一部として、スマートカーの運転決定に情報を提供する。スマートカー又は自動運転自動車システムは、リアルタイムで反応するために自動車の周囲の状況を感知する必要がある。本開示の実施例によれば、歩行者検出、ターゲット検出アルゴリズムを行って、緊急時に自動車を停止させるか、又は歩行者またはターゲットを回避するように自動的に制御することができる。

本明細書の各実施例は、段階的に説明されており、各実施例の説明は、他の実施例との相違点に焦点を当てており、各実施例間の同一の又は類似する部分は、互いに参照すればよい。システム実施例は、方法実施例にほぼ対応するので、その説明は比較的簡単であり、関連する部分については、方法実施例の一部の説明を参照すればよい。

多くの形態により本開示の方法及び装置、機器を実現することができる。例えば、ソフトウェア、ハードウェア、ファームウェア、又は、ソフトウェア、ハードウェア、ファームウェアの任意の組み合わせによって本開示の方法及び装置、機器を実現することができる。前記方法のステップに用いられる上記順序は、説明のためのものに過ぎず、本開示の方法のステップは、別途で特に説明しない限り、上記に説明された順序に限定されない。また、いくつかの実施例では、さらに、本開示を記録媒体に記憶されたプログラムとして実施することができ、これらのプログラムは、本開示に係る方法を実行するための機械可読命令を含む。よって、本開示は、本開示に係る方法を実行するためのプログラムを記憶するための記録媒体をさらにカバーする。

本開示の説明は、例示および説明のためになされたものであり、網羅的なもの又は本開示を開示された形態に限定するものではない。多くの補正及び変更は、当業者にとっては自明である。実施例を選択して説明するのは、本開示の原理及び実際の応用をよりよく説明し、当業者が本開示を理解して特定の用途に適した様々な変更を伴う様々な実施例を設計できるためである。

Claims (24)

1. 繋ぎ合わせ対象となる複数枚の入力画像のそれぞれの輝度補償情報を取得することであって、前記複数枚の入力画像のそれぞれは、機器の異なる箇所に設けられたマルチカメラによって対応して収集されたものであることと、
   各入力画像の輝度補償情報に基づいてそれぞれ入力画像を輝度補償することと、
   輝度補償された入力画像を繋ぎ合わせ処理して繋ぎ合わせ画像を得ることとを含み、
   各入力画像の輝度補償情報に基づいてそれぞれ入力画像を輝度補償することは、
   各出力ブロックのそれぞれについて、前記出力ブロックに対応する入力画像における入力画像ブロックを取得することと、
   前記入力画像ブロックの位置する入力画像の輝度補償情報に基づいて前記入力画像ブロックを輝度補償することとを含むことを特徴とする画像繋ぎ合わせ方法。
2. 前記複数枚の入力画像のうち少なくとも２枚の隣接する画像間に重畳領域があり、または、
   前記複数枚の入力画像のうち２枚の隣接する画像間ごとに重畳領域があることを特徴とする請求項１に記載の方法。
3. 前記マルチカメラには、車両のヘッドに配置された少なくとも１つのカメラと、前記車両のテールに配置された少なくとも１つのカメラと、前記車両の車体の一方側の中央領域に配置された少なくとも１つのカメラと、前記車両の車体の他方側の中央領域に配置された少なくとも１つのカメラとが含まれ、あるいは、
   前記マルチカメラには、前記車両のヘッドに配置された少なくとも１つのカメラと、前記車両のテールに配置された少なくとも１つのカメラと、前記車両の車体の一方側の前半部領域及び後半部領域にそれぞれ配置された少なくとも２つのカメラと、前記車両の車体の他方側の前半部領域及び後半部領域にそれぞれ配置された少なくとも２つのカメラとが含まれることを特徴とする請求項１に記載の方法。
4. 繋ぎ合わせ対象となる複数枚の入力画像のそれぞれの輝度補償情報を取得することは、
   前記複数枚の入力画像間の重畳領域に基づいて、前記複数枚の入力画像のそれぞれの輝度補償情報を決定することを含むことを特徴とする請求項１～３のいずれか１項に記載の方法。
5. 前記各入力画像の輝度補償情報は、輝度補償された各入力画像間の輝度差を予め設定された輝度許容範囲内に収めるために用いられ、または、
   前記各入力画像の輝度補償情報は、輝度補償された重畳領域ごとに２枚の入力画像の画素値の差分の和を、最小にする又は予め設定された誤差値よりも小さくするために用いられることを特徴とする請求項４に記載の方法。
6. 前記出力ブロックに対応する入力画像ブロックが隣接する入力画像間の重畳領域に属する場合、前記出力ブロックに対応する入力画像における入力画像ブロックを取得することは、
   前記出力ブロックに対応する、重畳領域を有するすべての入力画像における入力画像ブロックを取得することを含むことを特徴とする請求項１に記載の方法。
7. 前記出力ブロックに対応する入力画像における入力画像ブロックを取得することは、
   前記出力ブロックの座標情報に対応する入力画像における入力画像ブロックの位置情報を取得することと、
   前記入力画像ブロックの位置情報に基づいて、前記対応する入力画像から前記入力画像ブロックを取得することとを含むことを特徴とする請求項１に記載の方法。
8. 前記入力画像ブロックの位置する入力画像の輝度補償情報に基づいて前記入力画像ブロックを輝度補償することは、
   前記入力画像ブロックの各チャンネルのそれぞれについて、前記入力画像の前記チャンネルでの輝度補償情報で前記入力画像ブロックにおける各画素の前記チャンネルでの画素値との乗算処理を行うことを含むことを特徴とする請求項１に記載の方法。
9. 前記入力画像ブロックの位置する入力画像の輝度補償情報に基づいて前記入力画像ブロックを輝度補償した後、前記出力ブロックにおける各画素点の座標及び対応する入力画像ブロックにおける座標に基づいて、前記入力画像ブロックを補間して前記出力ブロックにおける出力画像ブロックを得ることをさらに含み、
   輝度補償された入力画像を繋ぎ合わせ処理して繋ぎ合わせ画像を得ることは、各出力画像ブロックを繋ぎ合わせて前記繋ぎ合わせ画像を得ることを含むことを特徴とする請求項１に記載の方法。
10. 前記出力ブロックに対応する入力画像ブロックが隣接する入力画像間の重畳領域に属する場合、前記入力画像ブロックを補間して前記出力画像ブロックを得ることは、
    前記出力ブロックに対応する各前記入力画像ブロックのそれぞれを補間し、前記出力ブロックに対応するすべての補間された入力画像ブロックを重ね合わせて前記出力画像ブロックを得ることを含むことを特徴とする請求項９に記載の方法。
11. 前記出力ブロックに対応するすべての補間された入力画像ブロックを重ね合わせることは、
    各前記補間された入力画像ブロックの各チャンネルのそれぞれについて、各画素点の少なくとも２つの異なる解像度における画素値の平均値、加重値、または加重平均値を取得することであって、前記少なくとも２つの異なる解像度は、前記補間された入力画像ブロックの解像度と、前記補間された入力画像ブロックの解像度よりも低い少なくとも１つの低い解像度とを含むことと、
    前記出力ブロックに対応するすべての前記補間された入力画像ブロックについて、各チャンネルごとに各画素点の前記画素値の平均値、加重値、または加重平均値の加重重ね合わせを行うこととを含むことを特徴とする請求項１０に記載の方法。
12. 前記マルチカメラによって対応して収集された複数枚の収集画像から繋ぎ合わせ画像への融合変換情報に基づいて、出力ブロックにおける各画素点の座標に対応する収集画像の入力ブロックにおける画素点の座標を取得することと、
    前記入力ブロックの位置情報、および、前記入力ブロックが任意の２枚の収集画像の重畳領域に属するか否かを示すための重畳属性情報を取得することと、
    出力ブロックの順序に従って、繋ぎ合わせ情報テーブルにおいて各出力ブロックの関連情報をそれぞれ１つの情報テーブルブロックによって記録することとをさらに含み、
    前記出力ブロックに対応する入力画像における入力画像ブロックを取得することは、前記繋ぎ合わせ情報テーブルから情報テーブルブロックを１つずつ順次読み取り、読み取られた情報テーブルブロックに記録されている出力ブロックの関連情報に基づいて、前記記録されている出力ブロックに対応する入力画像ブロックを取得することを含むことを特徴とする請求項９～１１のいずれか１項に記載の方法。
13. 前記出力ブロックの関連情報は、出力ブロックの位置情報と、出力ブロックに対応する入力ブロックの重畳属性情報と、出力ブロックに対応する入力ブロックの属する入力画像の識別子と、出力ブロックにおける各画素点の座標に対応する入力ブロックにおける画素点の座標と、入力ブロックの位置情報とを含む、ことを特徴とする請求項１２に記載の方法。
14. マルチカメラによって対応して収集された複数枚の収集画像から繋ぎ合わせ画像への各段変換情報に基づいて、融合変換情報を取得することであって、前記各段変換情報は、レンズ歪み除去情報、画角変換情報、レジストレーション情報を含むことをさらに含むことを特徴とする請求項１２に記載の方法。
15. 前記マルチカメラのうちいずれか１つ以上のカメラの位置及び／又は方向の変化に応じて、前記マルチカメラによって対応して収集された複数枚の収集画像から繋ぎ合わせ画像への融合変換関係に基づいて、出力ブロックにおける各画素点の座標に対応する収集画像の入力ブロックにおける画素点の座標を取得する動作、前記入力ブロックの位置情報、および、前記入力ブロックが任意の２枚の収集画像の重畳領域に属するか否かを示すための重畳属性情報を取得する動作、及び出力ブロックの順序に従って、繋ぎ合わせ情報テーブルにおいて各出力ブロックの関連情報をそれぞれ１つの情報テーブルブロックによって記録する動作を、再実行することをさらに含むことを特徴とする請求項１２に記載の方法。
16. すべての出力ブロックの関連情報を繋ぎ合わせ情報テーブルに記録した後、前記繋ぎ合わせ情報テーブルをメモリに読み込むことと、
    前記マルチカメラで収集された前記繋ぎ合わせ対象となる複数枚の入力画像を前記メモリに読み込むこととをさらに含み、
    前記繋ぎ合わせ情報テーブルから情報テーブルブロックを１つずつ順次読み取り、読み取られた情報テーブルブロックに記録されている出力ブロックの関連情報に基づいて、前記記録されている出力ブロックに対応する入力画像ブロックを取得することは、前記メモリにおける前記繋ぎ合わせ情報テーブルから情報テーブルブロックを１つずつ順次読み取ってコンピューティングチップに読み込み、読み取られた情報テーブルブロックに記録されている出力ブロックの関連情報に基づいて、前記メモリから前記記録されている出力ブロックに対応する入力画像ブロックを取得して前記コンピューティングチップに読み込むことを含み、
    各出力画像ブロックを繋ぎ合わせて前記繋ぎ合わせ画像を得ることは、
    取得された出力画像ブロックを前記メモリに順次書き戻すことと、
    前記繋ぎ合わせ情報テーブルに対応する１つの繋ぎ合わせ画像のすべての出力画像ブロックが前記メモリに書き戻されたことに応じて、前記繋ぎ合わせ画像を得ることとを含むことを特徴とする請求項１２に記載の方法。
17. マルチカメラによって収集された複数枚の収集画像間の重畳領域に基づいて、前記複数枚の収集画像のそれぞれの輝度補償情報を取得して、前記繋ぎ合わせ情報テーブル又は前記繋ぎ合わせ情報テーブルの各前記情報テーブルブロックに記憶することをさらに含み、
    繋ぎ合わせ対象となる複数枚の入力画像のそれぞれの輝度補償情報を取得することは、
    前記繋ぎ合わせ情報テーブル又は前記情報テーブルブロックから同一のカメラで収集された収集画像の輝度補償情報を、対応する入力画像の輝度補償情報としてそれぞれ取得することを含むことを特徴とする請求項１２～１６のいずれか１項に記載の方法。
18. 光線の変化が所定の条件を満たすことを検出したことに応じて、マルチカメラによって収集された複数枚の収集画像間の重畳領域に基づいて、前記複数枚の収集画像のそれぞれの輝度補償情報を取得する動作を再実行し、今回取得した各収集画像の輝度補償情報で前記繋ぎ合わせ情報テーブルにおける各収集画像の輝度補償情報を更新することをさらに含むことを特徴とする請求項１７に記載の方法。
19. マルチカメラによって収集された複数枚の収集画像間の重畳領域に基づいて、前記複数枚の収集画像のそれぞれの輝度補償情報を取得することは、
    収集画像の各チャンネルのそれぞれについて、輝度補償された前記複数枚の収集画像間の重畳領域ごとに２枚の収集画像の前記チャンネルでの画素値の差分の和が最小となるように、前記複数枚の収集画像のそれぞれの前記チャンネルでの輝度補償情報を取得することを含むことを特徴とする請求項１７または１８に記載の方法。
20. 収集画像の１つのチャンネルについて、同一の重畳領域を有する２枚の収集画像ごとに重畳領域における画素値の加重差分値の絶対値の和、又は、同一の重畳領域を有する２枚の収集画像ごとに重畳領域における画素値の加重差分値の自乗値の和をそれぞれ取得することにより、収集画像の１つのチャンネルについて、複数枚の収集画像間の重畳領域ごとに２枚の収集画像の前記チャンネルでの画素値の差分の和を取得し、
    前記２枚の収集画像の重畳領域における画素値の加重差分値は、第１の積と第２の積との差分値を含み、前記第１の積は、第１の収集画像の輝度補償情報と前記第１の収集画像の前記重畳領域における少なくとも１つの画素点の画素値の和との積を含み、前記第２の積は、第２の収集画像の輝度補償情報と前記第２の収集画像の前記重畳領域における前記少なくとも１つの画素点の画素値の和との第２の積を含むことを特徴とする請求項１９に記載の方法。
21. 繋ぎ合わせ対象となる複数枚の入力画像のそれぞれの輝度補償情報を取得するための第１の取得モジュールであって、前記複数枚の入力画像のそれぞれは、マルチカメラによって対応して収集されたものである第１の取得モジュールと、
    各入力画像の輝度補償情報に基づいてそれぞれ入力画像を輝度補償するための補償モジュールと、
    輝度補償された入力画像を繋ぎ合わせ処理して繋ぎ合わせ画像を得るための繋ぎ合わせモジュールとを含み、
    各出力ブロックのそれぞれについて、前記出力ブロックに対応する入力画像における入力画像ブロックを取得するための第２の取得モジュールをさらに含み、
    前記補償モジュールは、前記入力画像ブロックの位置する入力画像の輝度補償情報に基づいて前記入力画像ブロックを輝度補償することを特徴とする画像繋ぎ合わせ装置。
22. コンピュータプログラムを記憶するためのメモリと、
    前記メモリに記憶されたコンピュータプログラムを実行するためのプロセッサであって、前記コンピュータプログラムが実行されると、上記請求項１～２０のいずれか１項に記載の方法を実行するプロセッサとを含むことを特徴とする電子機器。
23. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、当該コンピュータプログラムがプロセッサによって実行されると、上記請求項１～２０のいずれか１項に記載の方法を実行させることを特徴とするコンピュータ読み取り可能な記憶媒体。
24. コンピュータ読取可能コードを含むコンピュータプログラムであって、前記コンピュータ読取可能コードは、機器で実行されると、前記機器のプロセッサに上記請求項１～２０のいずれか一項に記載の方法を実現するためのコマンドを実行させることを特徴とする記憶媒体に記憶されているコンピュータプログラム。

Images