JP6263829B2 - ホワイトバランス調整方法及び撮像システム - Google Patents

Description

開示する複数の実施形態は概して、デジタル画像処理に関する。他を除外するわけではないが、より具体的には、自動ホワイトバランス調整のための複数のシステム及び方法に関する。

ホワイトバランス調整は、照明光源の色温度によって引き起こされる非現実的なカラーキャストを画像から取り除く処理である。日光、白熱光および蛍光などの異なる照明光源は、画像の色にディストーションを引き起こし得る、異なるパワースペクトル分布を有する。そのようなディストーションは、例えば、白色のオブジェクトが、照明光源のカラーキャストにおいては白く表れないという結果をもたらす。例えば、低い色温度（例えば２０００Ｋ）の照明光源は画像に赤みがかった色を生じさせ得、その一方で、高い色温度（例えば９０００Ｋ）の照明光源は、画像に青みがかった色を生じさせ得る。人の眼は自動的に照明の色温度に適応でき、その一方で、現在利用可能な（又は従来の）人工的画像取得デバイス及び方法（例えば、カメラ及びビデオカメラで使用されるイメージセンサ）は自動的に適応できず、それ故、照明光源の色温度に起因する、ある特定のカラーキャストアーチファクトを生成する。ホワイトバランス調整によって照明を補償することで、結果として生じる画像はより現実的な色を有することになる。

商業的に利用可能なデジタルカメラは、例えば、ユーザが予め定められた照明設定（例えば、白熱、蛍光、曇り、フラッシュ、晴れ、キャンドルライト等）のコレクションから色温度設定を選択することを可能にする、ホワイトバランス調整機能を有している。しかしながら、もし実際の照明状況が照明設定に一致していないならば、予め定められた照明設定を使用することによって、最適状態に及ばない結果が生成され得る。代替的に、自動ホワイトバランス調整（ＡＷＢ）を実行する、すなわち、ユーザが照明設定を指定しない様々な技術が利用可能である。そのようなＡＷＢ技術は、必ず画像の色構成に基づく。しかしながら、照明光源の色温度に関する外部参照なくＡＷＢを実行することは、困難且つ計算的に負荷の大きいものであり得る。ＡＷＢ技術が、風景構成の内在的なカラーバイアスに対して、照明光源によって引き起こされる全体的なカラーキャストを区別できない場合、当該技術におけるエラーは容易に生じ得る。

例えば、「グレイの世界（gray world）」として知られ、一般的に使用されるＡＷＢ技術は、ある風景内の平均色がグレイ又は無色であると仮定する。グレイの世界の技術は、その風景が、平均的にグレイに落ち着く多数の色を含んでいる場合に効果的であり得る。しかし、グレイの世界の技術は、ある風景の平均色がグレイでない場合に、著しいカラーバイアスを導入し得る。この問題は、グレイ以外の単色の風景（例えば、青い海または緑の葉群の風景）において、特に深刻である。他のＡＷＢ技術である「最大ＲＧＢ」方法は、赤、緑および青の３色チャネルの各々から得られる最大値の組み合わせが照明光源の色であると仮定する。最大ＲＧＢ方法は、単色の風景に対してはグレイの世界の方法より効果的であるが、最大ＲＧＢ方法の効果は、風景構成にかなり依存する。他のホワイトバランス調整アルゴリズムは、同様の限定を有している。更に、（例えば、多量の差動演算を要求することが原因で）高い計算複雑度を有する幾つかのアルゴリズムは、実際的な使用に適しておらず、特に、リアルタイムのビデオ処理に適していない。

以上の観点から、計算的に効率的としつつ、様々なタイプの画像構成に対して精確なホワイトバランス調整を実行する、改善されたホワイトバランス調整システム及び方法が必要である。

本明細書で開示する第１の態様によれば、自動的にデジタル画像をホワイトバランス調整する方法が明らかにされる。当該方法は、以下の複数の段階を含む。ホワイトバランス調整トリガに応答して、イメージセンサと、ホワイトバランス調整するのに適した色を有する参照領域との複数の相対位置を調整し、参照領域の画像を取得すべくイメージセンサを配置する段階。イメージセンサを使用して参照領域の画像を取得する段階。参照領域の画像からデジタル画像をホワイトバランス調整するためのパラメータを計算する段階。

開示する方法の幾つかの実施形態において、複数の相対位置を調整する段階は、イメージセンサ及び参照領域の複数の相対位置を自動的に調整する段階を含む。

開示する方法の幾つかの実施形態において、取得する段階は、参照領域の画像を自動的に取得する段階を含む。

開示する方法の幾つかの実施形態において、計算する段階は、ホワイトバランス調整するためのパラメータを自動的に計算する段階を含む。

開示する方法の幾つかの実施形態において、複数の相対位置を調整する段階は、デジタル画像がホワイトバランス調整参照として使用するのに適した領域を欠いているとの決定を含むホワイトバランストリガに応答して、複数の相対位置を調整する段階を含む。

開示する方法の幾つかの実施形態において、デジタル画像がホワイトバランス調整参照として使用するのに適した領域を欠いているとの決定は、デジタル画像の複数の画素の複数の色彩比と、参照画像の複数の画素の複数の色彩比とを比較する段階を含む。好ましくは、複数の色彩比は、赤と緑との複数の比、及び、青と緑との複数の比である。

開示する方法の幾つかの実施形態において、比較する段階は、参照画像の複数の画素の複数の色彩比を散布図上にプロットする段階と、デジタル画像の複数の画素の複数の色彩比を散布図上にプロットする段階と、デジタル画像の複数の画素の複数のプロット位置と参照画像の複数の画素の複数のプロット位置とを比較する段階とを含む。

開示する方法の幾つかの実施形態において、複数の相対位置を調整する段階は、ユーザコマンドを含むホワイトバランストリガに応答して、複数の相対位置を調整する段階を含む。

開示する方法の幾つかの実施形態において、調整する段階は、参照領域がイメージセンサの視野内となるように、自動的にイメージセンサを移動させる段階を含む。

開示する方法の幾つかの実施形態は、参照領域の記録された位置に従ってイメージセンサを調整して移動させる段階に先立って、参照領域の位置を記録する段階を更に含む。

開示する方法の幾つかの実施形態において、調整する段階は、参照領域を設置すべく、イメージセンサが、イメージセンサの周囲を走査することを可能にする段階を含む。

開示する方法の幾つかの実施形態において、イメージセンサを可能にする段階は、イメージセンサが、１または複数のマーカを認識することによって参照領域を設置することを可能にする段階を含む。

開示する方法の幾つかの実施形態において、複数のマーカは、参照領域の境界を定める。

開示する方法の幾つかの実施形態において、複数のマーカは、複数のクイックレスポンス（ＱＲ）コード（登録商標）である。

開示する方法の幾つかの実施形態において、調整する段階は、参照領域をイメージセンサの視野の中へと自動的に移動させる段階を含む。

開示する方法の幾つかの実施形態は、イメージセンサが参照領域の画像を取得した後に、イメージセンサ及び参照領域の少なくとも一方の位置を自動的に復元する段階を更に含む。

開示する方法の幾つかの実施形態において、計算する段階は、複数のアウトライヤーカラーを有する参照領域の画像の複数の画素を廃棄する段階を含む。

開示する方法の幾つかの実施形態は、参照領域の画像の複数の画素の色のばらつきが予め定められた閾値より高い場合、エラーメッセージを制御システムに送信する段階を更に含む。

開示する方法の幾つかの実施形態は、パラメータを使用して、デジタル画像をホワイトバランス調整する段階を更に含む。

本明細書で開示する他の態様によれば、以下の複数の構成を含む撮像システムが明らかにされる。デジタル画像と、ホワイトバランス調整するのに適した色を有する参照領域とを取得するのに適したイメージセンサ。当該撮像システムは、本明細書で開示する複数の方法の何れかに従って、デジタル画像の自動ホワイトバランス調整を実行するように構成する。

開示するシステムの幾つかの実施形態において、参照領域は、撮像システムの本体にインセットされ、イメージセンサの視野の中および外で移動するように構成される。

開示するシステムの幾つかの実施形態において、撮像システムは、無人航空機（ＵＡＶ）を含む。

本明細書で開示する他の態様によれば、以下の複数の構成を含む撮像システムが明らかにされる。イメージセンサが少なくとも１つの軸周りで回転することを可能にすべく、ジンバル機構に動作可能に搭載されるイメージセンサ。デジタル画像の自動ホワイトバランス調整を実行するように構成した画像処理プロセッサ。当該撮像システムは、以下の動作をするように構成する。ホワイトバランス調整トリガに応答して、ジンバル機構を使用し、ホワイトバランス調整するのに適した色を有する参照領域の位置に対するイメージセンサの位置を調整する。イメージセンサを使用して、参照領域の画像を取得する。画像処理プロセッサを使用して、参照領域の画像からホワイトバランスパラメータを計算する。

開示するシステムの幾つかの実施形態において、ホワイトバランストリガは、画像処理プロセッサによる、対象のデジタル画像がホワイトバランス調整参照として使用するのに適した領域を欠いているとの決定を含む。

開示するシステムの幾つかの実施形態において、ホワイトバランストリガは、ユーザコマンドを含む。

開示するシステムの幾つかの実施形態において、画像処理プロセッサは、参照領域の位置に関する１または複数のパラメータを記録し、複数のパラメータを使用してイメージセンサの位置を調整するように構成する。

開示するシステムの幾つかの実施形態において、複数のパラメータは、イメージセンサの位置に対する、参照領域の直線変位及び角変位の少なくとも一方を含む。

開示するシステムの幾つかの実施形態において、画像処理プロセッサは、参照領域を設置すべく、イメージセンサに、イメージセンサの周囲を走査することを指示するように構成する。

開示するシステムの幾つかの実施形態において、イメージセンサは、１または複数のマーカを認識することによって、参照領域を設置する。

開示するシステムの幾つかの実施形態において、複数のマーカは、参照領域の境界を定める。

開示するシステムの幾つかの実施形態において、複数のマーカは、複数のクイックレスポンス（ＱＲ）コード（登録商標）である。

開示するシステムの幾つかの実施形態において、撮像システムは、無人航空機（ＵＡＶ）を含む。

開示するシステムの幾つかの実施形態において、ジンバル機構は、ＵＡＶの機体の選択面上に配置し、参照領域は、ＵＡＶの着陸装置上に設置する。

デジタル画像の自動ホワイトバランス調整用の撮像システムの実施形態を示す、例示的な最上位ブロック図である。 撮像システムが参照領域と対象の風景に向けられたイメージセンサとを含む、図１の撮像システムの実施形態を示す例示的な図である。 イメージセンサが参照領域に向けられている、図２の撮像システムの代替的実施形態を示す例示的な図である。 参照領域がイメージセンサの視野内に配置されている、図２の撮像システムの他の代替的実施形態を示す例示的な図である。 参照領域が参照領域を設置するためのマーカを含む、図２から図４の参照領域の実施形態を示す例示的な図である。 参照領域が参照領域を設置するためのマルチマーカを含む、図５の参照領域の代替的実施形態を示す例示的な図である。 イメージセンサおよびジンバル機構を有する撮像システムの実施形態を示す、例示的な図である。 イメージセンサが対象の風景に向けられている、図７の撮像システムの側面図を示す例示的な図である。 イメージセンサが参照領域に向けられている、図７の撮像システムの側面図を示す例示的な図である。 イメージセンサが対象の風景に向けられている、無人航空機（ＵＡＶ）を含む撮像システムの実施形態を示す例示的な図である。 イメージセンサがＵＡＶ上の参照領域に向けられている、図１０の撮像システムを示す例示的な図である。 デジタル画像を自動ホワイトバランス調整する方法の実施形態を示す、例示的な最上位フローチャートである。 方法がデジタル画像の自動ホワイトバランス調整をトリガする段階を含む、図１２の方法の代替的実施形態を示す例示的フローチャートである。 図１３に示されたトリガする段階に対してホワイトバランス調整するのに適した領域を画像が含むか否かを判断する方法の実施形態を示す、詳細な例示的フローチャートである。 図１３に示されたトリガする段階に対してホワイトバランス調整するのに適した領域を画像が含むか否かを判断する方法の実施形態を示す例示的な図である。 参照領域に対して撮像システムのイメージセンサを配置する、図１２の方法の実施形態を示す、例示的フローチャートである。 参照の位置がマーカによって指定される、参照領域に対してイメージセンサを配置する、図１２の方法の代替的実施形態を示す、例示的フローチャートである。 イメージセンサに対して参照領域を配置する、図１２の方法の他の代替的実施形態を示す、例示的フローチャートである。 図１２の方法を使用して、ホワイトバランス調整するためのパラメータを計算する方法の実施形態を示す、例示的フローチャートである。

複数の図は一定の比率で縮小されて描かれておらず、同様の複数の構造または複数の機能の複数の要素は概して、複数の図の全体を通して、例示する目的で同様の複数の参照番号によって表わされることに留意すべきである。また、複数の図は、単に好ましい複数の実施形態の説明を容易化することを意図されていることに留意すべきである。複数の図は、説明する複数の実施形態の全ての態様を示しておらず、本開示の範囲を制限しない。

本開示は、参照領域を使用して自動ホワイトバランス調整を可能にすることによって既存のホワイトバランス調整技術の複数の限定を克服する、デジタル画像をホワイトバランス調整する複数のシステム及び方法を明らかにする。

では、図１に目を向けると、イメージセンサ１１０と画像処理プロセッサ１２０とを含む、例示的な撮像システム１００が示されている。イメージセンサ１１０は、光を感知して、検出光を、最終的に画像としてレンダリングできる複数の電気信号に変換する機能を実行できる。様々なイメージセンサ１１０は、商業的に利用可能なカメラおよびビデオカメラを含むがこれらに限定されない、開示する複数のシステム及び方法で使用するのに適している。適切な複数のイメージセンサ１１０は、複数のアナログイメージセンサ（例えば、複数のビデオカメラチューブ）、及び／又は、複数のデジタル画像センサ（例えば、電荷結合素子（ＣＣＤ）イメージセンサ、相補型金属酸化膜半導体（ＣＭＯＳ）イメージセンサ、Ｎ型金属酸化膜半導体（ＮＭＯＳ）イメージセンサ、及び、それらの複数のハイブリッド／複数の変形）を含むことができる。複数のデジタル画像センサは、例えば、各々が画像情報の１画素をキャプチャできる複数の光センサ素子の２次元アレイを含むことができる。イメージセンサ１１０は、好ましくは、少なくとも０．１メガピクセル、０．５メガピクセル、１メガピクセル、２メガピクセル、５メガピクセル、１０メガピクセル、又は、更に多い画素数の分解能を有する。イメージセンサ１１０はまた、色に基づいて検出光を分別および／またはフィルター処理し、光を適切な複数の光センサ素子上に向ける装置を含むことができる。例えば、イメージセンサ１１０は、赤色光、緑色光または青色光を複数の選択された画素センサに通し、インターレースされたカラーモザイクグリッドをベイヤーパターンで形成するカラーフィルターアレイを含むことができる。例えば代替的に、イメージセンサ１１０は、複数の光センサ素子の複数の特性に基づいて、複数の異なる波長の光を分別する複数の積層画素光センサ素子のアレイを含むことができる。イメージセンサ１１０は、例えば、サーモグラフィ、複数のマルチスペクトル画像生成、赤外線検出、ガンマ線検出、Ｘ線検出等の様々な用途で使用するための複数の専門機能を有することができる。イメージセンサ１１０は、例えば、複数の電気光学センサ、複数の熱センサ／赤外線センサ、複数のカラーセンサ若しくは複数の単色センサ、複数のマルチスペクトル撮像センサ、複数の分光光度計、複数の分光計、複数の温度計、及び、複数の照度計を含むことができる。

画像処理プロセッサ１２０は、本明細書で説明する複数の自動ホワイトバランス調整機能及び操作を実行するのに必要とされる任意の処理ハードウェアを含むことができる。限定することにはならないが、画像処理プロセッサ１２０は、１または複数の汎用マイクロプロセッサ（例えば複数のシングル又はマルチコアプロセッサ）、複数の特定用途向け集積回路、複数の特定用途向け命令セットプロセッサ、複数のグラフィック処理装置、複数のフィジックス処理装置、複数のデジタル信号処理装置、複数のコプロセッサ、複数のネットワーク処理装置、複数のオーディオ処理装置、複数の暗号処理装置等を含むことができる。ある特定の複数の実施形態において、画像処理プロセッサ１２０は、画像キャプチャ、フィルタリング、及び、プロセッシング用のある特定の複数の操作の速度及び効率を向上するための専用ハードウェアを含み得る、画像処理エンジンまたはメディア処理装置を含むことができる。そのような複数の操作は、例えば、複数のベイヤー変形、複数のデモザイキング操作、複数のノイズ低減操作、及び／又は、複数の画像鮮鋭化／軟化操作を含む。ある特定の複数の実施形態において、画像処理プロセッサ１２０は、複数のホワイトバランス調整操作を実行するための専用ハードウェアを含むことができる。複数のホワイトバランス調整操作は、画像がホワイトバランス調整用の参照領域１３０（図２から図４で示される）から利益を享受できるか否かを判断する段階と、ホワイトバランス調整用の参照領域１３０の画像を取得する段階と、ホワイトバランス調整用の参照領域１３０の画像を処理する段階と、参照領域１３０の画像からホワイトバランス調整用のパラメータを計算する段階と、ホワイトバランス調整用のパラメータを使用して画像をホワイトバランス調整する段階とを含むが、これらに限定されない。

幾つかの実施形態において、撮像システム１００は、必要に応じて、ホワイトバランス調整用、又は、撮像システム１００の他の複数の操作用に、１または複数の追加のハードウェアコンポーネント（不図示）を含むことができる。例示的な複数の追加のハードウェアコンポーネントは、複数のメモリ（例えばランダムアクセスメモリ（ＲＡＭ）、スタティックＲＡＭ、ダイナミックＲＡＭ、リードオンリーメモリ（ＲＯＭ）、プログラマブルＲＯＭ、消去可能プログラマブルＲＯＭ、電気的消去可能プログラマブルＲＯＭ、フラッシュメモリ、セキュアデジタル（ＳＤ）カード等）、及び／又は、１または複数の入出力インタフェース（例えば、ユニバーサルシリアルバス（ＵＳＢ）、デジタルビジュアルインタフェース（ＤＶＩ）、ディスプレイポート、シリアルＡＴＡ（ＳＡＴＡ）、ＩＥＥＥ１３９４インタフェース（ファイアーワイヤ（登録商標）としてもまた既知である）、シリアル、ビデオグラフィックアレイ（ＶＧＡ）、スーパービデオグラフィックアレイ（ＳＶＧＡ）、小型コンピュータシステムインタフェース（ＳＣＳＩ）、高解像度マルチメディアインタフェース（ＨＤＭＩ（登録商標））、複数のオーディオポート、及び／又は、複数のプロプライエタリ入出力インタフェース）を含むが、これらに限定されない。限定することにはならないが、必要ならば、１または複数の入出力デバイス（例えば、複数のボタン、キーボード、キーパッド、トラックボール、複数のディスプレイ、及び、モニタ）もまた、撮像システム１００に含めることができる。

幾つかの実施形態において、ホワイトバランス調整処理が画像取得プロセスに対して与える混乱を最小限にするように、撮像システム１００を構成する。幾らか異なるように述べると、撮像システム１００は、対象の風景１０５（図２から図４で示される）を撮像することが、ホワイトバランス調整用の参照領域１３０を撮像することを妨げられる間の「ブラックアウト」期間を最小化するように構成できる。イメージセンサ１１０が、対象の風景１０５上の最初の視点から、参照領域１３０にフォーカスすべく移動され、次に、最初の視点へと戻るように移動される幾つかの実施形態において、イメージセンサ１１０の合計移動時間は、好ましくは、１０秒未満、５秒未満、２秒未満、１秒未満、又は、それよりも短い。最初の視点を復元するのに必要とされる時間は、イメージセンサ１１０が実行する移動量、イメージセンサ１１０が動く速度、参照領域１３０の画像を取得するのに必要とされる時間、及び／又は、他の複数のファクタに依存する。イメージセンサ１１０が移動されない（例えば、参照領域１３０がイメージセンサ１１０の視野の前に移動される）複数の実施形態において、正常な画像取得プロセスの幾つかの混乱はまだ生じ得、そのような複数の混乱は、５秒若しくはそれ未満、２秒若しくはそれ未満、１秒若しくはそれ未満、又は、それよりも短い間に生じることが所望される。

ホワイトバランス調整を実行すべく複数の正常な撮像操作が中断される場合、ホワイトバランス調整処理中に取得される画像は、撮像システム１００から外部システム（不図示）又はユーザ（不図示）へと出力される、次々と続く複数の画像から取り除くことができる。例えば、上記で説明した「ブラックアウト」期間中に、撮像システム１００がホワイトバランス調整を現在進行しているが、正常な画像フィードは特定時間内に再開することになると、ユーザに知らせることができる。代替的に、ホワイトバランス調整処理中に取得される複数の画像は、フィルター処理されていない／中断されていない画像フィードの一部であり得る。換言すると、外部システム又はユーザへと出力される複数の画像によって、撮像システム１００がホワイトバランス調整を進行していることを示すことができる。

では、図２に目を向けると、ホワイトバランス調整を実行すべく参照領域１３０を使用する撮像システム１００の例示的実施形態が示されている。参照領域１３０は、好ましくは、ホワイトバランス調整するのに適した色、例えば、白色、中間グレイ色、又は、他のグレイトーン色を有する。参照領域１３０は、好ましくは、色が均一であるが、必ずしもそうではない。散乱する差動光に起因し得る複数の変動を回避すべく、必須ではないけれど、参照領域１３０は平坦であることが好ましい。参照領域１３０の複数の光学特性は、ホワイトバランス調整する複数の目的にとって理想的である必要はない。参照領域１３０の複数の画像の次の処理（例えば、ソフトウェア及び／又はハードウェアを使用する）は、参照領域１３０の複数の非理想的な特性に起因し得る複数のアーチファクトを修正して、そのような複数の非理想的な特性に関わらずに照明光源の色温度を精確に測定できる。参照領域１３０は、プラスチック、紙、金属、木、泡、それらの複数の複合、及び、他の複数の材料などの、１または複数の様々な材料製である。更に、参照領域１３０の色、反射性、及び／又は、他の複数の光学特性は、所望により、適切な塗料または他のコーティングを使用して都合良く較正できる。図２に示すように、イメージセンサ１１０は、対象の風景１０５によって占められる視野を有する。参照領域１３０は、撮像デバイス１００と連結でき、及び／又は、撮像デバイス１００に取り付けられていないものであり得る。

図３において、図２の撮像システム１００の実施形態が、代替的構成で示されている。ホワイトバランス調整を実行する目的で、参照領域１３０がイメージセンサ１１０の視野内に位置するように、イメージセンサ１１０は（並進運動又は回転運動によって）移動された状態で示されている。

図４において、図２の撮像システム１００の実施形態が、他の代替的構成で示されている。ホワイトバランス調整を実行する目的で、参照領域１３０はイメージセンサ１１０の視野の中に（並進運動及び／又は回転運動によって）移動された状態で示されている一方で、イメージセンサ１１０は固定されたままの状態で示されている。集合的に図２から図４が示すように、イメージセンサ１１０及び／又は参照領域１３０のいずれか一方は、イメージセンサ１１０が参照領域１３０の画像を取得すべく配置されるように、並進及び／又は回転を含む任意の従来の態様で、互いに対して移動され得る。

では、図５に目を向けると、参照領域１３０、及び、１または複数のマーカ１３５を使用してホワイトバランス調整を実行する撮像システム１００の例示的実施形態が示されている。１または複数のマーカ１３５は、参照領域１３０の位置を指定すべく使用でき、及び／又は、マーカ１３５によってエンコードされる情報の中でホワイトバランス調整処理に関する追加の情報を伝達すべく使用できる。好ましくは、各マーカ１３５は、参照領域１３０内で、マーカ１３５の周辺部１３７と容易に区別される。例えば、マーカ１３５は、周辺部１３７の色と共に高コントラストを有する色を備えることができる。代わりに及び／又は加えて、マーカ１３５は、イメージセンサ１１０が認識できるパターンを有することができる。幾つかの実施形態において、マーカ１３５は、例えば更に参照領域１３０の形をたどるべく使用可能な情報をエンコードできる。好ましい実施形態において、マーカ１３５は、機械可読情報を含む２次元バーコードである、クイックレスポンス（ＱＲ）コード（登録商標）を含むことができる。ＱＲコード（登録商標）は、四角格子内に配置される、好ましくは、カラーコントラストを提供する背景１３６上に配置される、複数の暗色モジュールを含むことができる。イメージセンサ１１０はＱＲコード（登録商標）を「読み取る」ことができ、画像処理プロセッサ１２０（図１に示される）は、ＱＲコード（登録商標）がエンコードした情報を解読できる。

図５において、参照領域１３０は、参照領域１３０の中心に設置された単一のマーカ１３５によって指定された状態で示されている。図１７を参照して以下で更に詳細に説明するように、イメージセンサ１１０は、マーカ１３５を設置すべくイメージセンサ１１０の周囲を走査できる。一度、マーカ１３５が設置されると、イメージセンサ１１０は、ホワイトバランス調整用に、マーカ１３５を囲う周辺領域１３７の画像を取得できる。マーカ１３５がＱＲコード（登録商標）、又は、情報をエンコードする他のパターンを含む場所において、エンコードされる情報は、ホワイトバランス調整に関する複数の更なる詳細（例えば、参照領域１３０のサイズ、複数の境界またはトポロジ）を供給すべく使用できる。

では、図６に目を向けると、撮像システム１００の代替的な例示的実施形態が、参照領域１３０及び複数のマルチマーカ１３５を使用してホワイトバランス調整を実行している状態で示されている。複数のマルチマーカ１３５は、例えば、（図１７を参照して以下で更に説明されるように）参照領域１３０の１または複数の境界１３８を定めることができる。図５及び図６の両方において、イメージセンサ１１０は、（図１７を参照して以下で更に説明されるように）マーカ１３５を走査すべく、参照領域１３０に対して回転及び／又は並進を含む任意の従来の態様で移動できる。

図７は、イメージセンサ１１０が少なくとも１つの軸１４９周りで回転することを可能にするジンバル機構１４０に取り付けできるイメージセンサ１１０を含む、撮像システム１００の例示的実施形態が示されている。ジンバル機構１４０は、１または複数の回転軸１４９に対して搭載される１または複数の回転支持部１４５を含むことができ、それにより、ジンバル機構１４０が取り付けられる取り付け具１４６に対してイメージセンサ１１０が回転的に自由になることを可能にできる。イメージセンサ１１０を取り付け具１４６に対して支持する、第１回転支持部１４５Ａ、第２回転支持部１４５Ｂおよび第３回転支持部１４５Ｃを含む、例示的なジンバル機構１４０が示されている。第１回転支持部１４５Ａは、取り付け具１４６に搭載でき、取り付け具１４６に鉛直なｘ軸１４９Ａ周りで回転するように構成できる。第２回転支持部１４５Ｂは、第１回転支持部１４５Ａに搭載でき、ｘ軸１４９Ａに鉛直なｙ軸１４９Ｂ周りで回転するように構成できる。第３回転支持部１４５Ｃは、第２回転支持部１４５Ｂに搭載でき、ｘ軸１４９Ａおよびｙ軸１４９Ｂに鉛直なｚ軸１４９Ｃ周りで回転するように構成できる。最後に、イメージセンサ１１０は、第３回転支持部１４５Ｃに搭載できる。複数の回転支持部１４５は、取り付け具１４６、イメージセンサ１１０、又は、複数の他の回転支持部１４５に直接搭載される必要はない。代わりに、複数の回転支持部１４５は、任意に、（例えば１または複数のスペーサー部分（不図示）によって）取り付け具１４６、イメージセンサ１１０、又は、複数の他の回転支持部１４５に間接的に搭載できる。

ジンバル機構１４０内で複数の回転支持部１４５を構成して搭載する態様は異なり得、例えば、複数の同心円構造、及び、図７から図９に示される複数の非同心円構造を含むことができる。所望される回転自由度数に応じて、ジンバル機構１４０は、１つ、２つ又は３つを含む任意の適切な数の回転支持部１４５を含むことができる。更に、回転支持部１４５Ａ、１４５Ｂおよび１４５Ｃは、単に例示を目的として、相互に鉛直な複数の回転軸（例えば、ｘ軸１４９Ａ、ｙ軸１４９Ｂおよびｚ軸１４９Ｃ）周りで回転するように示されているが、複数の回転支持部１４５は、相互に鉛直な複数の回転軸周りで回転するように構成する必要はない。ジンバル機構１４０は、必要に応じて、例えば、複数のボールベアリング、複数のトラック、複数のアクチュエータ等の様々な機械的装置を含むことができる。例えば、所望の角度αで各回転支持部１４５を回転させるべく、１または複数のロータを使用できる。ジンバル機構１４０は、ホワイトバランス調整用に参照領域１３０を設置すべくイメージセンサ１１０の移動を指示する画像処理プロセッサ１２０からの、複数の回転コマンドに応答するように構成できる。

図８（図７の側面図を示している）において、イメージセンサ１１０は、対象の風景１０５に向けられた状態で示され、参照領域１３０は、イメージセンサ１１０の視野の外側に位置する状態で示されている。

図９（図８と同様の側面図を示している）において、ホワイトバランス調整用のトリガに応答後に、参照領域１３０がイメージセンサ１１０の視野内に位置するように、ジンバル機構１４０が角度αだけ上に向かってｚ軸１４９Ｃ周りで回転した状態で示されている。

単に例示を目的として、３つの回転支持部１４５を有するように示して説明したが、ジンバル機構１４０は、任意の自由度数を提供するための任意の適切な数の回転支持部１４５を含むことができる。更に、図９においては、単に例示を目的として、ｚ軸１４９Ｃ周りで回転した状態を示したが、イメージセンサ１１０は、必要に応じて、参照領域１３０の画像を取得すべく、ｘ軸１４９Ａ、ｙ軸１４９Ｂ及び／又はｚ軸１４９Ｃの任意の組み合わせの軸周りで回転され得る。回転移動されることに加え、イメージセンサ１１０はまた、必要に応じて、参照領域１３０の画像を取得すべく並進移動され得る。

図１０から図１１において、無人航空機（ＵＡＶ）１５０を含む撮像システム１００の例示的実施形態が示されている。ＵＡＶ１５０は、口語で「ドローン」と呼ばれており、輸送体に搭乗する人間操縦者がいない航空機であり、その飛行は、自律的に制御され、又は、遠隔操縦者によって制御される（両方による場合もある）。ＵＡＶは現在、様々な形の空中のデータ収集を要求する民間用途での増大する使用を見出している。様々なタイプのＵＡＶ１５０は、開示する複数のシステム及び方法で使用するのに適している。１つの適切なタイプのＵＡＶ１５０は、例えば、複数の回転翼によって推進される、空中回転翼航空機である。１つの適切な回転翼航空機は、４つの回転翼を有し、クワッドコプタ、クアッドロータヘリコプタ、又は、クアッドロータとして知られている。仮想的な複数のサイトシーイングシステム及び方法に適した複数の例示的なクワッドコプタは、商業的に現在利用可能な多数のモデルを含む。複数の本システム及び方法に適した複数のＵＡＶ１５０は、シングルロータ設計、デュアルロータ設計、トリロータ設計、ヘキサロータ設計、及び、オクトロータ設計などの他の複数のロータ設計を含むが、これらに限定されない。複数の固定翼機型ＵＡＶ１５０、及び、回転翼機と固定翼機との複数のハイブリッド型ＵＡＶ１５０もまた使用できる。ＵＡＶ１５０は、例えば、機体１５１と、１または複数の着陸装置１５２とを含むことができる。単に例示を目的として、ＵＡＶ１５０に対して示して説明したが、撮像システム１００は、任意のタイプのモバイルプラットフォームを含むことができ、又は、そこに搭載できる。例示的で適切な複数のモバイルプラットフォームは、複数の自転車、複数の自動車、複数のトラック、複数の船、複数のボート、複数の電車、複数のヘリコプタ、複数の航空機、それらの様々なハイブリッド等を含むが、これらに限定されない。

ＵＡＶ１５０は特に、自動ホワイトバランス調整を実行するハードウェア及び／又はソフトウェア内で構成できる。例えば、イメージセンサ１１０は、特にＵＡＶ１５０での使用に適応したＵＡＶカメラ１１５であり得る。ＵＡＶカメラ１１５は、好ましくは、ＵＡＶ１５０の動きを過度に妨げるのを回避すべく軽量である。ＵＡＶカメラ１１５は、ＵＡＶカメラ１１５の画像キャプチャ性能を最大化すべく、都合良く広い可動域を有することができる。

図１０から図１１において、ジンバル機構１４０は、ＵＡＶ１５０の機体１５１の面上に配置された状態で示されている。イメージセンサ１１０は、イメージセンサ１１０が機体１５１に対して１または複数の軸周りで回転自在となることを可能にするジンバル機構１４０に取り付けられる。

図１０において、イメージセンサ１１０は、対象の風景１０５に向いている状態で示されており、イメージセンサ１１０の視野は、好ましくは、ＵＡＶ１５０の一部によって妨げられない。図１１において、ホワイトバランス調整を実行するコマンド／トリガを受信後、イメージセンサ１１０は、ホワイトバランス調整用の参照領域１３０がイメージセンサ１１０の視野内となるようにジンバル機構１４０を使用して回転した状態で示されている。図１１に示されている実施形態において、参照領域１３０は、着陸装置１５２上に設置されている状態で示されている。図１１において、単に例示を目的として、参照領域１３０は着陸装置１５２上に設置されている状態で示されているが、参照領域１３０は、イメージセンサ１１０が撮像できるＵＡＶ１５０の任意の部分上（例えば、機体１５１上）に設置できる。参照領域１３０は、対象の風景１０５の撮像に先立って、撮像システム１００で指定されることを必要としてもよく、必要としなくてもよい。例えば、もし、機体１５１、着陸装置１５２、及び／又は、ＵＡＶ１５０の他の複数の部分がホワイトバランス調整するのに適した色を有するならば（例えば、白色、中間グレイ色、又は、他のグレイトーン）、イメージセンサ１１０は、ＵＡＶ１５０のその部分へのポイントだけを必要とする。イメージセンサ１１０は、図１７を参照して以下で更に説明されるように、イメージセンサ１１０の周囲を走査することによって、ＵＡＶ１５０の、ホワイトバランス調整するのに適した部分を設置できる。代替的に、参照領域１３０の位置は、対象の風景１０５の撮像に先立って、撮像システム１００で指定できる。そのような指定が生じた後に、参照領域１３０がイメージセンサ１１０の視野内となるように、イメージセンサ１１０は、指定された位置に従って移動するようにプログラムされ得、又は、そうでなければ、そのように移動することを可能にされ得る。ＵＡＶ１５０が一様にホワイトバランス調整するのに適した色でない複数の実施形態において、参照領域１３０の位置は、好ましくは、対象の風景１０５の撮像に先立って、撮像システム１００で指定される。

図１２において、デジタル画像を自動ホワイトバランス調整する最上位方法２００の実施形態が示されている。一実施形態において、図１の撮像システム１００は、方法２００を実行すべく使用できる。段階２０１において、ホワイトバランス調整トリガに応答して、イメージセンサ１１０と、ホワイトバランス調整するのに適した色を有する参照領域１３０との複数の相対位置を調整し、参照領域１３０の画像を取得すべくイメージセンサ１１０を配置する。ある特定の複数の実施形態において、段階２０１における、イメージセンサ１１０と参照領域１３０との複数の相対位置の調整は、図１３と伴に以下で更に議論されるように、ホワイトバランス調整トリガに応答して自動的に実行できる。例えば、ホワイトバランス調整トリガに応答して、撮像システム１００は、参照領域１３０がイメージセンサ１１０の視野内となるように、イメージセンサ１１０を自動的に位置変更する機構を作動させることができる。代わりに及び／又は加えて、参照領域１３０は、参照領域１３０がイメージセンサ１１０の視野内となるように、自動的に移動され得る。後者は、イメージセンサ１１０を移動できない場合、又は、そのような移動が所望されない場合に、好適であってもよい。

段階２０２において、イメージセンサ１１０を使用して、参照領域１３０の画像を取得する。ある特定の複数の実施形態において、段階２０２における画像取得は、自動的に実行できる。例えば、画像取得は、参照領域１３０がイメージセンサ１１０の視野内となるように、イメージセンサ１１０及び／又は参照領域１３０が配置されることに応答して実行できる。代わりに及び／又は加えて、イメージセンサ１１０が参照領域１３０用にイメージセンサ１１０の周囲を走査するに連れて、イメージセンサ１１０は取得した画像を動的に評価するように構成できる。取得画像が参照領域１３０の画像であるとイメージセンサ１１０が認識した後、取得画像は後続のホワイトバランス調整用に使用できる。走査中の参照領域１３０の認識は、イメージセンサ１１０によって取得される画像の色および色分布に基づいて生じ得る。代わりに及び／又は加えて、参照領域１３０の認識は、イメージセンサ１３０によって先に取得された複数の画像、又は、撮像システム１００の中に予めロードされている他の画像との比較に基づき得る。例えば、画像は、先に取得した参照領域１３０の画像と比較できる。もし画像が、（例えば、２つの画像の色及び／又は構成に基づいて）先に取得した参照領域１３０の画像と同様ならば、撮像システム１００は、参照領域１３０が見つかったという結論を下すことができる。

参照領域１３０の画像を取得した後、ホワイトバランス調整がトリガされた時点より前のイメージセンサ１１０及び／又は参照領域１３０の位置は、復元できる。イメージセンサ１１０及び／又は参照領域１３０の前の位置の当該復元は、自動的に生じさせることができる。例えば、画像処理プロセッサ１２０（図１に示されている）は、複数の前の位置を記憶して、イメージセンサ１１０が参照領域１３０の画像を取得した後にこれらの前の位置を復元するように構成できる。

段階２０３において、デジタル画像をホワイトバランス調整するためのパラメータを参照領域１３０の画像から算出する。ホワイトバランス調整するためのパラメータは、参照領域１３０のカラーキャストによって確認されるような、照明光源の色温度を反映するパラメータであり得る。ホワイトバランス調整するためのパラメータは、例えば、色温度として絶対温度で表現され得る。複数のより低い色温度は、照明光源における青より赤のより高い部分を表わすことができ、その一方で、複数のより高い色温度は、照明光源における赤より青のより高い部分を表わすことができる。照明光源の他の複数の特性を示す他の複数のパラメータはまた、ホワイトバランス調整用に使用できる。幾つかの実施形態において、ホワイトバランス調整するための複数のパラメータは、参照領域１３０の単一画像に基づいて算出できる。例えば、参照領域１３０の複数の異なる部分の複数の色温度は、色の不均一性が予期される幾つかの例において、算出できる。他の複数の例において、参照領域１３０の複数の画素のグループの各画素に対応する複数の色温度を算出できる。ある特定の複数の実施形態において、ホワイトバランス調整パラメータの計算は、例えば、イメージセンサ１１０による参照領域１３０の画像の取得に続いて自動的に実行され得る。例えば、画像処理プロセッサ１２０は、ハードウェア及び／又はソフトウェアによって、参照領域１３０の画像を受信した後にホワイトバランス調整パラメータを取得するための複数の計算プロセスを自動的に開始するように構成できる。

図１３において、ホワイトバランス調整がトリガされる時点を判断する方法３００を示す例示的なフロー図が示されている。段階３０１において、撮像システム１００（図１に示されている）は、ホワイトバランス調整がまだトリガされていない初期状態で開始し、イメージセンサ１１０（図１に示されている）は、対象の風景１０５（図２から図４に示されている）から画像ストリームを取得するプロセスにある。段階３０２において、ホワイトバランス調整を開始する外部コマンド（例えば、ユーザコマンド、又は、イメージセンサ１１０が撮った前の複数の画像のカラーキャストに基づいて、ホワイトバランス調整が必要とされると決定した外部システム（不図示）からのコマンド）が受信されたか否かを決定する。もし外部ホワイトバランス調整コマンドが１つも受信されていないならば、初期状態３０１は維持される。もし段階３０２において外部ホワイトバランス調整コマンドが受信されているならば、段階３０３において、ホワイトバランス調整を開始する。段階３０４において、ホワイトバランス調整は、ホワイトバランス調整が完了するまで進行する。段階３０３及び段階３０４において、ホワイトバランス調整処理中に撮像システム１００が外部に送信する画像ストリームは、任意に停止できる。段階３０４において、ホワイトバランス調整の完了後、撮像システム１００は初期状態３０１へと戻り、必要ならば、画像ストリームは再開できる。段階３０３でホワイトバランス調整が開始された後であるが段階３０４でホワイトバランス調整が完了される前に、もし追加のホワイトバランス調整コマンドが受信されるならば、そのようなコマンドは余分であるとして無視され得る。代替的に、追加のホワイトバランス調整コマンドは、バッファに入れることができ、前のホワイトバランス調整処理が完了した後に後続のホワイトバランス調整コマンドとして取り次ぐことができる。

段階３０５において、外部ホワイトバランス調整トリガの検出の代替的に、及び／又は、それと同時に、イメージセンサ１１０によって撮られた画像を分析することによって、ホワイトバランス調整を自動的にトリガできる。段階３０６において、撮られた画像が参照領域１３０を使用してホワイトバランス調整することを要求しているか否かを分析する。段階３０６において、もし画像がホワイトバランス調整するための参照領域１３０を要求していないと決定されれば、撮像システム１００は、初期状態３０１へと戻らされる。段階３０６において、もし画像がホワイトバランス調整するための参照領域１３０を要求していると決定されれば、段階３０３においてホワイトバランス調整が開始する。画像がホワイトバランス調整するのに適した色を有する領域を欠いているか否かを判断することを含む、段階３０６における画像評価では、様々な基準を使用でき、その場合は、外部参照領域１３０は必要とされない。そのような決定は、図１４を参照して以下で更に詳細に説明される。

では、図１４に目を向けると、対象のデジタル画像が、参照領域１３０を使用することを必要とせずにホワイトバランス調整するのに適した色を有する領域を含むか否かを判断する方法４００の一実施形態の詳細なフロー図が示されている。デジタル画像の複数の画素の複数の色彩比と参照画像の複数の画素の複数の色彩比とを比較することによって、この決定を行う方法４００が示されている。この実施形態は、複数のグレイの色調が、与えられた照明色温度下においてある特定の複数の範囲内に固定される、赤と緑との強度比、及び、青と緑との強度比を有するという事実に基づく。従って、１または複数の参照画像における複数の同じ比を参照し、複数の画素の赤と緑との強度比、及び、青と緑との強度比を組み合わせることによって、対象のデジタル画像における複数のグレイトーンピクセルを識別できる。幾つかの実施形態において、当該方法は、参照画像の複数の画素の複数の色彩比を散布図上にプロットする段階と、デジタル画像の複数の画素の複数の色彩比を散布図上にプロットする段階と、デジタル画像の複数の画素の複数のプロット位置と参照画像の複数の画素の複数のプロット位置とを比較する段階とを含む。

例えば、段階４０１において、複数のグレイの色調の範囲（例えば、白色から中間グレイ色）を有する１または複数の参照オブジェクト４５０を提供することによってホワイトバランス調整する目的で、イメージセンサ１１０を準備する。イメージセンサ１１０の準備は、好ましくは、イメージセンサが対象の風景１０５（図２から図４に示されている）の撮像を開始する時間より前に実行する。段階４０２において、イメージセンサ１１０は、異なる複数の色温度（例えば、２８００Ｋ、４０００Ｋ，５０００Ｋ、６５００Ｋ、７５００Ｋ等）を有する様々な照明光源下で複数の参照オブジェクト４５０の複数の参照画像４５５を取得する。段階４０３において、取得された複数の参照画像４５５から、赤と緑との色強度比、及び、青と緑との色強度比を算出する。赤と緑との色強度比、及び、青と緑との色強度比は、複数の参照画像４５５の個々の画素に対して算出できる。代わりに及び／又は加えて、赤と緑との色強度比、及び、青と緑との色強度比は、複数の参照画像４５５の複数の特定領域に全体に亘って平均化できる。例えば、複数の参照画像４５５は、各ブロック内でノイズが取り除かれるように、固定幅及び高さの複数のブロック（例えば、１０×１０画素、２０×２０画素、５０×５０画素、又は、それより多くの画素数）、及び、各ブロックの全体に亘って平均化されている赤と緑との色強度比、及び、青と緑との色強度比へと分割できる。別の例において、赤と緑との色強度比、及び、青と緑との色強度比は、ある特定の状況を満たす参照画像４５５の特定の複数の画素に対してのみ平均化できる（例えば、ある特定の色基準を満たしていない複数の画素を平均から取り除くことができる）。更に別の例において、赤と緑との色強度比、及び、青と緑との色強度比は、ある特定の状況を満たす参照画像４５５の複数の特定領域に対してのみ平均化できる（例えば、ある特定の色基準を満たしていない非常に多数の画素を有する複数の領域を取り除くことができる）。

段階４０４において、赤と緑との色強度比、及び、青と緑との色強度比が複数の参照画像４５５から算出された後、参照の複数のグレイの色調および複数の色温度の範囲全体に亘る、赤と緑との色彩比、及び、青と緑との色彩比の分布を参照散布図９０１（図１５に示されている）上にプロットする。当該図の複数の軸は、赤と緑との色彩比（例えばｘ軸上）、及び、青と緑との色彩比（例えばｙ軸上）である。例示的な参照散布図９０１は、図１５に示されている。参照散布図９０１上では、様々なグレイトーンピクセルによって、複数の画素が生成される色温度に対応する複数のクラスタ９０２を形成できる（例えば、２８００Ｋの温度で用いられる複数の画素は散布図の右下で低下する傾向にあってもよく、その一方で、７５００Ｋの温度で用いられる複数の画素は散布図の左上で低下する傾向にあってもよい）。参照散布図９０１は、対象の風景１０５の撮像中にホワイトバランス調整すべく参照散布図９０１を使用できるように、イメージセンサが対象の風景１０５の撮像を開始する時間より前に生成できる。

図１４に戻って言及すると、対象の風景１０５の撮像を開始した後に、対象の風景１０５の画像が、参照領域１３０を使用せずにホワイトバランス調整するのに適した色を有する領域を含んでいるか否かを決定する。そのような決定を行うべく、段階４０５において、対象の風景１０５の画像の複数の画素の赤と緑との色彩比、及び、青と緑との色彩比を算出する。好ましくは、参照散布図９０１を生成するための複数の色彩比の計算と同じ又は同様の態様で、対象の風景１０５の画像に対する複数の色彩比の計算を実行する。段階４０６において、これら複数の強度比の組み合わせが、複数の座標として用いられた場合に、参照散布図のクラスタ内に入るか否か、及び、それ故にそれ自体がグレイトーンピクセルであるか否かを決定する。段階４０７において、もし十分に多数の画素、又は、複数の画素の十分な部分がグレイトーンであるならば、画像はホワイトバランス調整するのに適した領域を有しており、ホワイトバランス調整するための外部参照領域１３０を使用する必要はない。そうでなければ、段階４０８において、画像はホワイトバランス調整するのに適した領域を欠いており、ホワイトバランス調整するための外部参照領域１３０の使用から利益を享受するだろう。

では、図１６に目を向けると、参照領域１３０がイメージセンサ１１０の視野内となるようにイメージセンサ１１０を自動的に移動させる方法５００が示されている。この実施形態においては、参照領域１３０の位置は、ホワイトバランス調整が開始する時点より前に、画像処理プロセッサ１２０（図１に示されている）によって記録される。段階５０１において、参照領域１３０の位置は、３つのデカルト座標の１つにおける、イメージセンサ１１０に対する参照領域１３０の直線変位のような、１または複数の位置パラメータを使用して指定できる。例えば、画像処理プロセッサ１２０は、参照領域１３０がイメージセンサ１１０の２０〜３０ｃｍ上方、且つ、イメージセンサ１１０の左側３０〜４０ｃｍにあると記録できる。代わりに及び／又は加えて、参照領域１３０の位置は、１または複数の角（換言すると、回転）変位パラメータを使用して指定でき、これは、イメージセンサ１１０の移動が回転機構（例えば、図７から図９を参照して上記で説明したジンバル機構１４０）によって制御される場合により適していてもよい。例えば、画像処理プロセッサ１２０は、イメージセンサ１１０を上に４０〜４５度の角度Φ、且つ、左に２０〜２５度の角度θだけ移動することによって参照領域１３０を設置できると記録することができる。段階５０２において、１または複数の位置パラメータは、参照領域１３０がイメージセンサ１１０の視野内となるように対応する並進機構及び／又は回転機構（例えば、ジンバル機構１４０）によってイメージセンサ１１０の位置を調整すべく（例えば、イメージセンサ１１０を上に４０〜４５度の角度Φ、且つ、左に２０〜２５度の角度θだけ移動すべく）使用できる。

では、図１７に目を向けると、参照領域１３０がイメージセンサ１１０の視野内となるようにイメージセンサ１１０を自動的に移動させる代替的方法６００が示されている。この実施形態においては、参照領域１３０の位置は、画像処理プロセッサ１２０（図１に示されている）によって記録されないが、画像処理プロセッサ１２０が認識可能なマーカ１３５でマークされる。この実施形態は、参照領域１３０の位置を必要に応じて容易に移動できるという利点を有するが、参照領域１３０の位置を記録することに比べて計算的に負荷がより大きいかもしれない。

段階６０１において、参照領域１３０の位置は、マーカ１３５を使用して指定される。好ましくは、マーカ１３５は、画像処理プロセッサ１２０によってその周囲と容易に区別される程、十分に特色ある。好ましい実施形態において、マーカ１３５は、機械可読情報をエンコードする２次元バーコードである、クイックレスポンス（ＱＲ）コード（登録商標）であり得る。図５から図６を参照して上記で議論したように、ＱＲコード（登録商標）は、四角格子内、好ましくは、カラーコントラストを提供する背景上に配置される暗色モジュールを含むことができ、それは、イメージセンサ１１０によって「読み取」られ得、そのコンテンツは、画像処理プロセッサ１２０によって解読され得る。ＱＲコード（登録商標）のコンピュータ読み取りのための様々な方法が知られている。例えば、ＱＲコード（登録商標）の画像が適切に解釈され得るように、リードソロモンエラー修正を使用してＱＲコード（登録商標）の画像を処理できる。

段階６０２において、イメージセンサ１１０は、マーカ１３５（例えばＱＲコード（登録商標））が設置されるまで、イメージセンサ１１０の周囲を走査する。幾らかの取り付けによって他より高い可動度が与えられるので、方法６００は、イメージセンサ１１０が撮像システム１００の他の複数の部分に取り付けられる態様に応じて、異なることができる。単純な場合においては、イメージセンサ１１０は、単一の自由度についてのみ移動できる（例えば、イメージセンサ１１０は、上下にチルト、又は、左右にスウィングすることだけできる）。この場合は、イメージセンサ１１０は、任意に、マーカ１３５を設置すべく自身の全可動域を通じて移動できる。他の複数の場合においては、イメージセンサ１１０がマーカ１３５を設置すべく実行する可動域を制限できる。そのような複数の制限は、角変位制限及び／又は直線変位制限であり得る（例えば、イメージセンサ１１０は、マーカ１３５を見つけるべく、その原点から２０度若しくは２インチ、又は、これより大きい角度若しくは距離を移動することを許容されていない）。そのような複数の制限はまた、例えば、イメージセンサ１１０がマーカ１３５を見つけるのに移動すべきである特定の方向を特定できる（例えば、その制限は、イメージセンサ１１０が、上にだけ移動できるが下には移動できない、又は、左にだけ回転できるが右には回転できない、というものであり得る）。イメージセンサ１１０が複数の自由度について移動できる、より複雑な場合においては、イメージセンサ１１０は、マーカ１３５を見つけるべく、（例えば効率化を目的として）１または複数の選択された自由度においてのみ移動するように制限され得る。更に、イメージセンサ１１０がマーカ１３５を走査すべきである（複数の角座標の点で）特定のセクタを指定できる。イメージセンサ１１０による、マーカ１３５に対する任意の特定領域又はセクションの走査は、好ましくはシステマティックである。例えば、イメージセンサ１１０は、一方向で全可動域の至る所を走査し、他の方向で固定量だけ移動し、再び、第１の方向で全可動域の至る所を走査するように構成できる。

段階６０３において、イメージセンサ１１０は、マーカ１３５を設置しており、参照領域１３０を指定すべくマーカ１３５を使用できる。マーカ１３５の特色ある色及びパターンによって、別の方法ではニュートラルに色付いているだろう（例えば、白色、中間グレイ色、又は、他のグレイトーン）領域を含むバイアスを導入できるので、ホワイトバランス調整するためのパラメータを計算する複数の目的で、参照領域１３０の画像からマーカ１３５を除外できる。一実施形態において、マーカ１３５は、参照領域１３０の中心に配置でき、画像処理プロセッサ１２０（図１に示されている）は、マーカ１３５から特定距離内の領域をキャプチャするように構成できる。別の実施形態において、マーカ１３５は、参照領域１３０の境界１３８（図６に示されている）に関する情報をエンコードする。別の実施形態において、マーカ１３５は、参照領域１３０の境界１３８に設置される。この実施形態においては、参照領域１３０の境界１３８に設置されるマーカ１３５は、マーカ内でエンコードされ得、又は、画像処理プロセッサ１２０上に記録され得る。幾つかの実施形態において、マルチマーカ１３５は、参照領域１３０の１または複数の境界１３８を定めるべく使用できる。従って、複数のマーカ１３５の配置と、複数のマーカ１３５内でエンコードされた情報との組み合わせによって、参照領域１３０の複数の境界は完全に特定できる。

では、図１８に目を向けると、参照領域１３０をイメージセンサ１１０の視野の中に自動的に移動させる方法７００の実施形態が示されている。方法７００の利点は、イメージセンサ１１０が固定されている、又は、イメージセンサ１１０を移動することが非実用的である（例えば、イメージセンサ１１０の移動が遅過ぎる、又は、イメージセンサ１１０が移動するには大き過ぎる）場において当該方法を使用できることである。そのような複数の場合においては、参照領域１３０は、様々な機械的手段（例えば、複数のモータ、複数のボールベアリング、複数のトラック、複数のバネ等）によって、撮像システム１００（図１に示されている）、及び、レンダリングされたモバイルと連結できる。

従って、段階７０１において、参照領域１３０は撮像システム１００の一部にインセットされ、イメージセンサ１１０の視野内に位置しない。段階７０２において、（図３および図４を参照して上記で説明した）ホワイトバランス調整トリガに応答して、参照領域１３０はイメージセンサ１１０の視野の中へと移動され、部分的に又は完全に当該視野を占める。段階７０３において、イメージセンサ１１０は、ホワイトバランス調整するための参照領域１３０の画像を取得する。段階７０４において、参照領域１３０の画像取得が完了した後に、参照領域１３０をインセット位置に戻すようにリトラクトできる。撮像システム１００がＵＡＶ１５０（図１０から図１１に示されている）を含む複数の実施形態において、参照領域１３０は、例えば、ＵＡＶ１５０の機体１５１（図１０から図１１に示されている）にインセットされ得る。ＵＡＶ１５０の正常な複数の動作の下で、参照領域１３０は、その外部が機体１５１の外部面１５３（図１０から図１１に示されている）と同一平面になるように、少なくとも部分的に機体１５１にインセットされ得る。参照領域１３０は、ホワイトバランス調整すべくイメージセンサ１１０の視野の中に入るように外方へイジェクトされ得、参照領域１３０が撮像された後に機体１５１の中へと再挿入され得る。

では、図１９に目を向けると、参照領域１３０の画像を使用してホワイトバランス調整するためのパラメータを計算する方法８００の実施形態が示されている。参照領域１３０は意図的に一様に色付けされ得るが、参照領域１３０の画像における不均一性は、結果として生じるホワイトバランス調整パラメータに著しくバイアスをかけそうな複数のアーチファクトを含んでもよい。参照領域画像における不均一性は、例えば、参照領域１３０が変色されている、又は、過剰な使用で及び／又は不向きな複数の天気状況から単に汚れている場合に、引き起こされ得る。不均一性は更に、撮像ハードウェアでの複数の故障、及び／又は、画像処理ソフトウェアでの複数のバグによって引き起こされ得る。いずれか一方の場合で、参照領域画像の均一性に対する試験によって、自動ホワイトバランス調整プロセスの信頼性を向上できる。

従って、段階８０１において、参照領域１３０の画像の複数の画素の色のばらつきを分析する。段階８０２において、色のばらつきの程度が高すぎる（例えば、ばらつきが予め定められた閾値を超える）か否かを決定する。もし色のばらつきの程度が高すぎるならば、効果的にホワイトバランス調整するには画像の色が不均一すぎると示すことができ、段階８０３において、撮像システム１００は、参照領域１３０を使用してホワイトバランス調整することが信頼できないかもしれないという警告メッセージを、受信システム（不図示）又はユーザ（不図示）に送信できる。撮像システム１００は、任意に、参照領域１３０の当該特定画像を使用してホワイトバランス調整パラメータを計算するための後続の複数の段階を中止できる。撮像システム１００は、参照領域１３０の複数の後続の画像を用いて、複数の後続の画像の色のばらつきを計算することによって、ホワイトバランス調整を実行することを試みることができる。もし複数の後続の画像の色のばらつきの程度がまだ高すぎるならば、撮像システム１００は、もし第２参照領域（不図示）が撮像システム１００に利用可能であれば、ホワイトバランス調整すべくそのような第２参照領域を使用することを試みることができる。

たとえ参照領域１３０の画像のばらつきが適切な均一度を有するとしても、その画像は、取り除かれる必要がある複数のカラーアーチファクトを有する複数の画素を含むかもしれない。例えば、複数のアウトライヤーカラーを有する複数の画素から生じ得る、色温度評価における複数のバイアスを回避すべく、段階８０４において、そのような複数のアウトライヤー画素を取り除いてもよく、段階８０５において、色温度に対し、（例えば残りの複数の画素の平均を用いることによって）残りの複数の画素を評価してもよい。例えば最も高い色温度の画素および最も低い色温度の画素の（例えば、２％、５％、１０％、１５％、又は、それより高い）固定パーセンタイルの除去のようなアウトライヤー画素除去用に、様々な統計技術を使用できる。

開示した複数の実施形態は、様々な変更及び代替的な形式の対象たり得るものであり、それらの複数の具体例は、複数の図面において、例として示され、本明細書において詳細に説明される。しかしながら、開示した複数の実施形態は、開示した特定の複数の形式又は方法に限定されるものではなく、反対に、開示した複数の実施形態は、全ての変更、均等物及び代替案を包含するものであることに留意すべきである。
［項目１］
自動的にデジタル画像をホワイトバランス調整する方法であって、
ホワイトバランス調整トリガに応答して、イメージセンサと、ホワイトバランス調整するのに適した色を有する参照領域との複数の相対位置を調整し、前記参照領域の画像を取得すべく前記イメージセンサを配置する段階と、
前記イメージセンサを使用して、前記参照領域の前記画像を取得する段階と、
前記参照領域の前記画像から前記デジタル画像をホワイトバランス調整するためのパラメータを計算する段階と
を含む、方法。
［項目２］
前記複数の相対位置を調整する段階は、前記イメージセンサ及び前記参照領域の前記複数の相対位置を自動的に調整する段階を含む、請求項１に記載の方法。
［項目３］
前記取得する段階は、前記参照領域の前記画像を自動的に取得する段階を含む、請求項１または２に記載の方法。
［項目４］
前記計算する段階は、ホワイトバランス調整するための前記パラメータを自動的に計算する段階を含む、請求項１から３の何れか一項に記載の方法。
［項目５］
前記複数の相対位置を調整する段階は、前記デジタル画像がホワイトバランス調整参照として使用するのに適した領域を欠いているとの決定を含む前記ホワイトバランス調整トリガに応答して、前記複数の相対位置を調整する段階を含む、請求項１から４の何れか一項に記載の方法。
［項目６］
前記デジタル画像がホワイトバランス調整参照として使用するのに適した領域を欠いているとの前記決定は、前記デジタル画像の複数の画素の複数の色彩比と、参照画像の複数の画素の複数の色彩比とを比較する段階を含む、請求項５に記載の方法。
［項目７］
前記複数の色彩比は、赤と緑との複数の比、及び、青と緑との複数の比を含む、請求項６に記載の方法。
［項目８］
前記比較する段階は、前記参照画像の前記複数の画素の前記複数の色彩比を散布図上にプロットする段階と、前記デジタル画像の前記複数の画素の前記複数の色彩比を散布図上にプロットする段階と、前記デジタル画像の前記複数の画素の複数のプロット位置と前記参照画像の前記複数の画素の複数のプロット位置とを比較する段階とを含む、請求項６または７に記載の方法。
［項目９］
前記複数の相対位置を調整する段階は、ユーザコマンドを含む前記ホワイトバランス調整トリガに応答して、前記複数の相対位置を調整する段階を含む、請求項１から８の何れか一項に記載の方法。
［項目１０］
前記調整する段階は、前記参照領域が前記イメージセンサの視野内となるように、自動的に前記イメージセンサを移動させる段階を含む、請求項１から９の何れか一項に記載の方法。
［項目１１］
前記参照領域の記録された位置に従って前記イメージセンサを調整して移動させる段階に先立って、前記参照領域の前記位置を記録する段階を更に含む、請求項１０に記載の方法。
［項目１２］
前記調整する段階は、前記参照領域を設置すべく、前記イメージセンサが、前記イメージセンサの周囲を走査することを可能にする段階を含む、請求項１０または１１に記載の方法。
［項目１３］
前記イメージセンサを可能にする段階は、前記イメージセンサが、１または複数のマーカを認識することによって前記参照領域を設置することを可能にする段階を含む、請求項１２に記載の方法。
［項目１４］
前記複数のマーカは、前記参照領域の境界を定める、請求項１３に記載の方法。
［項目１５］
前記複数のマーカは、複数のクイックレスポンス（ＱＲ）コード（登録商標）である、請求項１３または１４に記載の方法。
［項目１６］
前記調整する段階は、前記参照領域を前記イメージセンサの視野の中へと自動的に移動させる段階を含む、請求項１から１５の何れか一項に記載の方法。
［項目１７］
前記イメージセンサが前記参照領域の前記画像を取得した後に、前記イメージセンサ及び前記参照領域の少なくとも一方の前記位置を自動的に復元する段階を更に含む、請求項１から１６の何れか一項に記載の方法。
［項目１８］
前記計算する段階は、複数のアウトライヤーカラーを有する前記参照領域の前記画像の複数の画素を廃棄する段階を含む、請求項１から１７の何れか一項に記載の方法。
［項目１９］
前記参照領域の前記画像の複数の画素の色のばらつきが予め定められた閾値より高い場合、エラーメッセージを制御システムに送信する段階を更に含む、請求項１から１８の何れか一項に記載の方法。
［項目２０］
前記パラメータを使用して、前記デジタル画像をホワイトバランス調整する段階を更に含む、請求項１から１９の何れか一項に記載の方法。
［項目２１］
デジタル画像と、ホワイトバランス調整するのに適した色を有する参照領域とを取得するのに適したイメージセンサを備え、
請求項１から２０の何れか一項に従って、デジタル画像の自動ホワイトバランス調整を実行するように構成される、撮像システム。
［項目２２］
前記参照領域は、前記撮像システムの本体にインセットされ、前記イメージセンサの視野の中および外で移動するように構成される、請求項２１に記載の撮像システム。
［項目２３］
前記撮像システムは、無人航空機（ＵＡＶ）を含む、請求項２１または２２に記載の撮像システム。
［項目２４］
少なくとも１つの軸周りで回転することを可能にすべく、ジンバル機構に動作可能に搭載されるイメージセンサと、
デジタル画像の自動ホワイトバランス調整を実行するように構成される画像処理プロセッサと
を備え、
ホワイトバランス調整トリガに応答して、前記ジンバル機構を使用し、ホワイトバランス調整するのに適した色を有する参照領域の位置に対する前記イメージセンサの位置を調整し、
前記イメージセンサを使用して、前記参照領域の画像を取得し、
前記画像処理プロセッサを使用して、前記参照領域の前記画像からホワイトバランスパラメータを計算するように構成される、
撮像システム。
［項目２５］
前記ホワイトバランス調整トリガは、前記画像処理プロセッサによる、対象のデジタル画像がホワイトバランス調整参照として使用するのに適した領域を欠いているとの決定を含む、請求項２４に記載の撮像システム。
［項目２６］
前記ホワイトバランス調整トリガは、ユーザコマンドを含む、請求項２４または２５に記載の撮像システム。
［項目２７］
前記画像処理プロセッサは、前記参照領域の前記位置に関する１または複数のパラメータを記録し、前記複数のパラメータを使用して前記イメージセンサの前記位置を調整するように構成される、請求項２４から２６の何れか一項に記載の撮像システム。
［項目２８］
前記複数のパラメータは、前記イメージセンサの前記位置に対する、前記参照領域の直線変位及び角変位の少なくとも一方を含む、請求項２７に記載の撮像システム。
［項目２９］
前記画像処理プロセッサは、前記参照領域を設置すべく、前記イメージセンサに、前記イメージセンサの周囲を走査することを指示するように構成される、請求項２４から２８の何れか一項に記載の撮像システム。
［項目３０］
前記イメージセンサは、１または複数のマーカを認識することによって、前記参照領域を設置する、請求項２９に記載の撮像システム。
［項目３１］
前記複数のマーカは、前記参照領域の境界を定める、請求項３０に記載の撮像システム。
［項目３２］
前記複数のマーカは、複数のクイックレスポンス（ＱＲ）コード（登録商標）である、請求項３０または３１に記載の撮像システム。
［項目３３］
前記撮像システムは、無人航空機（ＵＡＶ）を含む、請求項２４から３２の何れか一項に記載の撮像システム。
［項目３４］
前記ジンバル機構は、前記ＵＡＶの機体の選択面上に配置され、前記参照領域は、前記ＵＡＶの着陸装置上に設置される、請求項３３に記載の撮像システム。

Claims (23)

1. 無人航空機（ＵＡＶ）において実行される、デジタル画像のホワイトバランス調整方法であって、
   前記ＵＡＶは、
   機体と、
   前記機体に取り付けられた着陸装置と、
   前記機体に取り付けられたジンバル機構と、
   少なくとも１つの軸周りで回転することを可能にすべく、前記ジンバル機構に動作可能に搭載されるイメージセンサと、
   前記イメージセンサの視野内であって、前記着陸装置に設置され、ホワイトバランス調整がされるのに適した色を有する参照領域と
   を備え、
   ホワイトバランス調整トリガに応答して、前記ジンバル機構が使用され、前記イメージセンサと、前記参照領域との複数の相対位置が調整され、前記イメージセンサが配置されるステップと、
   前記イメージセンサを使用して、前記参照領域の画像が取得されるステップと、
   前記参照領域の前記画像から前記デジタル画像にホワイトバランス調整がされるパラメータが計算されるステップと
   を含む、ホワイトバランス調整方法。
2. 前記複数の相対位置が調整されるステップは、前記ジンバル機構が使用され、前記イメージセンサ及び前記参照領域の前記複数の相対位置が自動的に調整されるステップを含む、請求項１に記載のホワイトバランス調整方法。
3. 前記参照領域の前記画像が取得されるステップは、前記参照領域の前記画像が自動的に取得されるステップを含む、請求項１または２に記載のホワイトバランス調整方法。
4. 前記パラメータが計算されるステップは、ホワイトバランス調整がされる前記パラメータが自動的に計算されるステップを含む、請求項１から３の何れか一項に記載のホワイトバランス調整方法。
5. 前記複数の相対位置が調整されるステップは、前記デジタル画像がホワイトバランス調整参照として使用するのに適した領域を欠いているとの決定を含む前記ホワイトバランス調整トリガに応答して、前記ジンバル機構が使用され、前記複数の相対位置が調整されるステップを含む、請求項１から４の何れか一項に記載のホワイトバランス調整方法。
6. 前記デジタル画像がホワイトバランス調整参照として使用するのに適した領域を欠いているとの前記決定は、前記デジタル画像の複数の画素の複数の色彩比と、参照画像の複数の画素の複数の色彩比とが比較されるステップを含む、請求項５に記載のホワイトバランス調整方法。
7. 前記複数の色彩比は、赤と緑との複数の比、及び、青と緑との複数の比を含む、請求項６に記載のホワイトバランス調整方法。
8. 前記比較されるステップは、前記参照画像の前記複数の画素の前記複数の色彩比が散布図にプロットされるステップと、前記デジタル画像の前記複数の画素の前記複数の色彩比が散布図にプロットされるステップと、前記デジタル画像の前記複数の画素の複数のプロット位置と前記参照画像の前記複数の画素の複数のプロット位置とが比較されるステップとを含む、請求項６または７に記載のホワイトバランス調整方法。
9. 前記複数の相対位置が調整されるステップは、ユーザコマンドを含む前記ホワイトバランス調整トリガに応答して、前記ジンバル機構が使用され、前記複数の相対位置が調整されるステップを含む、請求項１から８の何れか一項に記載のホワイトバランス調整方法。
10. 前記複数の相対位置が調整されるステップは、前記参照領域が前記イメージセンサの視野内となるように、前記ジンバル機構が使用され、前記イメージセンサが移動するステップを含む、請求項１から９の何れか一項に記載のホワイトバランス調整方法。
11. 前記参照領域が記録された位置に従って前記イメージセンサが移動するステップに先立って、前記参照領域の前記位置が記録されるステップを更に含む、請求項１０に記載のホワイトバランス調整方法。
12. 前記複数の相対位置が調整されるステップは、前記ジンバル機構が使用され、前記イメージセンサが、前記イメージセンサの周囲を走査するステップを含む、請求項１０または１１に記載のホワイトバランス調整方法。
13. 前記イメージセンサの周囲を走査するステップは、１または複数のマーカが前記イメージセンサに認識されることによって前記参照領域が設置されるステップを含む、請求項１２に記載のホワイトバランス調整方法。
14. 前記参照領域の境界は前記複数のマーカによって定められる、請求項１３に記載のホワイトバランス調整方法。
15. 前記複数のマーカは、複数のクイックレスポンス（ＱＲ）コード（登録商標）である、請求項１３または１４に記載のホワイトバランス調整方法。
16. 前記複数の相対位置が調整されるステップは、前記ジンバル機構が使用され、前記イメージセンサの視野の中に前記参照領域が移動されるステップを含む、請求項１から１５の何れか一項に記載のホワイトバランス調整方法。
17. 前記イメージセンサが前記参照領域の前記画像を取得した後に、前記ジンバル機構が使用され、前記イメージセンサ及び前記参照領域の少なくとも一方の位置を復元するステップを更に含む、請求項１から１６の何れか一項に記載のホワイトバランス調整方法。
18. 前記パラメータが計算されるステップは、複数のアウトライヤーカラーを有する前記参照領域の前記画像の複数の画素を廃棄するステップを含む、請求項１から１７の何れか一項に記載のホワイトバランス調整方法。
19. 前記参照領域の前記画像の複数の画素の色のばらつきが予め定められた閾値より高い場合、エラーメッセージが制御システムに送信されるステップを更に含む、請求項１から１８の何れか一項に記載のホワイトバランス調整方法。
20. 前記パラメータを使用して、前記デジタル画像がホワイトバランス調整されるステップを更に含む、請求項１から１９の何れか一項に記載のホワイトバランス調整方法。
21. デジタル画像と、ホワイトバランス調整するのに適した色を有する参照領域とが取得されるのに適したイメージセンサを備え、
    請求項１から２０の何れか一項に記載のホワイトバランス調整方法に従って、デジタル画像のホワイトバランス調整が実行される、撮像システム。
22. 前記撮像システムの本体にインセットされ、前記イメージセンサの視野の中および外で前記参照領域が移動される、請求項２１に記載の撮像システム。
23. 無人航空機（ＵＡＶ）に搭載され、デジタル画像のホワイトバランス調整を実行する撮像システムであって、
    機体と、
    前記機体に取り付けられた着陸装置と、
    前記機体に取り付けられたジンバル機構と、
    少なくとも１つの軸周りで回転することを可能にすべく、前記ジンバル機構に動作可能に搭載されるイメージセンサと、
    前記イメージセンサの視野内であって、前記着陸装置に設置され、ホワイトバランス調整がされるのに適した色を有する参照領域と、
    デジタル画像のホワイトバランス調整を実行する画像処理プロセッサと
    を備え、
    ホワイトバランス調整トリガに応答して、前記ジンバル機構を使用し、前記参照領域の位置に対する前記イメージセンサの位置を調整し、
    前記イメージセンサを使用して、前記参照領域の画像を取得し、
    前記画像処理プロセッサを使用して、前記参照領域の前記画像からホワイトバランスパラメータを計算する
    撮像システム。

Images