JP6997134B2 - 車載カメラにより取り込まれた原映像に基づいてアピーリング映像を自動的に生成するための方法およびシステム - Google Patents

Description

本発明は、車載カメラにより取り込まれた原映像を改善することによってアピーリング映像（appealing visual、人を引き付ける映像、魅力のある映像）を自動的に生成することのできる方法および対応するシステムに関する。本発明は特に、支援システムにおいて交通状況を解析するために周囲の状況の画像を取り込むことを目的とした車載のカメラを使用する。

自律運転の研究および開発が盛んになるに伴って、道路上の車両には画像および動画記録を可能にするデバイスが装備されている。これらの画像および動画の典型的な目的は、これらを処理して高度な車両安全性または高度な運転能力のために使用することである。このような目的においては、画像に含まれる情報が状況分析にとって十分である限り、撮影される画像に高品質は求められないことは明らかである。例えば、信頼性のある予測結果が得られるように画像に含まれる情報を高い精度で解析できれば十分である。他方において、このようなカメラによって取り込まれた画像の見栄え（appearance）は無関係である。さらに、いずれの自動車製造業者も、車載システムのコストに目を向ける必要がある。したがって、運転者支援システムには安価なカメラが備えられる。さらにまた、自動車製造業者同士の間には激しい競争がある。その結果、各自動車製造業者は、新しいシステムを開発することから生じるコストに目を向け続けなければならない。特に、最新の支援システムにより生じる追加コストを制御し続けなければならず、このため、このような支援システム用には安価なハードウェアが使用されることとなる。

この分野においては、カメラにより撮影された画像を改善するための複数のアルゴリズムおよび方法が知られているが、車載カメラにより取得される画像から開始して、満足な品質を持ち且つ公開し得るような最終的な（静止画または動画の）アピーリング映像を実現することのできる、既知の自動処理ルーチンは存在しない。他方において、車載カメラにより取得される画像の量は膨大であり、したがって数多くの状況がこれらのカメラにより記録される。これらの状況について生成されるスナップショットは、自動車の所有者に関心を持たれ得るが、その品質は低く、公開その他の、支援システムによる交通状況分析以外の用途にこれらの画像を用いようとさせるほどの品質ではない。

したがって、高価なハードウェアを用いることなくアピーリング映像をもたらし得るように、これらの画像の品質を改善するニーズが存在する。これには、さらに、車両運転者が移動中に画像を取得して記録することができる、という利点がある。このことは、特に風景写真に関するユーザにとっての利便性を非常に大きく改善する。

この目的は、請求項に記載の方法およびシステムに従う本発明により達成される。

有利な態様および特徴を、従属請求項に規定する。

本発明によれば、車載カメラにより撮影された（又は取り込まれた）原映像に基づいてアピーリング映像を自動的に生成するためのシステムおよび方法が提供される。本発明によれば、初めに、原映像を車載カメラにより撮影して記録する。この原画像の撮影時の品質は、車両に搭載されているカメラのみならず、映像の視野角を規定する現在の交通状況によっても制限される。映像は、車両およびその運転者が遭遇する交通状況の中から取り込まれる。すなわち、車載カメラに特別な設定を行うことはできず、従って当該カメラにより撮影される画像は、その車載カメラの撮影映像に依拠する支援システムに関して最適化された設定値を用いたものとなる。もちろん、映像生成に特化したカメラを車両に搭載してもよい。

本発明を規定し及び説明するために用いる車両という用語は、道路車両のみに限定されるものではなく、ロボットデバイスをも含み得るものであることに留意されたい。このようなロボットデバイスは、（自律的な）芝刈り機などであり得る。

このような原映像をシステムのメモリに記録した後に、当該原映像の見栄え（appearance）を改善するための、原映像（画像）の処理が開始される。

原映像内におけるセマンティック（semantic）画像コンテンツ及びその配置を、例えば、アノテーションおよびセマンティック画像解析アルゴリズム（an annotation and semantic image analysis algorithm）を用いて最適化前に算出することができる。セマンティック画像コンテンツ（セマンティックス）の配置とは、原映像内のセマンティックコンテンツの空間配置をいう。これには、原映像の構成に関連する特性および特徴を含むことができる。

原映像のアピール（見栄え、魅力）を改善する最適化処理が実行される。この最適化処理では、以下のステップを実行することにより、予め定められたトレイト（trait）に対して原映像をより類似させる。
他の映像からのコンテンツを適合させることにより原映像に情報を付加して拡張映像を生成するステップ。上記他の映像は、他のセンサにより取り込まれたものか、または、他のセンサからの情報もしくは映像のデータベースからの情報に基づいて作成されたものである。
上記拡張映像におけるセマンティックスの配置を改善する或る種のパースペクティブ（perspective、眺望、展望、視野）またはモーフィング（morphing、変形）を生成するように、上記拡張映像の幾何学的パラメータセットを繰り返し適合させるステップ。
上記拡張映像に上記適合させたパラメータセットを適用するステップ、および、上記最適化したパラメータセットを適用した後で、テンプレートのセットを用いて上記拡張映像に後処理を行って最終映像を生成するステップ。

上記修正映像に追加される情報により、原映像内では車載カメラにより取り込まれていなかった詳細および物体が、上記映像に追加され、当該映像のコンテンツが改善される。追加される情報は、他のソースにより取り込まれた映像から取得される。そのような他のソースは、例えば、同じエリアの画像を撮影した他の車両の車載カメラとすることができる。また、上記追加される情報は、別の機会に撮られた映像から取得されるものとしてもよい。すなわち、車両が一の特定の場所を２回以上通過する場合には、当該車両に搭載されたカメラは、異なるコンテンツを含んだ複数の画像を撮影することとなり得る。したがって、このような異なるコンテンツをマージして一つの拡張映像を得ることができる。

画像のコンテンツ、またはより一般的な言葉で言えば映像のコンテンツが拡張された後に、その拡張された映像（拡張映像）のパラメータが、最適化したパラメータセットを生成するためのアピールの基準（見栄えや魅力の基準）にしたがって、最適化される。このようなパラメータは、例えば、その映像のパースペクティブのみならず、その映像内における物体の存在であってもよい。

最適化したパラメータセットを生成するためのアピールの基準にしたがって拡張映像の幾何学的パラメータを最適化することには、まず最適化アルゴリズムにおいて幾何学的パラメータセットをエンコードすること含み得る。次に、エンコードされたパラメータセットが繰り返し適合され、適合されたパラメータセットが生成される。適合されたパラメータセットのそれぞれが拡張映像に適用されて、拡張結果映像（resulting enhanced visual）が生成される。アノテーションを生成するため。上記適合されたパラメータセットの適用から得られた拡張結果映像に、自動化されたセマンティックアノテーションのための方法が適用されてアノテーションが生成され、当該生成されたアノテーションの、トレイトのセットに対する類似性が算出される。

幾何学的パラメータの最適化の後で、最善であることが見いだされたパラメータセット、すなわち生成された最適化されたパラメータセットを、拡張映像に適用して、最終映像を生成することができる。

最終映像は、即座の使用または後の使用のため、出力される。

本方法の一の実施形態では、原映像を取り込むときにカメラのパースペクティブにより発生した歪が修正されて、修正映像が生成される。これに加えて又はこれに代えて、カメラパラメータにより直接的に生じた歪が修正されて、修正映像が生成される。これらの歪は、例えば、使用したカメラの焦点長を要因とするものであり得る。多くの場合、交通状況についての多くの情報を集められるように、車載カメラは、車両の周囲環境のほぼ全景が撮影可能な短い焦点長を持つことが求められる。当然のことながら、他方において、アピーリング画像のためには、焦点長を長くすることが好ましいものとなり得る。原画像に対して実行されるこの修正により、画像のさらなる処理のための基礎を、シームレスな情報融合のためのほぼ中立なパースペクティブとして、上記生成された修正映像の形態で得ることができる。

一の実施形態は、拡張映像に対して最善であることが見出されたパラメータセットを適用した後に、後処理を実行して最終映像を生成するステップをさらに含む。後処理を実行するため、テンプレートのセットが使用される。このようなテンプレートを使用することで、改善対象であり且つ特にユーザの好みに適合させるべき画像の、輝度、彩度、その他の特性を適合させることができる。

本発明の方法および対応するシステムを用いることで、高度に自動化された形で、比較的低い品質の画像から開始して、公開への準備の整ったアピーリング画像を生成することができる。すなわち、様々な交通状況を走行し及び遭遇する車両によってとにかくも撮影され記録された画像に基づき、アピーリング画像を、ユーザに様々な改善技術の適用を強いることなく生成することができる。

特に有利な一の態様によれば、原映像を取り込むステップは、イベントによりトリガされる。イベントは、事前に設定した現地時刻に達すること、規定されたセンサの例外状況の発生、およびオーディオイベントの発生であるものとすることができる。このようなトリガイベントが規定されていれば、車両運転者は、運転操作だけでなく画像取得を望む状況を特定することにも集中力を割かれてしまう、というような状況に直面しないですむという大きな利点を有する。すなわち、運転者は、例えば、写真が撮影されることを望む状況を事前に特定しておくことができる。トリガイベントとして現地時間を用いれば、車両の現在位置を考えることなく日没時の写真を撮影することができる。他方において、規定されたセンサの例外状況の発生を用いて、急加速等が行われた場合に動画を撮影するものとすることができる。オーディオイベントは、車両内における人の発話やラジオ音声のほか、交通インフラストラクチャ又は他の交通参加者が発する音などの外部におけるオーディオイベントであってもよい。

これに代えて、映像は、連続的に取り込まれて記録される。連続的に取り込まれて記録された映像には、それぞれ、連続して取り込まれて記録された映像についての自動化されたセマンティックアノテーションの方法を用いて、セマンティックアノテーションが与えられる。セマンティックアノテーションの、トレイトのセットに対する類似性に基づいて、処理対象とする原映像が選択される。このようなルーチンを用いることで、車載カメラにより自動撮影された映像の総数がユーザにより合理的に検索し得る数をはるかに超えるような場合でも、処理対象の原映像として用いるべき映像の選択が可能となる。先端運転者支援システム用に搭載されるカメラは、通常、車両の周囲環境を連続的に観察するものであり、したがって、原映像は、当該車載カメラにより記録された動画の中から取り出される単一の画像であり得るので、この手法は特に有用である。また、これにより、その映像を後で処理することも可能となる。自動撮影されたすべての映像は、まず、システムに搭載されたメモリに記録されるためである。したがって、より高い処理能力が利用可能となる後の時点まで、処理を延期することができる。

自動的に記録し連続的に記録された複数の映像からの一の映像についての好ましいトレイトは、特定の言葉、カテゴリ、前置詞、言葉の数、または言葉の類似性であり得る。

類似性の計算は、単一のトレイトに基づくだけでなく、複数の単一のトレイトの和に基づいて算出されるものとすると有利である。これにより、異なる態様の組合せを用いて、規定された基準のセットに最も良く合う一の映像を、利用可能な映像の全体から選択することができる。

さらに、最適化ループの実行結果として映像のコンテンツおよび幾何学的パラメータが改善された後、後処理ステップにおいて、少なくとも明暗、輝度、彩度、またはホワイトバランスが調節されることが好ましい。もちろん、これらの複数のパラメータも、プリセットされたユーザプリファレンス（ユーザの好み）にしたがって調節することができる。

さらに、原映像に追加された情報は、インターネット内のデータベース、及び又は非公開にホストされるデータベースに記憶された、少なくとも１つの映像から取得するものとすると、有利である。原映像に追加しようとする情報は、少なくとも１つの映像の、修正された映像コンポーネントに対する類似性によって算出される。この場合に、原映像を、上述した如く歪を修正して中立化した映像へと最初に変換しておくことが有利であることは明らかである。これにより、画像と他の画像とを、これらの画像間の類似性を考慮して容易に比較することができる。追加しようとする情報を提供し得るような対応する画像を見つけるべく画像データベースへアクセスできるように、システムは、有利には、インターネット内の公開データベース、または非公開にホストされているがアクセス可能な何らかのデータベースと通信するよう構成される。これらのデータベースは、本発明のシステムとは独立していてもよいし、他の人が自分の動画像を公開するために用いているデータベースであってもよい。システムがこのようなデータベースを自律的に検索するように構成されていれば、膨大な量の画像を利用して原画像へ情報を追加することができる。

他方で、画像の取り込みが、原画像を取り込むことまたは原画像を選択することによりトリガされることが有利であり得る。特に、現在開発されているスマートシティでは、このようなスマートシティ・インフラストラクチャに備えられ且つこれに接続された多くのカメラがある。このインフラストラクチャも、画像を取り込むようにトリガされれば、スマートシティ・インフラストラクチャに接続されているが当該スマートシティ・インフラストラクチャの直接の要素ではないカメラをも利用することができる。例えば、スマートシティ・インフラストラクチャに接続されている車両がそのようなスマートシティを走行すると、当該車両に搭載されたカメラが画像を取り込むように間接的にトリガされ得る。

幾何学的パラメータの最適化は、最適化アルゴリズムにおいて幾何学的パラメータセットをエンコードするステップを含む。このパラメータセットは、その後、繰り返し適合され、パラメータセットのそれぞれが拡張映像に適用される。これらのパラメータセットの適用の結果、拡張映像のセットが生成される。

パラメータセットは、拡張映像の画像仕様（image specifications）を指定するパラメータを含み得る。これには、高さ、幅、および例えばその画像の左上端の座標の他に、画像のパースペクティブを変えるために利用されるパラメータ、いわゆる画像ワープ（画像変形、image warp）に用いられるパラメータも含まれる。本発明では、最適画像品質基準、いわゆるトレイト、に達する能力を拡張するべく、ワープ（変形、warp）が提案される。これにより、画像内のオブジェクトが、指定された関係に沿って配列され得る。画像ワープを行うため、例えば、直線および付随する消失点のような特徴が規定され、アルゴリズムが適用されて、初期画像が、適合されたパースペクティブおよび適合された構成をもった新しい画像に変形（ワープ）される。他の制御項目は、例えば、平坦な領域、線セグメント、線の向き、境界、および固定点である。各制御ターム（control term）のエネルギーに基づいて変換行列を最適化し、その変換を画像に適用することにより、画像ワープを実現することができる。本発明では、消失点、線セグメント、向き、等に関するパラメータが、最適化アルゴリズムの幾何学的パラメータセットにエンコードされる。

これらの拡張結果映像（resulting enhanced visuals、結果として得られた拡張映像）は、自動化されたセマンティックアノテーションのための方法を適用することによって自動的にアノテートされる。アノテートされた拡張結果映像に基づいて、次に、トレイトのセットに対するアノテーションの類似性の計算が実行され得る。幾何学的パラメータの最適化には、進化的最適化アルゴリズムを使用することが特に好ましい。さらに、幾何学的パラメータには、オブジェクトが原画像に追加される必要があるか否かについての判断も含まれ得ることに留意されたい。

良い結果を得るには、上記処理において正確な画像アノテーションおよびセマンティック画像解析を行うことが重要である。セマンティック画像解析は、人の知覚と一致するような画像記述（image description）を抽出すること目標とする。その結果は、例えば、記述語における対応性が最も高いものについて画像データベースをサーチして画像検索を行うのに用いられる。実現には、サブ領域を検出するための画像セグメントテーション・アルゴリズム、例えば、システムへ映像情報を提供するマルチフィーチャ・アクティブ外形セグメンテーション（multi-feature active contour segmentation）を利用することができる。このステップに続いて、数学モデル、例えば、デシジョンツリー、人工ニューラルネットワーク、または特にサポートベクトルマシンの、インスタンスを学習するための特徴抽出および解析ステップが実行される。高度なモデル精度および一般化能力を実現するため、膨大な画像データセットについてこのモデルを学習するべく、このようなプロセスが適用される。そして、これは、検証用画像データセットにより評価される。計算コストの高い学習ステップは、事前にオフラインで実行される。その後、適正なモデルが、おそらくはパラメータ最適化ステップ中の画像選択プロセスにおいて、上記提案した発明で利用される。

本発明に関して特に有用な多数の進化的最適化アルゴリズムが存在する。このような好ましい最適化アルゴリズムの例は、共分散行列適応（covariance matrix adaptation）を用いる進化的アルゴリズム、ノンドミネーティッドソーティングに基づく進化的アルゴリズム（a non-dominated sorting based evolutionary algorithm）、およびＳメトリック選択進化的多目的アルゴリズム（S-metric selection evolutionary multi-objective algorithm）、及び又は基準ベクトル誘導型進化的アルゴリズム（a reference vector guided evolutionary algorithm）である。

本発明によれば、テンプレートのセットは、映像の適合に関するプリファレンス（preference）のセットにより定義される。プリファレンスのセットは、輝度、コントラスト、彩度、及び又は照明（lighting）についての設定に関するユーザの好み（preference）とすると、好ましいものとなり得る。特に好ましい実施形態によれば、プリファレンスのセットは、データベースまたは映画からの画像のカテゴリについて訓練された機械学習アルゴリズムにより与えられる。すなわち、システムを使用する際にユーザが介入しない場合でも、プリファレンスを改善することが可能である。当該プリファレンスのセットは、車両の計算テクスチャを用いて表現された当該車両の三角形区分メッシュ（triangulated mesh）についての設定値であって、当該表現された車両を上記最適化した映像へ統合するものであると有利である。この手法は、カメラが車両に堅固に搭載されている場合にも、ある種の車両自撮り写真を生成することを可能にする。このように、車両の計算テクスチャを用いて当該車両を表現することにより、その車両を既に改善されている画像に追加することができる。

車両の画像を拡張映像へ挿入するのに用いるこのような三角形区分メッシュは、車両製造者により提供されると有利である。三角形区分メッシュは、その後、システムに記憶され、映像の完成前に（ファイナライズの前）に、拡張映像への統合に用いられ得る。これに加えて、計算テクスチャも車両製造者により提供されて本方法の実行のためにシステムに記憶されると、さらに好ましい。

また、公開された映像に基づいて地域社会によるフィードバックが与えられ、公開された最終映像へのこのようなフィードバックに応じてアピール基準（見栄えや魅力の基準）が適合されると、有利である。

本発明の方法の利点および態様を示す好ましい例について、以下、説明する。例についての説明は、以下の図面に基づいて行う。

本発明の好ましい実施形態に従う方法のフローチャートである。 本方法を実行するためのシステム全体のレイアウトの模式図である。

図１には、各処理ステップにより本方法を示したフローチャートの横に、原映像に対する効果を表す一連のピクトグラムが示されている。

初めに、本発明の実行の基礎となる原映像を決定する必要がある。このような原映像を決定するための１つの容易な方法は、ユーザがカメラの押しボタンを操作することに基づいて映像を取り込むことである。当然のことながら、カメラは車両に搭載されているので、そのような押しボタンは、カメラそれ自体に直接的に配置される必要はなく、カメラに画像を撮影させるための何らかの操作要素であるものとすることができる。もちろん、運転者を混乱させないため、したがって運転者の全注意を交通に向け続けさせるために、カメラに映像を取り込ませて記録させるためのトリガイベントを用いることが好ましい。本出願および好ましい実施形態を説明する目的のため、「映像（visual）」と「画像（image）」との間には区別がないことに留意されたい。当然のことながら、一般に、映像は、静止画だけでなく動画も含み得る。ただし、本説明から、静止画に与えられるすべての情報は、全く同じ方法で動画にも当てはめ得ることが十分に理解され得る。

車両の測位などの多数の様々なトリガイベントによって画像の記録動作をトリガすることができる。車両の測位は、関心のある地点を特定するためマップデータへアクセスする際に利用される全地球衛星測位システム（ＧＮＳＳ：Global Navigation Satellite System）により測定され得る。あるいは、現地時刻を用いて、イベントが生じるとユーザが予想する時刻に画像を取り込むものとすることができる。上記時刻は、前もってユーザにより設定することができ、この時刻に達すると、処理対象とする画像をシステムが自動的に取得する。また、車両の内部イベント、例えば、急な加速やブレーキイングのイベントを検出する加速度センサを用いて、画像の取得及び記録の動作をトリガするものとしてもよい。さらなる例として、オーディオイベントを挙げることができる。このようなオーディオイベントは、車両内における人間の発話やラジオ音声のような内部オーディオイベントだけでなく、交通インフラストラクチャまたは他の交通関係者の音のような外部オーディオイベントであり得る。これらのトリガイベントはすべて、いずれも、当該トリガイベントにより定義される時点において、単一の画像または単一の動画を取得する。他方で、車両に搭載されているカメラは、映像を定期的に連続して記録することを目的としている。すなわち、映像はすべてメモリに記憶されるので、映像を解析し得る機会は、欲しいだけ存在する。このような解析により、関心のあるコンテンツを浮き彫りにし、或る映像内にそのような関心のあるコンテンツが特定されると即座に、その特定された映像を原映像として処理を開始するものとすることができる。

以下においてより詳細に説明するような計算アルゴリズムをすべて用いた原映像の処理は、トリガイベントの発生に基づいて特定目的の原映像が取得され記録される場合においても、計算リソースが利用可能となったときに速やかに実行されることが特に有利である。これにより、オフライン処理が可能となり、車両のプロセッサに対する要求が著しく軽減される。連続的に記録された一連の映像から原映像を選択する場合には、その映像は、動画ストリームから、またはカメラから直接的に、取得することができる。セマンティック動画及びセマンティック画像用のアノテーションアルゴリズム（semantic video and image annotation algorithms）を用いて評価が行われる。このような自動アノテーションアルゴリズムそれ自体は、この分野では既知である。画像がアノテートされた後、アノテーションが計算されて、インタレスティングネス・スコア（interestingness score）が算出される。このようなインタレスティングネス・スコアは、予めユーザにより指定された或る種の基準に基づいて算出される。すなわち、インタレスティングネス・スコアは、アノテートされた映像がこれらの基準をどの程度満足するかを規定する値である。アノテーションが基準を十分に満足するほど、インタレスティングネス・スコアは、より高い値となる。もちろん、複数の異なる基準を組み合わせることができる。この基準を、車両寿命に亘って自動的に最適化することもできる。例えば、人間であるユーザが定めた初期の基準から始めて、フィードバックシステムより自動適合を行うものとすることができる。このフィードバックシステムは、後述するように、映像の公開を必要とする。人間であるユーザによって直接的に規定され又はフィードバックシステムに基づいて規定された基準は、いわゆるトレイト（traits）としてシステムに提供される。

このような基準の例は、一方ではアノテーション中における或る言葉の出現、例えば色（例えば、「赤」）、名前（「ゴールデンゲートブリッジ」）、動物（「犬」）、画像コンテンツ同士の間の関係（「ＡはＢの次である」）を表す言葉や、今日のニュースで目立っている言葉などにより与えられ、他方ではアノテーション文の特徴、例えば言葉の数が、指定されたしきい値よりも多いことや、アノテーション中における同じ言葉の出現回数などにより与えられる。インタレスティングネス・スコアは、一の基準が満足される毎に増加する値とすることができる。もちろん、他のスキームもまた可能である。いずれの場合も、インタレスティングネス・スコアは、最も関心があると考えられる画像に対して現在の構成の映像がどれだけ近いかを示す尺度である。そして、インタレスティングネス・スコアに関する基準を満足している映像が、原映像として選択される。この自動的に選択された映像、または具体的に取得された画像は、その後、さらなるステップにおいて処理される。

処理対象とする原画像を決定した後で、次のステップＳ２では、シームレスな情報融合のため、原画像をそのパースペクティブに関して修正する。原画像に存在し得る歪は、一方で、画像を取り込む際のカメラのパースペクティブによって、または取り込むカメラそれ自体の物理的な特性によって、引き起こされ得る。もちろん、これら２つの歪発生源の組合せも生じ得る。したがって、次のステップＳ２では、これらの歪が修正される。画像のこの種の中立化により、後述する情報追加のシームレスな実行が可能となる。

映像品質の最適化についての核心的な態様を説明する前に、最適化実行のいくつかの一般的なステージについて説明する。映像の品質の最適化に関して２つの異なる態様が存在する。まず、映像のインタレスティングネス（interestingness、興味深さ）を最適化し、その後に、映像の技術的な品質を最適化する。インタレスティングネスには、画像内に示されるオブジェクト、パースペクティブ、高さ、幅、などの側面が含まれ得る。これらのパラメータはすべて、映像の構成に関わるものである。他方で、技術的な品質は、彩度、輝度、コントラスト、等のような側面に関するものである。

画像の技術的な品質を改善する前に、先ず、映像のインタレスティングネスの最適化をおこなう。ここでいうインタレスティングネスは、上述において連続的に記録した一連の映像から処理対象とする原映像としての一の特定の映像を選択するのに用いたインタレスティングネス値、とは別のものであることに留意されたい。もちろん、インタレスティングネスの具体的な個々の基準は、一の特定の映像を選択するプロセスにおいて用いた基準と同じであり得る。最適化ループを用いて最適化されるインタレスティングネスには、他の映像から取った情報の追加だけでなく、アングル及び焦点の適合やアングル補正によるパースペクティブの修正も含まれる。すなわち、映像の構成に関する特性および特徴を改善することで、拡張映像が生成される。この拡張映像並びに自動セマンティック画像及び又は動画のため、アノテーションが再び実行される。すなわち、ここで生成されるアノテーションは、拡張映像に対応する。これらのアノテーションは、次に、指定されたトレイトにしたがったインタレスティングネス値が得られるように評価される。これらのトレイトは、すべて、映像の美術的表現（構成）の態様に関するものである。映像の総合的最適化のこのステージにおいてコンテンツおよびパースペクティブ等を最適化した後に、最終的に、得られた画像の技術的な品質が改善される。これについては、例を参照しつつ後述する。

原映像を中立化した後で、他の画像から取得した情報を追加することができる。フローチャートでは、このことが参照符号Ｓ３により示されている。このような情報の追加または情報融合により、例えば、方法ステップＳ３の隣に示したピクトグラムに示されているような木が追加されることとなり得る。これは、画像へ単一のオブジェクトが追加される例である。情報の追加は、図示のようなオブジェクト全体を追加するものであり得るが、それだけでなく、原映像に既に含まれているオブジェクトの詳細、例えばテクスチャを、改善するものであり得る。図示の例のように、上記追加は、もちろん、原映像によっては取り込まれていない領域の、全体を追加することを含み得る。原映像への情報追加には、ステレオカメラを用いて取り込まれた画像を使用することが特に有用である。このようなケースでは、ステレオ画像に深さ情報が含まれているので、周囲環境の３次元モデルを計算することができる。このような３次元モデリングにより、パースペクティブをより広い範囲に変更することが可能となる。画像内におけるオブジェクト同士の間のすべての相対距離が把握されるので、選択した任意の視点から人工的な画像を生成することができる。

原映像に追加する情報は、利用可能な任意のソースから取得することができる。例えば、システムは、インターネットその他の任意の通信チャネルを介して利用可能な１つまたは複数のデータベースを使用する。このようなデータベースを利用可能にするために、システムは、インターネットにアクセスするための通信ユニットを備える。それだけでなく、非公開でホストされるサーバ、特に、車両所有者が所有する非公開にホストされるサーバを使用することもできる。したがって、例えば、車両所有者は、例えばゴールデンゲートブリッジのゲートのようなある特定の場所の高品質映像を生成することを望む場合には、異なる時刻において且つおそらくはわずかに異なる位置から自身のカメラにより取得した複数の全ての画像を、使用することができる。車両所有者が自身のプライベートサーバにこれらの画像を集めておくと、車両は、その車両所有者のプライベートサーバにアクセスして、今まさに取り込んだ映像と類似する映像を検索することができる。これらのデータベースのいずれかには、自動車や人間などの他の交通関係者によって撮られた映像が与えられるものとすることができる。これに加えて、静止カメラで撮られた画像を使用することもできる。これらの静止カメラは、スマートシティのインフラストラクチャの一部として公的に利用可能なデータベースに接続されていてもよいし、自身のデータベースに画像を提供するものであってもよい。もちろん、車両所有者は、車両から集めた画像素材の全体に基づいて事前計算を行っておくことができる。また、データプライバシーは、規則にしたがって注意深く取り扱われる。

第１のステップにおいて、映像に追加する情報を取得する際に用いることのできる画像を選択するべく、データベースに記憶された映像の全体に類似性検索を行うものとすることができる。原画像に対して特定量の類似性を有する画像のセットを見つけた後、原映像に追加すべき情報を選択する。次に、追加で選択したその画像から取り出した情報を、原映像との融合に用いることができる。類似性検索は、中立化した原映像から始めて、例えば、ゴールデンゲートブリッジのような同じまたは少なくとも類似のコンテンツを含んだ様々な映像を選択する。類似性検索のみならず、中立化した原画像の部分検索を行うものとしてもよい。例えば図１に示す本ケースにおいては、原映像に既に含まれている木に類似して見える木が追加されている。情報の追加は、スティッチングアルゴリズム（stitching algorithm）を実行することにより行われる。結果として得られる映像を、拡張映像と称する。

構成または美術的表現の最適化のため、ステップＳ４において、高さ、幅、消失点、透視角などのような映像のパラメータをエンコードし及び最適化する。また、この例に示した木のようなオブジェクトの追加をエンコードすることもできる。各最適化ステップにおいて、選択した最適化アルゴリズムにしたがってそれらのパラメータに変更が加えられる。好ましい最適化アルゴリズムの例は、決定論的な又は確率論的な最適化アルゴリズムである。美術的表現パラメータまたは構成パラメータは、映像に含まれるオブジェクトも含み得る。図１には、映像Ａ、映像Ｂ、および映像Ｃと表示された３つの例が示されている。拡張画像のパラメータの最適化は、トレイトにしたがって実行される。トレイトは、例えば、１０°の傾斜をもつ道路に沿った２本の木と１軒の家の存在を規定するものであり得る。映像Ｃから容易に理解され得るように、ここでは、これらのすべての基準が満たされている。自動化されたアノテーション、および当該アノテーションの結果とトレイトとして規定された基準との比較の結果として、それらのトレイトとの一致の程度が最大となるのが映像Ｃであることは明らかである。したがって、映像Ｃに、例えば１０のスコアが与えられ得る。これとは異なり、映像Ｂは、トレイトとの一致の程度が最低であるので、スコアはたったの３となる。映像Ｂでは、自動的に実行されたアノテーションは、道路に沿った２本の木と１軒の家を示す。他方で、映像Ａは、２０°傾斜した道路に沿った２本の木と１軒の家を示すアノテーションを有する。ここでは、道路の傾斜もあるのでスコアは映像Ｂよりも高くなるが、トレイトに規定された要求事項は完全には満たされていない。一つのアノテーションが一つのトレイトと一致する毎にカウンタを増加させるものとすることができる。異なるトレイトは、異なる重要度を有し得るので、増分の異なる複数の個別のカウンタを用いるものとすることができる。最終的に、すべてのカウンタ値が加算されて総合的なインタレスティングネス値が与えられる。これに代えて、特定のトレイトに応じて適合された増分を用いる単一のカウンタを用いてもよい。

ステップＳ４の最適化ループの終わりに、結果として映像Ｃをもたらすようなパラメータセット、すなわち、その映像についての最善の幾何学的パラメータおよびコンテンツにより構成される映像Ｃをもたらすようなパラメータセットが、決定される。その後、この映像が選択され、さらなる方法ステップＳ５において、この選択された拡張映像に対し、選択されたパラメータが適用されることにより後処理が実行される。後処理ステップＳ５では、修正した拡張映像に上記の最適なパラメータセットを適用し、予め定義された所定のテンプレートを用いて改善を行う。このような所定のテンプレートを用いることにより、画像の技術的な品質が改善される。後処理は、輝度、コントラスト、彩度、フォーカス効果、フィルタ効果、等についてのいずれか指定された値を用いるものすることができるが、これに限らず、画像パラメータは、画像や動画のカテゴリ、例えば、ディズニー映画のすべての画像、動物映画、等に関して訓練された機械学習アルゴリズムを用いて規定されるものとすることができる。

後処理は、結果映像（結果として得られた映像）の技術的な品質に関するものであるが、他の態様として、映像への一の仮想オブジェクト（または複数の仮想オブジェクト）の追加であってもよい。すなわち、一の代替のテンプレートは、映像の記録を開始した自動車の、形を利用するものである。このような自動車を、このステージまでで得られた最適化した映像に配置することができる。これは、テクスチャ化された計算用の三角形メッシュを用いて行われる。この三角形メッシュは、例えば、原映像を記録した車両の形を表したステレオリソグラフィー（ＳＴＬ）ファイルであり、そのテクスチャ化には、原映像の記録を開始した車両の外観にできるだけ近い既存のテクスチャか、または、その原映像が記録された時刻に近い時刻においてスマートシティ環境のインフラストラクチャに接続された交通インフラストラクチャ又は他の交通参観者により取得された映像から抽出されたテクスチャが用いられる。三角形メッシュを用いて画像セクションを生成するほか、最適なパラメータセットを利用するテクスチャの１つを用いて画像セクションを生成することで、車両を最終画像に含ませることができる。この画像セクションは、上述した方法と全く同じ方法で修正することができ、予め指定された設定値、例えば、輝度、コントラスト、彩度、フォーカス効果、フィルタ効果、等に関して指定された値を用いて、改善することができる。図１では、このことを、映像Ｃ^Ａおよび映像Ｃ^Ｂを示して例示している。映像Ｃ^Ａでは、輝度、コントラスト等について指定された値を適用することによる改善のみが行われている。一方で、映像Ｃ^Ｂでは、車両自体も含まれており、実際には画像撮影により取り込まれたオブジェクトと他の映像から抽出した複数のオブジェクトとの和である複数のオブジェクトの前景として、当該車両についての或る種の自撮り写真が生成されている。

もちろん、拡張画像に画像セクションを含ませることは必ずしも必要ではなく、これは、車載カメラにより撮影された原映像を開始点としてアピーリング画像を生成する他の一つの方法である。原映像に行われた２ステップの改善（すなわち、インタレスティングネスの改善と、これに続く技術的な品質の改善）を用いて、最終映像が生成される。この最終映像は、その後、出力されて公開され、能動的にフィードバックを伝えてくるユーザによって、および、類似性スコア（likeness score）を生成する機械学習アルゴリズムによって、評価が実行されるものとすることができる。このことを、方法ステップＳ６により示している。この類似性スコアは、類似点算出イベント毎に評価対象である映像の最適化に用いられた各トレイトを割り当てることにより各トレイトについての類似性スコアを算出する、という形で利用される。これは、同様のトレイトを用いている可能性のある複数の最終映像に対して行われる。すなわち、複数のトレイトの組合せをカバーする複数の様々な映像に与えられたフィードバックから、解析が実行され得る。例えば類似性スコアの低いトレイトを削除して新たなトレイトをランダムに追加することで、ユーザの好み（user preference）についての機械学習アルゴリズムに基づき、システムのトレイトが最終的に適合される。

図２は、本発明による方法ステップの実行に用いられるシステム全体の簡単な模式図を示している。本システムは、特に、プロセッサ３に接続されたカメラ２を備える１台の車両１を有する。プロセッサ３はメモリ４に接続されており、カメラ２によって撮られた画像はメモリ４に記憶することができる。プロセッサ３は、さらに、外部アンテナ６に接続されたＬＴＥインターフェースなどの通信モジュール５により、通信相手と通信することができる。

一方において、通信相手は、一般にインターネットとすることができ、図示においては２つのデータベース７および８を有するインターネットが例示されている。これらのデータベースは、一方が公開データベースであり、他方が非公開でホストされるデータベースである。他方において、通信相手は、また、いわゆるスマートシティのインフラストラクチャ１６であり得る。このようなインフラストラクチャ１６も、車両１とデータを交換することができるように、通信ユニット９を備えるものとすることができる。通信インターフェース９はプロセッサ１０に接続されており、プロセッサ１０はメモリ１１に接続されている。インフラストラクチャ１６は、また、１つまたは複数の静止カメラ１２を備えるものとすることができ、静止カメラ１２は、規則的な間隔で、又はトリガされたときに、周囲環境から映像を取得し、その映像をメモリ１１に記憶するものとすることができる。これらの映像は、その後、車両１のカメラ２により取り込まれた原画像への情報の追加に用いられ得る。これに加えて、インフラストラクチャ１６は、それぞれが更に他のカメラを自身に備える他の車両１３、１４および１５に接続されるものとすることができ、これらの他の車両は、それらの画像データをインフラストラクチャ１６のメモリ１１へ送信し得る。

なお、上述の実施形態では、原映像の最適化および改善のすべてを実行するプロセッサ３が車両１内に配置されている。ただし、当然のことながら、オフライン処理を用いて、車両１が備えるプロセッサよりもさらに性能の優れた他のプロセッサを用いるようにすることもできる。この場合、車両は、インフラストラクチャ１６やインターネットのデータベースと通信するだけでなく、好ましくはインターネットを介して、例えば車両所有者のＰＣと通信する。

Claims (20)

1. 車両に搭載され、前記車両の周囲環境を撮影可能なカメラにより取り込まれた原映像に基づいてアピーリング映像を自動的に生成するための方法であって、
   －前記カメラにより原映像を取り込んで記録するステップ（Ｓ１）と、
   －予め定められた所定のトレイトのセットに対し、パラメータを最適化する最適化プロセスを実行するステップであって、前記パラメータは、前記原映像の構成に関するパラメータであって、前記構成は前記原映像の特徴に係り、前記原映像内に示されるオブジェクト、及び前記原映像の技術的な品質に関わるパラメータの少なくとも一つを含み、前記技術的な品質に関わるパラメータは、前記原映像の彩度、輝度、及びコントラストの少なくとも一つを含むステップと、
   －他の映像からのコンテンツを適合させることにより原映像に追加のセマンティック画像コンテンツである情報を追加して拡張映像を生成するステップであって、前記他の映像は、他のセンサにより撮影されるか、又は他のセンサ若しくは映像データベースからの情報に基づいて作成されるステップ（Ｓ３）と、
   －前記拡張映像内のセマンティック画像コンテンツの配置をアノテーションおよびセマンティック画像解析アルゴリズムを用いて改善するため、或るパースペクティブまたはモーフィングを生成するように前記拡張映像の幾何学的パラメータセットを繰り返し適合させるステップ（Ｓ４）と、
   －前記拡張映像に前記適合させた幾何学的パラメータセットを適用して最終映像を生成するステップ（Ｓ５）と、
   －即座の使用または後の使用のために前記最終映像を出力するステップ（Ｓ６）と、
   を含むステップと、
   を有する方法。
2. 前記原映像を取り込むときに前記カメラのパースペクティブにより生成された歪及び又はカメラパラメータから直接もたらされる歪を修正して、修正された映像を生成するステップ（Ｓ２）をさらに含み、
   前記最適化プロセスを実行するステップは、前記拡張映像の前記幾何学的パラメータセットを進化的最適化アルゴリズムを使用してくり返し適合することにより最適化するステップを備え、前記原映像に、前記追加のセマンティック画像コンテンツである情報を追加するステップを含み、
   最適化アルゴリズムにおいて前記幾何学的パラメータセットをエンコードするステップと、
   前記エンコードしたパラメータセットを繰り返し適合させて、適合されたパラメータセットを生成するステップと、
   前記拡張映像に、それぞれの適合されたパラメータセットを適用して拡張結果映像を生成するステップと、
   前記適合されたパラメータセットを適用する前記ステップからの前記拡張結果映像に、自動化されたセマンティックアノテーションのための方法を適用してアノテーションを生成するステップと、
   前記生成したアノテーションの、トレイトのセットに対する類似性を算出するステップ（Ｓ４）と、
   含む、
   ことを特徴とする請求項１に記載の方法。
3. 前記原映像内におけるセマンティック画像コンテンツ及びその配置を計算するステップ、
   をさらに含むこと特徴とする請求項１または２に記載の方法。
4. 前記適合させたパラメータセットを適用した後に、テンプレートのセットを用いて前記拡張映像に後処理を実行して前記最終映像を生成するステップ（Ｓ５）、
   をさらに含むことを特徴とする請求項１から３のいずれか一項に記載の方法。
5. 前記原映像を取り込む前記ステップは、イベントによりトリガされ、
   前記イベントは、設定された現地時刻に達すること、規定されたセンサの例外状況の発生、およびオーディオイベントの発生の何れか１つである、
   ことを特徴とする請求項１から４のいずれか一項に記載の方法。
6. 前記映像は、連続的に取り込まれて記録され、
   前記取り込まれて記録された映像は、それぞれ、前記連続的に取り込まれて記録された映像の自動化されたセマンティックアノテーションのための方法を用いてセマンティックアノテーションが与えられ、
   セマンティックアノテーションの、前記トレイトのセットとの類似性に基づいて、さらなる処理に用いられる前記原映像が選択される（Ｓ１）、
   ことを特徴とする請求項１から５のいずれか一項に記載の方法。
7. 前記トレイトは、特定の言葉、カテゴリ、前置詞、言葉の数、または言葉の類似性である、
   ことを特徴とする請求項６に記載の方法。
8. 前記セマンティックアノテーションの、前記トレイトのセットとの類似性は、一つのアノテーションが一つのトレイトと一致する毎にカウンタを増加させて計算される、
   ことを特徴とする、請求項７に記載の方法。
9. 前記拡張映像に前記適合させたパラメータセットを適用して最終映像を生成するステップ（Ｓ５）では、明暗、輝度、彩度およびホワイトバランスのうちの少なくとも１つが調節される、
   ことを特徴とする請求項１から８のいずれか一項に記載の方法。
10. 前記追加される情報（Ｓ３）は、インターネットのデータベース及び又は非公開でホストされるデータベースに記憶された少なくとも１つの他の映像から抽出され、前記修正した映像に対する前記少なくとも１つの他の映像の類似性により検索が演算処理される、
    ことを特徴とする請求項２に記載の方法。
11. 前記追加される情報（Ｓ３）は、他のソースにより取り込まれて記録された少なくとも１つの他の映像から抽出され、前記少なくとも１つの他の映像の取り込み及び記録は、前記原映像を前記カメラにより取り込むことに応じて能動的にトリガされる、
    ことを特徴とする請求項１０に記載の方法。
12. 前記進化的最適化アルゴリズムは、共分散行列適応を用いる進化的アルゴリズム、ノンドミネーティッドソーティングに基づく進化的アルゴリズム、Ｓメトリック選択進化的多目的アルゴリズム、及び又は基準ベクトル誘導型進化的アルゴリズムである、
    ことを特徴とする請求項２に記載の方法。
13. 前記映像の技術的な品質に関わるパラメータは、輝度、コントラスト、彩度、及び又は明暗についてのユーザのプリファレンスに従って設定される
    ことを特徴とする、請求項１から１２のいずれか一項に記載の方法。
14. 前記映像の技術的な品質に関わるパラメータは、データベースまたは映画からの画像のカテゴリについて訓練された機械学習アルゴリズムにより提供される、
    ことを特徴とする請求項１から１２のいずれか一項に記載の方法。
15. 前記映像の技術的な品質に関わるパラメータは、前記車両の計算テクスチャを用いて表現される前記車両の三角形区分メッシュについての設定値であって、且つ前記表現された車両を前記最終映像へ統合するものである、
    ことを特徴とする請求項１から１２のいずれか一項に記載の方法。
16. 前記三角形区分メッシュは、車両製造者により提供されて、前記方法を実行するためのシステムに記憶される、
    ことを特徴とする請求項１５に記載の方法。
17. 前記計算テクスチャは、前記車両製造者により提供されて、前記方法を実行するためのシステムに記憶される、
    ことを特徴とする請求項１６に記載の方法。
18. 前記計算テクスチャは、交通インフラストラクチャにより提供されるデータに基づいて算出される、
    ことを特徴とする請求項１５に記載の方法。
19. 前記映像の構成及び前記映像の技術的な品質の基準は、公開された最終映像に対する受信されたフィードバックに適合される（Ｓ７）、
    ことを特徴とする請求項１から１８のいずれか一項に記載の方法。
20. 原映像を取り込んで記録するよう構成されカメラ（２）が搭載された車両（１）を含むシステムであって、
    前記原映像に基づいて、請求項１から１９のいずれか一項に記載の方法に規定された各ステップを実行するよう構成されたプロセッサ（３）、
    をさらに備えるシステム。

Images