JP6866440B2 - 物体識別方法、装置、機器、車両及び媒体 - Google Patents

Description

本発明の実施例は、画像処理技術に関し、特に、物体識別方法、装置、機器、車両及び媒体に関する。

無人運転技術は、近年、急速に発展している技術である。概略的な技術構想は、自動車に無人車両システムをインストールし、外界環境に対して感知識別を行い、さらに、自動車の走行過程を制御する。そのため、無人車両システムにおいて、無人車両感知システムは、重要な機能システムである。通常、自動車に種々の感知装置、例えばレーザレーダ、複数のカメラ及び種々のセンサなどを取付け、カメラにより画像を取得し、画像識別に基づいて自動車外部環境に対して感知識別を行うことは、重要な感知手段の一つである。

画像感知により、外部環境でのいろいろな物体、典型的には、交通標識、交差点での信号灯変化などを検出することができる。交差点での信号灯については、交差点の道路状況が複雑なため、同側に複数の信号灯、例えば、左折灯、直進灯、及び歩行者灯などが設置されることも可能である。

画像により識別する場合に単一焦点距離のカメラを用いると、視野に制限があるという問題が存在する。単一焦点距離のカメラによる撮影では全ての信号灯をカバーすることができないため、信号灯検出情報が不完全となるか、または検出できない場合がある。

本発明の実施例は、物体識別方法、装置、機器、車両及び媒体を提供することにより、環境での物体が多く状況が複雑な場合であっても、物体画像を完全、かつ正確に識別することができる。

第１形態において、本発明の実施例は、目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別するステップと、前記目標カメラが前記目標物体の画像を撮影するように制御するステップと、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別するステップと、を含む物体識別方法を提供する。

第２形態において、本発明の実施例は、さらに、目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別するための目標カメラ選別モジュールと、前記目標カメラが前記目標物体の画像を撮影するように制御するための制御カメラ撮影モジュールと、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別するための画像取得・識別モジュールと、を含む、物体識別装置を提供する。

第３形態において、本発明の実施例は、さらに、メモリ、プロセッサ、及びメモリに記憶されている、プロセッサにより実行可能なコンピュータプログラムを含む機器を提供し、前記プロセッサによって前記プログラムが実行される場合に、本発明の実施例のいずれか一つに記載の物体識別方法を実現する。

第４形態において、本発明の実施例は、更に、車体を含む車両を提供し、前記車両は、更に、本発明の実施例のいずれか一つによって提供される機器、及び車体に設置された、少なくとも二つの焦点距離を使用する少なくとも二つのカメラを含む。

第５形態において、本発明の実施例は、更に、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供し、当該プログラムがプロセッサによって実行される場合に、本発明の実施例のいずれか一つに記載の物体識別方法が実現される。

本発明の実施例は、目標物体の地理位置、及び焦点距離がそれぞれ異なる複数のカメラの撮影パラメータに基づいて、目標物体を鮮明に撮影できる目標カメラを選択し、目標物体を撮影することにより、撮影された画像によって目標物体識別を行う。これにより、従来技術において単一焦点距離のカメラによる撮影範囲が全ての信号灯をカバーすることができないため、信号灯検出情報が不完全となり、検出することすらできなかったという問題を解決し、各信号灯に対してそれぞれ最適なカメラを選択し、取得された画像が全ての信号灯をカバーすることで、視野に制限がかかることを回避して、鮮明な画像の提供を保証し、信号灯の的確な検出を実現することができる。

本発明の実施例１に係る物体識別方法のフローチャートである。 本発明の実施例２に係る物体識別方法のフローチャートである。 本発明の実施例２に係るカメラ結像の原理模式図である。 本発明の実施例２に係る物体識別装置の構造模式図である。 本発明の実施例４に係る機器の構造模式図である。

以下に、図面を参照しながら本開示の実施例をさらに詳しく説明する。なお、本開示の図面及び実施例は、例示的な作用を奏し、本開示の保護範囲を限定するものではないと理解すべきである。さらに、説明の便宜上、図面には全部の構造ではなく、本発明に係る一部のみを示す。

実施例１
図１は、本発明の実施例１に係る物体識別方法のフローチャートである。本実施例は、車載カメラが信号灯を検出する場合に、特に無人車両の車載カメラが信号灯を検出する場合に適用でき、当然ながら、他の物体を検出する場合にも適用できる。当該方法は、本発明の実施例によって提供される物体識別装置により実行されてもよく、当該装置は、ソフトウェア及び／又はハードウェアとして実現することができ、通常、車載機器、例えば無人運転の車両の制御機器に集積することができる。図１に示すように、本実施例に係る方法は、具体的には、以下のステップＳ１１０〜Ｓ１３０を含む。

Ｓ１１０において、目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別する。

具体的には、目標物体とは、固定して移動しないか、又は移動の頻度が低い物体を意味し、カメラとは、移動する物体に取付けられたカメラを意味する。

本実施例では、目標物体は、具体的には、信号灯、例えば左折灯、直進灯、及び歩行者灯などを意味し、地図における信号灯の測位情報とは、測位システムによって取得された信号灯の位置データを意味し、カメラとは、自動車上に取付けられたカメラ、特に無人車両上に取付けられたカメラを意味する。

信号灯の測位情報は、カメラが取付けられた車両の測位情報により決定することができる。任意に、各カメラから目標物体とマッチングする目標カメラを選別するステップの前に、更に、各カメラが取付けられた車両の位置を取得するステップと、車両の位置によって交差点に位置していると決定された場合に、地図データから交差点での信号灯の三次元位置情報を、目標物体の位置情報として取得するステップとを含んでも良い。

具体的には、車両の位置は、車両でのナビゲーションシステムにおける測位モジュール、例えば全地球測位システムモジュールにより取得することができる。車両の位置から、車両に取付けられたカメラが間もなく交差点を通行するか否かを判断することにより、車両が交差点に位置する時に、識別が必要な信号灯を決定し、交差点で複数の信号灯を有する可能性があるため、信号灯に対応した三次元位置情報をそれぞれ取得し、信号灯を一つずつ目標物体として選択するとともに、三次元位置情報を対応して取得することができる。

カメラのある車両の位置により、車両が交差点に位置していると決定された場合に、交差点での信号灯の三次元位置情報を取得することにより、信号灯の位置を正確に決定することができ、さらに、信号灯の位置によってカメラを選別することにより、当該信号灯の撮影に最適なカメラを決定することができる。

自動車のカメラは、通常、自動車が走行している過程で、信号灯を撮影し、この際の撮影の角度、範囲のいずれにも、標準データがない。単一焦点距離のカメラを使用すると、その撮影範囲が狭いので、信号灯をカバーすることができず、焦点距離の異なる複数のカメラを使用して信号灯を撮影すれば、信号灯をカバーすることができるが、複数の撮影画像に対して信号灯を識別する必要があるので、識別データ量が多くなり、識別効率が低くなり、いくつかの撮影の画質の劣化による識別誤差が大きくなる。このような状況に対して、本実施例は、自動車に複数のカメラが設定され、且つカメラの焦点距離が異なり、また、カメラの撮影パラメータ及び各信号灯の測位情報によって、各信号灯に対して焦点距離が適切な一つのカメラを選別することにより、信号灯に対して最適なカメラを選択して撮影を行う。これにより、異なる道路交通状況に適応することができ、撮影された画像が信号灯を完全に覆ることを保証できるだけではなく、撮影された画像が鮮明であることも保証することができる。

Ｓ１２０において、前記目標カメラが、前記目標物体の画像を撮影するように制御される。

選択された目標カメラにより目標物体の画像を撮影することができる。具体的な実施態様において、まず、目標カメラがプレビュー画像を取得するように制御され、目標カメラの選別を行った後、撮影を起動してもよい。または、まず、全てのカメラが画像を撮影するように制御され、即ち、目標カメラと非目標カメラのいずれもが画像を撮影するように制御した後、それらの中から、目標カメラを選択してもよい。そのため、前述のＳ１１０とＳ１２０の順番は限定されない。

Ｓ１３０において、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別する。

取得された画像について、画像における信号灯の色及び形状によって、信号灯のタイプ、例えば歩行者灯、方向指示灯、自動車線信号灯、軽車両線信号灯などを決定することができる。さらに、信号灯の色、形状や時間情報によって、信号灯の指示情報を取得してもよく、例えば、赤色が通行禁止を示し、緑色が通行可能を示し、及び黄色が警告を示し、歩行者パターンは、当該信号灯が人行道を指示するための信号であることを示し、数字パターンは、現在の時刻から当該信号灯が信号変化する時刻までの時間を示すことができる。

本発明の実施例は、目標物体の地理位置、及び焦点距離がそれぞれ異なる複数のカメラの撮影パラメータに基づいて、目標物体を鮮明に撮影できる目標カメラを選択し、目標物体を撮影することにより、撮影された画像によって目標物体識別を行う。これにより、従来技術では、単一焦点距離のカメラによる撮影範囲が全ての信号灯をカバーすることができないため、信号灯検出情報が不完全となり、検出することすらできなかったという問題を解決し、各信号灯に対してそれぞれ最適なカメラを選択し、取得された画像が全ての信号灯をカバーし、視野に制限があることを回避するとともに、鮮明な画像を保証し、信号灯を的確に検出することができる。

実施例２
図２ａは、本発明の実施例２に係る物体識別方法のフローチャートである。本実施例は、本発明の実施例１を基に、さらに具体化し、目標物体の地図における位置情報、及び少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別するステップを、目標物体の地図における位置情報、及び各前記カメラの撮影パラメータに基づいて、前記目標物体の各前記カメラの結像面における投影位置を決定し、前記目標物体の投影位置が前記結像面の撮影範囲内にあるカメラを、前記目標カメラとして決定するステップに具体化した。

図２ａに示すように、当該方法は、具体的には、ステップＳ２１０〜Ｓ２３０を含む。

Ｓ２１０において、目標物体の地図における位置情報、及び各前記カメラの撮影パラメータに基づいて、前記目標物体の各前記カメラの結像面における投影位置を決定し、前記目標物体の投影位置が前記結像面の撮影範囲内にあるカメラを、前記目標カメラとして決定する。前記少なくとも二つのカメラは、少なくとも二つの焦点距離を使用する。

ここで、目標物体、測位情報、撮影パラメータは、前記実施例についての説明を参照してもよい。カメラの撮影パラメータは、内部パラメータと外部パラメータを含んでもよく、内部パラメータは、具体的に、焦点距離、光学中心、及び歪曲収差係数を含んでもよく、外部パラメータは、具体的に、ワールド座標系からカメラ座標系への変換行列を含んでも良い。

具体的には、図２ｂは、本発明の実施例に係るカメラ結像の原理模式図を示す。図２ｂに示すように、被写点１０１が薄型レンズ１０２を通じて形成された結像点１０３は、感光平面１０７上に位置し、光軸１０５は、薄型レンズ１０２の二つの球面の球心を通過する直線であり、光学中心１０２とは、薄型レンズ１０２の光軸上に位置し、入射光が通過する時に進行方向が変化しない点を意味し、撮影距離Ｌ１とは、被写点１０１から感光平面１０７までの距離を意味し、物体距離Ｌ２とは、被写点１０１から薄型レンズ１０２が位置する平面までの距離を意味し、像距離Ｌ３とは、薄型レンズ１０２が位置する平面から感光平面１０７までの距離を意味し、焦点距離Ｌ４とは、焦点１０４から薄型レンズ１０２が位置する平面までの距離を意味する。

ここで、目標物体は、レンズを通じて結像し、レンズの光学特性により、虚像に歪曲収差が発生することがある。歪曲収差は、光学レンズ本来の透視歪みであり、歪曲収差係数は、歪み画像を矯正するためのパラメータである。ワールド座標系は、絶対座標系を意味し、本実施例では、ワールド座標系は、地図での座標系を意味する。カメラ座標系とは、カメラを基点として新たに構築した座標系を意味し、ここでは、各カメラのカメラ座標系が異なる。複数のカメラから目標カメラを判断する必要があるため、それぞれ目標物体に対してプレビュー結像を行う必要がある。また、各カメラによって撮影された画像は、実際に各カメラに対応したカメラ座標系に位置し、画像を解析する時に、取得された目標物体の位置情報は、実際のワールド座標系での測位情報であり、測位情報に対してワールド座標系からカメラ座標系に対応して変換する必要があり、ワールド座標系からカメラ座標系への変換行列によって、測位情報に対して変更し、各カメラ座標系での測位情報を取得することができる。前記ワールド座標系からカメラ座標系への変換行列は、無人車両の測位情報（即ち、測位機器の測位情報）及びカメラから測位機器までの変更行列によって計算し得る。車両の測位情報は、実際の車両での測位機器の測位情報を指し、測位機器の位置とカメラの位置とは異なるため、測位情報（即ち測位機器の測位情報）及びカメラから測位機器までの変更行列によって、ワールド座標系からカメラ座標系への変換行列を決定する必要がある。ここで、無人車両の測位情報は、車両の位置によってリアルタイムに変化するが、無人車両での測位機器とカメラとは、相対的に静止（固定）し、即ち、カメラから測位機器までの変更パラメータは固定される。

結像面は、図２ｂに示す感光平面１０７を参照してもよく、目標物体は、複数の点からなると考えられ、各点は、図２ｂに示す被写点１０１を参照してもよい。結像面における目標物体の実像は、複数の像点からなると考えられ、各像点は、図２ｂに示す結像点１０３を参照してもよい。目標物体が三次元物体であり、結像面が二次元平面であるため、実際に、目標物体に対応した実像が三次元であり、実像は、結像面で投影して二次元像を生成することができる。目標物体に対応した二次元像が位置する投影位置は、カメラの結像面での撮影範囲にある。即ち、カメラの撮影範囲が目標物体に対応した二次元像を完全にカバーすることができる場合に、目標物体が当該カメラによって撮影されることができると決定し、これにより、当該カメラが目標物体を選別するための目標カメラとなる。

具体的には、目標物体を二次元結像平面に投影する方法は、下述式を参照することができる。

まず、三次元点のワールド座標をＰｗと仮定し、

カメラの外部パラメータ（Ｃａｍｅｒａ Ｅｘｔｒｉｎｓｉｃｓ）は、

である。ここで、Ｒが回転行列であり、ｔが並進ベクトルである。

カメラの内部パラメータ（Ｃａｍｅｒａ Ｉｎｔｒｉｎｓｉｃｓ）は、

であり、ここで、ｆｘとｆｙは、画素を単位とする焦点距離であり、（ｃｘ、ｃｙ）がカメラ主点（ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）の位置座標である。

三次元点を結像面（撮影された画像）に投影する二次元点の式は、

であり、ここで、（ｕ、ｖ）は、撮影された画像が位置する平面での画素座標であり、画像の幅をｗとし、高さをｈとし、０＜＝ｕ＜ｗ 且つ０＜＝ｖ＜ｈであると、当該三次元点（ｕ、ｖ）を画像に投影できることを決定し、即ち、目標物体は当該カメラによって完全に撮影することができる。

任意に、目標物体の地図における位置情報、及び各前記カメラの撮影パラメータに基づいて、前記目標物体の各前記カメラの結像面における投影位置を決定し、前記目標物体の投影位置が前記結像面の撮影範囲内にあるカメラを、前記目標カメラとして決定するステップは、各前記カメラの焦点距離が小さい順に従い、カメラを現在の選択対象カメラとして順次に選択するステップと、前記目標物体の地図における位置情報、及び現在の選択対象カメラの撮影パラメータに基づいて、前記目標物体の前記現在の選択対象カメラの結像面における投影位置を決定するステップと、前記目標物体の投影位置が前記結像面の撮影範囲内にある場合に、前記現在の選択対象カメラを前記目標カメラとして決定するステップとを含む。

本発明の実施例に係る各カメラは、異なる焦点距離を有し、焦点距離の大きさで、カメラが目標物体に対応した目標カメラであるか否かを順次に判断することができる。同一の撮影距離で、焦点距離が小さければ、目標物体に対応した結像範囲が大きくなり、カメラの撮影範囲を超えることもある。そのため、焦点距離が小さい順に従って、一つずつ判断し、その中から、目標物体を完全に撮影できる最初の目標カメラを選別するので、後続の焦点距離の大きいカメラに対して判断する必要がなく、最初のカメラを選択して当該目標物体の画像を撮影すれば、物体識別に対して最も有利であり、最も鮮明な画像であることになる。

当然ながら、目標カメラは、一つに限られるものではなく、画像識別が失敗した後、目標カメラを変更してもよい。

カメラの焦点距離が小さい順に従って、目標カメラを一つずつ判断することにより、全てのカメラに対して判断を行うことを回避し、目標カメラの選別効率を向上させることができる。

任意に、現在の選択対象カメラを目標カメラとして決定するステップの後、さらに、後続のカメラの決定操作を停止させるステップを含む。最終決定された目標カメラは、目標物体を完全に撮影することができ、即ち、目標カメラによって撮影された画像は、目標物体をカバーすることができる。

具体的には、現在の選択対象カメラを目標カメラとして決定した後、後続のカメラに対して判断する必要がなく、当該現在の選択対象カメラを目標カメラとし、これにより決定された目標カメラによって、目標物体の撮影画像が目標物体をカバーすることができる。また、目標物体の画像での結像範囲が最大となり、即ち、画像が最も鮮明になる。これにより、目標物体の画像の鮮明度を向上させることができ、目標物体識別の正確率を向上させることができる。

Ｓ２２０において、前記目標カメラが前記目標物体の画像を撮影するように制御する。

目標カメラを決定した後、当該目標カメラが撮影するように制御し、目標物体の最適な撮影画像を取得する。

Ｓ２３０において、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別する。

最適な撮影画像によって目標物体識別を行い、さらに識別正確率を向上させる。

本発明の実施例は、目標物体の位置情報及びカメラの撮影パラメータに基づいて決定された投影位置が結像面の撮影範囲にあるカメラを目標カメラとして決定することにより、目標カメラが目標物体画像を完全に撮影し、さらに、目標物体を正確に識別することができる。

実施例３
図３は、本発明の実施例３に係る物体識別装置の構造模式図であり、当該物体識別装置は、車載機器に設置され、図３に示すように前記装置は、具体的に、目標カメラ選別モジュール３１０、カメラ撮影モジュール３２０、画像取得・識別モジュール３３０を含む。

目標カメラ選別モジュール３１０は、目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別する。

カメラ撮影モジュール３２０は、前記目標カメラが前記目標物体の画像を撮影するように制御する。

画像取得・識別モジュール３３０は、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別する。

本発明の実施例は、目標物体の地理位置、及び焦点距離がそれぞれ異なる複数のカメラの撮影パラメータに基づいて、目標物体を鮮明に撮影できる目標カメラを選択し、目標物体を撮影することにより、撮影された画像によって目標物体識別を行う。これにより、従来技術において単一焦点距離のカメラによる撮影範囲が全ての信号灯をカバーすることができないため、信号灯検出情報が不完全であり、検出することすらできなかったという問題を解決することができ、各信号灯に対してそれぞれ最適なカメラを選択し、取得された画像が全ての信号灯をカバーし、視野に制限があることを回避するとともに、鮮明な画像を保証し、信号灯を的確に検出することができる。

さらに、前記目標カメラ選別モジュール３１０は、具体的には、目標物体の地図における位置情報、及び各前記カメラの撮影パラメータに基づいて、前記目標物体の各前記カメラの結像面における投影位置を決定し、前記目標物体の投影位置が前記結像面の撮影範囲内にあるカメラを、前記目標カメラとして決定する。

さらに、前記目標カメラ選別モジュール３１０は、具体的には、各前記カメラの焦点距離が小さい順に、カメラを現在の選択対象カメラとして順次に選択し、前記目標物体の地図における位置情報、及び現在の選択対象カメラの撮影パラメータに基づいて、前記目標物体の前記現在の選択対象カメラの結像面における投影位置を決定し、前記目標物体の投影位置が前記結像面の撮影範囲内にある場合に、前記現在の選択対象カメラを前記目標カメラとして決定する。

さらに、前記装置は、具体的には、後続のカメラの決定操作を停止させる。

さらに、前記撮影パラメータは、焦点距離、光学中心、及び歪曲収差係数を含む内部パラメータと、ワールド座標系からカメラ座標系への変換行列を含む外部パラメータとを含む。

さらに、前記装置は、具体的には、各前記カメラが取付けられた車両の位置を取得し、前記車両の位置によって交差点に位置すると決定された場合に、地図データから前記交差点での信号灯の三次元位置情報を、目標物体の位置情報として取得する。

前記物体識別装置は、本発明の任意の実施例に係る物体識別方法を実行し、実行される物体識別方法に相応した機能モジュールと有益な効果を有する。

実施例４
図４は、本発明の実施例四に係る機器の構造模式図である。図４は、本発明の実施形態の実現に適する例示的な機器４１２を示すブロック図である。図４に示す機器４１２は、１つの例示に過ぎず、本発明の実施例の機能及び使用範囲を限定するものではない。

図４に示すように、機器４１２は、汎用な計算機器の形式で表現される。機器４１２の構成要素は、１つまたは複数のプロセッサまたは処理手段４１６と、システムメモリ４２８と、異なるシステム構成要素（システムメモリ４２８と処理手段４１６）を接続するためのバス４１８とを含んでいてもよいが、これらに限定されない。機器４１２は、車載機器であってもよい。

バス４１８は、複数種類のバス構造における１つまたは複数を示し、メモリバスまたはメモリ制御器、外装バス、グラフィックス高速化ポート、プロセッサまたは複数種類のバス構造における何れのバス構造のローカルバスなどを含む。例えば、これらのアーキテクチャ構造は、工業基準体系構造（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＩＳＡ）バス、マイクロチャネルのアーキテクチャー（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＭＡＣ）バス、増強型ＩＳＡバス、ビデオ電子基準協会（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ、ＶＥＳＡ）ローカルバス及び周辺コンポーネント相互接続（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バスなどを含んでいても良いが、これらに限定されない。

機器４１２は、代表的に複数のコンピュータシステム可読媒体を含んでいる。これらの媒体は、何れの機器４１２によって接続できる利用可能な媒体で、揮発性及び不揮発性媒体と、ポータブル又はアンポータブルな媒体を含んでいてもよい。

システムメモリ４２８は、発揮性メモリ形式のコンピュータシステム可読媒体、例えば、ランダム・アクセス・メモリ（ＲＡＭ）４３０及び／又は高速キャッシュメモリ４３２を含んでいてもよい。機器４１２は、さらに、他のポータブル又はアンポータブルな、揮発性／不揮発性コンピュータシステム記憶媒体を含んでいてもよい。ただ一例として、記憶システム４４４は、アンポータブルな、不揮発性磁気媒体（図４に示していない、通常、「ハードウェアドライバ」と呼ばれる）の読み書きに用いられてもよい。図４に示していないが、ポータブルな不揮発性磁気ディスク（例えば、「フロッピー（登録商標）ディスク」）に読み書くことができる磁気ディスクドライバ、及びポータブルな不揮発性光ディスク（例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭまたは他の光媒体）に読み書きすることができる光ディスクドライバを提供しても良い。これらの場合、各ドライバは、１つまたは複数のデータ媒体インターフェースでバス４１８に接続してもよい。メモリ４２８は、少なくとも１つのプログラム製品を含んでいてもよく、当該プログラム製品は、一組（例えば、少なくとも１つの）のプログラムモジュールを備えており、これらのプログラムモジュールは本発明の各実施例の機能を実行するように配置されている。

一組（少なくとも１つの）のプログラムモジュール４４２を有するプログラム／実用的なアプリ４４０は、例えばシステムメモリ４２８に記憶されていてもよく、このようなプログラムモジュール４４２は、操作システム、１つまたは複数のアプリケーションプログラム、他のプログラムモジュール及びプログラムデータを含んでも良いが、これらに限定されない。これらの例示に於ける一種類毎又はある組合せにはネットワーク環境での実現を含んでいてもよい。プログラムモジュール４４２は、通常、本発明に記載した実施例における機能及び／又は方法を実行する。

機器４１２は、１つまたは複数の外部機器４１４（例えば、キーボード、ポインティング機器、ディスプレイ４２４など）と通信してもよく、ユーザが当該機器４１２と対話できる１つまたは複数の機器と通信してもよく、及び／又は当該機器４１２が１つまたは複数の他の計算機器と通信できる何れの機器（例えば、ネットワークボード、モデムなど）と通信してもよい。このような通信は、入力／出力（Ｉ／Ｏ）インターフェース４２２を通じて実行できる。また、機器４１２は、ネットワークアダプター４２０で１つまたは複数のネットワーク（例えば、ローカルネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）及び／又は公共ネットワーク、例えば、インターネットワーク）と通信してもよい。図に示すように、ネットワークアダプター４２０は、バス４１８で機器４１２の他のモジュールと通信する。図４に示していないが、機器４１２を結合して、マイクロコード、機器ドライバ、冗長処理手段、外部磁気ディスクドライバアレイ、ＲＡＩＤシステム、磁気テープドライバ及びデータバックアップ記憶システムなどを含む他のハードウェア及び／又はソフトウェアモジュールを利用することができるが、これらに限定されない。

処理ユニット４１６は、システムメモリ４２８に記憶されているプログラムを実行することにより、各種機能アプリおよびデータ処理を実行し、例えば、図１に対応する実施例で提供される物体識別方法を実現する。

即ち、前記処理ユニットは、前記プログラムを実行する場合に目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別することと、前記目標カメラが目標物体の画像を撮影するように制御することと、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別することとを実現する。

本発明の実施例は、さらに、少なくとも車体を含む車両を提供し、当該車両は、さらに、本発明の任意の実施例に係る機器、及び車体に設置された、少なくとも二つの焦点距離を使用する少なくとも二つのカメラを含む。当該機器は、車体での車載制御機器であってもよい。当該車両は、無人運転の車両が好ましく、または、車両周りの環境での物体識別を行う必要がある他の車両であってもよい。

実施例５
本発明の実施例５は、さらにコンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供し、当該プログラムがプロセッサによって実行される場合に、本願の全ての発明実施例に係る物体識別方法を実現する。前記方法は、目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別するステップと、前記目標カメラが目標物体の画像を撮影するように制御するステップと、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別するステップとを含む。

本発明の実施例に係るコンピュータメモリは、１つまたは複数のコンピュータ可読媒体の何れの組み合わせを使用してもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体、またはコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光学、電磁、赤外線、または半導体のシステム、装置または機器、又はこれらの何れの組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）としては、１つまたは複数のリード線を有する電気的接続、携帯型コンピュータディスク、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、イーピーロム（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、携帯コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、またはこれらの何れの適切な組み合わせを含む。本明細書において、コンピュータ可読記憶媒体は、命令実行システム、装置または機器によって利用できまたはこれらと組み合わせて利用できるプログラムを含みまたは記憶している何れかの有形媒体であってもよい。

コンピュータ可読信号媒体は、ベースバンドにおいてまたはキャリヤーの一部として伝播するコンピュータ可読なプログラムコードを搭載したデータ信号を含んでいてもよい。このような伝播するデータ信号は、様々な形態をとることができ、電磁信号、光信号、またはこれらの何れの適切な組み合わせを含んでいてもよいが、これらに限定されない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外の何れかのコンピュータ可読媒体であってもよく、当該コンピュータ可読媒体は、命令実行システム、装置または機器によって使用されまたはこれらに結合されて使用されるプログラムを送信、伝播、伝送することができる。

コンピュータ可読媒体に含まれるプログラムコードは、無線、ワイヤ、ケーブル、ＲＦなど、またはこれらの何れかの適切な組み合わせの何れかの適切な媒体で送信されてもよいが、これらに限定されない。

１つまたは複数のプログラム設計言語またはこれらの組合せで、本発明の動作を実行するためのコンピュータプログラムコードを書き込むことができ、前記プログラム設計言語は、オブジェクト指向プログラミング言語、例えばＪａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋を含み、常用の過程式プログラム設計言語、例えば「Ｃ」言語または類似なプログラム設計言語を含む。プログラムコードは、完全にユーザのコンピュータ上で実行されてもよく、一部はユーザのコンピュータで実行されて１つの独立したソフトウェアパッケージとして実行されてもよく、一部はユーザのコンピュータで、一部はリモートコンピュータで実行されてもよく、または、完全にリモートコンピュータまたはサーバーで実行されてもよい。リモートコンピュータに関する場合は、リモートコンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）またはワイド・エリア・ネットワーク（ＷＡＮ）を含む何れの種類のネットワークを介して、ユーザコンピュータに接続されてもよく、あるいは、外部コンピュータ（例えば、インターネット・サービス・プロバイダを利用してインターネットを介して接続する）に接続してもよい。

なお、以上は、本発明の好適な実施形態および応用技術の原理に過ぎない。本発明は、本明細書に記載の特定の実施形態に限定されるものではなく、本発明の範囲から逸脱しない限り、様々な明確な変更、再調整、及び置換は、当業者に理解できるものである。以上、実施形態を挙げて本発明を詳細に説明したが、本発明は上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく他の均等な実施形態を含むことができ、本発明の範囲は特許請求の範囲により決定される。

Claims (8)

1. コンピュータが、目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別するステップと、
   コンピュータが、前記目標カメラが前記目標物体の画像を撮影するように制御するステップと、
   コンピュータが、前記目標カメラによって撮影された画像を取得し、前記目標物体を識別するステップと、を含み、
   前記撮影パラメータは、
   焦点距離、光学中心、及び歪曲収差係数を含む内部パラメータと、
   ワールド座標系からカメラ座標系への変換行列を含む外部パラメータと、を含み、
   各前記カメラから前記目標物体とマッチングする目標カメラを選別する前に、さらに、
   各前記カメラが取付けられた車両の位置を取得するステップと、
   前記車両の位置に基づいて交差点に位置していると決定された場合に、地図データから前記交差点での信号灯の三次元位置情報を、目標物体の位置情報として取得するステップと、を含むことを特徴とする、物体識別方法。
2. 目標物体の地図における位置情報、及び少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別するステップは、
   目標物体の地図における位置情報、及び各前記カメラの撮影パラメータに基づいて、前記目標物体の各前記カメラの結像面における投影位置を決定し、前記目標物体の投影位置が前記結像面の撮影範囲内にあるカメラを、前記目標カメラとして決定するステップを含むことを特徴とする、請求項１に記載の方法。
3. 目標物体の地図における位置情報、及び各前記カメラの撮影パラメータに基づいて、前記目標物体の各前記カメラの結像面における投影位置を決定し、前記目標物体の投影位置が前記結像面の撮影範囲内にあるカメラを、前記目標カメラとして決定するステップは、
   各前記カメラの焦点距離が小さい順に従い、カメラを現在の選択対象カメラとして順次に選択するステップと、
   目標物体の前記地図における位置情報、及び現在の選択対象カメラの撮影パラメータに基づいて、前記目標物体の前記現在の選択対象カメラの結像面における投影位置を決定するステップと、
   前記目標物体の投影位置が前記結像面の撮影範囲内にある場合に、前記現在の選択対象カメラを前記目標カメラとして決定するステップと、を含むことを特徴とする、請求項２に記載の方法。
4. 前記現在の選択対象カメラを前記目標カメラとして決定した後、さらに、後続のカメラの決定操作を停止させるステップを含むことを特徴とする、請求項３に記載の方法。
5. 目標物体の地図における位置情報、及び少なくとも二つの焦点距離を使用する少なくとも二つのカメラの撮影パラメータに基づいて、各前記カメラから前記目標物体とマッチングする目標カメラを選別するための目標カメラ選別モジュールと、
   前記目標カメラが前記目標物体の画像を撮影するように制御するためのカメラ撮影モジュールと、
   前記目標カメラによって撮影された画像を取得し、前記目標物体を識別するための画像取得・識別モジュールと、を含み、
   前記撮影パラメータは、
   焦点距離、光学中心、及び歪曲収差係数を含む内部パラメータと、
   ワールド座標系からカメラ座標系への変換行列を含む外部パラメータと、を含み、
   各前記カメラから前記目標物体とマッチングする目標カメラを選別する前に、さらに、
   各前記カメラが取付けられた車両の位置を取得するステップと、
   前記車両の位置に基づいて交差点に位置していると決定された場合に、地図データから前記交差点での信号灯の三次元位置情報を、目標物体の位置情報として取得するステップと、を含むことを特徴とする、物体識別装置。
6. 一つ又は複数のプロセッサと
   一つ又は複数のプログラムを記憶するための記憶装置と、を含む機器であって、
   前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行される場合に、前記一つ又は複数のプロセッサが請求項１〜４のいずれかに記載の物体識別方法を実現することを特徴とする、機器。
7. 車体を含む車両であって、
   請求項６に記載の機器と、
   車体に設置され、少なくとも二つの焦点距離を使用する少なくとも二つのカメラと、をさらに含むことを特徴とする、車両。
8. コンピュータプログラムが記憶されている記憶媒体であって、
   当該プログラムがプロセッサによって実行される場合に、請求項１〜４のいずれかに記載の物体識別方法が実現されることを特徴とする、記憶媒体。

Images