JP4749942B2 - 画像処理プログラム、画像処理装置、画像処理方法 - Google Patents

Description

本発明は、移動体において外部から受信した画像を利用する画像処理プログラム、画像処理装置、画像処理方法に関するものである。

交差点において、右折しようとする車両である右折車とその対向車線を直進しようとする車両である対向直進車とが接触する事故（右直事故）が発生する。図２３は、右折時の自車と対向車の位置関係の一例を示す平面図である。図２４は、右折時の自車から見た視認結果の一例を示す画像である。これらの図に示すように、自車３の運転者は、対向直進車４ｘが対向車４ｙの死角に入るため、視認できない。このような死角が原因となる事故を防止するために、死角の危険認知を目的として、自車に設けられた車載カメラを利用する試みがある。

例えば、第１の従来技術として、交差点の映像を撮影するカメラを、インフラとして路側に設置し、この映像を車側で利用する試みがある（例えば、ＡＨＳ：Advanced cruise-assist Highway Systems）。これは、道路に設置した固定カメラの画像を所定のエリアに向けて送信し、そのエリアを通過する車両が画像を受信して利用するものであり、送信されるのは画像と撮影したカメラのＩＤかカメラ位置である。

また、第２の従来技術として、他の車両に設置された車載カメラの映像を使って危険認知を行う試みがある（例えば、非特許文献１参照）。これは、前を走る車両が前方画像を撮影し、後続車の位置と方向を取得し、撮影した画像を後続車のカメラから見た画像に変換し、車車間通信により後続車へ送信するものである。

なお、本発明の関連ある従来技術として、車両間ネットワークを作成し、カメラ保持車からのカメラ映像を受信し、表示する車両間通信情報処理装置がある（例えば、特許文献１参照）。
特開２００４−１４５６７２号公報 「ＩＴＳにおける車載カメラの位置・方位情報取得に関する検討〜ＨＩＲシステムへの応用〜」，小山石正人，酒井裕史，藤井俊彰，谷本正幸（名古屋大），信学技報ＣＳ２００３−１４３

しかしながら、上述した第１の従来技術において、路側のカメラは、細かなカメラパラメータ（画角、仰角、焦点距離など）を送信しないため、車側は、受信した画像を加工して利用しようとしても、正確な撮影空間が分からず利用できないという問題がある。

上述した第２の従来技術において、交差点の中心にいる車両などが、複数の相手に画像を送信する場合、全ての送信相手の車載カメラの正確な位置及び方向を取得し、それらのカメラから見た画像に加工する必要があるため、非常に計算コスト（処理負荷、処理時間）がかかるという問題がある。

本発明は上述した問題点を解決するためになされたものであり、外部で撮影され送信された画像のうち適切な画像を利用する画像処理プログラム、画像処理装置、画像処理方法を提供することを目的とする。

上述した課題を解決するため、本発明は、外部から送信されるデータの演算を、移動体に設けられたコンピュータに実行させる画像処理プログラムであって、外部のカメラにより撮影された画像である撮影画像データと該撮影画像データが撮影された状態に関する情報である撮影メタデータとからなる撮影データを受信する受信ステップと、前記移動体の状態に関する情報である状態データを取得する状態取得ステップと、予め設定された条件と前記受信ステップにより受信された撮影メタデータと前記状態取得ステップにより取得された状態データとに基づいて、前記受信ステップにより受信された撮影データを利用するか否かの判定を行う判定ステップと、前記判定ステップにより利用すると判定された撮影データを用いて演算を行う演算ステップとをコンピュータに実行させる。

この画像処理プログラムによれば、撮影画像データと撮影メタデータとからなる撮影データを受信し、移動体の状態と予め設定された条件を用いて判定することにより、適切な撮影データを利用することができる。

また、本発明に係る画像処理プログラムにおいて、前記状態データは、前記移動体に設けられたセンサまたは外部との通信により得られる情報であり、前記移動体の移動状態、前記移動体の環境の状態の少なくともいずれかを含むことを特徴とする。

この画像処理プログラムによれば、移動体の移動状態や環境状態に応じて適切な撮影データを利用することができる。

また、本発明に係る画像処理プログラムにおいて、前記条件は、前記状態データの条件である前提条件と前記撮影メタデータの条件である撮影条件とを含み、前記判定ステップは、前記状態データが前記前提条件を満たすか否かの判断を行い、前記状態データが前記前提条件を満たす場合、前記撮影条件を満たす前記撮影メタデータと該撮影メタデータに対応する撮影画像データとを用いて演算を行うことを特徴とする。

この画像処理プログラムによれば、移動体の状態が予め設定された適切な状態になった場合に、その状態に対して適切な撮影データだけを利用することができる。

また、本発明の構成要素、または構成要素の任意の組合せを、方法、装置、システム、記録媒体、データ構造などに適用したものも本発明に含む。

また、本発明は、カメラから送信されるデータを用いた演算を移動体において行う画像処理方法であって、前記カメラによって撮影された画像である撮影画像データと該撮影の状態に関する情報である撮影メタデータとからなる撮影データを受信する受信ステップと、前記移動体の状態に関する情報である状態データを取得する状態取得ステップと、予め設定された条件と前記受信ステップにより受信された撮影メタデータと前記状態取得ステップにより取得された状態データとに基づいて、前記受信ステップにより受信された撮影データを利用するか否かの判定を行う判定ステップと、前記移動体において、前記判定ステップにより利用すると判定された撮影データを用いて演算を行う演算ステップとを実行する。

この画像処理方法によれば、カメラが撮影画像データと撮影メタデータとを撮影データとして送信することにより、移動体において適切な撮影データを選択し、利用することができる。

本発明によれば、外部で撮影され送信された画像のうち適切な画像を利用することができる。

以下、本発明の実施の形態について図面を参照しつつ説明する。

まず、本実施の形態に係る画像処理装置の構成について説明する。

図１は、本実施の形態に係る画像処理装置の構成の一例を示すブロック図である。この画像処理装置１は、車両に搭載され、無線通信部１１、撮影データ記憶部１２、条件データ記憶部１３、状態データ記憶部１４、前提条件判定部１５、撮影条件判定部１６、演算部１７、通知部１８を備える。また、画像処理装置１の周囲には、無線カメラ２が存在する。なお、通知部１８は、画像処理装置１の外部に備えられてもよい。また、画像処理装置１は、同じ車両に搭載されたセンサ１９に接続される。

なお、受信部は、実施の形態における無線通信部１１に対応する。また、状態取得部は、実施の形態における状態データ記憶部１４に対応する。また、判定部は、実施の形態における条件データ記憶部１３、状態データ記憶部１４、前提条件判定部１５、撮影条件判定部１６に対応する。

無線カメラ２は、撮影を行い、撮影した動画像である撮影画像データとその撮影空間などを表す撮影メタデータとを撮影データとして、周囲に送信する。無線カメラ２は、交差点などに設置された固定カメラであっても良いし、他車に設置された移動カメラであっても良いし、また自車に設置されたカメラであっても良い。なお、無線カメラ２が自車に設置されたカメラである場合は、撮影画像データおよび撮影メタデータの送信は、無線でなく、有線で撮影データ記憶部１２へ送信するような構成に変更しても構わない。

無線通信部１１は、近隣の無線カメラ２より、撮影データを無線受信する（Ｓ４１）。なお、無線通信部１１は、単純に撮影データの受信を行うだけでなく、必要ならば送信先を限定するためにスクランブルがかかった撮影データを復号する処理を行ってもよい。この場合、無線カメラ２は、特定の利用者のみに解除可能なスクランブルを、撮影データにかけて送信する。つまり、無線カメラ２は、プライバシー保護またはサービス有償化のために、特定の利用者のみが利用可能な撮影データを送信することができる。また、自車に搭載された無線カメラ２と画像処理装置１を用いるシステムにおいて、その撮影データを他車には利用されたくない場合などに、無線カメラ２は自車のみが利用できるようにスクランブルを行うことができる。また、路上への無線カメラ２の設置コストを考慮し、有償の特定会員サービスとして撮影データの提供を行う場合、無線カメラ２は会員のみが利用できるようにスクランブルを行うことができる。

撮影データ記憶部１２は、無線通信部１１により受信された撮影データを記憶する。撮影メタデータは、例えば、撮影空間を特定するための無線カメラ２の３次元位置（高さを含む）、撮影方向（撮影方位角（カメラ中心軸方向）、パン角、チルト角等）、カメラ画角、焦点距離（画角）、撮影解像度（撮影素子サイズ等）等を含む。また、撮影メタデータは、撮影空間を表すための定義、例えば、３次元位置に、測地系（交差点ローカル座標系、グローバル座標系、新世界座標系、旧日本座標系）及び相対座標化のための基準点の情報等が付随されてもよい。また、撮影メタデータは、撮影空間を表す情報の他に、撮影時刻、同じカメラからの画像フレームを他のカメラの画像フレームと区別するためのカメラＩＤ、カメラ設置者及び設置場所の情報、撮影画像データのコーデック種別やフレームレート等のデータ、可視画像か赤外画像か等の種別情報、無線カメラ２が自車に搭載されていることを示す情報等を含んでもよい。

この撮影メタデータによれば、撮影したカメラの位置や撮影したカメラを搭載する車の進行方向を送信する従来技術と異なり、撮影画像データを利用する自車が、撮影空間を特定する情報を取得し、画像処理に活用することができる。

状態データ記憶部１４は、自車の走行情報を始め、様々な取得可能な現在の状態に関する情報を集めたデータである状態データを保持する（Ｓ４６）。具体的に、状態データは、センサ１９により得られ、自車の位置や姿勢を表す位置情報、運転者によるハンドル操作やアクセルブレーキ操作等の車両制御操作情報、各種の車載センサの情報、現在時刻などである。ここで、位置情報は、ＧＰＳから取得されたものでも良いし、車載カメラの画像認識により進行方向、速度、位置等が算出されたものでも良い。

状態データは、その他、自車周囲の天候、気温、照度、地図、道路状況、交通規制、他車両の情報等を、無線通信部１１の通信により外部のデータベースから取得される情報であっても良い。また、過去に演算部１７が行った画像処理の結果の情報、例えば、画像認識による注意喚起情報等がフィードバックのために状態データとして保持されても良い。

状態データは、主に、前提条件判定部１５において現在の状態が各画像処理を行う状態であるか否かを判定するために用いられる。また、状態データは、演算部１７において、受信した撮影データの画像処理のために用いられてもよい。

この状態データ記憶部１４によれば、自車状態の変更を決定する権利は事故責任等の問題から運転者の明示的な自車操作にあること、また、危険認識のために走行環境と自車操作が適切かを手助けする手段として画像処理を用いる場合が多いこと、を利用し、自車操作の変更を検知して受信した撮影データを用いる画像処理の処理タイミングを制御することができる。例えば、右直事故検知専用の画像処理を搭載した車両が、交差点を直進する場合に、インフラとして交差点ごとに設置された無線カメラ群の動画像データをいちいち全て受信して画像処理するのは非効率的である。このため、本実施の形態における画像処理装置は、無線受信自体を右折時に限定する。また、無線受信の制御ができない場合、画像処理装置は、代用としてあたかも撮影データの無線取得自体ができなかったかのように、無線受信した撮影データの演算部１７への送付を制御する。このように、本実施の形態における画像処理装置は、自車の操作状況を画像処理に用いることにより、画像処理を効率的に行うことができる。

条件データ記憶部１３は、演算部１７に対する撮影データの入力の制御等を行うための条件の定義である条件データを保持する。具体的には、前提条件と撮影条件がある。

前提条件は、現在の状態が画像処理を行うのに適した状態であるか否かを判定するための条件である。この前提条件の判定結果により、無線通信部１１の制御を行ったり、撮影条件に基づく判定を行うか否かを決定したりする。具体的には、現在の自車状態、環境状態、以前に行った画像処理結果などである。

撮影条件は、前提条件により現在は画像処理を行う状態であると判定された後、実際に無線受信した撮影データを全て画像処理に利用するか、その一部を利用するか否かを判定するための条件である。具体的には、撮影メタデータに記述された情報を限定する条件である。

条件データ記憶部１３は、前提条件と撮影条件を登録し、保持するデータベースである。前提条件判定部１５と撮影条件判定部１６は、条件データ記憶部１３を参照し、判定を行う。必要であれば、演算部１７が、条件データ記憶部１３を参照することもできる。なお、ここでは前提条件と撮影条件が密接に関係する可能性が高いので、１つのデータベースにしたが、それぞれ別のデータベースにしてもよいし、これらの内容を各判定部が個別に内部保持することにより、独立した条件データ記憶部１３という構成でなくても良い。

ここで、条件データの具体例について説明する。図２は、本実施の形態に係る条件データの一例を示すＸＭＬ表記である。この例において、条件データは、右折時に必要なデータを取捨選択する条件であり、ＸＭＬを用いて記述されている。なお、条件データは、テーブル形式でもよいし、条件データの記述単位、名称、値の単位、なども他のものを用いてもよい。

この例において、まず、撮影条件の指定に必要な座標系の指定（ＧｅｏＣｏｏｒｄｉｎａｔｅ）が記述される（１行目）。ここでは、自車の重心を原点とし、進行方向をＸ軸方向とし、進行方向右手方向をＹ軸方向とし、単位をｍとする座標系（ＭｙＣａｒＣｏｏｄｉｎａｔｅ１）が指定される。なお、既定の座標系が決まっている場合、指定は不要である。

次に、前提条件と撮影条件は、最終的に演算部１７が行う画像処理の種類毎に定義されるサービス（Ｓｅｒｖｉｃｅ）という単位にまとめて記述される（４行目）。この例において、サービスの数（Ｎｕｍ）は１つであり、そのサービスは「右折確認」という名前で定義される（５行目）。

サービスの定義として、まず、該当する画像処理を必要としている状態かどうかを判定するために、サービス開始の前提となる前提条件（ＰｒｅＣｏｎｄｉｔｉｏｎｓ）を、条件群（２つのＣｏｎｄｉｔｉｏｎ）として列挙する。ここでは、２つのＣｏｎｄｉｔｉｏｎのどちらでも満たせばよいとして、判定種類（ｊｕｄｇｅ）がどちらかでも可（ａｌｔｅｒｎａｔｉｖｅ）として記述される（６行目）。Ｃｏｎｄｉｔｉｏｎの内容は自車状態を用いて記述される。第１のＣｏｎｄｉｔｉｏｎは、自車の右ハンドルを０．１（所定の操舵角に対する相対値）以上（ｏｖｅｒ＋ｅｑｕａｌとして表記）切った場合であり、右ハンドルを正の値とする座標系で記述される（７行目）。第２のＣｏｎｄｉｔｉｏｎは、自車の右ウィンカーを１回以上操作した場合であり、右ウィンカーを正の値とする座標系で記述される（１１行目）。２つのＣｏｎｄｉｔｉｏｎは、自車の操作に関する値を車操作（ＣａｒＭａｎｉｐｕｌａｔｅ）という単位にして記述される。

なお、この例における前提条件は、自車状態のみを用いたが、例えば「今は夜だったら」というような他の計測装置により計測される環境状態や、「近くに複雑な交差点があったら」のような他のデータベースを参照する環境状態などを記載しても良い。また、サービスが前方監視のように常に起動させておきたいものであれば、前提条件をなしにしても良い。

次に、前提条件を満たした場合に実行される明確な動作（Ｄｏ）が列挙される。この例においては、車操作（ＣａｒＭａｎｉｐｕｌａｔｅ）として、無線通信部１１（ＤａｔａＩｎｐｕｔＢｙＡｉｒ）の起動（無線受信の開始）が記述される（１７行目）。実際には無線通信部１１は、常に起動し続けていても構わないので省略してもよい。また、他の動作を記述しても良い。

次に、撮影条件は、利用する撮影データの条件であり、入力フィルタ群（ＩｎｐｕｔＦｉｌｔｅｒｓ）として記述される（２０行目）。この撮影条件による判定も、広義では前提条件を満たした結果の動作であるが、ここでは判定を行うことを明確に示すために動作（Ｄｏ）と分けて記述される。

この例における右折確認用の入力フィルタは、１つのフィルタ（Ｆｉｌｔｅｒ）から成り、判定は撮影データにおける撮影空間が指定領域（ａｒｅａ）内に一部でも入っている場合（ｅｎｔｅｒ）とする（２１行目）。指定領域は、自車座標系を使った矩形（Ｒｅｃｔａｎｇｌｅ）で指定され、車両中心軸より右折方向を主に示す車両前方領域が指定されている（２２行目）。なお、指定領域は、楕円等の指定でも良い。また、入力フィルタは、「前提条件を満たして以後２０秒間に、進行すると思われる推定進路に対し、右側５ｍの幅の領域」や「近隣の交差点を中心とする半径１０ｍの領域」というような複雑な条件として記述されても良い。

次に、その他の前提条件の具体例について説明する。

判定に利用できる状態データが多いほど、それらを用いた複雑な条件データを定義することが可能である。例えば「暗いが人通りが多い」、「過去に事故が多発している」等の前提条件を用いて、利用する撮影データの制御等を行うことができる。

まず、「暗いが人通りが多い」を示す前提条件の定義について説明する。ここで、「暗い」とは、自車で測定した照度値が所定の閾値以下である場合を表し、「人通りが多い」とは、自車の位置が地図情報における用途地域指定により商業地域とされている場合を表す。図３は、本実施の形態に係る複雑な前提条件の第１の例を示すＸＭＬ表記である。この図において、この１行目は、２つのＣｏｎｄｉｔｉｏｎの両方がＯＫである（ａｌｌ）場合に、この前提条件を満たすと判定されることを表す。２行目は、第１のＣｏｎｄｉｔｉｏｎとして、自車における照度が次のＤａｔａの値以下である場合を表す。３行目は、Ｄａｔａとして、ｌｕｍｉｎａｎｃｅ（照度）が３０ ｌｘ（ルクス）であることを表す。５行目は、第２のＣｏｎｄｉｔｉｏｎとして、周辺の地域種別が次のＤａｔａの値である場合を表す。６行目は、Ｄａｔａとして、ｚｏｎｉｎｇ（用途地域）がＣｏｍｍｅｒｃｉａｌ Ｚｏｎｅ（商業地域）であることを表す。

次に、「過去に事故が多発している」を示す前提条件の定義について説明する。ここでは、国土交通省や各警察本部等により調査された交通事故発生頻度の情報が、予め地図情報に含められる。図４は、本実施の形態に係る複雑な前提条件の第２の例を示すＸＭＬ表記である。１行目は、次のＣｏｎｄｉｔｉｏｎがＯＫである場合に、この前提条件を満たすと判定されることを表す。２行目は、Ｃｏｎｄｉｔｉｏｎとして、地図情報における交通事故発生頻度が次のＤａｔａの値以上であることを表す。３行目は、Ｄａｔａとして、ＴＡＦＲ（Traffic Accident Frequency Rate：交通事故発生頻度）が１７０［件／平方ｋｍ］であることを表す。なお、この例では、交通事故発生頻度を用いたが、子供の事故、高齢者の事故、自動二輪の事故などの詳細なデータも存在するため、これらを用いても良い。

次に、その他の撮影条件の具体例について説明する。

まず、撮影メタデータと撮影条件に、撮影画像データのコーデック種別を用いる場合について説明する。図５は、本実施の形態に係る撮影画像データのコーデック種別を利用した撮影条件の一例を示すＸＭＬ表記である。この撮影条件に従って撮影条件判定部１６は、コーデック種別が“ｖｉｄｅｏ／ｍｐｅｇ４”であるか否かの判断を行うものである。コーデック種別は、ＭＩＭＥ−ＴＹＰＥを利用して記述されている。撮影メタデータがこの撮影条件を満たす場合、撮影画像データのデコードが可能であるため、演算部１７の入力となる。一方、撮影メタデータがこの撮影条件を満たさない場合、撮影画像データのデコードが不可能であるため、演算部１７の入力として使われない。

このＸＭＬ表記において、２行目は、Ｆｉｌｔｅｒとして、次のＤａｔａの値に合致する場合であることを表す。３行目は、Ｄａｔａとして、ｃｏｄｅｃがｖｉｄｅｏ／ｍｐｅｇ４であることを表す。

また、ＭＩＭＥ−ＴＹＰＥは、ＸＭＬとの親和性が高く、様々なデータ種別の表記が可能である。しかし、ＭＩＭＥ−ＴＹＰＥは、テキストで処理されるため、無線送受信のデータを圧縮する必要がある場合、予め規定されたバイナリ符号化コードやＷＢＸＭＬ（Wireless Binary XML）等によりＭＩＭＥ−ＴＹＰＥが圧縮されたものを利用しても良い。

次に、撮影メタデータと撮影条件に、撮影画像データのフレームレートを用いる場合について説明する。このとき、演算部１７は、フレームレートからフレーム間の撮影時刻の差を取得することができる。例えば、演算部１７が無線カメラ２の移動速度と撮影時刻の差を取得することにより、移動する無線カメラ２の撮影位置の差（移動距離）を算出することができる。演算部１７は、この移動距離とこの移動の前後の２つの画像を用いてステレオカメラを実現することができる。

次に、撮影メタデータと撮影条件に、撮影画像データの画像種別を用いる場合について説明する。図６は、本実施の形態に係る撮影画像データの画像種別を利用した撮影条件の一例を示すＸＭＬ表記である。この撮影条件に従って撮影条件判定部１６は、画像種別が近赤外光（４５０〜８００ｎｍ）または可視光であるか否かの判断を行うものである。撮影メタデータがこの撮影条件を満たす場合、演算部１７の入力となる。一方、撮影メタデータがこの撮影条件を満たさない場合（遠赤外画像など）、演算部１７の入力として使われない。

このＸＭＬ表記において、１行目は、２つのＦｉｌｔｅｒのうち少なくとも一方がＯＫである（ａｌｔｅｒｎａｔｉｖｅ）場合に、この撮影条件を満たすと判定されることを表す。２行目は、第１のＦｉｌｔｅｒとして、次のＤａｔａの値に合致する場合であることを表す。３行目は、Ｄａｔａとして、光線種別（Ｒａｙ）が赤外光（ＩＲ）であることを表す。４行目は、Ｄａｔａとして、最短波長（ＷＬＭｉｎ）が４５０ｎｍであることを表す。５行目は、Ｄａｔａとして、最長波長（ＷＬＭａｘ）が８００ｎｍであることを表す。８行目は、Ｄａｔａとして、光線種別（Ｒａｙ）が可視光（Ｖｉｓｉｂｌｅ）であることを表す。このような撮影条件を用いることにより、撮影条件判定部１６は、利用する無線カメラ２として、通常の可視光カメラと夜間等に用いる赤外光カメラを、同様に利用したり、選択したりすることが可能となる。

次に、撮影メタデータと撮影条件に、無線カメラ２が自車に搭載されたものであることを示す情報を用いる場合について説明する。複数の無線カメラ２は、自車に搭載され、撮影画像データのフレーム毎の撮影メタデータに、自車カメラであることを示す情報を含める。従って、画像処理装置１は、自車、他車、環境における無線カメラ２からの撮影データを同じ枠組みで統一された画像処理に利用することができる。

条件データ記憶部１３における撮影条件は、例えば、自車カメラの撮影データを他のカメラの撮影データより画像処理の優先度を高くする、自車カメラの撮影データだけは撮影データ判定部１６による判定を省いて常に画像処理に利用する、などとすることにより、自車カメラの撮影データを他と簡単に区別して特別扱いすることができる。従って、自車の周辺状況を最もよく撮影することの多い自車カメラの撮影データの重要性に配慮したシステム構成を実現できる。このように、自車、他車、環境における無線カメラを統一的に扱うことができると、車両購入者が後で自由に自車の無線カメラ２を買い足しまたは買い替えてカスタマイズすることも可能になり、より自由に多くの画像処理素材を取得することが可能になる。

また、撮影データの取捨選択を演算部１７に一任することし、演算部１７へ撮影データを受け渡すタイミングのみを制御するための前提条件のみが記述され、前提条件を満たした後の動作や入力フィルタ群が記述されなくても良い。また、複雑な前提条件の指定として、前提条件を満たした後、詳細な状態を把握するために自車に設置されたセンサを起動させ、そのセンサから得られるデータを用いてもう一度前提条件の判定を行うというように、前提条件とその後の動作が入れ子となり、前提条件の一部に動作を含む構造として記述されても良い。

前提条件判定部１５は、自車の走行情報を始めとする状態データを条件データと照合し、現在の状態が前提条件に合致するか否かを判定する（Ｓ４２）。また、前提条件判定部１５は、判定結果により、無線通信部１１の制御を行ったり、自車における他の装置の制御、例えば、より詳細な現状判定のために必要となる自車センサの起動を行ったりする。

撮影条件判定部１６は、受信した撮影データに含まれる撮影メタデータを条件データと照合し、画像処理に利用する撮影データの選択を行う（Ｓ４３）。例えば図２の条件データの場合、撮影条件判定部１６は、状態データに含まれる自車の現在の状態において、右にハンドルを切る操作やウィンカー右折指示があるかを調べ、右折確認サービスの前提条件（ＰｒｅＣｏｎｄｉｔｉｏｎｓ）が満たされたとみなし、自車の現在位置と進行速度を用いて、撮影条件（ＩｎｐｕｔＦｉｌｔｅｒｓ）として記載された右折に関係しそうな位置領域（ａｒｅａ）を求める。

次に、撮影条件判定部１６は、無線通信部１１により無線受信された撮影メタデータにおける撮影空間を上記位置領域（ａｒｅａ）と比較できるように座標系を揃え、撮影空間が位置領域内に一部でも入るか否かを調べることで、撮影条件を満たす撮影データか否かを判定し、満たすと判定されたデータのみを演算部１７へ送る。

次に、前提条件判定部１５と撮影条件判定部１６の詳細な動作について説明する。

図７は、本実施の形態に係る前提条件判定部１５と撮影条件判定部１６の詳細な動作の一例を示すフローチャートである。ここでは、図２の利用条件データを用いて説明する。

まず、前提条件判定部１５は、条件データにおいて、次のＳｅｒｖｉｃｅＤａｔａがあるか否かの判断を行う（Ｓ１１）。次のＳｅｒｖｉｃｅＤａｔａがない場合（Ｓ１１，ＮＯ）、このフローは終了する。一方、次のＳｅｒｖｉｃｅＤａｔａがある場合（Ｓ１１，ＹＥＳ）、前提条件判定部１５は、該当ＳｅｒｖｉｃｅＤａｔａ内にＰｒｅＣｏｎｄｉｔｉｏｎ（前提条件）があるか否かの判断を行う（Ｓ１２）。ＰｒｅＣｏｎｄｉｔｉｏｎがない場合（Ｓ１２，ＮＯ）、処理Ｓ１４へ移行する。一方、ＰｒｅＣｏｎｄｉｔｉｏｎがある場合（Ｓ１２，ＹＥＳ）、前提条件判定部１５は、ＰｒｅＣｏｎｄｉｔｉｏｎを満たすか否かの判断を行う（Ｓ１３）。この条件データの例の場合、前提条件判定部１５は、ＰｒｅＣｏｎｄｉｔｉｏｎ内のＣｏｎｄｉｔｉｏｎ群のうち、どれか一つ（右ハンドル操作角が０．１操作単位以上である、右ウィンカーを操作した）を満たす（ａｌｔｅｒｎａｔｉｖｅ）か否かの判断を行う。

ＰｒｅＣｏｎｄｉｔｉｏｎを満たさない場合（Ｓ１３，ＮＯ）、処理Ｓ１１へ移行する。一方、ＰｒｅＣｏｎｄｉｔｉｏｎを満たす場合（Ｓ１３，ＹＥＳ）、前提条件判定部１５は、Ｄｏ（実行項目）があるか否かの判断を行う（Ｓ１４）。Ｄｏがない場合（Ｓ１４，ＮＯ）、処理Ｓ２１へ移行する。一方、Ｄｏがある場合（Ｓ１４，ＹＥＳ）、前提条件判定部１５は、Ｄｏの内容（自車の無線通信部を起動）を実行する（Ｓ１５）。

次に、撮影条件判定部１６は、無線通信部１１が稼働中、かつ、受信した撮影画像データの次のフレームがあるか否かの判断を行う（Ｓ２１）。無線通信部１１が稼働中でない、または、次のフレームがない場合（Ｓ２１，ＮＯ）、処理Ｓ１１へ移行する。一方、無線通信部１１が稼働中、かつ、次のフレームがある場合（Ｓ２１，ＹＥＳ）、撮影条件判定部１６は、次のフレームを取得し（Ｓ２２）、ＩｎｐｕｔＦｉｌｔｅｒｓ（撮影条件）があるか否かの判断を行う（Ｓ２３）。

ＩｎｐｕｔＦｉｌｔｅｒｓがない場合（Ｓ２３，ＮＯ）、処理Ｓ２７へ移行する。一方、ＩｎｐｕｔＦｉｌｔｅｒｓがある場合（Ｓ２３，ＹＥＳ）、撮影条件判定部１６は、該当フレームを撮影した無線カメラ２を表す撮影カメラＩＤ（該当フレームの撮影メタデータに撮影カメラＩＤが含まれている場合）が既に撮影条件の判定済みであるか否かの判断を行う（Ｓ２４）。判定済みでない場合や撮影カメラＩＤが不明の場合（Ｓ２４，ＮＯ）、処理Ｓ２６へ移行する。一方、判定済みである場合（Ｓ２４，ＹＥＳ）、撮影条件判定部１６は、その判定結果がＯＫであった（撮影条件を満たした）か否かの判断を行う（Ｓ２５）。

ここでは、無線カメラ２が、撮影画像データのフレーム毎の撮影メタデータに、自己のカメラＩＤを含めている。フレーム毎の撮影メタデータとして、同一の無線カメラ２で撮影したことを示すカメラＩＤを付随することにより、撮影条件判定部１６は、明らかに利用しない位置にある固定カメラからのデータを省くことができる。また、撮影条件判定部１６は、自車の位置変化がなく（停止中等）、撮影空間が変化しない固定カメラからの撮影データを受信する場合、その撮影空間を使った判定を一度行うだけで良く、以後はその判定結果を使いまわして計算を省くことができる。従って、撮影メタデータにカメラＩＤを含めることにより、判定や計算のコストを低減することが可能となる。

ＮＧであった場合（Ｓ２５，ＮＯ）、処理Ｓ２１へ移行する。一方、処理ＯＫであった場合（Ｓ２５，ＹＥＳ）、処理Ｓ２７へ移行する。撮影条件判定部１６は、該当フレームがＩｎｐｕｔＦｉｌｔｅｒｓを満たすか否かの判断を行う（Ｓ２６）。この条件データの例の場合、ＩｎｐｕｔＦｉｌｔｅｒｓ内のＦｉｌｔｅｒ群（該当フレームの撮影空間の一部が、現在の自車重心位置を原点とする自車座標系ＭｙＣａｒＣｏｏｒｄ１上で前右方３０ｍ×２０ｍのエリア内に入る）を全て（ａｌｌ）満たすか否かの判断を行う。同時に、この判断結果が、明らかに同じカメラの撮影データに対してずっと適用可能なものであれば、判定済みとしてカメラＩＤを保存しておく。

ＩｎｐｕｔＦｉｌｔｅｒｓを満たさない場合（Ｓ２６，ＮＯ）、処理Ｓ２１へ移行する。一方、ＩｎｐｕｔＦｉｌｔｅｒｓを満たす場合（Ｓ２６，ＹＥＳ）、撮影条件判定部１６は、該当フレームを演算部１７へ渡し（Ｓ２７）、処理Ｓ１１へ移行する。

次に、前提条件判定部１５と撮影条件判定部１６の具体的な動作の一例について説明する。

図８は、本実施の形態に係る交差点の第１の例を示す平面図である。この図は、無線カメラ２ａ，２ｂが交差点毎に設置され、それぞれ撮影空間２２ａ，２２ｂを撮影し、撮影データとして無線送信する場合を示す。

まず、前提条件判定部１５は、ハンドル操作またはウィンカ操作から自車の右折動作を検知し、図２の前提条件を満たすことを確認し、右折確認サービスの起動を検知する。次に、撮影条件判定部１６は、検知した現在位置から右折確認用の撮影データの撮影条件である、検知位置を原点とする矩形領域、すなわち図８に示す撮影条件領域２１を計算する。ここで、無線通信部１１は、無線カメラ２ａ，２ｂからそれぞれの撮影データを受信したとする。撮影条件判定部１６は、撮影メタデータに含まれる撮影空間２２ａ，２２ｂが、それぞれ撮影条件領域２１に入るか否かを幾何計算し、無線カメラ２ｂによる撮影空間２ｂのみが該当すると判定し、無線カメラ２ｂからの撮影データを演算部１７へ渡す。

次に、演算部１７について説明する。

演算部１７は、撮影条件判定部１６から渡された撮影データを用いて所定の演算を行い（Ｓ４４）、演算結果を通知部１８に渡し、運転者に通知させる（Ｓ４５）。通知部１８は、演算部１７から渡された表示画像の表示を行ったり、警告の音声を再生したりすることで、運転者へ通知を行う。ここで、画像処理の例について説明する。

図９は、本実施の形態に係る交差点の第２の例を示す平面図である。この図における自車３は、交差点で右折を行おうとしている。また、自車３の対向車両として、他車４ａ，４ｂが存在する。自車３にとって他車４ａは他車４ｂによる死角に存在し、自車３の運転者から直接視認することができないものとする。また、この図に示す交差点の上方（信号機の位置など）に、真下方向を向く無線カメラ２ｃと斜め下方向を向く無線カメラ２ｄが設置され、それぞれ撮影空間２２ｃ，２２ｄを撮影し、得られたそれぞれのフレーム２３ｃ，２３ｄを撮影データとして無線送信する。図１０は、本実施の形態に係るフレーム２３ｃの一例を示す画像である。図１１は、本実施の形態に係るフレーム２３ｄの一例を示す画像である。

演算部１７は、斜め上から撮影されたフレーム２３ｄを真上から撮影されたフレーム２４ｄに変換する。演算部１７は、まず、無線カメラ２ｃ，２ｄから受信した撮影画像データのフレームと撮影メタデータ（例えばカメラの仰角等）と用いて、フレーム２３ｄに幾何変換（アフィン変換）を施し、目的のビュー（所定の位置と方向から見た画像）として交差点の真上からの俯瞰画像であるフレーム２４ｄを生成する。図１２は、本実施の形態に係るフレーム２４ｄの一例を示す画像である。無線カメラ２ｃにより撮影されたフレーム２３ｃはすでに真上からの俯瞰画像であるため、無線カメラ２ｄにより撮影されたフレーム２３ｄのみが変換される。なお、演算部１７は、更に、フレーム２３ｃ，２４ｄの静止物除去（複数フレーム間の差分を取る、背景差分を取る等の既存の手法を用いる）を行っても良い。

次に、演算部１７は、フレーム２３ｃ，２４ｄのサイズ変換や回転を行い、適切な順番で地図画面に重畳し、表示画面を生成し、通知部１８に表示させる。図１３は、地図画面の一例を示す画像である。ここで、矢印は、自車３の位置と方向を表す。ここで、演算部１７は、撮影空間２２ｃ，２２ｄが大きい（無線カメラ２ｃ，２ｄのズーム倍率が低い）フレームから順に地図画面に重畳する、自車３から撮影空間２２ｃ，２２ｄまでの距離が近いフレームから順に地図画面に重畳する等の処理を行う。図１４は、本実施の形態に係る表示画面の一例を示す画像である。この図において、演算部１７は、フレーム２３ｃ，２４ｄを背景ごと地図画面に重畳したが、前述した静止物除去を行い、移動物体のみを重畳する、フレーム２３ｃ，２４ｄを透過画像として重畳する等の処理を行っても良い。

次に、斜め上から見た画像を真上から見た画像に変換する処理（フレーム２３ｄをフレーム２４ｄに変換する処理）である俯瞰画像変換について説明する。

図１５は、本実施の形態に係る俯瞰画像変換の一例を示す図である。図１６は、本実施の形態に係る俯瞰画像変換の一例を示す式である。演算部１７は、図１５において高さＨにある無線カメラ２ｇ（画角θｖ及び焦点距離ｆ）から水平俯角θで見下ろした画像上の点（ｘ，ｙ）は、図１６中の第４式と第５式で示すような路面の位置（Ｘ、Ｙ）にある点と対応する。図１７は、本実施の形態に係る俯瞰画像変換の変換前画像の一例を示す画像である。図１８は、本実施の形態に係る俯瞰画像変換の変換後画像の一例を示す画像である。図１７のような斜め上から撮影されたフレーム内の全ての画素点は、図１８のような真上から見た画像である台形領域内の点へと変換することができる。

上述したように、演算部１７が、自車の周辺に存在する無線カメラ２の撮影データを素材として、撮影空間等に基づいて加工し、表示することにより、運転者は、自車周辺の状況を迅速に認識することができる。

なお、本実施の形態において演算部１７は、複数の画像の重ね合わせを行ったが１つの画像だけを表示画像としても良い。また、演算部１７は、アフィン変換以外の画像処理を行っても良い。また、同一の撮影空間を撮影した撮影データが同時に複数受信された場合、撮影メタデータに基づいて細かい部分まで写っている撮影画像データを画像処理に利用するなど、適切な撮影データを選択する撮影条件を定義しても良い。

また、演算部１７は、撮影条件判定部１６から渡された撮影データを用いて危険検知処理を行い、運転者に通知しても良い。ここで、危険検知処理の例について説明する。

図１９は、本実施の形態に係る交差点の第３の例を示す平面図である。この図における自車３は、交差点で右折を行おうとしている。また、自車３の対向車両として、他車４ａ，４ｂ，４ｅが存在する。自車３にとって他車４ａは他車４ｂによる死角に存在し、自車３の運転者から直接視認することができないものとする。また、自車３から延びた三角形は、自車３の運転者による視認領域２５と、視認領域２５中の死角２６を示す。図２０は、本実施の形態に係る視認領域２５の視認結果２７の一例を示す画像である。この視認結果２７において、他車４ｂだけが視認され、他車４ａは視認されない。また、他車４ｅは、無線カメラ２ｅを搭載し、その無線カメラ２ｅで他車４ａ，４ｂを撮影できる位置に存在する。また、他車４ｅから延びた三角形は、無線カメラ２ｅにより撮影された撮影空間２２ｅを示す。図２１は、本実施の形態に係る撮影空間２２ｅより得られたフレーム２３ｅの一例を示す画像である。このフレーム２３ｅにおいて、他車４ａ，４ｂの両方が撮影される。

自車３の画像処理装置１は、無線カメラ２ｅにより送信された撮影データを受信する。演算部１７は、まず、受信したフレーム２３ｅ中の物体の検出を行う。ここで、演算部１７は、例えば、フレーム２３ｅ中の車のタイヤ等の特徴を用いて画像認識する。また、演算部１７は、例えば、同一の無線カメラ２からの連続する複数のフレームを用いる場合、画像フローを比較して移動物体を検知する。

その結果、フレーム２３ｅにおいては、他車４ａ，４ｂが検出される。この検出結果と無線カメラ２ｅからの撮影メタデータ（無線カメラ２ｅのカメラの方向、画角）とを用いて、演算部１７は、物体が存在する可能性のある領域である物体存在可能性領域を決定する。図２２は、本実施の形態に係る物体存在可能性領域の例を示す平面図である。撮影空間２２ｅ中に、物体存在可能性領域２８ａ，２８ｂが決定される。また、撮影空間２２ｅ中にフレーム２３ｅの画面位置２９ｅを示す。物体存在可能性領域２８ａ，２８ｂは、画面位置２９ｅにおける他車４ａ，４ｂの位置に射影される領域である。ここで、物体存在可能性領域２８ａ，２８ｂの奥行き（無線カメラ２ｅからの距離の範囲）は、無限遠としたが、実際の有効解像度及び被写体深度等を考慮し、有限の値としても良い。更に、演算部１７は、自車３の視認領域２５と物体存在可能性領域２８ａが重なる領域を交差領域３０ａとし、自車３の視認領域２５と物体存在可能性領域２８ｂが重なる領域を交差領域３０ｂとする。

次に、演算部１７は、交差領域３０ａ，３０ｂが自車３の進行において危険な範囲に存在するか否かの判断を行う。例えば、演算部１７は、自車３から交差領域３０ａ，３０ｂまで距離が所定の閾値より近い、交差領域３０ａ，３０ｂの一部が自車３の進行に関連する領域に重なる、などの条件を満たす場合、運転者に危険の通知を行う。

従来、自車以外のカメラが撮影した画像は、自車において表示するためだけに用いられていた。また、危険の検知を行うための画像は、自車で撮影された画像だけであった。この危険検知処理によれば、自車、他車、環境などに設置された無線カメラ２からの撮影データを用いることができるため、危険を検知の精度を向上させることができる。

なお、無線カメラ２が、取得可能な情報と予め設定された条件を用いて、送信する撮影データの制御を行っても良い。取得可能な情報とは、例えば、無線カメラ２に設置されるセンサやＧＰＳからの情報、画像認識による無線カメラ２の位置、姿勢、進行方向、速度等の走行状態、通信により得られる道路状況・周辺輝度・天候・周辺地図・適用規制・周辺車両状態・他カメラの無線通信状態などである。また、無線カメラ２は、取得可能な情報に基づいて、撮影の有無、撮影範囲、フレームレート、送信する撮影データ、動画像コーデック、無線送信の有無、無線送信強度等を決定する。

この無線カメラ２によれば、例えば、夜間のみ撮影を行い無線送信する無線カメラ（時刻または周辺輝度情報から夜間を検知する）、周辺車両を検知した場合のみ精細な動画を送信する無線カメラ（無線カメラに設置されたセンサにより周辺車両を検知する、又は周辺車両自身からの位置の申告を集めたデータベースから周辺車両情報を得て周辺車両を検知する）、等を実現することができる。従って、無線カメラ２は、効率的に撮影データを送信することができる。

なお、画像処理装置１の全ての構成要素が１つの車両に存在していなくても良い。即時性は失われるが、演算部１７がネットワークを経由した外部の装置内にあり、画像処理装置がネットワークを介して撮影データを演算部１７に送信し、ネットワークを介して結果を受け取っても良い。また、状態データは、細かい項目毎に複数データに分けて別の場所に保持されても良いし、画像処理装置が必要な場合に外部のセンサなどにデータ値を問い合わせることにより、データベースとして保持しなくても良い。また、画像処理装置は、車両以外の移動体に搭載されても良い。

従来技術において、危険回避等の目的で、周辺の路車カメラ（固定監視、車等）により撮影された画像を受信して利用しようとすると、正確な撮影空間が分からず加工や利用ができない、送信側が加工画像を提供するための処理コスト（処理負荷、処理時間）が高すぎるという問題があった。

本実施の形態においては、撮影画像データと撮影メタデータとを撮影データとして無線送信するカメラと、近傍から送信された撮影データを受信し、撮影メタデータと自己の状態を用いてカメラ及び画像を選択利用する画像処理装置を提供する。従って、送信側が撮影画像データと共に撮影メタデータを送信するため、受信側で画像を自由に加工利用することが可能となる。また、受信側が加工を行うため、送信側の処理コストも低減し、負荷分散を実現できる。

さらに、送信側は動画像という素材の提供に徹することができるので、加工アルゴリズムの誤りによる事故発生責任を考慮することなく、インフラとして道路に送信カメラを整備することができ、各地の道路への設置の実現性を高める。また、本発明を自車に搭載された無線カメラと自車内におけるサービスに適用することにより、個人で自由に自車の車載カメラ数や設置位置、撮影方向をカスタマイズして、自車内における高度なサービスを実現することができる。

なお、送信ステップは、実施の形態における無線カメラ２の動作に対応する。また、受信ステップは、実施の形態における処理Ｓ４１に対応する。また、状態取得ステップは、実施の形態における処理Ｓ４６に対応する。また、判定ステップは、実施の形態における処理Ｓ４２，Ｓ４３に対応する。また、演算ステップは、実施の形態における処理Ｓ４４に対応する。

また、本実施の形態に係る画像処理装置は、情報処理装置に容易に適用することができ、情報処理装置の性能をより高めることができる。ここで、情報処理装置には、例えばカーナビゲーションシステム、ＥＣＵ（Electric Control Unit）等が含まれ得る。

更に、画像処理装置を構成するコンピュータにおいて上述した各ステップを実行させるプログラムを、画像処理プログラムとして提供することができる。上述したプログラムは、コンピュータにより読取り可能な記録媒体に記憶させることによって、画像処理装置を構成するコンピュータに実行させることが可能となる。ここで、上記コンピュータにより読取り可能な記録媒体としては、ＲＯＭやＲＡＭ等のコンピュータに内部実装される内部記憶装置、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。

（付記１） 外部から送信されるデータの演算を、移動体に設けられたコンピュータに実行させる画像処理プログラムであって、
外部のカメラにより撮影された画像である撮影画像データと該撮影画像データが撮影された状態に関する情報である撮影メタデータとからなる撮影データを受信する受信ステップと、
前記移動体の状態に関する情報である状態データを取得する状態取得ステップと、
予め設定された条件と前記受信ステップにより受信された撮影メタデータと前記状態取得ステップにより取得された状態データとに基づいて、前記受信ステップにより受信された撮影データを利用するか否かの判定を行う判定ステップと、
前記判定ステップにより利用すると判定された撮影データを用いて演算を行う演算ステップと
をコンピュータに実行させる画像処理プログラム。
（付記２） 付記１に記載の画像処理プログラムにおいて、
前記演算部は、前記撮影データ中の前記撮影メタデータに基づいて、該撮影データ中の撮影画像データの変換を行うことを特徴とする画像処理プログラム。
（付記３） 付記１または付記２に記載の画像処理プログラムにおいて、
前記演算部は、前記撮影データに基づいて、危険を検知することを特徴とする画像処理プログラム。
（付記４） 付記１乃至付記３のいずれかに記載の画像処理プログラムにおいて、
前記状態データは、前記移動体に設けられたセンサまたは外部との通信により得られる情報であり、前記移動体の移動状態、前記移動体の環境の状態の少なくともいずれかを含むことを特徴とする画像処理プログラム。
（付記５） 付記１乃至付記４のいずれかに記載の画像処理プログラムにおいて、
前記条件は、前記状態データの条件である前提条件と前記撮影メタデータの条件である撮影条件とを含み、
前記判定ステップは、前記状態データが前記前提条件を満たすか否かの判断を行い、前記状態データが前記前提条件を満たす場合、前記撮影条件を満たす前記撮影メタデータと該撮影メタデータに対応する撮影画像データとを用いて演算を行うことを特徴とする画像処理プログラム。
（付記６） 付記５に記載の画像処理プログラムにおいて、
前記撮影メタデータは、前記カメラが前記撮影画像データとして撮影した空間に関する情報である撮影空間情報を含み、
前記撮影条件は、利用する撮影データにおける前記撮影空間情報の条件を含むことを特徴とする画像処理プログラム。
（付記７） 付記５または付記６に記載の画像処理プログラムにおいて、
前記状態データは、前記移動体におけるユーザの操作の情報を含み、
前記前提条件は、所定の操作を含むことを特徴とする画像処理プログラム。
（付記８） 付記５に記載の画像処理プログラムにおいて、
前記撮影条件は、前記撮影メタデータに含まれたカメラのＩＤが前記移動体に設けられたカメラのＩＤであることを含むことを特徴とする画像処理プログラム。
（付記９） 付記５乃至付記８のいずれかに記載の画像処理プログラムにおいて、
前記撮影メタデータは、画像の種類を含み、
前記撮影条件は、利用する画像の種類の条件を含むことを特徴とする画像処理プログラム。
（付記１０） 移動体に設けられ、外部から送信されるデータの演算を行う画像処理装置であって、
外部のカメラにより撮影された画像である撮影画像データと該撮影画像データが撮影された状態に関する情報である撮影メタデータとからなる撮影データを受信する受信部と、
前記移動体の状態に関する情報である状態データを取得する状態取得部と、
予め設定された条件と前記受信部により受信された撮影メタデータと前記状態取得部により取得された状態データとに基づいて、前記受信部により受信された撮影データを利用するか否かの判定を行う判定部と、
前記判定部により利用すると判定された撮影データを用いて演算を行う演算部と
を備える画像処理装置。
（付記１１） 付記１０に記載の画像処理装置において、
前記演算部は、前記撮影データ中の前記撮影メタデータに基づいて、該撮影データ中の撮影画像データの変換を行うことを特徴とする画像処理装置。
（付記１２） 付記１０または付記１１に記載の画像処理装置において、
前記演算部は、前記撮影データに基づいて、危険を検知することを特徴とする画像処理装置。
（付記１３） 付記１０乃至付記１２のいずれかに記載の画像処理装置において、
前記状態データは、前記移動体に設けられたセンサまたは外部との通信により得られる情報であり、前記移動体の移動状態、前記移動体の環境の状態の少なくともいずれかを含むことを特徴とする画像処理装置。
（付記１４） 付記１０乃至付記１３のいずれかに記載の画像処理装置において、
前記条件は、前記状態データの条件である前提条件と前記撮影メタデータの条件である撮影条件とを含み、
前記判定部は、前記状態データが前記前提条件を満たすか否かの判断を行い、前記状態データが前記前提条件を満たす場合、前記撮影条件を満たす前記撮影メタデータと該撮影メタデータに対応する撮影画像データとを用いて演算を行うことを特徴とする画像処理装置。
（付記１５） 付記１４に記載の画像処理装置において、
前記撮影メタデータは、前記カメラが前記撮影画像データとして撮影した空間に関する情報である撮影空間情報を含み、
前記撮影条件は、利用する撮影データにおける前記撮影空間情報の条件を含むことを特徴とする画像処理装置。
（付記１６） カメラから送信されるデータを用いた演算を移動体において行う画像処理方法であって、
前記カメラによって撮影された画像である撮影画像データと該撮影の状態に関する情報である撮影メタデータとからなる撮影データを受信する受信ステップと、
前記移動体の状態に関する情報である状態データを取得する状態取得ステップと、
予め設定された条件と前記受信ステップにより受信された撮影メタデータと前記状態取得ステップにより取得された状態データとに基づいて、前記受信ステップにより受信された撮影データを利用するか否かの判定を行う判定ステップと、
前記移動体において、前記判定ステップにより利用すると判定された撮影データを用いて演算を行う演算ステップと
を実行する画像処理方法。
（付記１７） 付記１６に記載の画像処理方法において、
前記受信する撮影データは、前記カメラに設置されたセンサまたは外部との通信により得られる情報に基づいて、前記撮影画像データの撮影または前記撮影データの送信の制御を前記カメラにより行われたデータであることを特徴とする画像処理方法。

本実施の形態に係る画像処理装置の構成の一例を示すブロック図である。 本実施の形態に係る条件データの一例を示すＸＭＬ表記である。 本実施の形態に係る複雑な前提条件の第１の例を示すＸＭＬ表記である。 本実施の形態に係る複雑な前提条件の第２の例を示すＸＭＬ表記である。 本実施の形態に係る撮影画像データのコーデック種別を利用した撮影条件の一例を示すＸＭＬ表記である。 本実施の形態に係る撮影画像データの画像種別を利用した撮影条件の一例を示すＸＭＬ表記である。 本実施の形態に係る前提条件判定部１５と撮影条件判定部１６の詳細な動作の一例を示すフローチャートである。 本実施の形態に係る交差点の第１の例を示す平面図である。 本実施の形態に係る交差点の第２の例を示す平面図である。 本実施の形態に係るフレーム２３ｃの一例を示す画像である。 本実施の形態に係るフレーム２３ｄの一例を示す画像である。 本実施の形態に係るフレーム２４ｄの一例を示す画像である。 地図画面の一例を示す画像である。 本実施の形態に係る表示画面の一例を示す画像である。 本実施の形態に係る俯瞰画像変換の一例を示す図である。 本実施の形態に係る俯瞰画像変換の一例を示す式である。 本実施の形態に係る俯瞰画像変換の変換前画像の一例を示す画像である。 本実施の形態に係る俯瞰画像変換の変換後画像の一例を示す画像である。 本実施の形態に係る交差点の第３の例を示す平面図である。 本実施の形態に係る視認領域２５の視認結果２７の一例を示す画像である。 本実施の形態に係る撮影空間２２ｅより得られたフレーム２３ｅの一例を示す画像である。 本実施の形態に係る物体存在可能性領域の例を示す平面図である。 右直事故の一例を示す平面図である。 右折時の自車から見た視認結果の一例を示す画像である。

符号の説明

１ 画像処理装置、２，２ａ，２ｂ，２ｃ，２ｄ，２ｅ，２ｇ 無線カメラ、３ 自車、４ａ，４ｂ，４ｃ，４ｄ，４ｅ 他車、１１ 無線通信部、１２ 撮影データ記憶部、１３ 条件データ記憶部、１４ 状態データ記憶部、１５ 前提条件判定部、１６ 撮影条件判定部、１７ 演算部、１８ 通知部、１９ センサ、２１ 撮影条件領域、２２ａ，２２ｂ，２２ｃ，２２ｄ，２２ｅ 撮影空間、２３ｃ，２３ｄ，２３ｅ フレーム、２５ 視認領域、２６ 死角、２７ 視認結果、２８ａ，２８ｂ 物体存在可能性領域、２９ｅ 画面位置、３０ａ，３０ｂ 交差領域。

Claims (5)

1. 外部から送信されるデータの演算を、移動体に設けられたコンピュータに実行させる画像処理プログラムであって、
   前記移動体に設けられたカメラ以外のカメラにより撮影された画像である撮影画像データと該撮影画像データが撮影された状態に関する情報である撮影メタデータとからなる撮影データを受信する受信ステップと、
   前記移動体の状態に関する情報である状態データを取得する状態取得ステップと、
   予め設定された条件と前記受信ステップにより受信された撮影メタデータと前記状態取得ステップにより取得された状態データとに基づいて、前記受信ステップにより受信された撮影データを利用するか否かの判定を行う判定ステップと、
   前記判定ステップにより利用すると判定された撮影データの撮影画像データから物体を認識し、該認識による認識結果と該撮影データの撮影メタデータとを用いて前記物体が存在する可能性のある領域である物体存在可能性領域を決定し、前記移動体の視認領域と前記物体存在可能性領域とが重なる領域である交差領域を決定し、該交差領域が前記移動体の進行において危険な範囲に存在するかを判断する演算ステップと
   をコンピュータに実行させる画像処理プログラム。
2. 請求項１に記載の画像処理プログラムにおいて、
   前記状態データは、前記移動体に設けられたセンサまたは外部との通信により得られる情報であり、前記移動体の移動状態、前記移動体の環境の状態の少なくともいずれかを含むことを特徴とする画像処理プログラム。
3. 請求項１または請求項２に記載の画像処理プログラムにおいて、
   前記条件は、前記状態データの条件である前提条件と前記撮影メタデータの条件である撮影条件とを含み、
   前記判定ステップは、前記状態データが前記前提条件を満たすか否かの判断を行い、前記状態データが前記前提条件を満たす場合、前記撮影条件を満たす前記撮影メタデータと該撮影メタデータに対応する撮影画像データとを用いて演算を行うことを特徴とする画像処理プログラム。
4. 移動体に設けられ、外部から送信されるデータの演算を行う画像処理装置であって、
   前記移動体に設けられたカメラ以外のカメラにより撮影された画像である撮影画像データと該撮影画像データが撮影された状態に関する情報である撮影メタデータとからなる撮影データを受信する受信部と、
   前記移動体の状態に関する情報である状態データを取得する状態取得部と、
   予め設定された条件と前記受信部により受信された撮影メタデータと前記状態取得部により取得された状態データとに基づいて、前記受信部により受信された撮影データを利用するか否かの判定を行う判定部と、
   前記判定部により利用すると判定された撮影データの撮影画像データから物体を認識し、該認識による認識結果と該撮影データの撮影メタデータとを用いて前記物体が存在する可能性のある領域である物体存在可能性領域を決定し、前記移動体の視認領域と前記物体存在可能性領域とが重なる領域である交差領域を決定し、該交差領域が前記移動体の進行において危険な範囲に存在するかを判断する演算部と
   を備える画像処理装置。
5. カメラから送信されるデータを用いた演算を移動体において行う画像処理方法であって、
   前記移動体に設けられたカメラ以外のカメラにおいて、撮影を行い、該撮影により得られた画像である撮影画像データと該撮影の状態に関する情報である撮影メタデータとからなる撮影データを送信する送信ステップと、
   前記移動体において、前記送信ステップにより送信された撮影データを受信する受信ステップと、
   前記移動体において、前記移動体の状態に関する情報である状態データを取得する状態取得ステップと、
   前記移動体において、予め設定された条件と前記受信ステップにより受信された撮影メタデータと前記状態取得ステップにより取得された状態データとに基づいて、前記受信ステップにより受信された撮影データを利用するか否かの判定を行う判定ステップと、
   前記移動体において、前記判定ステップにより利用すると判定された撮影データの撮影画像データから物体を認識し、該認識による認識結果と該撮影データの撮影メタデータとを用いて前記物体が存在する可能性のある領域である物体存在可能性領域を決定し、前記移動体の視認領域と前記物体存在可能性領域とが重なる領域である交差領域を決定し、該交差領域が前記移動体の進行において危険な範囲に存在するかを判断する演算ステップと
   を実行する画像処理方法。

Images