JP6973163B2 - 撮影システム、撮影ユニット及び撮影装置 - Google Patents

撮影システム、撮影ユニット及び撮影装置 Download PDF

Info

Publication number
JP6973163B2
JP6973163B2 JP2018029446A JP2018029446A JP6973163B2 JP 6973163 B2 JP6973163 B2 JP 6973163B2 JP 2018029446 A JP2018029446 A JP 2018029446A JP 2018029446 A JP2018029446 A JP 2018029446A JP 6973163 B2 JP6973163 B2 JP 6973163B2
Authority
JP
Japan
Prior art keywords
shooting
unit
information
photographing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018029446A
Other languages
English (en)
Other versions
JP2019146058A (ja
Inventor
浩幸 山元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2018029446A priority Critical patent/JP6973163B2/ja
Publication of JP2019146058A publication Critical patent/JP2019146058A/ja
Application granted granted Critical
Publication of JP6973163B2 publication Critical patent/JP6973163B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、撮影環境に応じた撮像条件を導出する撮影システム、その撮影システムで用いられる撮影ユニット、及び、その撮影システムが導出する撮影条件を利用する撮像装置に関する。
従来、車載カメラや監視カメラ等の、特に屋外において被写体を撮影する撮影装置は、撮影する光景、つまり撮影環境が時々刻々と変化するなか、被写体を精度良く認識できる、つまり被写体の認識率が高い撮影画像を提供する必要がある。
そこで、特許文献1では、屋外において被写体を撮影する車載カメラが、自装置を搭載した車両の走行する撮影環境の情報を外部から取得して、撮影に関わる適切なパラメータ、つまり撮影条件を導出し自装置に設定することで、良質な撮影画像を提供する手法が提案されている。
特開2006−222844号
しかしながら、従来技術のように、車両の外部に設置した撮影装置が時々刻々と変化する撮影環境にある被写体を撮影して、車載カメラがこのとき撮影した撮影環境の情報を取得しても、良質な撮影画像を得るための撮影条件を車載カメラ自体が導出するとなると、例えば、車載カメラを搭載した車両の走行経路において撮影する光景が急激に変化する地点では、車載カメラでの撮影条件の導出が間に合わず、被写体の認識率が高い良質な撮影画像を得られない虞がある。
本発明は、上述した課題を解決するためのものであり、撮影環境に応じて撮像条件を導出する撮影システム、その撮影システムで用いられる撮影ユニット、及び、その撮影システムが導出する撮影条件を利用する撮影装置を提供することを目的とする。
本発明は、撮影装置と、撮影装置との間で種々の情報を送受信するための通信を行う通信手段と、撮影装置が撮影する特定地点において、参考被写体を撮影し撮影画像を出力する撮影部と、出力された撮影画像に基づき画像処理された撮影画像情報と、予め用意された参考被写体を表す正解画像情報との比較に基づき、撮影画像において参考被写体を認識するときの精度を示す認識率を導出する画像認識部と、認識率の導出に伴い、撮影画像における参考被写体の認識率を向上させる撮影設定を導出し、撮影設定に基づき撮影装置が利用する撮影条件を導出する条件導出部と、条件導出部が導出した撮影条件を記憶する記憶部と、撮影装置に対し記憶部に記憶された撮影条件を利用させるために、通信手段を介して、撮影条件を送信する条件更新部と、を備えた撮影システムである。
本発明によれば、撮影システムは撮影装置が特定地点において撮影をするときに被写体を認識率高く撮影できるようにする効果が得られる。
本発明の実施の形態1における、撮影システムの適用例を示すシステム構成図である。 撮影ユニットが参考被写体を撮影するときの撮影ベクトル情報を示す模式図である。 撮影システムでの無線通信の確立を示す模式図である。 撮影システムの構成を示す機能ブロック図である。 撮影システムの構成の変形例を示す機能ブロック図である。 撮影システムで扱う種々の情報の関連を示す情報関連図である。 撮影条件情報に含まれる情報の一例を示す情報リスト図である。 撮影システムが撮影装置に対し撮影条件を送信する処理を示すフローチャート図である。 撮影ユニットが参考被写体を撮影し認識率を導出する定義済み処理を示すフローチャート図である。 撮影条件を導出するための画像変換処理を説明するための模式図である。 実施の形態2における、撮影システムの適用例を示すシステム構成図である。 撮影システムの構成を示す機能ブロック図である。 撮影システムで扱う種々の情報の関連を示す情報関連図である。 撮影システムが撮影装置に対し撮影条件を送信する処理を示すフローチャート図である。
実施の形態1.
図1は、本発明の実施の形態1における、撮影システム1の適用例を示すシステム構成図である。撮影システム1は、少なくとも複数の撮影ユニット4を備える。撮影システム1はさらに撮影装置3を備えるものとしても良い。
撮影システム1は、撮影ユニット4が撮影する撮影画像の情報をもとに、撮影装置3が被写体を撮影するときの種々の設定である撮影条件を導出する。撮影条件の導出については後述する。
移動体2は、例えば、自動車又は列車等の車両、船舶、並びに、航空機である。本実施の形態では、自動車を例に説明をする。
移動体2が移動する経路を移動経路Rとする。移動経路Rは予め定められる経路である。移動体2は、例えば、衛星測位システムを利用することによって、移動経路R上での自身の位置を検知することが出来る。
撮影装置3は、移動体2の外部、つまり周囲の光景を撮影する、例えば、車載カメラである。
光源Lは、例えば、太陽や街路灯等の光源を示しており、撮影装置3が被写体を撮影する撮影環境を照らすものである。ところで、光源Lの他に、移動体2はヘッドライト等の照明装置を備えることで、照明装置を光源として撮影環境を照らすことが出来る。
移動経路Rの周辺にある、光源からの光を遮蔽又は反射する物体を物体Eとする。物体Eは、撮影装置3が被写体を撮影した撮影画像の画質に影響を及ぼす。
図1では、物体Eの例として、物体E1はトンネル、物体E2は森林、及び、物体E3は海を示している。物体E1及びE2は光を遮蔽し、物体E3は光を反射するので、被写体の撮影画像は撮影環境の一部である物体Eの種類及び配置の影響を受けることになる。
ところで、撮影システム1は、通信手段を有しており、移動体2又は撮影装置3との間で通信することが出来るものとする。撮影システム1は、通信手段を用いて、移動体2又は撮影装置3に対し撮影条件を送信する。そして、撮影装置3は、撮影システム1が送信した撮影条件を利用することが出来るものとする。
撮影システム1と移動体2又は撮影装置3との通信には、例えば、中距離無線通信、長距離無線通信又は広域無線通信を用いることが出来る。撮影システム1は、移動体2又は撮影装置3との通信が確立した状態において撮影条件を送信する。撮影システム1と移動体2又は撮影装置3との通信の確立については後述する。
撮影ユニット4a,4b,・・・,4eは、移動経路Rに沿って配置された、移動体2に搭載の撮影装置3での撮影を模擬するための撮影機器である。撮影ユニット4a,4b,・・・,4eをまとめて撮影ユニット4と記載する。
参考被写体5a,5b,・・・,5eは、移動経路Rに沿って配置された撮影ユニット4の撮影対象である。図1では、撮影ユニット4aは参考被写体5aを撮影し、撮影ユニット4bは参考被写体5bを撮影し、撮影ユニット4cは参考被写体5cを撮影し、撮影ユニット4dは参考被写体5dを撮影し、撮影ユニット4eは参考被写体5eを撮影する。参考被写体5a,5b,・・・,5eをまとめて参考被写体5と記載する。
参考被写体5は、撮影装置3が撮影する、例えば、自動車、人、路面標示又は動物等の被写体を模擬するものである。参考被写体5は、模擬する被写体を、例えば、模型、写真又はディスプレイ等のように、二次元又は三次元で視覚的に表現する。
撮影ユニット4は、移動経路Rにおいて、撮影装置3が撮影する光景に変化が生じやすい、つまり、撮影環境の変化が緩やかではない地点に設置される。このような地点を特定地点Aとする。図1では、撮影ユニット4a,4b,・・・,4eと対応する特定地点Aをそれぞれ、特定地点A1,A2,・・・,A5としている。
そして、撮影ユニット4は、特定地点Aにおいて、常時、参考被写体5を撮影している。常時撮影するとは、周期的又は定期的に繰り返し撮影することであり、撮影環境の変化に応じた撮影画像を得ることを目的とする。
なお、日時によって撮影環境の変化の仕方が異なるので、例えば、曇が無いため天候要因の変化が少なく撮影環境が緩やかに変化する期間は撮影の頻度を少なくしたり、その反対に天候要因の変化が多く撮影環境の変化が緩やかではない期間は撮影の頻度を多くしたりしても良い。
図1では、撮影ユニット4aが参考被写体5aを撮影したときの撮影画像を撮影画像P1とし、撮影ユニット4bが参考被写体5bを撮影したときの撮影画像を撮影画像P2とし、撮影ユニット4cが参考被写体5cを撮影したときの撮影画像を撮影画像P3とし、撮影ユニット4dが参考被写体5dを撮影したときの撮影画像を撮影画像P4とし、撮影ユニット4eが参考被写体5eを撮影したときの撮影画像を撮影画像P5としている。
ここで、撮影装置3が被写体を撮影した撮影画像において当該被写体を認識する精度を認識率と定義する。同様に、撮影ユニット4が参考被写体5を撮影した撮影画像において当該参考被写体5を認識する精度についても認識率を用いて表すことが出来る。
図2は、撮影ユニット4が参考被写体5を撮影するときの撮影ベクトル情報を示す模式図である。撮影ユニット4と参考被写体5との位置と、撮影ユニット4での撮影画像における認識率との関係について考える。
図2に示す物体E1はトンネルである。図2(a)は、参考被写体5a1がトンネルの外側に設置される場合を示す。図2(b)は、参考被写体5a2がトンネルの内側に設置される場合を示す。このように、図2(a)の参考被写体5a1は日光が遮られず、一方で、図2(b)の参考被写体5a2は日光が遮られる。その結果、撮影ユニット4aが参考被写体5a1を撮影した撮影画像P11と、参考被写体5a2を撮影した撮影画像P12との間で認識率に差異が生じる。
つまり、撮影ユニット4aに対する参考被写体5の位置の違いによっては、撮影ユニット4aが撮影する撮影画像内の参考被写体5の位置に差異は殆ど生じないが、撮影における焦点の違いから認識率に差異が生じることが考えられる。ここで、”撮影ユニット4aに対する参考被写体5の位置の違いによっては、撮影ユニット4aが撮影する撮影画像内の参考被写体5の位置に差異は殆ど生じない”とは、撮影された参考被写体5の画像の大小の違いは生じても、画像の中心位置の差異は殆ど生じないという意味である。
そこで、撮影ユニット4が参考被写体5を撮影する向きの情報と撮影する距離の情報とをあわせた、撮影ベクトル情報を定義する。
そして、撮影ユニット4が参考被写体5を撮影したときに導出する認識率と共に、当該参考被写体5と対応する撮影ベクトル情報を認識率と関連付けて出力することにより、撮影システム1は、撮影装置3に対し撮影ベクトル情報を含む撮影条件を導出して提供することが可能となる。
参考被写体5と対応する撮影ベクトル情報は、撮影ユニット4が予め保持しても良いし、撮影における向きと距離の調整に伴い導出しても良い。
これにより、撮影装置3は、撮影ベクトル情報と関連付けて撮影条件を設定することができ、これから撮影する被写体の撮影向き及び撮影距離と、撮影ベクトル情報に含まれる撮影向き及び撮影距離との差分に基づいて、当該被写体を撮影するための撮影条件を撮影装置3がさらに調整することが可能となる。その結果、撮影装置3での撮影画像における認識率をより向上させることが出来る。
図1では、撮影ユニット4cは移動経路Rを挟んで参考被写体5cを撮影している。このときの撮影条件に撮影ベクトル情報を付与することで、撮影ユニット4cは対向車線から向かってくる他の移動体2を撮影する撮影装置3を模擬している意図を撮影条件に含めることが出来る。また、撮影ユニット4dは移動経路Rを挟まず参考被写体5dを撮影している。同様にして、このときの撮影条件に撮影ベクトル情報を付与することで、撮影ユニット4dは同一車線の先行する移動体2を撮影する撮影装置3を模擬している意図を撮影条件に含めることが出来る。
上述のとおり、撮影ユニット4に対する参考被写体5の相対的な位置は、撮影条件を受信して設定する撮影装置3の撮影に影響を及ぼすため、撮影ユニット4が撮影ベクトル情報の異なる複数の参考被写体5を撮影するごとに、撮影ベクトル情報と対応付けて認識率を導出することにより、複数の撮影ベクトル情報と対応して情報を区別した撮影条件を撮影装置3に対して提供することも可能である。
例えば、特定地点Aに複数の参考被写体5を配置して、当該特定地点Aの撮影ユニット4が当該複数の参考被写体5を撮影して、それぞれの認識率を導出するとともに、認識率と対応した撮影ベクトル情報を関連付けるようにしても良い。
このとき、撮影ユニット4は複数の参考被写体5を撮影するために、自律的に又は外部操作によって撮影向きを変える機構を備えるようにしても良い。
ところで、撮影装置3が、撮影システム1から受信した撮影条件を特定地点Aにおいて即時に利用できるようにするために、撮影システム1は、移動体2が特定地点Aに到達するのに先立ち、移動体2又は撮影装置3に対して撮影条件を送信する。そこで、撮影システム1では、移動経路R上を進行向きDに移動する移動体2が、特定地点Aよりも先に到着する位置を特定位置Bとして予め定める。そして、撮影システム1は、移動体2が特定位置Bに到達したときに撮影条件を送信することで、移動体2が特定地点Aに到達するのに先立ち撮影条件を提供することが出来る。
図1では、特定地点A1,A2,・・・,A5と対応する特定位置Bをそれぞれ、特定位置B1,B2,・・・,B5としている。
つまり、撮影装置3は、特定位置Bにおいて撮影条件を既に受信しているので、特定地点Aにおいて即時に撮影条件を利用して撮影を行うことが出来る。
図1では、撮影装置3が、撮影ユニット4bの撮影により導出された撮影条件を、撮影ユニット4cの撮影により導出された撮影条件に切り替えて利用する様子を条件切替Renewとして示している。
このため、特定位置Bの位置は、撮影装置3が撮影条件を受信してから特定地点Aにおいて利用できる位置とする必要がある。このような特定位置Bは、移動体2の移動速度の範囲によって定めることが出来る。
また、特定位置Bを撮影システム1での無線通信が可能な範囲と定めても良い。この場合、撮影システム1の無線通信の範囲であれば、例えば、撮影装置3を搭載した移動体2の位置情報に基づき、又は、撮影装置3からの要求に応じて、撮影条件を送信するようにしても良い。
通信器6は、撮影システム1の通信手段の一部であって、移動経路Rに沿って配置され、撮影ユニット4と移動体2又は撮影装置3との通信の中継を行う。なお、通信器6は地上でなくとも高所に設置されても良い。
図1では、通信器6のうち、撮影ユニット4cの通信を中継するものを通信器6cとし、撮影ユニット4eの通信を中継するものを通信器6eとしている。
なお、通信器6が中継する通信を区別することにより、複数の撮影ユニット4が通信器6を共有しても良い。また、撮影ユニット4は、通信器6の中継を介さず、直接に移動体2又は撮影装置3と通信するようにしても良い。
撮影システム1は、導出した撮影条件を移動体2又は撮影装置3に対して送信するための通信手段として、撮影ユニット4及び通信器6の少なくともいずれかの通信を利用する。
図1では、撮影システム1から移動体2又は撮影装置3への通信を通信Sendとし、移動体2又は撮影装置3から撮影システム1への通信を通信Receiveとして、矢印で示している。
通信器6が、撮影システム1と移動体2又は撮影装置3との通信を中継することにより、特定地点Aと特定位置Bとの距離が撮影ユニット4と移動体2又は撮影装置3との無線通信の通信範囲を越えている場合、又は、特定地点Aと特定位置Bとの間に無線通信を遮蔽する物体Eが存在する場合、通信器6を特定位置Bからの無線通信の範囲内に配置することで、特定地点Aに配置された撮影ユニット4と特定位置Bに到達した移動体2又は撮影装置3との間で確実に通信することが可能となる。
次に、撮影システム1における無線通信の確立について説明する。
図3は、撮影システム1での無線通信の確立を説明する模式図である。図3(a)は、撮影システム1の側から移動体2又は撮影装置3に対して通信を確立させる過程を説明する模式図である。図3(b)は、移動体2又は撮影装置3の側から撮影システム1に対して通信を確立させる過程を説明する模式図である。
図3(a)では、撮影システム1の撮影ユニット4又は通信器6から、移動体2又は撮影装置3に対し、無線電波の報知信号Wb1又はWb2を間欠的に送信する。報知信号Wb1又はWb2を受信した移動体2又は撮影装置3は、報知信号Wb1又はWb2の送信元の撮影ユニット4又は通信器6に対し、無線電波の応答信号Wr1を送信する。これにより、撮影システム1と移動体2又は撮影装置3との間の通信が確立する。
図3(b)では、移動体2又は撮影装置3は、衛星測位システムを利用して得られる位置情報PosInfoをもとに、進行向きDにおける無線電波の通信範囲内に撮影ユニット4又は通信器6が配置されていることを検知すると、撮影システム1の撮影ユニット4又は通信器6に対し、無線電波の報知信号Wb3を送信する。報知信号Wb3を受信した撮影ユニット4又は通信器6は、報知信号Wb3の送信元の移動体2又は撮影装置3に対し、無線電波の応答信号Wr2又はWr3を送信する。これにより、撮影システム1と移動体2又は撮影装置3との間の通信が確立する。
なお、移動体2又は撮影装置3の側から通信を確立させる場合であっても、位置情報PosInfoを利用せず、図3(a)での報知信号Wb1及びWb2と同様にして、間欠的に報知信号Wb3を送信するようにしても良い。
図3(a)及び(b)において、撮影システム1と移動体2又は撮影装置3との間の通信が確立すると、撮影システム1は、移動体2又は撮影装置3から撮影システム1への通信Receiveによって、移動体2の位置情報PosInfoを周期的に又は任意のタイミングで取得できるようになるため、移動体2が特定位置Bに到達したことを検出できる。そして、撮影システム1は、移動体2が特定位置Bに到達したことを検出すると、撮影システム1から移動体2又は撮影装置3への通信Sendによって、撮影条件を送信する。
次に、撮影システム1の構成について説明する。
図4は、撮影システム1の構成を示す機能ブロック図である。撮影システム1は、複数の撮影ユニット4及び通信器6と、さらに電子計算機500を備える。撮影システム1、撮影ユニット4及び電子計算機500は現実空間Srにある。
外部ネットワーク20は、例えば、広域ネットワーク網、インターネット網又は専用回線網などの通信回線である。撮影システム1の電子計算機500は外部ネットワーク20に接続して、他の装置との間で情報の送受信を行う。
外部サーバ30は、例えば、クラウド上のサーバ装置であり、外部ネットワーク20に接続して、撮影システム1の電子計算機500に対して種々の情報を提供する。
次に、撮影ユニット4の構成について説明する。
撮影ユニット4は、撮影部411、画像調整部412、画像認識部413及び第1の通信部414を備える。
また、撮影ユニット4は、参考被写体5を撮影した撮影画像における参考被写体5の正解画像を示す情報として、図示しない記憶媒体に正解画像情報Dcを保持する。この参考被写体5を表す正解画像は予め用意されるものとする。
撮影部411は、参考被写体5を撮影し、撮影した画像である撮影画像D1を出力する撮像装置である。
画像調整部412は、撮影部411が出力した撮影画像D1に対して、参考被写体5の写り込みが鮮明となるように画質を調整する画像処理を行った、撮影画像情報D2を出力する。
画像認識部413は、画像処理として、画像調整部412が出力した撮影画像情報D2と正解画像情報Dcとの比較に基づき参考被写体5の画像認識を行う。ここでの画像認識とは、撮影画像情報D2から正解画像情報Dcと類似する画像情報を抽出することである。
そして、画像認識部413は、撮影画像情報D2から抽出した画像情報が正解画像情報Dcに合致する度合いを数値化した認識率を導出する。なお、撮影画像情報D2から抽出した画像情報が正解画像情報Dcと完全に一致する場合の認識率を100%とする。
画像認識部413は、導出した認識率を含む信号Sig1を電子計算機500に対して出力する。画像認識部413は、このとき出力する信号Sig1に、さらに撮影ベクトル情報を含めても良い。
第1の通信部414は、移動体2若しくは撮影装置3、通信器6、並びに、電子計算機500との間で通信を行う。第1の通信部414と移動体2又は撮影装置3との通信は無線通信となるが、第1の通信部414と通信器6及び電子計算機500との通信は有線通信であっても無線通信であっても良い。
電子計算機500は、高速演算処理及び通信処理が実行可能なコンピュータであり、例えば、クラウド・コンピューティングを構成するスーパーコンピュータである。電子計算機500は、現実空間Srにおいて、撮影ユニット4の第1の通信部414又は通信器6との間で通信を行う。
電子計算機500は、撮影ユニット4が参考被写体5を撮影する撮影画像に基づき、当該撮影画像において認識率を向上させる撮影ユニット4の撮影設定を導出する。そして、電子計算機500は、導出した撮影設定に基づき、特定地点Aにおいて撮影装置3が被写体を撮影するときの認識率を向上させる撮影条件を導出する。
次に、電子計算機500の構成について説明する。
電子計算機500は、記憶部501、条件導出部502、設定変更部503、条件更新部504及び第2の通信部505を備える。
記憶部501は、撮影ユニット4に関わる情報、並びに、移動体2及び撮影装置3に関わる情報を記憶するための記憶媒体である。記憶部501が記憶する種々の情報については後述する。
条件導出部502は、撮影ユニット4の画像認識部413から認識率を含む信号Sig1を受信し、当該撮影ユニット4が撮影する認識率を向上させるように種々の設定内容を調整した撮影設定を導出する。条件導出部502は導出した撮影設定を、信号Sig2によって記憶部501に記憶したり記憶部501から取得したりする。
条件導出部502は、ここでの設定内容の調整を、学習アルゴリズムを用いた学習処理を通じて行う。学習アルゴリズムには、例えば、強化学習(Re−inforcement Learning)又はニューラルネットワーク(neural network)等の、既知の手法を利用する。
さらに、条件導出部502は、導出した撮影設定に基づき、当該撮影ユニット4が配置された特定地点Aにおいて撮影装置3が撮影する撮影条件を導出する。条件導出部502は導出した撮影条件を、信号Sig2によって記憶部501に記憶したり記憶部501から取得したりする。
また、条件導出部502は、第2の通信部505及び外部ネットワーク20を介して、外部サーバ30との間で通信を行い、外部サーバ30から特定地点Aにおける種々の撮影環境に関わる情報を収集して、記憶部501に記憶させる。条件導出部502が外部サーバ30から撮影環境を収集するときの通信を信号ExInfoで示している。
設定変更部503は、条件導出部502が導出した撮影設定を、撮影部411、画像調整部412及び画像認識部413に対して設定する。
図4では、撮影部411に対する撮影設定を信号Sig4とし、画像調整部412に対する撮影設定を信号Sig5とし、画像認識部413に対する撮影設定を信号Sig6としている。
条件更新部504は、電子計算機500の第2の通信部505及び撮影ユニット4の第1の通信部414を介して、移動体2又は撮影装置3との間で通信を行う。そして、条件更新部504は、移動体2又は撮影装置3から受信した種々の情報を記憶部501に記憶させる。
条件更新部504は、移動体2又は撮影装置3から受信した位置情報PosInfoにより、移動体2が特定位置Bに到達したことを検出すると、条件導出部502が記憶部501に記憶した当該移動体2に搭載の撮影装置3と対応する撮影条件を取得して、当該移動体2又は撮影装置3に対して送信する。
移動体2は、衛星測位システム50との間で位置情報PosInfoをやり取りし、移動経路R上での自らの位置を検知することが出来るものとする。なお、撮影装置3が移動体2の扱う位置情報PosInfoを取得して位置情報PosInfoを電子計算機500に対し送信するようにしても良い。
衛星測位システム50には、例えば、GPS(Global Positioning System)を利用することが出来る。
第2の通信部505は、撮影ユニット4、通信器6、移動体2若しくは撮影装置3、並びに、外部ネットワーク20を介する外部サーバ30との間で通信を行う。第2の通信部505と移動体2又は撮影装置3との通信は無線通信となるが、第2の通信部505と撮影ユニット4、通信器6及び外部ネットワーク20を介する外部サーバ30との通信は有線通信であっても無線通信であっても良い。
撮影システム1が、電子計算機500の第2の通信部505と、撮影ユニット4の第1の通信部414及び通信器6の少なくともいずれかとの通信を介して、移動体2又は撮影装置3との間で通信を行う手段を通信手段10とする。つまり、撮影システム1は、移動体2又は撮影装置3と通信を行うための通信手段10を備える。
ここで、撮影システム1において電子計算機500が導出する、撮影ユニット4の撮影設定と撮影装置3の撮影条件との関係について説明する。
特定地点Aで撮影ユニット4が撮影した撮影画像において参考被写体5の認識率が高い場合、撮影ユニット4が参考被写体5を撮影する状況と、同じ特定地点Aで撮影装置3が被写体を撮影する状況とが近似しているほど、撮影ユニット4において調整された撮影設定を利用して撮影装置3が被写体を撮影した撮影画像において、当該被写体を認識する認識率も高くなる傾向があると言える。
このように、撮影システム1では、撮影ユニット4が参考被写体5を撮影する撮影環境を、撮影装置3が被写体を撮影する撮影環境に極力近似させることが望ましい。
そのために、撮影ユニット4が撮影する光景である撮影環境を、撮影装置3の撮影環境に極力近似させるように撮影ユニット4及び参考被写体5を設置する。
例えば、撮影ユニット4が参考被写体5を撮影する向きを、撮影装置3での撮影頻度の高い撮影向きの範囲、又は、認識率高く撮影したい特定の被写体が存在する撮影向きの範囲に調整して設置する。撮影装置3での撮影向きの範囲とするのは、撮影装置3が撮影する被写体は撮影画像の中央であるとは限らず、撮影画像の隅に写り込む被写体を画像処理する場合もあることを考えると、撮影ユニット4の撮影向きを、撮影装置3の撮影向きに一致させる必要はないためである。
また、撮影環境の近似度合いは、例えば、撮像素子、被写体及び光源位置の位置関係、並びに、光源からの光量などの近似度合いと、正の相関関係があると言える。そのため、撮影ユニット4の撮影環境を撮影装置3の撮影環境に近似させるように、撮影ユニット4が移動体2のヘッドライトを模擬した照光装置を備えるようにしても良い。撮影ユニット4は、照明装置を制御することにより、夜間において撮影装置3と同等の撮影環境で撮影することが可能となる。
図4に示す撮影システム1の構成では、電子計算機500が、認識率を向上させる学習処理を、複数の特定地点Aの学習結果を利用して行うことが可能である。その結果として、特定地点Aでの情報を利用して個別に学習処理を実行するよりも、撮影環境が類似する又は撮影環境の変化に高い正の相関がみられる複数の特定地点Aでの学習結果を利用して、より収束度合いが早く、また、より再現率高く学習処理を実行して、より精度良く認識できる撮影設定を得られる効果が期待できる。
なお、”高い正の相関を示す”とは、ある情報、又は、ある情報を数値化したデータのまとまりの間に正の相関関係があり、共分散を求めて標準化した相関係数rが信頼区間にあることを言う。このときの相関係数rの信頼区間には、例えば、相関係数の標準誤差を用いた95%信頼区間を用いる。また、相関係数としてはPearsonの積率相関係数を利用することが出来る。
また、電子計算機500が、外部サーバ30から複数の特定地点Aと対応した情報を収集する際に、外部サーバ30は、各特定地点Aの位置情報で関連付けをして情報を提供したり、特定地点Aでの変化の度合いを比較し選定して情報を提供したり、電子計算機500への情報の提供を効率的に行うことが可能となる。その結果として、電子計算機500が外部サーバ30から効率的に情報を収集して効率的に処理したり、関連付けされた情報をまとめて処理することで、撮影設定及び撮影条件の導出における即時性を向上させる効果が期待できる。
また、撮影ユニット4で撮影条件の導出を行う場合と比べて、撮影ユニット4をより少ない実装で構成できるため、多くの撮影ユニット4を設置するコストを抑えられる効果が得られる。
次に、撮影システム1の構成の変形例について説明する。
図5は、撮影システム1の構成の変形例を示す機能ブロック図である。図5に示すように、撮影システム1の各撮影ユニット4は、図4に示す電子計算機500の機能を備える。つまり、図5に示す各撮影ユニット4は、個別に動作して撮影装置3の撮影条件を導出する。
撮影ユニット4は、撮影部411、画像調整部412、画像認識部413、記憶部501、条件導出部502、設定変更部503、条件更新部504及び第1の通信部414を備える。
また、撮影ユニット4は、参考被写体5を撮影した撮影画像における参考被写体5の正解画像を示す情報として、図示しない記憶媒体に正解画像情報Dcを保持する。
図4と同じ符号の構成については説明を繰り返さない。
図5に示す撮影システム1の構成では、各撮影ユニット4が、配置された特定地点Aにおいて、認識率が向上する撮影設定及び撮影装置3に送信する撮影条件を個別に導出し、移動体2の位置を検知しながら撮影条件を個別に送信することが可能となる。その結果として、図4に示した電子計算機500を備える大規模な撮影システム1を構築せずに、撮影装置3に対して撮影条件を提供する効果が得られる。
また、撮影システム1においてシステムの拡張又は保守作業に伴い、撮影ユニット4の設置台数又は設置場所の変更を行ったとしても、変更の対象とならない撮影ユニット4はその間に動作を継続することが可能である。このことは、図4に示す構成と比べて、撮影システム1の拡張性及び保守性を高めることに繋がる。
次に、撮影システム1の記憶部501が記憶する種々の情報について説明する。
図6は、撮影システム1で扱う種々の情報の関連を示す情報関連図である。図6では、図4に示す撮影システム1の場合について説明する。
記憶部501は、撮影ユニット4に関する情報である撮影ユニット情報30a、並びに、移動体2及び撮影装置3に関する情報である移動体及び撮影装置情報30bを記憶している。
撮影ユニット情報30aに含まれる情報としては、例えば、配置情報31、撮影環境情報32、撮影情報33、撮影設定情報34及び学習情報35がある。
配置情報31は、予め用意される情報であって、各特定地点Aの位置を示す特定地点情報31a、及び、各特定位置Bの位置を示す特定位置情報31bを含む。
撮影環境情報32は、日時情報32a、気象情報32b及び撮影視野情報32cを含む。
日時情報32aは、日時を示す情報である。
気象情報32bは、各特定地点Aでの天候及び気温を示す情報である。
撮影視野情報32cは、各特定地点Aにおいて撮影に影響を及ぼす対象の情報であり、例えば、図1に示す物体Eの情報であったり、霧の発生といった撮影ユニット4の周囲の状況を示す情報であったりする。
そして、日時情報32a、気象情報32b及び撮影視野情報32cは互いに関連付けられている。
条件導出部502は、周期的若しくは定期的に又は所定のタイミングで、外部サーバ30から撮影環境情報32に含まれる各情報を収集する。所定のタイミングとは、例えば、外部サーバ30の側から情報の提供があったときである。
条件導出部502は、配置情報31に含まれる各情報と関連付けて撮影環境情報32に含まれる各情報を取得し、記憶部501に記憶する。配置情報31及び撮影環境情報32を関連付けた情報を、関連付け情報Rel1とする。
撮影情報33は、各撮影ユニット4が導出した認識率である認識率情報33aと、認識率情報33aと対応付けられた撮影ベクトル情報である撮影ベクトル情報33bとを含む。
撮影設定情報34は、各撮影ユニット4での撮影処理及び画像処理に関わる設定内容の情報であって、撮影制御情報34a、照明制御情報34b、及び、画像処理制御情報34cを含む。
撮影制御情報34aは、各撮影ユニット4の撮影部411での撮影処理に関わる設定内容の情報である。撮影ユニット4が、例えば、撮影向きを変える機構などの自装置を制御するメカニズムを備える場合、撮影制御情報34aはさらに撮影ユニット4のメカニズム制御に関わる情報を含んでも良い。
照明制御情報34bは、撮影ユニット4が照明装置等の光源を備える場合に、光源となる照明装置を制御するための、例えば、照光の有無、照光量及び照光向き等のパラメータに関する情報である。照明制御情報34bは、移動体2がヘッドライトを制御するときに利用する情報となる。
画像処理制御情報34cは、各撮影ユニット4の画像調整部412及び画像認識部413が撮影画像を画像処理するときに用いる画像処理アルゴリズムと、その画像処理に関わるパラメータの情報である。画像処理アルゴリズムは、画像抽出アルゴリズム、画像認識アルゴリズム及び画像推論アルゴリズムを含む。
ここで、各撮影ユニット4で行われる撮影処理及び画像処理は、撮影装置3で行われる撮影処理及び画像処理と同等であるものとする。ここでの同等とは、製造元や機種が装置によって異なっても、設定の調整により同程度の画質の撮影画像が得られることを指す。
装置により製造元や機種が異なることについては、撮影システム1の電子計算機500が、装置ごとの仕様と設定内容とを対応付けた情報を予め保持して利用することにより、撮影ユニット4の撮影設定に基づいて、各撮影装置3の撮影条件を導出することが出来る。
学習情報35は、学習制御情報35a及び学習データ35bを含む。
学習制御情報35aは、撮影システム1の条件導出部502で実行される学習処理に用いる学習アルゴリズムの情報、学習処理に関わるパラメータの情報、学習データへの重み付け情報、及び、学習処理のバイアス情報を示す情報である。
学習データ35bは、撮影システム1の条件導出部502で実行される学習処理の学習結果である。
なお、配置情報31、撮影環境情報32、撮影情報33、撮影設定情報34及び学習情報35は関連付けされており、この関連付けを示す情報を関連付け情報Rel2とする。
移動体及び撮影装置情報30bに含まれる情報としては、移動体情報36、撮影装置情報37及び撮影条件情報38がある。
移動体情報36は、移動体識別情報36a、位置情報36b及び撮影装置情報37を含む。
移動体識別情報36aは、予め用意される情報であって、各移動体2を識別するために予め定められた移動体2に固有の情報である。条件更新部504は、位置情報PosInfoとともに、移動体識別情報36aを取得しても良い。
位置情報36bは、各移動体2の位置を示す情報である。各移動体2から取得する衛星測位システム50の位置情報PosInfoに基づき、条件更新部504によって更新される。なお、条件更新部504が、移動体2又は撮影装置3を介さず、衛星測位システムから直接に位置情報PosInfoを取得しても良い。
移動体情報36と配置情報31とを関連付けた情報を関連付け情報Rel3とする。
撮影装置情報37は、撮影装置識別情報37aを含む。
撮影装置識別情報37aは、予め用意される情報であって、各撮影装置3を識別するために予め定められた撮影装置3に固有の情報である。条件更新部504は、位置情報PosInfoとともに、撮影装置識別情報37aを取得しても良い。
撮影条件情報38は、撮影制御情報38a、照明制御情報38b及び画像処理制御情報38cを含む。
撮影制御情報38aは、各撮影装置3の撮影処理に関わる設定内容の情報である。撮影装置3が、例えば、撮影向きを変える機構などの自装置を制御するメカニズムを備える場合、撮影制御情報38aはさらに撮影装置3のメカニズム制御に関わる情報を含んでも良い。
照明制御情報38bは、各移動体2が備えるヘッドライトを制御するための、例えば、照光の有無、照光量及び照光向き等のパラメータに関する情報である。
画像処理制御情報38cは、各撮影装置3が撮影画像を画像処理するときに用いる画像処理アルゴリズムと、その画像処理に関わるパラメータの情報である。画像処理アルゴリズムは、画像抽出アルゴリズム、画像認識アルゴリズム及び画像推論アルゴリズムを含む。
図7は、撮影条件情報38が含む情報の一例を示す情報リスト図である。
撮影条件情報38のうち撮影制御情報38aの内容をリスト71に示す。リスト71には、撮像素子の感度、露出時間、露光エリア、収束の明るさ、ホワイトバランス、収束色空間、ゲインコントロール、ブラックレベルコントロール、フィルタ係数、光の透過波長帯域、及び、メカニズム制御の情報が含まれる。メカニズム制御の情報は、例えば、撮影向き、遮光手段を備える場合の遮光、振れ補正、及び、複数のカメラを備える場合のカメラ選択などが含まれる。
撮影条件情報38のうち照明制御情報38bの内容をリスト72に示す。リスト72には、照光の有無(つまり、照光のON又はOFFの状態)、照光量及び照光向きの情報が含まれる。照明制御情報38bは、移動体2のヘッドライトを制御するための情報であるが、撮影装置3がより認識率の高い撮影を行うために利用できる情報であり、撮影装置3の側からヘッドライトを制御することも考えられるため、ここでは撮影条件情報38に含めている。
撮影条件情報38のうち画像処理制御情報38cの内容をリスト73に示す。リスト73には、画像抽出アルゴリズム、画像認識アルゴリズム及び画像推論アルゴリズムの情報が含まれる。さらに、画像抽出アルゴリズムの情報は、抽出パラメータとして、輪郭強調、色相、彩度、コントラスト調整及び色抽出の情報を含む。また、画像認識アルゴリズムの情報は認識パラメータの情報を含む。また、画像推論アルゴリズムの情報は推論パラメータの情報を含む。
図6及び図7に示す情報は複数存在するものがある。図4に示す撮影システム1の場合、配置情報31及び撮影環境情報32は、配置される撮影ユニット4の分だけ存在する。また、撮影情報33、撮影設定情報34、学習情報35及び撮影条件情報38は、配置される各撮影ユニット4が撮影する参考被写体5の分だけ存在する。また、移動体情報36及び撮影装置情報37は、撮影システム1を利用する撮影装置3の分だけ存在する。
一方で、図5に示す撮影システム1の場合、配置情報31及び撮影環境情報32は、自装置である撮影ユニット4の分だけ存在する。また、撮影情報33、撮影設定情報34、学習情報35及び撮影条件情報38は、自装置である撮影ユニット4が撮影する参考被写体5の分だけ存在する。また、移動体情報36及び撮影装置情報37は、撮影システム1を利用する撮影装置3の分だけ存在する。
次に、撮影システム1における電子計算機500及び撮影ユニット4の動作について、図4、図6、図8及び図9を用いて説明する。
図8は、撮影システム1が撮影装置3に対し撮影条件を送信する処理を示すフローチャート図である。また、図9は、撮影ユニット4が参考被写体5を撮影して認識率を導出する定義済み処理を示すフローチャート図である。
先ず、図8について説明する。
処理S801では、電子計算機500は、記憶部501に記憶される種々の情報の初期値を与えられると、撮影システム1での種々の処理を実行するための初期設定を行う。
初期設定とは、記憶部501に記憶される、撮影ユニット情報30aの配置情報31に含まれる特定地点情報31a及び特定位置情報31b、並びに、移動体及び撮影装置情報30bに含まれる移動体識別情報36a及び撮影装置識別情報37aの、予め定められる情報の設定である。その他の都度更新される情報に対しても適切な初期情報が設定されるものとする。
その後、処理S802に進む。
処理S802では、電子計算機500の条件導出部502は、処理S801での配置情報31の初期設定が済んだことをきっかけに、外部サーバ30から信号ExInfoを受信して、各特定地点Aにおける撮影環境情報32を収集する。そして、条件導出部502は、配置情報31と撮影環境情報32との関連付け情報Rel1を参照して、撮影環境情報32を更新する更新処理を開始する。この更新処理は、周期的若しくは定期的に又は所定のタイミングで実行される。
その後、処理S803に進む。
処理S802において、条件導出部502が配置情報31の初期設定をきっかけに外部サーバ30から撮影環境情報32を収集することを、図6に矢印Based1で示す。
処理S803では、電子計算機500の条件更新部504が、移動体2又は撮影装置3から位置情報PosInfoを受信すると、移動体2ごとに位置情報36bを更新するとともに、配置情報31と移動体情報36との関連付け情報Rel3を参照して、特定位置Bに到達した移動体2が存在するかどうかを判定する。判定の結果、存在する場合には処理S813に進む。存在しない場合には処理S804に進む。
なお、処理S803以降は、例えば、各移動体2の位置情報PosInfoの取得や各撮影ユニット4の撮影設定の導出などの各処理は個別に実行される。
処理S804では、条件導出部502が、配置情報31と学習情報35との関連付け情報Rel2を参照して、撮影ユニット4を配置した特定地点Aと関連付けられた学習情報35が記憶部501に記憶されているかどうかを確認する。その後、処理S805に進む。
処理S805では、処理S804において、学習情報35が記憶されていれば処理S807に進み、記憶されていなければ処理S806に進む。
処理S806では、電子計算機500の設定変更部503が、記憶部501に記憶された撮影設定情報34の情報に基づき、撮影ユニット4の撮影部411、画像調整部412及び画像認識部413を初期化する。撮影ユニット4は初期化後に動作を開始する。その後、定義済み処理S809に進む。
処理S807では、条件導出部502が、関連付け情報Rel2に基づき、撮影設定情報34及び学習情報35を更新しながら学習処理を実行して、撮影部411、画像調整部412及び画像認識部413に設定する撮影設定情報34を導出する。
より具体的には、条件導出部502は、撮影ユニット4の画像認識部413からの信号Sig1に含まれる認識率を取得して、当該撮影ユニット4の撮影環境において認識率をさらに高めるように、当該撮影ユニット4の撮影部411が行う撮影処理の設定(つまり、撮影制御情報34a及び照明制御情報34b)、並びに、当該撮影ユニット4の画像調整部412及び画像認識部413が行う画像処理の設定(つまり、画像処理制御情報34c)をそれぞれ調整する。これらの設定をあわせて撮影設定(つまり、撮影設定情報34)と呼ぶ。条件導出部502は、各撮影ユニット4の撮影設定の調整を個別に行う。
また、条件導出部502は、調整した撮影設定を対応する撮影ユニット4に反映するために、設定変更部503に対して撮影設定情報34を含む信号Sig3を出力する。
その後、処理S808に進む。
処理S807において、条件導出部502が学習情報35を参照して撮影設定情報34を導出することを、図6に矢印Refer1で示す。
なお、条件導出部502は、学習処理において、例えば、光源からの光量など、時々刻々と変化する撮影環境を予測することにより、撮影ユニット4が認識率を出力した時点よりも時間が進んだ時点で、撮影の認識率を向上させるように撮影設定の調整を行っても良い。
処理S808では、設定変更部503が、処理S807で出力された信号Sig3に含まれる撮影設定情報34と対応する撮影ユニット4を検索して、当該撮影ユニット4の撮影部411、画像調整部412及び画像認識部413に対し、撮影設定を反映させるための信号Sig4、信号Sig5及び信号Sig6をそれぞれ出力する。撮影部411は信号Sig4を入力して対応する撮影設定を反映し、画像調整部412は信号Sig5を入力して対応する撮影設定を反映し、画像認識部413は信号Sig6を入力して対応する撮影設定を反映する。
その後、定義済み処理S809に進む。
定義済み処理S809は、図9で示す定義済みの処理である。定義済み処理S809では、撮影ユニット4は参考被写体5を撮影したときの認識率を導出する。その後、処理S810に進む。
処理S810では、条件導出部502が、画像認識部413から出力された信号Sig1に含まれる撮影情報33を取得し、記憶部501の情報を更新させる。その後、処理S811に進む。
処理S811では、条件導出部502が、取得した撮影情報33に含まれる認識率情報33aが既に記憶されたものと比べて向上したか又は低下したかを判定する。その後、処理S812に進む。
処理S812では、条件導出部502が、処理S811での判定結果に基づき、関連付け情報Rel2で関連付けられた各情報と対応させて学習情報35の学習データ35bを更新する。
より具体的には、条件導出部502は、例えば、処理S811での判定において認識率が向上した場合、特定地点情報31aでの特定地点Aにおいて撮影環境情報32が示す撮影環境では、撮影ユニット4の撮影設定を撮影設定情報34の内容とすることが適することを学習データ35bに反映させる。
また、条件導出部502は、例えば、処理S811での判定において認識率が低下した場合、特定地点情報31aでの特定地点Aにおいて撮影環境情報32が示す撮影環境では、撮影ユニット4の撮影設定を撮影設定情報34の内容とすることが適さないことを学習データ35bに反映させる。
その後、処理S803に進む。
処理S812において、条件導出部502が関連付け情報Rel2を参照して学習情報35を更新することを、図6に矢印Refer2で示す。
このように、各撮影ユニット4は条件導出部502が調整した撮影設定により参考被写体5を撮影して認識率を導出することを繰り返し、条件導出部502は撮影ユニット4が導出した認識率に基づき当該撮影ユニット4の認識率を向上させる撮影設定を学習処理により導出することを繰り返すことで、各撮影ユニット4は撮影環境が時々刻々と変化しても良好な認識率を維持して撮影を行うことが出来る。
処理S813では、条件更新部504は、処理S803において移動体2が到達した特定位置B(つまり、特定位置情報31b)と対応する特定地点A(つまり、特定地点情報31a)に関連付けられた学習結果の内容(つまり、学習データ35b)が十分であるかどうかを判定する。学習データ35bが十分であるかどうかの判定基準は、例えば、学習の成果である認識率(つまり、認識率情報33a)が、予め定められた変動範囲に収束した場合としたり、予め定められた認識率に達した場合としたり、条件導出部502での学習処理が予め定められた時間を経過した場合としたりすることが考えられる。
ここでの判定を行うことで、学習が十分に進んでおらず撮影装置3での認識率を向上させる見込みが低い撮影条件を、撮影装置3に対して提供してしまう事態を回避することが出来る。
判定の結果、十分であると判定する場合には処理S814に進む。十分ではないと判定する場合には処理S816に進む。
処理S814では、条件導出部502が、導出した撮影設定(つまり、撮影設定情報34)に基づき、撮影装置3に送信する撮影条件(つまり、撮影条件情報38)を導出する。その後、処理S815に進む。
処理S814において、条件導出部502が撮影設定情報34を参照して撮影条件情報38を導出することを、図6に矢印Refer3で示す。
処理S815では、条件更新部504は、配置情報31と移動体情報36との関連付け情報Rel3に基づき、位置情報36bが特定位置B(つまり、特定位置情報31b)に到達した移動体2又は当該移動体2の撮影装置3に対し、導出した撮影条件を送信する。その後、処理を終了する。
処理S816では、条件更新部504は、配置情報31と移動体情報36との関連付け情報Rel3に基づき、位置情報36bが特定位置B(つまり、特定位置情報31b)に到達した移動体2又は当該移動体2の撮影装置3に対し、導出した撮影条件を送信しない。その後、処理を終了する。
処理S815及びS816において、条件更新部504が関連付け情報Rel3を参照して撮影条件情報38を送信することを、図6に矢印Based2で示す。
なお、図8のフローチャートの処理S814で行う撮影条件情報38の導出を、処理S807で行う撮影設定情報34の導出の都度に実施するようにしても良い。
次に、図9について説明する。
処理S901では、撮影ユニット4の撮影部411が、参考被写体5を撮影する。撮影部411は、撮影した撮影画像である撮影画像D1を出力する。その後、処理S902に進む。
処理S902では、撮影ユニット4の画像調整部412は、処理S901で出力された撮影画像D1において参考被写体5がより鮮明となるように、撮影画像D1に対して画質の調整を行う。そして、画像調整部412は、画質を調整した画像情報である撮影画像情報D2を出力する。その後、処理S903に進む。
処理S903では、撮影ユニット4の画像認識部413は、処理S902で出力された撮影画像情報D2から正解画像情報Dcに類似する画像情報を抽出する。その後、処理S904に進む。
処理S904では、画像認識部413は、処理S903で抽出した画像情報と、正解画像情報Dcとの比較に基づき認識率を導出する。その後、処理を終了する。
ところで、撮影ユニット4の撮影設定に基づき撮影装置3の撮影条件を導出するにあたり、撮影ユニット4の撮影環境を撮影装置3の撮影環境に近似させることが望ましいことを説明した。
ここでは、図8の処理S814において、条件導出部502が、撮影ユニット4の撮影設定に基づき、撮影装置3の撮影条件を導出する過程の一例を説明する。
電子計算機500は、撮影ユニット4と撮影装置3との撮影環境の差分に関する情報に基づき、撮影ユニット4が撮影した撮影画像を、あたかも撮影装置3が被写体を撮影したような撮影画像に変換する画像処理を行うことを考える。このときの画像処理を画像変換処理Transとする。また、画像変換処理Transにより生成される画像を変換撮影画像Ptとする。
電子計算機500は、変換撮影画像Ptを生成するための差分に関する情報と、撮影ユニット4の撮影設定とに基づき、撮影装置3の撮影条件を導出する。
図10は、撮影条件を導出するための画像変換処理Transを説明するための模式図である。
電子計算機500の条件導出部502は、撮影ユニット4から参考被写体5を撮影した撮影画像を取得する。このとき取得する撮影画像を原撮影画像Poとする。
そして、条件導出部502は、撮影ユニット4と特定の撮影装置3Xの撮影位置との撮影位置の差分、撮影ユニット4を基点とする参考被写体5の撮影向き及び撮影距離と、特定の撮影装置3Xを基点とする特定の被写体2Xの撮影向き及び撮影距離との差分、並びに、撮影ユニット4と特定の撮影装置3Xとの撮影環境の差分のそれぞれに関する情報に基づいて、画像変換処理Transを行い、原撮影画像Poを変換する。
なお、撮影ユニット4と特定の撮影装置3Xの撮影位置との撮影位置の差分、撮影ユニット4を基点とする参考被写体5の撮影向き及び撮影距離と、特定の撮影装置3Xを基点とする特定の被写体2Xの撮影向き及び撮影距離との差分、並びに、撮影ユニット4と特定の撮影装置3Xとの撮影環境の差分のそれぞれに関する情報を、電子計算機500は予め保持しているものとする。
また、このときの特定の撮影装置3X及び特定の被写体2Xは、電子計算機500に、基本的なモデルケースとして予め与えられるものとする。
条件導出部502は、画像変換処理Transにおいて、座標変換処理Tr1及び光量推定処理Tr2を行う。
座標変換処理Tr1は、撮影ユニット4と特定の撮影装置3Xとの撮影位置、撮影向き及び撮影距離の差分に関する情報に基づき、撮影ユニット4から取得した参考被写体5の原撮影画像Poを変換して、特定の撮影装置3Xから特定の被写体2Xを撮影した場合の撮影画像を導出する処理である。
導出する過程の例として、撮影ユニット4と特定の撮影装置3Xとの撮影位置の差分は、特定の撮影装置3Xが撮影ユニット4よりも北向きに1メートルだけ移動した位置とする。また、撮影ユニット4と特定の撮影装置3Xとの撮影向き及び撮影距離の差分は、特定の被写体2Xが参考被写体5よりも北向き及び西向きにそれぞれ2メートルだけ移動した位置とする。これにより、特定の撮影装置3Xから見た特定の被写体2Xの撮影向きが、撮影ユニット4から見た参考被写体5の撮影向きに対して、相対的に、北向きに1メートル及び西向きに2メートルの差分が生じることが分かる。これらの撮影位置、撮影向き及び撮影距離の差分の情報を基に、特定の撮影装置3Xから特定の被写体2Xを撮影した場合の撮影画像を推定して導出することが出来る。
このようにして、座標変換処理Tr1では、撮影ユニット4が参考被写体5を撮影したときの撮影画像に基づき、異なる撮影位置、撮影向き及び撮影距離において異なる被写体を撮影した場合の、撮影画像を導出する。
光量推定処理Tr2は、撮影ユニット4と特定の撮影装置3Xとの撮影位置による撮影環境の差分、及び、参考被写体5と特定の被写体2Xとの設置位置による撮影環境の差分に基づき、特定の撮影装置3Xから特定の被写体2Xを撮影した場合に、特定の撮影装置3Xに対して入射する特定の被写体2X及び撮影環境からの光量を推定して導出する処理である。このときの光量の推定値は、上述の撮影環境の差分から、特定の撮影装置3Xに入射する光量が、撮影ユニット4に対して増減する量を推定することにより導出することが出来る。
このように、条件導出部502は、画像変換処理Transを行うことによって、撮影ユニット4が撮影した原撮影画像Poに基づき、あたかも撮影ユニット4と異なる撮影位置にある撮影装置3から参考被写体5と異なる被写体を撮影したかのように、原撮影画像Poを変換した変換撮影画像Ptを生成することが出来る。
そして、条件導出部502は、画像変換処理Transにおいて原撮影画像Poを変換撮影画像Ptに変換処理を行うとともに、原撮影画像Poと対応する撮影設定を変換撮影画像Ptと対応する撮影条件に変換する。
この撮影設定から撮影条件への変換処理は、画像変換処理Transの前後において撮影画像での認識率を維持するように行う。つまり、画像変換処理Transでの原撮影画像Poから変換撮影画像Ptへの変換に伴い、変換中又は変換後の撮影画像における認識率の値を、画像変換処理Transを行う前の原撮影画像Poでの認識率の値に維持するための調整を撮影設定に対して行う。言い換えると、撮影ユニット4が撮影した撮影画像への変換処理により生じる画質の変化を打ち消すように、撮影設定の内容を調整しつつ補正を行う。このようにすることで、特定の撮影装置3Xの撮影条件を導出することが出来る。
このことは、撮影装置3の撮影頻度の高い位置に撮影ユニット4を設置したり、撮影装置3が撮影する頻度の高い被写体の位置に参考被写体5を設置したりすることが困難な場合であっても、電子計算機500は、撮影装置3に対して、高い認識率で被写体を撮影するための撮影条件を導出し、提供することを可能とする。
なお、条件導出部502は、画像変換処理Transを行うことなく、撮影ユニット4の撮影設定のみに基づいて撮影装置3の撮影条件を導出するようにしても良いし、撮影ユニット4の撮影設定、並びに、座標変換処理Tr1及び光量推定処理Tr2の差分に関する情報の少なくともいずれかに基づいて撮影装置3の撮影条件を導出するようにしても良い。
つまり、実施の形態1では、撮影ユニット4での撮影に基づき導出される撮影設定を利用することによって、撮影装置3が従来よりも認識率高く撮影することが可能な撮影条件を設定できるようにすることを目的の1つとする。
例えば、撮影装置3の仕様によっては、撮影システム1から受信した撮影条件のうち、照光制御情報38bのみを利用し、自装置の設定に反映することも可能である。
また、撮影装置3は、図示しない記憶装置を備えることで、予め用意された初期撮影条件と、撮影システム1から受信した撮影条件とを切り替えて又は一部を利用して設定し、撮影することが出来る。例えば、撮影装置3は、移動体2の移動開始時には自装置の記憶装置に予め用意され記憶された初期撮影条件を設定し、撮影システム1から撮影条件を受信するとその撮影条件を設定し、その後に再び記憶装置に記憶された初期撮影条件を設定することが出来る。このようにすることで、撮影装置3は、受信した撮影条件では適切に撮影できなかった場合や、受信した撮影条件が不要となった場合に、自装置で保持する初期撮影条件に戻して動作することが可能となる。
以上、説明したように、実施の形態1によれば、撮影システム1は撮影部411を備え、撮影部411は、特定地点Aにおいて参考被写体5を撮影して撮影画像における認識率を導出し、撮影システム1は条件導出部502をさらに備え、条件導出部502は繰り返し撮影部411での撮影の認識率を向上させる撮影設定を導出し、条件導出部502は撮影設定に基づいて撮影装置3の撮影条件を導出し、撮影システム1は条件更新部504をさらに備え、条件更新部504は撮影装置3が特定地点Aで撮影するのに先立ち通信手段10を用いて撮影装置3に送信するように構成したので、撮影装置3は特定地点Aにおいて認識率高く撮影できる撮影条件を利用することが可能となる。
その結果として、撮影装置3が特定地点Aにおいて撮影をするときに、又は、特定地点Aにおいて撮影を開始するときに、被写体を認識率高く撮影できるようにする効果が得られる。このことは、特定地点Aにおける撮影環境の変化に依らず撮影装置3が良好な画質で被写体を撮影することを可能とする。
実施の形態2.
実施の形態1では、撮影装置3に提供する撮影条件を、撮影ユニット4が撮影した撮影画像に基づき導出した。実施の形態2では、撮影システムは、現実空間において撮影装置3が撮影する撮影環境と当該撮影装置3で行われる被写体の撮影とを仮想空間において表現し、その仮想空間において撮影装置3が被写体を撮影する撮影画像に基づき、現実空間の撮影装置3に提供するための撮影条件を導出する。
なお、実施の形態1と同じ符号のものについては説明を繰り返さない。
図11は、実施の形態2における、撮影システム100の適用例を示すシステム構成図である。撮影システム100は、電子計算機511及び通信器6を備える。
電子計算機511は、高速演算処理を実行可能な演算装置であり、例えば、クラウド・コンピューティングを構成するスーパーコンピュータである。電子計算機511は、現実空間Srにおいて通信器6との間で通信を行う。図11では、電子計算機511は、通信器6a,6b,・・・,6eとの間で通信を行う。
電子計算機511は、シミュレーション解析を実行することにより、現実空間Srを3次元でモデル化した仮想空間Svを構築する。
仮想空間Svには、認識率を導出するための参考被写体150が配置されている。図11では、参考被写体150として、参考被写体150a,150b,・・・,150eを模式的に示している。
また、仮想空間Svには、参考被写体150を撮影して認識率を導出する撮影ユニット140が配置されている。図11では、撮影ユニット140として、撮影ユニット140a,140b,・・・,140eのそれぞれが、参考被写体150a,150b,・・・,150eを撮影して認識率を導出することを模式的に示している。
電子計算機511は、仮想空間Svにおいて、撮影ユニット140での参考被写体150の撮影画像を推定する。図11では、撮影ユニット140a,140b,・・・,140eのそれぞれにおいて推定した撮影画像を撮影画像P110,P120,・・・,P150として模式的に示している。
電子計算機511が構築する仮想空間Svには、撮影装置3を搭載した移動体2が移動する移動経路Rの周辺環境のモデルとして、例えば、移動経路Rv、光源Lv及び物体Evが配置されている。図11では、仮想空間Svにおける物体Evの例として、物体Ev1はトンネル、物体Ev2は森林、及び、物体Ev3は海を示している。
仮想空間Svにおいて、物体Ev1及びEv2は光を遮蔽し、物体Ev3は光を反射するので、被写体の撮影画像は撮影環境の一部である物体Evの種類及び配置の影響を受けることになる。
仮想空間Svにおいて、撮影ユニット140は参考被写体150の撮影処理を行う。
電子計算機511は撮影ユニット140の撮影画像に対して画像処理を行いながら認識率を導出するとともに、学習処理を実行して当該認識率を向上させる撮影条件を導出する。
そして、電子計算機511は、現実空間Srにおいて、導出した撮影条件を移動体2又は撮影装置3に対し送信する。
電子計算機511は、導出した撮影条件を移動体2又は撮影装置3に対して送信するための通信手段として通信器6の通信を利用する。
また、電子計算機511は、通信器6を介して、移動体2又は撮影装置3との間で種々の情報を送受信する。通信器6と移動体2又は撮影装置3との間の通信の確立については、実施の形態1と同様である。
特定地点A1,A2,・・・,A5は、現実空間Srにおける撮影地点であり、電子計算機511に対して任意に設定できるものとする。電子計算機511は、設定された現実空間Srの特定地点A1,A2,・・・,A5を仮想空間Svに対応させて特定地点A110,A120,・・・,A150を配置する。図11では、電子計算機511が仮想空間Svに配置する特定地点A110,A120,・・・,A150を模式的に示している。
特定位置Bは、現実空間Srにおいて、移動体2又は撮影装置3に対し撮影条件を送信する位置であり、通信器6と移動体2又は撮影装置3との通信が可能な範囲に配置される。図11では、電子計算機511が現実空間Srに配置する特定位置Bとして、特定位置B110,B120,・・・,B150を模式的に示している。
なお、現実空間Svにおける特定地点A及び特定位置Bの配置に関する情報は、通信器6の配置と通信範囲との情報と関連付けられる。
図12は、撮影システム100の構成を示す機能ブロック図である。なお、実施の形態1の図4及び図5と同じ符号のものについては説明を繰り返さない。
電子計算機511は、画像調整部412、画像認識部413、記憶部501、条件導出部502、設定変更部503、条件更新部504、第2の通信部505及び解析部1201を備える。
電子計算機511の第2の通信部505は、現実空間Srにおいて、外部ネットワーク20を介して外部サーバ30と通信を行い、例えば、撮影装置3を搭載した移動体2が移動する移動経路Rの特定地点Aでの撮影環境に関する情報など、撮影システム100で扱う種々の情報を収集する。第2の通信部505と通信器6及び外部サーバ30との通信は有線通信であっても無線通信であっても良い。
また、第2の通信部505は、通信器6を介して移動体2又は撮影装置3との間で通信を行う。
撮影システム100が、現実空間Srにおいて、電子計算機511の第2の通信部505及び通信器6を介して、移動体2又は撮影装置3との間で通信を行う手段を通信手段10とする。つまり、撮影システム100は、移動体2又は撮影装置3と通信を行うための通信手段10を備える。
解析部1201は、時々刻々と変化する現実空間Srの特定地点Aにおける撮影環境を表現するための仮想空間Svを構築する。このように、解析部1201が、現実空間Srの撮影環境を3次元でモデル化した仮想空間Svを構築するために行うシミュレーションを、構築シミュレーションSimAとする。
構築シミュレーションSimAでは、解析部1201は、外部サーバ30から収集する種々の情報を利用してシミュレーション解析を行うことで、仮想空間Svに撮影ユニット140が撮影するための撮影環境を表現する。
より具体的には、解析部1201は、例えば、移動体2を含む種々の物体Evの配置、並びに、大気中の塵及び水の密度の情報などの情報を反映させて表現した撮影環境において、例えば、光源Lv及び移動体2のヘッドライト等の光源からの光の照射向き、光度及び照度に基づき、光が反射、屈折及び吸収される状況をシミュレーション解析する。なお、このときのシミュレーション解析の一例として、光線追跡法(レイ・トレーシング)を利用することができる。
また、解析部1201は、仮想空間Svに、現実空間Srの撮影装置3をモデル化した撮影ユニット140を配置する。
モデル化された撮影ユニット140は、撮影装置3の撮影機能を表現した撮影部1202を備える。撮影部1202は、撮影装置3の撮影機能に関する情報として、例えば、内部の構造、レンズの形状、フィルタ係数、露光エリア及び感度等の情報を利用してモデル化される。
そして、解析部1201は、撮影ユニット140が参考被写体150を撮影したときの撮影画像D1をシミュレーション解析によって導出する。
このように、解析部1201が、仮想空間Svにおいてモデル化した撮影ユニット140を配置するとともに、撮影ユニット140での撮影画像の情報を導出するために行うシミュレーションを撮影シミュレーションSimBとする。
画像調整部412及び画像認識部413は、実施の形態1と同様の要領により、撮影ユニット140の撮影部1202が導出した撮影画像D1を画像処理して、認識率及び撮影ベクトル情報を含む信号Sig1を出力する。
ここで、電子計算機511は、仮想空間Svにおいて撮影ユニット140が参考被写体150を撮影した撮影画像における参考被写体150の正解画像の情報として、正解画像情報Dcを保持している。
条件導出部502は、実施の形態1と同様の要領により、画像認識部413から信号Sig1を受信すると、当該撮影ユニット140の撮影における認識率を向上させるように、学習処理を実行しながら種々の設定内容を調整し、撮影条件を導出する。
なお、実施の形態1では、撮影ユニット4の撮影設定を導出した後に、撮影装置3の撮影条件を導出したが、本実施の形態では、仮想空間Svの撮影ユニット140は撮影装置3をそのままモデル化したものであるため、撮影ユニット140での撮影の認識率を向上させる撮影設定は、そのまま撮影装置3の撮影条件とすることが出来る。
図13は、撮影システム100で扱う種々の情報の関連を示す情報関連図である。図13に示す種々の情報は図12の電子計算機511の記憶部501に記憶される。
仮想空間情報130aは、構築シミュレーションSimA及び撮影シミュレーションSimBで扱われる情報として、配置情報131、撮影環境情報132、撮影情報133、撮影条件情報134及び学習情報135を含む。但し、配置情報131は現実空間Srに関わる情報としても扱われる。
配置情報131、特定地点情報131a及び特定位置情報131bはそれぞれ、図6の配置情報31、特定地点情報31a及び特定位置情報31bと対応する。
撮影環境情報132、日時情報132a、気象情報132b及び撮影視野情報132cはそれぞれ、図6の撮影環境情報32、日時情報32a、気象情報32b及び撮影視野情報32cと対応する。
解析部1201は、配置情報131及び撮影環境情報132の情報を用いて構築シミュレーションSimAを実行する。
撮影情報133、認識率情報133a及び撮影ベクトル情報133bはそれぞれ、図6の撮影情報33、認識率情報33a及び撮影ベクトル情報33bと対応する。
撮影条件情報134、照明制御情報134b、画像処理制御情報134c及び撮影制御情報134aはそれぞれ、図6の撮影設定情報34、照明制御情報34b、画像処理制御情報34c及び撮影制御情報34aと対応する。図6の撮影条件情報38が存在しないのは、本実施の形態では、撮影ユニット140の撮影設定はそのまま撮影装置3の撮影条件と扱われるためである。
学習情報135、学習データ135b及び学習制御情報135bはそれぞれ、図6の学習情報35、学習データ35b及び学習制御情報35bと対応する。
現実空間情報130bは、現実空間Srに関する情報として、移動体情報36及び撮影装置情報37を含む。
また、関連付け情報Rel11、Rel12及びRel13のそれぞれは、図6の関連付け情報Rel1、Rel2及びRel3と対応し、矢印Based11及びBased12のそれぞれは、図6の矢印Based1及びBased2と対応し、矢印Refer11及びRefer12はそれぞれ、図6の矢印Refer1及びRefer2と対応する。
図13に示すように、外部サーバ30は、電子計算機511に対し種々の情報を提供するための情報源として、例えば、天体情報システム141、気象予報システム142、地図情報システム143及び道路情報システム144等の、撮影環境に関わる情報を管理するシステムを利用しても良い。
天体情報システム141は、例えば、天体物理データシステム(Astrophysics Data System、ADS)を利用することが出来る。
気象予報システム142は、例えば、世界気象監視計画(World Weather Watch、WWW)を利用することが出来る。
地図情報システム143は、例えば、地理情報システム(geographic information system、GIS)を利用することが出来る。
道路情報システム144は、例えば、航法衛星システム(navigation satellite system、NSS)、及び、各地域における交通用途の広域監視システムでの映像を利用することが出来る。
また、外部サーバ30は、上述したシステムの他に、移動経路Rの周辺を撮影する撮影装置3から撮影環境に関わる情報を収集して利用するようにしても良い。
外部サーバ30はこれらの情報源とクラウド・ネットワークや専用回線によって接続することが出来る。そして、電子計算機511は、外部サーバ30を介して、又は、直接に、これらの情報源にアクセスすることが出来るものとする。
次に、撮影システム100における電子計算機511及び撮影ユニット140の動作について、図12、図13及び図14を用いて説明する。
図14は、撮影システム100が撮影装置3に対し撮影条件を送信する処理を示すフローチャート図である。
処理S1401では、電子計算機511の条件更新部504は、現実空間Srにおける移動体2の位置情報36bと、移動体2及び撮影装置3を識別するための移動体識別情報36a及び撮影装置識別情報37aとを取得して、記憶部501の移動体情報36及び撮影装置情報37に記憶する。
ここで、条件更新部504が情報取得の対象とする撮影装置3及び撮影装置3を搭載した移動体2として、予めに撮影システム100に対して撮影条件の送信を要求した、又は、事前に撮影システム100に対して登録手続きが行われた、撮影装置3及び当該撮影装置3を搭載した移動体2を対象に絞り込む方が、電子計算機511でのシミュレーション解析の処理負荷を軽減できる。
その後、処理S1402aに進む。
処理S1402aは、処理S1402bとの間での繰り返しを示すループ処理である。
処理S1402aと処理S1402bとのループ処理の間、電子計算機511の解析部1201は、処理S1401において情報を取得した撮影装置3に対して送信する撮影条件を導出するため、当該撮影装置3を搭載した移動体2がこの先に通過する特定地点Aにおける撮影環境のモデル化と、当該特定地点Aにおける撮影条件の導出とを繰り返し行う。
具体的には、解析部1201は、当該特定地点Aを対象として仮想空間Svを構築するための構築シミュレーションSimAを実行し、構築した仮想空間Svの特定地点Aにおいて参考被写体150を撮影した撮影画像を導出するための撮影シミュレーションSimBを実行する。
処理S1402aのループ処理への遷移後、処理S1403に進む。
なお、処理S1402a以降は、電子計算機511は要求のあった撮影装置3及び当該撮影装置3を搭載した移動体2ごとに個別に処理を実行する。
処理S1403では、電子計算機511の条件導出部502は、処理S1401で要求のあった撮影装置3ごとに仮想空間Svを構築するために、外部サーバ30から信号ExInfoを受信して、当該撮影装置3がこの先に通過する特定地点Aの配置情報131と、当該特定地点Aの撮影環境情報132とを収集するとともに、配置情報131と撮影環境情報132との関連付け情報Rel11を参照して、撮影環境情報132を更新する更新処理を開始する。この更新処理は、周期的若しくは定期的に又は所定のタイミングで実行される。その他の都度更新される情報に対しても適切な初期情報が設定されるものとする。
その後、処理S1404に進む。
処理S1404では、条件更新部504が、移動体2又は撮影装置3から位置情報PosInfoを受信すると、移動体2ごとに位置情報36bを更新するとともに、配置情報131と移動体情報36との関連付け情報Rel12を参照して、特定位置Bに到達した移動体2が存在するかどうかを判定する。判定の結果、存在する場合には処理S1414に進む。存在しない場合には処理S1405に進む。
処理S1405では、条件導出部502が、配置情報131と学習情報135との関連付け情報Rel13を参照して、仮想空間Svにおいて撮影ユニット140を配置した特定地点Aと関連付けられた学習情報135が記憶部501に記憶されているかどうかを確認する。その後、処理S1406に進む。
処理S1406では、処理S1405において、学習情報135が記憶されていれば処理S1408に進み、記憶されていなければ処理S1407に進む。
処理S1407では、電子計算機511の設定変更部503が、記憶部501に記憶された撮影条件134の情報に基づき、電子計算機511の画像調整部412及び画像認識部413の画像処理の設定を初期化する。その後、処理S1410に進む。
処理S1408では、条件導出部502が、関連付け情報Rel13に基づき、撮影条件情報134及び学習情報135を更新しながら学習処理を実行して、撮影部1202、画像調整部412及び画像認識部413に設定する撮影条件情報134を導出する。
また、条件導出部502は、調整した撮影条件を対応する撮影ユニット140に反映するために、設定変更部503に対して撮影条件情報134を含む信号Sig3を出力する。
その後、処理S1409に進む。
処理S1408において、条件導出部502が学習情報135を参照して撮影設定情報134を導出することを、図13に矢印Refer11で示す。
処理S1409では、設定変更部503が、処理S1408で出力された信号Sig3に含まれる撮影条件情報134と対応する撮影ユニット140を検索して、当該撮影ユニット140の撮影部1202、並びに、電子計算機511の画像調整部412及び画像認識部413に対し、撮影条件を反映させるための信号Sig4、信号Sig5及び信号Sig6をそれぞれ出力する。撮影部1202は信号Sig4を入力して対応する撮影条件を反映し、画像調整部412は信号Sig5を入力して対応する撮影条件を反映し、画像認識部413は信号Sig6を入力して対応する撮影条件の内容を反映する。
その後、処理S1410に進む。
処理S1410では、仮想空間Svにおいて撮影ユニット140が参考被写体150を撮影した撮影画像D1を出力する。その後、処理S1411に進む。
処理S1411では、画像調整部412は、処理S1410で出力された撮影画像D1において参考被写体150がより鮮明となるように、撮影画像D1に対して画質の調整を行った撮影画像情報D2を出力する。
画像認識部413は、出力された撮影画像情報D2から正解画像情報Dcに類似する画像情報を抽出し、正解画像情報Dcとの比較に基づき認識率を導出して信号Sig1を出力する。
条件導出部502は、画像認識部413から出力された信号Sig1に含まれる撮影情報133を取得し、記憶部501の情報を更新させる。
その後、処理S1412に進む。
処理S1412では、条件導出部502が、取得した撮影情報133に含まれる認識率情報133aが前回と比べて向上したか又は低下したかを判定する。その後、処理S1413に進む。
処理S1413では、条件導出部502が、処理S1412での判定結果に基づき、関連付け情報Rel13で関連付けられた各情報と対応させて学習情報135の学習データ135bを更新する。
より具体的には、条件導出部502は、例えば、処理S1412での判定において認識率が向上した場合、特定地点情報131aでの特定地点Aにおいて撮影環境情報132が示す撮影環境では、撮影ユニット140の撮影条件を撮影条件情報134の内容とすることが適することを学習データ135bに反映させる。
また、条件導出部502は、例えば、処理S1412での判定において認識率が低下した場合、特定地点情報131aでの特定地点Aにおいて撮影環境情報132が示す撮影環境では、撮影ユニット140の撮影条件を撮影条件情報34の内容とすることが適さないことを学習データ135bに反映させる。
その後、処理S1402bに進み、ループ処理を継続する。
処理S1413において、条件導出部502が関連付け情報Rel12を参照して学習情報135を更新することを、図13に矢印Refer12で示す。
このように、仮想空間Svの撮影ユニット140は条件導出部502が調整した撮影条件により参考被写体150を撮影して撮影画像を出力することを繰り返し、条件導出部502は撮影ユニット140が出力した撮影画像に基づき当該撮影ユニット140の認識率を向上させる撮影条件を学習処理により導出することを繰り返すことで、撮影ユニット140は撮影環境が時々刻々と変化しても良好な認識率を維持して撮影を行うことが出来る。
処理S1414では、条件更新部504は、処理S1404において移動体2が到達した特定位置B(つまり、特定位置情報131b)と対応する特定地点A(つまり、特定地点情報131a)に関連付けられた学習結果の内容(つまり、学習データ135b)が十分であるかどうかを判定する。学習データ135bが十分であるかどうかの判定基準は、例えば、学習の成果である認識率(つまり、認識率情報133a)が、予め定められた変動範囲に収束した場合としたり、予め定められた認識率に達した場合としたり、条件導出部502での学習処理が予め定められた時間を経過した場合としたりすることが考えられる。
ここでの判定を行うことで、学習が十分に進んでおらず撮影装置3での認識率を向上させる見込みが低い撮影条件を、撮影装置3に対して提供してしまう事態を回避することが出来る。
判定の結果、十分であると判定する場合には処理S1415に進む。十分ではないと判定する場合には処理S1416に進む。
処理S1415では、条件更新部504は、配置情報131と移動体情報36との関連付け情報Rel12に基づき、位置情報36bが特定位置B(つまり、特定位置情報131b)に到達した移動体2又は当該移動体2の撮影装置3に対し、導出した撮影条件を送信する。その後、処理を終了する。
処理S1416では、条件更新部504は、配置情報131と移動体情報36との関連付け情報Rel12に基づき、位置情報36bが特定位置B(つまり、特定位置情報131b)に到達した移動体2又は当該移動体2の撮影装置3に対し、導出した撮影条件を送信しない。その後、処理を終了する。
以上、説明したように、実施の形態2によれば、撮影システム100は、例えば、外部サーバ30、天体情報システム141、気象予報システム142、地図情報システム143、道路情報システム144、及び、移動経路Rの周辺を撮影する撮影装置3などの情報源から収集した情報に基づき、撮影装置3が撮影する現実空間Srにおける撮影環境を仮想空間Svで表現するとともに、撮影装置3に対し被写体を認識率高く撮影するための撮影条件を導出して提供することが可能となる。
その結果として、撮影装置3がこれから撮影する撮影環境において良好な画質で被写体を撮影する効果が得られる。
また、実施の形態2によれば、撮影システム100は、実施の形態1のように撮影ユニット4の撮影設定と撮影装置3の撮影条件とを区別することなく、撮影装置3の撮影条件を直接に導出することが可能となる。その結果として、撮影ユニット140と撮影装置3との撮影位置、撮影向き及び撮影距離などの差分を考慮することなく、撮影装置3の撮影環境に基づいて被写体の認識率を向上させる撮影条件を導出する効果が得られる。
また、実施の形態2によれば、撮影システム100は、撮影装置3が撮影する特定地点Aを任意に設定して撮影条件を導出することが可能である。このことは、任意の撮影装置3が撮影を開始するタイミングに合わせて、撮影システム100は撮影装置3の撮影条件を予め導出して提供することを可能とする。
つまり、撮影システム100が撮影装置3に対して即時性高く撮影条件を提供できるため、撮影環境の変化が緩やかでない場合においても撮影装置3は良好な撮影画像を得ることが出来るようになる。
実施の形態3.
実施の形態3では、実施の形態1の撮影システム1又は実施の形態2の撮影システム100は、導出した撮影装置3の撮影条件を、記憶部501に記憶される種々の情報と関連付けて蓄積する。
撮影装置3は、ある特定地点Aにおいて、天候が晴れの日に利用した撮影条件を、日照角度及び時間帯が同等であり天候が晴れの別日に利用したとしても、被写体の認識率が高い撮影画像を得ることが出来る。
また、撮影装置3は、天候が悪い日に利用した撮影条件を、撮影環境が同等である別の時点において利用したとしても、例えば、撮影制御の調整及び照明装置の制御を、被写体の認識率が高くなるように、即時に行うことが可能となる。
撮影システム1又は100の条件導出部502は、ある特定地点Aのある時点において撮影設定を導出したときに利用した情報群と、導出した当該撮影設定と、当該撮影設定に基づき導出した撮影条件とを関連付けて記憶部501に蓄積するとともに、蓄積された各特定地点A及び各時点での各情報群に対し、それぞれの相関関係を導出して管理する。
このようにすることで、条件更新部504は、図示しないとある特定地点A0のとある時点T0において新たに撮影条件を導出することなく、既に蓄積された別の特定地点Aの別の時点における情報群のうちから、特定地点A0及び時点T0における情報群と高い正の相関を示すものを選定し、選定された当該情報群と関連付けられる撮影条件を選定して、特定地点A0及び時点T0において撮影する撮影装置3に対し、選定された導出済みの撮影条件を送信することが可能となる。ここでの”高い正の相関を示す”とは、上述したとおりである。
このとき、撮影装置3は、既に導出された撮影条件を利用して撮影したときの撮影画像での認識率を撮影システム1又は100に対してフィードバックし、撮影システム1又は100は蓄積する各情報群のそれぞれの相関関係に対して見直しを実行することにより、さらに撮影環境が類似する撮影条件を撮影装置3に対して送信することが可能となる。
以上、実施の形態3によれば、撮影システム1000は、特定地点Aにおける撮影環境の変化に応じて、被写体を認識率高く撮影するための撮影条件を選定し、撮影装置3に対して選定した撮影条件を即時に提供することが出来る。
なお、実施の形態2及び3は、撮影装置3が車両に搭載される車載カメラの他に、例えば、屋外に設置される監視カメラの場合であっても適用することが出来る。
屋外監視カメラである撮影装置3が撮影を開始するときの天候が悪い場合に、被写体を認識率高く撮影するための撮影条件の導出をスムーズに行うことが出来ず、重要な撮影画像の記録を逃してしまう虞がある。
このような場合に、実施の形態2の撮影システム100は、特定地点Aに配置された撮影装置3に対し、撮影を開始するときの撮影環境において被写体を認識率高く撮影できる撮影条件を導出して、撮影装置3に対して提供することが出来る。
これにより、撮影装置3は天候が悪い場合であっても被写体を認識率高く撮影する撮影条件によって撮影を開始することが可能となる。
また、屋外監視カメラである撮影装置3は、撮影中に天候が急に変化して豪雨や濃霧が発生した場合に、被写体を認識率高く撮影するための撮影条件の導出をスムーズに行うことが出来ず、この間に良質な撮影画像が得られない虞がある。
このような場合に、実施の形態3の撮影システム1000は、特定地点Aに配置された撮影装置3に対し、記憶部501に記憶された情報群のうち高い正の相関を示すものと関連付けられた撮影条件を選定して、撮影装置3に対して提供することが出来る。
これにより、撮影装置3は天候が悪い場合であっても被写体を認識率高く撮影する撮影条件によって撮影を継続することが可能となる。
1、100、1000 撮影システム
2 移動体
3 撮影装置
4、140 撮影ユニット
411 撮影部
412 画像調整部
413 画像認識部
414 第1の通信部
5、150 参考被写体
6 通信器
500、511 電子計算機
501 記憶部
502 条件導出部
503 設定変更部
504 条件更新部
505 第2の通信部
1201 解析部

Claims (12)

  1. 撮影装置と、
    前記撮影装置との間で種々の情報を送受信するための通信を行う通信手段と、
    前記撮影装置が撮影する特定地点において、参考被写体を撮影し撮影画像を出力する撮影部と、
    出力された前記撮影画像に基づき画像処理された撮影画像情報と、予め用意された前記参考被写体を表す正解画像情報との比較に基づき、前記撮影画像において前記参考被写体を認識するときの精度を示す認識率を導出する画像認識部と、
    前記認識率の導出に伴い、前記撮影画像における前記参考被写体の前記認識率を向上させる撮影設定を導出し、前記撮影設定に基づき前記撮影装置が利用する撮影条件を導出する条件導出部と、
    前記条件導出部が導出した前記撮影条件を記憶する記憶部と、
    前記撮影装置に対し前記記憶部に記憶された前記撮影条件を利用させるために、前記通信手段を介して、前記撮影条件を送信する条件更新部と、
    を備えた撮影システム。
  2. 前記撮影部での撮影、前記条件導出部での前記撮影条件の導出、及び、前記条件更新部での前記撮影条件の送信は、前記特定地点において前記撮影装置が撮影するのに先立って実行される、
    請求項1に記載の撮影システム。
  3. 構築シミュレーション及び撮影シミュレーションを実行する解析部をさらに備え、
    前記解析部は、
    前記構築シミュレーションを実行することにより、前記撮影部と、特定地点において前記撮影部が撮影する撮影環境及び前記参考被写体とを表現する仮想空間を構築し、
    前記撮影シミュレーションを実行することにより、前記仮想空間において前記撮影部が前記参考被写体を撮影する撮影画像を出力し、
    前記画像認識部は、前記解析部が出力する撮影画像に基づき前記認識率を導出する、
    請求項1または2に記載の撮影システム。
  4. 前記条件導出部は、
    前記特定地点において前記撮影部が撮影するときの撮影環境に関する情報群、前記特定地点で撮影する前記撮影部の前記撮影設定、及び、前記撮影設定に基づき導出する前記撮影条件を関連付けて前記記憶部に蓄積し、
    前記条件更新部は、
    前記記憶部に蓄積された前記情報群のうち、前記撮影装置が撮影している撮影環境に関する情報群と高い正の相関を示す情報群を選定し、選定した当該情報群に関連付けられる前記撮影条件を送信する、
    請求項1〜3のいずれか1項に記載の撮影システム。
  5. 前記撮影装置は移動体に搭載され、
    前記条件更新部は、前記通信手段を介して前記移動体の位置を検知するとともに、前記移動体が前記特定地点に先立ち特定位置に到達したことを検出すると、前記撮影条件を送信する、
    請求項1〜4のいずれか1項に記載の撮影システム。
  6. 前記撮影装置は屋外に設置された監視カメラであって、
    前記条件更新部は、前記撮影装置の撮影開始に先立ち前記撮影条件を送信する、
    請求項1〜4のいずれか1項に記載の撮影システム。
  7. 前記撮影装置は屋外に設置された監視カメラであって、
    前記条件更新部は、前記撮影装置が撮影している撮影環境の変化に応じて前記撮影条件を抽出して送信する、
    請求項3または4に記載の撮影システム。
  8. 前記条件導出部は、
    前記撮影部から前記参考被写体を撮影した原撮影画像を取得し、
    前記撮影部と、特定の撮影装置との撮影位置の差分、
    前記撮影部を基点とする前記参考被写体の撮影向き及び撮影距離と、前記特定の撮影装置を基点とする特定の被写体の撮影向き及び撮影距離との差分、
    並びに、前記撮影部と、前記特定の撮影装置との撮影環境の差分
    のそれぞれに関する情報の少なくともいずれかに基づいて、前記原撮影画像を変換撮影画像に変換する画像変換処理を行い、
    前記画像変換処理での前記原撮影画像から前記変換撮影画像への変換に伴い、変換中又は変換後の撮影画像における認識率の値を、前記画像変換処理を行う前の前記原撮影画像での認識率の値に維持するための調整を前記撮影設定に対して行うことにより、前記特定の撮影装置の前記撮影条件を導出する、
    請求項1〜7のいずれか1項に記載の撮影システム。
  9. 撮影装置との間で種々の情報を送受信するための通信を行う第1の通信部と、
    前記撮影装置が撮影する特定地点において、参考被写体を撮影し撮影画像を出力する撮影部と、
    出力された前記撮影画像に基づき画像処理された撮影画像情報と、予め用意された前記参考被写体を表す正解画像情報との比較に基づき、前記撮影画像において前記参考被写体を認識するときの精度を示す認識率を導出する画像認識部と、
    前記認識率の導出に伴い、前記撮影画像における前記参考被写体の前記認識率を向上させる撮影設定を導出し、前記撮影設定に基づき前記撮影装置が利用する撮影条件を導出する条件導出部と、
    前記条件導出部が導出した前記撮影条件を記憶する記憶部と、
    前記撮影装置に対し前記記憶部に記憶された前記撮影条件を利用させるために、前記第1の通信部を介して、前記撮影条件を送信する条件更新部と、
    を備えた撮影ユニット。
  10. 前記撮影部での撮影、前記条件導出部での前記撮影条件の導出、及び、前記条件更新部での前記撮影条件の送信は、前記特定地点において前記撮影装置が撮影するのに先立って実行される、
    請求項9に記載の撮影ユニット。
  11. 請求項1〜10のいずれか1項に記載の撮影条件に含まれる情報のうち少なくともいずれかの情報を前記特定地点での自装置の撮影に利用する撮影装置。
  12. 自装置に予め用意された初期撮影条件を記憶する記憶装置を備え、
    請求項1〜10のいずれか1項に記載の撮影条件を前記記憶装置に保持して、前記初期撮影条件又は前記撮影条件を切り替えて利用する、
    請求項11に記載の撮影装置。
JP2018029446A 2018-02-22 2018-02-22 撮影システム、撮影ユニット及び撮影装置 Active JP6973163B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018029446A JP6973163B2 (ja) 2018-02-22 2018-02-22 撮影システム、撮影ユニット及び撮影装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018029446A JP6973163B2 (ja) 2018-02-22 2018-02-22 撮影システム、撮影ユニット及び撮影装置

Publications (2)

Publication Number Publication Date
JP2019146058A JP2019146058A (ja) 2019-08-29
JP6973163B2 true JP6973163B2 (ja) 2021-11-24

Family

ID=67772757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018029446A Active JP6973163B2 (ja) 2018-02-22 2018-02-22 撮影システム、撮影ユニット及び撮影装置

Country Status (1)

Country Link
JP (1) JP6973163B2 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5123812B2 (ja) * 2008-10-10 2013-01-23 日立オートモティブシステムズ株式会社 道路標示認識システム
JP6044272B2 (ja) * 2012-10-31 2016-12-14 株式会社ニコン 補助撮像装置
JP6184271B2 (ja) * 2013-09-19 2017-08-23 キヤノン株式会社 撮像管理装置、撮像管理システムの制御方法およびプログラム
JP2015192222A (ja) * 2014-03-27 2015-11-02 パナソニックIpマネジメント株式会社 撮像装置及び撮像制御方法

Also Published As

Publication number Publication date
JP2019146058A (ja) 2019-08-29

Similar Documents

Publication Publication Date Title
US11601601B2 (en) Optical array for high-quality imaging in harsh environments
TWI703064B (zh) 用於在不良照明狀況下定位運輸工具的系統和方法
EP3631761B1 (en) Method and system for automatically colorizing night-vision images
JP6176028B2 (ja) 車両制御システム、画像センサ
JP5299513B2 (ja) 障害物検知装置及び方法並びに障害物検知システム
CN111508260A (zh) 车辆停车位检测方法、装置和系统
JP7225600B2 (ja) 情報処理装置、情報処理方法、プログラム
JP7268001B2 (ja) 演算処理装置、オブジェクト識別システム、学習方法、自動車、車両用灯具
CN106504561B (zh) 用于识别停车区域上的对象的方法
KR20170010315A (ko) 헤이즈 검출을 위한 시스템 및 방법들
CN114520880A (zh) 一种曝光参数调节方法及装置
JP2024502133A (ja) 長波赤外線能力を持つ車両対インフラストラクチャシステム及び方法
JP6973163B2 (ja) 撮影システム、撮影ユニット及び撮影装置
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
WO2022038981A1 (ja) 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム
CN107948620B (zh) 基于高级驾驶辅助系统的双目摄像头调试方法
WO2023286806A1 (ja) 静止物情報取得装置、プログラム、及び静止物情報取得方法
WO2023210276A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2023286811A1 (ja) 静止物情報蓄積システム、プログラム、及び静止物情報記憶方法
CN111323342B (zh) 信息处理系统、存储程序的非易失性存储介质及信息处理方法
JP2023128156A (ja) 画像提供システム、及び画像提供方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201030

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211018

R151 Written notification of patent or utility model registration

Ref document number: 6973163

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151