以下に示す実施形態では、監視装置を搭載した鉄道車両について説明するが、監視装置の搭載先を鉄道車両に制限するものではなく、例えば乗用車等の移動可能な車両に搭載してもよい。
(第1の実施形態)
図1は、第1の実施形態の監視装置を搭載した鉄道車両の例を示した図である。図1に示されるように鉄道車両1が線路に従って移動している間、監視装置100が移動方向を撮影する。監視装置100の撮影範囲120は、線路11と架線12が写るように設定されている。これにより、監視装置100により撮影された画像データを確認することで、線路11と架線12の状況を確認できる。
ところで、図1の撮影範囲120に示されるように、鉄道車両1の移動方向に障害物がない場合、撮影範囲120のうち空が映る範囲が多く含まれてしまう。この場合、従来の手法を用いて、空の明るさを基準に調整が行われると、架線12は写るものの、線路11が黒つぶれする可能性がある。一方、線路11付近を明るさの基準として調整を行うと、線路11が認識可能になるが、空が白とびして架線12が写らなくなる可能性がある。これは画像素子で隣接する素子との輝度差があると、隣接素子への漏れが生じることに基づく。このように、周囲が明るい場合に原理的に生じるために、当該現象を抑止するのは難しい。
さらには、撮影された画像データの明るさの範囲が狭いため、逆光や移動でビルの間や木漏れ日、トンネルなどの明るさの変化が激しい場所では、撮影された画像データ内に見えない場所が発生する可能性がある。これは撮像素子において、1回の撮影で表示可能な明るさの範囲を超えてしまうために生じる。このように、画像データに確認できない箇所が生じると、監視対象を確認しにくいという状況が生じる可能性がある。特に動画撮影の場合は、静止画撮影のように、シャッタ速度を変化させて取り込む明るさを調整することも難しいため、明るさ変動に強くすることが難しい。
そこで、本実施形態では、監視装置100のカメラユニットに複数の撮像素子を備え、当該複数の撮像素子に対して撮像対象の明るい場所と暗い場所のそれぞれに合わせた設定を行って、当該複数の撮像素子で同時に撮影し、ユーザが認識可能に表示されている範囲を切り出して合成することとした。これにより、撮影範囲120に暗い場所と明るい場所とが含まれていたとしても、各領域の状況を認識することが可能となる。これにより、周囲の環境の監視や、周囲の環境に基づいた操縦が容易になる。
図2は、本実施形態の監視装置100のブロック構成を示した図である。図2に示されるように、カメラユニット201には、第1の撮像素子211と、第2の撮像素子212と、が含まれている。第1の撮像素子211と、第2の撮像素子212と、は同一の撮影範囲を撮像する。
そして、同期制御部202が、第1の撮像素子211と、第2の撮像素子212と、の撮影タイミングが常に同期するように制御する。これにより1秒間に60フレームが同期して撮影される。
図3は、カメラユニット201の構成例を示した図である。図3に示されるように、カメラユニット201は、レンズ部301と、分光部302と、第1の撮像素子211と、第2の撮像素子212と、を備えている。
そして、カメラユニット201は、レンズ部301を通った光が分光部302で2つに分割され、一方の光が第1の撮像素子211に照射され、他方の光が第2の撮像素子212に照射されように構成されている。これにより、同じ撮影範囲120が、第1の撮像素子211と、第2の撮像素子212と、に分配されて撮影される。第1の撮像素子211と、第2の撮像素子212とは、それぞれ明るい撮影用と暗い撮影用の調整が行われている。調整手法としては、例えばゲインを調整する等が考えられる。このようにカメラユニット201は、複数の撮像素子で明るさを異ならせて撮像可能とする。
第1の撮像素子211を用いた撮影では、撮影範囲内の明るい領域を検知し、明るい領域が表示されるように調整する。また、第2の撮像素子212を用いた撮影では、撮影範囲内の暗い領域(例えば、線路と線路の間)を検知し、暗い領域が表示されるように調整する。なお、本実施形態は、第1の撮像素子211及び第2の撮像素子212は、60フレームで動画像として撮影を行う例について説明するが、周囲の状況を確認できれば良く、フレーム数や動画像又は静止画像であるかは問わない。
本実施形態のように、1つのレンズ部301を通った光を分割することで、複数の撮像画像を同時に撮影しても視差が発生せず、合成等が容易となる。なお、分光部302は、光を2等分する構成であれば良く、プリズムやハーフミラー等を用いても良い。
図2に戻り、本実施形態の監視装置100について説明する。監視装置100は、第1の撮像素子211、及び第2の撮像素子212で撮影される画像データを、異なる条件で撮影を行うための調整機能を備えており、撮影された複数の画像データを解析して、解析結果から明るい領域が綺麗に写っている部分と暗い領域が綺麗に写っている部分とをそれぞれ切り出して合成を行うことで、画像データの明るさ範囲を拡大できる。
制御部203は、監視装置100全体を制御するための構成であって、監視装置100に含まれている各構成を制御する。制御部203は、各構成の調整機能や基準値の調整等を行う。例えば、制御部203は、画像データの調整エリア情報、絞り、ホワイトバランス、シャッタ速度、フレーム数を調整する。さらには、制御部203は、必要に応じて、第1のシーン判定部222、及び第2のシーン判定部232の画像を切り出すための基準値を調整する。さらには、制御部203は、周囲の状況に応じて、切り出された画像データ色調整や輪郭補正を調整する命令を行っても良い。さらには、画像データを合成する際の合成範囲や視差を調整しても良い。
明るい画像用構成部220は、第1の撮像素子211で撮像された画像データを調整するための構成であり、第1の画像調整部221と、第1のシーン判定部222と、第1の画像切り出し部223と、で構成されている。
第1の画像調整部221は、第1の撮像素子211により撮像された、明るい画像データに対して、明るい画像用の調整を行う。明るい画像用に行われる調整は、明るい画像に適した調整手法であれば、周知手法を含め、どのような調整を行っても良い。図4は、第1の撮像素子211により撮像された画像データの例を示している。図4に示される、明るい画像データでは、当該明るい画像データのうち、暗い領域に含まれている線路が明瞭に見えているのに対して、明るい領域に含まれている空及び架線が白とびしている。このため、明るい画像用構成部220は、明るい画像データのうち、線路等が含まれている領域を合成の対象となるように切り出す。
第1の画像調整部221は、第1の撮像素子211から入力された画像データに調整を行った後、当該画像データの表示領域を、所定のサイズのブロック(例えば16×16)で区切り、ブロック毎の平均の明るさ(例えば輝度値)を算出する。
第1のシーン判定部222は、第1の画像調整部221により算出されたブロック毎の平均の明るさに基づいて、切り出す基準値を設定する。切り出す基準値を導出するために、第1のシーン判定部222は、明るい画像データの明るさの分布を表したヒストグラムを作成する。図5は、第1のシーン判定部222により作成された、明るい画像データにおける明るさの分布を表したヒストグラムの例を示した図である。図5に示されるヒストグラムにより、白とびしているブロックを確認できる。そして、第1のシーン判定部222は、当該ヒストグラムに基づいて、合成対象となる領域を特定するための基準値を導き出す。本実施形態の第1のシーン判定部222は、図5に示されるヒストグラムを解析した結果に基づいて、白とび(明るさが飽和している領域)を除いた領域が取り除かれるように、基準値501を設定する。なお、ヒストグラム解析結果から基準値501を導出する手法は、周知の手法でも良いため説明を省略する。
本実施形態では、第1のシーン判定部222は、明るい画像データに基づいてヒストグラムを作成し、当ヒストグラムの形状から、明るい場所と暗い場所の状態を認識し、基準値501を生成する。このようにヒストグラムの形状に基づいて、白とびしている領域が取り除かれるように、基準値501を設定することで、合成対象として適切に暗い領域を切り出すことができる。
第1の画像切り出し部223は、明るい画像データのうち、第1のシーン判定部222で設定された基準値501より暗い領域を、合成対象として切り出す。そして、切り出した暗い領域の画像データを画質調整部251に出力する。
暗い画像用構成部230は、第2の撮像素子212で撮像された画像データを調整するための構成であり、第2の画像調整部231と、第2のシーン判定部232と、第2の画像切り出し部233と、で構成されている。
第2の画像調整部231は、第2の撮像素子212により撮像された画像データに対して、暗い画像用の調整を行う。暗い画像用に行われる調整は、暗い画像に適した調整手法であれば、周知手法を含め、どのような調整を行っても良い。図6は、第2の撮像素子212により撮像された画像データの例を示した図である。図6に示される、暗い画像データでは、当該暗い画像データのうち、明るい領域に含まれている空や架線が明瞭に見えているのに対して、暗い領域に含まれている線路が黒つぶれしている。このため、暗い画像用構成部230は、暗い画像データのうち、空や架線等が含まれている領域を合成の対象となるように抽出する。
第2の画像調整部231は、第2の撮像素子212から入力された画像データに調整を行った後、撮像された画像データの表示領域を、所定のサイズ(例えば16×16)のブロックで区切り、ブロック毎の平均の明るさ(例えば輝度値)を算出する。
第2のシーン判定部232は、第2の画像調整部231により算出されたブロック毎の平均の明るさに基づいて、切り出す基準値を設定する。切り出す基準値を導出するために、第2のシーン判定部232は、暗い画像データの明るさの分布を表したヒストグラムを作成する。図7は、第2のシーン判定部232により作成された、暗い画像データにおける明るさの分布を表したヒストグラムの例を示した図である。図7に示されるヒストグラムにより、黒つぶれしているブロックを確認できる。そして、第2のシーン判定部232は、当該ヒストグラムに基づいて、合成対象となる領域を特定するための基準値を導き出す。本実施形態では、第2のシーン判定部232は、図7に示されるヒストグラムを解析した結果に基づいて、黒つぶれを除いた領域が取り除かれるように、基準値701を設定する。なお、ヒストグラム解析結果から基準値701を導出する手法は、周知の手法でも良いため説明を省略する。
第2の画像切り出し部233は、暗い画像データのうち、第2のシーン判定部232で設定された基準値701より明るい領域を、合成対象として切り出す。そして、切り出した明るい領域の画像データを画質調整部251に出力する。
なお、図5及び図7に示されるように、第1のシーン判定部222により設定された基準値は、第2のシーン判定部232により設定された基準値よりも明るさが高くなるように設定される。さらに、制御部203は、切り出した暗い領域と、切り出した明るい領域と、で画像データ全面を覆えるように基準値を調整する。ただし、切り出した暗い領域と、切り出した明るい領域と、で重複する部分はあっても良い。
画質調整部251は、第1の画像切り出し部223により明るい画像データから切り出された暗い領域と、第2の画像切り出し部233により暗い画像データから切り出された明るい領域と、を調整する。ところで、合成する画像の輝度範囲が離れている場合に合成した画像で、画像内の中間色に色の違いが発生する場合がある。そこで、本実施形態の画質調整部251は、第1の画像切り出し部223により切り出された暗い領域と、第2の画像切り出し部233により切り出された明るい領域と、の間で重なっている領域について、色ズレが生じないように、暗い領域と、明るい領域とのRGBのそれぞれについてγ値を調整する。これにより、違和感のない画像データの出力が可能となる。
また、画質調整部251は、外部からの情報に従って、画像データを調整しても良い。例えば、外部の情報として鉄道車両1の位置情報及び時刻情報に従って、画像データを調整することが考えられる。本実施形態においては、トンネルやビルの影などで明るさが異なる場所情報及び時刻情報と、調整手法と、を予め対応付けて記憶部に登録しておく。そして、外部から位置情報及び時刻情報が入力された際に、制御部1301が、入力された位置情報と時刻情報が、登録されていた場所情報及び時刻情報と一致したと判定した場合に、画質調整部251に、対応付けられた調整手法を指示する。そして、画質調整部251が、指示された調整手法に従って、画像データの画質の調整(例えば、トンネルの明るさ変化に対応できるように、画像データの明るさや白レベルを調整)する。
画像合成部252は、画質調整部251により調整が行われた後の、第1の画像切り出し部223により切り出された暗い領域の画像データと、第2の画像切り出し部233により切り出された明るい領域の画像データと、を合成する。
図8は、画像合成部252により合成された後の画像データの例を示した図である。図8に示されるように、明るい画像データの暗い領域と、暗い画像データの明るい領域と、を合成したため、線路、架線及び電線等が視覚で確認できる。
出力部253は、画像合成部252により合成された画像データを出力する。出力先は、どこでもよいが例えば、監視センターや、運転席のモニター等とする。
また、本実施形態では、画像の画像切り出し、画質調整は外部からの命令より設定することも可能とする。本実施形態の制御部203は、鉄道車両1の周囲状況や現在の場所、位置の検出結果や、ユーザ等からの命令に従って、各構成に対して、画像範囲や画質調整を行うように命令を出力する機能を備えている。
画質の調整と画像の切り出しは外部からの命令により変更する機能を有している。画質調整や画像の切り出しは、周囲状況や場所、鉄道車両1の現在位置を位置の判定を行えるような装置や、画像の変化条件が判っている場合には外部からの命令により画像範囲や画質調整を行うことで画像の輝度範囲を拡大できる。
例えば、位置情報により、トンネルの入り口に近づいている場合に、トンネルに入ることになる明るさ変化に対応した、明るさ調整を行うように、各構成(例えば、第1の撮像素子211、第2の撮像素子212、第1のシーン判定部222、第2のシーン判定部232や画質調整部251)に指示をすることで、鮮明な画像を得ることができる。
また、本実施形態の制御部203は、明るい画像データと暗い画像データとの輝度範囲が近い場合には、第1のシーン判定部222及び第2のシーン判定部232に対して、ヒストグラムの中心を基準値として設定されるように指示する。
これにより、明るい画像データと暗い画像データの輝度範囲が近い場合には、明るい画像データと暗い画像データのヒストグラムの中心から分割して合成処理のみで画像出力を行なうことができる。輝度範囲が近い場合には色ズレが発生しないため、γ値などの調整を行うことなく、合成処理を簡易に行うことができる。
これにより例えば、雨が降っている場合や曇っている場合などは輝度範囲が近い場合が多くなるため、当該状況においては、処理負担及び処理時間を軽減できる。画像の輝度範囲が狭い場合に人間の目では変化が捉えにくいため、処理速度が短縮することで、より早く合成画像を提供できる、またフレーム速度を上げて発見をしやすくすることが可能になる。
次に、本実施形態にかかる鉄道車両1の監視装置100における、画像データを出力するまでの処理について説明する。図9は、本実施形態にかかる鉄道車両1の監視装置100における上述した処理の手順を示すフローチャートである。
まず、明るい画像用構成部220の第1の画像調整部221が、第1の撮像素子211から、明るい画像データを入力する(ステップS901)。その後、第1の画像調整部221は、入力された明るい画像データの画質を調整する。
その後、第1の画像調整部221は、明るい画像データを所定のサイズのブロック単位で分割する(ステップS902)。そして、第1の画像調整部221は、ブロック単位で明るさの平均値を算出する(ステップS903)。
次に、第1のシーン判定部222は、画像データを切り出すための明るさを表した第1の基準値を決定する(ステップS904)。その後、第1の画像切り出し部223が、第1の基準値より明るさの平均値が暗いブロックで構成された画像データ(暗い領域の画像データ)を切り出して、画質調整部251に出力する(ステップS905)。
ステップS901〜905と並列して、暗い画像用構成部230の第2の画像調整部231が、第2の撮像素子212から、暗い画像データを入力する(ステップS911)。その後、第2の画像調整部231は、入力された暗い画像データの画質を調整する。
その後、第2の画像調整部231は、暗い画像データを所定のサイズのブロック単位で分割する(ステップS912)。そして、第2の画像調整部231は、ブロック単位で明るさの平均値を算出する(ステップS913)。
次に、第2のシーン判定部232は、画像データを切り出すための明るさを表した第2の基準値を決定する(ステップS914)。その後、第2の画像切り出し部233が、第2の基準値より明るさの平均値が明るいブロックで構成された画像データ(明るい領域の画像データ)を切り出して、画質調整部251に出力する(ステップS915)。
そして、共通構成部250の画質調整部251が、切り出された2つの画像データを受け取った後、重複しているブロックについて画質を調整する(ステップS921)。本実施形態では、重複しているブロックに対して、2つの画像データを合成した後に違和感が生じなくなるように調整を行う。
そして、共通構成部250の画像合成部252が、切り出されたブロックで構成される2つの画像データを合成する(ステップS922)。その後、出力部253が、合成した画像データを出力する(ステップS923)。
上述した処理を行うことで、明るさの範囲が広い画像データを出力できる。なお、鉄道車両1は移動しているため、移動に応じて、周囲の明るさが変化する。静止画カメラでは、必要な明るさを得られるようにカメラのシャッタ速度を変化させることができるが、動画の撮影ではシャッタ速度を変化させることができないため、ゲインを調整することで、明るさを調整する必要がある。しかしながら、ゲインを上げると、撮影された画像データにノイズが発生する。監視や操縦を行う場合にノイズが含まれた画像データを用いるのは避ける方が好ましい。
そこで、本実施形態のカメラユニット201は、シャッタ速度が限界値(フレーム速度と同等)になった場合に、画像データ内の暗い領域に含まれている輝度値の平均値が、ノイズが発生する輝度値となった場合に、絞りを調整し、画像データにノイズが混入しないように制御を行う。その際に、第2の画像調整部231が輪郭を強調する調整を行う。このように、絞りを調整することで、画像データの明るさが変化するが、輪郭を強調することにより暗い部分の物体を浮き立たせることで、鉄道車両1が暗い場所を移動している場合でも、鮮明な画像データを提供できる。
次に、本実施形態にかかる鉄道車両1の監視装置100における、画像の調整処理について説明する。図10は、本実施形態にかかる鉄道車両1の監視装置100における上述した処理の手順を示すフローチャートである。
まず、制御部203は、明るい画像データを撮像する際のゲインが所定値以下か否かを判定する(ステップS1001)。所定値以下ではない場合(ステップS1001:No)に、通常の処置でゲインを調整すれば良いものとして処理を終了する。なお所定値は、撮像素子等の感度等に基づいて適切な値が設定されるものとする。
一方、制御部203が、所定値以下と判定した場合(ステップS1001:Yes)、明るい画像の暗い領域の輝度値が閾値以内であるか否かを判定する(ステップS1002)。閾値以内と判定した場合(ステップS1002:Yes)、通常の処理で良いため、処理を終了する。
一方、制御部203が閾値より大きいと判定した場合(ステップS1002:No)、輝度値が閾値以内に入るように、カメラユニット201のレンズ部301の絞りを調整する制御を行う(ステップS1003)。さらには、制御部203は、第1の画像調整部221及び第2の画像調整部231に対して、撮影された画像データの輪郭を強調するように指示を行う(ステップS1004)。
上述した処理手順により、輝度値が閾値に以内に入るように調整が行われることになる。このように、画像データにノイズが混入しないように絞りを調整する機能を備えることで、生成される画像データの画質を向上させることができる。
(第1の実施形態の変形例)
第1の実施形態では、分光部302で光を分割することで、撮像素子が取り込む光量が落ちている。そこで、変形例としては、光量が落ちないように、撮像素子毎にレンズを設ける例について説明する。図11は、第1の実施形態の変形例における監視装置1101の構成例を示した図である。図11に示されるように、第1の撮像素子1105を含む高輝度(明るい画像)用カメラ1102と、第2の撮像素子1104を含む低輝度(暗い画像)用カメラ1103と、画像合成部1106と、により構成されている。図11に示す様に、撮像素子毎にレンズを設けることで、明るさの減少を抑えた撮影が可能になる。
しかしながら、レンズを別々にするとレンズの距離分の視差が発生してしまう。本変形例では、監視装置1101の高輝度用カメラ1102と低輝度用カメラ1103のレンズを上下に配置し、左右視差を抑止することとした。図12は、監視装置1101のレンズ構成例を示した図である。図12で示されるようにレンズが上下に配置されていることが確認できる。これは、人は、上下視差よりも左右視差により違和感を覚えることに基づいている。そこで、本変形例では、上述した構成を備えることで、視差による違和感を少なくして明るい画像データの撮影が可能となる。
なお、画像合成部1106で行われる処理は、第1の実施形態の監視装置100で撮像してから、明るい領域と暗い領域とが合成された画像データを出力するまでの処理と同様のとして、説明を省略する。本変形例では、明るさの減少を抑止した撮影が可能となる。
(第2の実施形態)
第1の実施形態では、複数の撮像素子で撮像された画像データを合成する例について説明した。しかしながら、監視等を行う際に、画像データを合成する手法に制限するものではない。例えば、明るい領域と暗い領域との明るさの差が小さい場合には、1つの撮像素子で撮像した画像データを調整しても良い。そこで、本実施形態では、1つの撮像素子で撮影を行う例について説明する。また、本実施形態では、複数の撮像素子を備えた場合に1つの撮像素子で撮像する場合について説明するが、監視装置がそもそも1つの撮像素子を備えた上で、後述する制御を行っても良い。
図13は、本実施形態の監視装置1300及び符号化装置1380のブロック構成を示した図である。図13に示される監視装置1300は、第2の撮像素子212のみを用いて撮影を行う例について説明する。なお、監視装置1300は、第1の撮像素子211も備えているが、本実施形態では使用しないため、説明を省略する。そして、本実施形態のカメラユニット201は、複数の撮像素子211、212のうちいずれか1つで撮像可能とする。
カメラユニット201は、レンズ部301、分光部302、及び第2の撮像素子212で構成される。なお、第2の撮像素子212のみで撮像する場合には、分光部302を移動させる制御を行い、レンズ部301からの光が、分光部302を介さずに、直接第2の撮像素子212に入るようにしても良い。
さらに、カメラユニット201は、距離センサ1311の情報に従って、レンズ部301のフォーカスを合わせる。そして、カメラユニット201で撮像された画像データは、画質調整部1351により調整が行われる。
制御部1301は、第1の実施形態と同様に、監視装置1300全体を制御するための構成とする。
暗い画像用構成部1330は、第2の撮像素子212で撮像された画像データを調整するための構成であり、第2の画像調整部1331と、第2のシーン判定部1332と、第2の画像切り出し部1334と、で構成されている。
第2の画像調整部1331、第2のシーン判定部1332、及び第2の画像切り出し部1334は、2つの撮像素子211、212で撮像している場合、第1の実施形態と同様の処理を行う。そして、第2の撮像素子212のみで撮像されている場合には、特に処理を行わずに第2の撮像素子212で撮像された画像データを、画質調整部1351に出力する。
画質調整部1351は、複数の撮像素子のうちいずれか1つで撮像した場合に、いずれか1つで撮像された画像データについて、所定の明るさを基準として、明るい領域と暗い領域とを特定し、当該明るい領域について明るさを下げる(白レベルを下げても良い)又は輪郭強調を行い、暗い領域について明るさを上げる(白レベルを上げても良い)調整を行った後、調整した後の画像データを、画像合成部1352を介して、出力部1353に受け渡す。
そして、出力部1353は、符号化装置1380に画像データを出力する。
さらに、画質調整部1351は、距離センサ1311、位置センサ1312、状態確認センサ1313の情報に従って、画像データを調整する。状態確認センサとしては、例えば、ジャイロや加速度センサが考えられる。
符号化装置1380は、入力処理部1382と、符号化部1381と、で構成される。入力処理部1382は、入力された画像データに対して、画質を判定し、画質調整部1351に対して、調整する内容を指示してもよい。符号化部1381は、入力処理部1382により入力された画像データに対して符号化する。
監視装置1300で撮影を行う際、空等の明るい場所の背景がある場合の撮影では、画質調整部1351が、撮像した画像の明るさの平均値より白レベルを算出し、白レベルを調整してもよい。
図14は、第2の撮像素子212により撮像された画像データの第1の例を示している。図14に示す例では、晴天時の画像データの例であり、特に明るい領域1401と、平均値より明るい領域1402と、平均値より暗い領域1403と、で構成されている。特に明るい領域1402は、太陽などの光源等を含む領域とする。本実施形態の画質調整部1351は、画質調整を行う際に、当該領域の影響を除外した上で、換言すれば、平均値より明るい領域1402と、平均値より暗い領域1403と、に基づいて白レベル等や明るさなどの調整を行う。例えば、画質調整部1351は、特に明るい領域1401を特定し、当該特に明るい領域1401を除いた領域から、明るさの平均値を算出する。その後、平均値より明るい領域1402と、平均値より暗い領域1403と、を特定する。なお、特に明るい領域1402の判断基準はどのような判定基準を用いても良いが、例えば、白飛びした領域が所定の比率以上のブロックを特に明るい領域として判定する等が考えられる。
本実施形態の画質調整部1351は、平均値より明るい領域1402と、平均値より暗い領域1403と、では異なる画質調整を行う。画質調整部1351は、平均値より明るい領域1402について架線が視認しやすくなるように明るさを下げる(白レベルを下げる)調整したりする。画質調整部1351は、平均値より暗い領域1403について線路が視認しやすくなるように明るさを上げる(白レベルを上げる)調整したりする。本実施形態では、特定の位置(例えば線路の間)の領域の明るさを基準として、暗い領域1403の画質を調整しても良い。
本実施形態では、画像データの明るさを調整するためには、まずは第2の撮像素子212のゲインを調整するが、当該ゲインが所定の閾値以上になる場合に、ゲインの調整を抑止し、レンズ部301の絞りを調整することとした。しかしながら、絞りを調整すると、輪郭がぼやける場合もあるので、輪郭補正を行うこととした。このように、ゲインが所定の閾値に抑えられるため、ノイズの増加を抑えることができる。
図15は、第2の撮像素子212により撮像された画像データの第2の例を示している。図15に示す例では、夕方や撮影方向に強い明かりがある場合の画像データの例であり、特に明るい領域1501と、光が反射している領域1502と、逆光によりつぶれている領域1503と、で構成されている。
図15に示されるように、撮影の方向に強い光源がある場合、周囲が逆光となり、撮影画像の対象物が逆光により黒くつぶれてしまう可能性がある。さらには、レール等に光が反射した場合に、当該光により撮像された画像データで当該レール等の光のため、第2の撮像素子212が撮像する際に、明るさ調整が適切で無い可能性がある。
そこで、本実施形態の画質調整部1351は、図16に示されるような調整を行う。つまり、画質調整部1351は、撮像された画像データに明るさの限界値(閾値)に入る領域(特に明るい領域)がある場合に、当該領域(例えば領域1601、1603)を特定(なお、特に明るい領域は複数領域あっても良い)し、当該領域を除外した上で、画像データの明るさの平均値を算出する。画質調整部1351が平均値を算出した後、図14で示したように平均値より明るい領域と、平均値より暗い領域とをについて画質の調整を行うこととする。
図16に示す例では、画質調整部1351は、特に明るい領域1601、1603を除いた領域について、画質調整部1351は、平均値より暗い領域について、明るさ(白レベル)の調整と共に黒レベルの補正で、線路が視認できるように調整する。さらに線路が認識できるように輪郭強調を行う。
さらに、本実施形態では、入力処理部1382が逆光でつぶれている領域1602を検出して、画質調整部1351が、当該領域について逆光による画像のつぶれを少しでも改善するように、明るさ(白レベル)調整すると共に、黒レベル調整、及び輪郭強調を行ってもよい。これにより、画像の明るさを平滑化して光の反射を抑えることが可能となる。
さらに本実施形態の位置センサ1312の検出した位置情報に応じて、画質調整部1351が、撮像された画像データの画質を調整しても良い。例えば、トンネルや、ビル等の影等により明るさの変化が激しい場所がある。このような場所では、入力処理部1382が画像セータを解析した後、画質調整部1351が画像データの画質を調整しても間に合わない場合がある。さらには、このように、明るさが大きく変化する場合に、画質が大きく変化してしまい、符号量が増大する可能性がある。
そこで、本実施形態では、トンネル等が存在する位置を予め登録しておき、位置センサ1312の検出した位置情報が登録された位置と一致した場合に、当該位置と対応付けた画質調整等を行う。本実施形態では、トンネルに入る又は出ることによる明るさの変化に対応するために、画質調整部1351は、当該位置に応じた明るさ調整を行う。本実施形態では明るさ調整手法として、レンズ部301の絞りを調整する。これによりノイズの増加を抑えることができる。これにより、トンネルやビルの影等でも、線路や架線が視認できる。
ところで、操縦に用いるには人間の視点に近い方が良い、そのためレンズ部301に魚眼レンズを用いて左右の視界を広げてもよい。その場合に、魚眼レンズでは、画像データの周辺になるに従って歪みが大きくなるため、周囲の確認等を行うためには画像データの歪みを補正する必要がある。従来は、魚眼レンズで撮影された画像データでは中心から補正を行なっていた。しかしながら、鉄道車両1に用いる場合に、線路などの下側を監視したい場合が多い。そこで、本実施形態の画質調整部1351は、線路等を含む下側の情報ができる限り切れないように、補正を行うこととした。これにより、線路などの下側の監視が容易になる。
次に、本実施形態にかかる鉄道車両1の監視装置1300における、画像データを出力するまでの処理について説明する。図17は、本実施形態にかかる鉄道車両1の監視装置1300における上述した処理の手順を示すフローチャートである。
まず、画質調整部1351は、距離センサ1311の距離情報が所定の範囲外で、画像データの白レベルが所定の閾値以上であるか否かを判定する(ステップS1701)。距離情報が所定の範囲内、又は白レベルが所定の閾値より小さい場合(ステップS1701:No)、画質調整部1351が、画像データの全体の白レベルを、画像データの平均値に基づいて調整する(ステップS1702)。そして、出力部1353は、調整された画像データを出力して、終了する(ステップS1703)。
一方、画質調整部1351は、距離情報が所定の範囲外であって、白レベルが所定の閾値以上と判定した場合(ステップS1701:Yes)、白つぶれした領域が所定の割合(又はブロックの白レベルが所定の閾値以上でもよい。なお、閾値はステップS1701と異なる)以上のブロックを、特に明るい領域として特定する(ステップS1704)。なお、本実施形態では画像データを、16×16ドット毎に区切った領域をブロックとする。特に明るい領域については、画質調整対象から除くものとする。そして、画質調整部1351は、特に明るい領域を除いた画像データから、明るさの平均値を算出する。
そして、画質調整部1351は、明るさが平均値より高いブロックの組み合わせを明るい領域として切り出す(ステップS1705)。そして、画質調整部1351は、明るい領域について、明るさを下げる(又は白レベルを下げる)調整するとともに、黒レベルを調整すると共に、輪郭強調を行う(ステップS1706)。
そして、画質調整部1351は、それ以外の領域(換言すれば暗い領域)について、暗い領域に応じた明るさを上げる(又は白レベルを上げる)調整し、必要に応じて黒レベルを上げると共に、輪郭強調を行う(ステップS1707)。
次に、出力部1353は、調整後の明るい領域と、調整後の暗い領域と、を含む画像データを出力する(ステップS1708)。
(第2の実施形態の変形例)
なお、第2の実施形態は、図17に示す処理手順に制限するものではなく他の手法で画質の調整を行っても良い。例えば黒レベルではなくγ補正を用いても良い。そこで、第2の実施形態の変形例にかかる鉄道車両1の監視装置1300における、画像データを出力するまでの処理について説明する。図18は、本変形例にかかる鉄道車両1の監視装置1300における上述した処理の手順を示すフローチャートである。
まず、画質調整部1351は、距離センサ1311の距離情報が所定の範囲外で、画像データの白レベルが所定の閾値以上であるか否かを判定する(ステップS1801)。距離情報が所定の範囲内、又は白レベル所定の閾値より小さい場合(ステップS1801:No)、画質調整部1351が、画像データの全体の白レベルを、画像データの平均値に基づいて調整する(ステップS1802)。そして、出力部1353は、調整された画像データを出力して、終了する(ステップS1803)。
一方、画質調整部1351は、距離情報が所定の範囲外であって、白レベルが所定の閾値以上と判定した場合(ステップS1801:Yes)、白つぶれした領域が所定の割合(又はブロックの白レベルが所定の閾値以上でもよい。なお、閾値はステップS1701と異なる)以上のブロックを、特に明るい領域として特定する(ステップS1804)。特に明るい領域については、画質調整対象から除くものとする。そして、画質調整部1351は、特に明るい領域を除いた画像データから、明るさの平均値を算出する。
そして、画質調整部1351は、明るさが平均値より高いブロックの組み合わせを明るい領域として切り出す(ステップS1805)。そして、画質調整部1351は、白レベルが所定の閾値より小さいが平均値より明るい領域について、明るい領域に応じて明るさを下げる(例えば白レベルを下げる)調整とともに、γ補正を行い、輪郭強調を行う(ステップS1806)。γ補正としては、黒つぶれしている箇所を明るくし、白とびしている箇所が暗くなるようにトーンカーブを調整する。
そして、画質調整部1351は、それ以外の領域(換言すれば明るさが平均値より低い領域)について、暗い領域に応じて明るさを上げる調整(例えば白レベルを上げる)とともに、γ補正を行い、輪郭強調を行う(ステップS1807)。
次に、出力部1353は、調整後の明るい領域と、調整後の暗い領域と、を含む画像データを出力する(ステップS1808)。
上述した実施形態及び変形例については、白とびや黒つぶれが抑止された画像データを出力できるので、視認性を向上させることができる。これにより鉄道車両などの移動体の周辺の状況の監視や確認を容易にできる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。