JP2024047931A - 撮像装置、画像処理装置 - Google Patents
撮像装置、画像処理装置 Download PDFInfo
- Publication number
- JP2024047931A JP2024047931A JP2022153709A JP2022153709A JP2024047931A JP 2024047931 A JP2024047931 A JP 2024047931A JP 2022153709 A JP2022153709 A JP 2022153709A JP 2022153709 A JP2022153709 A JP 2022153709A JP 2024047931 A JP2024047931 A JP 2024047931A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- dark area
- area
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 107
- 238000012545 processing Methods 0.000 title claims description 48
- 238000012937 correction Methods 0.000 claims abstract description 66
- 238000005286 illumination Methods 0.000 claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 238000005259 measurement Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000010365 information processing Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】2次元画像における局所的な暗部補正を自動的かつ適正に行う。【解決手段】この撮像装置1においては、撮像部10が撮像する領域と共通の領域内の3次元形状を認識する3次元形状認識部30が設けられる。更に、撮像の対象となる領域に対する照明光の光源の位置情報も、記憶部40に記憶される。暗部領域推定部50は、3次元形状認識部30が認識した3次元形状と光源の位置関係より、この3次元形状がこの光源で照射された際の陰になる領域(暗部領域)を、3次元空間中において推定することができる。暗部領域2次元変換部60は、撮像情報より、前記のように推定された3次元形状中の暗部領域を、撮像によって得られた2次元画像中の領域に変換する。このように2次元画像中において認識された暗部領域が、暗部補正を要する領域となる。【選択図】図1
Description
本発明は、対象の撮像を行って得られた映像、2次元画像を出力する撮像装置、画像処理装置にに関する。
地上における1点に設置されて対象となる領域を監視するために、撮像装置が用いられる。一般的に監視は常時行われ、これにより得られた映像は、離間した場所にあるモニタでリアルタイムで見ることができる、あるいは一旦不揮発性メモリ等に映像信号として記憶されてから、必要に応じて後で見ることができる。
この際、撮像される環境の照度は時々刻々変化し、例えば昼間は太陽光で撮像対象となる領域全体が明るくなるのに対して、夜間は1点に固定された街灯が発した照明光のみによって照らされ、全体的に輝度は低くなる。こうした状況下でも、対象となる領域の明瞭な映像を得ることが要求される。このためには、輝度の低い領域における明暗の階調を補正する、暗部補正の技術が用いられている。
特許文献1には、暗部補正として、露光量(シャッター速度)が異なる同一対象に対する2つのフレーム映像を取得し、この2つのフレーム映像を合成することによって、映像の明暗のダイナミックレンジを広げる技術が記載されている。また、特許文献2には、画素毎に輝度等を認識し、輝度が低い(一定の閾値よりも低い)領域を暗部補正すべき領域であると認識し、これに対して階調補正を行うことによって、この領域に対しても適正な映像が得られるように補正を行う技術が記載されている。特に、閾値を適正に設定することによって、暗部補正をすべき領域を適正に認識することができる。
特許文献1に記載の技術においては、2つのフレーム映像を用いて補正後における1つのフレーム映像が形成されるため、時間分解能が低下した。このため、例えば対象となる領域に動きのある物体がある場合には、これを適切に認識できない場合があった。
また、特許文献2に記載の技術においては、輝度が低い領域における輝度が高くなるように暗部補正された。これに対して、本来は、輝度が低いために補正を行うべき領域は、例えば照明光が照射されないために陰になった領域であり、このような領域は、必ずしも実際に得られた輝度のみより識別できるものではない。例えば、照明光が充分にあたっているが色が黒い領域の輝度は低くなるが、このような領域に暗部補正を行うことは適切ではない。このように、この技術においては、補正前において適正な映像が得られていたために補正は不要である領域に対しても、補正が行われる場合があった。
このため、2次元画像における暗部補正を自動的かつ適正に行う技術が望まれた。
本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。
本発明は、対象となる領域を撮像することによって得られた2次元画像を出力する撮像装置であって、前記領域を撮像して前記2次元画像に対応する映像信号を出力する撮像部と、前記領域の3次元形状を認識する3次元形状認識部と、前記撮像装置の位置情報と、前記領域に対する照明光を発する光源の位置情報を記憶する記憶部と、前記3次元形状と前記光源の位置関係より、前記3次元形状の表面における、前記照明光が照射されない領域である3次元暗部領域を認識する暗部領域推定部と、前記撮像装置の位置情報、及び前記2次元画像が取得された際の視野より、前記2次元画像中における前記3次元暗部領域に対応した2次元暗部領域を算出する暗部領域2次元変換部と、を具備し、前記映像信号と共に前記2次元画像中における前記2次元暗部領域を特定する情報を出力する。
本発明は、対象となる領域を撮像することによって得られた2次元画像を出力する撮像装置であって、前記領域を撮像して前記2次元画像に対応する映像信号を出力する撮像部と、前記領域の3次元形状を認識する3次元形状認識部と、前記撮像装置の位置情報と、前記領域に対する照明光を発する光源の位置情報を記憶する記憶部と、前記3次元形状と前記光源の位置関係より、前記3次元形状の表面における、前記照明光が照射されない領域である3次元暗部領域を認識する暗部領域推定部と、前記撮像装置の位置情報、及び前記2次元画像が取得された際の視野より、前記2次元画像中における前記3次元暗部領域に対応した2次元暗部領域を算出する暗部領域2次元変換部と、前記2次元画像中の前記2次元暗部領域において局所的に暗部補正を行った映像信号を出力する信号処理部と、を具備する。
前記信号処理部は、前記2次元画像における前記2次元暗部領域の輪郭を構成する境界線を含む境界線周囲の領域において、前記2次元暗部領域からみた前記境界線の外側の領域から内側の領域にかけて、前記暗部補正の程度が段階的に強くなるように、前記境界線周囲の領域における画素に対して前記暗部補正を適用してもよい。
本発明は、対象となる領域を撮像部が撮像することによって得られた2次元画像において、局所的に輝度が低くなった一定の領域に対する暗部補正を行った上で出力する画像処理装置であって、前記領域の3次元形状と、前記領域に対する照明光を発する光源の位置情報と、を認識し、前記3次元形状と前記光源の位置関係より、前記3次元形状の表面における、前記照明光が照射されない領域である3次元暗部領域を認識する暗部領域推定部と、前記2次元画像が撮像された際の前記撮像部の位置情報、及び視野より、前記2次元画像中における前記3次元暗部領域に対応した2次元暗部領域を算出する暗部領域2次元変換部と、前記2次元画像における前記2次元暗部領域において局所的に暗部補正を行って出力する信号処理部と、を具備する。
前記信号処理部は、前記2次元画像における前記2次元暗部領域の輪郭を構成する境界線を含む境界線周囲の領域において、前記2次元暗部領域からみた前記境界線の外側の領域から内側の領域にかけて、前記暗部補正の程度が段階的に強くなるように、前記境界線周囲の領域における画素に対して前記暗部補正を適用してもよい。
本発明は、対象となる領域を撮像することによって得られた2次元画像を出力する撮像装置であって、前記領域を撮像して前記2次元画像に対応する映像信号を出力する撮像部と、前記領域の3次元形状を認識する3次元形状認識部と、前記撮像装置の位置情報と、前記領域に対する照明光を発する光源の位置情報を記憶する記憶部と、前記3次元形状と前記光源の位置関係より、前記3次元形状の表面における、前記照明光が照射されない領域である3次元暗部領域を認識する暗部領域推定部と、前記撮像装置の位置情報、及び前記2次元画像が取得された際の視野より、前記2次元画像中における前記3次元暗部領域に対応した2次元暗部領域を算出する暗部領域2次元変換部と、前記2次元画像中の前記2次元暗部領域において局所的に暗部補正を行った映像信号を出力する信号処理部と、を具備する。
前記信号処理部は、前記2次元画像における前記2次元暗部領域の輪郭を構成する境界線を含む境界線周囲の領域において、前記2次元暗部領域からみた前記境界線の外側の領域から内側の領域にかけて、前記暗部補正の程度が段階的に強くなるように、前記境界線周囲の領域における画素に対して前記暗部補正を適用してもよい。
本発明は、対象となる領域を撮像部が撮像することによって得られた2次元画像において、局所的に輝度が低くなった一定の領域に対する暗部補正を行った上で出力する画像処理装置であって、前記領域の3次元形状と、前記領域に対する照明光を発する光源の位置情報と、を認識し、前記3次元形状と前記光源の位置関係より、前記3次元形状の表面における、前記照明光が照射されない領域である3次元暗部領域を認識する暗部領域推定部と、前記2次元画像が撮像された際の前記撮像部の位置情報、及び視野より、前記2次元画像中における前記3次元暗部領域に対応した2次元暗部領域を算出する暗部領域2次元変換部と、前記2次元画像における前記2次元暗部領域において局所的に暗部補正を行って出力する信号処理部と、を具備する。
前記信号処理部は、前記2次元画像における前記2次元暗部領域の輪郭を構成する境界線を含む境界線周囲の領域において、前記2次元暗部領域からみた前記境界線の外側の領域から内側の領域にかけて、前記暗部補正の程度が段階的に強くなるように、前記境界線周囲の領域における画素に対して前記暗部補正を適用してもよい。
本発明によると、2次元画像における局所的な暗部補正を自動的かつ適正に行うことができる。
次に、本発明を実施するための形態を図面を参照して具体的に説明する。図1は、本発明の実施の形態に係る撮像装置1の構成を示すブロック図である。この撮像装置1は、地上における1点において固定され、特定の領域を撮像して映像信号(2次元画像)を出力する。この撮像装置1においては、対象となる領域の3次元形状を映像とは別に認識し、この3次元形状を基にして2次元画像中の暗部となる領域を推定する。
図1において、光学系や固体撮像素子(イメージセンサ)を具備する撮像部10で、この撮像が行われる。この映像信号は、信号処理部(暗部補正部)20によって後述するような処理(暗部補正)が行われた状態で、外部に映像信号として出力される。この際の撮像部10における各種条件の調整(ゲイン調整や光学系(レンズ)調整等による視野範囲(画角)の調整)は、撮像制御部11によって行われる。また、撮像装置1(撮像部10)の視野方向は、この撮像装置1の基台に設けられたモータ等の駆動によって機械的に制御され、この制御のために視野方向制御部12が設けられる。以上の内容は、信号処理部20における暗部補正以外については、周知の撮像装置(監視カメラ)と変わるところがない。
ここで、この撮像装置1においては、撮像部10が撮像する領域と共通の領域内の3次元形状を認識する3次元形状認識部30が設けられる。3次元形状認識部30は、例えば自身から測定(撮像)対象の各点(測定点)までの距離を認識することによって、各画素と距離を対応させた2次元の画像である距離画像を得る距離画像取得部31と、得られた距離画像からこの領域内の3次元形状を認識する3D情報処理部32を具備する。3次元形状認識部30が3次元形状を認識する対象となる領域は、撮像部10が撮像する領域と等しい必要はなく、対応関係が判明していれば、撮像部10が撮像する領域、あるいは撮像する領域内において特に注目すべき領域(特定の物体、建造物等)が定まっていればこの領域が、3次元形状認識部30が3次元形状を認識した領域に含まれていればよい。
撮像部10では通常の光学系とイメージセンサ(CCD、CMOSセンサ)が用いられたのに対し、距離画像取得部31では、TOF(Time of Flight)カメラ、LIDAR(レーザーレーダー)等が用いられる。TOFカメラ、LIDARのどちらにおいても、自身が発した光の対象からの反射光を受光することによって、この対象までの距離が測定点毎に測定される。
撮像部10と距離画像取得部31は隣接して共通の筐体に固定され、視野方向制御部12による視野の制御に際しては、各々の視野は連動して変化する。このため、撮像部10が撮像する領域等が、3次元形状認識部30が3次元形状を認識する対象となる領域に常時含まれるようにすることは容易である。この際、撮像部10においては、例えばこの映像による監視の目的に応じた解像度が必要となるが、後述するように、距離画像取得部31の解像度は、対象となる領域中の物体の全体形状が把握できる程度でもよく、撮像部10に要求される解像度よりも低くともよい。3D情報処理部32は、この距離画像より、撮像された領域、あるいはこの領域中の物体の3次元形状を認識する。この3次元形状を特定するデータは、後述するように、距離が測定された複数の測定点の3次元空間内での位置情報で構成され、暗部補正すべき領域を推定するために用いられる。この撮像装置1(撮像部10、距離画像取得部31)の視野方向は撮像制御部11によって認識され、この視野方向が特定されれば、3D情報処理部32は、このような各測定点の位置情報を認識することができる。
撮像部10で得られた映像信号と、3次元形状認識部30で得られた3次元形状データは、ハードディスクや不揮発性メモリで構成された記憶部40に記憶される。また、記憶部40には、暗部補正に用いる各種の補正用のパラメータ等も記憶されている。
また、記憶部40には、撮像された領域を3次元空間中で特定するために必要となる撮像情報も記憶される。撮像情報としては、撮像部10の視野方向、視野範囲(画角)、撮像装置1自身の位置情報がある。このうち、視野方向、視野範囲はこの撮像装置1の使用時に変更される場合があるが、視野方向は視野方向制御部12によって、視野範囲(画角)は撮像制御部11によって、現在の値がそれぞれ認識される。撮像装置1自身の位置情報は、この撮像装置1の設置時に予め記憶される。
更に、撮像の対象となる領域に対する照明光の光源(例えば街灯)の位置情報も、記憶部40に記憶される。例えばこの撮像装置1が監視カメラとして用いられ、この光源が街灯である場合には、この光源の位置は変わらず、光源位置情報は撮像装置1の初期設定時に記憶させることができる。
暗部領域推定部50は、3次元形状認識部30が認識した3次元形状と光源の位置関係より、この3次元形状がこの光源で照射された際の陰になる領域(暗部領域)を、3次元空間中において推定することができる。
暗部領域2次元変換部60は、撮像情報(撮像装置1の位置情報、2次元画像が取得された際の撮像部10の視野)より、撮像された領域と上記のように認識された3次元形状との間の対応関係を認識することができ、前記のように推定された3次元形状中の暗部領域を、撮像によって得られた2次元画像中の領域に変換することができる。このように2次元画像中において認識された暗部領域が、暗部補正を要する領域となる。
信号処理部20は、この2次元画像中において、暗部領域として推定された領域に対してのみ局所的に暗部補正、すなわち、明暗の階調補正を行って、新たな映像信号として出力する。この暗部補正の内容は、例えば特許文献1に記載の方法と同様であるため、詳細は省略する。なお、この処理は、撮像部10で得られた映像信号における1フレーム毎の2次元画像に対して行われる。この際、映像信号における各フレームに対応して前記の3次元形状データ、これを用いた暗部領域を得る必要はなく、後述するように、必要に応じて3次元形状データ、暗部領域を得ればよい。
以下に、この撮像装置1において得られた2次元画像中における暗部領域を推定する動作について説明する。図2(a)は、撮像部10によって撮像された1フレーム分の2次元画像の例であり、ここでは、円柱形状の物体Aのみが存在するものとし、この物体Aがやや上面側から撮像されている。この2次元画像中における暗部領域が推定される。
一方、図2(b)は、これに対応して3次元形状認識部30で得られた3次元形状データを図2(a)に対応させて平面的に示した例である。図2(a)は実際に2次元画像であるのに対して、図2(b)は実際には3次元の図であり、ここでは便宜上2次元画像として示されている。また、ここでは、撮像によって得られた図2(a)の領域と3次元形状が得られた図2(b)の領域は等しいものとしている。この場合、図2(b)は、図2(a)と同じ方向、視野でみた物体Aの距離画像と考えることもでき、ここでは、距離が測定された測定点が黒点で示されている。物体Aの表面上の複数の点が測定点となり、この各測定点を頂点とする多面体として物体Aの3次元物体形状A0が認識される。なお、ここでは便宜上物体A上の測定点のみが示されているが、実際には図2(b)における他の箇所にも測定点は同様に存在するが、物体A以外の箇所は暗部領域とは無関係であるためにその記載は省略されている。3次元形状データは、このように3次元物体形状A0を含む全ての測定点の位置情報からなる点群データとして、3D情報処理部32で認識され、記憶部40に記憶される。図2(a)の2次元画像、図2(b)における3次元形状データのどちらにおいても、撮像装置1側から見た視線方向で、物体Aに遮られる部分(視線方向で、より手前側に物体Aの一部が存在するような部分)は認識されない。
暗部領域推定部50は、光源の位置情報より、図2(b)において、認識された3次元形状形状と光源Pとの間の位置関係を認識する。図2(c)においては、光源Pは物体A(3次元物体形状A0)の左側上方に位置するものとする。また、光源Pは点光源であるものとし、照明光は光源Pから全方位にわたり放射状に発せられる。
次に、暗部領域推定部50は、光源Pと図2(c)における各測定点を直線で結んだ線分において、図2(b)(c)で認識された3次元物体形状A0で遮られる部分があるか否かを認識する。図2(d)においては、この状況が示され、遮られることがない線分が破線、この場合の測定点が黒丸で、遮られる線分が点線、この場合の測定点が白丸で、それぞれ示されている。白丸となった測定点に対応する物体A上の1点は、この光源Pで照射される場合に陰になる(暗部となる)と推定される。このため、図2(e)に示されるように、白丸となった測定点で構成される、ハッチングされた3次元物体形状A0の一部の領域は、3次元物体形状A0中における暗部領域(3次元暗部領域C3)であると推定される。
暗部領域2次元変換部60は、撮像情報における視野方向、視野範囲より、図2(e)における3次元暗部領域C3を、図2(a)の2次元画像中における領域に変換し、図2(f)に示されるように、図2(a)の2次元画像中における2次元暗部領域C2として認識する。
信号処理部20は、図2(f)における、2次元暗部領域C2内の画素のみに対して、この中での明暗が明瞭となるような暗部補正を行う。具体的には、輝度の低い画素の輝度が、明暗の階調(コントラスト)を適正に保った上で高められるような補正が行われる。
この場合においては、2次元暗部領域C2は、物体Aの3次元形状と光源Pの位置から合理的に推定され、2次元暗部領域C2においては暗部補正が行われると共に、輝度が小さいが本来暗部補正が不要であるような他の領域には暗部補正は行われない。このため、より適正に暗部補正が行われる。図2の例では、3次元形状が測定された領域(図2(b))と、撮像された領域(図2(a))が等しいものとされたが、前記の通り、これらが一致している必要はなく、撮像された領域あるいはこの中で特に特に注目すべき領域が、3次元形状が測定された領域に含まれていればよい。
例えば図2に示されたように、動きがない大きな物体Aの表面の詳細な部分の時間的な変化を認識するために暗部補正が必要となる場合がある。これに対して、上記のように、暗部領域の発生には、前記のような物体Aの全体的な形状は影響するが、一般的にはこのような詳細な部分は影響しない。この場合、暗部領域を判定するために用いられる図2(b)の3次元物体形状A0の空間分解能(測定点の密度)は、物体Aの全体形状が認識できる程度であればよく、撮像部10の分解能より低くてもよい。
また、撮像部10の視野方向、視野範囲が一定であり、かつ物体Aに動きがない状態においては、これによる2次元画像に対して適用される3次元形状データ(3次元物体形状A0)の時間的変化はない。この場合には、映像信号中における異なるフレームの2次元画像に対しても、共通の3次元物体形状A0を用いることができる。このため、図2(b)のように3次元形状データを取得する作業は、記憶部40に記憶されている3次元形状データが2次元画像に対して適用できなくなった場合等においてのみ行えばよい。この場合、3次元暗部領域C3を特定するデータ(暗部領域情報)を記憶部40に記憶させておけば、光源Pの位置が変わっても、図2(d)以降の作業のみを行い、2次元暗部領域C2を算出すればよい。
更に、撮像部10の視野方向、視野範囲が一定であり、光源Pの位置にも変化がなければ、3次元暗部領域C3、2次元暗部領域C2は変わらない。この場合には、前記の3次元暗部領域C3を特定するデータの代わりに、2次元暗部領域C2を特定するデータ暗部領域情報として記憶部40に記憶させ、これを異なる2次元画像に対して共通に適用することもできる。
特に、この撮像装置1が監視カメラとして用いられる場合には、通常はその位置は地上における1点に固定されて不変であり、光源Pが街灯である場合には、光源Pの位置も不変である。撮像部10の視野方向、視野範囲については、例えば携帯型の撮像装置と比べて、一般的にはその変動は小さく、かつ、撮像制御部11、視野方向制御部12によってこれを正確に認識することができる。このため、特にこの撮像装置1を監視カメラとして用いる場合には、3次元形状データを取得する頻度は少なくても、図2(f)において暗部補正が必要となる領域を適正に認識することができるため、上記の構成は有効である。
図3は、上記のような暗部補正に関わる動作を示すフローチャートである。ここでは、この暗部補正が映像信号の1フレーム毎にリアルタイムで行われ、補正後の映像信号が出力されるものとする。この際、前記のように映像信号は連続的に得られるのに対して、3次元形状データ(3次元物体形状A0)や光源Pの位置情報は、記憶部40に記憶されたものが適正であると考えられる場合にはこれらを用い、適正でないと考えられる場合には更新されるものとする。
ここでは、まず、信号処理部20は、撮像部10によって得られた補正前の映像信号から、1フレーム分の2次元画像を、処理の対象として認識すると共に、これに対応した撮像情報も認識する(S1)。次に、信号処理部20は、現在記憶部40に記憶されている3次元形状データを記憶部40から読み出し(S2)、この3次元形状データがこの2次元画像に対応しているか否かを認識する(S3)。この際、信号処理部20は、撮像情報から認識した2次元画像の範囲が、認識された3次元形状データの中に含まれない場合には、この3次元形状データはこの2次元画像に対応していないと判定することができる。また、例えば、前回の処理後に撮像装置1の視野方向が視野方向制御部12によって変更された場合には、対応していないと推定することもできる。あるいは、例えば、2次元画像中において特に着目すべき領域が定まっている場合には、この領域についてのみ明瞭な2次元画像を得るために、この領域が3次元形状データの中に含まれている場合には、対応していると推定することもできる。
3次元形状データがこの2次元画像に対応していると判定された場合(S3:Yes)には、この3次元形状データがそのまま使用される。一方、3次元形状データがこの2次元画像に対応してないと判定された場合(S3:No)には、信号処理部20は、3次元形状認識部30を用いて、この2次元画像に対応する最新の3次元形状データを入手し(S4)、記憶部40に記憶させ、以降の処理ではこれを用いる。
光源Pの位置情報についても同様であり、信号処理部20は、現在記憶部40に記憶されている光源Pの位置情報に前回の処理時からの変更があったか否かを判定する(S5)。変更がない場合(S5:No)には、以降の処理でこの位置情報がそのまま使用される。一方、変更があった場合(S5:Yes)には、信号処理部20は、光源Pの位置情報を更新し(S6)、以降の処理ではこれを用いる。
次に、暗部領域推定部50は、このように認識された3次元形状データ、光源Pの位置情報を用いて、図2(d)(e)に示されたように、3次元暗部領域C3を算出する(S7)。その後、暗部領域2次元変換部60は、撮像情報を用いてこの3次元暗部領域C3を2次元暗部領域C2に変換し(S8)、信号処理部20は、この2次元暗部領域C2に対して暗部補正を行う(S9)。
上記の処理は、映像信号における各フレーム毎の2次元画像に対して行われる。ただし、例えば映像の開始時から終了時までに撮像装置1の視野に変更がなく、かつ光源の位置にも変化がない場合には、全ての2次元画像に対して、共通の2次元暗部領域C2を用いることができ、これを記憶部40に記憶させておけば、上記のS2~S8の工程は不要となる。特にこの撮像装置1が監視カメラとして用いられる場合には、このような場合が多くなる。
上記の例では、暗部補正の動作は、映像の各フレーム毎にリアルタイムで行われるものとした。しかしながら、例えば補正前の映像信号とこれに対応した撮像情報、3次元形状データ等を一旦記憶部40に記憶させておけば、後でこれらを読み出すことによって、元の映像信号に対して上記と同様の暗部補正を施すこともできる。すなわち、上記の処理を撮像の際にリアルタイムで行う必要はない。
また、上記のような2次元暗部領域C2の算出とは別に、例えば図2(a)に示された2次元画像に対してパターン認識技術を適用し、物体Aの画像から、例えば輝度が一様に小さな一定の領域を認識することもできる。この場合、この領域と、上記のように認識された2次元暗部領域C2とを比較し、両者は細かい点で異なるが大部分で共通である場合には、実際に暗部補正をすべき領域は、より正確にはこのように認識された輝度が一様に小さな一定の領域であると推定することもできる。3次元形状データの空間分解能(測定点の密度)が低いために2次元暗部領域C2の空間分解能が低い場合には、このような推定をすることがより合理的である。すなわち、上記のように推定された2次元暗部領域C2を、直接暗部補正すべき領域とはせずに、暗部補正をすべき領域を定めるための指針として用いてもよい。
また、上記の例では、光源Pは点光源であるとされた。しかしながら、光源が例えば点光源とはみなせず一定の広がりをもつ場合においては、この光源を点光源の集合と考え、この場合の個々の点光源に対して上記と同様の処理を行うことにより、同様に3次元暗部領域C3、2次元暗部領域C2を算出することができる。
また、上記の例では、図2(f)における2次元暗部領域C2の外側では暗部補正を全く行わず、2次元暗部領域C2の内部でのみ一様に暗部補正が行われた。この場合には、これらの境界となる部分が不自然な線状に強調される場合がある。このような場合には、2次元暗部領域C2の輪郭を構成する境界線付近で、このような暗部補正の程度が徐々に変化するような暗部補正を行えばよい。この場合には、例えば、この境界線を含む境界線周囲の領域において、境界線外側の領域から境界線内側の領域にかけて、暗部補正の程度が段階的に強くなるように、各画素に対して暗部補正を行えばよく、これによって、より自然な表示を行うことができる。
上記の撮像装置1においては、対象が撮像されると共に、上記のように局所的に暗部補正が行われた映像信号が出力された。一般的には、この撮像装置1から出力された映像信号は、離間した箇所における表示装置(ディスプレイ)で映像とされて表示される。この際、暗部補正の処理用の例えば明暗の階調の調整用のパラメータは、作業者が実際の画像をみた上で設定することが好ましい場合がある。
このため、上記の信号処理部20の機能(暗部補正)を、撮像装置側ではなく、例えば表示装置側で行ってもよい。この場合においては、図1において、信号処理部20が暗部補正済みの映像信号を出力する代わりに、補正前の映像信号と、これに対応した2次元暗部領域領域C2を特定するための情報(2次元暗部領域情報)を共に表示装置側に出力すればよい。この場合においても、上記の構成によって暗部補正を行うべき領域が自動的に特定されるため、利便性が高まる。
あるいは、図1において、カメラとして機能する撮像部10、撮像制御部11、視野方向制御部12を設けず、かつ3次元形状を測定するための3次元形状認識部30も設けず、映像信号と、これに対応した3次元形状のデータ、撮像情報、光源位置情報、距離画像情報を入手し、映像信号に対して暗部補正を行って出力する画像処理装置を得ることも可能である。
図4は、このような画像処理装置2の構成を示す図である。ここでは、映像信号(補正前)、撮像情報、光源位置情報、3次元形状、距離画像情報が外部から入力し、前記の記憶部40、暗部領域推定部50、暗部領域2次元変換部60、信号処理部(暗部補正部)20とそれぞれ同様の、記憶部140、暗部領域推定部150、暗部領域2次元変換部160、信号処理部(暗部補正部)120が設けられる。前記のように、3次元形状が時間的に変化しないものとした場合には、この画像形成装置2においてリアルタイムで入手する必要があるのは映像信号のみである。このため、この画像処理装置2の構成は単純となる。
また、例えば撮像部10、3次元形状認識部30等を別体として監視用に屋外等に監視カメラとして設け、コンピュータで図4の画像処理装置2を構成してこれと離間して設けることができる。
以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
1 撮像装置
2 画像処理装置
10 撮像部
11 撮像制御部
12 視野方向制御部
20、120 信号処理部(暗部補正部)
30 3次元形状認識部
31 距離画像取得部
32 3D情報処理部
40、140 記憶部
50、150 暗部領域推定部
60、160 暗部領域2次元変換部
A 物体
A0 3次元物体形状
C2 2次元暗部領域
C3 3次元暗部領域(暗部領域)
P 光源
2 画像処理装置
10 撮像部
11 撮像制御部
12 視野方向制御部
20、120 信号処理部(暗部補正部)
30 3次元形状認識部
31 距離画像取得部
32 3D情報処理部
40、140 記憶部
50、150 暗部領域推定部
60、160 暗部領域2次元変換部
A 物体
A0 3次元物体形状
C2 2次元暗部領域
C3 3次元暗部領域(暗部領域)
P 光源
Claims (5)
- 対象となる領域を撮像することによって得られた2次元画像を出力する撮像装置であって、
前記領域を撮像して前記2次元画像に対応する映像信号を出力する撮像部と、
前記領域の3次元形状を認識する3次元形状認識部と、
前記撮像装置の位置情報と、前記領域に対する照明光を発する光源の位置情報を記憶する記憶部と、
前記3次元形状と前記光源の位置関係より、前記3次元形状の表面における、前記照明光が照射されない領域である3次元暗部領域を認識する暗部領域推定部と、
前記撮像装置の位置情報、及び前記2次元画像が取得された際の視野より、前記2次元画像中における前記3次元暗部領域に対応した2次元暗部領域を算出する暗部領域2次元変換部と、
を具備し、前記映像信号と共に前記2次元画像中における前記2次元暗部領域を特定する情報を出力することを特徴とする撮像装置。 - 対象となる領域を撮像することによって得られた2次元画像を出力する撮像装置であって、
前記領域を撮像して前記2次元画像に対応する映像信号を出力する撮像部と、
前記領域の3次元形状を認識する3次元形状認識部と、
前記撮像装置の位置情報と、前記領域に対する照明光を発する光源の位置情報を記憶する記憶部と、
前記3次元形状と前記光源の位置関係より、前記3次元形状の表面における、前記照明光が照射されない領域である3次元暗部領域を認識する暗部領域推定部と、
前記撮像装置の位置情報、及び前記2次元画像が取得された際の視野より、前記2次元画像中における前記3次元暗部領域に対応した2次元暗部領域を算出する暗部領域2次元変換部と、
前記2次元画像中の前記2次元暗部領域において局所的に暗部補正を行った映像信号を出力する信号処理部と、
を具備することを特徴とする撮像装置。 - 前記信号処理部は、前記2次元画像における前記2次元暗部領域の輪郭を構成する境界線を含む境界線周囲の領域において、前記2次元暗部領域からみた前記境界線の外側の領域から内側の領域にかけて、前記暗部補正の程度が段階的に強くなるように、前記境界線周囲の領域における画素に対して前記暗部補正を適用することを特徴とする請求項2に記載の撮像装置。
- 対象となる領域を撮像部が撮像することによって得られた2次元画像において、局所的に輝度が低くなった一定の領域に対する暗部補正を行った上で出力する画像処理装置であって、
前記領域の3次元形状と、前記領域に対する照明光を発する光源の位置情報と、を認識し、前記3次元形状と前記光源の位置関係より、前記3次元形状の表面における、前記照明光が照射されない領域である3次元暗部領域を認識する暗部領域推定部と、
前記2次元画像が撮像された際の前記撮像部の位置情報、及び視野より、前記2次元画像中における前記3次元暗部領域に対応した2次元暗部領域を算出する暗部領域2次元変換部と、
前記2次元画像における前記2次元暗部領域において局所的に暗部補正を行って出力する信号処理部と、
を具備することを特徴とする画像処理装置。 - 前記信号処理部は、前記2次元画像における前記2次元暗部領域の輪郭を構成する境界線を含む境界線周囲の領域において、前記2次元暗部領域からみた前記境界線の外側の領域から内側の領域にかけて、前記暗部補正の程度が段階的に強くなるように、前記境界線周囲の領域における画素に対して前記暗部補正を適用することを特徴とする請求項4に記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022153709A JP2024047931A (ja) | 2022-09-27 | 2022-09-27 | 撮像装置、画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022153709A JP2024047931A (ja) | 2022-09-27 | 2022-09-27 | 撮像装置、画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024047931A true JP2024047931A (ja) | 2024-04-08 |
Family
ID=90606536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022153709A Pending JP2024047931A (ja) | 2022-09-27 | 2022-09-27 | 撮像装置、画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024047931A (ja) |
-
2022
- 2022-09-27 JP JP2022153709A patent/JP2024047931A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11877086B2 (en) | Method and system for generating at least one image of a real environment | |
US10997696B2 (en) | Image processing method, apparatus and device | |
EP3614171B1 (en) | Image processing method, computer-readable storage medium, and electronic apparatus | |
JP5108093B2 (ja) | 撮像装置及び撮像方法 | |
EP3438777B1 (en) | Method, apparatus and computer program for a vehicle | |
US8786679B2 (en) | Imaging device, 3D modeling data creation method, and computer-readable recording medium storing programs | |
CN106851123B (zh) | 曝光控制方法、曝光控制装置及电子装置 | |
JP4111592B2 (ja) | 3次元入力装置 | |
WO2020038255A1 (en) | Image processing method, electronic apparatus, and computer-readable storage medium | |
JP6381404B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
CN112361990B (zh) | 激光图案提取方法、装置、激光测量设备和系统 | |
KR20200041371A (ko) | 더블 카메라 기반 이미징 방법 및 장치 | |
JP2015046019A (ja) | 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体 | |
JP5487581B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び、撮像装置 | |
JP2021044710A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2001285762A (ja) | 画像印刷装置 | |
JP2024047931A (ja) | 撮像装置、画像処理装置 | |
JP4539400B2 (ja) | ステレオカメラの補正方法、ステレオカメラ補正装置 | |
JP2020057967A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム | |
JP7311995B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
JP7028814B2 (ja) | 外形認識装置、外形認識システム及び外形認識方法 | |
KR20150000911A (ko) | 투사면과 영상의 자동 맵핑 장치 및 방법 | |
JP2013214938A (ja) | 撮影装置及び撮影装置の画像処理方法 | |
CN112866596A (zh) | 基于cmos传感器的抗强光三维捕捉方法及系统 | |
WO2020084894A1 (ja) | マルチカメラシステム、制御値算出方法及び制御装置 |