JP7793333B2 - 撮像システム、制御方法、プログラム及び記憶媒体 - Google Patents

Description

撮像システム、制御方法、プログラム及び記憶媒体に関する。

監視カメラなどでは、明暗差の大きな環境や照明が異なる環境などに対してダイナミックレンジを拡大して撮像することが望まれている。

特許文献１では、撮像面における複数の画素ブロックごとに露光時間を制御することでダイナミックレンジを拡大する技術が開示されている。

ＷＯ２０１７／０１８１８８

本発明が解決しようとする課題は、露光時間をはじめとした露出パラメータを設定することができる画素ブロックの視認性を向上させることである。

上記課題を解決するために、本発明の一態様に係る撮像システムは、撮像面における複数の画素からなる画素ブロックが二次元状に配置された撮像部であって、該画素ブロックに露出パラメータを個別に設定可能な撮像部と、第１の露出パラメータと第２の露出パラメータとの差を所定の値以上となるように決定する決定部と、前記決定部が決定した前記第１の露出パラメータと前記第２の露出パラメータとを前記画素ブロックに前記二次元状に交互に設定して撮像する制御を行う露出制御部と、前記撮像部が撮像した画像を表示する表示部と、を有する。

本発明によれば、露光時間をはじめとした露出パラメータを設定することができる画素ブロックの視認性が向上する。

第１の実施形態に係る撮像システムの構成の一例を示す図。 第１の実施形態に係る撮像装置の構成の一例を示す図。 第１の実施形態に係るクライアント装置の構成の一例を示す図。 第１の実施形態に係る撮像システムの機能の構成の一例を示す図。 第１の実施形態に係る撮像装置における撮像面と撮像した画像との一例を示す図。 第１の実施形態に係る撮像システムの動作の一例を示す図。 第１の実施形態に係る撮像装置における撮像面の画素ブロックの一例を模式的に示す図。 第１の実施形態に係る撮像システムによって撮像された画像の一例を示す図。 第１の実施形態に係る撮像装置における撮像面の画素ブロックの一例を模式的に示す図。 第１の実施形態に係る撮像システムによって撮像された画像と指定領域を示す図。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

＜実施形態１＞
（システム構成）
図１は本実施形態に係る撮像システムを構成するハードウェアの一例を示す図である。撮像システム１００は撮像装置１０１、ネットワーク１０２、クライアント装置１０３、表示部１０４及び入力部１０５を有する。

撮像装置１０１はクライアント装置１０３とネットワーク１０２を介して通信可能である。撮像装置１０１は被写体を撮像して画像を生成し、ネットワーク１０２を介してクライアント装置１０３へと撮像した画像を送信する。クライアント装置１０３には表示部１０４及び入力部１０５が接続されている。撮像装置１０１から送られた画像はクライアント装置１０３を経由して表示部１０４に出力され、表示される。また、入力部１０５はキーボードやマウス等であり、クライアント装置１０３を操作するために用いられる。尚、クライアント装置１０３への操作はネットワーク１０２を介した撮像装置１０１の撮像条件の設定やＰＴＺ（Ｐａｎ Ｔｉｌｔ Ｚｏｏｍ）の操作を含む。

本実施形態では、クライアント装置１０３、表示部１０４及び入力部１０５が別体としているが、タッチパネルディスプレイを有するノートＰＣのようにクライアント装置１０３、表示装置１０４及び入力装置１０５が一体となった構成でもよい。また、ネットワーク１０２を介して接続されている必要はなく、監視カメラ１０１とクライアント装置１０３が直接接続される構成でもよい。さらに言えば、タッチパネルディスプレイを有するコンシューマカメラのように撮像装置１０１、クライアント装置１０３、表示部１０４及び入力部１０５の全てが一体となった構成でもよい。

（装置構成）
図２は本実施形態に係る撮像装置の装置構成の一例を示す図である。撮像装置１０１は、像部２０１、ネットワークＩ／Ｆ２０２、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０４及び、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０５を有する。また、撮像光学系２００は監視カメラ１０１に着脱可能に設けられている。

撮像光学系２００は被写体からの光を後述する撮像素子２０１ａの撮像面に集光するレンズであり、例えばズームレンズ、フォーカスレンズ及びぶれ補正レンズ等で構成される。

本実施形態では、撮像装置１０１と撮像光学系２００は別体として着脱可能に設けられているが、レンズ一体型のカメラのように撮像装置１０１と撮像光学系２００とが一体となった構成でもよい。

撮像部２０１は、撮像光学系２００による被写体の像を撮像し、画像を生成する。撮像部２０１は、撮像素子２０１ａ、増幅部２０１ｂおよびＡ／Ｄ変換部２０１ｃを有している。

撮像素子２０１ａは、撮像光学系２００によって集光された被写体からの光を光電変換して画像信号を出力する。撮像素子２０１ａ（撮像部２０１）の撮像面には複数の画素（例えば１２８×１２８個の画素）からなる画素ブロックが二次元状に配置されている。該画素ブロックには、露出パラメータを個別に設定可能である。ここで露出パラメータとは、露出に関するパラメータであり、露光時間や後述するアナログゲイン、露出値のうち少なくとも１つを含むパラメータである。撮像素子２０１ａは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどである。

増幅部２０１ｂは、撮像素子２０１ａから出力された電気信号を増幅して出力する。増幅器２０１ｂは画素ごとに設けられており、その信号増幅率（アナログゲイン）は撮像素子２０１ａの画素ブロックごとに設定・変更できる。

Ａ／Ｄ変換部２０１ｃは、増幅器２０１ｂから出力されたアナログ信号である画像信号をデジタル信号へとＡ／Ｄ変換を行う。

ネットワークＩ／Ｆ２０２は、Ａ／Ｄ変換部２０１ｃから出力されたデジタル信号である画像データを、ネットワーク１０２を介してクライアント装置１０３へと送信するためのインターフェースである。これにより送信される画像データは、画像処理によってＭｏｔｉоｎ ＪｐｅｇやＨ２６４、Ｈ２６５などの所定のファイルフォーマットに符号化処理済みの画像データでもよい。画像データは後述するＲＡＭ２０４やＲＯＭ２０５などの内部記憶装置や、ＳＤカードのような着脱可能な記憶媒体に記憶されても良い。

ＣＰＵ２０３は撮像装置１０１を統括制御する中央処理装置である。ＲＡＭ２０４はＣＰＵ２０３が実行するコンピュータプログラムを一時的に記憶する。ＲＡＭ２０４はＣＰＵ２０３が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ２０５は、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ２０５は、ＣＰＵ２０３が撮像装置１０１を制御するためのプログラムなどを記憶する。

図３は、本実施形態に係るクライアント装置の装置構成の一例を示す図である。クライアント装置１０３は、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、入力Ｉ／Ｆ３０４、出力Ｉ／Ｆ３０５及びネットワークＩ／Ｆ４０６を有する情報処理装置である。

ＣＰＵ３０１はクライアント装置１０３を統括制御する中央処理装置である。

ＲＡＭ３０２はＣＰＵ３０１がクライアント装置１０３を制御するためのプログラムなどを一時的に記憶する。ＲＡＭ３０２はＣＰＵ３０１が処理を実行する差に用いるワークエリアを提供する。また、ＲＡＭ３０２は、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ３０３は、ＣＰＵ３０１がクライアント装置１０３を制御するためのプログラムなどを記憶する。

入力Ｉ／Ｆ３０４は、入力部１０５とクライアント装置１０３とを接続するためのインターフェースであり、ユーザから入力部１０５を介して入力されたクライアント装置１０３に対する操作を受け付ける。

出力Ｉ／Ｆ３０６は、表示部１０４と接続するためのインターフェースであり、撮像装置１０１から出力された画像を出力する。

ネットワークＩ／Ｆ３０６は、ネットワーク１０２を介して監視カメラ１０１と接続し、監視カメラ１０１に対する操作情報を入力したり、監視カメラ１０１から出力された画像を受け付けたりするためのインターフェースである。

（機能構成）
図４は、本実施形態に係る撮像システムの機能構成の一例を示す図である。撮像システム１００は、撮像部２０１、決定部４０１、露出制御部４０２及び表示部１０４を有する。図４に示す各部は、ＣＰＵ２０３（或いはＣＰＵ３０１）がＲＡＭ２０４（或いは３０２）やＲＯＭ２０５（或いはＲＯＭ３０３）に格納されたプログラムを読み込み、実行することで成し得る機能である。

撮像部２０１には、撮像面における複数の画素からなる画素ブロックが二次元に配置されており、該画素ブロックに露出パラメータを個別に設定可能である。

決定部４０１は、第１の露出パラメータと第２の露出パラメータとの差を所定の値以上となるように決定する。第１の露出パラメータと第２の露出パラメータとは、露光時間、ゲインおよび露出値のうち少なくとも１つを含むパラメータである。従って、第１の露出パラメータと第２の露出パラメータの差とは、露光時間の差、ゲインの差および露出値の差などである。所定の値とは閾値であり、露光時間、ゲインおよび露出値でそれぞれ異なる閾値である。即ち、露光時間の閾値、ゲインの閾値及び露出値の閾値の少なくとも１つの閾値が所定の値である。所定の値はユーザまたは設計者によって設定される。

露出制御部４０２は、決定部４０１が決定した第１の露出パラメータと第２の露出パラメータとを複数の画素ブロックに交互に設定して撮像する制御を行う。

表示部１０４は、露出制御部４０２が撮像部２０１を制御して撮像した画像を表示する。

（動作説明）
以下、図５から図１１を参照して、本実施形態に係る撮像システムの動作を説明する。

図５は撮像素子２０１ａの撮像面と撮像された画像との一例を示す図である。図５（ａ）は撮像面５０１を模式的に表した図であり、図５（ｂ）は撮像装置１０１が撮像した画像の一例を示す図である。図５（ａ）のように撮像面５０１には複数の画素からなる画素ブロック５０２が二次元状に配置されている。図５（ｂ）は表示部１０４に表示された画像であり、本実施形態に係る撮像システムの動作が開始する前の状態を示している。また、各画素ブロックの位置は二次元座標系で表され、左下からｉ列ｊ行目のブロックを（ｉ、ｊ）のように表す。従って、図５（ａ）のように一番左下の画素ブロックの座標は（１、１）と表され、右に隣接の画素ブロックは（２、１）、上に隣接する画素ブロックは（１、２）と表される。

図６は本実施形態に係る撮像システムの動作の一例を示すフローチャートである。図６に示すフローチャートの動作は、ＣＰＵ２０３（或いはＣＰＵ３０１）がＲＡＭ２０４（或いは３０２）やＲＯＭ２０５（或いはＲＯＭ３０３）に格納されたプログラムを読み込み、実行することで動作を開始する。従って、撮像システム１００の各動作は撮像装置１０１で行われてもよいし、クライアント装置１０３で行われてもよい。

ステップＳ６０１では、画素ブロックの境界を表示する領域を指示する。画素ブロックの境界を表示する領域は不図示の指示部が入力部１０５から領域の入力があった場合に、指示する。入力部１０５に領域の入力が無かった場合は画面全体の画素ブロックを表示する領域に決定する。本実施形態では画像全体に渡って画素ブロックの境界を表示する場合について説明するが、ユーザが入力部１０５を介して指定した領域の画素ブロックの境界を表示するようにしてもよい。

ステップＳ６０２では、第１の露光時間（第１の露出パラメータ）と第２の露光時間（第２の露出パラメータ）との差が所定の値以上となるように決定部４０１が決定する。図７は、第１の露光時間と第２の露光時間との差を設定する画面の一例を示す図である。図７（ａ）および図７（ｂ）において、スライダー７０１上のつまみ７０２指やマウスなどでドラッグ操作することによって所定の値（閾値）を設定することができる。決定部４０１は、第１の露光時間と第２の露光時間との差を、設定された所定の値以上となるように決定する。本実施形態では、第１の露光時間と第２の露光時間との差を所定の値に決定する。なお、第１の露光時間と第２の露光時間とは、その差が所定の値以上となっていれば、どのような値でよい。例えば、露光時間の差が１／６０となるように設定した場合、第１の露光時間が１／３０で第２の露光時間が１／６０であってもよいし、第１の露光時間が１／６０で第２の露光時間が１／３０でもよい。

ステップＳ６０３では、露出制御部４０２が第１の露出パラメータと第２の露出パラメータを撮像面の画素ブロックに交互に設定して撮像する制御を行う。図７（ａ）は所定の値小さく設定した場合の一例を模式的に表しており、図７（ｂ）は所定の値を大きくした場合の一例を模式的に表している。

ステップＳ６０４では、ステップＳ６０３の制御によって撮像部２０１が撮像した画像を表示部１０４が表示する。図８は、表示部１０４が表示する画像の一例を示している。図８（ａ）が動作開始前の画像を示しており、図８（ｂ）がステップＳ６０４の動作が終わった後の画像を示している。図８（ａ）は露出パラメータを設定することができる画素ブロックの境界を視認することは困難である。一方で、図８（ｂ）は画素ブロックの境界の視認性が向上している。これは、ユーザが特定の被写体（例えば注目被写体）に対して適切な画素ブロックを割り当てたい場合などに有効である。画素ブロックの境界の視認できれば、注目被写体が画素ブロックの境界を跨がない或いは被写体の輪郭が画素ブロックに収まるように画素ブロックのサイズを変更したり、撮像位置を調整したりすることが可能となる。

以上のように、本実施形態に係る撮像システムによれば、露光時間をはじめとした露出パラメータを設定することができる画素ブロックの視認性を向上させることができる。

本実施形態の変形例について補足する。本実施形態では第１の露出パラメータと第２の露出パラメータとの差を値以上となるように決定する場合について説明したが、第１の目標輝度と第２の目標輝度との差を所定の値以上となるように決定部４０１が決定してもよい。ここで、目標輝度とは画素ブロックから出力される輝度の目標値である。図９は輝度差を閾値として設定する画面の一例である。図９（ａ）のように、つまみ７０２を上げるにつれて、第１の目標輝度と第２の目標輝度との差が大きくなるため、より鮮明に画素ブロックの境界を視認できるようになる。一方で図９（ｂ）のようにつまみを下げることで画像の視認性を下げない程度に画素ブロックの視認性を向上させ得る。露出制御部４０２は画素ブロックの輝度が第１の目標輝度と第２の目標輝度とで交互になるように、画素ブロックごとの露出パラメータを制御する。

図１０は、本実施形態の撮像システムにおいて、画像の一部の領域のみ画素ブロックの視認を可能とする場合の一例である。図１０のように、ユーザが入力部１０５からドラッグ操作をすることで画素ブロックを表示させたい領域を指定できる。ステップＳ６０１では、指定領域１００１が指定されている場合に、指定領域１００１を、画素ブロックを表示する領域に不図示の指示部が指示する。露出制御部４０２は、第１の露出パラメータと第２の露出パラメータとを指示部が指示した領域に対応する画素ブロックに交互に設定して撮像する制御を行う。これにより、ユーザが画素ブロックを視認した領域のみ視認可能にすることができる。

＜その他の実施形態＞
本発明は、上述の実施形態１の１以上の機能を実現するプログラムを読み出し実行する処理によって実現可能である。このプログラムは、ネットワークまたは記憶媒体を介してシステム又は装置に供給され、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサによって読み出され、実行される。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像システム
１０４ 表示部
２０１ 撮像部
４０１ 決定部
４０２ 露出制御部

Claims (16)

1. 撮像面における複数の画素からなる画素ブロックが二次元状に配置された撮像部であって、該画素ブロックに露出パラメータを個別に設定可能な撮像部と、
   第１の露出パラメータと第２の露出パラメータとの差を所定の値以上となるように決定する決定部と、
   前記決定部が決定した前記第１の露出パラメータと前記第２の露出パラメータとを前記画素ブロックに前記二次元状に交互に設定して撮像する制御を行う露出制御部と、
   前記撮像部が撮像した画像を表示する表示部と、
   を有する撮像システム。
2. 前記露出パラメータは、露光時間、ゲイン及び露出値のうち少なくとも１つを含むパラメータであることを特徴とする請求項１に記載の撮像システム。
3. 前記決定部は、第１の目標輝度と第２の目標輝度との差を所定の値以上となるように決定し、
   前記露出制御部は、前記第１の目標輝度と前記第２の目標輝度とが前記画素ブロックから前記二次元状に交互に出力されるように、前記二次元状に配置された前記画素ブロックごとに前記露出パラメータを個別に設定して撮像する制御を行う、
   ことを特徴とする請求項１または２に記載の撮像システム。
4. 前記所定の値を入力する入力部を更に有することを特徴とする請求項１から３のいずれか１項に記載の撮像システム。
5. 前記表示部に表示された画像から所定の領域を指示する指示部を更に有し、
   前記露出制御部は、前記第１の露出パラメータと前記第２の露出パラメータとを前記指示部が指示した領域に対応する画素ブロックに前記二次元状に交互に設定して撮像する制御を行う、
   ことを特徴とする請求項１から４のいずれか１項に記載の撮像システム。
6. 前記決定部は、前記第１の露出パラメータと前記第２の露出パラメータとを決定することを特徴とする請求項１から５のいずれか１項に記載の撮像システム。
7. 前記決定部は、前記第１の目標輝度と前記第２の目標輝度とを決定することを特徴とする請求項３に記載の撮像システム。
8. 撮像面に二次元状に配置された複数の画素からなる画素ブロックに露出パラメータを個別に設定して撮像する撮像工程と、
   第１の露出パラメータと第２の露出パラメータとの差を所定の値以上となるように決定する決定工程と、
   前記決定工程で決定した前記第１の露出パラメータと前記第２の露出パラメータとを前記画素ブロックに前記二次元状に交互に設定して撮像する制御を行う露出制御工程と、
   前記露出制御工程で撮像された画像を表示する表示工程と、
   を有する撮像システムの制御方法。
9. 前記露出パラメータは、露光時間、ゲイン及び露出値のうち少なくとも１つを含むパラメータであることを特徴とする請求項８に記載の撮像システムの制御方法。
10. 前記決定工程では、第１の目標輝度と第２の目標輝度との差を所定の値以上となるように決定し、
    前記露出制御工程は、前記第１の目標輝度と前記第２の目標輝度とが前記画素ブロックから前記二次元状に交互に出力されるように、前記二次元状に配置された前記画素ブロックごとに前記露出パラメータを個別に設定して撮像する制御を行う、
    ことを特徴とする請求項８または９に記載の撮像システムの制御方法。
11. 前記所定の値を入力する入力工程を更に有することを特徴とする請求項８から１０のいずれか１項に記載の撮像システムの制御方法。
12. 前記表示工程で表示された画像から所定の領域を指示する指示工程を更に有し、
    前記露出制御工程では、前記第１の露出パラメータと前記第２の露出パラメータとを前記指示工程で指示した領域に対応する画素ブロックに前記二次元状に交互に設定して撮像する制御を行う、
    ことを特徴とする請求項８から１１のいずれか１項に記載の撮像システムの制御方法。
13. 前記決定工程では、前記第１の露出パラメータと前記第２の露出パラメータとを決定することを特徴とする請求項８から１２のいずれか１項に記載の撮像システムの制御方法。
14. 前記決定工程は、前記第１の目標輝度と前記第２の目標輝度とを決定することを特徴とする請求項１０に記載の撮像システムの制御方法。
15. 請求項８から１４のいずれか１項に記載の撮像システムの制御方法をコンピュータに実行させるためのプログラム。
16. 請求項１５に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。