JP5240585B2 - 撮像方法及び撮像装置 - Google Patents

Description

本発明は、撮像される被写体画像内に撮像光学系等で発生した不要光の有無を判定できる不要光識別方法、不要光識別装置及び撮像装置に関するものである。

従来より、固体撮像素子を用いた撮像装置においては、画像データを加工することができるため、撮影により得られた画像データに所望の処理を加えて画像データを補正した後、記録媒体に記録することが可能となっている。この利点を用いて、撮像光学系等で発生する不要光により低下した画質を向上させるよう補正するものがある。

このような、画像データを補正して記録するものとして、撮像素子から得られる輝度信号のヒストグラムと、予め測定した撮像光学系の特性から黒レベルの補正値を取得して、黒レベルを補正し、フレア成分を除去した後、記録する撮像装置がある（例えば、特許文献１参照）。
特開２００６−１６５９３７号公報

撮像光学系内での内面反射で発生する不要光には、画面の大部分にわたりコントラストを低下させるフレアと呼ばれるものと、画面の一部の領域に反射光が集まるゴーストと呼ばれるもの等がある。特に、ゴーストは、一部に光が集中するため、ゴーストの発生した位置にある本来の被写体画像が認識しづらくなるものであり、画質を大きく低下させてしまうものである。

上記特許文献１に記載の撮像装置は、被写体画像上の全体に重畳したフレア成分の除去を行うものであり、不要光と有効画像の識別ができず、フレアを抑えると有効画像の信号も抑えられてしまい、有効画像データも劣化する問題がある。また、ゴーストについては解消することができない。更に、従来においては、撮影された画像の内のどれがゴーストかの判断は、人が画像を見て判断する以外に方法が無かった。

本発明は、上記問題に鑑み、撮影された画像からゴーストを自動的に識別でき、識別されたゴーストを排除できると共に有効画像データに劣化の発生しない画像の得られる撮像方法及び撮像装置を得ることを目的とするものである。

上記の目的は、下記に記載する発明により達成される。

１．像側の節点を中心に回動可能とされた撮像光学系と、該撮像光学系により形成された被写体像を光電変換する撮像素子と、該撮像素子で得られたデータに所定の処理を施す画像処理部と、を有する撮像装置により実行される撮像方法であって、
前記撮像光学系を第１の方向に向けて第１の画像を取得する工程と、
前記撮像光学系の像側の節点を中心に前記撮像光学系を回動させて第２の方向に向けて第２の画像を取得する工程と、
前記画像処理部で前記第１の画像と前記第２の画像とを比較する工程と、
前記比較結果から前記第１の画像と前記第２の画像とに異なる点があるか否かを判断する工程と、
前記異なる点があると判断したとき前記第１の画像と前記第２の画像とから異なる部位を抽出する工程と、
前記抽出された異なる部位について画像データを置き換えることで、前記異なる部位に存在する不要光部分を削除した画像を作成する工程と、を有することを特徴とする撮像方法。

２．前記画像データを置き換えるとき２つの画像のうち低輝度側の画像データに置き換えることを特徴とする１に記載の撮像方法。

３．像側の節点を中心に回動可能となされた撮像光学系と、該撮像光学系により形成された被写体像を光電変換する撮像素子と、該撮像素子で得られたデータに所定の処理を施す画像処理部と、を有し、
前記画像処理部は、前記撮像光学系を第１の方向に向けて取得した第１の画像と、前記撮像光学系の像側の節点を中心に前記撮像光学系を回動させて取得した第２の画像とを比較し、前記比較結果から前記第１の画像と前記第２の画像とに異なる点があるか否かを判断し、前記異なる点があると判断したとき前記第１の画像と前記第２の画像とから異なる部位を抽出し、前記抽出された異なる部位について画像データを置き換えることで、前記異なる部位に存在する不要光部分を削除した画像を作成することを特徴とする撮像装置。
４．前記画像処理部は、前記画像データを置き換えるとき２つの画像のうち低輝度側の画像データに置き換えることを特徴とする３に記載の撮像装置。

５．撮像した画像を表示する表示装置を有し、該表示装置に前記不要光を削除した画像を表示することを特徴とする３または４に記載の撮像装置。

６．画像を記録する記録媒体を有し、該記録媒体に前記画像処理部で作成された不要光を削除した画像を記録することを特徴とする３〜５のいずれかに記載の撮像装置。

７．前記第２の画像の取得時は、前記撮像光学系の回動軸に平行な前記撮像素子の撮像面上の軸を中心に前記撮像素子を回動させた状態で取得することを特徴とする３〜６のいずれかに記載の撮像装置。

即ち、本発明は、撮像光学系を像側の節点を中心に回動させると、被写体画像は像面上で移動せず、内面反射等によるゴーストは像面上で移動することに着目し、なされたものである。

本発明の撮像方法及び撮像装置によれば、撮影された画像内のゴーストを自動で識別可能となり、識別されたゴーストを排除できると共に有効画像データに劣化が発生せず、良好な画像を得ることが可能となる。

本実施の形態に係る撮像装置の一例である監視用のカメラの外観を模式的に示す斜視図である。 本実施の形態に係る撮像装置の一例である監視用のカメラの構成を模式的に示すブロック図である。 本実施の形態に係る撮像装置の撮像光学系及び光学系駆動部の構成の一例を示す模式図である。 撮像光学系を第１の方向に向けて得た第１の画像と、撮像光学系を像側の節点を中心に回動させ、第１の方向と異なる第２の方向に向けて得た第２の画像を示す模式図である。 本実施の形態に係る撮像装置の動作概略を示すフローチャートである。 図５に示すステップＳ１０７における画像処理部での動作をより詳しく示したフローチャートである。 ステップＳ２１４における第１の画像と第２の画像から不要光を削除する場合の模式図である。 第１の画像と第２の画像を取得する際の光軸の方向の例を示す模式図である。

符号の説明

１ カメラ
１０ 撮像部
１１ 撮像光学系
１２ 筐体
１４ 撮像素子
１５ 信号処理部
１６ 光学系駆動部
２０ 制御ユニット
２１ 画像処理部
２２ 表示部
２３ 記録媒体
２４ 操作部
２５ 制御部
３０ コード
３１ 鏡枠
３２ 保持部材
３３ レバー
３５ アクチュエータ
４０ 支持部材

以下、実施の形態により本発明を詳しく説明するが、本発明は、これに限定されるものではない。

図１は、本実施の形態に係る撮像装置の一例である監視用のカメラ１の外観を模式的に示す斜視図である。

同図に示すように、本実施の形態に係る撮像装置の一例である監視用のカメラ１の外観は、撮像光学系１１を備えた筐体１２を有する撮像部１０と、表示部２２及び操作部２４を有する制御ユニット２０と、撮像部１０と制御ユニット２０を接続し、各種の信号の授受を行う複数の導線を一纏めにしたコード３０と、で構成されている。なお、撮像部１０と制御ユニット２０間の信号の授受は、コードレスの赤外線通信等であってもよい。

撮像部１０は支持部材４０に支持され固定されている。表示部２２にはＬＣＤや有機ＥＬ表示装置が用いられ、操作部２４はボタン、ジョイスティック、十字キー等が用いられる。

図２は、本実施の形態に係る撮像装置の一例である監視用のカメラ１の構成を模式的に示すブロック図である。なお、以下の図においては、説明の重複を避けるため同機能部材には同符号を付与して説明する。

同図に示す監視用のカメラ１の撮像部１０には、撮像光学系１１、撮像素子１４、信号処理部１５、光学系駆動部１６を有している。

光学系駆動部１６は、撮像光学系１１を像側の節点を中心に回動させるための駆動部である。なお、不図示であるが、絞り駆動、フォーカシング、ズーミング等を行うための駆動部を備えていてもよい。

撮像素子１４はエリアセンサであり、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型イメージセンサあるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｃｏｎｄｕｃｔｏｒ）型イメージセンサ等が用いられる。信号処理部１５は、撮像素子１４の出力信号を処理して、撮像した画像を表す画像データを生成する。

制御ユニット２０には、画像処理部２１、表示部２２、記録媒体２３、操作部２４、制御部２５を有している。

画像処理部２１は、信号処理部１５からの画像データに所定の処理を施すものである。なお、画像処理部２１は、信号処理部１５からの画像データ等を一時的に記憶する一時記憶部を有している。

表示部２２は、画像処理部２１で処理された後の画像を表示するものであり、ＬＣＤや有機ＥＬ表示装置が用いられる。記録媒体２３は、画像処理部２１で処理された後の画像を記録する。操作部２４では、撮影開始の指示、画像記録の指示、設定等を行う。制御部２５は、各部と接続され、制御プログラムに従って全体を統括して一連の動作制御を行うものである。

なお、本例では、撮像部と制御ユニットに分離された監視用のカメラを例にとり説明したが、各部が一つの筐体に収められたカメラでもよい。また、撮像部と制御ユニットの境界領域は、これに限るものでないし、その他、リモコン等の受信部等を備えていてもよい。

図３は、本実施の形態に係る撮像装置の撮像部１０内に配置された撮像光学系１１及び光学系駆動部１６の構成の一例を示す模式図である。

同図に示すように、撮像光学系１１は鏡枠３１に保持されている。鏡枠３１には、撮像光学系１１の像面側の節点位置に対応する位置に２つの円柱状のピン３１Ｐが形成されている。即ち、２つのピン３１Ｐの中心を繋ぐ線は光軸Ｏ上の像面側の節点位置で直交している。鏡枠３１は、この２つのピン３１Ｐで、コの字状の保持部材３２に回動可能に軸止されている。保持部材３２は、不図示の固定部材に固定されている。即ち、撮像光学系１１は、像面側の節点位置を中心に回動可能とされている。

また、鏡枠３１には、回転軸３４を中心に回動するレバー３３の一方の端部で係合する係合軸３１ｋが形成されている。レバー３３の他方の端部には、電圧の印加により屈曲するバイモルフ型のアクチュエータ３５の先端が係合している。

このように構成することで、バイモルフ型のアクチュエータ３５に電圧を印可することで、バイモルフ型のアクチュエータ３５は図示矢印Ａ方向に屈曲し、レバー３３は図示矢印Ｂ方向に振れることになる。このレバー３３が振れることにより、係合する係合軸３１ｋが振れ、鏡枠３１、即ち撮像光学系１１は像面側の節点位置を中心に矢印Ｐ方向に回動することになる。

なお、バイモルフ型のアクチュエータ３５は、公知であるので詳細な説明は省略するが、通電しない場合は所定の形状を保ち、電圧を印加することにより、先端位置を変化させることができるものである。本例の場合は、無通電と一方向の電圧印加で２つの方向に撮像光学系を向けてもよいし、交流電圧の印加により２つの方向に撮像光学系を向けるよう構成してもよい。また、回動する角度は、撮像素子１４の有効画素領域上に被写体画像が形成される範囲内であれば任意でよいが、０．５〜２度程度が好ましい。

また、撮像光学系１１を、像面側の節点位置を中心に矢印Ｐ方向に回動させた際、撮像光学系の回動軸に平行な撮像素子１４の撮像面上の線（図示破線で示す軸）を中心に撮像素子１４を回動させるよう構成してもよい。このように構成することで、撮像光学系１１の回動角が大きい場合や、焦点深度の浅い撮像光学系を用いた場合の周辺画像の劣化を抑制することができる。

以上のような構成において、撮像素子１４上に形成される被写体画像は、撮像光学系１１が像面側の節点位置を中心に回動させても移動することはなく、静止している。本発明は、これを利用して撮像素子１４上に形成された画像から、被写体像か不要光によるゴーストかを識別するものである。以下、この識別方法について説明する。

図４は、撮像光学系１１を第１の方向に向けて得た第１の画像と、撮像光学系１１を像側の節点を中心に回動させ、第１の方向と異なる第２の方向に向けて得た第２の画像を示す模式図である。同図（ａ）を第１の画像、同図（ｂ）を第２の画像とする。

同図（ａ）に示す第１の画像と同図（ｂ）に示す第２の画像において、被写体像は移動しないが、ゴーストは移動する。これを用い、２つの画像の同じ位置を比較して、同じ信号レベルの場合は被写体像であり、異なる信号レベルの場合はゴーストであると識別する。

即ち、同図（ａ）、（ｂ）において、２つの画像の同じ位置を比較した場合の、信号レベルの異なる領域Ｇ１及びＧ２はゴーストであると識別する。この識別は、例えば、両画像に対し、水平或いは垂直方向で所定の刻みで第１の画像と第２の画像に同じラインを設定し、同じライン上の同じ位置の点の輝度レベルを比較することで行われる。比較においては、ノイズレベル以上の差異が有るか否かで、信号レベルが異なるか、同じであるか判断されることが好ましい。

上記の比較を画像全体にわたって行うことで、得られた画像の何れの位置のデータが被写体像で、何れの位置のデータがゴーストであるかが識別できる。

図５は、本実施の形態に係る撮像装置の動作概略を示すフローチャートである。同図に示すフローは、撮影モード時のものである。以下、フローに従い説明する。

まず、撮影開始の命令を待機する（ステップＳ１０１）。撮影開始の命令は、制御ユニット２０の操作部２４での入力や、リモコン操作等でも可能である。

撮影開始の命令がある（ステップＳ１０１；Ｙｅｓ）と、第１の画像を取得する（ステップＳ１０２）。この第１の画像は、例えば、バイモルフ型のアクチュエータ３５には通電を行わない状態で、例えば、光軸Ｏが撮像素子１４の撮像面に直交する方向に設定された状態で取得される。次いで、取得した第１の画像を画像処理部２１の一時記憶部に記憶する（ステップＳ１０３）。

この後、撮像光学系を像側の節点を中心に回動させる（ステップＳ１０４）。この回動は、バイモルフ型のアクチュエータ３５に通電することで行われる。更に、撮像光学系１１を回動させた状態で第２の画像を取得する（ステップＳ１０５）。次いで、取得した第２の画像を画像処理部２１の一時記憶部に記憶する（ステップＳ１０６）。

第１及び第２の画像が取得されると、画像処理部２１において、第１の画像及び第２の画像に基づいて、不要光であるゴーストの有無の識別及び画像の合成等を行うと共に、バイモルフ型のアクチュエータ３５の通電を停止し、撮像光学系１１を第１の画像取得の方向に戻す（ステップＳ１０７）。

図６は、図５に示すステップＳ１０７における画像処理部２１での動作をより詳しく示したフローチャートである。

図５に示すステップＳ１０６で、第２の画像データを一時記憶した後、撮像光学系１１を第１の画像取得の方向に戻し（ステップＳ２００）、次いで、第１の画像と第２の画像を比較する（ステップＳ２０１）。この比較については、例えば図４で説明した方法がとられる。

次いで、比較結果から、異なる点があるか否かを判断する（ステップＳ２０２）。第１の画像と第２の画像が同じであって、異なる点がない場合（ステップＳ２０２；Ｎｏ）は、表示部に第１の画像を表示させる（ステップＳ２０３）。即ち、第１の画像と第２の画像が同じであると判断された場合は、ゴーストが発生していないということである。なお、この場合、第２の画像を表示してもよい。

一方、ステップＳ２０２で、異なる点があると判断した場合（ステップＳ２０２；Ｙｅｓ）は、異なる部位を抽出する（ステップＳ２１３）。次いで、抽出された異なる部位は、２つの画像のうち低輝度側の画像データに置き換えて合成し、１枚の画像を作成する（ステップＳ２１４）。次いで、表示部に作成された画像を表示させる（ステップＳ２１５）。

図７は、ステップＳ２１４における第１の画像と第２の画像から不要光を削除する場合の模式図である。同図（ａ）は第１の画像、同図（ｂ）は第２の画像、同図（ｃ）は作成された画像である。本例は、第１の画像をベースにした場合を例に取り説明する。

同図に示すように、ステップＳ２１３において、第１の画像と第２の画像の異なる部位であるＧ１ａ、Ｇ１ｂ、Ｇ２及びＧ１ａ′、Ｇ１ｂ′、Ｇ２′、が既に抽出されている。

第１の画像内の実線で示す異なる部位Ｇ１ａは、第２の画像内の同部位である破線で示すＧ１ａ′と、輝度レベルを比較し、例えば、Ｇ１ａ′の方が低輝度レベルの場合は、Ｇ１ａの部位の画像データをＧ１ａ′の画像データに置き換える。

第１の画像内の破線で示す異なる部位Ｇ１ｂは、第２の画像内の同部位である実線で示すＧ１ｂ′と、輝度レベルを比較し、例えば、Ｇ１ｂの方が低輝度レベルの場合は、Ｇ１ｂの部位の画像データはそのままとする。

第１の画像内の破線で示す異なる部位Ｇ２は、第２の画像内の同部位である実線で示すＧ２′と、輝度レベルを比較し、例えば、Ｇ２の方が低輝度レベルの場合は、Ｇ２の部位の画像データはそのままとする。

即ち、一方の画像内でゴーストの発生している部分を、他方の画像の同じ部位のゴーストの発生していない画像データに置き換えるということである。

以上のようにして、同図（ｃ）に示すような、ゴーストを削除した１枚の画像データを作成することができる。

図６に戻り、ステップＳ２０３もしくはステップＳ２１５により、表示部に表示されている画像を記録媒体に記録するか否か判断する（ステップＳ２０４）。記録媒体に記録するか否かは、予め設定されているものである。

記録する場合（ステップＳ２０４；Ｙｅｓ）は、記録媒体２３に記録し、記録しない場合（ステップＳ２０４；Ｎｏ）は記録せずに、図５に示すステップＳ１０８に移行する。

この後、撮影終了か判断（ステップＳ１０８）し、撮影続行の場合（ステップＳ１０８；Ｎｏ）は、ステップＳ１０２に戻り、上記と同様の動作を繰り返す。

一方、撮影終了の場合（ステップＳ１０８；Ｙｅｓ）は、終了する。

以上が、本実施の形態に係る撮像装置の動作概略である。なお、動画撮影である場合には、第１の画像の取得と第２の画像がフレームレートに同期して取得されるように構成されていることが好ましい。

なお、上記の実施の形態では、第１の画像は、撮像光学系１１の光軸が撮像素子１４の撮像面に直交する状態で取得し、第２の画像は、像側の節点を中心に光軸を回動させた状態で取得する例で説明したが、第１の画像と第２の画像を取得する状態は、これに限るものでない。

図８は、第１の画像と第２の画像を取得する際の光軸の方向の例を示す模式図である。同図に示すＦ１は第１の画像を取得する際の撮像光学系１１の光軸の方向を示し、Ｆ２は第２の画像を取得する際の撮像光学系１１の光軸の方向を示している。Ｓは撮像光学系１１の像側の節点位置であり、１４Ｓは撮像素子１４の撮像面である。

同図（ａ）は、上記で説明した、第１の画像を取得する際の光軸の方向Ｆ１を撮像面１４Ｓに直交する方向とし、第２の画像を取得する際の光軸の方向Ｆ２を像側の節点Ｓを通る角度θの方向としたものである。

同図（ｂ）は、第１の画像を取得する際の光軸の方向Ｆ１を、撮像面１４Ｓに直交する線（図示、一点鎖線で示す）に対し、像側の節点Ｓを通る角度αの方向とし、第２の画像を取得する際の光軸の方向Ｆ２を、撮像面１４Ｓに直交する線を跨いで角度βの方向としたものである。この場合、α＝βであってもよいし、α≠βであってもよい。

同図（ｃ）は、第１の画像を取得する際の光軸の方向Ｆ１を、撮像面１４Ｓに直交する線（図示、一点鎖線で示す）に対し、像側の節点Ｓを通る角度γの方向とし、第２の画像を取得する際の光軸の方向Ｆ２を、撮像面１４Ｓに直交する線に対し同じ側の角度δの方向としたものである。この場合は、δ≠γである。

また、第１の画像と第２の画像の取得に際し、少なくとも一方が回動中に取得されるように構成されていてもよい。

また、本発明を撮像装置で説明したが、第１の画像と第２の画像より、不要光の有無を識別するための装置として構成することも可能であり、表示画像のゴーストの有無表示や表示画像の何れがゴーストで有るかを表示するような不要光識別装置としてもよい。

また、本例ではバイモルフ型のアクチュエータを用いて、撮像光学系を像側の節点を中心に回動させるもので説明したが、これに限るものでなく、カム等を用いた往復運動機構等で回動させるように構成してもよいのは勿論である。

Claims (7)

1. 像側の節点を中心に回動可能とされた撮像光学系と、該撮像光学系により形成された被写体像を光電変換する撮像素子と、該撮像素子で得られたデータに所定の処理を施す画像処理部と、を有する撮像装置により実行される撮像方法であって、
   前記撮像光学系を第１の方向に向けて第１の画像を取得する工程と、
   前記撮像光学系の像側の節点を中心に前記撮像光学系を回動させて第２の方向に向けて第２の画像を取得する工程と、
   前記画像処理部で前記第１の画像と前記第２の画像とを比較する工程と、
   前記比較結果から前記第１の画像と前記第２の画像とに異なる点があるか否かを判断する工程と、
   前記異なる点があると判断したとき前記第１の画像と前記第２の画像とから異なる部位を抽出する工程と、
   前記抽出された異なる部位について画像データを置き換えることで、前記異なる部位に存在する不要光部分を削除した画像を作成する工程と、を有することを特徴とする撮像方法。
2. 前記画像データを置き換えるとき２つの画像のうち低輝度側の画像データに置き換えることを特徴とする請求項１に記載の撮像方法。
3. 像側の節点を中心に回動可能となされた撮像光学系と、該撮像光学系により形成された被写体像を光電変換する撮像素子と、該撮像素子で得られたデータに所定の処理を施す画像処理部と、を有し、
   前記画像処理部は、前記撮像光学系を第１の方向に向けて取得した第１の画像と、前記撮像光学系の像側の節点を中心に前記撮像光学系を回動させて取得した第２の画像とを比較し、前記比較結果から前記第１の画像と前記第２の画像とに異なる点があるか否かを判断し、前記異なる点があると判断したとき前記第１の画像と前記第２の画像とから異なる部位を抽出し、前記抽出された異なる部位について画像データを置き換えることで、前記異なる部位に存在する不要光部分を削除した画像を作成することを特徴とする撮像装置。
4. 前記画像処理部は、前記画像データを置き換えるとき２つの画像のうち低輝度側の画像データに置き換えることを特徴とする請求項３に記載の撮像装置。
5. 撮像した画像を表示する表示装置を有し、該表示装置に前記不要光を削除した画像を表示することを特徴とする請求項３または４に記載の撮像装置。
6. 画像を記録する記録媒体を有し、該記録媒体に前記画像処理部で作成された不要光を削除した画像を記録することを特徴とする請求項３〜５のいずれか１項に記載の撮像装置。
7. 前記第２の画像の取得時は、前記撮像光学系の回動軸に平行な前記撮像素子の撮像面上の軸を中心に前記撮像素子を回動させた状態で取得することを特徴とする請求項３〜６のいずれか一項に記載の撮像装置。