JP5610106B1 - 撮像装置の異物情報検出装置および異物情報検出方法 - Google Patents

Abstract

本技術は、撮像装置により撮影して得られる複数枚の表示用の画像データ（３１）と、複数枚の表示用の画像データ（３１）の撮影前に取得する異物情報検出用の第１画像データ（３２）および複数枚の表示用の画像データ（３１）の撮影後に取得する異物情報検出用の第２画像データ（３３）を記録する記録部と、記録部に記録される複数枚の表示用の画像データを読み込み、当該画像データに対して異物に関する情報を検出するように構成した制御部とを備える。制御部は、第１画像データ（３２）および第２画像データ（３３）に基づいて、第１画像データ（３２）および第２画像データ（３３）それぞれの画像データ内に存在する異物の位置を示す異物情報を異物毎に検出し、その検出した異物情報を用いて、複数枚の表示用の画像データ（３１）それぞれにおける異物の位置を示す異物情報を検出する。

Description

本技術は、撮影装置において、画像データ内に存在する異物情報を検出する異物情報検出装置および異物情報検出方法に関する。

撮像装置においては、光学系にほこりなどの異物が付着すると、撮影された画像にそれらの異物の影が写り込み、画像の品質が低下するという課題がある。

特許文献１には、振動によっても除去できないような光学系内のごく小さな異物による画質劣化を補正する撮像装置が開示されている。この特許文献１に開示されている装置は、異なる絞り値に設定した２つの画像を撮像し、この絞り値が異なる撮像画像より異物情報（異物の位置および大きさの情報）を検出し、異物情報を撮像画像データに関連付けて記録する。

特開２００９−１５２６９６号公報

本技術による撮像装置の異物情報検出装置は、撮像装置により撮影して得られる複数枚の表示用の画像データと、複数枚の表示用の画像データの撮影前に取得する異物情報検出用の第１画像データおよび複数枚の表示用の画像データの撮影後に取得する異物情報検出用の第２画像データを記録する記録部と、記録部に記録される複数枚の表示用の画像データを読み込み、当該画像データに対して異物に関する情報を検出するように構成した制御部とを備えている。制御部は、第１画像データおよび第２画像データに基づいて、第１画像データおよび第２画像データそれぞれの画像データ内に存在する異物の位置を示す異物情報を異物毎に検出する。制御部は、その検出した異物情報を用いて、複数枚の表示用の画像データそれぞれにおける異物の位置を示す異物情報を検出するように構成している。

図１は、本技術による異物情報検出装置が用いられる撮像装置の全体構成の一例を示すブロック図である。 図２は、本技術の一実施の形態における異物情報検出装置の構成を示すブロック図である。 図３は、本技術による異物情報検出装置および異物情報検出方法において、制御部の異物情報検出動作を説明するためのフローチャートである。 図４は、第１検出機能ステップの概要を説明するための説明図である。 図５は、第２検出機能ステップの処理動作を説明するためのフローチャートである。 図６は、制御部が生成した異物情報リストの一例を示す説明図である。 図７は、本技術による異物情報検出装置において、制御部における異物検出動作の一例を説明するための説明図である。

以下、本技術の一実施の形態による撮像装置の異物情報検出装置および異物情報検出方法について、図面を参照しながら、説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

［１−１．構成］
図１は、本技術による異物情報検出装置が用いられる撮像装置の全体構成の一例を示すブロック図である。

図１に示すように、撮像装置は、光学系１を介して形成された被写体像を撮像部であるＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅｓ）センサおよびＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどのイメージセンサ２で撮影する。イメージセンサ２は、撮影した被写体像に基づいて、画像データを生成する。イメージセンサ２で生成された画像データは、アナログ信号を調整する信号調整回路としてのＡＦＥ（ＡｎａｌｏｇＦｒｏｎｔＥｎｄ）３を通して、画像変換などの処理を行う画像処理部４に送られ、各種の画像処理が施される。生成された画像データは、データ記録部である記録媒体に記録される。なお、記録媒体の例としては、フラッシュメモリおよびメモリカードなどがあるが、本実施の形態においては、記録媒体がメモリカードの場合を例にとって説明する。

イメージセンサ２は、光学系１を通して形成された被写体像を撮像して、画像データを生成する。イメージセンサ２は、デジタルカメラが撮影モードにあるとき、一定時間ごとに新しいフレームの画像データを生成することができる。

ＡＦＥ３では、イメージセンサ２から読み出された画像データに対して、アナログゲインコントローラによるＡ／Ｄコンバータの入力レンジ幅への増幅、Ａ／ＤコンバータによるＡ／Ｄ変換が施される。その後、ＡＦＥ３は、画像データを画像処理部４に出力する。

画像処理部４は、ＡＦＥ３から出力された画像データに対して、各種の画像処理を施す。各種の画像処理としては、スミア補正、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、伸張処理などが含まれる。なお、画像処理は、これらに限定されるものではない。画像処理部４は、各種の画像処理を施した画像情報を一旦、バッファメモリ５に記憶する。なお、バッファメモリ５は、画像処理部４やコントローラ部６のワークメモリとして機能する記憶手段であり、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などで実現できる。

コントローラ部６は、撮像装置全体の動作を制御するもので、プログラムを格納するＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、およびプログラムを実行することにより各種の情報を処理するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などにより構成される。ＲＯＭは、ファイル制御、オートフォーカス制御（ＡＦ制御）、自動露出制御（ＡＥ制御）、およびフラッシュの発光制御などを含め、撮像装置全体の動作を統括して制御するためのプログラムを格納している。

画像データが記録されるメモリカード７は、コントローラ部６に接続されたカードスロット８にユーザによって着脱可能であり、これによりメモリカード７は、コントローラ部６に電気的かつ機械的に接続される。なお、カードスロット８は、メモリカード７を制御する機能を備えた構成であってもよい。メモリカード７は、内部にフラッシュメモリなどの記録部を備えた外部メモリである。メモリカード７は、画像処理部４で処理される画像データなどのデータを記録する。このメモリカード７に記録される高画素の画像データは、ユーザによるレリーズ釦の操作を受け付けた後に、イメージセンサ２が生成した画像データに基づいて、画像処理部４により生成される。コントローラ部６は、画像処理部４で処理された後、バッファメモリ５に記憶された画像データをメモリカード７に記録する。また、メモリカード７に記録された画像データは、ユーザによる操作に基づいて、液晶モニタなどの表示部９上に表示される。

表示部９は、画像処理部４にて処理された画像データに基づいて、画像を表示する。

また、コントローラ部６に接続された操作部１０は、撮像装置の操作釦やスイッチ、および表示部９に設置されたタッチパネルの総称であり、ユーザによる操作を受け付けるものである。操作部１０は、ユーザによる操作を受け付けると、コントローラ部６に種々の動作を指示する信号を送る。

また、光学系１は、フォーカスレンズ１Ａやズームレンズ１Ｂ、絞り１Ｃ、シャッター１Ｄなどにより構成される。フォーカスレンズ１Ａは、被写体のフォーカス状態の調節に用いられる。ズームレンズ１Ｂは、被写体の画角の調節に用いられる。絞り１Ｃは、イメージセンサ２に入射する光量の調節に用いられる。シャッター１Ｄは、イメージセンサ２に入射する光の露出時間を調節する。フォーカスレンズ１Ａ、ズームレンズ１Ｂ、絞り１Ｃ、およびシャッター１Ｄは、それぞれに対応したＤＣモータやステッピングモータなどの駆動手段により、コントローラ部６から送られる制御信号に従って駆動される。なお、図示していないが、光学系１は、光学式手ぶれ補正（ＯＩＳ：ＯｐｔｉｃａｌＩｍａｇｅＳｔａｂｉｌｉｚｅｒ）レンズを含んでいてもよい。また、光学系１を構成する各種レンズは、複数枚のレンズや複数のレンズ群から構成することができる。さらに、光学系１とイメージセンサ２などから構成される撮像部は、レンズ、ＣＭＯＳイメージセンサ、ＡＦＥ、画像処理部の一部などが一体にモジュール化されたカメラモジュールを用いて構成してもよい。

なお、画像処理部４およびコントローラ部６は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータなどで構成してもよい。また、画像処理部４とコントローラ部６は、１つの半導体で構成してもよい。また、ＲＯＭは、コントローラ部６の内部に設ける必要はなく、コントローラ部６の外部に外部メモリとして設けてもよい。

図２は、本技術の一実施の形態における異物情報検出装置の構成を示すブロック図である。

図２に示すように、異物情報検出装置は、画像データを記録する記録部１１と、異物情報の検出動作を行うための制御部１２と、異物検出動作を行うためのプログラムなどを格納するフラッシュメモリなどにより構成される記憶部１３とを備える。この異物情報検出装置は、図１に示す撮像装置のコントローラ部６に内蔵して構成することができる。なお、本技術による異物検出装置は、撮像装置に搭載する構成としてもよいが、撮像装置に搭載する必要はなく、撮像装置で撮影した画像データを処理するための外部の画像処理装置の１つの機能として設けてもよい。

記録部１１は、異物情報を検出するための第１画像データおよび第２画像データと、ユーザが連続撮影した複数枚の表示用の画像データを記録する。記録部１１は、図１に示すメモリカード７により構成してもよいが、勿論これに限定されるものではなく、ＨＤＤ（Ｈａｒｄｄｉｓｋｄｒｉｖｅ）、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）など、画像データを記録できる記録媒体であればどのようなものを利用しても構わない。

ここで、第１画像データは、連続撮影した複数枚の画像データの前に撮影される異物検出用の画像データであり、第２画像データは、連続撮影した複数枚の画像データの後に撮影される異物検出用の画像データである。第１画像データおよび第２画像データは、ホワイト、ブルーまたはグリーンなどの単一色で構成された背景画を撮影して得られる画像データである。この第１画像データおよび第２画像データは、複数枚の画像データを連続撮影する前後において、撮像装置に付着した異物情報を検出するために利用される。

撮像装置に付着した異物情報とは、この撮像装置における光学系１または撮像部であるイメージセンサ２に付着したほこりなどの異物をいう。また、異物情報は、光学系１およびイメージセンサ２に発生した欠損であってもかまわない。ユーザが撮像装置を用いて撮影した画像データを視認したときに、画像内に異物があると認識されるものである。したがって、第１画像データおよび第２画像データは、単一色で構成された背景画を撮影して得られる画像データに限定されるものではなく、異物情報を検出し易い画像データであればよい。

例えば、イメージセンサ２に直接付着したほこりなどの異物情報を検出する場合は、光学系１の絞りを調整することにより、第１画像データおよび第２画像データを得ることが可能である。すなわち、光学系１の絞りを調整して撮影した画像は、背景がぼけて滑らかとなるのに対し、イメージセンサ２に付着したほこりなどの異物は、ぼけずにはっきりと撮影され、異物情報を検出するための第１画像データおよび第２画像データが得られることとなる。

表示用の画像データは、ユーザが被写体を連続撮影した複数枚の画像データであり、異物情報を検出するための第１画像データおよび第２画像データの間に関連付けられた状態で、記録部１１に記録される。この表示用の画像データは、ユーザが特定の被写体を撮影した複数枚の画像データを１群の画像データとすると、同一の第１画像データおよび第２画像データの間に、２つ以上の群の表示用の画像データが存在するように記録部１１に記録されていてもよい。例えば、撮影開始時に、異物情報検出用の第１画像データを取得して記録部１１に記録し、その後ユーザが撮影動作を行うことにより、複数群の表示用の画像データを取得して記録部１１に記録し、撮影終了時に、異物情報検出用の第２画像データを取得して記録部１１に記録するように構成してもよい。要するに、ユーザにより被写体を撮影することにより得られる画像データであって、異物情報検出用の第１画像データおよび第２画像データの間に関連付けて、記録部１１に記録される画像データが表示用の画像データとなる。

制御部１２は、記録部１１に記録される画像データを読み込み、当該画像データに対して異物に関する情報である異物情報を検出する機能を有する。すなわち、制御部１２は、少なくとも次の機能を有している。

（１）第１検出機能−第１画像データおよび第２画像データに基づいて、第１画像データおよび第２画像データそれぞれの画像データ内に存在する異物の位置を示す異物情報を異物毎に検出する。

（２）第２検出機能−第１検出機能で検出した少なくとも１つ以上の異物情報を用いて、複数枚の表示用の画像データそれぞれにおける異物の位置を示す異物情報を検出する。

この制御部１２の第１検出機能および第２検出機能の具体的な動作については後述する。

記憶部１３は、少なくとも制御部１２が有する第１検出機能および第２検出機能に対応するプログラムを格納している。制御部１２は、記憶部１３に格納されるプログラムを読み込むことにより、少なくとも第１検出機能および第２検出機能を実行することができる。

［１−２．動作］
次に、本技術による異物情報検出装置および異物情報検出方法の動作について、図３〜図７を参照しながら説明する。

図３は、本技術による異物情報検出装置および異物情報検出方法において、制御部の異物情報検出動作を説明するためのフローチャートである。

図３に示すように、第１画像データおよび第２画像データ生成ステップ２１において、複数枚の表示用の画像データを撮影する前後に、単一色の背景、例えば白い紙などを撮影する。これにより、単一色で構成された均一な背景の画像データを取得する。このとき、複数枚の表示用の画像データの撮影前に取得した単一色の背景画像データを第１画像データとする。一方、複数枚の表示用の画像データの撮影後に取得した単一色の背景画像データを第２画像データとする。

次に、制御部１２は、第１検出機能ステップ２２の処理を行う。第１検出機能ステップ２２においては、上記第１画像データ、第２画像データより、それぞれ異物情報として第１異物情報および第２異物情報を取得する。異物情報は例えば、位置、領域を含む画像情報からなる。異物情報はさらに形状、レベル情報を含む画像情報からなる場合もある。そして、第１異物情報および第２異物情報をまとめたものを異物情報として作成する。

次に、制御部１２は、第２検出機能ステップ２３の処理を行う。第２検出機能ステップ２３においては、第１検出機能ステップ２２で作成した異物情報と、複数枚の表示用の画像データを照合することにより、複数枚の表示用の各画像データに対応した画像毎の異物情報を取得する。

ここで、第１検出機能ステップ２２と第２検出機能ステップ２３について、詳細に説明する。

図４は、第１検出機能ステップの概要を説明するための説明図である。上述したように、第１画像データおよび第２画像データ生成ステップ２１においては、複数枚の表示用の画像データを撮影する前後に、単一色の背景などを撮影することにより、単一色で構成された背景の画像データが取得される。図４は、複数枚の表示用の画像データ３１の前後に、撮影前に取得した単一色の背景画像データである第１画像データ３２および第２画像データ３３が存在している様子を示している。

図４に示すように、第１画像データ３２には、ほこりなどの異物ａ、異物ｂおよび異物ｃが存在している。また、第２画像データ３３には、異物ｂ、異物ｃおよび異物ｄが存在している。ここで、異物ａは、第１画像データ３２に特有の異物である。また、異物ｂおよび異物ｃは、第１画像データ３２および第２画像データ３３に共通する異物である。さらに、異物ｄは、第２画像データ３３に特有の異物である。すなわち、異物ｂ、ｃは、共通の異物であり、異物ａ、ｄは非共通の異物である。

制御部１２は、図４に示す第１画像データ３２から、異物ａ、異物ｂおよび異物ｃに基づいて、第１異物情報を取得する。さらに、制御部１２は、図４に示す第２画像データ３３から、異物ｂ、異物ｃおよび異物ｄに基づいて、第２異物情報を取得する。そして、制御部１２は、第１異物情報および第２異物情報から、異物ａから異物ｄに基づく異物情報を生成する。これにより、第１検出機能ステップが実行される。

図５は、第２検出機能ステップの処理動作を説明するためのフローチャートである。

まず、異物情報照合ステップ４１において、制御部１２は、第１検出機能ステップで生成された第１異物情報および第２異物情報の結果を統合する。具体的には、第１異物情報と第２異物情報を照合し、第１異物情報と第２異物情報に共通に存在する共通の異物情報Ｃ、第１異物情報にのみ存在する非共通の異物情報Ｄ１、第２異物情報にのみ存在する非共通の異物情報Ｄ２を得る。これらの異物情報Ｃ、異物情報Ｄ１、異物情報Ｄ２を統合した異物情報Ａを得る。また、この異物情報は、画像データにおいて、異物の位置情報を示す座標値を含んでいる。例えば、図４において、異物ａの座標は（ｘ１，ｙ１）、異物ｂの座標は（ｘ２、ｙ２）、異物ｃの座標は（ｘ３，ｙ３）、異物ｄの座標は（ｘ４、ｙ４）となる。このとき、第１異物情報の異物ｂおよび異物ｃと第２異物情報の異物ｂおよび異物ｃは、異物情報Ｃとして統合して処理され、異物ａは異物情報Ｄ１として処理され、さらに異物ｄは異物情報Ｄ２として処理されることになる。つまり、第１異物情報および第２異物情報を統合して得られる異物情報Ａには、異物ｂ、異物ｃを統合した共通の異物情報Ｃ、異物ａによる非共通の異物情報Ｄ１および異物ｄによる非共通の異物情報Ｄ２が含まれる。

次に、制御部１２は、異物発生タイミング検出ステップ４２において、非共通の異物情報Ｄ１および異物情報Ｄ２と、複数枚の表示用の画像データ３１とを照合する。これにより、制御部１２は、異物が消滅または発生する画像データの画像番号を取得する。ここで、画像番号とは複数枚の表示用の画像データを撮影順に並べた場合の順番に相当する。例えば、１００枚の表示用の画像データの場合、最初の表示用の画像データは画像番号［００１］で、順に番号が増し、最終の表示用画像データは画像番号［１００］となる。

具体的には、異物情報Ｄ１については、第１異物情報にのみ存在する。そのため、表示用の画像データ３１を撮影する間に、当該異物情報Ｄ１に対応する異物が消滅または移動したと考えられる。そこで、制御部１２は、異物情報Ｄ１による異物の変化について、画像番号［００１］から順に前から検出していく。異物情報Ｄ１による異物の消滅または移動を画像番号［ｎ］で検出した場合、制御部１２は、画像番号［ｎ−１］までの画像番号については異物情報Ｄ１に相当する異物が画像データに付加されていると判断する。一方、制御部１２は、画像番号が［ｎ］以降のものについては、異物情報Ｄ１に相当する異物が画像データに付加されていないと判断する。

さらに、異物情報Ｄ２については、第２異物情報にのみ存在する。そのため、表示用の画像データ３１を撮影する間に、当該異物情報Ｄ２に対応する異物が新たに発生したと考えられる。そこで、制御部１２は、異物情報Ｄ２による異物の変化について画像番号が最終のものから順に遡って検出していく。異物情報Ｄ２による異物の新たな発生を画像番号［ｎ］で検出した場合、制御部１２は、画像番号［ｎ＋１］までの画像番号については異物情報Ｄ２による異物が画像データに付加されていると判断する。一方、制御部１２は、画像番号が［ｎ］以前のものについては、異物情報Ｄ２に相当する異物が画像データに付加されていないと判断する。

このように制御部１２は、異物発生タイミング検出ステップ４２において、複数の表示用の画像データ３１に、第１画像データ３２と第２画像データ３３に非共通の異物ａ、ｄが、いつ発生したかのタイミングを検出する場合、まず、複数の表示用の画像データ３１の撮影順に、非共通の異物情報が存在するか否かを検出する。そして、非共通の異物ａが存在している状態から存在していない非存在の状態、または非共通の異物ｄが非存在の状態から存在の状態に変化する画像データ３１の変化を検出し、異物の状態が変化した後の画像データ３１については、変化後の存在条件が継続されているとみなす判断を行うように構成している。

なお、第１異物情報と第２異物情報に共通に存在する異物情報Ｃについては、複数の表示用の画像データ３１それぞれに存在するとみなした判断を行うように構成している。

次に、制御部１２は、異物情報リスト生成ステップ４３において、前の異物発生タイミング検出ステップ４２において判断した結果に基づき、異物情報Ｃ、異物情報Ｄ１、および異物情報Ｄ２が存在する画像番号の情報に基づき、表示用の画像データの各画像番号に対応する異物情報リストを作成する。この異物情報リストは、複数枚の表示用の画像データそれぞれにおいて、異物の存在、異物の位置を示す情報となる。

図６は、制御部１２が生成した異物情報リストの一例を示す説明図である。制御部１２は、異物情報リスト生成ステップ４３において、第１画像データ、第２画像データおよび表示用の画像データに基づき、図６に示すようなテーブル情報として生成する。

図６に示すテーブルは、表示用の画像データにおける異物の存在を示すリストの一例である。具体的に説明すると、画像番号［００１］〜［１００］において、異物ａ、ｂ、ｃ、ｄが存在するか否かに関する情報が含まれている。つまり、異物ａからｄそれぞれについて、表示用画像データの画像番号毎に、存在するか否かを［０］または［１］の値として記載されている。図６のテーブル情報は、異物ａからｄそれぞれについて、［０］は異物ａからｄがないことを示し、［１］は異物ａからｄのいずれかが存在することを示している。異物ａからｄは、画像データにおける異物の位置情報も含むため、図６に示すテーブル情報は、複数枚の表示用の画像データそれぞれについて、異物の存在と異物の位置を示す情報となる。

以上のように本技術による異物情報検出装置は、撮像装置により撮影して得られる複数枚の表示用の画像データ３１と、複数枚の表示用の画像データ３１の撮影前に取得する異物情報検出用の第１画像データ３２および複数枚の表示用の画像データ３１の撮影後に取得する異物情報検出用の第２画像データ３３を記録する記録部１１と、記録部１１に記録される複数枚の表示用の画像データを読み込み、当該画像データに対して異物に関する情報を検出するように構成した制御部１２とを備えている。制御部１２は、第１画像データ３２および第２画像データ３３に基づいて、第１画像データ３２および第２画像データ３３それぞれの画像データ内に存在する異物の位置を示す異物情報を異物毎に検出し、その検出した異物情報を用いて、複数枚の表示用の画像データ３１それぞれにおける異物の位置を示す異物情報を検出するように構成している。

また、本技術による異物情報検出方法は、撮像装置により撮影して得られる複数枚の表示用の画像データ３１の撮影前後に、異物情報検出用の第１画像データ３２および異物情報検出用の第２画像データ３３を取得する第１画像データおよび第２画像データ生成ステップ２１と、第１画像データ３２および第２画像データ３３よりそれぞれ異物情報として第１異物情報および第２異物情報を取得する第１検出機能ステップ２２と、第１検出機能ステップ２２で作成した異物情報と複数枚の表示用の画像データ３１を照合することにより、複数枚の表示用の各画像データに対応した画像毎の異物の位置を示す異物情報を取得する第２検出機能ステップ２３とを有する。第２検出機能ステップ２３は、第１検出機能ステップ２２で生成された第１異物情報および第２異物情報を照合し、第１異物情報と第２異物情報に共通に存在する共通の異物情報、第１異物情報にのみ存在する非共通の異物情報、第２異物情報にのみ存在する非共通の異物情報を得る異物情報照合ステップを有している。

これにより本技術による異物情報検出装置および異物情報検出方法は、複数枚の表示用の画像データ３１における異物に関する情報を特定することができ、しかも制御部１２は、複数枚の画像データ３１それぞれに対して異物を厳密に検出する動作を行う必要はなく、第１画像データ３２および第２画像データ３３で検出した異物情報に基づいて、予測的に異物情報を検出することができ、異物検出動作の精度向上と、データ処理量の低減を両立することができる。

また、本技術の異物情報検出装置および異物情報検出方法において、複数枚の表示用の画像データそれぞれにおける異物情報を検出した結果に基づき、撮像装置の光学系や撮像部にほこりなどの異物が侵入していることを知らせる報知部を付加して備えることにより、撮像装置を使用しているユーザは、異物が撮影された誤った画像を取得することがなく、常に正確な画像を取得することができる。具体的には、本技術による異物情報検出装置の制御部１２により制御される報知部を設け、その報知部が、異物情報検出装置および異物情報検出方法により検出した結果に基づき、撮像装置にほこりなどの異物が侵入していること、および撮像装置の光学系や撮像部の清掃を促すことにより、常に正確な画像を撮像装置で撮像することができる。これにより、医療用の撮像装置においては、誤った画像を取得したことによる誤った診断を少なくすることができるという効果が得られる。特に、本技術によれば、高い精度で異物検出動作を行うことができるとともに、データ処理量が少ないことから迅速に異物情報の検出が行うことができるため、撮像装置を使用するユーザにとっても、容易に撮像装置のメンテナンスを行うことができる。

次に、制御部１２における異物検出動作について説明する。

図７は、本技術による異物情報検出装置において、制御部における異物検出動作の一例を説明するための説明図である。図７は、位置、領域、形状、レベルの情報に基づいて、図４に示す第１画像データ３２の左上にある異物ａを検出する場合の例に示している。なお、図７の（ａ）において、図の描画上、異物ａに相当する部分は全体を一様に黒で示しているが、実際は、異物の中央付近がより黒く、周辺部分は徐々に背景レベルに近くなっている。

制御部１２は、図７の（ａ）の点線で示した直線５１上における画像の輝度レベルを算出する。図７の（ｂ）はその様子を示す図で、輝度レベルは実際に即し異物ａの中央付近で低くなる。

図７の（ｃ）は、図７の（ｂ）に示す輝度レベルにおいて、異物ａによる変化成分のみを抽出した図である。制御部１２は、異物ａの周辺の輝度レベルを検出し、異物ａの周辺の輝度レベルを減算する処理を行うことにより、図７の（ｃ）のように、異物ａによる変化成分のみを抽出する。異物ａの周辺のレベルを求める方法としては、例えば、検出された信号成分をローパスフィルタを通して、異物ａのデータレベルが突出している部分をなだらかにすることにより行うことができる。

次に、図７の（ｄ）に示すように、負方向に変化していた信号成分を反転させて異物レベルの信号とする。ここで、制御部１２は、一定レベルのしきい値Ｌｔｈを用い、異物レベルの信号の２値化を行う。異物レベルがしきい値Ｌｔｈより大きい場合は［１］、小さい場合は［０］とする。図７の（ｅ）は、２値化した異物信号の情報を示すものである。

図７の（ｆ）は、異物の形状、異物の位置、異物の範囲を検出する方法を説明するための説明図である。図７（ｆ）に示すように、異物の画像としては２次元情報であり、この２次元の２値化情報を異物形状とする。図７の（ｆ）において、黒い部分が異物の形状を示すもので、２値化した異物レベルが［１］の部分を黒色の部分で示している。異物の範囲５２は、黒色の部分の異物全体を囲む矩形の枠である。異物の範囲５２は、異物に対し、水平方向および垂直方向それぞれにおける最小値、最大値を求めることにより得られる。また、異物の位置は、ある異物に対する位置情報を示すものであり、例えば異物の範囲５２の左上の点、異物の範囲５２の中心、異物の形状の重心などを異物の位置情報とする。図７に示す例では、異物ａの位置は、座標（ｘ１，ｙ１）として表している。

以上説明した方法により、異物の位置、異物の範囲、異物の形状、異物レベルの情報を検出することができる。そして、制御部１２は、第１画像データから第１異物情報を取得するとともに、第２画像データから第２異物情報を取得し、その取得した第１異物情報および第２異物情報を照合して、第１異物情報、第２異物情報に含まれる異物が、第１異物情報、第２異物情報で共通の異物であるか、第１異物情報にのみ存在する異物か、第２異物情報にのみ存在する異物かを判定することが可能となる。

ここで、第１異物情報、第２異物情報から共通の異物であることを判定する場合は、例えば異物の位置情報を使用し、異物の位置が近いときに、共通の異物であると判定する方法を用いることにより可能である。また、異物の範囲５２を示す矩形の枠において、水平幅をΔｘ、垂直幅をΔｙとしたとき、Δｘ、Δｙの値が近いときに、共通の異物であると判定する方法を用いることも可能である。また、異物の形状が近いときに、共通の異物であると判定する方法を用いることも可能である。さらに、異物の形状に加え、異物レベルを利用することにより、共通の異物であると判定する方法を用いることも可能である。勿論、これらの複数の判定方法の中から選択して単独で用いてもよいが、複数の方法を組み合わせて用いることにより、より高い精度での判定が可能である。

なお、複数の表示用の画像データに対して、第２検出機能の処理により異物を検出する場合、第１検出機能で行う処理と同様の処理方法を用いて異物を検出してもかまわない。ただし、第１検出機能のように画像データ全体で異物を検出する動作を行うと、処理するステップおよび情報量が多くなってしまう。したがって、第２検出機能の処理方法においては、第１検出機能で検出した異物の周辺の画素データのみを対象に処理するようにしてもよい。

［１−３．効果など］
以上のように本技術による異物情報検出装置および異物情報検出方法は、撮像装置により撮影して得られる複数枚の表示用の画像データ３１と、複数枚の表示用の画像データ３１の撮影前に取得する単一色の背景を有する第１画像データ３２および複数枚の表示用の画像データ３１の撮影後に取得する単一色の背景を有する第２画像データ３３を記録する記録部１１と、記録部１１に記録される複数枚の表示用の画像データを読み込み、当該画像データに対して異物に関する情報を検出するように構成した制御部１２とを備えている。制御部１２は、第１画像データ３２および第２画像データ３３に基づいて、第１画像データ３２および第２画像データ３３それぞれの画像データ内に存在する異物の位置を示す異物情報を異物毎に検出し、その検出した異物情報を用いて、複数枚の表示用の画像データ３１それぞれにおける異物の位置を示す異物情報を検出するように構成している。

これにより、第１画像データ３２および第２画像データ３３から容易に異物に関する情報を特定できる。さらに、その後、第１画像データ３２および第２画像データ３３の間に撮影した複数枚の表示用の画像データ３１における異物に関する情報を特定することができる。そのため、制御部１２は、複数枚の画像データそれぞれの全ての画素に対して異物を厳密に検出する動作を行う必要はなく、第１画像データ３２および第２画像データ３３で検出した異物情報に基づいて、予測的に異物情報を検出することができる。これにより、制御部１２における異物検出動作の精度向上と、データ処理量の低減を両立することができる。

さらに、本技術の異物情報検出装置および異物情報検出方法において、複数枚の表示用の画像データそれぞれにおける異物情報を検出した結果に基づき、撮像装置の光学系や撮像部にほこりなどの異物が侵入していることを知らせる報知部を付加して備えることにより、常に正確な画像を撮像装置で撮像することができる。

以上のように、本技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

以上のように本技術は、常に正確な画像を取得することが必要な医療分野、航空宇宙分野、自動車分野、報道分野などの業務用の撮影装置において、特に有用な発明である。

１ 光学系
１Ａ フォーカスレンズ
１Ｂ ズームレンズ
１Ｃ 絞り
１Ｄ シャッター
２ イメージセンサ
３ ＡＦＥ
４ 画像処理部
５ バッファメモリ
６ コントローラ部
７ メモリカード
８ カードスロット
９ 表示部
１０ 操作部
１１ 記録部
１２ 制御部
１３ 記憶部
２１ 第１画像データおよび第２画像データ生成ステップ
２２ 第１検出機能ステップ
２３ 第２検出機能ステップ
３１ 表示用の画像データ
３２ 第１画像データ
３３ 第２画像データ
４１ 異物情報照合ステップ
４２ 異物発生タイミング検出ステップ
４３ 異物情報リスト生成ステップ
５１ 直線
５２ 異物の範囲

Claims (8)

1. 撮像装置により撮影して得られる複数枚の表示用の画像データと、前記複数枚の表示用の画像データの撮影前に取得する異物情報検出用の第１画像データおよび前記複数枚の表示用の画像データの撮影後に取得する異物情報検出用の第２画像データを記録する記録部と、前記記録部に記録される複数枚の表示用の画像データを読み込み、当該画像データに対して異物に関する情報を検出するように構成した制御部とを備え、
   前記制御部は、前記第１画像データおよび前記第２画像データに基づいて、前記第１画像データおよび前記第２画像データそれぞれの画像データ内に存在する異物の位置を示す異物情報を異物毎に検出し、その検出した異物情報を用いて、前記複数枚の表示用の画像データそれぞれにおける異物の位置を示す異物情報を検出するように構成した撮像装置の異物情報検出装置。
2. 前記制御部は、第１画像データから第１異物情報を取得するとともに、第２画像データから第２異物情報を取得し、その取得した前記第１異物情報および第２異物情報を照合して、第１異物情報と第２異物情報に共通に存在する異物情報が得られた場合、前記共通の異物は複数の表示用の画像データそれぞれに存在するとみなし、前記複数枚の表示用の画像データそれぞれにおける異物の存在と位置を示す情報を得るように構成した請求項１に記載の撮像装置の異物情報検出装置。
3. 前記制御部は、第１画像データから第１異物情報を取得するとともに、第２画像データから第２異物情報を取得し、その取得した前記第１異物情報および第２異物情報を照合して、第１異物情報にのみ存在する異物情報、または第２異物情報にのみ存在する異物情報が得られた場合、前記第１異物情報にのみ存在する異物情報、または第２異物情報にのみ存在する異物情報に基づいて、前記複数の表示用の画像データそれぞれにおける異物の存在と位置を示す情報を得るように構成した請求項１に記載の撮像装置の異物情報検出装置。
4. 前記制御部は、複数の表示用の画像データに第１画像データと第２画像データに非共通の異物が発生したタイミングを検出する場合、複数の表示用の画像データに非共通の異物情報が存在するか否かを検出し、非共通の異物が存在している状態から存在していない非存在の状態、または非共通の異物が非存在の状態から存在の状態に変化する画像データの変化を検出し、異物の状態が変化した後の画像データについては、変化後の存在条件が継続されているとみなす判断を行うように構成した請求項３に記載の撮像装置の異物情報検出装置。
5. 前記制御部は、第１異物情報および第２異物情報から共通の異物であることを判定する場合、異物の位置情報を使用して異物の位置が近いときに共通の異物であると判定する方法、異物の範囲を示す矩形の枠の水平幅をΔｘ、垂直幅をΔｙとしたとき、Δｘ、Δｙの値が近いときに共通の異物であると判定する方法、異物の形状が近いときに共通の異物であると判定する方法、および異物の形状に加え、異物レベルを利用することにより共通の異物であると判定する方法の中から選択して、単独、または組み合わせて用いるように構成した請求項１に記載の撮像装置の異物情報検出装置。
6. 前記制御部により制御される報知部を設け、異物情報を検出した結果に基づき、撮像装置の光学系や撮像部に異物が侵入していることを知らせるように構成した請求項１に記載の撮像装置の異物情報検出装置。
7. 撮像装置により撮影して得られる複数枚の表示用の画像データの撮影前後に、異物情報検出用の第１画像データおよび異物情報検出用の第２画像データを取得する第１画像データおよび第２画像データ生成ステップと、
   第１画像データおよび第２画像データよりそれぞれ異物情報として第１異物情報および第２異物情報を取得する第１検出機能ステップと、第１検出機能ステップで作成した異物情報と複数枚の表示用の画像データを照合することにより、複数枚の表示用の各画像データに対応した画像毎の異物の位置を示す異物情報を取得する第２検出機能ステップと、
   を有する撮像装置の異物情報検出方法。
8. 前記第２検出機能ステップは、第１検出機能ステップで生成された第１異物情報および第２異物情報を照合し、第１異物情報と第２異物情報に共通に存在する共通の異物情報、第１異物情報にのみ存在する非共通の異物情報、第２異物情報にのみ存在する非共通の異物情報を得る異物情報照合ステップを有する請求項７に記載の撮像装置の異物情報検出方法。

Images