JP7441304B2

JP7441304B2 - 撮像装置、映像処理装置及び映像処理方法

Info

Publication number: JP7441304B2
Application number: JP2022509909A
Authority: JP
Inventors: 拓洋澁谷
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2020-03-24
Filing date: 2021-03-11
Publication date: 2024-02-29
Anticipated expiration: 2041-03-11
Also published as: JPWO2021193102A1; WO2021193102A1

Description

本発明は、撮像装置、映像処理装置及び映像処理方法に関する。

近年、CMOS(Complementary Metal Oxide Semiconductor)撮像素子の生産技術の向上によりフォトダイオードの多画素化・高密度化が進んでいる。フォトダイオードが多画素化・高密度化された撮像素子を搭載した撮像装置ではより高解像度の映像を得ることができる。

高解像度の映像は、大画面のディスプレイやスクリーンに大写しにしてもジャギーが目立つことがないリアルで臨場感のある映像を表示することができる。また、被写体の細部まで撮像して拡大表示することにより、精細な映像で微小な傷や異物を確認することができる。主に放送用カメラやシネカメラでは、前者の目的で高解像度の映像が用いられており、主に産業用カメラや医療用カメラでは、後者の目的で高解像度の映像が用いられている。スチルカメラでは、両方の目的で高解像度の映像が用いられている。

一方で、表示素子においてもOLED(Organic Light Emitting Diode)等の普及により多画素化・高密度化の傾向があるが、撮像素子ほどは進んでいない。これには、技術的な課題もあるが、人間の目が捉えることができる単位面積当たりの画素数には限度があり、その限度を超えてまで表示素子の多画素化・高密度化を進めても意義が乏しいという事情もある。

表示素子の画素数が撮像素子の画素数よりも少ない場合、撮像領域全体の映像を確認するためには、表示素子の画素数に合わせて映像を圧縮スケーリングする必要がある。あるいは、表示素子の画素数に合わせた複数の領域を映像から切り出して各領域を切り替えて確認する必要がある。

このような撮像領域全体の映像の確認は、撮像装置、レンズやフィルタ等の光学系及び表示装置の生産工程におけるゴミ・傷・画素欠陥の検査時に行われる。撮像装置・光学系の検査は、白一色の被写体又は光源を撮像することで行い、表示装置の検査は、白一色を表示した検査対象の表示装置を撮像することで行う。

特許文献１には、異物の付着を輝度レベルによって検出する技術が開示されている。

特開2008-72416号公報

ゴミ・傷・画素欠陥の検査においては、映像を圧縮スケーリングしてしまうと、数画素スケールの微細なゴミ・傷・画素欠陥が消えてしまうおそれがある。また、各領域を切り替えて確認する場合には、領域の数だけ検査の作業量が増えて、生産コストが上昇してしまう。撮像装置と同等の高解像度の表示装置を用いた場合においても、表示素子の画素密度が高く画面が小さい場合には、微細なゴミ・傷・画素欠陥を目視確認で見逃してしまうおそれがある。画面が大きい場合には、目視確認する面積が増えて各領域を切り替えて確認するのと変わらない。

そこで、本発明は、検査対象のゴミ・傷・画素欠陥の検査において、低解像度の表示装置を用いた場合でも、高解像度の映像を圧縮スケーリングすることなく、撮像領域全体の映像を一括して確認することができる技術を提供することを目的とする。

上記の課題を解決するために、代表的な本発明の撮像装置の一つは、光学系からの被写体像を撮像する撮像素子と、撮像領域全体の高解像度映像を複数の領域に分割して複数の低解像度映像を得る映像分割部と、複数の低解像度映像を重ね合わせて一の低解像度映像を得る映像合成部と、を有する。

本発明によれば、検査対象のゴミ・傷・画素欠陥の検査において低解像度の表示装置を用いた場合でも、高解像度の映像を圧縮スケーリングすることなく、撮像領域全体の映像を一括して確認することができる。

上記した以外の課題、構成および効果は、以下の実施をするための形態における説明により明らかにされる。

本発明の実施形態の撮像装置の構成例を示すブロック図。本発明の実施形態におけるゴミ検査を行う映像を分割・合成する動作の一例を示す図。本発明の実施形態におけるゴミ検査を行う映像を分割・合成する動作の一例を示す図。本発明の実施形態におけるゴミ検査を行う映像を分割・合成する動作の一例を示す図。本発明の実施形態におけるゴミ検査を行う映像を分割・合成する動作の一例を示す図。本発明の実施形態における検査の一例を示す図。本発明の実施形態における検査の一例を示す図。

以下、図面を参照して、本発明の実施形態について説明する。なお、この実施形態により本発明が限定されるものではない。

図１は本発明の実施形態の撮像装置の構成例を示すブロック図である。

図１において、撮像装置１０１は、レンズ１０２、撮像素子１０３、映像信号処理部１０４、フレームメモリ１０５、CPU(Central Processing Unit)１０６、映像信号出力部１０７で構成されている。

被写体からの入射光はレンズ１０２で結像され、撮像素子１０３で電気信号に光電変換される。映像信号処理部１０４では映像信号に各種の信号処理が施され、映像信号出力部１０７からHD-SDI(High Definition Serial Digital Interface)信号が出力される。

映像信号処理部１０４では、映像信号に、映像分割部１０８による分割処理、映像合成部１０９による合成処理が施されるほか、ガンマ補正部１１０にてガンマ補正、ニー補正、輪郭補正、色補正等の映像信号処理が施されて、映像信号出力部１０７に出力される。

映像信号出力部１０７は、入力した映像信号からHD-SDI信号を生成して、外部に出力する。なお、映像信号出力部１０７から出力する映像信号は、HD-SDIに限定されるものではなく、圧縮や暗号化等の有無も問わない。CPU１０６は撮像装置１０１の各部を制御する。

映像分割部１０８による分割処理及び映像合成部１０９による合成処理では、必要に応じてフレームメモリ１０５に映像信号を入出力する。

映像分割部１０８は、映像を任意の画素数の複数の映像に分割する。ここで、任意の画素数は、検査映像を表示させる表示素子の画素数に合わせたものが適切であるが、ユーザーが任意に設定しても良い。分割後の映像を全て組み合わせれば、分割前の映像の全ての画素を復元できるように分割を行う。

映像合成部１０９は、映像分割部１０８によって各領域に分割された映像を一に重ね合わせた上で、各領域の映像の同一の座標となる画素のうち最も輝度レベルが低い画素を合成後の同座標の画素として選択する。輝度レベルが低い画素を選択するのは、一般的にゴミは光を遮るため、周辺部と比較して映像の輝度レベルが低下して表示されることを利用したものである。

映像分割部１０８が分割後の映像に領域を識別する情報を付加すれば、当該情報を映像合成部１０９が利用できる。

図２Ａないし図２Ｄは、ゴミ検査を行う映像を映像分割部１０８で分割前の映像２０１を縦横１／２の画素数の４つの映像に分割した例である。分割前の映像２０１は白一色の被写体中にゴミが４つ存在する映像である。４つの映像に分割すると、左上領域の映像２０６には粒上のゴミ（輝度レベル：中）２０２と線状のゴミ（輝度レベル：低）２０３が、右上領域の映像２０７には粒上のゴミ（輝度レベル：中）２０４が、左下領域の映像２０８には大きい粒上のゴミ（輝度レベル：低）２０５が存在し、右下領域の映像２０９にはゴミが存在しない映像となる。映像合成部１０９は、これら４つの映像を重ね合わせ、同一の座標となる画素のうち最も輝度レベルが低い画素を合成後の同座標の画素として選択する。その結果、合成後の映像２１０には、左上領域の映像２０６に存在した線状のゴミ（輝度レベル：低）２０３と、右上領域の映像２０７に存在した粒上のゴミ（輝度レベル：中）２０４と、左下領域の映像２０８に存在した大きい粒上のゴミ（輝度レベル：低）２０５が存在し、分割前の映像２０１の縦横１／２の画素数の低解像度映像が得られる。

ここで、左上領域の映像２０６に存在した粒上のゴミ（輝度レベル：中）２０２が合成後の映像２１０中に存在しないのは、左下領域の映像２０８に存在した大きい粒上のゴミ（輝度レベル：低）２０５と座標が重なり、より輝度レベルの低い左下領域のゴミ２０５の映像に隠れたためである。これは、ゴミの個数を検査する目的としては不向きであるが、一般的にゴミの検査は、ゴミの大きさや、ゴミによる光透過への影響すなわち輝度レベルの低下を検査の判定基準としているため、輝度レベルが高い小さなゴミの映像が、輝度レベルが低い大きなゴミの映像に隠れたとしても、ゴミ検査の目的は果たすことができる。

尚、合成後の映像は、輝度レベルが高い白領域の映像についても、４つの映像のうち最も輝度レベルが低い画素が選択された映像であるが、ゴミが存在しない白領域の映像は、ゴミが存在する映像と比べて明らかに輝度レベルが高い映像であるため、どの領域の映像が選択されたとしても、そこにゴミがないということを確認でき、ゴミ検査の目的は果たすことができる。

合成後の映像にゴミが存在した場合、そのゴミが分割前の映像のどの領域に存在するかは特定できない。しかしながら、一般的にゴミの検査において、検査の判定基準を満たさないゴミが１つでも存在した場合には、清掃工程に戻す等の処置がとられるため、ゴミがどの領域に存在するかを特定する必要性は低い。

応用例として、領域毎にゴミの映像を色分け表示すれば、ゴミがどの領域に存在するかを特定する一助となる。具体的には、領域毎に映像の色相を互いに異なる所定の色相とする。映像分割部１０８が分割後の映像に領域を識別する情報を付加していれば、当該情報を利用して映像合成部１０９が分割後の映像の色相を処理できる。合成後の映像の明暗を反転すれば、ゴミの映像が明るくなり、色相を判別しやすい。

なお、本発明の実施形態の撮像装置において、傷・画素欠陥を検査することもできる。また、映像の分割及び合成を行わない通常の映像を出力することも当然可能である。

図３Ａ及び図３Ｂは、本発明の実施形態における検査の一例を示す図である。光学系３０２又は撮像装置３０３を検査する場合、白一色の被写体又は光源３０１を撮像して、モニタ３０４で目視確認する。ただし、常に白レベルを出力する画素欠陥を検査する場合は、黒一色の被写体を撮像するか、遮光した状態で撮像し、映像合成部で最も輝度レベルが高い画素を選択する。

モニタ３０５を検査する場合、白一色を表示したモニタ３０５を撮像して、モニタ３０４で目視確認する。ただし、常に白レベルを表示する画素欠陥を検査する場合は、黒一色を表示したモニタ３０５を撮像し、映像合成部で最も輝度レベルが高い画素を選択する。

以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

各領域の映像の同一の座標となる画素に施す処理は、上述の最も輝度レベルが低い画素を選択する処理及び最も輝度レベルが高い画素を選択する処理に限らない。例えば、輝度レベルの平均値や中央値を求める処理でもよい。

各領域の映像の同一の座標となる画素に所定の処理を施すことにより、各領域の映像の同一の座標におけるゴミ・傷・画素欠陥の有無を一括して確認することができる。最も輝度レベルが低い画素を選択する処理により、ゴミ・傷・常に黒レベルを出力・表示する画素欠陥の有無を確認することができる。また、最も輝度レベルが高い画素を選択する処理により、常に白レベルを出力・表示する画素欠陥の有無を確認することができる。

領域毎に映像の色相を互いに異なる所定の色相とすることにより、ゴミ・傷・画素欠陥がどの領域に存在するかを特定することができる。また、合成後の映像の明暗を反転することにより、ゴミ・傷・常に黒レベルを出力・表示する画素欠陥の映像を明るく、常に白レベルを出力・表示する画素欠陥の映像を暗くすることができる。

上述の実施形態では、本発明の映像処理を撮像装置で実施する例を記述したが、本発明の映像処理を表示装置や、パソコン等の映像処理装置で実施することも可能である。すなわち、表示装置や、パソコン等の映像処理装置が映像分割部及び映像合成部を有することも可能である。また、本発明は、映像処理方法としても表現し得る。表示装置、映像処理装置及び映像処理方法においても、撮像装置と同等の効果を奏する。

１０１…撮像装置、１０２…レンズ、１０３…撮像素子、１０４…映像信号処理部、１０５…フレームメモリ、１０６…CPU、１０７…映像信号出力部、１０８…映像分割部、１０９…映像合成部、１１０…ガンマ補正部、２０１…分割前の映像、２０２ないし２０５…ゴミ、２０６ないし２０９…分割後の映像、２１０…合成後の映像、３０１…被写体又は光源、３０２…光学系、３０３…撮像装置、３０４、３０５…モニタ。

Claims

光学系からの被写体像を撮像する撮像素子と、
撮像領域全体の高解像度映像を複数の領域に分割して複数の低解像度映像を得る映像分割部と、
前記複数の低解像度映像を重ね合わせて一の低解像度映像を得る映像合成部と、
を有するゴミ・傷・画素欠陥検査用撮像装置。
請求項１に記載の撮像装置であって、
前記映像合成部は、前記複数の低解像度映像を重ね合わせた場合に同一の座標となる各低解像度映像の画素に所定の処理を施して得た画素により構成される一の低解像度映像を得る、
ゴミ・傷・画素欠陥検査用撮像装置。
請求項２に記載の撮像装置であって、
前記所定の処理は、最も輝度レベルが低い画素を選択する処理である、
ゴミ・傷・画素欠陥検査用撮像装置。
請求項２に記載の撮像装置であって、
前記所定の処理は、最も輝度レベルが高い画素を選択する処理である、
ゴミ・傷・画素欠陥検査用撮像装置。
請求項３に記載の撮像装置であって、
前記映像合成部は、前記複数の低解像度映像の色相を互いに異なる所定の色相とする、
ゴミ・傷・画素欠陥検査用撮像装置。
請求項１に記載の撮像装置であって、
前記映像合成部は、前記一の低解像度映像の明暗を反転する、
ゴミ・傷・画素欠陥検査用撮像装置。
高解像度映像を複数の領域に分割して複数の低解像度映像を得る映像分割部と、
前記複数の低解像度映像を重ね合わせて一の低解像度映像を得る映像合成部と、
を有するゴミ・傷・画素欠陥検査用映像処理装置。
高解像度映像を複数の領域に分割して複数の低解像度映像を得る映像分割ステップと、
前記複数の低解像度映像を重ね合わせて一の低解像度映像を得る映像合成ステップと、
を有するゴミ・傷・画素欠陥検査用映像処理方法。