JP7305501B2 - 撮像装置および機械学習処理方法 - Google Patents

Description

本発明は、撮像装置および機械学習処理方法に関する。

近年、機械学習処理を用いた画像検査の技術が注目され、医療、農業、食品や精密機器の工場など、多様な分野に導入されている。この種の技術では、予め機械学習された機械学習器を使用することにより、対象物の画像的な特徴を捉えた検査結果を得ることができる。このような画像検査の精度を高めるためには、機械学習器の学習を綿密に行う必要があり、画像検査に関連する多種多様な映像データを数多く用意する必要があった。

学習用に数多くの映像データを用意する方法としては、データオーギュメンテーション（データ増強法）が知られている。このデータオーギュメンテーションでは、１つの映像データに対して回転や平行移動などの画像処理を施すことにより、映像データの数を増やしている。

例えば、特許文献１には、「少数の映像データを画像補間装置でデータ補間したり、あるいは画像変形装置でデータ変形したりして、多数の画像を生成する」旨の技術が開示される。

特開平９－２３７３４０号公報

機械学習処理では、学習用の映像データを効率よく収集する技術が要望される。
そこで、本発明は、映像データを効率よく収集するための技術を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置の代表的な一つは、複数種類の光学フィルタ、光学フィルタ切替機構、撮像部、および撮像駆動部を備える。
複数種類の光学フィルタは、互いに異なる光学特性を有する。
光学フィルタ切替機構は、複数種類の光学フィルタを選択的に切り替えて、被写体の撮影光路に挿置する。
撮像部は、撮影光路に挿置された光学フィルタを介して被写体を撮像して、フィルタ映像をデータ出力する。
撮像駆動部は、光学フィルタ切替機構により撮影光路に挿置する光学フィルタを切り替えながら、光学フィルタの挿置タイミングに同期して撮像部を駆動することにより、被写体に対応する複数種類のフィルタ映像をデータ生成する。

本発明により、映像データを効率よく収集することが可能になる。

上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

図１は、実施例１の撮像装置の構成を示すブロック図である。 図２は、機械学習器２０の基本構成の例を示す図である。 図３は、撮像装置の外形と、光学フィルタ切替機構１１の内部配置を説明する図である。 図４は、開口穴１１０Ａ、１１０Ｂと撮像素子１０３との位置関係を説明する図である。 図５は、開口穴１１０Ａ、１１０Ｂと撮像素子１０３との位置関係を説明する図である。 図６は、ロータリーアクチュエータ１０５の回転角度と、撮像素子１０３の電子シャッタ制御（電荷蓄積制御など）との関係を説明する図である。 図７は、フィルタ映像の合成処理の例を説明する図である。 図８は、フィルタ映像の映像加工の例を説明する図である。 図９は、映像加工と合成処理とを組み合わせた複合処理の例を説明する図である。 図１０は、撮像装置の撮像モードについて説明する流れ図（１／２）である。 図１１は、撮像装置の撮像モードについて説明する流れ図（２／２）である。

以下、図面を用いて、本発明の実施例を説明する。

＜撮像装置の構成＞
まず、実施例１の撮像装置について構成を説明する。
図１は、実施例１の撮像装置の構成を示すブロック図である。
同図において、撮像装置は、複数種類の光学フィルタ１０の群、光学フィルタ切替機構１１、撮像部１２、撮像駆動部１３、映像処理部１４、映像出力部１７、および機械学習器２０を備える。

複数種類の光学フィルタ１０は、異なる光学特性を有する光学的素子の群である。このような光学フィルタ１０としては、例えば、可視光を選択的に透過する可視光フィルタや、近赤外光を選択的に透過する赤外フィルタなどがあげられる。

光学フィルタ切替機構１１は、複数種類の光学フィルタ１０を選択的に切り替えて、被写体と撮像部１２との間の撮影光路に挿置する。

撮像部１２は、撮影光路に挿置された光学フィルタ１０を介して被写体を撮像し、フィルタ映像をデータ出力する。

撮像駆動部１３は、光学フィルタ切替機構により撮影光路に挿置する光学フィルタ１０を切り替えながら、光学フィルタ１０の挿置タイミングに同期して撮像部１２を駆動することにより、同一の被写体に対して複数種類のフィルタ映像のデータを生成する。

映像処理部１４は、複数種類のフィルタ映像のデータに対して、複数種類の映像加工１５と、複数種類の合成処理１６とを選択的に実施することにより、同一の被写体に対するフィルタ映像の種類数をさらに増やす。
このようにして、撮像装置では、同一の被写体に対して、複数種類のフィルタ映像をまとめて生成することが可能になる。

映像出力部１７は、映像処理部１４を経由した複数種類のフィルタ映像を外部機器へ出力する。例えば、映像出力部１７は、複数種類のフィルタ映像を、所定のフレームレートで、USB、GiGE、CameraLink、CoaXPress、SD-SDI、HD-SDI、NTSC等のインターフェースに合わせて出力する。

機械学習器２０には、映像処理部１４を経由した複数種類のフィルタ映像が、学習材料または推定材料として入力される。なお、機械学習器２０において複数種類のフィルタ映像を学習材料として入力される場合は、被写体に関する教師値や、フィルタ映像の種類などの付随情報も機械学習器２０に入力される。

＜機械学習処理方法について＞
続いて、実施例１における機械学習処理方法について説明する。

図２は、機械学習器２０の基本構成の例を示す図である。
同図において、機械学習器２０は、前処理部３１、入力層３２、畳み込み層・活性化関数３３、プーリング層３４、ニューラルネットワーク３５、出力層３６、および学習アルゴリズム部３７を備える。

前処理部３１は、入力されるフィルタ映像に対して、画像検査の検査内容に応じた前処理を実施する。例えば、前処理部３１は、解析領域設定（クロップ、リサイズ、鳥瞰変換、視点変換、歪み補正、畳み込み前のパディングなど）や、差分処理（背景差分、輪郭抽出など）や、ベクトル解析（動きベクトル検出、動き追跡）や、信号処理（特徴抽出、形状抽出、輪郭強調、階調補正、ダイナミックレンジの拡大縮小、レベル正規化、ノイズ抑制、モアレ除去、ホワイトバランス調整、色処理、減色処理、モノクロ化など）や、その他の前処理を実施する。

前処理部３１において前処理されたフィルタ映像は、入力層３２に入力される。

入力層３２のフィルタ映像は、畳み込み層・活性化関数３３およびプーリング層３４を介して処理される。

畳み込み層・活性化関数３３は、画像空間の局所的な特徴に応じて活性化するニューロン配列を備える。プーリング層３４は、ニューロン配列により活性化されたニューロン値を適度に集約する機能を有する。このような機能により、畳み込み層・活性化関数３３およびプーリング層３４は、フィルタ映像の画像的特徴を抽象化した特徴マップを生成する。なお、この畳み込み層・活性化関数３３およびプーリング層３４は、画像的特徴の抽象化を多段階に行うために多層化される。

多層化された畳み込み層・活性化関数３３およびプーリング層３４を経由した特徴マップのニューロン値はシリアル化された後、ニューラルネットワーク３５に入力される。

ニューラルネットワーク３５は、画像検査に必要な段数でニューロン層を結合（例えば全結合）して構成される。ニューラルネットワーク３５の最終端の出力層３６からは、フィルタ映像の推定結果（尤度など）を示すデータやデータパターンが出力される。

学習アルゴリズム部３７は、入力される複数種類のフィルタ映像と、フィルタ映像の被写体に関する教師値（またはフィルタ映像それ自体に関する教師値）とを組み合わせてデータセットとし、機械学習器２０の学習データとして内部メモリにデータ蓄積する。学習アルゴリズム部３７は、データ蓄積された学習データを用いて、機械学習器２０の機械学習を行う。例えば、学習アルゴリズム部３７は、フィルタ映像を機械学習器２０に与えた際の推定結果が教師値に近づくように、誤差逆伝播法などに基づいて、畳み込み層・活性化関数３３およびニューラルネットワーク３５の各ニューロンの重み係数およびバイアス値を調整する。

なお、上述した機械学習処理方法において、同一被写体であってもフィルタ映像の種類が大きく異なると、画像的特徴の差が大きくなって一括りに機械学習処理できない場合がある。その場合は、フィルタ映像の種類別に、専用の機械学習器２０を設けて機械学習処理方法を行うことが好ましい。

＜光学フィルタ切替機構１１の構成例について＞
次に、光学フィルタ切替機構１１の一例について説明する。

図３は、撮像装置の外形と、光学フィルタ切替機構１１の内部配置を説明する図である。

同図において、撮像装置の筐体１０１には、レンズマウント１０２が設けられる。このレンズマウント１０２には、被写体光を結像するための撮影レンズが装着される。この撮影レンズの結像位置には、撮像部１２の主要部品である撮像素子１０３が配置される。

この撮像素子１０３の撮影光路には、ロータリーアクチュエータ１０５からなる光学フィルタ切替機構１１が配置される。このロータリーアクチュエータ１０５はアクチュエータ内のモータ（以下「内蔵モータ」という）により回転する。ロータリーアクチュエータ１０５は回転角度に応じて周方向に６区分される。この６区分には、可視光を選択的に透過する可視光フィルタ１０６（近赤外域をカットする光学フィルタ）と、近赤外光を選択的に透過する赤外フィルタ１０７（可視域をカットする光学フィルタ）とが交互に配置される。なお、６区分に対して、光学特性のすべて異なる６種類の光学フィルタ１０を装着してもよい。また、６区分の角度区分は、後述するように撮像素子１０３の露光時間と関係する。そこで、露光時間が長くなる光学フィルタ１０については角度区分を大きくし、露光時間が短くなる光学フィルタ１０については角度区分を小さくしてもよい。

ロータリーアクチュエータ１０５の６区分の仕切り部分には、回転位置を検出するための開口穴１１０Ａ、１１０Ｂが径方向にずらして形成される。撮像装置の内部１０４には、開口穴１１０Ａ、１１０Ｂを照明する位置に光源１０８が設けられる。光源１０８の照明光は、ロータリーアクチュエータ１０５の６区分の仕切り部分が撮像素子１０３の上を横切る瞬間に点灯し、それ以外の期間は消灯する。なお、ロータリーアクチュエータ１０５のサイド側などの隙間から迷光が入射しないよう、ロータリーアクチュエータ１０５の外周部分は遮光される。

＜光学フィルタ切替機構１１とフレームレートとの同期制御について＞
図４および図５は、開口穴１１０Ａ、１１０Ｂと撮像素子１０３との位置関係を説明する図である。

撮像素子１０３の撮像面の中央ラインには、向かって左側に開口穴１１０Ａの光点が通過するエリアＡが領域設定され、向かって右側に開口穴１１０Ｂの光点が通過するエリアＢが領域設定される。

撮像部１２は、撮像素子１０３から中央ラインのライン信号を順次に読み出すことにより。エリアＡを通過する開口穴１１０Ａの光点と、エリアＢを通過する開口穴１１０Ｂの光点とを交互に検出する。

図５［Ａ］は、撮影光路に挿置される光学フィルタ１０が、可視光フィルタ１０６から赤外フィルタ１０７へ切り替わるタイミングである。撮像部１２は、エリアＡに開口穴１１０Ａの光点を検出することにより、このタイミングを検知する。このタイミング検知により、撮像装置は、ロータリーアクチュエータ１０５の回転位置を初期化する。

図５［Ｂ］は、撮影光路に挿置される光学フィルタ１０が、赤外フィルタ１０７から可視光フィルタ１０６へ切り替わるタイミングである。撮像部１２は、エリアＢに開口穴１１０Ｂの光点を検出することにより、このタイミングを検知する。このタイミング検知により、撮像装置は、ロータリーアクチュエータ１０５の回転位置を初期化する。

図６は、ロータリーアクチュエータ１０５の回転角度と、撮像素子１０３の電子シャッタ制御（電荷蓄積制御など）との関係を説明する図である。

同図に示すように、初期化された回転位置からロータリーアクチュエータ１０５が約（φ／２）角度だけステップ回転すると、ロータリーアクチュエータ１０５の仕切り部分が撮像素子１０３から外れる。そこで、撮像駆動部１３は電子シャッタ制御により撮像素子１０３の電荷蓄積を開始する。この電荷蓄積開始の時点からロータリーアクチュエータ１０５が約（２θ）角度だけステップ回転すると、ロータリーアクチュエータ１０５の仕切り部分が撮像素子１０３に再びかかる。そのため、撮像駆動部１３は電子シャッタ制御により電荷蓄積を完了する。この電荷蓄積完了からロータリーアクチュエータ１０５が約（φ／２）角度だけステップ回転すると、ロータリーアクチュエータ１０５の回転位置は初期化される。この回転位置の初期化が定期的に検知されることにより、ロータリーアクチュエータ１０５の回転安定度が確認される。

このようにして、撮像素子１０３の電子シャッタ制御とそれに伴うフィルタ映像の出力が、回転速度に同期するタイミングで繰り返される。その結果、ロータリーアクチュエータ１０５の回転速度と、撮像装置のフレームレートとは連動する。例えば、ロータリーアクチュエータ１０５が４０回転／秒で回転した場合、ロータリーアクチュエータ１０５の１回転ごとに可視光映像３フレームと、近赤外画像３フレームが順次に撮像される。そのため、可視光映像のフレームレートは１２０ｆｐｓになり、近赤外映像のフレームレートは１２０ｆｐｓになる。また、両画像についてフレームレートを半分の６０ｆｐｓにしたい場合は、ロータリーアクチュエータ１０５を半分の２０回転／秒で回転させればよい。

このように、ロータリーアクチュエータ１０５の回転速度がフレームレートに同期することにより、撮像装置の可変フレームレートに適応したタイミングで光学フィルタ１０（可視光フィルタ１０６、赤外フィルタ１０７）の切り替えが適切に実施される。

なお、実施例１では、ロータリーアクチュエータ１０５を６区分している。しかしながら、本発明はこれに限定されない。高速フレームレートが不要な場合は、ロータリーアクチュエータ１０５の区分数を少なくしてもよい。また、撮像装置を小型化したい場合には、ロータリーアクチュエータ１０５の区分数を少なくすることにより、ロータリーアクチュエータ１０５の直径を小さくしてもよい。さらに、光学フィルタ１０の種類数を増やしたい場合は、ロータリーアクチュエータ１０５の区分数を光学フィルタ１０の種類数に応じて増やしてもよい。

また、実施例１では、ロータリーアクチュエータ１０５の回転速度（光学フィルタ１０の切り替え）に対して、撮像装置の可変フレームレートを同期させている。しかしながら、本発明はこれに限定されない。例えば、撮像装置のフレームレートの同期信号（垂直同期信号や水平同期信号）をＰＬＬ逓倍化した逓倍化信号を生成し、逓倍化信号によりロータリーアクチュエータ１０５をステップ回転させてもよい。この場合は、撮像装置の可変フレームレートに対して、ロータリーアクチュエータ１０５の回転速度（光学フィルタ１０の切り替え）を同期させることが可能になる。

＜フィルタ映像の合成処理について＞
次に、複数種類のフィルタ映像に対する合成処理について説明する。

図７は、フィルタ映像の合成処理の例を説明する図である。

映像処理部１４は、可視光フィルタ１０６を通して撮影された可視光映像（図７に示すローパス可視光画像）と、赤外フィルタ１０７を通して撮影された近赤外映像（図７に示すハイパス近赤外モノクロ画像）とを、フィルタ映像として取得する。この可視光映像と近赤外映像を所定の合成条件の設定で重ね合わせ合成することにより、新たなフィルタ映像（合成画像）が生成される。

例えば、近赤外映像には、近赤外光を吸収しない（反射する）ゴミや傷などの不純物が写る。一方、可視域の映像は写らない。一方、可視光映像には、可視域の映像と共に、ゴミや傷などの不純物が一緒に写る。そのため、近赤外映像を除去マスクにして、可視光映像からゴミや傷を除去する合成処理を行うことにより、ゴミや傷などを除去した新たなフィルタ映像（合成画像）が得られる。また、近赤外映像と可視光映像とを乗算（論理積）する合成処理を行うことにより、ゴミや傷などを強調した新たなフィルタ映像（合成映像）が得られる。

このように可視光映像と近赤外映像を所定の設定で重ね合わせ合成することにより、人間が目視で確認できる可視光映像と、人間が通常目視では確認できない近赤外映像とを明確に分離したり、また、合成前にそれぞれの露光時間、ゲインをコントロールすることで、人間の目では暗くて見えない部分を明るく強調したフィルタ映像（合成画像）を得ることができる。

このような合成処理では、合成処理を施すフィルタ映像の組み合わせの数を増やしたり、合成条件の種類をさらに追加設定したり、多段階に合成処理を重ねることにより、限られた数のフィルタ映像の種類数をさらに増やすことが可能になる。

＜フィルタ映像の映像加工について＞
次に、フィルタ映像に対する映像加工について説明する。

図８は、フィルタ映像の映像加工の例を説明する図である。
同図において、映像処理部１４は、フィルタ映像一つ一つに対して次の映像加工をそれぞれ実施する。
（１）色調補正・変換、（２）輪郭補正、（３）二値化、（４）輪郭マーキング、（５）ガンマ補正、（７）その他の映像加工

このような映像加工では、映像加工の種類をさらに追加設定したり、多段階に映像加工を重ねることにより、限られた数のフィルタ映像の種類数をさらに増やすことが可能になる。

＜映像加工と合成処理とを組み合わせた複合処理について＞
次に、映像加工と合成処理とを組み合わせた複合処理について説明する。

図９は、映像加工と合成処理とを組み合わせた複合処理の例を説明する図である。

映像処理部１４は、近赤外映像（図９に示すハイパス近赤外モノクロ画像）に対して所定のスレッショルド以上の映像レベル部分を切り出して、アンダーレベルカット画像を生成する。

次に、映像処理部１４は、アンダーレベルカット画像を、可視光映像（図９に示すローパス可視光画像）に対して、複数種類のブレンド比率（８０：２０、５０：５０・・）で合成する。

このような映像加工と合成処理との複合処理では、映像加工や合成処理の組み合わせをさらに追加設定することにより、限られた数のフィルタ映像の種類数をさらに増やすことが可能になる。

＜撮像装置の撮像モードについて＞
続いて、実施例１の撮像モードについて説明する。
図１０および図１１は、撮像装置の撮像モードについて説明する流れ図である。
以下、図に示すステップ番号の順番に説明する。

ステップＳ０１： 撮像駆動部１３は、位置確認用の光源１０８を点灯し、ロータリーアクチュエータ１０５の回転位置を初期化する。

ステップＳ０２： 撮像駆動部１３は、撮像装置の設定に基づいて、モード単独かモード切替かを判定する。モード単独の場合、撮像駆動部１３はステップＳ０３に動作を移行する。モード切替の場合、撮像駆動部１３はステップＳ１４に動作を移行する。

ステップＳ０３： 撮像駆動部１３は、撮像装置の設定に基づいて、可視モードか近赤外モードかを判定する。可視モードの場合、撮像駆動部１３はステップＳ０４に動作を移行する。近赤外モードの場合、撮像駆動部１３はステップＳ０５に動作を移行する。

ステップＳ０４： 撮像駆動部１３は、ロータリーアクチュエータ１０５を初期化された位置から所定のステップ角度だけ回転させることにより、可視光フィルタ１０６を撮影光路に挿置する。この動作の後、撮像駆動部１３は、ステップＳ０６に動作を移行する。

ステップＳ０５： 撮像駆動部１３は、ロータリーアクチュエータ１０５を初期化された位置から所定のステップ角度だけ回転させることにより、赤外フィルタ１０７を撮影光路に挿置する。

ステップＳ０６： 撮像駆動部１３は、位置確認用の光源１０８を消灯する。

ステップＳ０７： 撮像駆動部１３は、挿置された光学フィルタ１０に応じて、適正な露光時間を撮像条件として設定する。また、挿置された光学フィルタ１０の結像距離の違いに応じて焦点調整を行ってもよい。

ステップＳ０８： 撮像駆動部１３は、設定された撮像条件に応じて撮像部１２（撮像素子１０３）を駆動し、挿置された光学フィルタ１０に応じたフィルタ映像を生成する。

ステップＳ０９： 映像処理部１４は、撮像装置の設定に基づいて、映像加工を行うか否かを判定する。ここで、映像加工を行う場合、映像処理部１４はステップＳ１０に動作を移行する。映像加工を行わない場合、映像処理部１４はステップＳ１１に動作を移行する。

ステップＳ１０： 映像処理部１４は、フィルタ映像に対して複数通りの映像加工を行い、フィルタ映像の種類数を増やす。

ステップＳ１１： 映像処理部１４または映像出力部１７は、撮像装置の外部から入力される同期信号（以下「外部同期」という）、または撮像装置の内部で生成される同期信号（以下「内部同期」という）にタイミングを合わせて、複数種類のフィルタ映像を並べ替えるタイミング処理を行う。

ステップＳ１２： 映像処理部１４または映像出力部１７は、フィルタ映像についてエンコーディングを行い、出力用の映像信号を生成する。

ステップＳ１３： 映像処理部１４は、機械学習器２０に対して映像信号を出力する。静止画撮影の場合、撮像駆動部１３は撮像動作をここで一旦完了する。なお、動画撮影の場合、撮像駆動部１３は、ステップＳ０１に動作を戻して、動画撮影を継続する。

ステップＳ１４： 撮像駆動部１３は、外部同期または内部同期に合わせて、ロータリーアクチュエータ１０５の回転を開始する。

ステップＳ１５： 撮像駆動部１３は、ロータリーアクチュエータ１０５の回転が安定化するまで待機する。例えば、ロータリーアクチュエータ１０５の回転位置の初期化タイミングの時間間隔が一定するまで待機する。

ステップＳ１６： 撮像駆動部１３は、開口穴１１０Ａ、１１０Ｂの検知結果に基づいて、撮影光路を次に通過する光学フィルタ１０が、可視光フィルタ１０６と赤外フィルタ１０７のいずれかを判定する。可視光フィルタ１０６の場合、撮像駆動部１３はステップＳ１７に動作を移行する。赤外フィルタ１０７の場合、撮像駆動部１３はステップＳ２０に動作を移行する。

ステップＳ１７： 撮像駆動部１３は、可視光フィルタ１０６に応じて、適正な露光時間を撮像条件として設定する。

ステップＳ１８： 撮像駆動部１３は、光源１０８を一時的に消灯し、撮像部１２（撮像素子１０３）を駆動し、挿置された可視光フィルタ１０６に応じた可視光のフィルタ映像（例えばカラー映像）をデータ生成する。撮像を完了すると、撮像駆動部１３は光源１０８を再び点灯する。

ステップＳ１９： 映像処理部１４は、可視光のフィルタ映像に複数通りの映像加工を行い、複数種類のフィルタ映像を生成する。この動作の後に、映像処理部１４はステップＳ２３に動作を移行する。

ステップＳ２０： 撮像駆動部１３は、赤外フィルタ１０７に応じて、適正な露光時間を撮像条件として設定する。また、近赤外光の結像距離に応じて焦点調整を行ってもよい。

ステップＳ２１： 撮像駆動部１３は、光源１０８を一時的に消灯し、撮像部１２（撮像素子１０３）を駆動し、挿置された赤外フィルタ１０７に応じた近赤外光のフィルタ映像（例えばモノクロ映像）をデータ生成する。撮像を完了すると、撮像駆動部１３は光源１０８を再び点灯する。

ステップＳ２２： 映像処理部１４は、近赤外光のフィルタ映像に複数通りの映像加工を行い、複数種類のフィルタ映像を生成する。

ステップＳ２３： 映像処理部１４は、内部メモリに対して、種類数を増やしたフィルタ映像を一時記録する。

ステップＳ２４： 撮像駆動部１３は、光学フィルタ１０の切り替えがすべて完了したか否かを判定する。光学フィルタ１０の切り替えがすべて完了した場合、撮像駆動部１３はステップＳ２５に動作を移行する。光学フィルタ１０の切り替えが完了していない場合、残りの光学フィルタ１０について撮像を行うため、ステップＳ１６に動作を戻す。

ステップＳ２５： 映像処理部１４は、内部メモリ上のフィルタ映像について複数通りの組み合わせを作成し、複数通りの組み合わせについて複数種類の合成処理を実施する。この合成処理により、フィルタ映像の種類数を相乗的に増やす。なお、合成処理後のフィルタ映像に対して、複数通りの映像加工を追加して行ってもよい。また、映像加工と合成処理とを繰り返しもよい。

ステップＳ２６： 映像処理部１４は、撮像装置の設定に基づいて、種類数の増えたフィルタ映像を出力順に並べ替える。この動作の後に、映像処理部１４はステップＳ１１に動作を移行する。
上述した一連の動作により、撮像装置の撮像モードに応じた動作が実施される。

＜実施例１の効果など＞
（１）実施例１では、異なる光学特性を有する複数種類の光学フィルタ１０を選択的に切り替えながら、光学フィルタ１０の挿置タイミングに同期して撮像部を駆動することにより、同一の被写体について複数種類のフィルタ映像をデータ生成する。そのため、機械学習処理において必要になる学習用の映像データを効率よく収集することが可能になる。

（２）さらに、実施例１では、光学フィルタ１０を切り替えて撮像した複数種類のフィルタ映像に対して、映像加工または合成処理を実施することにより、同一の被写体について取得されるフィルタ映像の種類数をさらに増やすことが可能になる。そのため、機械学習処理において必要になる学習用の映像データを一段と効率よく収集することが可能になる。

（３）特に、実施例１では、例えば次のように段階的にフィルタ映像の種類数を増やすことが可能になる。
第１段階：「Ｎ」種類の光学フィルタ１０を切り替えてフィルタ映像の種類数をＮ（N＞１）とする。
第２段階：「Ｎ」種類のフィルタ映像にＭ（Ｍ＞１）通りの映像加工を施してフィルタ映像の種類数を「Ｎ×Ｍ」とする。
第３段階：「Ｎ×Ｍ」種類のフィルタ映像の組み合わせごとにＬ通りの合成処理を施した場合、「（組み合わせの数の総和）×Ｌ」までフィルタ映像の種類数を増やすことが可能になる。
このように実施例１では、複数種類の光学フィルタ１０、複数種類の映像加工、および合成処理を組み合わせるので、フィルタ映像の種類数を相乗的に増やすことができる。そのため、機械学習処理において必要になる学習用の映像データをさらに一段と効率よく収集することが可能になる。

（４）また、実施例１では、複数種類の光学フィルタ１０として、可視光を選択的に透過する可視光フィルタと、近赤外光を選択的に透過する赤外フィルタとを少なくとも有する。赤外フィルタを介した近赤外映像は、人間の目視できない映像であるため、目視では不可能な画像検査が可能になる。そのため、目視では不可能な画像検査（機械学習処理など）を行うために必要な学習材料または推定材料としてのフィルタ映像を得ることが可能になる。

＜実施形態の補足事項＞
なお、実施例１では、機械学習器２０として、畳込みニューラルネットワーク（図２参照）を使用した。しかしながら、本発明はこれに限定されない。例えば、このような機械学習器としては、決定木学習、相関ルール学習、ニューラルネットワーク、遺伝的プログラミング、帰納論理プログラミング、サポートベクターマシン、クラスタリング、ベイジアンネットワーク、強化学習、表現学習、主成分分析、エクストリーム・ラーニング・マシン、およびその他の機械学習技法の少なくとも一つの技法に基づく機械学習器を採用してもよい。

また、実施例１では、ロータリーアクチュエータ１０５を用いた光学フィルタ切替機構１１を開示する。しかしながら、本発明はこれに限定されない。複数種類の光学フィルタ１０を撮影光路に選択的に挿置する機構であればよい。例えば、光学フィルタ１０をスライド式に切り替える光学フィルタ切替機構を採用してもよい。また、光学フィルタ切替機構１１では、フィルタ映像の一つとして、光学的に無加工の映像をデータ生成するために、素通しの光学フィルタ（空き枠や反射防止フィルタなど）を切り替え可能にしてもよい。

さらに、実施例１では、光学フィルタ１０として、可視光フィルタと赤外フィルタを開示する。しかしながら、本発明はこれに限定されない。入射光を光学的に加工する光学素子であればよい。例えば、入射光のうち波長域などの所定の性質を持つ光を選択的に透過、反射、吸収、または除去するものでもよいし、入射光を局所的にずらして重畳させる光学的ローパスフィルタでもよいし、入射光の透過光量を下げるＮＤフィルタでもよいし、入射光を変位または回動させる光学系でもよいし、入射光を所定の拡散分布で拡散する軟焦点フィルタでもよいし、入射光に反応して透過波長や透過率が変化するフィルタでもよいし、入射光の偏光成分を加工する偏光光学素子でもよいし、被写体の像倍率を変化させる焦点距離変換光学系でもよいし、被写体の合焦距離を変化させる合焦距離変換光学系（クローズアップフィルタなど）でもよいし、入射光を複数方向に分割して多重像を形成する光学系でもよいし、被写体像の一部分（中央部や周辺部や上半分など）のみを光学的に加工する光学素子でもよいし、入射光にハロ（滲み）をつけるフォギーフィルタでもよいし、入射光にクロス状の光芒をつけるクロスフィルタでもよい。

また、本発明は実施例１に限定されるものではなく、様々な変形例が含まれる。例えば、実施例１は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、実施例１の構成の一部について、他の構成の追加・削除・置換をすることも可能である。

１０…光学フィルタ、１１…光学フィルタ切替機構、１２…撮像部、１３…撮像駆動部、１４…映像処理部、１７…映像出力部、２０…機械学習器、３１…前処理部、３２…入力層、３３…畳み込み層・活性化関数、３４…プーリング層、３５…ニューラルネットワーク、３６…出力層、３７…学習アルゴリズム部、１０１…筐体、１０２…レンズマウント、１０３…撮像素子、１０５…ロータリーアクチュエータ、１０６…可視光フィルタ、１０７…赤外フィルタ、１１０Ａ…開口穴、１１０Ｂ…開口穴

Claims (7)

1. 異なる光学特性を有する複数種類の光学フィルタと、
   前記複数種類の光学フィルタを選択的に切り替えて、被写体の撮影光路に挿置する光学フィルタ切替機構と、
   前記複数種類の光学フィルタのうち、前記撮影光路に挿置された光学フィルタを介して被写体を撮像してフィルタ映像をデータ出力する撮像部と、
   前記光学フィルタ切替機構により前記撮影光路に挿置された光学フィルタを切り替えながら、前記撮影光路に挿置された光学フィルタの挿置タイミングに同期して前記撮像部を駆動することにより、被写体に対応する複数種類の前記フィルタ映像をデータ生成する撮像駆動部と
   を備え、
   前記光学フィルタ切替機構は、前記複数種類の光学フィルタを周方向に区分して配置するロータリーアクチュエータによって構成され、
   前記ロータリーアクチュエータは、前記複数種類の光学フィルタを区分する仕切り部分に、前記撮影光路に挿置された光学フィルタの挿置タイミングを検出するための前記撮影部に光点を通過させる開口穴を有する、ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記複数種類の光学フィルタがｎ個（ｎは２以上の整数）である場合、
   前記仕切り部分は、前記ロータリーアクチュエータの中心部から径方向に向かって延在するｎ個の部分によって構成され、
   前記ｎ個の部分のうち、ある部分に設けられた開口穴と、ある部分に周方向に隣接する部分に設けられた開口穴は、前記中心部から径方向に異なる距離にある、ことを特徴とする撮像装置。
3. 請求項２に記載の撮像装置であって、
   前記撮影部は、前記撮影光路において露光される撮像素子を有し、
   前記撮像素子は、前記中心部から径方向に向かって２つの領域が設定され、前記開口穴を通過した光点を検出することによって、前記撮影光路に挿置された光学フィルタの挿置タイミングを検出する、ことを特徴とする撮像装置。
4. 請求項１～３のいずれか一項に記載の撮像装置であって、
   複数種類の前記フィルタ映像に対して、映像加工または合成処理を実施することにより、前記被写体に対応する前記フィルタ映像の種類数をさらに増やす映像処理部
   を備えたことを特徴とする撮像装置。
5. 請求項１～４のいずれか一項に記載の撮像装置であって、
   前記複数種類の光学フィルタとして、可視光を選択的に透過する可視光フィルタと、近赤外光を選択的に透過する赤外フィルタとを少なくとも有する
   ことを特徴とする撮像装置。
6. 請求項１～５のいずれか一項に記載の撮像装置によって前記被写体に対応する複数種類の前記フィルタ映像を取得するデータ増強ステップと、
   前記被写体について生成される複数種類の前記フィルタ映像と、前記被写体または前記フィルタ映像に関する教師値とを組み合わせたデータセットを含む学習データを機械学習器に与えて、前記機械学習器の機械学習を行う機械学習ステップと、
   推定対象の映像を前記機械学習器に入力して推定を行う推定ステップと
   を備えたことを特徴とする機械学習処理方法。
7. 請求項６に記載の機械学習処理方法であって、
   前記推定ステップは、
   前記撮像装置により前記推定対象に対応する複数種類の前記フィルタ映像を取得して前記機械学習器に入力し、前記機械学習器の出力データに基づいて推定を行う
   ことを特徴とする機械学習処理方法。

Images