JP7211502B2 - 撮像装置、撮像方法及びプログラム - Google Patents

Description

本発明は撮像装置、撮像方法及び記憶媒体に関し、例えば、スマートフォンなどのオートチューニングカメラを用いてVisual SLAM用撮像画像を撮像する撮像装置、撮像方法及び記憶媒体に関する。

近年、ＧＰＳ（Global Positioning System）信号などが利用できない環境においても、自己位置を推定する技術の開発が盛んに行われている。このような技術の一例として、移動するカメラの2次元画像から自己位置推定と3Dマップ作成を同時に行う技術をVisual SLAM (Visual Simultaneous Localization And Mapping)が知られている。Visual SLAMは、画素値を直接参照するdirect手法と、画像内から特徴点を抽出するindirect手法に大別される。

このようなVisual SLAM技術において、正確で高品質なSLAMマップを作成するには、しっかりとカメラパラメータを調整する初期化プロセスが必要となる。

Visual SLAMの初期化プロセスではカメラの内部パラメータを含むカメラ行列を推定するために、カメラを移動させながら撮像画像上の点が表す物体の位置を同定する。このプロセスは、撮影方法やカメラの移動の仕方など細かな条件の違いがカメラ行列の推定精度に大きな影響を及ぼす。

特許文献1ではカメラのピボット（移動）が正しいかどうかを判定し、不適切な方向への移動を検出すると、適切な向きについてユーザに通知することでSLAMの初期化を容易にする方式が提案されている。

特表２０１６－５２７５８３号公報

既存のVisual SLAMでは、CCDセンサを積んだ産業用カメラで撮影された映像を入力としたSLAMマップの生成に取り組まれてきた。産業用カメラを用いたVisual SLAMでは、測光センサの値を取得してレンズの光学的減衰特性をモデル化することで光学的な歪みを補正する測光較正が提案されているが、産業用カメラは高コストとなる問題がある。

一方でスマートフォン付属のカメラや市販のwebカメラは、産業用カメラと比較すると低コストだが、画像処理による光学的補正をするための測光センサの精度が低い、または測光センサの測定結果を取得できないので、測光較正が困難であるという問題があった。

このように、自己位置推定を行うための画像を撮像する用途において、低コストで測光較正を可能とする撮像装置は、実現されていなかった。

一実施形態の撮像装置は、撮像におけるカメラパラメータを調節可能な撮像部と、前記撮像部において撮像された撮像データがコンピュータビジョンアプリケーションに適した画像であるか判定する判定部と、前記判定部の判定に基づいて、前記カメラパラメータを調節するパラメータ調整部と、を備えるようにした。

一実施形態の撮像方法は、画像を撮像し、撮像された撮像データがコンピュータビジョンアプリケーションに適した画像であるか判定し、前記判定に基づいて、カメラパラメータを調節するようにした。

一実施形態の記憶媒体は、画像を撮像する撮像ステップと、撮像された撮像データがコンピュータビジョンアプリケーションに適した画像であるか判定する判定ステップし、前記判定に基づいて、カメラパラメータを調節する調節ステップをコンピュータに実行させるプログラムが格納されるようにした。

本発明の撮像装置、撮像方法及び記憶媒体によれば、自己位置推定を行うための画像を撮像する用途において、低コストで測光較正を可能とすることができる。この結果、簡易なカメラを用いて、自己位置推定を行うための画像を撮像する用途において、精度を向上させることができる。

実施の形態１に係る撮像装置の概略構成を示すブロック図である。 実施の形態２に係る撮像装置の概略構成を示すブロック図である。 実施の形態２に係る撮像装置２００の概略動作の一例を示すフローチャートである。 実施の形態２に係る撮像装置２００の判定手順の一例を示すフローチャートである。 実施の形態３にかかる撮像装置の概略構成を示すブロック図である。

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、実施の形態１に係る撮像装置の概略構成を示すブロック図である。図１において、撮像装置１００は、カメラ部１０１と、判定部１０２と、パラメータ調整部１０３とを備える。

カメラ部１０１は、フォーカスや露光時間などの撮像装置のカメラパラメータを調整可能な撮像部である。例えば、カメラ部１０１は、レンズ、絞り、シャッター及び撮像素子を備える。具体的には、カメラ部１０１は、フォーカスや露光時間などのカメラパラメータを可変設定可能なスマートフォン付属のカメラや簡易なｗｅｂカメラであってもよい。

そしてカメラ部１０１は、設定されたカメラパラメータに従って撮像し、撮像した画像を判定部１０２に出力する。

判定部１０２は、カメラ部１０１が撮像した画像が、撮像画像を処理するコンピュータビジョンアプリケーションに適した画像であるか判定する。そして、判定部１０２は、判定結果をパラメータ調整部１０３に出力する。

パラメータ調整部１０３は、判定部１０２が判定した結果を基に、カメラ部１０１のカメラパラメータを調整する。そしてパラメータ調整部１０３は、カメラ部１０１に調整したカメラパラメータを設定する。

このように実施の形態１の撮像装置によれば、撮像した画像がコンピュータビジョンアプリケーションに適した画像であるかどうか判定し、判定結果に基づいて、撮像するカメラのカメラパラメータを調整することにより、自己位置推定を行うための画像を撮像する用途において、低コストで測光較正を可能とすることができる。また、実施の形態１の撮像装置によれば、簡易なカメラを用いて、自己位置推定を行うための画像を撮像する場合に、精度を向上させることができる。

上述の判定部１０２及びパラメータ調整部１０３は、電子回路で構成されてもよい。また、上述の判定部１０２及びパラメータ調整部１０３は、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）のような集積回路で構成されてもよい。また、上述の判定部１０２及びパラメータ調整部１０３は、ＣＰＵ（Central Processing Unit）及びメモリを備えてもよい。

なお、実施の形態１の撮像装置において、カメラパラメータの調整は、任意のタイミングで実施できるが、撮像前の初期化プロセスにおいて実行されることが好適である。

＜実施の形態２＞
実施の形態２では、実施の形態１の調整内容をより詳細に説明する。図２は、実施の形態２に係る撮像装置の概略構成を示すブロック図である。図２において、撮像装置２００は、カメラ部２０１と、判定部２０２と、パラメータ調整方向決定部２０３と、パラメータ変化量決定部２０４と、を備える。パラメータ調整方向決定部２０３及びパラメータ変化量決定部２０４は、実施の形態１で説明したパラメータ調整部１０３の詳細な構成である。

カメラ部２０１は、フォーカスや露光時間などの撮像装置のカメラパラメータを調整可能な撮像部である。例えば、カメラ部２０１は、カメラ部１０１と同様にレンズ、絞り、シャッター及び撮像素子を備える。具体的には、カメラ部２０１は、フォーカスや露光時間などのカメラパラメータを可変設定可能なスマートフォン付属のカメラや簡易なｗｅｂカメラであってもよい。

そしてカメラ部２０１は、設定されたカメラパラメータに従って撮像し、撮像した画像を判定部２０２に出力する。

判定部２０２は、カメラ部２０１が撮像した画像が、撮像画像がVisual SLAMに適した画像であるか判定する。例えば、判定部２０２は、エッジ判定、ブラー判定及びノイズ判定の少なくとも１つの判定を行う。以下の説明では、判定部２０２がエッジ判定、ブラー判定及びノイズ判定を組み合わせて判定する例について説明する。そして、判定部２０２は、判定結果をパラメータ調整方向決定部２０３に出力する。

パラメータ調整方向決定部２０３は、判定部２０２の結果に基づいて、各カメラパラメータの調整方向を決定する。カメラパラメータは、露光時間、ＩＳＯ感度及び焦点距離の少なくとも１つを含む。また、カメラパラメータは、ホワイトバランスまたはF値であってもよい。

パラメータ調整方向決定部２０３は、複数のカメラパラメータのうち、どのパラメータの値を上下（増加または減少）させるかを決定する。

パラメータ変化量決定部２０４は、判定部２０２の結果に基づいて、各カメラパラメータの変化量を決定し、パラメータ調整方向決定部２０３の結果と合わせてカメラ部２０１に新しいカメラパラメータを設定する。

上述の判定部２０２、パラメータ調整方向決定部２０３及びパラメータ変化量決定部２０４は、電子回路で構成されてもよい。また、上述の判定部２０２、パラメータ調整方向決定部２０３及びパラメータ変化量決定部２０４は、ＡＳＩＣまたはＦＰＧＡのような集積回路で構成されてもよい。また、上述の判定部２０２、パラメータ調整方向決定部２０３及びパラメータ変化量決定部２０４は、ＣＰＵ及びメモリを備えてもよい。

以上の構成により、撮像装置２００はカメラパラメータを調整する。次に、撮像装置２００の調整動作について説明する。図３は、実施の形態２に係る撮像装置２００の概略動作の一例を示すフローチャートである。

まず、ステップＳ３０１において、カメラの撮影を開始し、ユーザがカメラを持って移動する動作を開始する。そしてステップＳ３０２に進む。

ステップＳ３０２において、対象とするコンピュータビジョンアプリケーションであるVisual SLAMに対して調整するカメラパラメータのリストが作成され、ステップＳ３０３に進む。調整するカメラパラメータのリストは任意のカメラパラメータを含んでも良い。例えば、direct手法を利用したVisual SLAMに対して有効なカメラパラメータである露光時間とISO感度が、調整するカメラパラメータとして好適である。

ステップＳ３０３において、カメラ部２０１は、初期設定値のカメラパラメータで撮影を開始し、撮影した画像を判定部２０２に送る。そしてステップＳ３０４に進む。この時、カメラを持ったユーザは撮影を開始後、動き回るものとする。これはVisual SLAMがカメラの移動によってカメラ位置と周囲の環境との位置を算出する技術で、カメラが静止したままではSLAMマップの生成はできず、本発明の技術でもVisual SLAMに適した画像が撮影できているかどうか判定するためにカメラを移動させる必要がある。また本発明のカメラの移動には特別な固定装置は不要であり、ユーザが任意の方法で周辺を撮影すれば良い。

ステップＳ３０４において、判定部２０２は、取得した画像がVisual SLAMに適した画像であるか判定する。そして、取得した画像がVisual SLAMに適した画像ではない場合、ステップＳ３０５に進む。取得した画像がVisual SLAMに適した画像である場合、処理を終了する。具体的な判定手順は後述する。

ステップＳ３０５において、パラメータ調整方向決定部２０３が、取得した画像がVisual SLAMに適していない項目を決定することにより、カメラパラメータの調整方向が決定される。そして、調整するカメラパラメータと調整方向に関する情報が、パラメータ調整方向決定部２０３からパラメータ変化量決定部２０４に出力される。

ステップＳ３０６において、パラメータ変化量決定部２０４が、パラメータ調整方向決定部２０３から調整するカメラパラメータと調整方向を受け取る。そして、パラメータ変化量決定部２０４が、カメラパラメータの変化量を決定する。そしてステップＳ３０７に進む。

ステップＳ３０７において、カメラ部２０１の該当するカメラパラメータを変更する値に設定する。

以上の手順により、撮像装置２００はカメラパラメータを調整する。次に詳細な判定手順について説明する。図４は、実施の形態２に係る撮像装置２００の判定手順の一例を示すフローチャートである。

まず、ステップＳ４０１において、判定部２０２は、取得した画像に対して、まずブラー判定を行う。ブラーが検出された場合、ステップＳ４０２に進む。また、ブラーが検出されなかった場合、ステップＳ４０３に進む。

ステップＳ４０２において、判定部２０２は、ブラーが検出されず、条件未達と判断し、ステップＳ４０８に進む。

ステップＳ４０３において、判定部２０２は、ランダムノイズ判定を行う。ランダムノイズが検出された場合、ステップＳ４０４に進む。また、エッジが検出されなかった場合、ステップＳ４０５に進む。

ステップＳ４０４において、判定部２０２は、ランダムノイズが検出され、条件未達と判断し、ステップＳ４０８に進む。

ステップＳ４０５において、判定部２０２は、エッジ判定を行う。エッジが検出されていない場合、ステップＳ４０６に進む。また、エッジが検出された場合、ステップＳ４０７に進む。

ステップＳ４０６において、判定部２０２は、エッジが検出されず、条件未達と判断し、ステップＳ４０８に進む。

ステップＳ４０７において、条件を満たすＴｒｕｅがパラメータ調整方向決定部２０３に返され、処理を終了する。

ステップＳ４０８において、条件を満たさないことを示すＦａｌｓｅと条件未達の検出項目がパラメータ調整方向決定部２０３に返され、処理を終了する。なお、ステップＳ４０１のブラー判定、ステップＳ４０３のランダムノイズ判定、ステップＳ４０５のエッジ判定では任意の判定アルゴリズムを用いてよい。

次に判定結果に基づいてカメラパラメータの調整方向を決定する動作及びカメラパラメータの設定値決定の動作の詳細について説明する。
＜カメラパラメータの調整方向の決定＞

パラメータ調整方向決定部２０３は、未達となった検出項目からカメラパラメータの調整方向を決定し、パラメータ変化量決定部２０４に出力する。

例えば、未達となった検出項目がブラー判定だった場合、パラメータ調整方向決定部２０３は露光時間を下げる方向に決定する。また、未達となった検出項目がランダムノイズ判定だった場合、パラメータ調整方向決定部２０３はＩＳＯ感度を下げる方向に決定する。そして、エッジが検出されなかった場合、パラメータ調整方向決定部２０３は露光時間、ＩＳＯ感度ともに上げる方向に決定する。パラメータ調整方向決定部２０３は、決定したカメラパラメータの調整方向をパラメータ変化量決定部２０４に出力する。
＜カメラパラメータの設定値＞

パラメータ変化量決定部２０４は、パラメータ調整方向決定部２０３から調整するカメラパラメータと調整方向を受け取り、変化量を決定する。そして、パラメータ変化量決定部２０４は、この変化量からカメラ部２０１の該当するカメラパラメータの設定値を変更する。例えば、各カメラパラメータの変化量は、現在設定されている設定値のｘ［％］として良い（ただしｘは任意の実数とする）。また、パラメータ変化量決定部２０４は、直前の調整方向と同じ調整方向を受け取った場合、現在設定されている設定値の２ｘ［％］のように傾斜を付ける方法や、ランダムな数値で設定してもよい。

カメラ部２０１はパラメータ変化量決定部から設定されたカメラパラメータで撮影を再開する。そして、判定部２０２の条件が満たされるまで繰り返しカメラパラメータが調整される。

上述した図３及び図４の説明のように、判定部２０２ですべての条件を満たすと、調整の手順は終了する。

このように、実施の形態２の撮像装置によれば、撮像した画像がコンピュータビジョンアプリケーションに適した画像であるかどうか、複数の判定方法で判定し、条件を満たさなかった判定に基づいてパラメータの調整方向及び項目を決定することにより、適切なカメラパラメータの調整ができ、自己位置推定を行うための画像を撮像する場合に、精度を向上させることができる。

例えば、スマートフォン付属のカメラや簡易なwebカメラを用いても、対象とするコンピュータビジョンアプリケーションであるVisual SLAM、特にdirect手法を利用したVisual SLAMによるSLAMマップの生成精度を向上させることができる。

＜実施例１＞
以下に、実施の形態２のカメラパラメータの調整のより具体的な例について説明する。
スマートフォン付属のカメラを用いて実施の形態２のカメラパラメータの調整を実施したとする。なお、カメラパラメータの調整はスマートフォン上で動作するアプリケーションで実行されるものとする。コンピュータビジョンアプリケーションとしてdirect手法なVisual SLAMを対象とし、調整するカメラパラメータは露光時間とＩＳＯ感度とする。

初期の状態で、スマートフォン付属のカメラのオートチューニング機能をオフにしてあり、カメラパラメータの露光時間が１０［ｍｓ］で、ＩＳＯ感度が１００［－］だったとし、ユーザがスマートフォン付属のカメラを起動して移動を開始したとする。

カメラ部２０１に初期設定されたカメラパラメータで撮影された画像を判定部２０２に送る。

判定部２０２は受け取った画像に対して、まずはブラー判定として有名なラプラシアンカーネルを用いた畳み込み演算を行い、分散を算出する。ブラー判定で算出された分散値がある閾値未満となった場合、受け取った画像はブラーが検出されたものと判定する。このときの閾値は任意の値とし、例えば６０．０とする。ブラー判定で算出された分散がある閾値以上となった場合、次の判定に移行する。

次に、ランダムノイズ判定として、Canny検出を行い、検出結果に線ではなく点がある閾値以上存在した場合、受け取った画像はランダムノイズが検出されたものと判定する。このときの閾値は任意の値でよく、例えば１０としてもよい。ランダムノイズ判定で求められた点の数が閾値未満だった場合、次の判定に移行する。

最後にエッジ判定として、ブラー判定と同様、ラプラシアンカーネルを用いて畳み込み演算を行い、分散を算出する。エッジ判定として算出された分散値がある閾値未満となった場合、受け取った画像はエッジ判定に失敗したものと判定する。このときの閾値は任意の値でよく、例えば１５０．０としてもよい。エッジ判定で算出された分散が閾値以上だった場合、判定部２０２は条件を満たし、カメラパラメータの調整を終了する。

判定部２０２により判定された結果、ブラーが検出された場合、パラメータ調整方向決定部２０３はカメラパラメータの露光時間[ms]を下げる方向に調整することを決定する。

次にパラメータ変化量決定部２０４は、露光時間[ms]の減少量について決定する。変化量の決定には、前述の通り任意の方式を採用するが、ここではランダムな値として5[ms]が選択されたものとする。現在の露光時間の設定値が10[ms]なので、パラメータ変化量決定部は露光時間のカメラパラメータを10[ms]-5[ms]=5[ms]としてカメラ部２０１に設定する。

カメラ部２０１は露光時間を5[ms]にして撮影された画像を判定部２０２に送る。

判定部２０２は受け取った画像に対して、再度ブラー判定、ランダムノイズ判定、エッジ判定を実施し、条件が満たされるまで上述の調整手順を繰り返し実行する。

なお、上述の説明では、判定部２０２における判定がブラー判定、ランダムノイズ判定、エッジ判定の順で実行されているが、これらの判定の手順の順番は特に限定されない。また、各判定に用いたアルゴリズムは、任意のアルゴリズムで実行されてもよい。

＜実施の形態３＞
実施の形態３では、実施の形態１または実施の形態２の構成を実現するハードウェアの一例について説明する。図５は、実施の形態３にかかる撮像装置の概略構成を示すブロック図である。

図５において、撮像装置５００は、カメラ部５０１と、ＣＰＵ５０２と、メモリ５０３と、表示部５０４を備える。

カメラ部５０１は、フォーカスや露光時間などの撮像装置のカメラパラメータを調整可能な撮像部である。例えば、カメラ部５０１は、レンズ、絞り、シャッター及び撮像素子を備える。そして、カメラ部５０１は、撮像素子により受光した光を電気信号に変換し、ＣＰＵ５０２及びメモリ５０３に出力する。

ＣＰＵ５０２は、実施の形態１の判定部１０２及びパラメータ調整部１０３、または実施の形態２の判定部２０２、パラメータ調整方向決定部２０３及びパラメータ変化量決定部２０４の処理を実行するプロセッサである。

メモリ５０３は、撮像した画像のデータ、パラメータ、演算及び判定に用いる数値を記憶するメモリである。例えばメモリ５０３はＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）である。

表示部５０４は、撮像した画像及び自己位置推定の結果を表示する表示デバイスである。たとえば表示部５０４は、ＬＣＤ（Liquid Crystal Display）であってもよい。

以上の構成により、実施の形態１及び実施の形態２の撮像装置は、ハードウェアとして実現できる。また、メモリ５０３に記憶したプログラムとしてもＣＰＵ５０２上で実行できる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
この出願は、２０１９年５月２３日に出願された日本出願特願２０１９－９６９３８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００、２００、５００ 撮像装置
１０１、２０１ カメラ部
１０２、２０２ 判定部
１０３ パラメータ調整部
２０３ パラメータ調整方向決定部
２０４ パラメータ変化量決定部
５０１ カメラ部
５０３ メモリ
５０４ 表示部

Claims (5)

1. 撮像におけるカメラパラメータを調節可能な撮像部と、
   前記撮像部において撮像された撮像データが、コンピュータビジョンアプリケーションであるVisual SLAM（Simultaneous Localization and Mapping）に適した画像であるか判定する判定部と、
   前記判定部の判定に基づいて、前記カメラパラメータを調節するパラメータ調整部と、を備える撮像装置。
2. 前記判定部は、前記撮像部から出力された画像に対して、エッジ判定、ブラー判定及びノイズ判定の少なくとも１つの判定を行い、
   前記パラメータ調整部は、
   前記判定に基づいて、前記カメラパラメータの調整方向を決定するパラメータ調整方向決定部と、
   前記判定に基づいて、前記カメラパラメータの調整量を決定するパラメータ変化量決定部を備える、請求項１に記載の撮像装置。
3. 前記判定部は、前記撮像部から出力された画像に対して、エッジ判定、ブラー判定及びノイズ判定の少なくとも２つの判定を行い、
   前記パラメータ調整方向決定部は、条件を満たさなかった判定項目に基づいて前記カメラパラメータの調整方向を決定し、
   前記パラメータ変化量決定部は、条件を満たさなかった判定項目に基づいて前記カメラパラメータの調整量を決定する、請求項２に記載の撮像装置。
4. 画像を撮像し、
   撮像された撮像データが、コンピュータビジョンアプリケーションであるVisual SLAM（Simultaneous Localization and Mapping）に適した画像であるか判定し、
   前記判定に基づいて、カメラパラメータを調節する撮像方法。
5. 画像を撮像する撮像ステップと、
   撮像された撮像データが、コンピュータビジョンアプリケーションであるVisual SLAM（Simultaneous Localization and Mapping）に適した画像であるか判定する判定ステップと、
   前記判定に基づいて、カメラパラメータを調節する調節ステップをコンピュータに実行させるプログラム。

Images