JP6868167B1 - 撮像装置および撮像処理方法 - Google Patents

Abstract

【課題】対象物の撮像画像への写り込みの有無を正確に確認できる撮像装置および撮像処理方法を提供すること。【解決手段】撮像装置１は、対象を撮像する撮像部１１と、対象に光を投射する投射部１２と、対象から反射してきた光を受光する距離情報取得部１３と、距離情報取得部１３の出力と、撮像部１１の出力と、に基づき判断される特定の対象物の有無に応じて、表示部２０、５２０に異なる表示をさせる表示制御部１７０と、を備える。【選択図】図７

Description

本発明は、撮像装置および撮像処理方法に関する。

特許文献１には、物体までの距離を安定して精度良く測定することができる測距装置が記載されている。

特許文献２には、指などの写り込みが発生した場合に、写り込みの影響を少なくする画像処理を行う撮像装置が記載されている。

本発明は、対象物の撮像画像への写り込みの有無を正確に確認できる撮像装置および撮像処理方法を提供することを目的とする。

本発明に係る撮像装置は、対象を撮像する撮像部と、対象に光を投射する投射部と、対象から反射してきた光を受光する受光部と、受光部の出力と、撮像部の出力と、に基づき判断される特定の対象物の有無に応じて、表示部に異なる表示をさせる表示制御部と、を備える。

本発明によれば、対象物の撮像画像への写り込みの有無を正確に確認できる撮像装置および撮像処理方法を提供することができる。

本発明の実施形態に係る撮像装置の外観の一例を示す図である。 同実施形態における撮像装置の構成を説明するための図である。 同実施形態における撮像装置の使用状況を説明するための図である。 同実施形態における処理回路の処理ブロックの構成の一例を示す図である。 同実施形態における撮像装置の処理回路の動作の一例を示すフロー図である。 同実施形態における全天球画像データ生成フロー図である。 同実施形態における近接物判断フロー図である。 同実施形態における表示部の表示内容を説明するための図である。 同実施形態の変形例に係る撮像装置の外観を示す図である。。 変形例における処理回路の処理ブロックの構成を示す図である。 本発明の実施形態の第２の変形例に係る撮像装置の外観を示す図である。。 第２の変形例における処理回路の処理ブロックの構成を示す図である。 第２の変形例における近接物判断フロー図である。 本発明の実施形態の第３の変形例に係る撮像装置の構成を説明するための図である。

以下に添付図面を参照して、撮像装置および撮像処理方法の実施の形態を詳細に説明する。

図１は、本発明の実施形態に係る撮像装置の外観の一例を示す図である。図２は、撮像装置の構成を説明するための図である。図２には、図１の撮像装置の内部の構成を示している。

撮像装置１は、受光した光に基づいて決定される３次元情報を出力する情報処理装置の一例であり、撮像部（カメラ）１１と、可視光以外の光を投射する投射部（距離センサの発光部に相当する部分）１２と、投射部１２が投射した光に基づいて距離情報を取得する距離情報取得部（距離センサの受光部に相当する部分）１３とを筐体１０に対して一体に設けたものである。各部は、筐体１０内部の処理回路１４と同期信号線Ｌにより電気的に接続されており、それぞれ同期して動作する。

撮影スイッチ１５は、ユーザが処理回路１４に撮影指示信号を入力するためのものである。表示部２０は、処理回路１４の出力信号に応じた内容を表示するものであり、液晶画面等により構成される。表示部２０は、タッチパネル等により構成され、ユーザの操作入力を受け付けるようにしてもよい。撮影指示に基づき処理回路１４は各部を制御してＲＧＢ画像や距離情報のデータを取得し、取得した距離情報のデータをＲＧＢ画像や距離情報のデータに基づいて高密度３次元点群データに再構築する処理を行う。距離情報のデータは、そのまま使用しても３次元点群データを構築することが可能だが、その場合、３次元点群データの精度が距離情報取得部１３の画素数（解像度）に制限される。本例では、それを高密度の３次元点群データに再構築する場合の処理についても示す。再構築したデータは可搬型の記録媒体や通信などを介して外部のＰＣなどに出力され、３次元復元モデルの表示に利用される。

各部や処理回路１４には、筐体１０内部に収容されるバッテリから電力が供給される。この他にも、筐体１０の外部から接続コードにより電力供給を受ける構成としてもよい。

撮像部１１は、撮像素子１１ａ、１１Ａや、魚眼レンズ（広角レンズ）１１ｂ、１１Ｂなどを有する。投射部１２は、光源部１２ａ、１２Ａや広角レンズ１２ｂ、１２Ｂなどを有する。距離情報取得部１３は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｒｉｇｈｔ）センサ１３ａ、１３Ａや広角レンズ１３ｂ、１３Ｂなどを有する。なお、各部は、図示を省略しているがプリズムやレンズ群などの光学系を構成してよい。例えば、撮像部１１に、魚眼レンズ１１ｂ、１１Ｂが集めた光を撮像素子１１ａ、１１Ａに結像するための光学系を構成してよい。また、投射部１２に、光源部１２ａ、１２Ａの光を広角レンズ１２ｂ、１２Ｂに導く光学系を構成してよい。また、距離情報取得部１３に広角レンズ１３ｂ、１３Ｂが集めた光をＴＯＦセンサ１３ａ、１３Ａに結像するための光学系を構成してよい。各光学系については、撮像素子１１ａ、１１Ａ、光源部１２ａ、１２Ａ、ＴＯＦセンサ１３ａ、１３Ａなどの構成や配置に応じて適宜決めてよいものとし、ここでは、プリズムやレンズ群などの光学系については省略して説明する。

撮像素子１１ａ、１１Ａ、光源部１２ａ、１２Ａ、およびＴＯＦセンサ１３ａ、１３Ａは、筐体１０の内部に一体的に収められている。魚眼レンズ１１ｂと、広角レンズ１２ｂと、広角レンズ１３ｂと、表示部２０とは、それぞれ筐体１０の正面側の第１の面に設けられている。第１の面において、魚眼レンズ１１ｂ、広角レンズ１２ｂ、および広角レンズ１３ｂのぞれぞれの内側の範囲は開口している。

魚眼レンズ１１Ｂと、広角レンズ１２Ｂと、広角レンズ１３Ｂと、撮影スイッチ１５とは、それぞれ筐体１０の背面側の第２の面に設けられている。第２の面において、魚眼レンズ１１Ｂ、広角レンズ１２Ｂ、および広角レンズ１３Ｂのぞれぞれの内側の範囲は開口している。

撮像素子１１ａ、１１Ａは、２次元解像度のイメージセンサ（エリアセンサ）である。撮像素子１１ａ、１１Ａは、２次元方向に各画素の受光素子（フォトダイオード）が多数配列された撮像エリアを有する。撮像エリアには可視光を受光するためにベイヤ配列等のＲ（Ｒｅｄ）とＧ（Ｇｒｅｅｎ）とＢ（Ｂｌｕｅ）のカラーフィルタが設けられており、カラーフィルタを通過した光がフォトダイオードに蓄電される。ここでは、広角（例えば図２に示す撮像方向を正面とする周囲１８０度の半天球の範囲など）の２次元画像を高解像度で取得することができるように画素数の多いイメージセンサを使用する。撮像素子１１ａ、１１Ａは、その撮像エリアに結像した光を各画素の画素回路で電気信号に変換して高解像度のＲＧＢ画像を出力する。魚眼レンズ１１ｂ、１１Ｂは、広角（例えば図２に示す撮像方向を正面とする周囲１８０度の半球の範囲など）から光を集め、その光を撮像素子１１ａ、１１Ａの撮像エリアに結像する。

光源部１２ａ、１２Ａは、半導体レーザであり、距離の計測に用いる可視光領域以外（ここでは一例として赤外とする）の波長帯のレーザ光を出射する。光源部１２ａ、１２Ａには、１つの半導体レーザを用いてもよいし、複数の半導体レーザを組み合わせて使用してもよい。また、半導体レーザとして例えばＶＣＳＥＬ（Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ ＬＡＳＥＲ）などの面発光型の半導体レーザを使用してもよい。また、半導体レーザの光を光学レンズにより縦に長くなるように成形し、縦長にした光を、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）ミラーなどの光偏向素子で計測範囲の一次元方向に走査するような構成にしてもよい。本実施の形態では、光源部１２ａ、１２Ａとして、半導体レーザＬＡの光をＭＥＭＳミラーなどの光偏向素子を使用せずに広角レンズ１２ｂ、１２Ｂを介して広角の範囲に広げる形態を示している。

光源部１２ａ、１２Ａの広角レンズ１２ｂ、１２Ｂは、光源部１２ａ、１２Ａが出射した光を広角（例えば図２に示す撮像方向を正面とする周囲１８０度の半球の範囲など）の範囲に広げる機能を有する。

距離情報取得部１３の広角レンズ１３ｂ、１３Ｂは、投射部１２により投射された光源部１２ａ、１２Ａの光の反射光を、計測範囲である広角（例えば図２に示す撮像方向を正面とする周囲１８０度の半球の範囲など）の各方向から取り込み、それらの光をＴＯＦセンサ１３ａ、１３Ａの受光エリアに結像する。計測範囲には一つまたは複数の被投射物（例えば建物など）が含まれており、被投射物で反射した光（反射光）が広角レンズ１３ｂ、１３Ｂに入射する。反射光は、例えば広角レンズ１３ｂ、１３Ｂの表面全体に赤外領域の波長以上の光をカットするフィルタを設けるなどして取り込んでよい。なお、これに限らず、受光エリアに赤外領域の光が入射すればよいため、広角レンズ１３ｂ、１３Ｂから受光エリアまでの光路にフィルタなど赤外領域の波長の光を通す手段を設けてもよい。

ＴＯＦセンサ１３ａ、１３Ａは、２次元解像度の光センサである。ＴＯＦセンサ１３ａ、１３Ａは多数の受光素子（フォトダイオード）が２次元方向に配列された受光エリアを有する。この意味で「第２の撮像受光手段 」と言えるである。ＴＯＦセンサ１３ａ、１３Ａは、計測範囲の各エリア（各エリアを位置とも言う）の反射光を、各エリアに対応する受光素子で受光し、各受光素子で検出した光に基づき各エリアまでの距離を計測（算出）する。

本実施形態では、位相差検出方式で距離を計測する。位相差検出方式では、基本周波数で振幅変調したレーザ光を計測範囲に照射し、その反射光を受光して照射光と反射光との位相差を測定することで時間を求め、その時間に光速をかけて距離を算出する。この方式では、ある程度の解像度が見込めることが強みである。

ＴＯＦセンサ１３ａ、１３Ａは、投射部１２による光の照射に同期して駆動し、各受光素子（画素に対応）で反射光との位相差から各画素に対応する距離を算出し、画素情報に計測範囲内の各エリアまでの距離を示す情報を対応付けた距離情報画像データ（後において「距離画像」や「ＴＯＦ画像」とも言う）を出力する。ＴＯＦセンサ１３ａ、１３Ａは、画素情報に位相情報を対応付けた位相情報画像データを出力し、後処理にて位相情報画像データに基づき距離情報画像データを取得してもよい。

なお、測定範囲を分割することができるエリア数は、受光エリアの解像度によって決まる。従って、小型化のため解像度が低いものを使用した場合、距離画像データの画素情報の数が減少するため、３次元点群の数も少なくなる。

なお、他の形態として、位相差検出方式に代えて、パルス方式で距離を計測してもよい。その場合、例えば、光源部１２ａ、１２Ａで、立ち上がり時間が数ナノ秒（ｎｓ）で且つ光ピークパワーが強い超短パルスの照射パルスＰ１を出射し、これに同期してＴＯＦセンサ１３ａ、１３Ａにより、光源部１２ａ、１２Ａが出射した照射パルスＰ１の反射光である反射パルスＰ２の受光までにかかる時間（ｔ）を計測する。この方式を採用する場合、例えばＴＯＦセンサ１３ａ、１３Ａとして、受光素子の出力側に時間の計測を行う回路などを実装したものを使用する。各回路では、受光素子毎に、光源部１２ａ、１２Ａが照射パルスＰ１を出射してから反射パルスＰ２を受光するまでにかかる時間を距離に換算し、各エリアまでの距離を得る。

この方式は、ピーク光を使用し強力な光を出力することができるので、撮像装置１の広角化に適している。また、ＭＥＭＳミラーなどを使用して光を振る（走査する）構成にした場合には、強力な光を、広がりを抑えつつ遠くまで照射することができるため、測定距離の拡大に繋がる。この場合、光源部１２ａ、１２Ａから出射されたレーザ光を、ＭＥＭＳミラーにより広角レンズ１２ｂ、１２Ｂへ向けて走査（偏向）するような配置関係とする。

なお、撮像部１１の有効画角と距離情報取得部１３の有効画角は例えば１８０度以上で一致していることが望ましいが、必ずしも一致していなくてもよい。必要に応じて撮像部１１の有効画角と距離情報取得部１３の有効画角とをそれぞれ減じてもよい。本実施例では、撮像部１１および距離情報取得部１３は画角に干渉するものがないように例えば１００度〜１８０度の範囲内などに有効画素を減じている。また、ＴＯＦセンサ１３ａ、１３Ａの解像度は、撮像装置１の小型化を優先して撮像素子１１ａ、１１Ａの解像度よりも低く設定してよい。ＴＯＦセンサ１３ａ、１３Ａを撮像素子１１ａ、１１Ａよりも低解像度のものとすることにより、受光エリアのサイズ拡大を抑えることができるため、撮像装置１の小型化に繋げることができる。このためＴＯＦセンサ１３ａ、１３Ａは低解像度になり、ＴＯＦセンサ１３ａ、１３Ａで得られる３次元点群は低密度となるが、「取得手段」である処理回路１４を設けているため高密度の３次元点群に変換することができる。処理回路１４において高密度の３次元点群に変換する処理については後述する。

本実施の形態では、一例として、撮像素子１１ａと、光源部１２ａと、ＴＯＦセンサ１３ａとは筐体１０の長手方向に直線上に並ぶように設けている。同様に、撮像素子１１Ａと、光源部１２Ａと、ＴＯＦセンサ１３Ａとは筐体１０の長手方向に直線上に並ぶように設けている。以下、撮像素子１１ａと、光源部１２ａと、ＴＯＦセンサ１３ａの例で説明する。

撮像素子１１ａの撮像エリア（撮像面）やＴＯＦセンサ１３ａの受光エリア（受光面）は、図２に示すように長手方向に直交する方向に向けて配置してもよいし、光の直進方向（光路）を９０度変換して入射させるプリズムなどを設けることで長手方向に向けて配置してもよい。この他にも、構成に応じて任意の向きに配置してもよい。つまりは、撮像素子１１ａと、光源部１２ａと、ＴＯＦセンサ１３ａとは、同じ計測範囲が対象となるように配置される。撮像部１１と、投射部１２と、距離情報取得部１３とが筐体１０の一面側から、その測定範囲に向けて配置される。 この際に、撮像素子１１ａとＴＯＦセンサ１３ａとを、平行ステレオ化するように同一基線上に配置できればよい。平行ステレオ化するように配置することにより、撮像素子１１ａが１つであっても、ＴＯＦセンサ１３ａの出力を利用して視差データを得ることが可能になる。光源部１２ａは、ＴＯＦセンサ１３ａの計測範囲に光を照射することができるように構成する。

（処理回路）
続いて、処理回路１４の処理について説明する。ＴＯＦセンサ１３ａ、１３Ａだけで得たＴＯＦ画像は、そのままでは解像度が低い。このため、本例では処理回路１４により高解像度化し、高密度の３次元点群データを再構築する例を示す。なお、処理回路１４における「情報処理手段」としての以下に示す処理の一部または全ては、外部装置で行ってもよい。

前述したように、撮像装置１で再構築された３次元点群データは、可搬型の記録媒体や通信などを介してＰＣなどの外部装置に出力され、３次元復元モデルの表示に利用される。

これにより、撮像装置１自体が３次元復元モデルの表示を行う場合に比べて、高速化、小型化、軽量化により携帯性に優れた撮像装置１を提供することができる。

しかしながら、３次元情報を取得する現場から離れて、外部装置により３次元情報を復元した後に、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことに気づく場合があり、その場合、３次元情報を取得する現場を再訪問する手間がかかる。

これを解決するには、現場に３次元復元装置を持ち込むことが考えられるが、そうすると、高速化、小型化、軽量化というメリットがなくなってしまう。

また、取得した３次元情報を通信回線により外部装置に送信し、復元された３次元情報を受信することも考えられるが、高速化のメリットが無くなるのと、そもそも３次元情報は情報量が多いので、撮影者自身や三脚等の撮像画像への写り込みを目視で確認するのは困難である。

特に全天球３次元情報の場合は、撮影者自身や三脚等の撮像画像への写り込みを目視で確認するのは極めて困難である。

本実施形態は、以上の課題に鑑み、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことをリアルタイムで容易に確認できる撮像装置１を提供することを目的とする。

図３は、同実施形態における撮像装置の使用状況を説明するための図である。

図３（ａ）に示す状態では、撮影者Ｍおよび撮像装置１を支持する自撮り棒１Ａは、全天球撮像範囲Ｒに含まれておらず、撮影者Ｍおよび自撮り棒１Ａが、全天球の撮像画像に写りこむことはない。

図３（ｂ）に示す状態では、撮影者Ｍが全天球撮像範囲Ｒに含まれており、撮影者Ｍが、全天球の撮像画像に写りこんでしまう。

図３（ｃ）に示す状態では、撮像装置１を支持する三脚１Ｂが全天球撮像範囲Ｒに含まれており、三脚１Ｂが、全天球の撮像画像に写りこんでしまう。

図３（ｄ）に示す状態では、撮影者Ｍおよび撮像装置１を支持する自撮り棒１Ａは、全天球撮像範囲Ｒに含まれておらず、撮影者Ｍおよび自撮り棒１Ａが、全天球の撮像画像に写りこむことはないが、外光が強いため、写りこみを誤判定する可能性がある。

また、図３（ｂ）および図３（ｃ）に示す状態では、写りこむ物体の色や種類、およびその見え方が多様であるため、一律に写りこみの有無を判断するのは困難であった。

以上の状況に対して、ＴＯＦセンサ１３ａ、１３Ａから出力される距離情報画像データに基づき、撮影者自身や三脚等の特定の対象物（近接物）の有無を判断する場合、本当に特定の対象物が存在するのか、外光が強すぎるのか、区別することが困難であった。

すなわち、ＴＯＦセンサ１３ａ、１３Ａの特定の画素の蓄電量が飽和している場合、特定の対象物が存在しているのが原因なのか、外光の強度が強すぎるのか、ＴＯＦセンサ１３ａ、１３Ａの出力からだけでは、区別することが困難であった。

本実施形態は、以上の課題に鑑み、外光の影響と区別して、撮影者自身や三脚等の特定の対象物の撮像画像への写り込みの有無を正確に確認することができる撮像装置１を提供することを他の目的とする。

図４は、処理回路１４の処理ブロックの構成の一例を示す図である。図４に示す処理回路１４は、制御部１４１と、ＲＧＢ画像データ取得部１４２と、モノクロ処理部１４３と、ＴＯＦ画像データ取得部１４４と、高解像度化部１４５と、マッチング処理部１４６と、再投影処理部１４７と、セマンティックセグメンテーション部１４８と、視差計算部１４９と、３次元再構成処理部１５０と、判断部１６０と、出力部の一例である表示制御部１７０と、出力部の一例である送受信部１８０とを有する。なお、図４において、実線矢印は信号の流れを示し、破線矢印はデータの流れを示している。

制御部１４１は、撮影スイッチ１５からＯＮ信号（撮影開始信号）を受けると撮像素子１１ａ、１１Ａ、光源部１２ａ、１２Ａ、およびＴＯＦセンサ１３ａ、１３Ａに同期信号を出力し、処理回路１４全体を制御する。制御部１４１は、先ず光源部１２ａ、１２Ａに超短パルスの出射を指示する信号を出力し、これと同じタイミングでＴＯＦセンサ１３ａ、１３ＡにＴＯＦ画像データの生成を指示する信号を出力する。さらに、制御部１４１は、撮像素子１１ａ、１１Ａに撮像を指示する信号を出力する。なお、撮像素子１１ａ、１１Ａにおける撮像は、光源部１２ａ、１２Ａから出射されている期間でもよいし、その前後の直近の期間でもよい。

ＲＧＢ画像データ取得部１４２は、制御部１４１による撮像指示に基づき、撮像素子１１ａ、１１Ａが撮像したＲＧＢ画像データを取得して、全天球のＲＧＢ画像データを出力する。モノクロ処理部１４３は、ＴＯＦセンサ１３ａ、１３Ａから得られるＴＯＦ画像データとのマッチング処理のためにデータ種を揃えるための処理を行う。この例では、モノクロ処理部１４３は、全天球のＲＧＢ画像データを全天球のモノクロ画像に変換する処理を行う。

ＴＯＦ画像データ取得部１４４は、制御部１４１によるＴＯＦ画像データの生成指示に基づき、ＴＯＦセンサ１３ａ、１３Ａが生成したＴＯＦ画像データを取得して、全天球のＴＯＦ画像データを出力する。

高解像度化部１４５は、全天球のＴＯＦ画像データをモノクロ画像に見立て、その解像度を高解像度化する。具体的に、高解像度化部１４５は、全天球のＴＯＦ画像データの各画素に対応付けられている距離の値を、全天球のモノクロ画像の値（グレースケール値）に置き換えて使用する。さらに、高解像度化部１４５は、全天球のモノクロ画像の解像度を撮像素子１１ａ、１１Ａから得られた全天球のＲＧＢ画像データの解像度まで高解像度化する。高解像度への変換は、例えば通常のアップコンバート処理を施すことにより行う。その他の変換方法としては、例えば連続して生成された全天球のＴＯＦ画像データを複数フレーム取得し、それらを利用して隣接する地点の距離を追加して超解像度処理を施すなどしてもよい。

マッチング処理部１４６は、全天球のＴＯＦ画像データを高解像度化した全天球のモノクロ画像と、全天球のＲＧＢ画像データの全天球のモノクロ画像とについて、テクスチャのある部分の特徴量を抽出し、抽出した特徴量によりマッチング処理を行う。例えば、マッチング処理部１４６は、各モノクロ画像からエッジを抽出し、抽出したエッジ情報同士でマッチング処理を行う。この他の方法として、例えばＳＩＦＴ等のテクスチャの変化を特徴量化した手法でマッチング処理を行ってもよい。ここでマッチング処理とは、対応画素の探索のことを意味する。

マッチング処理の具体的な手法として、例えばブロックマッチングがある。ブロックマッチングは、参照する画素の周辺で、Ｍ×Ｍ（Ｍは正の整数）ピクセルサイズのブロックとして切り出される画素値と、もう一方の画像のうち、探索の中心となる画素の周辺で、同じくＭ×Ｍピクセルのブロックとして切り出される画素値の類似度を計算し、最も類似度が高くなる中心画素を対応画素とする方法である。

類似度の計算方法は様々である。例えば、正規化自己相関係数ＣＮＣＣ（ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ Ｃｏｒｒｅｌａｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔ）を示す式を用いても良い。正規化自己相関係数ＣＮＣＣは数値が高いほど類似度が高いことを示し、ブロックの画素値が完全に一致していれる場合に１となる。

また、全天球のＴＯＦ画像データからテクスチャレス領域の距離のデータも得られるため、領域に応じてマッチング処理に重みをつけてもよい。例えばＣＮＣＣを示す式の計算において、エッジ以外の箇所（テクスチャレス領域）に重みをかける計算を行ってもよい。

また、ＮＣＣを示す式の代わりに、選択的正規化相関（ＳＣＣ：Ｓｅｌｅｃｔｉｖｅ Ｃｏｒｒｅｌａｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔ）などを用いてもよい。

再投影処理部１４７は、計測範囲の各位置の距離を示す全天球のＴＯＦ画像データを撮像部１１の２次元座標（スクリーン座標系）に再投影する処理を行う。再投影するとは、ＴＯＦセンサ１３ａ、１３Ａが算出する３次元点が、撮像素子１１ａ、１１Ａの画像ではどの座標に写るかを求めることである。全天球のＴＯＦ画像データは、距離情報取得部１３（主に広角レンズ１３ｂ、１３Ｂ）を中心とする座標系における３次元点の位置を示す。従って、全天球のＴＯＦ画像データが示す３次元点を、撮像部１１（主に魚眼レンズ１１ｂ、１１Ｂ）を中心とする座標系に再投影する。例えば、再投影処理部１４７は、全天球のＴＯＦ画像データの３次元点の座標を撮像部１１を中心とする３次元点の座標に平行移動し、平行移動後に、全天球のＲＧＢ画像データが示す２次元の座標系（スクリーン座標系）に変換する処理を施す。

視差計算部１４９は、マッチング処理により得られた対応画素との距離のズレから各位置の視差を計算する。

なお、視差のマッチング処理は、再投影処理部１４７が変換した再投影座標を利用して、再投影座標の位置の周辺画素を探索することで、処理時間の短縮や、より詳細で高解像度な距離情報を取得することが可能になる。

また、視差のマッチング処理にセマンティックセグメンテーション部１４８のセマンティックセグメンテーション処理により得られたセグメンテーションデータを利用してもよい。その場合、さらに詳細で高解像度の距離情報を取得することができるようになる。

また、エッジのみや、強い特徴量のある部分のみ、視差のマッチング処理を行い、その他の部分は、全天球のＴＯＦ画像データも利用し、例えば全天球のＲＧＢ画像特徴や確率的な手法を利用し、伝搬処理を行ってもよい。

セマンティックセグメンテーション部１４８は、深層学習を利用して、計測範囲の入力画像に対して対象物を示すセグメンテーションラベルを付与する。これにより、全天球のＴＯＦ画像データの各画素を、距離毎に分けた複数の距離領域の何れかに拘束させることができるので、計算の信頼性がさらに高まる。

３次元再構成処理部１４５は、ＲＧＢ画像データ取得部１４２から全天球のＲＧＢ画像データを取得し、視差計算部１４９が出力した距離情報に基づいて全天球の３次元データを再構成し、各３次元点に色情報を付加した全天球の高密度３次元点群を出力する。３次元再構成処理部１５０は、３次元情報を決定する３次元情報決定部の一例である。

判断部１６０は、ＲＧＢ画像データ取得部１４２から全天球のＲＧＢ画像データを取得するとともに、再投影処理部１４７から全天球のＲＧＢ画像データが示す２次元の座標系に変換された全天球のＴＯＦ画像データを取得し、これらのデータに基づき、特定の対象物の撮像画像への写り込みの有無を判断し、判断結果を表示制御部１７０へ出力する。

表示制御部１７０は、ＲＧＢ画像データ取得部１４２から全天球のＲＧＢ画像データを取得し、取得した全天球のＲＧＢ画像データに基づく２次元画像情報を表示部２０に表示させる。また、表示制御部１７０は、判断部１６０から取得した判断結果を示す情報を２次元画像情報に重畳させて表示部２０に表示させる。

表示制御部１７０は、３次元情報とは別に撮像部１１により撮像された２次元画像情報を出力する出力部の一例であり、表示部２０は、２次元画像情報を出力する出力先の一例である。

表示制御部１７０は、３次元再構成処理部１４５から全天球の３次元データを取得し、３次元情報を表示部２０に表示させてもよい。具体的には、表示制御部１７０は、２次元画像情報を表示部２０に表示させる場合と、３次元情報を表示部２０に表示させる場合を所定の条件に従って選択してもよい。これにより、表示制御部１７０は、３次元情報とは別に２次元画像情報を出力することができる。

送受信部１８０は、有線または無線技術により外部装置と通信を行うものであり、３次元再構成処理部１４５から出力される全天球の３次元データおよびＲＧＢ画像データ取得部１４２から出力される全天球の２次元画像情報をネットワーク４００経由で３次元復元処理を行う外部装置３００へ送信（出力）する。

送受信部１８０は、３次元情報を出力する出力部の一例であり、外部装置３００は、３次元情報を出力する出力先の一例である。

送受信部１８０は、全天球の２次元画像情報は送信せず、全天球の３次元データのみ送信してもよい。また、送受信部１８０は、ＳＤカード等の可搬型の記憶媒体やパーソナルコンピュータなどとのインターフェース回路により構成されてもよい。

（処理回路の動作）
図５は、撮像装置１の処理回路１４の動作の一例を示すフロー図である。処理回路１４の制御部１４１は、ユーザにより撮影スイッチ１５がＯＮされ、撮影指示信号が入力されると、次のような方法で高密度３次元点群を生成する動作を行う（撮像処理方法および情報処理方法の一例）。

先ず、制御部１４１は、光源部１２ａ、１２Ａと、ＴＯＦセンサ１３ａ、１３Ａと、撮像素子１１ａ、１１Ａとを駆動して計測範囲を撮影する（ステップＳ１）。制御部１４１による駆動により、光源部１２ａ、１２Ａが赤外光を照射し（投射ステップの一例）、その反射光をＴＯＦセンサ１３ａ、１３Ａが受光する（受光ステップの一例）。また、撮像素子１１ａ、１１Ａが、光源部１２ａ、１２Ａの駆動開始のタイミングあるいはその直近の期間に計測範囲を撮像する（撮像ステップの一例）。

次に、ＲＧＢ画像データ取得部１４２が、撮像素子１１ａ、１１Ａから計測範囲のＲＧＢ画像データを取得する（ステップＳ２）。そして、表示制御部１７０は、ＲＧＢ画像データ取得部１４２から全天球のＲＧＢ画像データを取得し、取得した全天球のＲＧＢ画像データに基づく２次元画像情報を表示部２０に表示させる（２次元画像情報出力ステップの一例）（ステップＳ３）。

表示制御部１７０は、取得した全天球のＲＧＢ画像データのうちの一部の領域の２次元画像情報を表示部２０に表示させ、ユーザの各種入力により、表示部２０に表示される２次元画像情報の領域を変更する。ユーザの各種入力は、撮影スイッチ１５以外の操作スイッチを設けることや、表示部２０をタッチパネル等の入力部として構成することにより、実現できる。

この段階で、撮影者は、表示部２０に表示された２次元画像情報により、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの２次元画像情報が取得されていないことを確認することができる。

次に、ＴＯＦ画像データ取得部１４４が、ＴＯＦセンサ１３ａ、１３Ａから２次元領域の各位置の距離を示すＴＯＦ画像データを取得する（ステップＳ４）。

次に、モノクロ処理部１４３が、ＲＧＢ画像データをモノクロ画像へ変換する（ステップＳ５）。ＴＯＦ画像データとＲＧＢ画像データとでは、それぞれが距離データとＲＧＢデータとでデータ種が異なり、そのままではマッチングを行うことができない。従って、先ず一旦、それぞれのデータをモノクロ画像に変換する。ＴＯＦ画像データについては、高解像度化部１４５が高解像度化の前に各画素の距離を示す値を、そのままモノクロ画像の値に置き換えることで変換する。

次に、高解像度化部１４５がＴＯＦ画像データの解像度を高解像度化する（ステップＳ６）。

次に、マッチング処理部１４６が、各モノクロ画像についてテクスチャのある部分の特徴量を抽出し、抽出した特徴量でマッチング処理を行う（ステップＳ７）。

次に、判断部１６０は、ＲＧＢ画像データ取得部１４２から全天球のＲＧＢ画像データを取得するとともに、再投影処理部１４７からＲＧＢ画像データが示す２次元の座標系に変換された全天球のＴＯＦ画像データを取得し、これらのデータに基づき、特定の対象物としての近接物の撮像画像への写り込みの有無を判断し、判断結果を表示制御部１７０へ出力する。表示制御部１７０は、判断部１６０から取得した判断結果を示す情報を２次元画像情報に重畳させて表示部２０に表示させる（表示ステップの一例）（ステップＳ８）。

次に、視差計算部１４９が、対応画素の距離のズレから各位置の視差を計算する（ステップＳ９）。

そして、３次元再構成処理部１４５が、ＲＧＢ画像データ取得部１４２からＲＧＢ画像データを取得し、視差計算部１４９が出力した距離情報に基づいて３次元データを再構成し、各３次元点に色情報を付加した高密度３次元点群を出力する（ステップＳ１０）。

次に、送受信部１８０は、３次元再構成処理部１４５から出力される３次元データおよびＲＧＢ画像データ取得部１４２から出力される２次元画像情報をネットワーク４００経由で３次元復元処理を行う外部装置３００へ送信する（３次元情報出力ステップの一例）（ステップＳ１１）。

送受信部１８０は、ＲＧＢ画像データ取得部１４２から出力される２次元画像情報は送信することなく、３次元再構成処理部１４５から出力される３次元データを送信してもよい。

以上説明したように、撮像装置１は、撮像部１１と、３次元情報とは別に撮像部１１により撮像された２次元画像情報を出力する表示制御部１７０備える。

これにより、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、３次元情報を確認することなく、２次元画像情報から容易に確認することが可能になる。

したがって、３次元情報を取得する現場に居ながら、３次元情報再取得することが可能になり、３次元情報を取得する現場から離れた後で、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことに気づく場合に比べて、再度、３次元情報を取得する現場を訪問する手間が低減される。

３次元情報は、全天球３次元情報を含む。この場合、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、確認することが困難な全天球３次元情報においても、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、撮像部１１により撮像された２次元画像情報から容易に確認することが可能になる。

表示制御部１７０は、ステップＳ１１で送受信部１８０が３次元情報を送信（出力）する前に、ステップＳ３で２次元画像情報Ｇを出力する。表示制御部１７０は、ステップＳ１０で３次元再構成処理部１５０が３次元情報を決定する前に、ステップＳ３で２次元画像情報Ｇを出力する。

これにより、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、３次元情報を確認する前に、２次元画像情報から確認することが可能になる。

表示制御部１７０は、表示部２０に２次元画像情報を表示させる。撮像装置１は、表示部２０を備える。

これにより、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、表示部２０に表示される２次元画像情報から容易に確認することが可能になる。

表示制御部１７０は、送受信部１８０が３次元情報を出力する外部装置３００とは異なる表示部２０へ、２次元画像情報を出力する。

これにより、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、外部装置３００に出力される３次元情報を確認することなく、外部装置３００とは異なる表示部２０に出力される２次元画像情報から確認することが可能になる。

撮像装置１は、距離情報取得部１３の出力に基づき３次元情報を決定する３次元再構成処理部１５０を備える。３次元再構成処理部１５０は、距離情報取得部１３の出力と、２次元画像情報に基づき、３次元情報を決定する。

これにより、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、３次元再構成処理部１５０で決定される３次元情報を確認することなく、撮像部１１により撮像された２次元画像情報から確認することが可能になる。

図６は、同実施形態における全天球画像データ生成フロー図である。

図６（ａ）は、図５で説明したステップＳ２に対応する全天球のＲＧＢ画像データの生成処理を示すフローチャートである。

ＲＧＢ画像データ取得部１４２は、魚眼画像形式の２つのＲＧＢ画像データを入力する（ステップＳ２０１）。

ＲＧＢ画像データ取得部１４２は、各ＲＧＢ画像データを正距円筒画像形式に変換する（ステップＳ２０２）。ＲＧＢ画像データ取得部１４２は、２つのＲＧＢ画像データを同じ座標系に基づいて正距円筒画像形式に変換することで、次のステップでの画像結合を容易にする。

ここで、正距円筒画像形式について説明する。正距円筒画像形式は、全天球画像を表現可能な方式であり、正距円筒図法を用いて作成される画像（正距円筒画像）の形式である。正距円筒図法とは、地球儀の緯度経度のような、２変数で３次元の方向を表し、緯度経度が直交するように平面表示した図法である。従って、正距円筒画像は、正距円筒図法を用いて生成された画像であり、球面座標系の２つの角度変数を２軸とする座標で表現されている。

ＲＧＢ画像データ取得部１４２は、ステップＳ２０２で生成された２つのＲＧＢ画像データを結合し、１枚の全天球ＲＧＢ画像データを生成する（ステップＳ２０３）。入力された２つのＲＧＢ画像データは、全画角１８０度超の領域をカバーしている。このため、この２つのＲＧＢ画像データを適切に繋ぐことで生成された全天球ＲＧＢ画像データは、全天球領域をカバーすることができる。

なお、ステップＳ２０３における結合処理は、複数画像を繋ぐための既存の技術を用いることができ、特に方法を限定しない。

図６（ｂ）は、図５で説明したステップＳ４に対応する全天球のＴＯＦ画像データの生成処理を示すフローチャートである。

ＴＯＦ画像データ取得部１４４は、魚眼画像形式の２つの距離画像データを取得する（ステップＳ４０１）。

ＴＯＦ画像データ取得部１４４は、魚眼画像形式の２つのＴＯＦ画像データをそれぞれ正距円筒画像形式に変換する（ステップＳ４０２）。正距円筒画像形式は、上述の通り、全天球画像を表現可能な方式である。本ステップＳ４０２において、２つのＴＯＦ画像データを同じ座標系に基づいて正距円筒画像形式に変換することで、次のステップＳ４０３での画像結合を容易にする。

ＴＯＦ画像データ取得部１４４は、ステップＳ４０２で生成された２つのＴＯＦ画像データを結合し、１枚の全天球ＴＯＦ画像データを生成する（ステップＳ４０３）。入力された２つのＴＯＦ画像データは、全画角１８０度超の領域をカバーしている。このため、この２つのＴＯＦ画像データを適切に繋ぐことで生成された全天球ＴＯＦ画像データは、全天球領域をカバーすることができる。

なお、ステップＳ４０３における結合処理は、複数画像を繋ぐための既存の技術を用いることができ、特に方法を限定しない。

図７は、同実施形態における近接物判断フロー図である。

図７は、図５で説明したステップＳ８に対応する近接物の撮像画像への写り込みの有無の判断処理を示すフローチャートである。

判断部１６０は、再投影処理部１４７から取得した全天球のＴＯＦ画像データに基づき、全天球のＴＯＦ画像データの中に蓄電量が飽和している画素があるか判断する（ステップＳ８０１）。

判断部１６０は、ステップＳ８０１で蓄電量が飽和している画素があった場合、ＲＧＢ画像データ取得部１４２から取得した全天球のＲＧＢ画像データに基づき、全天球のＲＧＢ画像データのうち、ステップＳ８０１で蓄電量が飽和していた画素と同一座標の画素について、蓄電量が飽和しているか判断する（ステップＳ８０２）。

判断部１６０は、ステップＳ８０２で蓄電量が飽和している場合、ステップＳ８０１で蓄電量が飽和している画素は、外光によるものであると判断し、エラー情報を表示制御部１７０へ出力する。表示制御部１７０は、判断部１６０から取得したエラー情報に基づき、エラー情報を２次元画像情報に重畳させて表示部２０に表示させる（ステップＳ８０３）。

判断部１６０は、ステップＳ８０２で蓄電量が飽和していない場合、ステップＳ８０１で蓄電量が飽和している画素は、近接物の存在によるものであると判断し、ステップＳ８０１で蓄電量が飽和していた画素の座標位置情報を表示制御部１７０へ出力する。表示制御部１７０は、判断部１６０から取得した画素の座標位置情報に基づき、近接物を識別する識別情報を２次元画像情報に重畳させて表示部２０に表示させる（ステップＳ８０４）。

判断部１６０は、ステップＳ８０１で蓄電量が飽和している画素がなかった場合、再投影処理部１４７から取得した全天球のＴＯＦ画像データに基づき、全天球のＴＯＦ画像データのうち、０．５ｍ以下の距離情報を示す画素があるか判断する（ステップＳ８０５）。

判断部１６０は、ステップＳ８０５で０．５ｍ以下の距離情報を示す画素がない場合、処理を終了する。

判断部１６０は、ステップＳ８０５で０．５ｍ以下の距離情報を示す画素がある場合、前述したステップＳ８０４へ移行し、ステップＳ８０５で０．５ｍ以下の距離情報を示す画素は、近接物の存在によるものであると判断し、ステップＳ８０５で０．５ｍ以下の距離情報を示していた画素の座標位置情報を表示制御部１７０へ出力する。表示制御部１７０は、判断部１６０から取得した画素の座標位置情報に基づき、近接物を識別する識別情報を２次元画像情報に重畳させて表示部２０に表示させる。

以上説明したように、表示制御部１７０は、近接物が存在すると判断した場合には識別情報を２次元画像情報に重畳させ、近接物が存在すると判断しない場合には識別情報を２次元画像情報に重畳させない。

すなわち、表示制御部１７０は、近接物の存在の有無に応じて、表示部２０に異なる表示をさせる。

また、表示制御部１７０は、判断部１６０から取得した画素の座標位置情報に基づき、近接物を識別する識別情報を２次元画像情報に重畳させて表示部２０に表示させる。

すなわち、表示制御部１７０は、近接物の位置に応じて、表示部２０に異なる位置の表示をさせる。

図８は、同実施形態における表示部の表示内容を説明するための図である。

図８は、図５に示したステップＳ２、図７に示したステップＳ８０３およびステップＳ８０４に対応する説明図である。

表示部２０には、表示制御部１７０により、２次元画像情報Ｇが表示されている。また、表示部２０には、表示制御部１７０により、近接物を識別する識別情報Ｇ１、Ｇ２およびエラー情報Ｇ３が、それぞれ２次元画像情報Ｇに重畳して表示されている。

以上説明したように、撮像装置１は、対象を撮像する撮像部１１と、対象に光を投射する投射部１２と、対象から反射してきた光を受光する距離情報取得部１３と、距離情報取得部１３の出力と、撮像部１１の出力と、に基づき判断される近接物の有無に応じて、表示部２０に異なる表示をさせる表示制御部１７０と、を備える。

これにより、撮影者は、外光の影響と区別して、撮影者自身や三脚等の近接物の撮像画像への写り込みの有無を正確に確認することができる。

撮像装置１は、表示部２０を備える。これにより、撮影者は、近接物の撮像画像への写り込みの有無を確実に確認することができる。

表示制御部１７０は、近接物の位置に応じて、表示部２０に異なる位置の表示をさせる。これにより、撮影者は、近接物の撮像画像への写り込みの位置を確認することができる。

表示制御部１７０は、撮像部１１が撮像した画像情報Ｇを表示部２０に表示させるとともに、近接物を識別する識別情報Ｇ１、Ｇ２を画像情報に重畳させて表示部２０に表示させる。これにより、撮影者は、近接物の撮像画像への写り込みの位置を確実に確認することができる。

撮像装置１は、距離情報取得部１３が受光した光による蓄電量が飽和しており、かつ撮像部１１の画素の蓄電量が飽和していない場合、近接物があると判断する判断部１６０を備える。

これにより、撮影者は、外光の影響と区別して、近接物の撮像画像への写り込みの有無を正確に確認することができる。

図９は、同実施形態の変形例に係る撮像装置の外観を示す図である。図１０は、変形例における処理回路の処理ブロックの構成を示す図である。

本変形例において、表示制御部１７０は、ＲＧＢ画像データ取得部１４２から全天球のＲＧＢ画像データを取得し、取得した全天球のＲＧＢ画像データに基づく２次元画像情報を表示装置５００の表示部５２０に表示させる。表示部５２０は、２次元画像情報を出力する出力先の一例である。

これにより、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、表示部５２０に表示される２次元画像情報から容易に確認することが可能になる。

表示制御部１７０は、送受信部１８０が３次元情報を出力する外部装置３００とは異なる表示部５２０へ、２次元画像情報を出力する。

これにより、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、外部装置３００に出力される３次元情報を確認することなく、外部装置３００とは異なる表示部５２０に出力される２次元画像情報から確認することが可能になる。

表示制御部１７０は、３次元再構成処理部１４５から全天球の３次元データを取得し、３次元情報を表示部５２０に表示させてもよい。具体的には、表示制御部１７０は、２次元画像情報を表示部５２０に表示させる場合と、３次元情報を表示部５２０に表示させる場合を所定の条件に従って選択してもよい。これにより、表示制御部１７０は、３次元情報とは別に２次元画像情報を出力することができる。

表示制御部１７０は、判断部１６０から取得したエラー情報に基づき、エラー情報を２次元画像情報に重畳させて表示部５２０に表示させる

表示制御部１７０は、判断部１６０から取得した画素の座標位置情報に基づき、近接物を識別する識別情報を２次元画像情報に重畳させて表示部５２０に表示させる

すなわち、表示制御部１７０は、距離情報取得部１３の出力と、撮像部１１の出力と、に基づき判断される近接物の有無に応じて、表示部５２０に異なる表示をさせる。

これにより、撮影者は、外光の影響と区別して、撮影者自身や三脚等の近接物の撮像画像への写り込みの有無を正確に確認することができる。

表示制御部１７０は、近接物の位置に応じて、表示部５２０に異なる位置の表示をさせる。これにより、撮影者は、近接物の撮像画像への写り込みの位置を確認することができる。

表示制御部１７０は、撮像部１１が撮像した画像情報を表示部５２０に表示させるとともに、近接物を識別する識別情報を画像情報に重畳させて表示部５２０に表示させる。これにより、撮影者は、近接物の撮像画像への写り込みの位置を確実に確認することができる。

図１１は、本発明の実施形態の第２の変形例に係る撮像装置の外観を示す図である。図１２は、第２の変形例における処理回路の処理ブロックの構成を示す図である。

図１１に示す第２の変形例において、撮像装置１は、図１に示した表示部２０に代えて、複数の表示部２０Ａ、２０ａを備える。表示部２０Ａ、２０ａは、ＬＥＤ等により構成され、処理回路１４の出力信号に応じ点滅または点灯する。

表示部２０ａは、筐体１０の正面側の第１の面に設けられ、表示部２０Ａは、筐体１０の背面側の第２の面に設けられている。

図１２に示す第２の変形例において、表示制御部１７０は、判断部１６０から取得した判断結果を示す情報を表示部２０Ａ、２０ａに表示させる。

また、送受信部１８０は、ＲＧＢ画像データ取得部１４２から出力される全天球の２次元画像情報をネットワーク４００経由で表示装置５００へ送信（出力）する。表示装置５００は、２次元画像情報を出力する出力先の一例である。

すなわち、第２の変形例では、図５に示したステップＳ３において、送受信部１８０は、ＲＧＢ画像データ取得部１４２から全天球のＲＧＢ画像データを取得し、取得した全天球のＲＧＢ画像データに基づく２次元画像情報を表示装置５００へ送信（出力）する。

表示装置５００の送受信部５１０は、撮像装置１の送受信部１８０から送信された２次元画像情報を受信する。

表示装置５００の制御部５３０は、送受信部５１０が受信した２次元画像情報を表示部５２０へ表示させる。

以上説明したように、撮像装置１は、撮像部１１と、３次元情報とは別に撮像部１１により撮像された２次元画像情報を出力する送受信部１８０を備える。

これにより、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、３次元情報を確認することなく、２次元画像情報から容易に確認することが可能になる。

したがって、３次元情報を取得する現場に居ながら、３次元情報再取得することが可能になり、３次元情報を取得する現場から離れた後で、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことに気づく場合に比べて、再度、３次元情報を取得する現場を訪問する手間が低減される。

送受信部１８０は、ステップＳ１１で３次元情報を送信（出力）する前に、ステップＳ３で２次元画像情報Ｇを送信（出力）する。送受信部１８０は、ステップＳ１０で３次元再構成処理部１５０が３次元情報を決定する前に、ステップＳ３で２次元画像情報Ｇを送信（出力）する。

これにより、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、３次元情報を確認する前に、２次元画像情報から確認することが可能になる。

送受信部１８０は、表示装置５００に２次元画像情報を送信し、表示装置５００は表示部５２０に２次元画像情報を表示させる。

これにより、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、表示部５２０に表示される２次元画像情報から容易に確認することが可能になる。

送受信部１８０は、３次元情報を出力する外部装置３００とは異なる表示装置５００へ、２次元画像情報を送信する。

これにより、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、外部装置３００に出力される３次元情報を確認することなく、外部装置３００とは異なる表示装置５００の表示部５２０に出力される２次元画像情報から確認することが可能になる。

送受信部１８０は、３次元情報を表示装置５００へ送信してもよい。具体的には、送受信部１８０は、２次元画像情報を表示装置５００へ送信する場合と、３次元情報を表示装置５００へ送信する場合を所定の条件に従って選択してもよい。これにより、送受信部１８０は、表示装置５００に対して３次元情報とは別に２次元画像情報を送信することができる。

図１３は、第２の変形例における近接物判断フロー図である。

図１３は、第２の変形例における図５で説明したステップＳ８に対応する近接物の撮像画像への写り込みの有無の判断処理を示すフローチャートである。

判断部１６０は、再投影処理部１４７から取得した全天球のＴＯＦ画像データに基づき、全天球のＴＯＦ画像データの中に蓄電量が飽和している画素があるか判断する（ステップＳ８１１）。

判断部１６０は、ステップＳ８１１で蓄電量が飽和している画素があった場合、ＲＧＢ画像データ取得部１４２から取得した全天球のＲＧＢ画像データに基づき、全天球のＲＧＢ画像データのうち、ステップＳ８１１で蓄電量が飽和していた画素と同一座標の画素について、蓄電量が飽和しているか判断する（ステップＳ８１２）。

判断部１６０は、ステップＳ８１２で蓄電量が飽和している場合、ステップＳ８１１で蓄電量が飽和している画素は、外光によるものであると判断し、エラー情報を表示制御部１７０へ出力する。表示制御部１７０は、判断部１６０から取得したエラー情報に基づき、エラー情報を表示部２０Ａ、２０ａに表示させる（ステップＳ８１３）。

判断部１６０は、ステップＳ８１２で蓄電量が飽和していない場合、ステップＳ８１１で蓄電量が飽和している画素は、近接物の存在によるものであると判断し、ステップＳ８１１で蓄電量が飽和していた画素の座標位置情報を表示制御部１７０へ出力する。表示制御部１７０は、判断部１６０から取得した画素の座標位置情報に基づき、座標位置情報が筐体１０の正面側であるか判断する（ステップＳ８１４）。

判断部１６０は、ステップＳ８１１で蓄電量が飽和している画素がなかった場合、再投影処理部１４７から取得した全天球のＴＯＦ画像データに基づき、全天球のＴＯＦ画像データのうち、０．５ｍ以下の距離情報を示す画素があるか判断する（ステップＳ８１５）。

判断部１６０は、ステップＳ８１５で０．５ｍ以下の距離情報を示す画素がない場合、処理を終了する。

判断部１６０は、ステップＳ８１５で０．５ｍ以下の距離情報を示す画素がある場合、前述したステップＳ８１４へ移行し、ステップＳ８１５で０．５ｍ以下の距離情報を示す画素は、近接物の存在によるものであると判断し、ステップＳ８１５で０．５ｍ以下の距離情報を示していた画素の座標位置情報を表示制御部１７０へ出力する。表示制御部１７０は、判断部１６０から取得した画素の座標位置情報に基づき、座標位置情報が筐体１０の正面側であるか判断する。

表示制御部１７０は、ステップＳ８１４で正面側であると判断した場合には、筐体１０の正面側に配置された表示部２０ａを点滅させる（ステップＳ８１６）。

表示制御部１７０は、ステップＳ８１４で正面側であると判断しなかった場合には、筐体１０の背面側に配置された表示部２０Ａを点滅させる（ステップＳ８１７）。

以上説明したように、表示制御部１７０は、近接物が存在すると判断した場合には表示部２０ａまたは表示部２０Ａを点滅させ、近接物が存在すると判断しない場合には表示部２０ａおよび表示部２０Ａを点滅させない。

すなわち、表示制御部１７０は、近接物の存在の有無に応じて、表示部２０ａおよび表示部２０Ａに異なる表示をさせる。

これにより、撮影者は、外光の影響と区別して、撮影者自身や三脚等の近接物の撮像画像への写り込みの有無を正確に確認することができる。

また、表示制御部１７０は、判断部１６０から取得した画素の座標位置情報に基づき、表示部２０ａまたは表示部２０Ａを点滅させる。

すなわち、表示制御部１７０は、近接物の位置に応じて、表示部２０ａおよび表示部２０Ａに異なる位置の表示をさせる。これにより、撮影者は、近接物の撮像画像への写り込みの位置を確認することができる。

そして、表示制御部１７０は、表示部２０Ａ、２０ａのうち、近接物に近い側の表示部に、近接物の有無に応じて異なる表示をさせる。これにより、撮影者は、特定の対象物の撮像画像への写り込みの位置を確実に確認することができる。

図１４は、本発明の実施形態の第３の変形例に係る撮像装置の構成を説明するための図である。

図１４に示す第３の変形例において、撮像装置１は、図２に示した構成に加えて、他の撮像素子１１１ａ、１１１Ａや、他の魚眼レンズ（広角レンズ）１１１ｂ、１１１Ｂなどを有する他の撮像部１１１を備える。

第３の変形例では、ＲＧＢの撮像部１１と他の撮像部１１１を同一基線上に設けている。この場合、処理回路１４において多眼での処理が可能になる。つまり、一面において所定距離離して設けた撮像部１１と他の撮像部１１１を同時に駆動することにより２つの視点のＲＧＢ画像が得られる。このため、２つのＲＧＢ画像に基づいて計算した視差の使用が可能になり、さらに測定範囲全体の距離精度を向上させることができる。

具体的には、ＲＧＢの撮像部１１と他の撮像部１１１設けた場合、従来の視差計算のように、ＳＳＳＤを使ったマルチベースラインステレオ（ＭＳＢ）やＥＰＩ処理などが利用可能になる。このため、これを利用することで視差の信頼度があがり、高い空間解像度と精度を実現することが可能になる。

以上のように、撮像装置１は、他の撮像部１１１を備え、３次元再構成処理部１５０は、距離情報取得部１３の出力と、２次元画像情報と、他の撮像部１１１により撮像された他の２次元画像情報と、に基づき３次元情報を決定する。

撮像装置１は、距離情報取得部１３の出力によらずに、他の撮像部１１１と、２次元画像情報と他の撮像部１１１により撮像された他の２次元画像情報とに基づき３次元情報を決定する３次元情報決定部と、を備えてもよい。

これにより、撮影者自身や三脚等の撮像画像への写り込みや、所望のレイアウトの３次元情報が取得されていないことを、２次元画像情報に基づき３次元再構成処理部１５０で決定される３次元情報を確認することなく、撮像部１１により撮像された２次元画像情報から確認することが可能になる。

以上説明したように、本発明の一実施形態に係る撮像装置１は、対象を撮像する撮像部１１と、対象に光を投射する投射部１２と、対象から反射してきた光を受光する距離情報取得部１３（受光部の一例）と、距離情報取得部１３の出力と、撮像部１１の出力と、に基づき判断される特定の対象物の有無に応じて、表示部２０、５２０に異なる表示をさせる表示制御部１７０と、を備える。

これにより、撮影者は、外光の影響と区別して、撮影者自身や三脚等の特定の対象物の撮像画像への写り込みの有無を正確に確認することができる。

撮像装置１は、表示部２０を備える。これにより、撮影者は、特定の対象物の撮像画像への写り込みの有無を確実に確認することができる。

表示制御部１７０は、特定の対象物の位置に応じて、表示部２０、５２０に異なる位置の表示をさせる。これにより、撮影者は、特定の対象物の撮像画像への写り込みの位置を確認することができる。

表示部２０は複数の表示部２０Ａ、２０ａを備え、表示制御部１７０は、複数の表示部２０Ａ、２０ａのうち、特定の対象物に近い側の表示部に、対象物の有無に応じて異なる表示をさせる。これにより、撮影者は、特定の対象物の撮像画像への写り込みの位置を確実に確認することができる。

表示制御部１７０は、撮像部１１が撮像した画像情報Ｇを表示部２０、５２０に表示させるとともに、特定の対象物を識別する識別情報Ｇ１、Ｇ２を画像情報に重畳させて表示部２０、５２０に表示させる。これにより、撮影者は、特定の対象物の撮像画像への写り込みの位置を確実に確認することができる。

撮像装置１は、距離情報取得部１３が受光した光による蓄電量が飽和しており、かつ撮像部の画素の蓄電量が飽和していない場合、特定の対象物があると判断する判断部１６０を備える。

これにより、撮影者は、外光の影響と区別して、特定の対象物の撮像画像への写り込みの有無を正確に確認することができる。

１ 撮像装置（情報処理装置の一例）
１０ 筐体
１１ 撮像部
１１ａ、１１Ａ 撮像素子
１１ｂ、１１Ｂ 魚眼レンズ
１２ 投射部
１２ａ、１２Ａ 光源部
１２ｂ、１２Ｂ 広角レンズ
１３ 距離情報取得部（受光部の一例）
１３ａ、１３Ａ ＴＯＦセンサ
１３ｂ、１３Ｂ 広角レンズ
１４ 処理回路
１５ 撮影スイッチ
２０ 表示部
２０Ａ、２０ａ 表示部
１１１ 他の撮像部
１５０ ３次元再構成処理部（３次元情報決定部の一例）
１６０ 判断部
１７０ 表示制御部（出力部の一例）
１８０ 送受信部（出力部の一例）
３００ 外部装置（出力先の一例）
５００ 表示装置（出力先の一例）
５２０ 表示部（出力先の一例）
Ｌ 同期信号線

特開２０１８‐０７７０７１号公報 特許第５４２３２８７号公報

Claims (10)

1. 対象を撮像する撮像部と、
   前記対象に光を投射する投射部と、
   前記対象から反射してきた前記光を受光する受光部と、
   前記受光部の出力と、前記撮像部の出力と、に基づき判断される特定の対象物の有無に応じて、表示部に異なる表示をさせる表示制御部と、
   を備えた撮像装置。
2. 前記表示部を備えた請求項１記載の撮像装置。
3. 前記表示制御部は、前記特定の対象物の位置に応じて、前記表示部に異なる位置の表示をさせる請求項１または２記載の撮像装置。
4. 前記表示部は複数の表示部を備え、
   前記表示制御部は、前記複数の表示部のうち、前記特定の対象物に近い側の前記表示部に、前記対象物の有無に応じて異なる表示をさせる請求項１〜３の何れか記載の撮像装置。
5. 前記表示制御部は、前記撮像部が撮像した画像情報を前記表示部に表示させるとともに、前記特定の対象物を識別する識別情報を前記画像情報に重畳させて前記表示部に表示させる請求項１〜４の何れか記載の撮像装置。
6. 前記受光部が受光した前記光による蓄電量が飽和しており、かつ前記撮像部の画素の蓄電量が飽和していない場合、前記特定の対象物があると判断する判断部を備えた請求項１〜５の何れか記載の撮像装置。
7. 前記受光部は、前記対象から反射した前記光を検出する受光素子を有し、前記受光素子で検出した光に基づき前記対象までの距離情報を取得する請求項１〜６の何れか記載の撮像装置。
8. 前記受光部は、２次元方向に配列された複数の前記受光素子を備え、前記複数の受光素子から取得した複数の前記距離情報からなる距離画像情報を取得する請求項７記載の撮像装置。
9. 前記撮像部から取得した撮像画像と、前記受光部から取得した前記距離情報と、に基づいて決定された３次元情報を出力する出力部をさらに備える請求項７または８に記載の撮像装置。
10. 対象を撮像部により撮像する撮像ステップと、
    前記対象に光を投射する投射ステップと、
    前記対象から反射してきた前記光を受光部により受光する受光ステップと、
    前記受光部の出力と、前記撮像部の出力と、に基づき判断される特定の対象物の有無に応じて、異なる表示をさせる表示ステップと、を備えた撮像処理方法。

Images