JP7220343B2 - 画像処理装置 - Google Patents

Description

本開示は、空間距離を計測する画像処理装置に関する。

距離測定カメラにより取得された被写体内の各対象物までの距離情報を利用し、実空間上の２点の間の空間距離を計測する技術がある。可視光カメラと距離測定カメラで被写体を撮影し、取得した２次元画像上の２点をユーザが選択すると、２点の座標と対応する距離情報から２点の間の空間距離を算出する。しかし、１度の撮影で取得された距離情報は、環境や外光の影響によりある程度の計測不可領域が含まれているため、２点の間の空間距離を計測できない領域がある。

特許文献１は、多視点から被写体を計測して得られる複数の３次元データを１つの３次元データに合成する多視点３次元データの合成方法を開示する。

特開２０００－１１３１９３号公報

本開示は、被写体内の各対象物までの距離情報を含む画像である距離画像をより正確に生成することを可能とする画像処理装置を提供する。

本開示の画像処理装置は、画像処理装置全体を制御するプロセッサと、記憶部と、表示部と、表示部と重畳して配置される入力部と、被写体の可視画像を取得する可視光カメラと、被写体内の各対象物までの距離を測定し、測定した被写体内の各対象物までの距離情報を含む画像である第１の距離画像を生成する距離測定カメラユニットとを備え、記憶部は、第１の距離画像を取得する方法を示す情報である第１の距離画像取得方法と、被写体内の各対象物までの距離情報を再構成する方法を示す情報である再構成方法を記憶し、プロセッサは、第１の距離画像取得方法に従って、距離測定カメラユニットを制御し複数の第１の距離画像を取得し、再構成方法に従って、取得した複数の第１の距離画像から、被写体内の各対象物までの距離情報を再構成し、再構成した被写体内の各対象物までの距離情報を含む画像である第２の距離画像を生成する。

本開示の画像処理装置は、距離画像をより正確に推定することを可能とする。

本開示の一実施の形態の画像処理装置の外観を示す図 本開示の一実施の形態の画像処理装置の内部構成を示すブロック図 本開示の一実施の形態の画像処理装置が備える距離測定カメラユニットの構成一例を示すブロック図 本開示の一実施の形態の第２の距離画像生成方法の一例を示す図 本開示の一実施の形態の画像処理装置が、２つのユーザ指定位置間の距離を計算しユーザに提示する際の動作を示すフローチャート 本開示の一実施の形態の画像処理装置が、距離画像を生成する際の動作を示すフローチャート

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。たとえば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
以下、図１～６を用いて、実施の形態を説明する。

［１－１－１．画像処理装置の構成］
図１は、本開示の一実施の形態である画像処理装置１０の外観を示す図である。図１（Ａ）は画像処理装置１０を表面から見た図であり、図１（Ｂ）は画像処理装置１０を背面から見た図である。画像処理装置１０はいわゆるタブレット端末である。画像処理装置１０は、その表面側に、表示部１３と、表示部１３に重畳して配置された入力部であるタッチパネル１５とを有する。画像処理装置１０は、その背面側に、可視光カメラ１７と、距離測定カメラユニット１９とを備える。

図２は、画像処理装置１０の内部構成を示すブロック図である。画像処理装置１０は、プロセッサ２１と、記憶部２２と、バス２３と、ＯＳ２５と、表示部１３と、タッチパネル１５と、可視光カメラ１７と、距離測定カメラユニット１９とを備える。

プロセッサ２１は、プログラムを実行することで画像処理装置１０のほかの構成要素を制御する。

記憶部２２は、画像処理装置１０の処理に必要なデータを一時的、または恒久的に保存する。たとえば、記憶部２２にはＯＳ２５やプログラム、後述するユーザ指定位置補正情報等を保存する。記憶部２２には揮発性メモリや不揮発性メモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等が用いられる。

ＯＳ２５は、画像処理装置１０の動作を司るソフトウェアである。

バス２３は、画像処理装置１０の他の構成要素が送受信する電気信号が通る箇所である。制御信号やデータは、バス２３を介して画像処理装置１０の各構成要素の間で送受信される。

表示部１３は例えば、液晶ディスプレイや有機ＥＬディスプレイで構成される。タッチパネル１５（操作部の一例）はユーザの指やスタイラスペンによるタッチ操作を検出する入力デバイスである。タッチパネル１５は、その操作領域が表示部１３の表示領域と重畳するように配置されている。画像処理装置１０は、操作部材として、タッチパネル１５に加えて、画像処理装置１０に物理的に設けられたボタンやスライドスイッチをさらに備えてもよい。画像処理装置１０は、タッチパネル１５上でのユーザ操作（ピンチイン／ピンチアウト操作）に応じて画像の表示倍率を変化（縮小／拡大）させて表示部１３に表示することができる。

可視光カメラ１７は、可視光の波長領域に感度を持ち、被写体からの可視光を撮像して画像（以下「２次元画像」という）を生成する撮像装置である。

距離測定カメラユニット１９は、被写体内の各対象物までの距離の測定や被写体内の各対象物までの距離情報を含む画像（以下「距離画像」という）を生成する装置である。距離測定カメラユニット１９は、アクティブステレオ方式、ＴＯＦ（Ｔｉｍｅ ＯｆＦｌｉｇｈｔ）方式等各種公知技術を実装することにより実現される。図３は、距離測定カメラユニット１９の構成の一例を示す図である。図３において、距離測定カメラユニット１９は、右赤外線カメラ１９ａと、左赤外線カメラ１９ｂと、赤外線プロジェクター１９ｃとを備える。図３にその構成の一例を示す距離測定カメラユニット１９は、赤外線プロジェクター１９ｃから赤外線で特定のパターンを照射し、右赤外線カメラ１９ａ、左赤外線カメラ１９ｂにより取得されたイメージの差分をもとに計算を行い対象物までの距離を測定するものとする。

プロセッサ２１は、可視光カメラ１７が生成した２次元画像と距離測定カメラユニット１９が生成した距離画像とを重ね合わせることで、２次元画像上の各位置について、画像処理装置１０からの距離情報を得ることができる。

なお、本実施の形態では、可視光カメラ１７は、距離測定カメラユニット１９とは別の構成要素として説明したが、それに限るわけではなく、可視光カメラ１７は、距離測定カメラユニット１９に含まれてもよいものとする。また、例えば、右赤外線カメラ１９ａ、および／または、左赤外線カメラ１９ｂ、が赤外線カメラの機能とともに可視光カメラの機能を備えてもよいものとする。

なお、上述した各構成要素は物理的に独立した状態で画像処理装置１０を構成することもあれば、一部の構成要素が統合されて画像処理装置１０を構成することもある。たとえば、１つのＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）の内部にプロセッサ２１や、記憶部２２や、他の構成要素の機能の一部又は全部が統合して実装される。

また、上述した各構成要素を構成するために、物理的に独立した他の構成要素が組み合わせられることもある。たとえば、論理的に単一の記憶部２２を構成するために、物理的に異なる記憶部が複数用いられることがある。

また、プロセッサ２１の負担を分散するために、複数のプロセッサや、記憶部２２の内部に実装されたマイコンが実際の処理を行うこともある。本実施の形態ではこれら処理を行う要素を総称してプロセッサ２１と定義する。

［１－１－２．第２の距離画像生成方法４０の構成］
以降、距離測定カメラユニット１９により取得され、被写体内の各対象物までの距離情報を含み、記憶部２２に一時的に記憶されるデータを「第１の距離画像」、１つまたは複数の第１の距離画像に対して何らかの処理が加えられ、被写体内の各対象物までの距離情報を同じデータ構造で再構成した後に、記憶部２２に恒久的に記憶されるデータを「第２の距離画像」と呼ぶ。なお、ここでは第１の距離画像、および、第２の距離画像について、それぞれ一時的、恒久的に記憶されることを例に挙げて説明を行うが、これに限るわけではなく、記憶方法、および、記憶場所などは任意に指定してよいものとする。第２の距離画像生成方法４０とは、第２の距離画像を生成する際に、どのような方法で第１の距離画像を取得し、取得した１つまたは複数の第１の距離画像からどのような方法で第２の距離画像を生成するかを示す情報である。図４は、第２の距離画像生成方法４０の一例を示す図である。図４に示される第２の距離画像生成方法４０は、第２の距離画像生成方法決定条件４１と、第２の距離画像生成方法決定条件４１と組になって記憶される第１の距離画像取得方法４２と再構成方法４３とを含む。

第２の距離画像生成方法決定条件４１は、第２の距離画像を生成する方法を決定するための条件を示す情報である。

第１の距離画像取得方法４２は、距離測定カメラユニット１９により第１の距離画像をどのようにして取得するかの方法を示す情報である。

再構成方法４３は、取得した１つまたは複数の第１の距離画像から、第２の距離画像を生成する際、被写体内の各対象物までの距離情報をどのようにして再構成するかを示す情報である。

プロセッサ２１は、第２の距離画像生成方法決定条件４１で示される条件の中から現在の状況に合致する条件を特定し、合致する条件と組になって記憶されている第１の距離画像取得方法４２で示される方法で、第１の距離画像を距離測定カメラユニット１９により取得する。プロセッサ２１は、現在の状況に合致する条件と組になって記憶されている再構成方法４３で示される方法に従って、１つまたは複数の第１の距離画像から、被写体内の各対象物それぞれについて、各対象物までの距離情報を再構成し、再構成した被写体内の各対象物までの距離情報を含む第２の距離画像を生成する。図４の例では、プロセッサ２１は、まず、図２に図示しない照度センサーにより照度を取得する。取得した照度が、予めユーザが設定した閾値「ＸＸＸ」以上の値である場合には、第１の距離画像取得方法を「露光時間を変えて複数回取得」と決定し、再構成方法を「異常値を除いて平均化」と決定する。この場合、プロセッサ２１は、露光時間を複数回変化させて、距離測定カメラユニット１９により複数の第１の距離画像を取得し、一時的に記憶した複数の第１の距離画像をもとに、被写体内の各対象物それぞれについて、対象物までの距離情報を、異常値を除いて平均化処理を行うことで再構成し、再構成した各対象物までの距離情報を含む１つの第２の距離画像を生成する。これにより、それぞれ異なる適切な露光時間を有する複数の被写体までの距離を測定する場合に、複数の距離情報を異なる露光時間で取得することにより、再構成された第２の距離画像には被写体毎に適切な露光時間で取得された距離情報が含まれることとなり、プロセッサ２１は、より正確な距離画像を生成することが可能となる。また、プロセッサ２１は、図２に図示しない照度センサーにより取得した照度が、予めユーザが設定した閾値「ＸＸＸ」未満の値である場合には、第１の距離画像取得方法を「赤外線照射量を変えて複数回取得」と決定し、再構成方法を「異常値を除いて平均化」と決定する。この場合、プロセッサ２１は、赤外線照射量を複数回変化させて、距離測定カメラユニット１９により複数の第１の距離画像を取得し、一時的に記憶した複数の第１の距離画像に対して異常値を除いて平均化処理を行うことで被写体内の各対象物までの距離情報を再構成し、１つの第２の距離画像を生成する。これにより、それぞれ異なる適切な赤外線照射量を有する複数の被写体までの距離を測定する場合に、複数の距離情報を異なる赤外線照射量で取得することにより、再構成された第２の距離画像には被写体毎に適切な赤外線照射量で取得された距離情報が含まれることとなり、プロセッサ２１は、より正確な距離画像を再構成することが可能となる。

［１－２．動作］
以上のように構成された画像処理装置１０について、その動作を説明する。

本実施の形態の画像処理装置１０は、可視光カメラ１７で取得した２次元画像を表示部１３に表示し、表示部１３に表示された２次元画像に対し、ユーザがタッチパネル１５を介して指定した２つのユーザ指定位置間の距離を、距離画像をもとに計算し、ユーザに提示する機能を有する。

図５は、本実施の形態における画像処理装置１０が、当該機能を実行する際の動作を示すフローチャートである。

（ステップＳ５０１）プロセッサ２１は、可視光カメラ１７で取得した２次元画像を表示部１３に表示し、ユーザに対し、第１のユーザ指定位置を入力するよう促す。ユーザが、その応答として、タッチパネル１５を介して位置を指定すると、プロセッサ２１は、指定された位置を第１のユーザ指定位置として検出する。その後、プロセッサ２１は、可視光カメラ１７で取得した２次元画像を表示部１３に表示し、ユーザに対し、第２のユーザ指定位置を入力するよう促す。ユーザが、その応答として、タッチパネル１５を介して位置を指定すると、プロセッサ２１は、指定された位置を第２のユーザ指定位置として検出する。

（ステップＳ５０２）プロセッサ２１は、後述する第２の距離画像生成プロセスを実行し、第２の距離画像を生成する。

（ステップＳ５０３）プロセッサ２１は、ステップＳ５０１で決定した、第１のユーザ指定位置と第２のユーザ指定位置との間の距離を、ステップＳ５０２で決定した１つまたは複数の第２の距離画像をもとに計算し、表示部１３を介してユーザに提示する。

図６は、本実施の形態における画像処理装置１０が、第２の距離画像生成プロセスを実行する際の動作を示すフローチャートである。

（ステップＳ６０１）プロセッサ２１は、記憶部２２に記憶されている第２の距離画像生成方法４０を参照し、第２の距離画像生成方法決定条件４１に示される条件の中から現在の状況に合致する条件を特定し、合致する条件と組になって記憶されている第１の距離画像取得方法４２に示される方法を、第１の距離画像を取得する方法として決定する。例えば、第２の距離画像生成方法４０が図４に示す内容である場合、プロセッサ２１は、図２に図示しない照度センサーにより取得される照度の値を確認し、ユーザが事前に設定した閾値「ＸＸＸ」以上の値である場合には、第１の距離画像を取得する方法を「露光時間を変えて複数回取得」に決定する。プロセッサ２１は、照度センサーにより取得される照度の値が閾値「ＸＸＸ」未満の場合には、距離情報を取得する方法を「赤外線照射量を変えて複数回取得」に決定する。

（ステップＳ６０２）プロセッサ２１は、ステップＳ６０２で決定した第１の距離画像取得方法に従って距離測定カメラユニット１９により１つまたは複数の第１の距離画像を取得し、記憶部２２に記憶する。

（ステップＳ６０３）プロセッサ２１は、記憶部２２に記憶されている第２の距離画像生成方法４０を参照し、第２の距離画像生成方法決定条件４１に示される条件の中から現在の状況に合致する条件を特定し、合致する条件と組になって記憶されている再構成方法４３で示される方法を、被写体内の各対象物までの距離情報を再構成する方法として決定する。例えば、第２の距離画像生成方法４０が図４に示す内容である場合、プロセッサ２１は、図２に図示しない照度センサーにより取得される照度の値が閾値「ＸＸＸ」以上の値である場合、再構成する方法を「異常値を除いて平均化」に決定し、照度の値が閾値「ＸＸＸ」未満である場合、再構成する方法を「異常値を除いて平均化」に決定する。

（ステップＳ６０４）プロセッサ２１は、ステップＳ６０３で決定された方法に従って、ステップＳ６０２で記憶した１つまたは複数の第１の距離画像から、被写体内の各対象物それぞれについて、各対象物までの距離情報を再構成し、第２の距離画像を生成する。

以上のように、本実施の形態の画像処理装置１０によれば、ユーザが予め設定した閾値「ＸＸＸ」から、第２の距離画像生成方法決定条件４１に示される条件の中から合致する条件を決定し、条件と組になって記憶されている第１の距離画像取得方法４２に示される方法で、距離測定カメラユニット１９により１つまたは複数の第１の距離画像を取得し、取得方法と組になって記憶されている再構成方法４３に示される再構成方法で、１つまたは複数の第１の距離画像から第２の距離画像を生成する。これにより、ユーザはより正確な距離画像を推定することが可能となる。

なお、ステップＳ５０１の説明において、「ユーザが第１のユーザ指定位置と第２のユーザ指定位置の２点を指定した操作」を例に挙げて説明を行ったが、ユーザ指定位置を決定する操作はこれに限定されない。すなわち、「ユーザがタッチパネル１５を介して位置を指定した後、タッチパネル１５上をなぞるように連続して入力を行う操作」や、「第３以降のユーザ指定位置を指定する操作」といった操作に切り替えるようにしてもよい。例えば、「タッチパネル１５上をなぞるように連続して入力を行う操作」の場合には、最初に指定された位置を第１のユーザ指定位置として検出し、連続する入力が途切れた位置を第２のユーザ指定位置として検出し、その間に連続的に存在する位置情報は記憶部２２に一時的に保存すると設定することが考えられる。

なお、第２の距離画像生成方法決定条件４１の説明において、「図示しない照度センサーにより取得される照度」を例に挙げて説明を行ったが、これに限定されない。すなわち、「可視光カメラ１７」、「タッチパネル１５」、「図示しない温度センサー」、「図示しないジャイロセンサー」、「図示しない加速度センサー」といった距離測定カメラユニット１９以外のセンシングデバイスにより取得されるデータを利用するようにしてもよい。例えば、「可視光カメラ１７により取得される輝度」を利用する場合には、「撮影環境の明るさを判断する」ために、画像全体の輝度を平均化するなどして決定した輝度値と、ユーザが事前に設定した閾値「ＸＸＸ」を比較することが考えられる。この例では、センシングデバイスにより取得される値を利用する際に、「撮影環境の明るさを判断する」ことを例に挙げて説明を行ったが、判断基準はこれに限定されない。すなわち、「被写体の温度を判断する」、「被写体の動きを判断する」や「複数のユーザ指定位置の間隔を判断する」というように、利用するセンシングデバイスによって判断基準を切り替えるようにしてもよい。この場合、第２の距離画像生成方法決定条件４１の条件としては、「温度ＸＸＸ以上」、「加速度ＸＸＸ以下」や「指定位置間隔ＸＸＸピクセル以上」といった条件が考えられる。

なお、第１の距離画像取得方法４２の説明において、「露光時間を変えて」、「赤外線照射量を変えて」を例に挙げて説明を行ったが、第１の距離画像取得方法４２はこれに限定されない。すなわち、距離測定カメラユニット１９により何らかの条件を変化させながら第１の距離画像を取得する場合に、「明るさ強度を変えて複数回取得」といった取得方法に切り替えるようにしてもよい。また、複数の条件の組み合わせや、画像内の一部分を指定する条件などもこれに含まれるものとする。第１の距離画像取得方法４２は、例えば、「露光時間と赤外線照射量を変えて複数回取得」や「暗い場所のみ明るさを変えて複数回取得」といった情報であってもよい。

なお、再構成方法４３の説明において、「異常値を除いて平均化」を例に挙げて説明を行ったが、これに限定されない。すなわち、単純な「平均化処理」や「加算減算処理」であってもよいものとし、この処理に対して「重み付け」や「異常値除去」等の条件を加えてもよいものとする。

［１－３．効果等］
以上のように、本開示の画像処理装置１０は、２次元画像上のユーザが指定した各位置間の距離を計測する機能を有し、その計測に利用される第２の距離画像を、所定の方法で取得した１つまたは複数の第１の距離画像から、所定の再構成方法に従って再構成することで生成する。これにより、ユーザは所望の２点の間の距離を、より正確に計測することが可能となる。例えば、それぞれ異なる適切な露光時間を持つ建物と送電線の間の２点の間の距離などを計測する場合に、異なる露光時間で取得した１つまたは複数の第１の距離画像から再構成される第２の距離画像は、物体毎に適切な露光時間を有しているため、２点の間の距離をより正確に計測することが可能となる。

本開示は、空間計測機能を有する画像処理装置に適用可能である。具体的には、タブレット端末、パソコン、スマートフォン、ウェアラブルコンピュータ等に、適用可能である。

１０ 画像処理装置
１３ 表示部
１５ タッチパネル
１７ 可視光カメラ
１９ 距離測定カメラユニット
１９ａ 右赤外線カメラ
１９ｂ 左赤外線カメラ
１９ｃ 赤外線プロジェクター
２１ プロセッサ
２２ 記憶部
２３ バス
２５ ＯＳ
４０ 第２の距離画像生成方法
４１ 第２の距離画像生成方法決定条件
４２ 第１の距離画像取得方法
４３ 再構成方法

Claims (3)

1. 画像処理装置全体を制御するプロセッサと、
   記憶部と、
   表示部と、
   前記表示部と重畳して配置される入力部と、
   被写体の可視画像を取得する可視光カメラと、
   前記被写体内の各対象物までの距離を測定し、前記測定した被写体内の各対象物までの距離情報を含む画像である第１の距離画像を生成する距離測定カメラユニットと、を備え、
   前記記憶部は、
   第１の距離画像を取得する方法を示す情報である第１の距離画像取得方法と、
   前記被写体内の各対象物までの距離情報を再構成する方法を示す第２の距離画像生成方法と、を記憶し、
   前記プロセッサは、
   前記第１の距離画像取得方法に従って前記距離測定カメラユニットを制御し、照度が予め設定した値未満である場合には赤外線照射量を変えて複数の第１の距離画像を取得し、
   前記第２の距離画像生成方法に従って、前記取得した複数の第１の距離画像から、前記被写体内の各対象物までの距離情報を再構成し、
   前記再構成した被写体内の各対象物までの距離情報を含む画像である第２の距離画像を生成し、
   前記入力部は、前記可視画像上で第１のユーザ指定位置と第２のユーザ指定位置とを受け付け、
   前記プロセッサは、前記第２の距離画像に基づいて前記第１のユーザ指定位置と第２のユーザ指定位置との距離を前記表示部に表示する、
   画像処理装置。
2. 前記第２の距離画像生成方法は、前記画像処理装置の撮影環境の明るさ、被写体の温度、被写体の加速度、前記第１のユーザ指定位置と第２のユーザ指定位置の間隔、の少なくとも一つに基づいて決定される、
   請求項１に記載の画像処理装置。
3. ユーザから可視画像上で第１のユーザ指定位置と第２のユーザ指定位置とを受け付けるステップと、
   記憶部に記憶されている、被写体内の各対象物までの距離を測定し、前記測定した被写体内の各対象物までの距離情報を含む画像である複数の第１の距離画像を取得する方法である第１の距離画像取得方法を決定するステップと、
   前記第１の距離画像取得方法に従って照度が予め設定した値未満である場合には赤外線照射量を変えて複数の第１の距離画像を取得するステップと、
   前記記憶部に記憶されている、前記被写体内の各対象物までの距離情報を再構成する方法を示す第２の距離画像生成方法に従って、前記取得した複数の第１の距離画像から、前記被写体内の各対象物末での距離情報を含む画像である第２の距離画像を生成するステップと、
   前記第２の距離画像に基づいて前記第１のユーザ指定位置と第２のユーザ指定位置との画像上での距離を前記表示部に表示するステップと、
   を備える画像処理方法。
   

Images