JP6818471B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、対象物のデプスマップの作成技術に関するものである。

任意の視点と３次元形状を有するオブジェクトとの間の距離の分布を表す距離画像（デプスマップ）を、該オブジェクトを構成する点群を用いて作成する技術が従来から存在する。特許文献１では、ボリュームデータで規定される３次元オブジェクトを構成するセル（ボクセル等）を複数の基準投影面に投影し、２以上の基準投影面を用いて任意の視点におけるデプスマップを作成している。

特開2006-107093号公報

距離画像を作成する場合、特許文献１を含めた従来技術では、対象物上の各位置に対応する距離画像上の画素位置を特定し、該画素位置の画素値として該位置までの距離を表す距離値を割り当てる。このような方法によれば、対象物上の各位置に対応する距離画像上の画素位置には距離値を割り当てることができる。しかし、「対象物上の各位置に対応する距離画像上の画素位置」は、距離画像上で必ずしも連続した位置となるわけではない。つまり、従来技術による距離画像の生成方法では、距離画像上で距離値が割り当てられていない画素（欠損画素）が発生してしまう。本発明はこのような問題に鑑みてなされたものであり、欠損画素が発生しない距離画像の生成技術を提供する。

本発明の一様態は、第１の点と、所定の視点からの距離が該所定の視点から該第１の点までの距離よりも短い第２の点と、を含む複数の点を有するオブジェクトの３次元形状を示すデータを取得する取得手段と、
前記第１の点に対応する２次元画像上の第１の位置と、前記第２の点に対応する該２次元画像上の第２の位置と、を特定する特定手段と、
前記第１の位置を含む前記２次元画像上の第１の領域に属するそれぞれの画素に同一の第１の距離情報を割り当て、前記第２の位置を含む前記２次元画像上の第２の領域であって前記第１の領域のサイズよりも大きいサイズを有する該第２の領域に属するそれぞれの画素に同一の第２の距離情報を割り当てる割り当て手段と、
前記２次元画像に基づいて、前記所定の視点と前記オブジェクトとの間の距離の分布を表す距離画像を生成する生成手段と
を有することを特徴とする。

本発明の構成によれば、欠損画素が発生しない距離画像の生成技術を提供することができる。

画像処理装置の機能構成例を示すブロック図。 点群射影部１０３を説明する図。 パッチ生成部１０４を説明する図。 距離ＤとパッチのサイズＷとの関係を示す図。 パッチ同士で重複する領域を示す図。 デプスマップ生成部１０６を説明する図。 画像処理装置の動作を示すフローチャート。 コンピュータ装置のハードウェア構成例を示す図。 第２の実施形態を説明する図。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
以下の各実施形態では、次のような構成を有する画像処理装置の一例について説明する。即ちこの画像処理装置は、３次元形状を有する対象物上のそれぞれの点について、該点に対応する距離画像上の画素位置を特定し、該距離画像上に該画素位置を含む領域を設定領域として設定し、該設定領域に該点から視点までの距離を表す距離値を割り当てる。先ず、本実施形態に係る画像処理装置の機能構成例について、図１のブロック図を用いて説明する。

点群取得部１０１は、３次元形状を有する対象物上の点群のデータ（点群データ）を取得する。点群データは、例えば、対象物の周囲に該対象物に向けて配置された複数台のカメラによって撮像された該対象物の複数枚の撮像画像のそれぞれから該対象物の輪郭を抽出し、それぞれの撮像画像から抽出された輪郭を用いて生成されるものである。複数枚の撮像画像における対象物の輪郭から該対象物上の点群のデータを取得する技術については周知であるため、この技術に関する説明は省略する。なお、対象物上の点群のデータを取得するための方法は上記の方法に限らず、如何なる方法を採用しても良い。なお、点群データとは、各点の位置を表すデータであり、例えば、対象物が配置されている空間中に設定された基準座標系における各点の３次元座標を表すデータである。もちろん、各点の位置を規定することができれば、点群データが表すものは如何なる情報であっても良い。

カメラパラメータ取得部１０２は、対象物を観察する視点（以下、観察視点と称する）の位置や姿勢、焦点距離等のパラメータをカメラパラメータとして取得する。

点群射影部１０３は、観察視点と対象物との間の距離分布を表す距離画像（デプスマップ）上における、点群データが表すそれぞれの点の３次元位置を射影した射影位置を特定する。例えば図２に示す如く、点群データが表すそれぞれの点の３次元位置のうち点２０１（対象物上の点２０１）の３次元位置と観察視点の３次元位置（カメラパラメータにより規定される）とを通る線分とデプスマップとの交点位置２１１が、点２０１の３次元位置をデプスマップ上に射影した射影位置となる。デプスマップは、観察視点の視軸と直交する投影面であり、該視軸はデプスマップの中心位置を通る。また、点群データが表すそれぞれの点の３次元位置のうち点２０２（対象物上の点２０２）の３次元位置と観察視点の３次元位置（カメラパラメータにより規定される）とを通る線分とデプスマップとの交点位置２１２が、点２０２の３次元位置をデプスマップ上に射影した射影位置となる。このようにして、対象物上のそれぞれの点の３次元位置をデプスマップ上に射影した射影位置を特定する。なお、デプスマップは各画素位置における画素値が距離値を表す距離画像であるから、交点位置に最も近い画素位置を射影位置とする。また、デプスマップの各画素位置における画素値には予め背景に相当する値が設定されているものとする。背景に相当する値としては、全画素に同一の十分大きい値θを設定してもよいし、背景として単純な構造（複数の平面の組合せなど）を仮定して算出される各画素位置の距離値を設定してもよい。以下では、背景に相当する値として一様にθが設定されているものとして説明する。

パッチ生成部１０４は、点の射影位置を中心とするサイズＷ（例えば一辺の長さ）の矩形領域（パッチ）をデプスマップ上に設定する。点の射影位置を中心とするパッチのサイズＷは、該点と観察視点との間の距離に応じて変更する。つまり、点の射影位置を中心とするパッチのサイズＷは、該点と観察視点との間の距離Ｄが大きいほど小さくし、距離Ｄが小さいほど大きくする。例えば図３に示す如く、点Ａのデプスマップ３０１上における射影位置３１１を特定した場合、該射影位置３１１を中心とし且つ点Ａと観察視点との間の距離ＤＡに応じたサイズＷＡのパッチＰ_Ａをデプスマップ３０１上に設定する。また、点Ｂのデプスマップ３０１上における射影位置３１２を特定した場合、該射影位置３１２を中心とし且つ点Ｂと観察視点との間の距離ＤＢに応じたサイズＷＢのパッチＰ_Ｂをデプスマップ３０１上に設定する。図３（ａ）の場合、ＤＡ＞ＤＢであるから、図３（ｂ）に示す如く、パッチＰ_ＡのサイズはパッチＰ_Ｂのサイズよりも小さい。点と観察視点との間の距離Ｄと、該点のデプスマップ上における射影位置を中心とするパッチのサイズと、の間の関係を図４に示す。

図４（ａ）の場合、距離Ｄが０≦Ｄ＜Ｄｐ＝（Ｗ_０−Ｗ_ｍａｘ）／α（Ｗ_０、αは規定のパラメータで、Ｗ_０＞Ｗ_ｍａｘ、α＞０）の場合はサイズＷ（パッチサイズＷ）＝Ｗ_ｍａｘとなる。そして距離ＤがＤｐ＜Ｄ≦Ｄｑ＝（Ｗ_０−Ｗ_ｍｉｎ）／αの場合、サイズＷは距離Ｄに対し線形に単調減少する。そして距離ＤがＤ＞Ｄｑの場合は、サイズＷ＝Ｗ_ｍｉｎとなる。図４（ｂ）の場合、距離Ｄが０≦Ｄ＜Ｄｒ＝α／Ｗ_ｍａｘの場合は、サイズＷ＝Ｗ_ｍａｘとなり、距離Ｄ≧Ｄｒの場合は、サイズＷは距離Ｄに逆比例して単調減少する。なお、Ｗ_ｍａｘはサイズＷの上限サイズ、Ｗ_ｍｉｎはサイズＷの下限サイズを示す。

このように、距離Ｄが大きいほどサイズＷが小さくなり、距離Ｄが小さいほどサイズＷが大きくなるような傾向を有するように、サイズＷを決定するのであれば、距離ＤとサイズＷとの間の関係は図４に示したような関係に限らない。パッチ生成部１０４は、求めた距離に応じたパッチのサイズを取得する場合、距離Ｄの値と対応するサイズＷの値のセットを複数セット登録したテーブルから、該求めた距離に最も近い距離ＤとセットになっているサイズＷを取得しても良い。また、パッチ生成部１０４は、求めた距離に応じたパッチのサイズを取得する場合、距離ＤとサイズＷとの関係を表す関数から、該求めた距離に対応するサイズＷを取得しても良い。このようにしてパッチ生成部１０４は、対象物上のそれぞれの点に対応するパッチをデプスマップ上に設定する。

デプス決定部１０５は、デプスマップ上に設定されたそれぞれのパッチについて、該パッチ内の各画素の画素値に該パッチに対応する距離Ｄを設定する。例えば図３（ｂ）の場合、パッチＰ_Ａ内の各画素の画素値には距離ＤＡを設定し、パッチＰ_Ｂ内の各画素の画素値には距離ＤＢを設定する。

なお図５（ｂ）に示す如く、パッチＰ_Ａ及びパッチＰ_Ｂのそれぞれが互いに重複する領域が発生した場合、デプス決定部１０５は、該領域内の各画素の画素値には、距離ＤＡ及び距離ＤＢのうち小さい方（図５（ａ）の場合、距離ＤＢ）を設定する。結果を図５（ｃ）に示す。つまりデプス決定部１０５は、デプスマップ上に設定した第１のパッチ及び第２のパッチが互いに重複領域を有する場合、該重複領域には、第１のパッチに対応する距離値、第２のパッチに対応する距離値のうちより小さい距離値を割り当てる。

デプスマップ生成部１０６は、対象物上の各点に対応するパッチが設定され且つそれぞれのパッチに距離値が設定されたデプスマップ上の各画素位置に対し、最大値フィルタを用いたフィルタ処理を適用する。図６の左側に示す如く、デプスマップ上にパッチの集合で形成される領域（パッチ群領域）は、観察視点から見えるであろう対象物の領域（輪郭を点線で表している）よりもはみ出ていることが多い。そのためデプスマップ生成部１０６は、このはみ出し量を抑えるべく、デプスマップに対して上記の最大値フィルタを適用する。例えば、３×３のサイズを有する最大値フィルタをデプスマップ上の着目画素に適用すると、着目画素の画素値は、着目画素及びその周囲の８画素の合計９画素のそれぞれの画素値のうち最大の画素値に更新される。パッチ群領域の最外部（パッチ群領域内）の着目画素に最大値フィルタを適用する場合、最大値フィルタの範囲内にはパッチ上の画素とパッチ外の画素とが混在していることになる。このような場合、パッチ外の画素の画素値は上記の通り背景を表すべく十分に大きい画素値θが設定されているため、着目画素に最大値フィルタを適用すると、着目画素の画素値はθに置き換わることになる。つまり、パッチ群領域の最外部近傍の画素の画素値は何れもθに置き換わることになり、上記のはみ出し量を抑えることができる（図６の右側）。なお、最大値フィルタのサイズは固定でも良いし、着目画素が属するパッチのサイズに応じて適宜変更しても良い。例えば、着目画素が属するパッチのサイズが大きいほど最大値フィルタのサイズを大きくし、着目画素が属するパッチのサイズが小さいほど最大値フィルタのサイズを小さくしても良い。

そしてデプスマップ生成部１０６は、デプスマップ上の各画素位置について最大値フィルタを適用したフィルタ処理が完了すると、フィルタ処理済みのデプスマップを出力する。フィルタ処理済みのデプスマップの出力先については特定の出力先に限らない。また、画像処理装置は、このフィルタ処理済みのデプスマップと観察視点以外の視点から見た対象物の画像とを用いて、観察視点から見た対象物の画像を作成しても良い。

以上説明した画像処理装置の動作について、図７のフローチャートに従って説明する。ステップＳ７０１では、点群取得部１０１は、３次元形状を有する対象物上の点群のデータ（点群データ）を取得し、カメラパラメータ取得部１０２は、観察視点のカメラパラメータを取得する。

ステップＳ７０２では、点群射影部１０３は、デプスマップ上における、点群データが表すそれぞれの点の３次元位置を射影した射影位置を特定する。ステップＳ７０３では、パッチ生成部１０４は、点の射影位置ごとに、該射影位置を中心とするパッチをデプスマップ上に設定する。

ステップＳ７０４では、デプス決定部１０５は、デプスマップ上に設定されたそれぞれのパッチについて、該パッチ内の各画素の画素値に該パッチに対応する距離値を設定する。ステップＳ７０５では、デプスマップ生成部１０６は、対象物上の各点に対応するパッチが配置され且つそれぞれのパッチに距離値が設定されたデプスマップ上の各画素位置に対して最大値フィルタを用いたフィルタ処理を適用する。そしてデプスマップ生成部１０６は、デプスマップ上の各画素位置について最大値フィルタを適用するフィルタ処理が完了すると、フィルタ処理済みのデプスマップを出力する。

［第２の実施形態］
デプスマップ生成部１０６が生成したフィルタ処理済みのデプスマップにおいて、背景を表す画素値を有する画素以外の画素群の領域、すなわち、フィルタ処理済みのデプスマップにおける対象物の領域の輪郭を平滑化するフィルタ処理を行っても良い。「デプスマップ生成部１０６が生成したフィルタ処理済みのデプスマップにおける対象物の領域の輪郭」は、他の方法を用いて取得しても良い。例えば、点群のデプスマップ上における射影位置を最小に包含する領域をデプスマップ上における対象物の領域とし、該領域の輪郭を「デプスマップ生成部１０６が生成したフィルタ処理済みのデプスマップにおける対象物の領域の輪郭」として採用しても良い。

また、デプスマップ生成部１０６が生成したフィルタ処理済みのデプスマップにおける対象物の領域内の画素値の平滑化を行う画素値平滑化フィルタ処理を行うようにしても良い。図９の左側に「デプスマップ生成部１０６が生成したフィルタ処理済みのデプスマップ」、右側に「デプスマップ生成部１０６が生成したフィルタ処理済みのデプスマップに対する画素値平滑化フィルタ処理の結果」を示す。また、上記のはみ出し量を抑えるための方法は、最大値フィルタを用いたフィルタ処理に限らない。また、パッチの形状は矩形に限らない。

［第３の実施形態］
図１に示した画像処理装置の各機能部は何れもハードウェアで実装しても良いが、ソフトウェア（コンピュータプログラム）で実装しても良い。後者の場合、このコンピュータプログラムを格納するためのメモリと、該コンピュータプログラムを実行するプロセッサと、を有するコンピュータ装置は上記の画像処理装置に適用可能である。上記の画像処理装置に適用可能なコンピュータ装置のハードウェア構成例について、図８のブロック図を用いて説明する。

ＣＰＵ８０１は、ＲＡＭ８０２やＲＯＭ８０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ８０１は、コンピュータ装置１００全体の動作制御を行うと共に、画像処理装置が行うものとして上述した各処理を実行若しくは制御する。

ＲＡＭ８０２には、二次記憶装置８０４や外部記憶装置８０８、ＲＯＭ８０３からロードされたコンピュータプログラムやデータを格納するためのエリアを有する。更にＲＡＭ８０２は、ＣＰＵ８０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ８０２は各種のエリアを適宜提供することができる。ＲＯＭ８０３には、書き換え不要の設定データやコンピュータプログラムなどが格納されている。

二次記憶装置８０４は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。二次記憶装置８０４には、ＯＳ（オペレーティングシステム）や、画像処理装置が行うものとして上述した各処理をＣＰＵ８０１に実行させるためのコンピュータプログラムやデータが保存されている。このコンピュータプログラムには、図１に示した各機能部の機能をＣＰＵ８０１に実行させるためのコンピュータプログラムが含まれている。また、このデータには、上記の説明において既知の情報として説明したもの、例えば、図４に示した距離ＤとサイズＷとの関係を表すデータ（テーブルデータ、関数のデータ）が含まれている。二次記憶装置８０４に保存されているコンピュータプログラムやデータは、ＣＰＵ８０１による制御に従って適宜ＲＡＭ８０２にロードされ、ＣＰＵ８０１による処理対象となる。

操作部８１０は、マウスやキーボードなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示を入力インターフェース８０５を介してＣＰＵ８０１に対して入力することができる。

外部記憶装置８０８は、ＣＤ−ＲＷ、ＤＶＤ−ＲＷなどの記憶媒体に対するコンピュータプログラムやデータの読み書きを行う。二次記憶装置８０４が記憶媒体から読み出したコンピュータプログラムやデータは入力インターフェース８０５を介してＲＡＭ８０２や二次記憶装置８０４に出力される。一方、外部記憶装置８０８が記憶媒体に書き込むコンピュータプログラムやデータは、ＲＡＭ８０２や二次記憶装置８０４から出力インターフェース８０６を介して外部記憶装置８０８に送出される。また、二次記憶装置８０４に保存されているものとして説明したコンピュータプログラムやデータの一部若しくは全部を上記の記憶媒体に格納しておき、外部記憶装置８０８によって記憶媒体からＲＡＭ８０２や二次記憶装置８０４に読み出すようにしても良い。

表示装置８０９はＣＲＴや液晶画面などにより構成されており、ＣＰＵ８０１による処理結果を画像や文字などでもって表示する。なお、操作部８１０と表示装置８０９とを一体化させてタッチパネル画面を構成しても良い。ＣＰＵ８０１、ＲＡＭ８０２、ＲＯＭ８０３、二次記憶装置８０４、入力インターフェース８０５、出力インターフェース８０６、は何れもバス８０７に接続されている。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：点群取得部 １０２：カメラパラメータ取得部 １０３：点群射影部 １０４：パッチ生成部 １０５：デプス決定部 １０６：デプスマップ生成部

Claims (15)

1. 第１の点と、所定の視点からの距離が該所定の視点から該第１の点までの距離よりも短い第２の点と、を含む複数の点を有するオブジェクトの３次元形状を示すデータを取得する取得手段と、
   前記第１の点に対応する２次元画像上の第１の位置と、前記第２の点に対応する該２次元画像上の第２の位置と、を特定する特定手段と、
   前記第１の位置を含む前記２次元画像上の第１の領域に属するそれぞれの画素に同一の第１の距離情報を割り当て、前記第２の位置を含む前記２次元画像上の第２の領域であって前記第１の領域のサイズよりも大きいサイズを有する該第２の領域に属するそれぞれの画素に同一の第２の距離情報を割り当てる割り当て手段と、
   前記２次元画像に基づいて、前記所定の視点と前記オブジェクトとの間の距離の分布を表す距離画像を生成する生成手段と
   を有することを特徴とする画像処理装置。
2. 前記第１の位置は、前記第１の点が前記２次元画像上に投影される位置であり、
   前記第２の位置は、前記第２の点が前記２次元画像上に投影される位置であることを特徴とする請求項１に記載の画像処理装置。
3. 前記２次元画像は、前記所定の視点の視軸と直交する投影面であり、該視軸は前記２次元画像の中心位置を通ることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記割り当て手段は、前記第１の領域と前記第２の領域とが互いに重なる重複領域がある場合、該重複領域に属するそれぞれの画素には、前記第２の距離情報を割り当てることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記生成手段は、フィルタ処理を行うことにより前記距離画像を生成することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記生成手段は、距離情報が割り当てられた前記２次元画像に対して最大値フィルタを用いたフィルタ処理を行うことにより前記距離画像を生成することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記生成手段は、前記第１の領域と前記第２の領域を含む複数の領域の輪郭を平滑化するフィルタ処理を行うことにより前記距離画像を生成することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
8. 前記生成手段は、前記第１の領域と前記第２の領域を含む複数の領域内における画素値を平滑化するフィルタ処理を行うことにより前記距離画像を生成することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
9. 前記オブジェクトの３次元形状を示すデータは、複数の撮像装置による撮像によって取得された撮像画像における該オブジェクトの輪郭を示す情報を用いて生成されることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記２次元画像上に、前記第１の位置を含む前記第１の領域と、前記第２の位置を含む前記第２の領域を設定する設定手段をさらに有することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記設定手段は、前記所定の視点と前記オブジェクトが有する点との間の距離が大きいほど、該点に対応する前記２次元画像上の領域が小さくなるように該領域を設定することを特徴とする請求項１０に記載の画像処理装置。
12. 前記設定手段は、前記所定の視点と前記オブジェクトが有する点との間の距離が所定値より小さい場合、該点に対応する前記２次元画像上の領域の大きさが所定の大きさとなるように領域を設定することを特徴とする請求項１０に記載の画像処理装置。
13. 前記設定手段は、前記所定の視点と前記オブジェクトが有する点との間の距離が所定値より大きい場合、該点に対応する前記２次元画像上の領域の大きさが所定の大きさとなるように領域を設定することを特徴とする請求項１０に記載の画像処理装置。
14. 第１の点と、所定の視点からの距離が該所定の視点から該第１の点までの距離よりも短い第２の点と、を含む複数の点を有するオブジェクトの３次元形状を示すデータを取得する取得工程と、
    前記第１の点に対応する２次元画像上の第１の位置と、前記第２の点に対応する該２次元画像上の第２の位置と、を特定する特定工程と、
    前記第１の位置を含む前記２次元画像上の第１の領域に属するそれぞれの画素に同一の第１の距離情報を割り当て、前記第２の位置を含む前記２次元画像上の第２の領域であって前記第１の領域のサイズよりも大きいサイズを有する該第２の領域に属するそれぞれの画素に同一の第２の距離情報を割り当てる割り当て工程と、
    前記２次元画像に基づいて、前記所定の視点と前記オブジェクトとの間の距離の分布を表す距離画像を生成する生成工程と
    を有することを特徴とする画像処理方法。
15. コンピュータを、請求項１乃至１３の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。