JP6818471B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP6818471B2
JP6818471B2 JP2016170067A JP2016170067A JP6818471B2 JP 6818471 B2 JP6818471 B2 JP 6818471B2 JP 2016170067 A JP2016170067 A JP 2016170067A JP 2016170067 A JP2016170067 A JP 2016170067A JP 6818471 B2 JP6818471 B2 JP 6818471B2
Authority
JP
Japan
Prior art keywords
distance
region
point
image processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016170067A
Other languages
English (en)
Other versions
JP2018036897A (ja
JP2018036897A5 (ja
Inventor
檜垣 欣成
欣成 檜垣
達朗 小泉
達朗 小泉
知宏 西山
知宏 西山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016170067A priority Critical patent/JP6818471B2/ja
Priority to US15/674,999 priority patent/US10332268B2/en
Publication of JP2018036897A publication Critical patent/JP2018036897A/ja
Priority to US16/403,693 priority patent/US10706568B2/en
Publication of JP2018036897A5 publication Critical patent/JP2018036897A5/ja
Application granted granted Critical
Publication of JP6818471B2 publication Critical patent/JP6818471B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Description

本発明は、対象物のデプスマップの作成技術に関するものである。
任意の視点と3次元形状を有するオブジェクトとの間の距離の分布を表す距離画像(デプスマップ)を、該オブジェクトを構成する点群を用いて作成する技術が従来から存在する。特許文献1では、ボリュームデータで規定される3次元オブジェクトを構成するセル(ボクセル等)を複数の基準投影面に投影し、2以上の基準投影面を用いて任意の視点におけるデプスマップを作成している。
特開2006-107093号公報
距離画像を作成する場合、特許文献1を含めた従来技術では、対象物上の各位置に対応する距離画像上の画素位置を特定し、該画素位置の画素値として該位置までの距離を表す距離値を割り当てる。このような方法によれば、対象物上の各位置に対応する距離画像上の画素位置には距離値を割り当てることができる。しかし、「対象物上の各位置に対応する距離画像上の画素位置」は、距離画像上で必ずしも連続した位置となるわけではない。つまり、従来技術による距離画像の生成方法では、距離画像上で距離値が割り当てられていない画素(欠損画素)が発生してしまう。本発明はこのような問題に鑑みてなされたものであり、欠損画素が発生しない距離画像の生成技術を提供する。
本発明の一様態は、第1の点と、所定の視点からの距離が該所定の視点から該第1の点までの距離よりも短い第2の点とを含む複数の点を有するオブジェクトの3次元形状を示すデータを取得する取得手段と、
前記第1の点に対応する2次元画像上の第1の位置と、前記第2の点に対応する該2次元画像上の第2の位置と、を特定する特定手段と、
前記第1の位置を含む前記2次元画像上の第1の領域に属するそれぞれの画素に同一の第1の距離情報を割り当て、前記第2の位置を含む前記2次元画像上の第2の領域であって前記第1の領域のサイズよりも大きいサイズを有する該第2の領域属するそれぞれの画素に同一の第2の距離情報を割り当てる割り当て手段と、
前記2次元画像に基づいて、前記所定の視点と前記オブジェクトとの間の距離の分布を表す距離画像を生成する生成手段と
を有することを特徴とする。
本発明の構成によれば、欠損画素が発生しない距離画像の生成技術を提供することができる。
画像処理装置の機能構成例を示すブロック図。 点群射影部103を説明する図。 パッチ生成部104を説明する図。 距離DとパッチのサイズWとの関係を示す図。 パッチ同士で重複する領域を示す図。 デプスマップ生成部106を説明する図。 画像処理装置の動作を示すフローチャート。 コンピュータ装置のハードウェア構成例を示す図。 第2の実施形態を説明する図。
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の1つである。
[第1の実施形態]
以下の各実施形態では、次のような構成を有する画像処理装置の一例について説明する。即ちこの画像処理装置は、3次元形状を有する対象物上のそれぞれの点について、該点に対応する距離画像上の画素位置を特定し、該距離画像上に該画素位置を含む領域を設定領域として設定し、該設定領域に該点から視点までの距離を表す距離値を割り当てる。先ず、本実施形態に係る画像処理装置の機能構成例について、図1のブロック図を用いて説明する。
点群取得部101は、3次元形状を有する対象物上の点群のデータ(点群データ)を取得する。点群データは、例えば、対象物の周囲に該対象物に向けて配置された複数台のカメラによって撮像された該対象物の複数枚の撮像画像のそれぞれから該対象物の輪郭を抽出し、それぞれの撮像画像から抽出された輪郭を用いて生成されるものである。複数枚の撮像画像における対象物の輪郭から該対象物上の点群のデータを取得する技術については周知であるため、この技術に関する説明は省略する。なお、対象物上の点群のデータを取得するための方法は上記の方法に限らず、如何なる方法を採用しても良い。なお、点群データとは、各点の位置を表すデータであり、例えば、対象物が配置されている空間中に設定された基準座標系における各点の3次元座標を表すデータである。もちろん、各点の位置を規定することができれば、点群データが表すものは如何なる情報であっても良い。
カメラパラメータ取得部102は、対象物を観察する視点(以下、観察視点と称する)の位置や姿勢、焦点距離等のパラメータをカメラパラメータとして取得する。
点群射影部103は、観察視点と対象物との間の距離分布を表す距離画像(デプスマップ)上における、点群データが表すそれぞれの点の3次元位置を射影した射影位置を特定する。例えば図2に示す如く、点群データが表すそれぞれの点の3次元位置のうち点201(対象物上の点201)の3次元位置と観察視点の3次元位置(カメラパラメータにより規定される)とを通る線分とデプスマップとの交点位置211が、点201の3次元位置をデプスマップ上に射影した射影位置となる。デプスマップは、観察視点の視軸と直交する投影面であり、該視軸はデプスマップの中心位置を通る。また、点群データが表すそれぞれの点の3次元位置のうち点202(対象物上の点202)の3次元位置と観察視点の3次元位置(カメラパラメータにより規定される)とを通る線分とデプスマップとの交点位置212が、点202の3次元位置をデプスマップ上に射影した射影位置となる。このようにして、対象物上のそれぞれの点の3次元位置をデプスマップ上に射影した射影位置を特定する。なお、デプスマップは各画素位置における画素値が距離値を表す距離画像であるから、交点位置に最も近い画素位置を射影位置とする。また、デプスマップの各画素位置における画素値には予め背景に相当する値が設定されているものとする。背景に相当する値としては、全画素に同一の十分大きい値θを設定してもよいし、背景として単純な構造(複数の平面の組合せなど)を仮定して算出される各画素位置の距離値を設定してもよい。以下では、背景に相当する値として一様にθが設定されているものとして説明する。
パッチ生成部104は、点の射影位置を中心とするサイズW(例えば一辺の長さ)の矩形領域(パッチ)をデプスマップ上に設定する。点の射影位置を中心とするパッチのサイズWは、該点と観察視点との間の距離に応じて変更する。つまり、点の射影位置を中心とするパッチのサイズWは、該点と観察視点との間の距離Dが大きいほど小さくし、距離Dが小さいほど大きくする。例えば図3に示す如く、点Aのデプスマップ301上における射影位置311を特定した場合、該射影位置311を中心とし且つ点Aと観察視点との間の距離DAに応じたサイズWAのパッチPをデプスマップ301上に設定する。また、点Bのデプスマップ301上における射影位置312を特定した場合、該射影位置312を中心とし且つ点Bと観察視点との間の距離DBに応じたサイズWBのパッチPをデプスマップ301上に設定する。図3(a)の場合、DA>DBであるから、図3(b)に示す如く、パッチPのサイズはパッチPのサイズよりも小さい。点と観察視点との間の距離Dと、該点のデプスマップ上における射影位置を中心とするパッチのサイズと、の間の関係を図4に示す。
図4(a)の場合、距離Dが0≦D<Dp=(W−Wmax)/α(W、αは規定のパラメータで、W>Wmax、α>0)の場合はサイズW(パッチサイズW)=Wmaxとなる。そして距離DがDp<D≦Dq=(W−Wmin)/αの場合、サイズWは距離Dに対し線形に単調減少する。そして距離DがD>Dqの場合は、サイズW=Wminとなる。図4(b)の場合、距離Dが0≦D<Dr=α/Wmaxの場合は、サイズW=Wmaxとなり、距離D≧Drの場合は、サイズWは距離Dに逆比例して単調減少する。なお、WmaxはサイズWの上限サイズ、WminはサイズWの下限サイズを示す。
このように、距離Dが大きいほどサイズWが小さくなり、距離Dが小さいほどサイズWが大きくなるような傾向を有するように、サイズWを決定するのであれば、距離DとサイズWとの間の関係は図4に示したような関係に限らない。パッチ生成部104は、求めた距離に応じたパッチのサイズを取得する場合、距離Dの値と対応するサイズWの値のセットを複数セット登録したテーブルから、該求めた距離に最も近い距離DとセットになっているサイズWを取得しても良い。また、パッチ生成部104は、求めた距離に応じたパッチのサイズを取得する場合、距離DとサイズWとの関係を表す関数から、該求めた距離に対応するサイズWを取得しても良い。このようにしてパッチ生成部104は、対象物上のそれぞれの点に対応するパッチをデプスマップ上に設定する。
デプス決定部105は、デプスマップ上に設定されたそれぞれのパッチについて、該パッチ内の各画素の画素値に該パッチに対応する距離Dを設定する。例えば図3(b)の場合、パッチP内の各画素の画素値には距離DAを設定し、パッチP内の各画素の画素値には距離DBを設定する。
なお図5(b)に示す如く、パッチP及びパッチPのそれぞれが互いに重複する領域が発生した場合、デプス決定部105は、該領域内の各画素の画素値には、距離DA及び距離DBのうち小さい方(図5(a)の場合、距離DB)を設定する。結果を図5(c)に示す。つまりデプス決定部105は、デプスマップ上に設定した第1のパッチ及び第2のパッチが互いに重複領域を有する場合、該重複領域には、第1のパッチに対応する距離値、第2のパッチに対応する距離値のうちより小さい距離値を割り当てる。
デプスマップ生成部106は、対象物上の各点に対応するパッチが設定され且つそれぞれのパッチに距離値が設定されたデプスマップ上の各画素位置に対し、最大値フィルタを用いたフィルタ処理を適用する。図6の左側に示す如く、デプスマップ上にパッチの集合で形成される領域(パッチ群領域)は、観察視点から見えるであろう対象物の領域(輪郭を点線で表している)よりもはみ出ていることが多い。そのためデプスマップ生成部106は、このはみ出し量を抑えるべく、デプスマップに対して上記の最大値フィルタを適用する。例えば、3×3のサイズを有する最大値フィルタをデプスマップ上の着目画素に適用すると、着目画素の画素値は、着目画素及びその周囲の8画素の合計9画素のそれぞれの画素値のうち最大の画素値に更新される。パッチ群領域の最外部(パッチ群領域内)の着目画素に最大値フィルタを適用する場合、最大値フィルタの範囲内にはパッチ上の画素とパッチ外の画素とが混在していることになる。このような場合、パッチ外の画素の画素値は上記の通り背景を表すべく十分に大きい画素値θが設定されているため、着目画素に最大値フィルタを適用すると、着目画素の画素値はθに置き換わることになる。つまり、パッチ群領域の最外部近傍の画素の画素値は何れもθに置き換わることになり、上記のはみ出し量を抑えることができる(図6の右側)。なお、最大値フィルタのサイズは固定でも良いし、着目画素が属するパッチのサイズに応じて適宜変更しても良い。例えば、着目画素が属するパッチのサイズが大きいほど最大値フィルタのサイズを大きくし、着目画素が属するパッチのサイズが小さいほど最大値フィルタのサイズを小さくしても良い。
そしてデプスマップ生成部106は、デプスマップ上の各画素位置について最大値フィルタを適用したフィルタ処理が完了すると、フィルタ処理済みのデプスマップを出力する。フィルタ処理済みのデプスマップの出力先については特定の出力先に限らない。また、画像処理装置は、このフィルタ処理済みのデプスマップと観察視点以外の視点から見た対象物の画像とを用いて、観察視点から見た対象物の画像を作成しても良い。
以上説明した画像処理装置の動作について、図7のフローチャートに従って説明する。ステップS701では、点群取得部101は、3次元形状を有する対象物上の点群のデータ(点群データ)を取得し、カメラパラメータ取得部102は、観察視点のカメラパラメータを取得する。
ステップS702では、点群射影部103は、デプスマップ上における、点群データが表すそれぞれの点の3次元位置を射影した射影位置を特定する。ステップS703では、パッチ生成部104は、点の射影位置ごとに、該射影位置を中心とするパッチをデプスマップ上に設定する。
ステップS704では、デプス決定部105は、デプスマップ上に設定されたそれぞれのパッチについて、該パッチ内の各画素の画素値に該パッチに対応する距離値を設定する。ステップS705では、デプスマップ生成部106は、対象物上の各点に対応するパッチが配置され且つそれぞれのパッチに距離値が設定されたデプスマップ上の各画素位置に対して最大値フィルタを用いたフィルタ処理を適用する。そしてデプスマップ生成部106は、デプスマップ上の各画素位置について最大値フィルタを適用するフィルタ処理が完了すると、フィルタ処理済みのデプスマップを出力する。
[第2の実施形態]
デプスマップ生成部106が生成したフィルタ処理済みのデプスマップにおいて、背景を表す画素値を有する画素以外の画素群の領域、すなわち、フィルタ処理済みのデプスマップにおける対象物の領域の輪郭を平滑化するフィルタ処理を行っても良い。「デプスマップ生成部106が生成したフィルタ処理済みのデプスマップにおける対象物の領域の輪郭」は、他の方法を用いて取得しても良い。例えば、点群のデプスマップ上における射影位置を最小に包含する領域をデプスマップ上における対象物の領域とし、該領域の輪郭を「デプスマップ生成部106が生成したフィルタ処理済みのデプスマップにおける対象物の領域の輪郭」として採用しても良い。
また、デプスマップ生成部106が生成したフィルタ処理済みのデプスマップにおける対象物の領域内の画素値の平滑化を行う画素値平滑化フィルタ処理を行うようにしても良い。図9の左側に「デプスマップ生成部106が生成したフィルタ処理済みのデプスマップ」、右側に「デプスマップ生成部106が生成したフィルタ処理済みのデプスマップに対する画素値平滑化フィルタ処理の結果」を示す。また、上記のはみ出し量を抑えるための方法は、最大値フィルタを用いたフィルタ処理に限らない。また、パッチの形状は矩形に限らない。
[第3の実施形態]
図1に示した画像処理装置の各機能部は何れもハードウェアで実装しても良いが、ソフトウェア(コンピュータプログラム)で実装しても良い。後者の場合、このコンピュータプログラムを格納するためのメモリと、該コンピュータプログラムを実行するプロセッサと、を有するコンピュータ装置は上記の画像処理装置に適用可能である。上記の画像処理装置に適用可能なコンピュータ装置のハードウェア構成例について、図8のブロック図を用いて説明する。
CPU801は、RAM802やROM803に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりCPU801は、コンピュータ装置100全体の動作制御を行うと共に、画像処理装置が行うものとして上述した各処理を実行若しくは制御する。
RAM802には、二次記憶装置804や外部記憶装置808、ROM803からロードされたコンピュータプログラムやデータを格納するためのエリアを有する。更にRAM802は、CPU801が各種の処理を実行する際に用いるワークエリアを有する。このようにRAM802は各種のエリアを適宜提供することができる。ROM803には、書き換え不要の設定データやコンピュータプログラムなどが格納されている。
二次記憶装置804は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。二次記憶装置804には、OS(オペレーティングシステム)や、画像処理装置が行うものとして上述した各処理をCPU801に実行させるためのコンピュータプログラムやデータが保存されている。このコンピュータプログラムには、図1に示した各機能部の機能をCPU801に実行させるためのコンピュータプログラムが含まれている。また、このデータには、上記の説明において既知の情報として説明したもの、例えば、図4に示した距離DとサイズWとの関係を表すデータ(テーブルデータ、関数のデータ)が含まれている。二次記憶装置804に保存されているコンピュータプログラムやデータは、CPU801による制御に従って適宜RAM802にロードされ、CPU801による処理対象となる。
操作部810は、マウスやキーボードなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示を入力インターフェース805を介してCPU801に対して入力することができる。
外部記憶装置808は、CD−RW、DVD−RWなどの記憶媒体に対するコンピュータプログラムやデータの読み書きを行う。二次記憶装置804が記憶媒体から読み出したコンピュータプログラムやデータは入力インターフェース805を介してRAM802や二次記憶装置804に出力される。一方、外部記憶装置808が記憶媒体に書き込むコンピュータプログラムやデータは、RAM802や二次記憶装置804から出力インターフェース806を介して外部記憶装置808に送出される。また、二次記憶装置804に保存されているものとして説明したコンピュータプログラムやデータの一部若しくは全部を上記の記憶媒体に格納しておき、外部記憶装置808によって記憶媒体からRAM802や二次記憶装置804に読み出すようにしても良い。
表示装置809はCRTや液晶画面などにより構成されており、CPU801による処理結果を画像や文字などでもって表示する。なお、操作部810と表示装置809とを一体化させてタッチパネル画面を構成しても良い。CPU801、RAM802、ROM803、二次記憶装置804、入力インターフェース805、出力インターフェース806、は何れもバス807に接続されている。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101:点群取得部 102:カメラパラメータ取得部 103:点群射影部 104:パッチ生成部 105:デプス決定部 106:デプスマップ生成部

Claims (15)

  1. 第1の点と、所定の視点からの距離が該所定の視点から該第1の点までの距離よりも短い第2の点とを含む複数の点を有するオブジェクトの3次元形状を示すデータを取得する取得手段と、
    前記第1の点に対応する2次元画像上の第1の位置と、前記第2の点に対応する該2次元画像上の第2の位置と、を特定する特定手段と、
    前記第1の位置を含む前記2次元画像上の第1の領域に属するそれぞれの画素に同一の第1の距離情報を割り当て、前記第2の位置を含む前記2次元画像上の第2の領域であって前記第1の領域のサイズよりも大きいサイズを有する該第2の領域属するそれぞれの画素に同一の第2の距離情報を割り当てる割り当て手段と、
    前記2次元画像に基づいて、前記所定の視点と前記オブジェクトとの間の距離の分布を表す距離画像を生成する生成手段と
    を有することを特徴とする画像処理装置。
  2. 前記第1の位置は、前記第1の点が前記2次元画像上に投影される位置であり、
    前記第2の位置は、前記第2の点が前記2次元画像上に投影される位置であることを特徴とする請求項1に記載の画像処理装置。
  3. 前記2次元画像は、前記所定の視点の視軸と直交する投影面であり、該視軸は前記2次元画像の中心位置を通ることを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記割り当て手段は、前記第1の領域と前記第2の領域とが互いに重なる重複領域がある場合、該重複領域に属するそれぞれの画素には、前記第2の距離情報を割り当てることを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。
  5. 前記生成手段は、フィルタ処理を行うことにより前記距離画像を生成することを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
  6. 前記生成手段は、距離情報が割り当てられた前記2次元画像に対して最大値フィルタを用いたフィルタ処理を行うことにより前記距離画像を生成することを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。
  7. 前記生成手段は、前記第1の領域と前記第2の領域を含む複数の領域の輪郭を平滑化するフィルタ処理を行うことにより前記距離画像を生成することを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。
  8. 前記生成手段は、前記第1の領域と前記第2の領域を含む複数の領域内における画素値を平滑化するフィルタ処理を行うことにより前記距離画像を生成することを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。
  9. 前記オブジェクトの3次元形状を示すデータは、複数の撮像装置による撮像によって取得された撮像画像における該オブジェクトの輪郭を示す情報を用いて生成されることを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。
  10. 前記2次元画像上に、前記第1の位置を含む前記第1の領域と、前記第2の位置を含む前記第2の領域を設定する設定手段をさらに有することを特徴とする請求項1乃至9の何れか1項に記載の画像処理装置。
  11. 前記設定手段は、前記所定の視点と前記オブジェクトが有する点との間の距離が大きいほど、該点に対応する前記2次元画像上の領域が小さくなるように該領域を設定することを特徴とする請求項10に記載の画像処理装置。
  12. 前記設定手段は、前記所定の視点と前記オブジェクトが有する点との間の距離が所定値より小さい場合、該点に対応する前記2次元画像上の領域の大きさが所定の大きさとなるように領域を設定することを特徴とする請求項10に記載の画像処理装置。
  13. 前記設定手段は、前記所定の視点と前記オブジェクトが有する点との間の距離が所定値より大きい場合、該点に対応する前記2次元画像上の領域の大きさが所定の大きさとなるように領域を設定することを特徴とする請求項10に記載の画像処理装置。
  14. 第1の点と、所定の視点からの距離が該所定の視点から該第1の点までの距離よりも短い第2の点とを含む複数の点を有するオブジェクトの3次元形状を示すデータを取得する取得工程と、
    前記第1の点に対応する2次元画像上の第1の位置と、前記第2の点に対応する該2次元画像上の第2の位置と、を特定する特定工程と、
    前記第1の位置を含む前記2次元画像上の第1の領域に属するそれぞれの画素に同一の第1の距離情報を割り当て、前記第2の位置を含む前記2次元画像上の第2の領域であって前記第1の領域のサイズよりも大きいサイズを有する該第2の領域属するそれぞれの画素に同一の第2の距離情報を割り当てる割り当て工程と、
    前記2次元画像に基づいて、前記所定の視点と前記オブジェクトとの間の距離の分布を表す距離画像を生成する生成工程と
    を有することを特徴とする画像処理方法。
  15. コンピュータを、請求項1乃至13の何れか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2016170067A 2016-08-31 2016-08-31 画像処理装置、画像処理方法、及びプログラム Active JP6818471B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016170067A JP6818471B2 (ja) 2016-08-31 2016-08-31 画像処理装置、画像処理方法、及びプログラム
US15/674,999 US10332268B2 (en) 2016-08-31 2017-08-11 Image processing apparatus, generation method, and non-transitory computer-readable storage medium
US16/403,693 US10706568B2 (en) 2016-08-31 2019-05-06 Image processing apparatus, generation method, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016170067A JP6818471B2 (ja) 2016-08-31 2016-08-31 画像処理装置、画像処理方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2018036897A JP2018036897A (ja) 2018-03-08
JP2018036897A5 JP2018036897A5 (ja) 2019-10-10
JP6818471B2 true JP6818471B2 (ja) 2021-01-20

Family

ID=61243080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016170067A Active JP6818471B2 (ja) 2016-08-31 2016-08-31 画像処理装置、画像処理方法、及びプログラム

Country Status (2)

Country Link
US (2) US10332268B2 (ja)
JP (1) JP6818471B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
US10949700B2 (en) * 2018-01-10 2021-03-16 Qualcomm Incorporated Depth based image searching
WO2019168076A1 (ja) 2018-03-01 2019-09-06 マックス株式会社 流体ダンパ及び打込み工具
US11956478B2 (en) * 2019-01-09 2024-04-09 Tencent America LLC Method and apparatus for point cloud chunking for improved patch packing and coding efficiency
KR102008890B1 (ko) * 2019-01-25 2019-08-08 단국대학교 산학협력단 3차원 프로파일 측정 방법
US11127166B2 (en) * 2019-03-01 2021-09-21 Tencent America LLC Method and apparatus for enhanced patch boundary identification for point cloud compression
PH12019050076A1 (en) * 2019-05-06 2020-12-02 Samsung Electronics Co Ltd Enhancing device geolocation using 3d map data
US11164391B1 (en) * 2021-02-12 2021-11-02 Optum Technology, Inc. Mixed reality object detection
US11210793B1 (en) 2021-02-12 2021-12-28 Optum Technology, Inc. Mixed reality object detection
US11798183B2 (en) * 2021-03-08 2023-10-24 Nvidia Corporation Machine learning techniques for predicting depth information in image data
US11847788B2 (en) * 2021-04-15 2023-12-19 Himax Technologies Limited Depth processor
CN113298866B (zh) * 2021-06-11 2024-01-23 梅卡曼德(北京)机器人科技有限公司 物体分类方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3743171B2 (ja) * 1998-08-31 2006-02-08 コニカミノルタホールディングス株式会社 3次元形状データ処理装置
JP2006107093A (ja) 2004-10-05 2006-04-20 Konica Minolta Medical & Graphic Inc 画像処理装置、およびプログラム
JP2009080578A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 多視点データ生成装置、方法及びプログラム
US8270752B2 (en) * 2009-03-17 2012-09-18 Mitsubishi Electric Research Laboratories, Inc. Depth reconstruction filter for depth coding videos
JP2011175477A (ja) * 2010-02-24 2011-09-08 Canon Inc 3次元計測装置、処理方法及びプログラム
JP5422538B2 (ja) * 2010-11-09 2014-02-19 株式会社東芝 画像処理装置、表示装置、方法およびそのプログラム
US8824778B2 (en) * 2012-01-13 2014-09-02 Cyberlink Corp. Systems and methods for depth map generation
JP5647741B2 (ja) * 2012-09-24 2015-01-07 パナソニックIpマネジメント株式会社 画像信号処理装置および画像信号処理方法
US9344619B2 (en) * 2013-08-30 2016-05-17 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image
US9704291B2 (en) * 2013-11-08 2017-07-11 Here Global B.V. Structure model creation from a three dimensional surface
CN104680501B (zh) * 2013-12-03 2018-12-07 华为技术有限公司 图像拼接的方法及装置
US9842424B2 (en) * 2014-02-10 2017-12-12 Pixar Volume rendering using adaptive buckets
CN105096259B (zh) * 2014-05-09 2018-01-09 株式会社理光 深度图像的深度值恢复方法和系统
EP3729381B1 (en) * 2017-12-22 2023-01-18 Magic Leap, Inc. Viewpoint dependent brick selection for fast volumetric reconstruction

Also Published As

Publication number Publication date
US20180061069A1 (en) 2018-03-01
US20190259169A1 (en) 2019-08-22
US10332268B2 (en) 2019-06-25
US10706568B2 (en) 2020-07-07
JP2018036897A (ja) 2018-03-08

Similar Documents

Publication Publication Date Title
JP6818471B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US11961325B2 (en) Image processing method and apparatus, computer-readable medium, and electronic device
CN109242943B (zh) 一种图像渲染方法、装置及图像处理设备、存储介质
JP6970283B2 (ja) 画像ステッチング方法および装置、記憶媒体
KR101356544B1 (ko) 3차원 입체영상 생성 방법 및 장치
CN109461213B (zh) 基于虚拟现实的图像处理方法、装置、设备和存储介质
US9697581B2 (en) Image processing apparatus and image processing method
US10123024B2 (en) Image processing methods and image processing apparatuses
US10861234B2 (en) Curved surface model generation method and apparatus
CN110335345B (zh) 幕墙节点渲染方法、装置、计算机设备和存储介质
EP2884745A1 (en) Virtual view generating method and apparatus
CN109636890B (zh) 纹理融合方法和装置、电子设备、存储介质、产品
JP2018036897A5 (ja) 画像処理装置、画像処理方法、及びプログラム
KR20160012064A (ko) 전자빔 묘화 장치, 전자빔 묘화 방법 및 기록 매체
US20190066363A1 (en) Image processing apparatus and image processing method
CN109410213A (zh) 基于包围盒的多边形图元裁剪方法、计算机可读存储介质、电子设备
JP2018520411A (ja) 車両周辺部のバーチャル画像を作成するための方法
CN108876704A (zh) 人脸图像变形的方法、装置及计算机存储介质
JP6896452B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6294700B2 (ja) 画像処理装置及び画像処理方法
CN116758243B (zh) 基于实时点云流的场景网格划分生成及渲染显示方法
US10440354B2 (en) Light field display control method and apparatus, and light field display device
JP7374433B2 (ja) 構築物の三次元形状データの生成方法
JP2022064506A (ja) 画像処理装置、画像処理方法、及びプログラム
EP3998458A2 (en) Method and apparatus for generating zebra crossing in high resolution map, and electronic device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190829

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201228

R151 Written notification of patent or utility model registration

Ref document number: 6818471

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151