JPWO2015108071A1 - 3次元データ生成装置、造形物製造システム及び3次元データ生成方法 - Google Patents

3次元データ生成装置、造形物製造システム及び3次元データ生成方法 Download PDF

Info

Publication number
JPWO2015108071A1
JPWO2015108071A1 JP2015557849A JP2015557849A JPWO2015108071A1 JP WO2015108071 A1 JPWO2015108071 A1 JP WO2015108071A1 JP 2015557849 A JP2015557849 A JP 2015557849A JP 2015557849 A JP2015557849 A JP 2015557849A JP WO2015108071 A1 JPWO2015108071 A1 JP WO2015108071A1
Authority
JP
Japan
Prior art keywords
dimensional data
subject
cameras
data generation
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015557849A
Other languages
English (en)
Inventor
正実 森
正実 森
Original Assignee
正実 森
正実 森
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 正実 森, 正実 森 filed Critical 正実 森
Publication of JPWO2015108071A1 publication Critical patent/JPWO2015108071A1/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

被写体(10)を複数のカメラ(11)で互いに異なる方向から撮影する。複数のカメラ(11)は、被写体(10)から略等距離に、視線が被写体(10)の略中心を互いに交差するように配置する。複数のカメラ(11)のうち被写体(10)の凹凸等の小さい面を撮影するカメラ(11)は、被写体(10)と同時に識別マーク(14)も撮影する。コンピュータ(20)は、複数のカメラ(11)で撮影して得られた静止画像データに基づいて、3次元データを生成する。

Description

本発明は、被写体の3次元データを生成する3次元データ生成装置、3次元データに基づいて造形物を製造する造形物製造システム及び3次元データ生成方法に関する。
従来、被写体を複数の方向から撮影した複数の画像に基づいて3次元データ(立体画像データ)を生成する技術があり、例えば、SFM(Structure from Motion)法が知られている。これは、被写体を互いに異なる方向から撮影した複数の画像の中から同じ特徴点を抽出し、その特徴点に係る画像間の対応関係から被写体の3次元座標を推定するというものである。
このような技術で用いる画像は、複数台のカメラで被写体を撮影するか、1台のカメラを移動させて被写体を撮影するか、1台のカメラの前で物体を移動させながら撮影することにより取得する。この中で、1台のカメラで撮影する場合には、撮影のタイミングが画像毎に異なるため、被写体が動く場合には正確な3次元データを生成することができない。一方、複数台のカメラで被写体を撮影する方法は、多方向からの同時撮影が可能となるため、動く被写体であってもある特定の瞬間の3次元データを生成することができる方法として注目されている(例えば、特許文献1)。
特許文献1に記載の簡易撮像装置は、撮影デバイスを被写体に向かう一平面上に配列して同時撮影するものである。撮影デバイスと被写体との間に配置するレンズについて、被写体から遠ざかる位置にある撮影デバイスほどレンズ位置をシフトさせて配置する。これにより、撮影デバイスの性能を十分に生かすことができ、取得した画像から3次元データを取得できると説明されている。
特開2007−286521号公報
特許文献1に記載の簡易撮像装置は、撮影デバイスを一平面上に配列しているため、被写体の当該平面に向かう面の3次元データを取得するものである。これに対し、被写体の全表面の3次元データを取得するためには、被写体を取り囲むように撮影デバイスを多方向に配置する必要がある。
多方向に配置した多数の撮影デバイスで撮影した画像に基づいて3次元データを取得する場合、複数の画像間で互いに対応する多くの特徴点の情報を取得する必要がある。しかし、被写体の表面が凹凸や色の変化が小さい箇所を含む場合には、これらの情報を十分に取得することは困難である。このような場合、被写体表面の3次元形状を正確に表現した3次元データを得ることができないという問題があった。
本発明は、上記事情に鑑みてなされたものであり、被写体表面の3次元形状を正確に表現した3次元データを得ることのできる3次元データ生成装置等を提供することを目的とする。
上記目的を達成するため、本発明の第1の観点に係る3次元データ生成装置は、
互いに異なる方向から被写体を撮影する複数のカメラと、
前記複数のカメラが撮影した画像に基づいて、3次元データを生成する3次元データ生成部と、を備え、
前記複数のカメラの視線が前記被写体の略中心で互いに交差するように、前記複数のカメラを配置する、
ことを特徴とする。
前記複数のカメラは、前記被写体の中心部に中心を有する半球殻上、又は、鉛直方向の前記被写体の中心線を回転軸とする半回転楕円体殻上に配置されてもよい。
前記複数のカメラに対して、一定時間以内に静止画の撮影を行うように指示する撮影指示部を、更に備えてもよい。
前記複数のカメラのうち少なくとも一部のカメラで、前記被写体と同時に撮影可能な位置に配置した識別マーク又は識別模様を、更に備えてもよい。
前記被写体が人を含む動物である場合に、
前記識別マーク又は前記識別模様は、後頭部又は背中を撮影するカメラで前記被写体と同時に撮影可能な位置に配置してもよい。
前記識別マーク又は前記識別模様は、前記被写体の背面に近接した略水平面上に配置してもよい。
前記複数のカメラは、前記被写体を内部に格納するボックスの内壁又は天井に配置してもよい。
前記複数のカメラは、深い被写界深度で撮影するようにしてもよい。
また、本発明の第2の観点に係る造形物製造システムは、
第1の観点に係る3次元データ生成装置と、
前記3次元データ生成装置で生成した3次元データに基づいて、3次元プリントした造形物を生成する造形物製造装置と、
を備えたことを特徴とする。
また、本発明の第3の観点に係る3次元データ生成方法は、
互いに異なる方向から複数のカメラが被写体を撮影した複数の画像に基づいて、3次元データを生成する3次元データ生成方法であって、
前記複数のカメラの視線が前記被写体の略中心で互いに交差するように、前記複数のカメラを配置する、
ことを特徴とする。
本発明によれば、被写体表面の3次元形状を正確に表現した3次元データを得ることができる。
実施の形態1に係る3次元データ生成装置の構成を示す図である。 コンピュータの内部構成を示すブロック図である。 造形物製造システムの構成を示す図である。 実施の形態2に係る3次元データ生成装置の構成を示す図である。 実施の形態2に係る模様板を示す図である。 実施の形態3に係る3次元データ生成装置の構成を示す図である。
(実施の形態1)
本発明の実施の形態1について図面を参照して詳細に説明する。
本実施の形態に係る3次元データ生成装置1は、図1に示すように、複数のカメラ11、識別マーク14を付した複数のマーク板13、コンピュータ20を備える。複数のカメラ11と複数のマーク板13は支持体12に支持されている。
複数のカメラ11が撮影する被写体10は人等の動物であり、カメラ11で撮影する際には、支持体12に囲まれた中央部分に被写体10は配置される。支持体12は図1に示すように、水平方向に設けた、被写体10の中心点を中心とする円周リング状の支持体12aと、支持体12aに固定されたアーチ状の支持体12bとからなる。
支持体12に支持された複数のカメラ11は、図1に示すように、床からの高さが同じものが複数台ずつある。図1において、支持体12aの円周リングに固定された最も低い高さのカメラ11が8台と、支持体12bに固定され2番目に低い高さのカメラ11が4台と、支持体12bに固定され3番目に低い高さのカメラ11が4台と、が備えられている。同じ高さに備えられた複数のカメラ11は、被写体10の中心線から等距離かつ略等間隔に配置される。
また、支持体12bの最頂部にもカメラ11が1台備えられている。これを含めて複数のカメラ11を、同一の支持体12b上の最頂部から床までの間に取り付けている。これらの同一の支持体12b上のカメラ11は被写体10の中心軸を軸とする回転方向において同じ位置に配置されることとなる。
これにより、複数のカメラ11は、被写体10の中心部に中心を有する半球殻上、又は、鉛直方向に延びる被写体10の中心線を回転軸(長軸又は短軸)とする半回転楕円体殻上に配置されることとなる。
支持体12に支持された複数のカメラ11は視線方向を被写体10の略中心に向けて固定されている。より詳細には、複数のカメラ11の視線が、被写体10の略中心で互いに交差するように、カメラ11の配置及び方向を調整している。つまり、複数のカメラ11の視線は全て、被写体10の略中心の一定の範囲内を通過することになる。また、全てのカメラ11は、視野の長辺方向又は短辺方向が水平となるように設置している。被写体10が人等のように鉛直方向に長い場合には、視野の短辺方向を水平にするのが望ましい。
また、複数のカメラ11は、深い被写界深度で撮影を実行するのが望ましい。被写体10に近い距離から深い被写界深度で撮影することにより、それぞれのカメラ11で撮影した画像から多くの対応する特徴点を取得できるためである。
被写界深度を深くするためには、例えば、焦点距離が短い広角レンズを用いる。あるいは、F値を大きくして(絞りを絞って)撮影する。あるいは、ズームを使わず、被写体10に近い距離から撮影を行う。
カメラ11は、互いに同じ画素数を有するデジタルカメラであって、撮影した静止画像のデータを内蔵する記憶媒体に記憶する。それぞれのカメラ11は記憶媒体に記憶された静止画像データをコンピュータ20に送る。
マーク板13には、多様な識別マーク14を付している。マークの大きさは被写体の1/30〜1/20の大きさが好ましい。複数のカメラ11による撮影時には、被写体10は、背面をA方向に向けて配置される。このとき、背面に向かうカメラ11が背面とともに識別マーク14を撮影することができるように、マーク板13は配置されている。
コンピュータ20は、図2に示すように、CPU(Central Processing Unit;中央処理装置)21、記憶部22、操作部23を備える。
CPU21は、演算処理装置、内部メモリ等から構成され、記憶部22に記憶されているアプリケーションプログラムを実行することにより、画像取得部211、3次元データ生成部212、撮影指示部213として機能する。
記憶部22は、ハードディスク、メモリカード、フラッシュメモリ等の記憶装置からなり、画像取得部211がカメラ11から取得した静止画像データや、3次元データ生成部212が生成した3次元データを記憶する。また記憶部22はCPU21が実行するアプリケーションプログラムを記憶する。操作部23は、キーボード、マウス、タッチパネル等からなり、操作者の操作に基づいて操作信号をCPU21に出力する。
CPU21の撮影指示部213は、操作者が操作部23に対して撮影を指示する操作をしたときに、全てのカメラ11に対して撮影を指示する撮影指示信号を出力する。撮影指示部213は、撮影指示信号を任意の通信手段を用いて送信してもよく、例えば無線通信又は赤外線通信で送信する。撮影指示信号を受信した全てのカメラ11は互いに略同時に撮影を実行する。より詳細には、撮影指示部213が全てのカメラ11に対して同時に出力した撮影指示信号を受けてすぐに全てのカメラ11が撮影を実行することで、一定時間以内に全てのカメラ11で静止画の撮影を行うようにする。
画像取得部211は、複数のカメラ11で撮影した複数の静止画像データを取得する。画像取得部211は、複数のカメラ11から静止画像データを任意の手段を用いて取得してもよく、例えば無線通信、有線通信を用いて受信する。あるいは、カメラ11に内蔵された取り外し可能な記憶媒体に静止画像データを記憶している場合には、その記憶媒体をコンピュータに接続して取得するようにしてもよい。画像取得部211は取得した複数の静止画像データを3次元データ生成部212に入力する。
3次元データ生成部212は、画像取得部211から入力された複数の静止画像データに基づいて、3次元データを生成する。3次元データの生成は、SFM(Structure from Motion)法を用いる。SFM法は、被写体10を互いに異なる方向より撮影した画像から同じ特徴点を抽出し、その特徴点に係る画像間の対応関係から被写体10の表面の3次元座標を推定するものである。
3次元データ生成部212が生成する3次元データは、複数の静止画像データから推定した被写体10の表面上の特徴点の3次元座標とその点の色情報を含む。3次元データ生成部212は生成した3次元データを記憶部22に記憶する。
より詳細に説明すると、3次元データ生成部212は、複数のカメラ11で撮影した複数の画像に対して、互いに対応する多数の特徴点を検出し、特徴点の各画像における座標に基づいてその特徴点の3次元座標とカメラ11の位置の情報を導出している。ここで、被写体10の表面が凹凸や色の変化が小さい箇所を含む場合には、誤って異なる特徴点を対応づけることにより誤った3次元座標を取得する場合がある。
本実施の形態においては、前述のようにカメラの位置と視線方向等を設定することにより、3次元座標の誤検出を低減している。
例えば、各カメラ11の視線方向を被写体10の略中心に向けることにより、撮影画像の中心(画角の中心)を互いに合致させている。これにより、カメラ11の配列方向と、撮影画像の中心に対する特徴点の座標の変化方向と、の対応関係が一様に定まり、異なる特徴点を対応づけることを回避することができる。
また、各カメラ11の高さや被写体10の中心軸を軸とする回転方向の位置を揃え、視野の長辺方向又は短辺方向を水平にすることにより、隣り合うカメラの撮影画像は共通する範囲の特徴点を多く検出することができる。より詳細には、高さが同じで互いに隣り合うカメラ11の撮影画像は、高さ方向において同じ範囲の多くの特徴点を検出することができる。同様に、被写体10の中心軸を軸とする回転方向における位置が同じで互いに上下に隣り合うカメラ11の撮影画像は、同回転方向において同じ範囲の多くの特徴点を検出することができる。
このように配置したカメラ11の撮影画像をカメラ11の配列に沿って順に取得し、各撮影画像における特徴点の座標の変化を追っていくことにより、3次元座標を正確に検出することができる。
以上のように構成された3次元データ生成装置1について、被写体10が人である場合の動作について説明する。
被写体10である人は、図1に示すように支持体12に囲まれた中央部に備えられた椅子に座る等して位置固定される。この時、被写体10である人は背面つまり背中をA方向に向けている。
操作者がコンピュータ20の操作部23に対して撮影を指示する操作をすると、撮影指示部213が全てのカメラ11に対して撮影を指示する撮影指示信号を送信する。全てのカメラ11は受信した撮影指示信号に基づいて互いに略同時に撮影する。この時フラッシュ光を発するようにしてもよい。
各カメラ11が撮影した後、画像取得部211は各カメラ11が撮影して得た静止画像データを取得する。画像取得部211が取得した静止画像データは、被写体10である人の上半身を互いに異なる方向から撮影した静止画像データである。全ての静止画像データで上半身の全表面を表している。
3次元データ生成部212は、画像取得部211が取得した静止画像データから被写体10の表面に存する特徴点やマーク板13上の識別マーク14の特徴点を抽出する。被写体10が人であるため、被写体10の表面に存する特徴点として、目、鼻、口、衣服のボタン、ネクタイ等の衣服の柄やしわ等が抽出される。これらの特徴点は、被写体10の前面や側面に多いため、これらの特徴点に係る画像間の対応関係から被写体10の前面上及び側面上の点の3次元座標を推定することができる。
一方、被写体10である人の背面は後頭部や背中からなり、凹凸や色の変化が小さいため、抽出できる特徴点は少ない。しかし、被写体10の背面を撮影した静止画像データには、マーク板13上の識別マーク14の画像を含んでいる。よって、3次元データ生成部212は、被写体10の表面に存する特徴点と識別マーク14の特徴点を抽出し、これらの特徴点に係る画像間の対応関係から被写体10の背面上の点の3次元座標をさらに正確に推定することができる。
3次元データ生成部212は、SFM法を用いて、複数の静止画像データから推定した被写体10の表面上の点の3次元座標とその点の色情報を含む3次元データを生成する。そして生成した3次元データを記憶部22に記憶する。
このようにして3次元データ生成装置1が生成した3次元データは、様々な用途で使用することができる。本実施の形態では、生成した3次元データに基づいて、被写体10を模した造形物を生成する場合について説明する。
本実施の形態にかかる造形物製造システム2は、図3に示すように、複数のカメラ11とコンピュータ20を有する3次元データ生成装置1と、3次元プリンタ(3 D-Printer)30とを備える。3次元プリンタは、3次元データを元に3次元の造形物を製造する造形物製造装置であり、積層造形法、切削造形法等により造形物を製造する。
3次元データ生成装置1で生成した3次元データは、操作者の操作に基づいて3次元プリンタ30に送信される。3次元プリンタ30は、受信した3次元データに基づいて造形物を製造する。
このようにして製造した造形物の例について説明する。図3の左下に示した写真P1は、1つのカメラ11で被写体10を撮影したものである。本実施の形態に係る3次元データ生成装置1を用いて、写真P1に示す被写体10を全てのカメラ11で撮影して得た静止画像データに基づいて被写体10を表す3次元データを生成した。その3次元データを元に3次元プリンタ30で製造したものを図3の右下の写真P2に示す。被写体10を正確に表した造形物が製造できたことがわかる。
以上説明したように、本実施の形態においては、3次元データ生成装置1は、被写体10の略中心で視線が互いに交差するように視線方向を調整した複数のカメラ11で互いに異なる方向から被写体10を撮影した。また、複数のカメラ11のうち被写体10の凹凸等が小さい面を撮影するカメラ11で、被写体10と同時に識別マーク14も撮影するようにした。そして、複数のカメラ11で撮影して得られた静止画像データに基づいて、3次元データを生成することとした。これにより、被写体10の表面の3次元形状を正確に表現した3次元データを得ることができる。
また、造形物製造システム2は、3次元データ生成装置1で生成した3次元データに基づいて3次元プリンタ30で造形物を製造することとした。これにより、被写体10を正確に表した造形物を製造することができる。
(実施の形態2)
本発明の実施の形態2について図面を参照して詳細に説明する。
本実施の形態に係る3次元データ生成装置3は、図4に示すように、複数のカメラ11、複数の識別マーク14が付された模様板15、コンピュータ20を備える。複数のカメラ11は支持体12に支持されている。
複数のカメラ11が撮影する被写体10は例えば人であり、カメラ11で撮影する際には、支持体12に囲まれた中央部分に被写体10は配置される。支持体12及び支持体12に支持されたカメラ11の構成は実施の形態1と同様である。
模様板15は、図4に示すように、脚部151に支持されており、識別マーク14と市松模様が付された面を鉛直方向上向きに向けている。模様番15の板面は水平又は水平に対して所定の範囲の角度を有する平面上にある。被写体10が人等である場合、凹凸や色の変化が小さい背面に隣接するように模様板15を配置する。
模様板15は、図5に示すように、濃淡2色の市松模様と、市松模様の淡色側に印された複数種類の識別マーク14と、が付されている。
コンピュータ20は、実施の形態1と同様の構成を有し、複数のカメラ11が撮影した静止画像に基づいて3次元データを生成する機能を有する。
以上のように構成された3次元データ生成装置3について、被写体10が人である場合の動作について説明する。
被写体10である人は、図4に示すように支持体12に囲まれた中央部に備えられた椅子に座る等して位置固定される。この時、被写体10である人は背面つまり背中をA方向に向けている。模様板15は人の背中に隣接するように配置されている。
操作者がコンピュータ20の操作部23に対して撮影を指示する操作をすると、撮影指示部213が全てのカメラ11に対して撮影を指示する撮影指示信号を送信する。全てのカメラ11は受信した撮影指示信号に基づいて略同時に撮影する。この時フラッシュ光を発するようにしてもよい。
各カメラ11が撮影した後、画像取得部211は各カメラ11が撮影して得た静止画像データを取得する。画像取得部211が取得した静止画像データは、被写体10である人の上半身を互いに異なる方向から撮影した静止画像データであり、全ての静止画像データで上半身の全表面を表している。
コンピュータ20の3次元データ生成部212は、画像取得部211が取得した静止画像データから被写体10の表面に存する特徴点や模様板15上の識別マーク14や市松模様の特徴点を抽出する。これらの特徴点に係る画像間の対応関係から被写体10の表面上の点の3次元座標を推定することができる。
ここで、被写体10である人の背面は、後頭部と背中からなり凹凸や色の変化が小さいため抽出できる特徴点は少ない。しかし、被写体10の背面を撮影した静止画像データには、模様板15上の識別マーク14及び市松模様の画像を含んでいる。よって、3次元データ生成部212は、被写体の表面に存する特徴点と識別マーク14や市松模様の特徴点を静止画像から抽出することにより背面を含む被写体10の表面の3次元座標を推定することができる。
3次元データ生成部212は、SFM法を用いて、複数の静止画像データから推定した被写体10の表面上の点の3次元座標とその点の色情報を含む3次元データを生成する。そして生成した3次元データを記憶部22に記憶する。
このようにして3次元データ生成装置3が生成した3次元データの用途は任意であり、実施の形態1と同様に3次元プリンタ30を用いて被写体10を模した造形物を製造してもよい。
以上説明したように、本実施の形態においては、3次元データ生成装置3は、識別マーク14等を付した模様板15を被写体10に近接させて略水平に配置するようにした。これにより、被写体10を複数のカメラ11で互いに異なる方向から撮影し、複数のカメラ11のうち被写体10の凹凸等が小さい背面を撮影するカメラ11で、被写体10と同時に識別マーク14等も撮影するようにした。そして、複数のカメラ11で撮影して得られた静止画像に基づいて、3次元データを生成することとした。これにより、被写体10の凹凸や色の変化の小さい部分の近くに識別マーク14等を備えるため、より正確に被写体10の表面を表現した3次元データを得ることができる。
(実施の形態3)
本発明の実施の形態3について図面を参照して詳細に説明する。
本実施の形態に係る3次元データ生成装置4は、図6に示すように、ボックス40と、ボックス40の内壁及び天井に備えられた複数のカメラ11と、コンピュータ20を備える。
複数のカメラ11が撮影する被写体10は人等の動物であり、カメラ11で撮影する際には、ボックス40内部の中央部分に被写体10は配置される。各カメラ11は、被写体10の略中心に視線方向を向け、被写体10を互いに異なる方向から撮影できるようにボックス40の内壁及び天井に固定されている。より詳細には、複数のカメラ11の視線が、被写体10の略中心で互いに交差するように、カメラ11の配置及び方向を調整している。つまり、複数のカメラ11の視線は全て、被写体10の略中心の一定の範囲内を通過することになる。
ボックスの内壁、天井の少なくとも一部には、図6に示すように濃淡2色の市松模様と、市松模様の淡色側に印された複数種類の識別マーク14と、が付されている。被写体10が人等である場合、凹凸や色の変化が小さい背面を撮影するカメラ11により、同時に写すことができる位置に識別マーク14及び市松模様が付されている。図6において、被写体10は背面を紙面手前に向けており、識別マーク14及び市松模様は、被写体10の前面に向かう内壁に付されている。
コンピュータ20は、実施の形態1と同様の構成を有し、複数のカメラ11が撮影した静止画像に基づいて3次元データを生成する機能を有する。
以上のように構成された3次元データ生成装置4について、被写体10が人である場合の動作について説明する。
被写体10である人は、図6に示すようにボックス40の中央部に備えられた椅子に座る等して位置固定される。この時、被写体10である人は背面つまり背中を紙面手前に向けている。
操作者がコンピュータ20の操作部23に対して撮影を指示する操作をすると、撮影指示部213が全てのカメラ11に対して撮影を指示する撮影指示信号を送信する。全てのカメラ11は受信した撮影指示信号に基づいて互いに略同時に撮影する。この時フラッシュ光を発するようにしてもよい。
各カメラ11が撮影した後、画像取得部211は各カメラ11が撮影して得た静止画像データを取得する。画像取得部211が取得した静止画像データは、被写体10である人の上半身を互いに異なる方向から撮影した静止画像データである。全ての静止画像データで上半身の全表面を表している。
コンピュータ20の3次元データ生成部212は、画像取得部211が取得した静止画像データから被写体10の表面に存する特徴点やボックス40の内壁に付された識別マーク14や市松模様の特徴点を抽出する。これらの特徴点に係る画像間の対応関係から被写体10の表面上の3次元座標を推定することができる。
ここで、被写体10である人の背面は、後頭部と背中からなり凹凸や色の変化が小さいため抽出できる特徴点は少ない。しかし、被写体10の背面を撮影した静止画像データには、内壁、天井に付された識別マーク14及び市松模様の画像を含んでいる。よって、3次元データ生成部212は、被写体の表面に存する特徴点と識別マーク14等の特徴点を静止画像から抽出することにより、背面を含む被写体10の表面上の点の3次元座標を推定することができる。
3次元データ生成部212は、SFM法を用いて、複数の静止画像データから推定した被写体10の表面上の点の3次元座標とその点の色情報を含む3次元データを生成する。そして生成した3次元データを記憶部22に記憶する。
このようにして3次元データ生成装置4が生成した3次元データの用途は任意であり、実施の形態1と同様に3次元プリンタ30を用いて被写体10を模した造形物を生成してもよい。
以上説明したように、本実施の形態においては、3次元データ生成装置4は、中央に被写体10を配置するボックス40の内壁及び天井に、複数のカメラ11と、識別マーク14等を付すようにした。これにより、被写体10を複数のカメラ11で互いに異なる方向から撮影し、複数のカメラ11のうち被写体10の凹凸等が小さい背面を撮影するカメラ11で、被写体10と同時に識別マーク14等も撮影するようにした。そして、複数のカメラ11で撮影して得られた静止画像に基づいて、3次元データを生成することとした。これにより、設置が容易なボックス状の簡易的な構成の装置で、被写体10の凹凸や色の変化の小さい部分も正確に表現した3次元データを得ることができる。
このように本発明は、互いに異なる方向から被写体を撮影する複数のカメラと、複数のカメラが撮影した画像に基づいて、3次元データを生成する3次元データ生成部と、を備える。複数のカメラは、視線が被写体の略中心で互いに交差するように、配置した。これにより、被写体表面の3次元形状を正確に表現した3次元データを得ることができる。
なお、本発明は、本発明の広義の趣旨及び範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
例えば、3次元データの生成方法としてSFM法を用いたが、互いに異なる方向から撮影した複数の静止画像から3次元データを生成する方法であれば他の方法でも良い。また、デジタルカメラで撮影した静止画像から3次元データを生成するとしたが、複数のビデオカメラで撮影した動画像のうち同じ時刻に撮影したフレーム画像に基づいて3次元データを生成するようにしても良い。
また、上記実施の形態において、複数のカメラ11を円周リング状の支持体12a及び支持体12aに固定されたアーチ状の支持体12b、又は、ボックス40の内壁及び天井で支持するとした。しかし、被写体10を異なる方向から撮影する複数のカメラ11を支持するものであれば、他の方法でカメラを支持しても良い。例えば、被写体10の周囲に組み立てた格子状の支持体でカメラ11を支持するようにしてもよい。
また、上記実施の形態において人の上半身をカメラ11で撮影して、上半身の表面の3次元データを生成する例について説明したが、被写体10は人以外の犬、猫、鳥等の他の動物でもよい。この場合、毛色が一様な部分を撮影するカメラ11で識別マーク14を同時に撮影できるような位置に識別マーク14を配置することにより、毛色が一様な部分も正確に表現した3次元データを得ることができる。また、人の全身をカメラ11で撮影して全身の表面の3次元データを生成するようにしてもよい。この場合、人の全身を取り囲むような人の中心軸を回転軸とする回転楕円体殻上又は人の中心軸を回転軸とする円筒上にカメラ11及び識別マーク14を備えることで、下半身の表面の3次元データも正確に生成することができる。
また、上記実施の形態において識別マーク14や市松模様を支持体12、模様板15、ボックス40の内壁等の少なくとも一部に付すとした。しかし、少なくとも被写体10の背面と共にカメラ11で撮影できる位置に配置できれば、他の方法で付しても良い。例えば、支持体12を布等で覆い、その布の内面に識別マーク14や市松模様等を付しても良い。また、全てのカメラ11で識別マーク14や市松模様等を撮影できるように識別マーク14や市松模様等を被写体の周囲に一様に付しても良い。
また、実施の形態2、3において、濃淡の市松模様の淡色の部分に識別マーク14を付すとしたが、特徴点として識別できる識別模様であれば、他の模様と識別マーク14を組み合わせてもよい。また、3以上の色を用いた識別模様でもよい。また、識別マーク14のない識別模様のみで構成してもよい。
本出願は、2014年1月20日に出願された日本国特許出願特願2014−7638号に基づく。本明細書中に日本国特許出願特願2014−7628号の明細書、特許請求の範囲、及び図面全体を参照として取り込むものとする。
1、3、4…3次元データ生成装置
2…造形物製造システム
10…被写体
11…カメラ
12、12a、12b…支持体
13…マーク板
14…識別マーク
15…模様板
151…脚部
20…コンピュータ
21…CPU
211…画像取得部
212…3次元データ生成部
213…撮影指示部
22…記憶部
23…操作部
30…3次元プリンタ
40…ボックス

Claims (10)

  1. 互いに異なる方向から被写体を撮影する複数のカメラと、
    前記複数のカメラが撮影した画像に基づいて、3次元データを生成する3次元データ生成部と、を備え、
    前記複数のカメラの視線が前記被写体の略中心で互いに交差するように、前記複数のカメラを配置する、
    ことを特徴とする3次元データ生成装置。
  2. 前記複数のカメラは、前記被写体の中心部に中心を有する半球殻上、又は、鉛直方向の前記被写体の中心線を回転軸とする半回転楕円体殻上に配置されている、
    ことを特徴とする請求項1に記載の3次元データ生成装置。
  3. 前記複数のカメラに対して、一定時間以内に静止画の撮影を行うように指示する撮影指示部を、更に備える、
    ことを特徴とする請求項1又は2に記載の3次元データ生成装置。
  4. 前記複数のカメラのうち少なくとも一部のカメラで、前記被写体と同時に撮影可能な位置に配置した識別マーク又は識別模様を、更に備える、
    ことを特徴とする請求項1乃至3のいずれか1項に記載の3次元データ生成装置。
  5. 前記被写体が人を含む動物である場合に、
    前記識別マーク又は前記識別模様は、後頭部又は背中を撮影するカメラで前記被写体と同時に撮影可能な位置に配置した、
    ことを特徴とする請求項4に記載の3次元データ生成装置。
  6. 前記識別マーク又は前記識別模様は、前記被写体の背面に近接した略水平面上に配置した、
    ことを特徴とする請求項5に記載の3次元データ生成装置。
  7. 前記複数のカメラは、前記被写体を内部に格納するボックスの内壁又は天井に配置されている、
    ことを特徴とする請求項1に記載の3次元データ生成装置。
  8. 前記複数のカメラは、深い被写界深度で撮影する、
    ことを特徴とする請求項1乃至3のいずれか1項に記載の3次元データ生成装置。
  9. 請求項1乃至8のいずれか1項に記載の3次元データ生成装置と、
    前記3次元データ生成装置で生成した3次元データに基づいて、3次元プリントした造形物を生成する造形物製造装置と、
    を備えた造形物製造システム。
  10. 互いに異なる方向から複数のカメラが被写体を撮影した複数の画像に基づいて、3次元データを生成する3次元データ生成方法であって、
    前記複数のカメラの視線が前記被写体の略中心で互いに交差するように、前記複数のカメラを配置する、
    ことを特徴とする3次元データ生成方法。
JP2015557849A 2014-01-20 2015-01-14 3次元データ生成装置、造形物製造システム及び3次元データ生成方法 Pending JPWO2015108071A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014007638 2014-01-20
JP2014007638 2014-01-20
PCT/JP2015/050812 WO2015108071A1 (ja) 2014-01-20 2015-01-14 3次元データ生成装置、造形物製造システム及び3次元データ生成方法

Publications (1)

Publication Number Publication Date
JPWO2015108071A1 true JPWO2015108071A1 (ja) 2017-03-23

Family

ID=53542959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015557849A Pending JPWO2015108071A1 (ja) 2014-01-20 2015-01-14 3次元データ生成装置、造形物製造システム及び3次元データ生成方法

Country Status (2)

Country Link
JP (1) JPWO2015108071A1 (ja)
WO (1) WO2015108071A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2544970B (en) 2015-11-27 2018-01-24 Sony Interactive Entertainment Inc Image capture apparatus
JP6817721B2 (ja) * 2016-05-20 2021-01-20 アジア航測株式会社 地形変化解析方法
CN106773508B (zh) * 2017-02-15 2022-05-24 天津长瑞大通流体控制系统有限公司 一种用裸眼观看3d影像的拍摄系统及使用方法
IT201700059481A1 (it) * 2017-05-31 2018-12-01 Igoodi Srl Sistema di generazione di un modello virtuale di almeno parte del corpo di un utente o di almeno parte di un oggetto
NL2019019B1 (en) * 2017-06-02 2018-12-11 Vectory3 B V 3-D scanning system for a body or body part
US10650584B2 (en) 2018-03-30 2020-05-12 Konica Minolta Laboratory U.S.A., Inc. Three-dimensional modeling scanner
CN109359547B (zh) * 2018-09-19 2024-04-12 上海掌门科技有限公司 一种用于记录用户的静坐过程的方法与设备
JP7460532B2 (ja) 2018-10-10 2024-04-02 株式会社Preferred Networks システム、方法及び装置
JP7405412B2 (ja) * 2019-02-28 2023-12-26 国立研究開発法人農業・食品産業技術総合研究機構 三次元計測システム、三次元計測装置、三次元計測方法、及び三次元計測プログラム
CN112241995A (zh) * 2019-07-18 2021-01-19 重庆双楠文化传播有限公司 一种基于单台数码相机多幅图像的3d人像建模方法
PL243210B1 (pl) * 2021-07-22 2023-07-17 Politechnika Gdanska Urządzenie do rejestracji zmian geometrii ściany brzucha człowieka z wykorzystaniem techniki fotogrametrycznej

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07237158A (ja) * 1993-12-28 1995-09-12 Hitachi Ltd 位置・姿勢検出方法及びその装置並びにフレキシブル生産システム
JP2000131032A (ja) * 1998-10-24 2000-05-12 Hitachi Seiki Co Ltd 三次元形状計測方法およびその装置
JP2003271928A (ja) * 2002-03-13 2003-09-26 Nippon Hoso Kyokai <Nhk> 三次元モデリング装置及びその方法及びそのプログラム
JP2004191335A (ja) * 2002-12-13 2004-07-08 Toyota Motor Corp 形状測定装置
JP2004295813A (ja) * 2003-03-28 2004-10-21 Babcock Hitachi Kk 3次元人物照合装置
JP2011248556A (ja) * 2010-05-26 2011-12-08 Iriso Seimitsu Co Ltd 製造システム、製造方法、およびプログラム
JP2013079854A (ja) * 2011-10-03 2013-05-02 Topcon Corp 3次元計測システム及び3次元計測方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07237158A (ja) * 1993-12-28 1995-09-12 Hitachi Ltd 位置・姿勢検出方法及びその装置並びにフレキシブル生産システム
JP2000131032A (ja) * 1998-10-24 2000-05-12 Hitachi Seiki Co Ltd 三次元形状計測方法およびその装置
JP2003271928A (ja) * 2002-03-13 2003-09-26 Nippon Hoso Kyokai <Nhk> 三次元モデリング装置及びその方法及びそのプログラム
JP2004191335A (ja) * 2002-12-13 2004-07-08 Toyota Motor Corp 形状測定装置
JP2004295813A (ja) * 2003-03-28 2004-10-21 Babcock Hitachi Kk 3次元人物照合装置
JP2011248556A (ja) * 2010-05-26 2011-12-08 Iriso Seimitsu Co Ltd 製造システム、製造方法、およびプログラム
JP2013079854A (ja) * 2011-10-03 2013-05-02 Topcon Corp 3次元計測システム及び3次元計測方法

Also Published As

Publication number Publication date
WO2015108071A1 (ja) 2015-07-23

Similar Documents

Publication Publication Date Title
WO2015108071A1 (ja) 3次元データ生成装置、造形物製造システム及び3次元データ生成方法
CN106859675B (zh) 用3d相机进行的用于x射线管的扫描仪自动化的方法和系统
JP6025690B2 (ja) 情報処理装置および情報処理方法
JP2018056971A5 (ja)
CN106210538A (zh) 在用户设备上显示基于光场的图像的方法和装置及程序
JP2018180655A5 (ja)
JP2020086983A5 (ja)
JP2017503593A5 (ja)
JP2015088096A (ja) 情報処理装置および情報処理方法
JP2013196355A (ja) 物体測定装置、及び物体測定方法
US9107613B2 (en) Handheld scanning device
JP2011254411A (ja) 映像投影システムおよび映像投影プログラム
JP2015088098A (ja) 情報処理装置および情報処理方法
CN108780319A (zh) 软件更新方法、系统、移动机器人及服务器
JP2018129007A (ja) 学習データ生成装置、学習装置、推定装置、学習データ生成方法及びコンピュータプログラム
JP2020030748A (ja) 複合現実システム、プログラム、携帯端末装置、及び方法
KR20130018004A (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
AU2018384159B2 (en) Generation device, generation method and program for three-dimensional model
JPWO2020075768A5 (ja) システム、方法及び装置
JP6104066B2 (ja) 画像処理装置および画像処理方法
JPWO2017072975A1 (ja) 撮像システム
KR20160136893A (ko) 모바일 타임 슬라이스 카메라
JP2022131778A5 (ja)
KR102287939B1 (ko) 동영상을 이용하여 3차원 이미지를 렌더링하는 장치 및 방법
JP6632298B2 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180814

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190226