JP7447083B2 - 立体データ生成装置、立体データ生成方法、プログラム、及び造形システム - Google Patents

立体データ生成装置、立体データ生成方法、プログラム、及び造形システム Download PDF

Info

Publication number
JP7447083B2
JP7447083B2 JP2021507242A JP2021507242A JP7447083B2 JP 7447083 B2 JP7447083 B2 JP 7447083B2 JP 2021507242 A JP2021507242 A JP 2021507242A JP 2021507242 A JP2021507242 A JP 2021507242A JP 7447083 B2 JP7447083 B2 JP 7447083B2
Authority
JP
Japan
Prior art keywords
color
images
dimensional
data
data generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021507242A
Other languages
English (en)
Other versions
JPWO2020189448A1 (ja
Inventor
恭平 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mimaki Engineering Co Ltd
Original Assignee
Mimaki Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mimaki Engineering Co Ltd filed Critical Mimaki Engineering Co Ltd
Publication of JPWO2020189448A1 publication Critical patent/JPWO2020189448A1/ja
Application granted granted Critical
Publication of JP7447083B2 publication Critical patent/JP7447083B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B29WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29CSHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30Auxiliary operations or equipment
    • B29C64/386Data acquisition or data processing for additive manufacturing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B33ADDITIVE MANUFACTURING TECHNOLOGY
    • B33YADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y30/00Apparatus for additive manufacturing; Details thereof or accessories therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B33ADDITIVE MANUFACTURING TECHNOLOGY
    • B33YADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00Data acquisition or data processing for additive manufacturing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Materials Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)

Description

本発明は、立体データ生成装置、立体データ生成方法、プログラム、及び造形システムに関する。
従来、立体物の形状を示すデータを3Dスキャナ等を用いて取得する方法が知られている(例えば、特許文献1参照。)。3Dスキャナでは、例えば、複数の異なる視点から撮影したカメラ画像(2次元画像)を用いて3次元形状を推定するフォトグラメトリ方式等により、立体物の形状の推定を行う。
特開2018-36842号公報
近年、立体的な造形物の造形を行う造形装置である3Dプリンタが普及しつつある。また、3Dプリンタの用途として、3Dスキャナで形状を読み取った立体物の形状のデータを利用して造形を行うこと等も検討されている。また、この場合において、3Dスキャナでの読み取りの対象とした立体物の色に合わせて、着色がされた造形物を造形すること等も検討されている。
そして、例えばこのような用途で3Dスキャナ等を用いる場合、立体物の色について、高い精度で適切に取得することが望まれる。そこで、本発明は、上記の課題を解決できる立体データ生成装置、立体データ生成方法、プログラム、及び造形システムを提供することを目的とする。
3Dスキャナ等で立体物の画像(カメラ画像)を撮影する場合、照明条件等の環境の影響等で、画像中での色と立体物の本来の色との間に差が生じる場合がある。また、その結果、立体物の色を正しく認識することが難しくなる場合がある。
これに対し、本願の発明者は、立体物の形状及び色をより高い精度で読み取る方法について、鋭意研究を行った。そして、読み取りの対象となる立体物(対象物)の周囲にカラーターゲット等の色見本を設置した状態で撮影した複数の画像を用いることで、自動的に色の調整を行いつつ立体物の形状及び色を高い精度で適切に読み取り得ることを見出した。また、更なる鋭意研究により、このような効果を得るために必要な特徴を見出し、本発明に至った。
上記の課題を解決するために、本発明は、立体的な対象物を互いに異なる視点から撮影することで得られた複数の画像に基づいて前記対象物の立体形状を示すデータである立体形状データを生成する立体データ生成装置であって、前記複数の画像として、予め設定された色を示す色見本を前記対象物の周囲に設置した状態で撮影された複数の画像を用い、前記複数の画像の少なくともいずれかに対し、前記画像に写っている前記色見本を探索する色見本探索処理と、前記色見本探索処理において発見した前記色見本が前記画像の中で示している色に基づき、前記複数の画像の色の補正を行う色補正処理と、前記複数の画像に基づいて前記立体形状データを生成する形状データ生成処理と、前記対象物の色を示すデータである色データを生成する処理であり、前記色補正処理において補正を行った後の前記複数の画像の色に基づいて前記色データを生成する色データ生成処理とを行うことを特徴とする。
このように構成すれば、例えば、対象物を撮影した画像において色のずれ等が生じている場合にも、色の補正を適切に行うことができる。また、これにより、例えば、対象物の形状及び色を高い精度で適切に読み取ることができる。
ここで、この構成において、対象物とは、例えば、形状及び色の読み取り対象として用いる立体物のことである。また、色見本としては、例えば、予め設定された複数の色を示すカラーチャート等を好適に用いることができる。また、このようなカラーチャートとしては、市販されている公知のカラーターゲット等を好適に用いることができる。
また、この構成において、色データ生成処理では、色データとして、例えば、対象物の各位置の色を立体形状データとを対応付けて示すデータを生成する。また、色データとしては、例えば、対象物の表面の色を示すデータを生成すること等が考えられる。
また、構成において、色見本については、対象物の周囲の任意の位置に設置することが考えられる。この場合、色見本探索処理では、例えば、画像中における色見本の位置が未知の状態から色見本を探索する。このように構成すれば、例えば、対象物の形状等に合わせて、色見本を様々な位置に設置することができる。また、色見本について、例えば、色の再現が特に重要な部分の近くに設置すること等も考えられる。
また、立体的な対象物を撮影する場合、対象物に対する光の当たり方の影響等により、対象物の位置によって色の見え方に差が生じること等が考えられる。そして、この場合、例えば、複数の色見本を対象物の周囲に設置した状態で撮影された複数の画像を用いること等が考えられる。この場合、色補正処理では、例えば、複数の色見本のそれぞれが画像の中で示している色に基づき、複数の画像の色の補正を行う。このように構成すれば、例えば、色の補正をより高い精度で適切に行うことができる。
また、この構成において、形状データ生成処理では、例えば、複数の画像の中から抽出された何らかの特徴点を用いて立体形状データの生成を行うこと等も考えられる。また、このような処理としては、例えば、複数の画像をつなげるように画像の合成を行う場合等に、特徴点を利用して複数の画像の間の位置関係を調整すること等が考えられる。また、この場合、例えば、色見本の少なくとも一部を特徴点として用いること等も考えられる。より具体的に、この場合、色見本探索処理において、例えば、画像に写っている色見本の少なくとも一部を特徴点として検出する。そして、形状データ生成処理において、例えば、特徴点を利用して、複数の画像に基づき、立体形状データを生成する。このように構成すれば、例えば、立体形状データの生成をより高い精度で適切に行うことができる。
また、この場合、色見本としては、例えば、色見本であることを示す識別部を有する構成を用いることが好ましい。識別部としては、例えば、予め設定された形状を示すマーカ用の部材等を用いることが考えられる。また、この場合、色見本探索処理では、例えば、色見本の識別部を認識することにより、画像に写っている色見本を探索し、かつ、識別部を特徴点として検出する。このように構成すれば、例えば、色見本の探索をより高い精度でより適切に行うことができる。また、例えば、色見本の一部を特徴点としてより適切に利用することができる。
また、この構成においては、複数の対象物に対して、同時に形状及び色の読み取りを行うこと等も考えられる。この場合、例えば、複数の対象物のそれぞれの周囲に色見本を設置した状態で撮影された複数の画像を用いることが考えられる。また、この場合、形状データ生成処理では、例えば、複数の画像に基づき、複数の対象物のそれぞれの形状をそれぞれが示す複数の立体形状データを生成する。また、色データ生成処理では、例えば、色補正処理において補正を行った後の複数の画像の色に基づき、複数の対象物のそれぞれの色をそれぞれが示す複数の色データを生成する。このように構成すれば、例えば、複数の対象物に対する形状及び色の読み取りを効率的かつ適切に行うことができる。また、この場合、色補正処理では、例えば、複数の対象物のそれぞれ毎に、色見本探索処理において発見した色見本が画像の中で示している色に基づき、複数の画像の色の補正を行う。対象物毎に色の補正を行うとは、例えば、対象物によって色の補正の仕方を異ならせることである。
また、本発明の構成として、上記と同様の特徴を有する立体データ生成方法、プログラム、又は造形システム等を用いることも考えられる。これらの場合も、例えば、上記と同様の効果を得ることができる。また、この場合、造形システムとは、例えば、立体データ及び造形装置を備えるシステムである。また、造形システムにおいて、造形装置は、例えば、立体データ生成装置が生成した立体形状データ及び色データに基づき、立体物の造形を行う。
本発明によれば、立体的な対象物の形状及び色を高い精度で適切に読み取ることができる。
本発明の一実施形態に係る造形システム10の構成の一例を示す図である。図1(a)は、造形システム10の構成の一例を示す。図1(b)は、造形システム10における撮影装置12の要部の構成の一例を示す。 撮影装置12での対象物50の撮影の仕方について更に詳しく説明をする図である。図2(a)は、撮影時の対象物50の状態の一例を示す。図2(b)は、対象物50の撮影時に用いるカラーターゲット60の構成の一例を示す。 撮影装置12において対象物50を撮影することで得られる画像の例を示す図である。図3(a)~(d)は、撮影装置12における一つのカメラ104により撮影される複数の画像の例を示す。 立体形状データ及び色データを生成する動作の一例を示すフローチャートである。 造形システム10において行う動作の変形例について説明をする図である。図5(a)、(b)は、変形例における撮影時の対象物50及びカラーターゲット60の状態の一例を示す。 撮影装置12における撮影の対象物50の様々な例を示す図である。図6(a)、(b)は、対象物50の形状の様々な例を撮影装置12における一つのカメラ104と共に示す。 より複雑な形状の対象物50の例を示す図である。図7(a)~(c)は、対象物50として用いる花瓶の形状及び模様の例を示す。 造形システム10における造形装置16の構成の一例を示す図である。図8(a)は、造形装置16の要部の構成の一例を示す。図8(b)は、造形装置16におけるヘッド部302の構成の一例を示す。
以下、本発明に係る実施形態を、図面を参照しながら説明する。図1は、本発明の一実施形態に係る造形システム10の構成の一例を示す。図1(a)は、造形システム10の構成の一例を示す。図1(b)は、造形システム10における撮影装置12の要部の構成の一例を示す。本例において、造形システム10は、立体的な対象物の形状及び色の読み取りと、立体的な造形物の造形とを行うシステムであり、撮影装置12、立体データ生成装置14、及び造形装置16を備える。
撮影装置12は、対象物の画像(カメラ画像)を複数の視点から撮影(撮像)する装置である。この場合、対象物とは、例えば、造形システム10において形状及び色の読み取り対象として用いる立体物のことである。また、本例において、撮影装置12は、図1(b)に示すように、撮影の対象物を設置する台であるステージ102と、対象物の画像を撮影する複数のカメラ104とを有する。また、本例において、ステージ102には、対象物以外に、カラーターゲットを設置する。カラーターゲットの特徴や、カラーターゲットを用いる理由等については、後に更に詳しく説明をする。
また、複数のカメラ104は、互いに異なる位置に設置されることにより、互いに異なる視点から対象物を撮影する。より具体的に、本例において、複数のカメラ104は、ステージ102の周囲を囲むように水平面における互いに異なる位置に設置されることで、水平面における互いに異なる位置から、対象物を撮影する。また、これにより、複数のカメラ104のそれぞれは、ステージ102上に設置された対象物に対し、対象物の周囲を囲む各位置から撮影を行う。また、この場合において、それぞれのカメラ104は、他のカメラ104により撮影される画像と少なくとも一部が重なるように、画像を撮影する。この場合、カメラ104により撮影される画像の少なくとも一部が重なるとは、例えば、複数のカメラ104の視野同士がオーバーラップすることである。
また、それぞれのカメラ104は、例えば図中に示すように、鉛直方向を長手方向とする形状を有しており、鉛直方向における互いに異なる位置を中心とする複数の画像を撮影する。この場合、カメラ104として、例えば、複数のレンズ及び撮像素子を有する構成を用いること等が考えられる。
また、このような構成の撮影装置12を用いることで、撮影装置12では、立体的な対象物を互いに異なる視点から撮影した複数の画像を取得する。より具体的に、本例において、撮影装置12では、少なくとも、例えばフォトグラメトリ法等で対象物の形状を推定する場合に用いる複数の画像を撮影する。この場合、フォトグラメトリ法とは、例えば、立体的な物体を複数の観測点から撮影して得た2次元画像から視差情報を解析して寸法及び形状を求める写真測量法の方法のことである。また、本例において、撮影装置12では、複数の画像として、カラー画像を撮影する。この場合、カラー画像とは、例えば、所定の基本色(例えばRGBの各色)に対応する色の成分を複数段階の階調で表現した画像(例えば、フルカラーの画像)のことである。また、撮影装置12としては、例えば、公知の3Dスキャナ等で用いられている撮影装置と同一又は同様の装置を好適に用いることができる。
立体データ生成装置14は、撮影装置12において撮影を行った対象物の立体形状を示すデータである立体形状データ(3D形状データ)を生成する装置であり、撮影装置12において撮影された複数の画像に基づき、立体形状データを生成する。また、以下において説明をする点を除き、本例において、撮影装置12は、例えばフォトグラメトリ法等の公知の方法により、立体形状データの生成を行う。また、立体データ生成装置14は、撮影装置12において撮影された複数の画像に基づき、立体形状データに加え、対象物の色を示すデータである色データを更に生成する。
尚、本例において、立体データ生成装置14は、所定のプログラムに従って動作するコンピュータであり、プログラムに基づき、立体形状データ及び色データを生成する動作を行う。この場合、立体データ生成装置14において実行するプログラムについては、例えば、以下において説明をする様々な機能を実現するソフトウェアを合わせたもの等と考えることができる。また、立体データ生成装置14については、例えば、プログラムを実行する装置の一例と考えることができる。立体形状データ及び色データを生成する動作等については、後に更に詳しく説明をする。
造形装置16は、立体的な造形物を造形する造形装置である。また、本例において、造形装置16は、立体データ生成装置14において生成された立体形状データ及び色データに基づき、着色された造形物を造形する。この場合、造形装置16は、例えば、造形物を示すデータとして、立体形状データ及び色データを含むデータを立体データ生成装置14から受け取る。そして、造形装置16は、造形データ及び色データに基づき、例えば、表面が着色された造形物を造形する。造形装置16としては、公知の造形装置を好適に用いることができる。より具体的に、造形装置16としては、例えば、複数色のインクを造形の材料として用いて積層造形法で造形物を造形する装置等を好適に用いることができる。この場合、造形装置16は、例えばインクジェットヘッドにより各色のインクを吐出することにより、着色された造形物を造形する。
また、更に具体的に、本例において、造形装置16は、プロセスカラーの各色(例えば、シアン、マゼンタ、イエロー、及びブラックの各色)のインクを少なくとも用いて、表面が着色された造形物を造形する。また、表面への着色として、フルカラーでの着色を行う。この場合、フルカラーでの着色を行うとは、例えば、造形の材料(例えばインク)の色を複数色混色させた中間色を含む様々な色での着色を行うことである。また、この場合、本例において用いる造形装置16について、例えば、フルカラーで着色された造形物を出力するフルカラーの3Dプリンタ等と考えることもできる。
以上のような構成の造形システム10を用いることで、例えば、撮影装置12及び立体データ生成装置14において、対象物を示す立体形状データ及び色データを適切に生成することができる。また、立体形状データ及び色データを用いて造形装置16において造形物を造形することで、例えば、対象物を示す造形物を適切に造形することができる。
尚、上記及び以下に説明をする点を除き、本例における造形システム10は、公知の造形システムと同一又は同様の特徴を有してよい。また、上記においても説明をしたように、本例において、造形システム10は、撮影装置12、立体データ生成装置14、及び造形装置16の3台の装置により構成されている。しかし、造形システム10の変形例においては、これらのうちの複数の装置の機能を、一台の装置で実現してもよい。また、各装置の機能について、複数の装置により実現すること等も考えられる。また、造形システム10の構成のうち、撮影装置12及び立体データ生成装置14を合わせた部分については、例えば、造形データ生成システムの一例等と考えることもできる。
続いて、撮影装置12での対象物の撮影の仕方について、更に詳しく説明をする。図2は、撮影装置12での対象物50の撮影の仕方について更に詳しく説明をする図である。図2(a)は、撮影時の対象物50の状態の一例を示す。図2(b)は、対象物50の撮影時に用いるカラーターゲット60の構成の一例を示す。
上記においても説明をしたように、本例において、撮影装置12(図1参照)で対象物50の撮影を行う場合、ステージ102(図1参照)上に、対象物50以外にカラーターゲット60を更に設置する。この場合、撮影装置12において対象物50を撮影することで得られる複数の画像については、例えば、対象物50の周囲にカラーターゲット60を設置した状態で撮影を行った画像等と考えることができる。また、より具体的に、本例においては、例えば図2(a)に示すように、複数のカラーターゲット60を対象物50の周囲に設置した状態で、複数の画像を撮影する。
また、本例において、複数のカラーターゲット60のそれぞれは、対象物50の周囲において、任意の位置に設置される。この場合、それぞれのカラーターゲット60について、複数のカメラ104(図1参照)のいずれかに写るように、撮影環境内のいずれかの位置(例えば環境背景、床等)に設置する。このように構成すれば、例えば、撮影装置12において撮影する複数の画像として、それぞれのカラーターゲット60がいずれかの画像に写っているような複数の画像を取得することができる。また、複数のカラーターゲット60のうちの少なくとも一部について、例えば、対象物50において色が重要な部分や、光の当たり方の影響等により色の見え方が変化しやすい位置等に設置することが考えられる。この場合、対象物50において色が重要な部分とは、例えば、対象物50を再現する造形物の造形を行う場合に色の再現が重要な部分のことである。
また、本例において、カラーターゲット60は、予め設定された色を示す色見本の一例である。カラーターゲット60としては、例えば、予め設定された複数の色を示すカラーチャート等を好適に用いることができる。また、このようなカラーチャートとしては、市販されている公知のカラーターゲットにおいて用いられているカラーチャートと同一又は同様のカラーチャート等を好適に用いることができる。
また、より具体的に、本例において、カラーターゲット60としては、例えば図2(b)に示すように、パッチ部202及び複数のマーカ204を有するカラーターゲットを用いる。この場合、パッチ部202は、カラーターゲット60においてカラーチャートを構成する部分であり、互いに異なる色を示す複数のカラーパッチにより構成される。尚、図2(b)においては、図示の便宜上、色の違いを網掛け模様の違いで表現することで、互いに色の異なる複数のカラーパッチを示している。パッチ部202については、例えば、色の補正に用いる画像データに対応する部分等と考えることもできる。
また、複数のマーカ204は、カラーターゲット60を識別するために用いる部材であり、例えば図中に示すように、パッチ部202の周囲に設置される。このようなマーカ204を用いることにより、対象物50を撮影した画像において、カラーターゲット60の検出を高い精度で適切に行うことができる。また、本例において、複数のマーカ204のそれぞれは、カラーターゲット60であることを示す識別部の一例である。マーカ204としては、例えば、画像の識別用に用いる公知のマーカ(画像識別用マーカ)と同一又は同様のマーカを用いることが考えられる。また、本例において、複数のマーカ204のそれぞれは、例えば図中に示すように、所定の同じ形状を有しており、四角形状のパッチ部202の四隅のそれぞれの位置に、向きを互いに異ならせて取り付けられている。
続いて、撮影装置12において対象物50を撮影することで得られる画像の例について、説明する。図3は、撮影装置12において対象物50を撮影することで得られる画像の例を示す図である。図3(a)~(d)は、撮影装置12における一つのカメラ104(図1参照)により撮影される複数の画像の例を示す。この場合、一つのカメラ104とは、例えば、水平面における一つの位置に設置されるカメラのことである。また、上記においても説明をしたように、本例の撮影装置12において、それぞれのカメラ104は、鉛直方向における互いに異なる位置を中心とする複数の画像を撮影する。
そして、この場合、一つのカメラ104は、水平面における一つの位置から対象物50及び複数のカラーターゲット60を見る視点で、例えば図3(a)~(d)に示すように、上下方向の一部がオーバーラップする複数の画像を撮影する。また、この場合、他のカメラは、水平面における他の位置から対象物50及び複数のカラーターゲット60を見る視点で、同様に、上下方向の一部がオーバーラップする複数の画像を撮影する。本例によれば、例えば、複数のカメラ104により、対象物50の全体を示す複数の画像を適切に撮影することができる。
続いて、立体形状データ及び色データを生成する動作について、更に詳しく説明をする。図4は、立体形状データ及び色データを生成する動作の一例を示すフローチャートである。
本例において、対象物の形状及び色を示す立体形状データ及び色データを生成する場合、先ず、上記においても説明をしたように、複数のカラーターゲット60(図2参照)を周囲に設置した状態で対象物50(図2参照)の撮影を撮影装置12(図1参照)において行うことで、複数の画像を取得する(S102)。そして、これらの複数の画像に基づき、立体データ生成装置14(図1参照)において、立体形状データ及び色データを生成する。
また、この場合、立体データ生成装置14においては、複数の画像に対し、カラーターゲット60を検索する処理を行う(S104)。この場合、ステップS104の動作は、色見本探索処理の動作の一例である。また、本例において、立体データ生成装置14は、画像に対し、カラーターゲット60におけるマーカ204を検出する処理を行うことで、カラーターゲット60を見つけ出す。このように構成すれば、例えば、カラーターゲット60の検索をより容易かつ確実に行うことができる。
また、例えば図3に示した画像の例等から理解できるように、撮影装置12において撮影された画像の中には、カラーターゲット60の一部のみが写っている場合もある。そのため、ステップS104においては、画像の中に発見したカラーターゲット60に対し、そのカラーターゲット60の全体が写っているか否かの判定を行うことが好ましい。この場合、例えば、それぞれのカラーターゲット60におけるマーカ204が写っている数に基づき、カラーターゲット60の全体が写っているか否かの判定を行うことが考えられる。
また、この場合、例えば、一つのカラーターゲット60における複数のマーカ204のうち、一部のマーカ204のみが画像に写っている場合にも、カラーターゲット60が画像に写っていると判断してもよい。また、この場合、全てのマーカ204が写っているカラーターゲット60と、一部のマーカ204のみが写っているカラーターゲット60とを、区別して扱ってもよい。この場合、例えば、一部のマーカ204のみが写っているカラーターゲット60について、補助的に用いること等が考えられる。
また、複数の画像においては、必ずしも全ての画像にカラーターゲット60が写っているとは限らず、一部の画像のみにカラーターゲット60が写っていること等も考えられる。そのため、ステップS104の動作については、例えば、複数の画像の少なくともいずれかに対し、画像に写っているカラーターゲット60を探索する動作等と考えることもできる。
また、上記においても説明をしたように、本例において、複数のカラーターゲット60のそれぞれは、対象物50の周囲において、任意の位置に設置される。そのため、ステップS104においては、画像中におけるカラーターゲット60の位置が未知の状態から色見本を探索する。画像中におけるカラーターゲット60の位置が未知の状態とは、例えば、画像中のどの位置にカラーターゲット60があるかが不明な状態のことである。また、この場合、このようにしてカラーターゲット60の検索を行うことで、カラーターゲット60について、対象物50の形状等に合わせて様々な位置に設置することが可能になると考えることもできる。
また、本例においては、画像中のカラーターゲット60の少なくとも一部について、画像の特徴点として用いる。この場合、特徴点とは、例えば、画像中で、予め設定された特徴を有する点のことである。また、特徴点については、例えば、画像処理等で基準位置として用いる点等と考えることもできる。また、より具体的に、本例のステップS104において、立体データ生成装置14は、カラーターゲット60のおける複数のマーカ204のそれぞれについて、特徴点として抽出する。この場合、立体データ生成装置14の動作については、例えば、カラーターゲット60のマーカ204を認識することで、カラーターゲット60を探索し、かつ、マーカ204を特徴点として検出する動作等と考えることができる。このように構成すれば、例えば、カラーターゲット60の探索を高い精度で適切に行うことができる。また、カラーターゲット60の一部について、特徴点として適切に利用することができる。
また、ステップS104の動作については、例えば、撮影装置12において取得した複数の画像を立体データ生成装置14においてカラー補正用のソフトウェアに読み込ませて、画像解析処理を行うことで実行することが考えられる。この場合、例えば、カラー補正用のソフトウェアにおいて、読み込んだ画像中から、カラーターゲット60が含まれる領域(以下、カラーターゲット領域という)を抽出する。また、この動作において、例えば、カラーターゲット60における複数のマーカ204を利用して、抽出領域の判定や、抽出した画像に対する歪補正の処理等を行う。複数のマーカ204を利用するとは、これらの処理を補助するためにマーカ204を利用することであってよい。
また、ステップS104の動作に続いて、立体データ生成装置14は、ステップS102において撮影された複数の画像に対し、色の補正(カラー補正)を行う(S106)。この場合、ステップS106の動作は、色補正処理の動作の一例である。また、本例のステップS106において、立体データ生成装置14は、ステップS104において画像中に発見したカラーターゲット60が画像の中で示している色に基づき、複数の画像の色の補正を行う。この場合、カラーターゲット60が画像の中で示している色とは、複数のカラーターゲット60のそれぞれが画像の中で示している色のことである。
また、この場合、ステップS106の動作については、ステップS104で複数の画像を読み込ませたカラー補正用のソフトウェアにおいて実行することが考えられる。この場合、カラー補正用のソフトウェアでは、例えば、ステップS104において抽出したカラーターゲット領域に対し、カラーターゲット60を構成するカラーパッチの色を取得(サンプリング)する。そして、サンプリングにより得られた色と、その位置のカラーパッチが示すべき本来の色との差分を算出する。その位置のカラーパッチが示すべき本来の色とは、例えば、カラーターゲット60の各位置に対して設定されている既知の色のことである。また、この場合、それぞれのカラーパッチに対して算出した差分に基づき、差分に対応する色の補正を行うためのプロファイルを作成する。この場合、プロファイルとは、例えば、補正の前後の色を対応付けるデータのことである。プロファイルにおいては、例えば、計算式又は対応表等により色を対応付けることが考えられる。また、このようなプロファイルとしては、色の補正に用いる公知のプロファイルと同一又は同様のプロファイルを用いることができる。
また、本例において、カラー補正用のソフトウェアでは、ステップS106の動作として、更に、作成したプロファイルに基づき、撮影装置12において取得した複数の画像に対し、色の補正を行う。この場合、色の補正としては、例えば、画像中のカラーターゲット60におけるそれぞれのカラーパッチに色が本来の色になるような補正を行うことが考えられる。また、この場合、例えばカラーターゲット60の位置に応じて設定された領域を対象にして色の補正を行うことで、画像の各位置の色の補正を行う。また、これにより、色の補正が行われた複数の画像を取得する。このように構成すれば、例えば、複数の画像に対し、本来の色に近づける補正を適切に行うことができる。
ここで、カラーターゲット60の位置に応じて設定された領域としては、例えば、そのカラーターゲットが写っている画像の全体を設定することが考えられる。また、カラーターゲット60の位置に応じて設定された領域として、例えば予め設定された領域の分け方等に従って、画像の一部の領域を設定してもよい。また、本例において行う色の補正の動作について、例えば、カラーマッチングの動作等と考えることもできる。
また、より具体的に、本例のステップS106においては、例えば、それぞれの画像について、その画像に写っているカラーターゲット60に対応して作成されたプロファイルに基づき、補正を行う。また、この場合、カラーターゲット60が一つも写っていない画像に対しては、他のいずれかの画像に写っているカラーターゲット60に対応して作成されたプロファイルに基づき、補正を行うことが好ましい。また、一つの画像の中に複数のカラーターゲット60が写っている場合、カラーターゲット60毎に領域を設定して、それぞれの領域に対し、それぞれのカラーターゲット60に対応して作成されたプロファイルに基づいて補正を行うこと等が考えられる。また、例えば、同じカラーターゲット60が複数の画像に写っている場合、各画像で表現されているカラーターゲット60の色の違いに基づき、画像間での色の違いを調整すること等も考えられる。また、一つの画像の中に複数のカラーターゲット60が写っている場合には、複数のカラーターゲット60のうちの一部(例えば、いずれかの一つ)のみを予め設定された基準に基づいて選択して、選択したカラーターゲット60に対応して作成されたプロファイルに基づき、補正の処理を行うこと等も考えられる。また、この場合、例えば、画像における中央に最も近い位置に写っているカラーターゲット60を選択すること等が考えられる。
また、複数の画像とカラーターゲット60との対応付けについては、画像を単位とするのではなく、複数の画像により示される範囲の全体を複数の領域に分けて、領域毎にいずれかのカラーターゲット60と対応付けること等も考えられる。この場合、例えば、複数の画像により示される範囲をメッシュ状の複数の領域に分割して、それぞれの領域について、いずれかのカラーターゲット60と対応付けることが考えられる。また、この場合、複数の画像における各領域に対応する部分について、その領域に対応するカラーターゲット60に対応して作成されたプロファイルに基づいて補正を行うこと等が考えられる。
また、ステップS106の動作に続いて、立体データ生成装置14は、ステップS102において撮影された複数の画像に基づき、立体形状データを生成する(S108)。この場合、ステップS108の動作は、形状データ生成処理の動作の一例である。また、本例のステップS108の動作において、ステップS102において撮影された複数の画像に基づくとは、ステップS106において補正が行われた後の複数の画像に基づくことである。ステップS108の動作の変形例において、ステップS102において撮影された複数の画像に基づくとは、ステップS106において補正が行われる前の複数の画像に基づくことであってもよい。
また、本例において、立体データ生成装置14は、ステップS104において抽出した特徴点を利用して、立体形状データを生成する。特徴点を利用して立体形状データを生成するとは、例えば、立体形状データを生成する動作の中で、特徴点を基準位置として用いて複数の画像をつなげる処理(画像を合成する処理)等を行うことである。また、上記においても説明をしたように、本例においては、例えばフォトグラメトリ法等を利用して、立体形状データの生成を行う。この場合、特徴点については、例えば、フォトグラメトリ法において行う解析処理の中で用いることが考えられる。また、より具体的に、フォトグラメトリ法では、例えば、視差情報を得る前段階の点として、互いに異なる複数の視点(例えば、2視点)の画像内における相互に対応するポイント(画素)を見つけることが必要になる。そして、特徴点については、このようなポイントに対応する箇所として用いることが考えられる。また、特徴点については、画像を合成する処理に限らず、例えば、複数の画像の間の位置関係を調整する処理等で用いること等も考えられる。
また、本例のステップS108において、カラーターゲット60の一部を特徴点として用いることや、ステップS106において補正が行われた後の複数の画像を用いること以外については、例えば、公知の方法と同一又は同様にして、立体形状データを生成することが考えられる。この場合、公知の方法とは、例えば、3次元形状推定(3Dスキャン)の方式に関する公知の方法のことである。また、より具体的に、公知の方法としては、例えば、フォトグラメトリ法等を好適に用いることができる。また、立体形状データとしては、公知の形式(例えば、汎用の形式)で立体形状を示すデータを生成することが考えられる。
また、本例においては、例えば、複数の画像に写っている特徴点、及び、複数の画像から得られる視差情報等に基づき、画像内の画素に対応する3次元位置の推定を行う。この場合、例えば、フォトグラメトリ処理を行うソフトウェアに複数の画像のデータ(取得画像データ)を読み込ませ、各種の演算を行わせることで、立体形状データを得ることが考えられる。本例によれば、例えば、立体形状データの生成を高い精度で適切に行うことができる。
また、ステップS108の動作に続いて、立体データ生成装置14は、対象物50の色を示すデータである色データを生成する処理を行う(S110)。この場合、ステップS110の動作は、色データ生成処理の動作の一例である。また、本例において、立体データ生成装置14は、ステップS106において補正を行った後の複数の画像の色に基づき、色データを生成する。また、この場合、色データとして、例えば、対象物50の各位置の色を立体形状データと対応付けて示すデータを生成する。
また、より具体的に、本例において、色データとしては、例えば、対象物50の表面の色を示すテクスチャを示すデータを生成する。この場合、色データについて、例えば、立体形状データが示す立体形状の表面に貼り付けられるテクスチャを示すデータ等と考えることもできる。また、このような色データについては、例えば、対象物50の表面の色を示すデータの一例等と考えることができる。また、ステップS110において複数の画像に基づいて色データを生成する処理について、ステップS106において補正を行った後の複数の画像を用いること以外の点については、公知の方法と同一又は同様に行うことができる。
本例によれば、例えば、撮影装置12において取得された複数の画像に基づき、立体形状データ及び色データを自動的かつ適切に生成することができる。また、この場合において、複数の画像に写っているカラーターゲット60を自動的に探し出すことで、色の補正についても、例えば補正に用いるプロファイルを自動的に作成して、自動的かつ適切に行うことができる。また、これにより、例えば、色の補正をより高い精度で適切に行った状態で、立体形状データ及び色データを適切に生成することができる。また、この場合、本例において行う色の補正の動作については、例えば、フォトグラメトリ方式等でフルカラーの立体モデル(フルカラー3Dモデル)を生成する過程で行うカラー補正の自動化手法等と考えることもできる。
また、上記においても説明をしたように、本例においては、立体データ生成装置14において生成した立体形状データ及び色データに基づき、造形装置16において、フルカラーで着色された造形物を造形する。そして、このような場合、撮影装置12において取得する複数の画像において、色のずれ等が生じていると、造形する造形物においても、意図しない色のずれが生じることになる。
より具体的に、例えば、撮影装置12において立体的な対象物50を撮影する場合、対象物50に対する光の当たり方の影響等により、対象物50の位置によって色の見え方に差が生じること等が考えられる。また、例えば、使用する複数のカメラ104における撮像素子の特性や、ホワイトバランス等に設定等により、実際の見た目とは異なる色味の画像が撮影される場合もある。そして、このような場合において、撮影装置12において取得された複数の画像をそのまま用いて色データを生成すると、本来の色とは異なる色を示す色データが生成されることになる。また、その結果、造形する造形物においても、意図しない色のずれが生じることになる。
これに対し、本例においては、例えば、カラーターゲット60及び対象物50を撮影した複数の画像を用い、色の補正を自動的に行うことにより、対象物50を撮影した画像において色のずれ等が生じている場合にも、画像の色を実際の見た目に近づけるように、色の補正を適切に行うことができる。また、これにより、例えば、対象物50の形状及び色を高い精度で適切に読み取り、立体形状データ及び色データを適切に生成することができる。また、このような立体形状データ及び色データを用いて造形装置16において造形の動作を行うことで、高い品質の造形物を適切に造形することができる。
ここで、カラーターゲット60を用いて色の補正を行うことを考えた場合、対象物50の周囲にカラーターゲット60を設置するのではなく、対象物50の撮影とカラーターゲット60の撮影とを別に行えばよいようにも思われる。この場合も、例えば、対象物50の撮影環境と同じ撮影条件でカラーターゲット60を撮影すれば、カラーターゲット60を撮影した画像に基づき、色の補正に用いるプロファイル等を作成することができる。また、このようにして作成したプロファイルを用い、対象物50が写った画像の補正を行うことで、本来の見た目通りの色に補正された画像を得ることも可能である。
しかし、上記のようにカラーターゲット60の撮影と対象物50の撮影とを別に行う場合、画像の色の補正を行うために必要となる一連の作業に要する手間が大きく増大することになる。また、このような作業は、使用する装置や照明条件等の撮影環境が変化する毎に行うことが必要になる。そのため、色の補正のために行う作業については、できるだけ省力化することが望まれる。これに対し、本例においては、対象物50の周囲にカラーターゲット60を配置した状態で撮影された複数の画像を用いることで、上記のように、色の補正の処理を適切に自動化することができる。また、これにより、色の補正に要する作業を大幅に省力化することができる。
尚、色の補正を行う動作に関し、例えば、カラーターゲット60を探索する処理や、色の調整等については、必ずしも自動的に行わずに、マウス、キーボード、又はタッチパネル等のユーザインターフェースを介してユーザの指示を適宜受け付けつつ、ユーザの手動操作により行えばよいようにも思われる。しかし、本例のように、一つの対象物50に対して複数の画像を取得する場合、ユーザの手動操作により色の補正を行うとすると、ユーザの手間が大きく増大することになる。
また、上記においても説明をしたように、本例においては、複数のカラーターゲット60を用い、それぞれのカラーターゲット60について、対象物50の周囲の任意の位置に設置する。そして、このような場合において、ユーザの手動操作により色の補正を行うとすると、ユーザの手間が特に大きく増大することになる。また、カラーターゲット60の見落とし等が生じるおそれもある。これに対し、本例においては、上記のように自動的に色の補正を行うことで、ユーザに大きな負担をかけることなく、色の補正を高い精度で適切に行うことができる。
続いて、造形システム10において行う動作の変形例や、上記において説明をした各構成に関する補足説明等を行う。図5は、造形システム10において行う動作の変形例について説明をする図である。図5(a)、(b)は、変形例における撮影時の対象物50及びカラーターゲット60の状態の一例を示す。
上記においては、主に、撮影装置12(図1参照)での撮影の対象として、一つの対象物50のみを用いる場合の動作について、説明をした。しかし、造形システム10において行う動作の変形例においては、例えば図5(a)に示すように、複数の対象物50に対して、同時に形状及び色の読み取りを行うこと等も考えられる。この場合、複数の対象物50は、撮影装置12におけるステージ102(図1参照)に同時に設置されて、複数のカメラ104(図1参照)により、撮影がされる。また、この場合、例えば図中に示すように、それぞれの対象物50の周囲に複数のカラーターゲット60を設置した状態で、撮影を行う。また、これにより、立体データ生成装置14において用いる複数の画像として、複数の対象物50のそれぞれの周囲にカラーターゲット60を設置した状態で撮影された複数の画像を取得する。
また、この場合、立体データ生成装置14において立体形状データを生成する処理(形状データ生成処理)では、例えば、複数の画像に基づき、複数の対象物50のそれぞれの形状をそれぞれが示す複数の立体形状データを生成する。また、色データを生成する処理(色データ生成処理)では、例えば、色の補正を行った後の複数の画像の色に基づき、複数の対象物50のそれぞれの色をそれぞれが示す複数の色データを生成する。このように構成すれば、例えば、複数の対象物50に対する形状及び色の読み取りを効率的かつ適切に行うことができる。
また、この場合、色データを生成する前に行う色の補正の処理(色補正処理)では、例えば、複数の対象物50のそれぞれ毎に、カラーターゲット60を探索する処理(色見本探索処理)において発見したカラーターゲット60が画像の中で示している色に基づき、複数の画像の色の補正を行ってもよい。対象物50毎に色の補正を行うとは、例えば、対象物50によって色の補正の仕方を異ならせることである。このように構成すれば、例えば、複数の対象物50に対して同時に形状及び色の読み取りを行う場合にも、色の補正をより適切に行うことができる。
また、複数の対象物50に対して同時に形状及び色の読み取りを行う場合、使用されている色が大きく異なる複数の対象物50を用いること等も考えられる。これに対し、対象物50毎に色の補正を行う場合、このような場合にも、より適切に色の補正を行うことができる。また、この場合において、それぞれの対象物50の周囲にカラーターゲット60を設置することで、それぞれの対象物50に対応する色の補正をより適切に行うことができる。対象物50毎に色の補正を行う方法としては、例えば、色の補正に用いるプロファイルを対象物50毎に作成すること等が考えられる。また、この場合、例えば、カラーターゲット60と対象物50とを予め対応付けておき、それぞれの対象物50に対応する色の補正について、その対象物50に対応するカラーターゲット60を用いて行うこと等も考えられる。この場合、例えば、カラーターゲット60におけるマーカ204(図2参照)の特徴(例えば、形状等)を対象物50毎に異ならせることで、カラーターゲット60を区別すること等も考えられる。
また、上記においては、主に、一つの対象物50の周囲に複数のカラーターゲット60を設置して撮影を行う場合の動作について、説明をした。しかし、色の補正に求められる精度等によっては、例えば図5(b)に示すように、一つの対象物50の周囲に一つのカラーターゲット60のみを設置すること等も考えられる。このような場合にも、例えば、複数の画像に写っているカラーターゲット60の色に基づき、色の補正を適切に行うことができる。
続いて、上記において説明をした各構成に関する補足説明等を行う。また、以下においては、説明の便宜上、図5を用いて説明をした変形例等も含めて、上記において説明をした各構成をまとめて、本例という。
図2及び図5等においては、図示の便宜上、側面の形状が比較的単純な形状の対象物50を図示している。しかし、撮影装置12においては、より複雑な形状の対象物50に対する撮影を行うことも可能である。この場合、例えば図6に示すように、対象物50の側面がカメラ104に向かう凸形状になる対象物50を用いること等が考えられる。
図6は、撮影装置12における撮影の対象物50の様々な例を示す図である。図6(a)、(b)は、対象物50の形状の様々な例を撮影装置12(図1参照)における一つのカメラ104と共に示す。また、より具体的に、図6(a)に示す対象物50は、球状の対象物50である。この場合、対象物50の側面は、図中に示すように、カメラ104に向かう凸形状になる。球状の対象物50については、例えば、側面が湾曲した対象物50の例等と考えることもできる。この場合、対象物50の側面が湾曲していることについては、例えば、鉛直方向と平行な面による断面において対象物50の側面に対応する部分が湾曲していること等と考えることができる。また、湾曲した側面を有する対象物50としては、例えば図6(b)に示すような台状(壺状)の対象物50を用いること等も考えられる。
これらのような形状の対象物50を用いる場合にも、上記において説明をした撮影装置12を用いることで、立体形状データ及び色データの生成に用いる画像の撮影を適切に行うことができる。より具体的に、上記においても説明をしたように、本例の撮影装置12において、それぞれのカメラ104は、例えば、鉛直方向における互いに異なる位置を中心とする複数の画像を撮影する。そのため、対象物50の側面において、例えば一つの方向からの撮影では見えにくい部分が生じる場合でも、側面の全体を適切に撮影することができる。また、対象物50の側面が凸形状になっている場合、側面の一部に対し、光があたりにくくなること等も考えられる。しかし、このような場合にも、例えば、必要に応じて対象物50の周囲にカラーターゲット60(図2参照)を設置することで、立体データ生成装置14(図1参照)において、色の補正を適切に行うことができる。
また、対象物50としては、更に複雑な形状の物を用いることも考えられる。例えば、対象物50として、側面が複雑に屈曲している花瓶等を用いること等も考えられる。図7は、より複雑な形状の対象物50の例を示す図である。図7(a)~(c)は、対象物50として用いる花瓶の形状及び模様の例を示す。
図中に示す場合において、花瓶は、例えば図7(a)中に示すように、口、首、肩、胴、腰、高台等の様々な部位を有する。そして、花瓶の側面は、これらの部位を滑らかにつなぐように、位置によって曲率を変化させつつ、連続的に屈曲している。また、花瓶は、例えば図7(c)に示すように、耳の部位を更に有してもよい。また、花瓶の側面には、例えば図7(b)、(c)等に示すように、様々な模様が描かれていてもよい。また、花瓶のような対象物50については、例えば、重力方向において屈曲が連続する物等と考えることができる。
また、花瓶のような複雑な形状の対象物50を用いる場合、例えば、部位間の位置関係によって生じる陰(影)の影響等により、部位によって表面の色に差が生じること等も考えられる。また、その結果、例えば図7(b)に示す花瓶の模様のように、花瓶の表面に同じ形で同じ色の複数の画像が描かれている場合において、その画像の位置が陰になる部分に位置するか、光の当てられる部分に位置するかにより、カメラ104(図2参照)により撮影される画像中での色に差が生じること等も考えられる。これに対し、上記において説明をした撮影装置12を用いる場合、カラーターゲット60(図2参照)と共に対象物50を撮影することで、例えば、対象物50の部分による色の変化を適切に把握することができる。また、これにより、例えば、立体データ生成装置14(図1参照)において、色の補正を適切に行うことができる。
また、本例の撮影装置12においては、様々な形状の対象物50に対する画像の撮影を適切に行えるため、対象物50として、更に様々な物を用いることが考えられる。例えば、撮影の対象物50として、人間等の生物や、植物等を用いること等が考えられる。また、撮影の対象物として、様々な形状の美術品を用いること等も考えられる。
また、上記のように、本例においては、画像に写っているカラーターゲット60について、画像の特徴点としても利用する。また、この場合、必要に応じて、カラーターゲット60以外の構成やパターン等を更に特徴点として用いてもよい。また、造形システム10の動作の変形例においては、カラーターゲット60を特徴点として用いずに、立体形状データ及び色データの生成を行ってもよい。
また、上記においても説明をしたように、本例においては、複数の画像の色について、画像中での色と立体物の本来の色との間に差が生じている場合にも、色の補正を適切に行うことができる。そのため、例えば、撮影装置12における複数のカメラ104の特性に差がある場合等にも、適切に色の補正を行うことができる。また、この場合、本例において行う色の補正により、カメラ104の特性のばらつきに対する補正も行っていると考えることができる。また、より高い精度で色の補正を行うためには、カメラ104の特性の差については、予め、一定の範囲内になるように調整を行っておくことが好ましい。
また、上記においても説明をしたように、本例の造形システム10では、撮影装置12において撮影を行った対象物50を示す立体形状データ及び色データを造形装置16において生成し、立体形状データ及び色データに基づき、造形装置16(図1参照)において、造形物の造形を行う。この場合、造形装置16において、例えば、対象物50を縮小して示す造形物を造形すること等が考えられる。また、上記においても説明をしたように、造形装置16としては、例えば、複数色のインクを造形の材料として用いて積層造形法で造形物を造形する装置等を用いることが考えられる。より具体的に、造形装置16としては、例えば、図8に示す構成を備える装置を用いること等が考えられる。
図8は、造形システム10における造形装置16の構成の一例を示す。図8(a)は、造形装置16の要部の構成の一例を示す。上記及び以下に説明をする点を除き、造形装置16は、公知の造形装置と同一又は同様の特徴を有してよい。より具体的に、上記及び以下に説明をする点を除き、造形装置16は、インクジェットヘッドを用いて造形物350の材料となる液滴を吐出することで造形を行う公知の造形装置と同一又は同様の特徴を有してよい。また、造形装置16は、図示した構成以外にも、例えば、造形物350の造形等に必要な各種構成を更に備えてよい。
本例において、造形装置16は、積層造形法により立体的な造形物350を造形する造形装置(3Dプリンタ)であり、ヘッド部302、造形台304、走査駆動部306、及び制御部308を備える。ヘッド部302は、造形物350の材料を吐出する部分である。また、本例において、造形物350の材料としては、インクを用いる。この場合、インクとは、例えば、機能性の液体のことである。また、より具体的に、ヘッド部302は、造形物350の材料として、複数のインクジェットヘッドから、所定の条件に応じて硬化するインクを吐出する。そして、着弾後のインクを硬化させることにより、造形物350を構成する各層を重ねて形成する。また、本例では、インクとして、紫外線の照射により液体状態から硬化する紫外線硬化型インク(UVインク)を用いる。また、ヘッド部302は、造形物350の材料に加え、サポート層352の材料を更に吐出する。これにより、ヘッド部302は、造形物350の周囲等に、必要に応じて、サポート層352を形成する。サポート層352とは、例えば、造形中の造形物350の少なくとも一部を支持する積層構造物のことである。サポート層352は、造形物350の造形時において、必要に応じて形成され、造形の完了後に除去される。
造形台304は、造形中の造形物350を支持する台状部材であり、ヘッド部302におけるインクジェットヘッドと対向する位置に配設され、造形中の造形物350及びサポート層352を上面に載置する。また、本例において、造形台304は、少なくとも上面が積層方向(図中のZ方向)へ移動可能な構成を有しており、走査駆動部306に駆動されることにより、造形物350の造形の進行に合わせて、少なくとも上面を移動させる。この場合、積層方向については、例えば、積層造形法において造形の材料が積層される方向等と考えることができる。また、本例において、積層方向は、造形装置16において予め設定される主走査方向(図中のY方向)及び副走査方向(図中のX方向)と直交する方向である。
走査駆動部306は、造形中の造形物350に対して相対的に移動する走査動作をヘッド部302に行わせる駆動部である。この場合、造形中の造形物350に対して相対的に移動するとは、例えば、造形台304に対して相対的に移動することである。また、ヘッド部302に走査動作を行わせるとは、例えば、ヘッド部302が有するインクジェットヘッドに走査動作を行わせることである。また、本例において、走査駆動部306は、走査動作として、主走査動作(Y走査)、副走査動作(X走査)、及び積層方向走査動作(Z走査)をヘッド部302に行わせる。
主走査動作とは、例えば、造形中の造形物350に対して相対的に主走査方向へ移動しつつインクを吐出する動作のことである。副走査動作とは、例えば、主走査方向と直交する副走査方向へ造形中の造形物350に対して相対的に移動する動作のことである。副走査動作については、例えば、予め設定された送り量だけ副走査方向へ造形台304に対して相対的に移動する動作等と考えることもできる。本例において、走査駆動部306は、主走査動作の合間に、副走査方向におけるヘッド部302の位置を固定して、造形台304を移動させることにより、ヘッド部302に副走査動作を行わせる。積層方向走査動作とは、例えば、造形中の造形物350に対して相対的に積層方向へヘッド部302を移動させる動作のことである。走査駆動部306は、造形の動作の進行に合わせてヘッド部302に積層方向走査動作を行わせることにより、積層方向において、造形中の造形物350に対するインクジェットヘッドの相対位置を調整する。
制御部308は、例えば造形装置16のCPUを含む構成であり、造形装置16の各部を制御することにより、造形装置16における造形の動作を制御する。より具体的に、本例において、制御部308は、立体データ生成装置14(図1参照)において生成される立体形状データ及び色データに基づき、造形装置16の各部を制御する。
また、造形装置16において、ヘッド部302は、例えば、図8(b)に示す構成を有する。図8(b)は、造形装置16におけるヘッド部302の構成の一例を示す。本例において、ヘッド部302は、複数のインクジェットヘッド、複数の紫外線光源404、及び平坦化ローラ406を有する。また、複数のインクジェットヘッドとして、図中に示すように、インクジェットヘッド402s、インクジェットヘッド402w、インクジェットヘッド402y、インクジェットヘッド402m、インクジェットヘッド402c、インクジェットヘッド402k、及びインクジェットヘッド402tを有する。これらの複数のインクジェットヘッドは、例えば、副走査方向における位置を揃えて、主走査方向へ並べて配設される。また、それぞれのインクジェットヘッドは、造形台304と対向する面に、所定のノズル列方向へ複数のノズルが並ぶノズル列を有する。また、本例において、ノズル列方向は、副走査方向と平行な方向である。
また、これらのインクジェットヘッドのうち、インクジェットヘッド402sは、サポート層352の材料を吐出する。サポート層352の材料としては、例えば、サポート層用の公知の材料を好適に用いることができる。インクジェットヘッド402wは、白色(W色)のインクを吐出する。この場合、白色のインクは、光反射性のインクの一例である。
インクジェットヘッド402y、インクジェットヘッド402m、インクジェットヘッド402c、インクジェットヘッド402k(インクジェットヘッド402y~k)は、着色された造形物350の造形時に用いられる着色用のインクジェットヘッドであり、着色に用いる複数色のインク(着色用のインク)のそれぞれのインクを吐出する。より具体的に、インクジェットヘッド402yは、イエロー色(Y色)のインクを吐出する。インクジェットヘッド402mは、マゼンタ色(M色)のインクを吐出する。インクジェットヘッド402cは、シアン色(C色)のインクを吐出する。また、インクジェットヘッド402kは、ブラック色(K色)のインクを吐出する。また、この場合、YMCKの各色は、フルカラー表現に用いるプロセスカラーの一例である。インクジェットヘッド402tは、クリアインクを吐出する。クリアインクとは、例えば、可視光に対して無色で透明(T)なインクのことである。
複数の紫外線光源404は、インクを硬化させるための光源(UV光源)であり、紫外線硬化型インクを硬化させる紫外線を発生する。また、本例において、複数の紫外線光源404のそれぞれは、間にインクジェットヘッドの並びを挟むように、ヘッド部302における主走査方向の一端側及び他端側のそれぞれに配設される。紫外線光源404としては、例えば、UVLED(紫外LED)等を好適に用いることができる。また、紫外線光源404として、メタルハライドランプや水銀ランプ等を用いることも考えられる。平坦化ローラ406は、造形物350の造形中に形成されるインクの層を平坦化するための平坦化手段である。平坦化ローラ406は、例えば主走査動作時において、インクの層の表面と接触して、硬化前のインクの一部を除去することにより、インクの層を平坦化する。
以上のような構成のヘッド部302を用いることにより、造形物350を構成するインクの層を適切に形成できる。また、複数のインクの層を重ねて形成することにより、造形物350を適切に造形できる。また、この場合、上記の各色のインクを用いることで、着色された造形物を適切に造形することができる。また、より具体的に、造形装置16は、例えば、造形物350の表面を構成する部分に着色領域を形成し、その内側に光反射領域を形成することで、着色された造形物を造形する。この場合、着色領域については、プロセスカラーの各色のインクとクリアインクとを用いて形成することが考えられる。また、この場合、クリアインクについては、例えば、着色領域の各位置に対して着色する色の違いによって生じるプロセスカラーのインクの使用量の変化を補填するために用いることが考えられる。また、光反射領域については、例えば、白色のインクを用いて形成することが考えられる。
また、上記においては、色の補正について、主に、その後に立体物の造形を行う場合に着目して、説明をした。しかし、上記と同様にして行う色の補正は、立体物の造形を行う場合以外にも好適に用いることができる。例えば、コンピュータグラフィックス(CG)等の分野において、着色された立体物の表示等を行う場合、上記と同一又は同様の補正を行って、立体形状データ及び色データを生成すること等が考えられる。
本発明は、例えば立体データ生成装置に好適に用いることができる。
10・・・造形システム、12・・・撮影装置、14・・・立体データ生成装置、16・・・造形装置、50・・・対象物、60・・・カラーターゲット、102・・・ステージ、104・・・カメラ、202・・・パッチ部、204・・・マーカ、302・・・ヘッド部、304・・・造形台、306・・・走査駆動部、308・・・制御部、350・・・造形物、352・・・サポート層、402・・・インクジェットヘッド、404・・・紫外線光源、406・・・平坦化ローラ

Claims (10)

  1. 立体的な対象物を互いに異なる視点から撮影することで得られた複数の画像に基づいて前記対象物の立体形状を示すデータである立体形状データを生成する立体データ生成装置であって、
    前記複数の画像として、予め設定された色を示す色見本を前記対象物の周囲に設置した状態で撮影された複数の画像を用い、
    前記複数の画像の少なくともいずれかに対し、前記画像に写っている前記色見本を探索する色見本探索処理と、
    前記色見本探索処理において発見した前記色見本が前記画像の中で示している色に基づき、前記複数の画像の色の補正を行う色補正処理と、
    前記複数の画像に基づいて前記立体形状データを生成する形状データ生成処理と、
    前記対象物の色を示すデータである色データを生成する処理であり、前記色補正処理において補正を行った後の前記複数の画像の色に基づいて前記色データを生成する色データ生成処理と
    を行い、
    前記複数の画像として、複数の前記色見本を前記対象物の周囲に設置した状態で撮影された複数の画像を用い、
    前記色見本は、複数の色を示すカラーチャートであり、
    互いに異なる色を示す複数のカラーパッチにより構成されるパッチ部と、
    前記色見本を識別するために用いられる部材であるマーカと
    を有することを特徴とする立体データ生成装置。
  2. 前記色補正処理において、前記複数の色見本のそれぞれが前記画像の中で示している色に基づき、前記複数の画像の色の補正を行うことを特徴とする請求項1に記載の立体データ生成装置。
  3. 前記色見本探索処理において、前記画像に写っている前記色見本の少なくとも一部を特徴点として検出し、
    前記形状データ生成処理において、前記特徴点を利用して、前記複数の画像に基づき、前記立体形状データを生成することを特徴とする請求項1又は2に記載の立体データ生成装置。
  4. 前記色見本は、前記色見本であることを示す識別部を有し、
    前記色見本探索処理において、前記色見本の前記識別部を認識することにより、前記画像に写っている前記色見本を探索し、
    かつ、前記識別部を前記特徴点として検出することを特徴とする請求項3に記載の立体データ生成装置。
  5. 前記色見本は、前記対象物の周囲における任意の位置に設置されるものであり、
    前記色見本探索処理において、前記画像中における前記色見本の位置が未知の状態から前記色見本を探索することを特徴とする請求項1から4のいずれかに記載の立体データ生成装置。
  6. 前記複数の画像として、複数の前記対象物のそれぞれの周囲に前記色見本を設置した状態で撮影された複数の画像を用い、
    前記形状データ生成処理において、前記複数の画像に基づき、前記複数の対象物のそれぞれの形状をそれぞれが示す複数の前記立体形状データを生成し、
    前記色データ生成処理において、前記色補正処理において補正を行った後の前記複数の画像の色に基づき、前記複数の対象物のそれぞれの色をそれぞれが示す複数の前記色データを生成することを特徴とする請求項1から5のいずれかに記載の立体データ生成装置。
  7. 前記色補正処理において、前記複数の対象物のそれぞれ毎に、前記色見本探索処理において発見した前記色見本が前記画像の中で示している色に基づき、前記複数の画像の色の補正を行うことを特徴とする請求項6に記載の立体データ生成装置。
  8. 立体的な対象物を互いに異なる視点から撮影することで得られた複数の画像に基づいて前記対象物の立体形状を示すデータである立体形状データを生成する立体データ生成方法であって、
    前記複数の画像として、予め設定された色を示す色見本を前記対象物の周囲に設置した状態で撮影された複数の画像を用い、
    前記複数の画像の少なくともいずれかに対し、前記画像に写っている前記色見本を探索する色見本探索処理と、
    前記色見本探索処理において発見した前記色見本が前記画像の中で示している色に基づき、前記複数の画像の色の補正を行う色補正処理と、
    前記複数の画像に基づいて前記立体形状データを生成する形状データ生成処理と、
    前記対象物の色を示すデータである色データを生成する処理であり、前記色補正処理において補正を行った後の前記複数の画像の色に基づいて前記色データを生成する色データ生成処理と
    を行い、
    前記複数の画像として、複数の前記色見本を前記対象物の周囲に設置した状態で撮影された複数の画像を用い、
    前記色見本は、複数の色を示すカラーチャートであり、
    互いに異なる色を示す複数のカラーパッチにより構成されるパッチ部と、
    前記色見本を識別するために用いられる部材であるマーカと
    を有することを特徴とする立体データ生成方法。
  9. 立体的な対象物を互いに異なる視点から撮影することで得られた複数の画像に基づいて前記対象物の立体形状を示すデータである立体形状データを生成させるプログラムであって、
    前記複数の画像は、予め設定された色を示す色見本を前記対象物の周囲に設置した状態で撮影された複数の画像であり、
    前記プログラムを実行する装置に、
    前記複数の画像の少なくともいずれかに対し、前記画像に写っている前記色見本を探索する色見本探索処理と、
    前記色見本探索処理において発見した前記色見本が前記画像の中で示している色に基づき、前記複数の画像の色の補正を行う色補正処理と、
    前記複数の画像に基づいて前記立体形状データを生成する形状データ生成処理と、
    前記対象物の色を示すデータである色データを生成する処理であり、前記色補正処理において補正を行った後の前記複数の画像の色に基づいて前記色データを生成する色データ生成処理と
    を行わせ
    前記複数の画像として、複数の前記色見本を前記対象物の周囲に設置した状態で撮影された複数の画像を用い、
    前記色見本は、複数の色を示すカラーチャートであり、
    互いに異なる色を示す複数のカラーパッチにより構成されるパッチ部と、
    前記色見本を識別するために用いられる部材であるマーカと
    を有することを特徴とするプログラム。
  10. 立体的な造形物を造形する造形システムであって、
    立体的な対象物を互いに異なる視点から撮影することで得られた複数の画像に基づいて前記対象物の立体形状を示すデータである立体形状データを生成する立体データ生成装置と、
    立体物の造形を行う造形装置と
    を備え、
    前記立体データ生成装置は、
    前記複数の画像として、予め設定された色を示す色見本を前記対象物の周囲に設置した状態で撮影された複数の画像を用い、
    前記複数の画像の少なくともいずれかに対し、前記画像に写っている前記色見本を探索する色見本探索処理と、
    前記色見本探索処理において発見した前記色見本が前記画像の中で示している色に基づき、前記複数の画像の色の補正を行う色補正処理と、
    前記複数の画像に基づいて前記立体形状データを生成する形状データ生成処理と、
    前記対象物の色を示すデータである色データを生成する処理であり、前記色補正処理において補正を行った後の前記複数の画像の色に基づいて前記色データを生成する色データ生成処理と
    を行い、
    前記造形装置は、前記立体データ生成装置が生成した前記立体形状データ及び前記色データに基づき、前記立体物の造形を行い、
    前記複数の画像として、複数の前記色見本を前記対象物の周囲に設置した状態で撮影された複数の画像を用い、
    前記色見本は、複数の色を示すカラーチャートであり、
    互いに異なる色を示す複数のカラーパッチにより構成されるパッチ部と、
    前記色見本を識別するために用いられる部材であるマーカと
    を有することを特徴とする造形システム。
JP2021507242A 2019-03-15 2020-03-11 立体データ生成装置、立体データ生成方法、プログラム、及び造形システム Active JP7447083B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019048792 2019-03-15
JP2019048792 2019-03-15
PCT/JP2020/010620 WO2020189448A1 (ja) 2019-03-15 2020-03-11 立体データ生成装置、立体データ生成方法、プログラム、及び造形システム

Publications (2)

Publication Number Publication Date
JPWO2020189448A1 JPWO2020189448A1 (ja) 2020-09-24
JP7447083B2 true JP7447083B2 (ja) 2024-03-11

Family

ID=72519102

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021507242A Active JP7447083B2 (ja) 2019-03-15 2020-03-11 立体データ生成装置、立体データ生成方法、プログラム、及び造形システム

Country Status (3)

Country Link
US (1) US20220198751A1 (ja)
JP (1) JP7447083B2 (ja)
WO (1) WO2020189448A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011198349A (ja) 2010-02-25 2011-10-06 Canon Inc 情報処理方法及びその装置
JP2012065192A (ja) 2010-09-16 2012-03-29 Dic Corp 色選択補助装置、方法、及び、そのプログラム
JP2014192859A (ja) 2013-03-28 2014-10-06 Kanazawa Univ 色補正方法、プログラム及び装置
JP2015044299A (ja) 2013-08-27 2015-03-12 ブラザー工業株式会社 立体造形データ作成装置およびプログラム
JP2018094784A (ja) 2016-12-13 2018-06-21 株式会社ミマキエンジニアリング 造形方法、造形システム、及び造形装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10579875B2 (en) * 2017-10-11 2020-03-03 Aquifi, Inc. Systems and methods for object identification using a three-dimensional scanning system
JP7187182B2 (ja) * 2018-06-11 2022-12-12 キヤノン株式会社 データ生成装置、方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011198349A (ja) 2010-02-25 2011-10-06 Canon Inc 情報処理方法及びその装置
JP2012065192A (ja) 2010-09-16 2012-03-29 Dic Corp 色選択補助装置、方法、及び、そのプログラム
JP2014192859A (ja) 2013-03-28 2014-10-06 Kanazawa Univ 色補正方法、プログラム及び装置
JP2015044299A (ja) 2013-08-27 2015-03-12 ブラザー工業株式会社 立体造形データ作成装置およびプログラム
JP2018094784A (ja) 2016-12-13 2018-06-21 株式会社ミマキエンジニアリング 造形方法、造形システム、及び造形装置

Also Published As

Publication number Publication date
JPWO2020189448A1 (ja) 2020-09-24
US20220198751A1 (en) 2022-06-23
WO2020189448A1 (ja) 2020-09-24

Similar Documents

Publication Publication Date Title
JP6058465B2 (ja) 印刷装置および印刷方法
US8406508B2 (en) Reproducible three dimensional vacuum forming technique
JP6647548B2 (ja) 3次元形状データの作成方法及びプログラム
JP2015007866A (ja) 投影画像補正システム、投影画像補正方法、プログラムおよびコンピューター読み取り可能な記録媒体
JP6224476B2 (ja) 印刷装置および印刷方法
US9956717B2 (en) Mapping for three dimensional surfaces
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
KR102269950B1 (ko) 입체물 인쇄 시스템 및 입체물 인쇄 방법
KR102222290B1 (ko) 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법
JP2015134410A (ja) 印刷装置および印刷方法
US10350834B2 (en) Slice image creation device, three-dimensional printing system, and slice image creation method
CN113306308B (zh) 基于高精度视觉定位的便携式打印复印机的设计方法
JP7352239B2 (ja) プロジェクションシステム、プロジェクション制御装置、プロジェクション制御プログラム、及びプロジェクションシステムの制御方法
US9862218B2 (en) Method for printing on a media object in a flatbed printing system
JP7447083B2 (ja) 立体データ生成装置、立体データ生成方法、プログラム、及び造形システム
WO2021039024A1 (ja) 立体物印刷システム及び立体物印刷方法
JP2004220516A (ja) 3次元地理形状モデルのテクスチャ画像取得方法
JP7193425B2 (ja) 立体データ生成装置、立体データ生成方法、及び造形システム
WO2021010275A1 (ja) フォトグラメトリ用撮影装置、造形装置、造形物セット、立体データ生成装置、及び造形システム
JP6797814B2 (ja) プリンタのフラットベッド面上の媒体の位置を確立するための方法
JP2021049716A (ja) 三次元造形方法及び三次元造形システム
JP6532378B2 (ja) 造形システム、造形動作の制御方法、造形制御装置、及びプログラム
JP2018058340A (ja) 情報処理装置、立体造形装置、立体造形システム、設定方法、及びプログラム
CN109435226A (zh) 一种大范围3d打印方法
JP7271202B2 (ja) 情報生成装置、その制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230815

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240228

R150 Certificate of patent or registration of utility model

Ref document number: 7447083

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150