JP6963649B2 - 画像処理装置及びその制御方法、ならびにプログラム - Google Patents

Description

本発明は、画像処理装置及びその制御方法、ならびにプログラムに関する。

従来、３Ｄプリンタとも呼ばれる立体物の造形装置が知られており、特許文献１は、露光により光硬化性樹脂を硬化させた樹脂硬化層を積層して立体物を造形する光造形装置を開示している。

一方、造形装置に入力する３次元座標のデータ（３次元情報ともいう）は様々な方法で取得することができ、例えば撮像装置を用いて被写体の３次元情報を取得する技術が知られている。特許文献２は、同一の被写体を異なる位置から撮影して得られる複数の画像に含まれる同一特徴点の位置と、各画像を撮影したカメラの位置および姿勢の情報とから、被写体の３次元情報を推定するシステムを開示している。

特開２００４−１２２５０１号公報 特開２０１１−８５９７１号公報

ところで、取得された３次元情報を造形装置に入力して立体物を造形する場合、入力した３次元情報の分解能と造形装置の造形可能な分解能の差が問題となる場合がある。例えば、入力した３次元情報に対して造形装置の分解能が低い場合、３次元情報の再現性が低い造形物しか得られず、詳細な形状を再現することができない。他方、造形装置の分解能が高い場合、造形装置の能力を十分に活用できない。

このため、入力した３次元情報の分解能と造形装置の分解能の関係をユーザが適切に整合させることが望ましい。しかし、造形物を生成する際に、入力した３次元情報の分解能と造形装置の分解能の関係が適当であるかをユーザが容易に把握することができないという課題がある。

本発明は、上記課題に鑑みてなされたものであり、入力した３次元情報を用いた画像処理物の生成を支援することが可能な画像処理装置及びその制御方法ならびにプログラムを提供することを目的とする。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、撮像手段により撮影された、造形手段により造形される３次元形状の３次元情報を取得する取得手段と、取得した３次元情報の分解能と、造形手段が３次元形状を造形する分解能である造形分解能とを比較して、取得した３次元情報の分解能が造形分解能より粗いか否かを判定する判定手段と、前記判定手段により取得した３次元情報の分解能が造形分解能より粗いと判定された部分の表示態様を他の部分の表示態様と異ならせて、取得した３次元情報を表示部に表示させる表示制御手段と、を有し、取得手段は、３次元情報をさらに取得した場合、さらに取得した３次元情報に基づいて、それまでに取得した３次元情報を補間することにより補間済み３次元情報を生成し、判定手段は、補間済み３次元情報と造形分解能とを比較し、表示制御手段は、補間済み３次元情報と造形分解能との比較結果に基づいて、表示を更新することを特徴とする。

本発明によれば、入力した３次元情報を用いた造形物の生成を支援することが可能になる。

本発明の実施形態に係る造形装置の一例としての３Ｄプリンタの外観構成例を示す図（ａ）と機能構成例を示すブロック図（ｂ） 取得分解能の違いによる立体造形物の違いを模式的に示す図 取得分解能と造形分解能の関係を模式的に説明する図 造形分解能の違いによる立体造形物の細部形状の違いを模式的に説明する図 造形倍率を模式的に説明する図 造形倍率の変化による造形分解能の変化を模式的に説明する図 ３次元情報の取得分解能が十分でない箇所の表示方法を説明する図 ３次元情報を複数回入力して得られる３次元情報の取得分解能を模式的に説明する図 立体物造形処理に係る一連の動作を示すフローチャート

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、３次元情報を入力して立体画像処理物を出力可能な任意の３Ｄプリンタに本発明を適用した例を説明する。

（３Ｄプリンタ１の構成）
図１（ａ）は、本実施形態の画像処理装置の一例としての３Ｄプリンタ１の外観構成例を、図１（ｂ）は、３Ｄプリンタ１の機能構成例を示すブロック図である。なお、図１（ｂ）に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

３Ｄプリンタ１は、立体造形物を造形する造形部２や入力部３等の各部がシステム制御部５と接続して構成される。造形部２は、造形材料を吐出する吐出ノズルを含む造形ヘッドを有し、造形ヘッドを３次元的に移動させることにより、造形材料を硬化させた硬化層を積層して立体物を造形する。

システム制御部５は、例えばＣＰＵ又はＭＰＵ、不揮発性メモリ及び揮発性メモリを含み、不揮発性メモリに記憶されたプログラムを揮発性メモリの作業エリアに展開し、実行することにより各部の動作を制御し、３Ｄプリンタ１の動作を実現する。

表示部４は、例えばＬＣＤパネルやＬＥＤパネルを用いた表示部材を含み、表示制御部１６の指示に応じて、例えば３Ｄプリンタ１を操作するためのメニュー画面やユーザが選択した３次元情報等を表示する。

入力部３は、ユーザが３Ｄプリンタ１に各種の指示やデータを入力するためのインタフェースである。入力部３はキー、ボタン、スイッチ、タッチパネル等の物理的な操作を伴う入力デバイス群や、音声入力などの非接触な入力方法に対応した構成を含む。また、入力部３は、物理的な接続端子や後述する通信部１７を介して入力された３次元情報を取得する構成を含む。入力部３は、造形を行うための３次元情報を入力する３次元情報入力部６、及びユーザが入力した３次元情報から造形する被写体を選択する被写体選択部７を含む。また、造形分解能を入力する造形分解能入力部８、及び造形する被写体の造形倍率を入力する造形倍率入力部９をさらに含む。なお、本実施形態では、３Ｄプリンタ１に入力する３次元情報は、様々な方法で作成された３次元情報であってよい。例えば、３ＤＣＡＤのような３次元形状データを作成可能な装置によって作成されたデータや、３次元情報を取得可能な撮像装置を用いて取得されたデータであってよい。この３次元情報を取得可能な撮像装置によって取得されたデータは、例えば、２次元的な広がりを有する撮影画像に加えて撮像装置から被写体までの距離情報を含むデータであり、被写体及びその周辺の物体の３次元座標群を含む。

ここで造形分解能とは、３Ｄプリンタ１がどの程度の細かさで立体造形物を造形可能かという程度を表し、例えば、立体造形物を０．０２ｍｍピッチで造形可能である場合、造形分解能は「０．０２ｍｍ」となる。例えば、システム制御部５が、予めメモリ部１０に記憶させた３Ｄプリンタ１の造形分解能を読み出して入力する。あるいは、３Ｄプリンタ１の型番と造形分解能の対応表をメモリ部１０に記憶させておき、システム制御部５が、ユーザにより入力された又はメモリ部１０から読み出した３Ｄプリンタ１の型番に基づいて対応する造形分解能を入力してもよい。

また、造形倍率とは、被写体の実際の大きさに対する立体造形物の大きさを表す値である。変形を伴わない場合には３次元座標のいずれか一方向についての倍率を指定するようにしてもよいし、体積の倍率を指定するようにしてもよい。倍率を表す値は、ユーザが任意に入力するか、あるいは、取得した３次元情報から造形する被写体を決定した際に、自動で設定されるようにしてもよい。造形倍率を自動で決定する場合、例えば、システム制御部５は、３次元情報に基づいて得られる被写体の実際の大きさと３Ｄプリンタ１によって造形可能な最大の大きさとに基づいて、３Ｄプリンタ１で造形可能な最大の造形倍率を決定することができる。また、ユーザが入力部３に造形したい立体造形物の大きさ（例えば「１００×１００×１００ｍｍ以内」など）を入力することにより、システム制御部５は、被写体の実際の大きさと立体造形物の大きさとを比較して、造形倍率を決定してもよい。

メモリ部１０は、例えば不揮発性メモリ、揮発性メモリの少なくとも一方を含み、データの一時記憶や各種設定値などの保存などに用いられる。なお、システム制御部５が実行するプログラムの少なくとも一部がメモリ部１０に記憶されていてもよいし、メモリ部１０がシステム制御部５の作業領域として用いられてもよい。なお、メモリ部１０には、着脱可能な記憶媒体と、記憶媒体にデータを書き込んだり、記憶媒体からデータを読み出したりするためのインタフェースや周辺回路が含まれていてもよい。

また、メモリ部１０は、入力した３次元情報を記憶する３次元情報記憶部１１、入力した３次元情報の分解能を記憶する取得分解能記憶部１２、３Ｄプリンタ１の造形分解能を記憶する造形分解能記憶部１３を含む。取得分解能記憶部１２は、３次元情報入力部６により入力された３次元情報の分解能（取得分解能という）を記憶する。取得分解能は、被写体の３次元情報の細かさを表すものであり、取得した３次元情報を構成する３次元座標群の最短距離を表す。

比較部１４は、取得分解能記憶部１２に記憶された取得分解能と、造形分解能記憶部１３にそれぞれ記憶された造形分解能とを比較し、比較結果をシステム制御部５に出力する。このとき比較部１４は、立体物造形装置の造形分解能に対して、取得した３次元情報の取得分解能が十分であるか（すなわち適切であるか）を判定する。なお、比較部１４が用いる造形分解能は３Ｄプリンタ１の造形分解能を十分に生かす分解能に限らず、ユーザが立体造形物を出力しようとしている所望の分解能であってもよい。この場合、造形分解能記憶部１３には、ユーザにより設定された所望の分解能が記憶されており、比較部１４は記憶されている所望の分解能を用いる。例えば、３Ｄプリンタ１が０．０２ｍｍの分解能で出力可能であっても、ユーザが０．０４ｍｍの分解能に設定する場合、造形分解能記憶部１３には０．０４ｍｍの値が記憶されている。

３次元形状作成部１５は、３次元情報記憶部１１に記憶された３次元情報に基づき、例えばポリゴンを用いて造形する立体造形物の３次元形状（３次元モデルともいう）を作成する。また、３Ｄプリンタ１によって造形される（すなわち造形分解能の影響を加味した）立体造形物の３次元形状（造形結果モデルともいう）を作成する。

表示制御部１６は、メニュー画面やユーザが選択した３次元情報のほか、例えば、後述するように、３次元形状作成部１５において作成された３次元モデル又は造形結果モデルと比較部１４による比較結果を合わせて表示するように表示部４を制御する。

通信部１７は、３Ｄプリンタ１と外部装置との通信インタフェースであり、有線および無線の少なくとも一方により、３Ｄプリンタ１と外部装置とが通信することを可能にする。例えば撮像装置やサーバ装置と通信部１７を介して例えば無線ＬＡＮ等の無線通信により接続したり、例えばＵＳＢ等の有線によって接続したりすることで、これらの装置から造形に用いる３次元情報を取得することができる。

（立体物造形処理の概要）
次に、立体物を造形する処理（立体物造形処理ともいう）の概要を説明する。３Ｄプリンタ１を用いて立体物を造形する場合、ユーザは、例えば造形する被写体を含む３次元情報を３次元情報入力部６を用いて入力する。３次元情報入力部６によって３次元情報が入力されると、システム制御部５は、入力された３次元情報を３次元情報記憶部１１に記憶させる。

システム制御部５は、入力された３次元情報に基づいてユーザが被写体選択部７を用いて選択した、造形する被写体を取得する。被写体選択部７では、複数の被写体が撮影された撮影画像から造形する被写体を選択するだけでなく、ユーザが特定の被写体の一部について造形を望む場合に、造形する部分を選択することもできる。

被写体選択部７を介して被写体が選択されると、システム制御部５は、入力された３次元情報から被写体の３次元情報の取得分解能を算出し、取得分解能記憶部１２に記憶する。さらに、システム制御部５は、ユーザが造形分解能入力部８に入力した造形分解能と造形倍率入力部９に入力した造形倍率とを取得して、造形分解能記憶部１３に記憶させる。

その後、システム制御部５は、比較部１４を用いて、取得分解能記憶部１２に記憶された取得分解能と造形分解能記憶部１３に記憶された造形分解能とを比較する。比較部１４の動作については後述するが、比較部１４は、取得分解能が造形分解能に対して十分であるか否かを判定する。また、システム制御部５は、３次元形状作成部１５を用いて、３次元情報記憶部１１に記憶された３次元情報に基づいて、被写体の３次元モデルと立体造形物の造形結果モデルとを生成する。システム制御部５は、表示制御部１６を用いて、比較部１４による比較結果と生成された３次元モデル又は造形結果モデルとを重畳して表示部４に表示する。なお、比較部１４による比較結果と３次元モデル等の表示方法については後述する。

ユーザが、表示部４に表示された３次元モデル或いは取得分解能が十分であるかを確認して立体造形物の造形を開始する場合、システム制御部５は入力部３に含まれる造形開始スイッチに対するユーザ操作を受信して、造形部２により立体造形物を造形する。

（分解能判定処理の概要）
次に、入力された３次元情報の取得分解能が３Ｄプリンタ１の造形分解能に対して、十分であるかを判定する処理（分解能判定処理ともいう）について説明する。

まず、図２を用いて、３次元情報の取得分解能と造形分解能の関係が立体造形物の形状に与える影響について説明する。図２（ａ）は３次元情報を取得する被写体を示し、図２（ｂ）及び図２（ｃ）は、例えば３次元情報を取得可能な撮像装置により図２（ａ）の被写体を撮影した画像から取得した、３次元情報を構成する座標を模式的に示している。図２（ｂ）は、取得分解能が粗い場合、図２（ｃ）は取得分解能が細かい場合の３次元情報をそれぞれ示し、破線２１は被写体の外形を、２２は３次元情報を構成する座標を、２３は取得分解能である。取得分解能２３は、３次元情報を構成する座標２２の隣接座標間の距離である。図２（ｂ）は３次元情報を構成する座標２２の数が図２（ｃ）より少なく、取得分解能２３が粗い。

図２（ｄ）及び図２（ｅ）は、それぞれ図２（ｂ）及び図２（ｃ）に示した３次元情報を基に、図２（ｃ）に示した取得分解能以上の造形分解能で３Ｄプリンタ１により得られる造形物を模式的に示している。ここでは、３次元情報の隣接座標が直線で接続されるものとして造形している。図２（ｄ）及び図２（ｅ）の比較から明らかなように、取得分解能の粗い３次元情報に基づく造形物は、上面の鋸歯形状の再現性が低い。このように、取得分解能２３が粗い場合（すなわち取得した３次元情報の密度が低い場合）、被写体の大まかな形状は再現できるものの、詳細な形状に関してはうまく再現できないことがある。

更に図３（ａ）を参照すると、図３（ａ）は３Ｄプリンタ１により造形される被写体を示し、被写体３０上部の一部３１が図３（ｂ）に拡大して示されている。図３（ｂ）の破線３２は造形時に走査可能な最小間隔の軌跡を示し、造形分解能３３は最小間隔に等しい。造形分解能３３は、造形部２に含まれる、造形材料を吐出する造形ヘッドの位置分解能および造形材料の吐出ノズル径から決定される。図３（ｃ）及び図３（ｄ）は図３（ｂ）に対して、取得分解能２３ａが粗い３次元情報２２ａと、取得分解能２３ｂが細かい３次元情報２２ｂを付加した状態を示している。３次元情報２２ａの取得分解能２３ａは造形分解能３３よりも粗く、３次元情報２２ａの取得分解能２３ｂは造形分解能３３とほぼ等しい。

図４（ａ）及び図４（ｂ）は図３（ｃ）及び図３（ｄ）と同一であり、このような３次元情報を用いて造形分解能３３を適用した３Ｄプリンタ１で立体物を造形すると、図４（ｃ）及び図４（ｄ）のような立体物が造形される。取得分解能２３ａの３次元情報を適用した場合、図４（ｃ）に示すように、被写体３０上部の鋸歯形状は再現できない。一方、取得分解能２３ｂの３次元情報を用いた場合、図４（ｄ）に示すように、被写体３０上部の鋸歯形状も再現可能である。このように、取得分解能が造形分解能未満の場合、３Ｄプリンタ１で再現可能な形状であってもその形状を再現できないことが起こりうる。そのため、３Ｄプリンタの造形分解能を最大限に活かすためには、造形分解能と等しいか、造形分解能より高い取得分解能で３次元情報を取得することが必要である。なお、ここでは分解能を座標のピッチで表しているため、分解能は値が小さい方が高くなり、
取得分解能≦造形分解能 （１）
という関係を満たせば、３Ｄプリンタ１が立体物を造形するのに十分な３次元情報が取得されたと判定することができる。

したがって、図１の比較部１４は、取得分解能記憶部１２に記憶された取得分解能が、造形分解能記憶部１３に記憶された造形分解能以上であれば、十分な分解能の３次元情報が取得されていると判定することができる。

図５は、３次元情報を取得する被写体と、取得した３次元情報を用いて造形された立体造形物を模式的に示した図である。図５（ａ）において、Ｗ、Ｔ、Ｈはそれぞれ被写体５１の水平方向、奥行き方向、および垂直方向の大きさである。また、被写体５１は、３次元情報を取得可能な撮像装置５２により撮影される。また、図５（ｂ）は、被写体３０を撮像装置５２で撮影した画像から取得された３次元情報を用いて３Ｄプリンタ１（図５（ｂ）では造形部２）で生成された造形物５３を示している。Ｗ´、Ｔ´、Ｈ´はそれぞれ水平方向、奥行き方向、および垂直方向の大きさである。

造形倍率ｋを、各方向に共通する倍率とした場合、被写体の大きさＷ、Ｔ、Ｈと造形物の大きさＷ´、Ｔ´、Ｈ´とは、
Ｗ×ｋ＝Ｗ´ （２）
Ｔ×ｋ＝Ｔ´ （３）
Ｈ×ｋ＝Ｈ´ （４）
という関係を有する。

実物大の造形物を生成する場合、造形倍率ｋ＝１である。造形倍率は、ユーザが任意の値を造形倍率入力部９から指定してもよいし、システム制御部５が自動的に設定してもよい。システム制御部５は、例えば、３次元情報から得られる被写体の実際の大きさ（図５（ａ）中のＷ、Ｔ、Ｈ）及び、３Ｄプリンタ１で生成可能な造形物の最大サイズとから造形倍率を算出することができる。また、生成したい造形物の大きさ（例えば図５（ｂ）中の最長辺Ｗ´＝１００［ｍｍ］となるように）をユーザに入力させ、同方向における被写体の実サイズ（図５（ａ）中のＷ）とから、造形倍率を算出して決定してもよい。

造形倍率ｋが１でない場合、つまり実物大の造形物を生成しない場合、３Ｄプリンタ１の造形分解能も相対的に変化する。図６（ａ）及び図６（ｂ）には造形倍率の変化による造形分解能の変化を示している。図６（ａ）は、造形倍率ｋ＝１の場合（すなわち実物大の造形物を生成する場合）、造形分解能６２ａ（図４（ｄ）と同じ造形分解能）を表す破線６１ａを被写体に重畳した状態を示している。一方、図６（ｂ）は造形倍率ｋ＞１の場合（図６（ｂ）ではｋ＝２）、つまり被写体の実寸よりも大きな造形物を生成する場合の造形分解能６２ｂを表す破線６１ｂを被写体に重畳した状態を示している。すなわち、造形倍率ｋが１よりも大きい場合、造形物が被写体の実寸よりも大きくなるため、生成された造形物上の相対的な造形分解能は小さくなる。例えば、図６（ｂ）において、造形倍率ｋ＝２であるため、造形分解能６２ｂは造形分解能６２ａの１／２の大きさとなる。

造形倍率ｋを用いると、式（１）で示された、十分な取得分解能を有する３次元情報が取得されたか否かの判定条件は、
取得分解能≦造形分解能×１／ｋ （５）
となる。比較部１４は、造形倍率を考慮する場合、取得分解能記憶部１２に記憶された取得分解能と、造形分解能記憶部１３に記憶された造形分解能と造形倍率の逆数の積とが式（５）の関係を満たせば、十分な分解能の３次元情報が取得されていると判定することができる。

（分解能判定処理結果の表示例）
次に、図７を用いて、取得した３次元情報の取得分解能と造形分解能の関係に基づいて３次元情報の一部を表示する処理例について説明する。図７（ａ）は表示部４に表示された、被写体７１の表示例を示している。図７（ｂ）〜図７（ｅ）は、図７（ａ）の被写体７１の一部７２を拡大した図である。なお、被写体７１は、被写体を含んだ撮影画像のような２次元モデルや３次元形状作成部１５により出力される３次元形状であってよい。

図７（ｂ）は被写体７１上に３次元情報を構成する座標７３を重畳させた状態を示しており、図３（ｄ）に示した３次元情報２２ｂの一部７４が取得できなかった場合の３次元情報を模式的に示している。７３ａは３次元情報を構成する座標７３のうち、取得密度が粗い部分の座標の１つを示している。この取得分解能が粗い部分は、造形倍率ｋ＝１である場合に式（５）の関係を満たさない状態、すなわち隣接する座標間の距離（取得分解能）が造形分解能に比べて大きく、十分に３次元情報が取得されていない状態に対応する。

図７（ｃ）は被写体７１上に３次元形状作成部１５により作成された複数のポリゴン７５を重畳させた状態を示している。例えば、３次元形状作成部１５は３次元情報を構成する座標７３の３点を用いて３角形のポリゴン７５を形成する。但し、３次元情報を構成する座標７３から平面を有する３次元モデルを形成すれば他の方法であってもよい。

システム制御部５は、例えば座標７３ａを含む部分のように取得分解能が造形分解能よりも粗い部分を、座標７６の色や大きさを他の座標の色や大きさと異ならせて３次元モデル上に表示させる。このように、取得分解能が造形分解能に対して粗い部分について、他の座標と表示態様を異ならせて３次元モデル上に表示させることにより、取得分解能が十分でない部分をユーザに報知することができる。

さらに、図７（ｄ）を用いて、造形分解能に対して取得分解能が粗い部分にポリゴンを形成した領域（以下、欠損領域ともいう）の表示処理について説明する。３次元情報の一部７４は３次元情報の取得が十分でないため、ポリゴン７５ａは隣接座標で構成されるポリゴンと比べて相対的に面積が大きくなる。

そこで、システム制御部５は、例えば領域７８に示すように面積の大きなポリゴン群を他のポリゴンと区別可能に表示して欠損領域をユーザに報知する。このとき、システム制御部５は、例えばポリゴン群の面積を求めることにより領域７８を区別可能に表示するか否かを判定することもできる。例えば、他のポリゴンとは別の色に着色（図７（ｄ）では斜線で示す）する他、ハイライト表示する等により領域７８を区別可能に表示することができる。

図７（ｅ）は図７（ｂ）で示した被写体７１上に３次元情報を構成する座標７３を付与した取得分解能と、造形時に走査可能な最小間隔の軌跡を破線７７で示している。例えば、システム制御部５は最小間隔で形成される矩形の面積を閾値として設定し、当該閾値よりも大きい面積を有するポリゴン群を区別可能に表示させることができる。

また、取得分解能が粗い部分を造形結果モデル上に表示してもよい。図７（ｆ）は３次元形状作成部１５により作成された造形結果モデルを表示させた状態を示す。図７（ｄ）と同様に、システム制御部５は取得分解能が粗い部分の座標７６を他の座標とは異なる色や大きさで造形結果モデル上に表示させる（図７（ｆ）では欠損領域７９を斜線で示す）。

このように欠損領域をユーザに通知することにより、造形分解能においては再現可能であるにも関わらず、３次元情報が取得できていない領域をユーザに報知することが可能になる。すなわち、ユーザは立体物を造形する際に、３Ｄプリンタの造形分解能に対して、入力された３次元情報の取得分解能が十分であるか否かを容易に把握できるようになり、造形物の作成効率を向上させることが可能になる。

なお、上述した本実施形態では１回の３次元情報入力に対して分解能判定処理を行うようにしたが、複数回に渡って３次元情報を入力して３次元情報を蓄積し、蓄積した３次元情報に基づいて補完した補間済み３次元情報と造形分解能を比較してもよい。例えば、図８には、複数回に渡って３次元情報を入力して得られる３次元情報を、造形分解能と比較する場合の例を示している。

図８（ａ）は図３（ｃ）で示した（１回の３次元情報入力で取得した）３次元情報を示している。図８（ａ）の状態では１回の３次元情報入力で得られた３次元情報２２ａの取得分解能２３ａが造形分解能３３より粗い場合を示している。この上で、システム制御部５は再度３次元情報を入力する。図８（ｂ）は３次元情報の再入力において取得した３次元情報８１を、１回目の３次元情報入力で得られた座標系に変換した３次元情報を模式的に表している。なお、ここで再入力される３次元情報は、例えば多眼カメラや、三脚に撮像装置を固定して焦点距離を変化させて撮像したもののような、取得した３次元情報の座標のズレが既知の状態で撮像可能な撮像装置を用いて取得されたものである。ここで、再入力された３次元情報８１を、既知の撮像条件のパラメータを用いて３次元情報２２ａの座標系に座標変換を行い、それぞれの３次元情報を統合する。

なお、造形物８２は再入力時に得られた３次元情報８１のみを用いた場合に作成される造形物を模式的に表したものである。３次元情報２２ａ及び３次元情報８１はそれ単体では十分な３次元情報を取得できていないものの、双方を合わせることにより分解能が向上し得る。

図８（ｃ）は図８（ｂ）のような複数の３次元情報入力で得られた新たな３次元情報の取得分解能と造形分解能の比較例を模式的に示している。図８（ｃ）に示す８４ａは造形分解能８３を半径とする球を示しており、造形分解能８３は造形分解能３３に相当する程度に細かい。なお、３次元情報２２ａでは、隣接する座標同士が最も近接していることが明らかである。しかし、３次元情報８１との間では、どの座標が最も近接する座標であるかは明らかではない。したがって、３次元情報２２ａ及び８１で構成する３次元情報では、システム制御部５は、半径を造形分解能８３とする球の範囲内に他の座標があるか否かを判定することにより、取得分解能が十分であるか否かを判定する。より具体的に、新たな３次元情報の全ての座標について、半径を造形分解能８３とする球の範囲中に他の座標が１つ以上存在する場合、取得分解能が十分であると判定する。なお、造形倍率ｋが１でない場合、システム制御部５は、判定に用いる球の半径（造形分解能８３）に造形倍率ｋの逆数を乗じた値を用いて比較する。

新たな３次元情報によって取得分解能が改善する場合、新たな３次元情報を用いた分解能判定処理の処理結果を表示部４に表示させれば、使用する３次元情報の変化をユーザに分り易く表示することができる。例えば、追加的な３次元情報の入力によって取得分解能が改善された部分の座標の色を変更するほか、追加的な３次元情報の入力によっても取得分解能が改善されなかった部分をハイライトさせて強調表示させることができる。

なお、図８を用いた説明では、システム制御部５が１度の３次元情報２２ａの入力ごとに分解能判定処理を行って、取得分解能が十分でない場合に３次元情報を更に入力するようにしたが、勿論、分解能判定処理を行わずに複数の３次元情報を入力してもよい。

（立体物造形処理に係る一連の動作）
次に、図９を参照して、立体物造形処理に係る一連の動作を説明する。なお、本処理は例えば造形処理の開始を指示するユーザ操作が入力部３を介して入力された場合に開始される。また、本処理はシステム制御部５が不揮発性メモリに記憶されたプログラムをメモリ部１０の作業用領域に展開し、実行することにより実現される。

Ｓ９００１では、システム制御部５は３次元情報が入力済か否かを判定する。システム制御部５は、例えばユーザにより選択された３次元情報が３次元情報記憶部１１に格納されている場合、３次元情報が入力済みであると判定する。システム制御部５は、３次元情報が入力済であると判定した場合はＳ９００２に処理を進め、入力済みでないと判定した場合はＳ９００３に処理を進める。

Ｓ９００２では、システム制御部５は３次元情報記憶部１１から３次元情報を読み出す。Ｓ９００３では、３次元情報が３次元情報入力部６に格納されていない状態であるため、システム制御部５は、入力部３を介したユーザによる３次元情報の入力を待ち、その後３次元情報が３次元情報記憶部１１に格納されると、格納された３次元情報を読み出す。なお、Ｓ９０１３において３次元情報をさらに追加する判定を行った場合、新たな３次元情報を既存の３次元情報と統合して３次元情報記憶部１１に格納する。

Ｓ９００４では、システム制御部５は被写体選択部７を用いて造形する被写体を決定する。例えば、３次元情報を用いて造形する部分の輪郭をユーザが被写体選択部７において選択する。或いは、３次元情報と対応した撮影画像等の２次元情報を更に入力できる場合、撮像画像内の合焦している被写体の輪郭を抽出し、３次元情報において対応する部分を検出してもよい。この場合、輪郭が抽出された複数の被写体からユーザが所定の被写体を選択するようにしてもよい。なお、３次元情報において造形する部分を特定することができれば方法は問わない。また、システム制御部５は入力した３次元情報に基づいて取得分解能を算出して、取得分解能記憶部１２に記憶させる。例えば、システム制御部５は被写体部分に含まれる３次元情報を抽出し、被写体部分に含まれる３次元情報の各座標の各々について、隣接する座標間の距離を求め、最小距離を検出する。システム制御部５は被写体部分について求めた最小距離のうち、最も大きな値を取得分解能とし、取得分解能記憶部１２に記憶する。なお、例えば３次元情報が１つの被写体のみを含む場合など被写体を選択する必要がない場合には、被写体を選択すること無く被写体の３次元情報に基づいて取得分解能を算出してもよい。

Ｓ９００５では、システム制御部５は３次元形状作成部１５を用いて、Ｓ９００４で選択された被写体の３次元情報に基づいてポリゴンを用いた３次元形状（３次元モデル）を作成する。続いてＳ９００６では、システム制御部５は表示制御部１６を用いて当該作成した３次元モデルを表示部４に表示させる。

Ｓ９００７では、システム制御部５は造形分解能が入力済か否かを判定する。例えばシステム制御部５は、造形分解能入力部８からユーザ操作による造形分解能の入力が通知された場合、造形分解能が入力済であると判定してＳ９００８に処理を進める。一方、造形分解能入力部８から通知がない場合、Ｓ９００９に処理を進める。

Ｓ９００８では、システム制御部５は、造形分解能記憶部１３から格納されている造形分解能を読み出す。一方、Ｓ９００９では、システム制御部５は造形分解能入力部８を介して造形分解能の入力を待ち、その後、造形分解能が造形分解能記憶部１３に格納されると、当該造形分解能を読み出す。造形分解能の入力は、上述したようにユーザが造形分解能を直接入力する他、３Ｄプリンタ１の型番等の情報を入力してもよい。さらにＳ９０１０では、システム制御部５は造形倍率を決定する。造形倍率は、図５で上述したように、例えば造形倍率入力部９を介してユーザにより設定されてもよいし、選択された被写体の３次元情報に基づいて自動で設定されてもよい。

Ｓ９０１１では、システム制御部５は比較部１４を用いて、取得分解能と造形分解能を比較する。具体的に、比較部１４は、造形分解能記憶部１３に記憶された造形分解能と、取得分解能記憶部１２に記憶された取得分解能と、Ｓ９０１０で決定した造形倍率とが式（５）の関係を満たすかを判定する。

Ｓ９０１２では、システム制御部５は表示制御部１６を用いて、Ｓ９０１１で得られた判定結果に基づく表示を表示部４に表示する。システム制御部５は、図７で上述したように、造形分解能に対して取得分解能が十分であるか否かを判定結果として示す。取得分解能が不十分である場合、システム制御部５は不十分である部分を他の部分と区別可能に表示させる。

Ｓ９０１３では、システム制御部５は３次元情報を追加するかを判定する。例えば、システム制御部５はＳ９０１２における比較結果において、式（５）に示す右辺と左辺の差が所定の閾値以上である（すなわち取得分解能が造形分解能に対して所定の程度に粗い）場合、３次元情報を更に追加するためにＳ９００３に処理を進める。一方、システム制御部５は式（５）についての差が所定の閾値未満である場合、Ｓ９０１４に処理を進める。なお、ユーザがＳ９０１２において表示された比較結果を確認して３次元情報の追加の有無を判定してもよいし、ユーザによる判定後に更にＳ９０１３の処理を行うようにしてもよい。

Ｓ９０１４では、システム制御部５は３次元形状作成部１５を用いて、被写体の３次元モデルを造形データ（３Ｄプリンタ１が造形を行うために使用するデータ）に変換する。Ｓ９０１５では、システム制御部５は３次元形状作成部１５を用いて、３Ｄプリンタ１によって造形される形状を造形結果モデルとして作成する。そしてＳ９０１６において、システム制御部５は生成した造形結果モデルを、表示制御部１６を介して表示部４に表示させる。

Ｓ９０１７では、システム制御部５は造形分解能の変更が必要か否かを判定する。例えば、表示された造形結果モデルを確認したユーザによって造形分解能を変更するユーザ操作が入力された場合に、システム制御部５は造形分解能の変更が必要と判定する。或いは、３Ｄプリンタの性能上、設定された造形分解能よりも細かい造形分解能で造形可能な場合、システム制御部５が３Ｄプリンタ１の設定上許容される範囲で最も細かい造形分解能に変更してもよい。システム制御部５は造形分解能の変更が不要である場合はＳ９０１８に処理を進め、造形分解能の変更が必要である場合、Ｓ９００９に処理を戻して再び造形分解能を入力する。

Ｓ９０１８では、システム制御部５は造形部２を用いて、Ｓ９０１４で作成した造形データに基づいて立体物を造形し、立体物の造形が完了すると本処理に係る一連の動作を終了する。

なお、本実施形態では、Ｓ９０１３において３次元情報を追加するか否を判定した後に、Ｓ９０１４〜Ｓ９０１６における造形データへの変換、造形結果モデルの作成及び表示を行った。しかし、これらの処理をＳ９０１３より前に行うようにしてもよい。例えば、Ｓ９０１０における造形分解能の決定直後にＳ９０１４〜Ｓ９０１６の処理を行い、造形分解能とＳ９０１１において追加後の３次元情報から得られる取得分解能との比較結果を図７（ｆ）で示したように造形結果モデル上に表示させてもよい。

以上説明したように、本実施形態によれば、造形する物体の３次元情報の取得分解能と３Ｄプリンタの造形分解能とを比較して、３次元情報の取得分解能が造形分解能に対して十分か（適切であるか）を判定し、当該判定結果を表示するようにした。また、３次元情報の一部について判定結果を表示する場合、他の部分と表示態様を異ならせる等、区別可能に表示するようにした。このようにすることで、３Ｄプリンタの分解能に対して入力した３次元情報（或いは所望の部分の３次元情報）の分解能が十分か否かをユーザが容易に把握することができ、より３Ｄプリンタの分解能を十分活用することができる。すなわち、入力した３次元情報を用いた造形物の生成を支援することが可能になる。

（その他の実施形態）
本発明は、上述した実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２…造形部、３…入力部、４…表示部、５…システム制御部、１４…比較部、１５…３次元形状作成部

Claims (10)

1. 撮像手段により撮影された、造形手段により造形される３次元形状の３次元情報を取得する取得手段と、
   前記取得した３次元情報の分解能と、前記造形手段が前記３次元形状を造形する分解能である造形分解能とを比較して、前記取得した３次元情報の分解能が前記造形分解能より粗いか否かを判定する判定手段と、
   前記判定手段により前記取得した３次元情報の分解能が前記造形分解能より粗いと判定された部分の表示態様を他の部分の表示態様と異ならせて、前記取得した３次元情報を表示部に表示させる表示制御手段と、を有し、
   前記取得手段は、３次元情報をさらに取得した場合、該さらに取得した３次元情報に基づいて、それまでに取得した３次元情報を補間することにより補間済み３次元情報を生成し、
   前記判定手段は、前記補間済み３次元情報と前記造形分解能とを比較し、
   前記表示制御手段は、前記補間済み３次元情報と前記造形分解能との比較結果に基づいて、前記表示を更新することを特徴とする画像処理装置。
2. 前記判定手段は、前記撮像手段が撮影した物体の実際の大きさに対する前記３次元形状の大きさを示す造形倍率の逆数と前記造形分解能との積で得られる値を、前記取得した３次元情報の分解能と比較して、前記判定を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記造形倍率をユーザが入力する入力手段を更に有し、
   前記判定手段は、前記入力手段により入力された造形倍率を用いて前記判定を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記判定手段は、前記物体の実際の大きさに対する、前記造形手段が造形可能な最大の前記３次元形状の大きさを前記造形倍率として用いて前記判定を行うことを特徴とする請求項２に記載の画像処理装置。
5. 前記判定手段は、前記取得した３次元情報の少なくとも一部について前記判定を行い、
   前記表示制御手段は、当該一部について前記判定手段により、前記取得した３次元情報の分解能が前記造形分解能より粗いと判定された場合、当該一部についての表示態様を他の部分の表示態様と異ならせることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記表示制御手段は、ポリゴンを用いて前記取得した３次元情報を表示する際に、前記一部に含まれるポリゴンに着色する色を他の部分に含まれるポリゴンに着色する色と異ならせることを特徴とする請求項５に記載の画像処理装置。
7. 前記３次元情報は、前記撮像手段により撮影された画像と前記画像に対応する奥行き情報から得られる３次元情報である、ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記造形分解能は、前記造形手段に含まれる造形ヘッドの位置分解能及び造形材料の吐出ノズル径に基づいて定められることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 取得手段が、撮像手段により撮影された、造形手段により造形される３次元形状の３次元情報を取得する取得工程と、
   判定手段が、前記取得した３次元情報の分解能と、前記造形手段が前記３次元形状を造形する分解能である造形分解能とを比較して、前記取得した３次元情報の分解能が前記造形分解能より粗いか否かを判定する判定工程と、
   表示制御手段が、前記取得した３次元情報の分解能が前記造形分解能より粗いと前記判定工程において判定された部分の表示態様を他の部分の表示態様と異ならせて、前記取得した３次元情報を表示部に表示させる表示制御工程と、を有し、
   前記取得工程において前記取得手段は、３次元情報をさらに取得した場合、該さらに取得した３次元情報に基づいて、それまでに取得した３次元情報を補間することにより補間済み３次元情報を生成し、
   前記判定工程において前記判定手段は、前記補間済み３次元情報と前記造形分解能とを比較し、
   前記表示制御工程において前記表示制御手段は、前記補間済み３次元情報と前記造形分解能との比較結果に基づいて、前記表示を更新する、
   ことを特徴とする画像処理装置の制御方法。
10. コンピュータに、請求項９に記載の画像処理装置の制御方法の各工程を実行させるためのプログラム。

Images