JP7275552B2 - 画像撮像支援装置及び画像撮像支援方法 - Google Patents

Description

本発明は、対象物体の３次元形状モデルを復元する多視点画像の撮像を支援する画像撮像支援装置及び画像撮像支援方法に関する。

多視点画像に基づく３次元復元技術は、コンピュータビジョンの研究コミュニティだけでなく、文化財のデジタルアーカイブやエンターテイメント産業など、幅広い分野で注目されている。

上述した多視点画像に基づく３次元復元技術は、三角測量の技術を用いており、最終的に、各視点におけるデプスマップを統合することによって、３次元座標点群を生成する。
このため、各視点における画像（撮像画像データである視点画像）を用いて世界座標系における対象物体の３次元形状モデルを復元する際、２つ以上の異なる視点画像間において、世界座標系における３次元座標点の座標点に対応する視点画像それぞれの対応画素を検出する処理が行なわれる。

したがって、３次元形状モデルを精度良く復元するために、撮像装置による撮像位置を対象物体を中心として移動させ、対象物体の全体の面を漏れなく撮像する必要がある。
そのため、ユーザが対象物体を過不足なく撮像できるように、撮像のガイド表示を行なうことで、対象物体の多視点画像を効率良く撮像することを支援する支援装置がある（例えば、特許文献１、特許文献２参照）。

特開２０１０－２５６２５２号公報 特開２０１０－２５６２５３号公報

しかしながら、上記特許文献１及び特許文献２においては、対象物体の撮像のガイド表示として、対象物体の撮像方向を指定する表示のみが行なわれており、対象物体を同様の大きさで撮像するような支援は行なわれない。
上述した表示のみの場合、対象物体が撮像された撮像画像データ（視点画像）の各々において、余りにも撮像画像データにおける対象物体の画像の大きさが異なったり、撮像される撮像画像データ内における対象物体の画像の位置が大きく異なったりすると、撮像画像データ間の対応画素を効率的に抽出することができない。
このため、対象物体の撮像画像データの取り直しを行なう必要があり、３次元対象モデルの復元に対して、ユーザに負荷が掛かることになる。

本発明は、このような状況に鑑みてなされたもので、ユーザが対象物体の３次元形状モデルの復元に用いる多視点画像を撮像する際、多視点画像における対象物体の画像の大きさ及び位置を簡易に合わせた撮像を可能とする支援を、ユーザに対して行なう画像撮像支援装置及び画像撮像支援方法を提供する。

上述した課題を解決するために、本発明の画像撮像支援装置は、対象物体の３次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援装置であり、撮像画像データに対して背景分離を行ない、当該撮像画像データにおける前記対象物体の画像領域のシルエットを抽出するシルエット抽出部と、前記シルエットを撮像装置のプレビュー画面におけるプレビュー画像に重畳させて表示させるシルエット表示制御部とを備えることを特徴とする。

本発明の画像撮像支援装置は、前記シルエット抽出部が、前記対象物体の撮像を開始した第１番目の第１撮像画像データにおける前記画像領域の前記シルエットを抽出することを特徴とする。

本発明の画像撮像支援装置は、前記第１撮像画像データにおける前記画像領域の前記シルエットと、ｎ（≧２）番目の第ｎ撮像画像データにおける前記対象物体の画像領域の第ｎシルエットとの形状及び面積の各々を比較し、類似度が所定の閾値未満の場合、警告を通知する計測対象判定部をさらに備え、前記シルエット抽出部が、前記第１撮像画像データの後に撮像されたｎ番目の撮像画像データから、前記第ｎシルエットを抽出することを特徴とする。

本発明の画像撮像支援装置は、前記シルエット表示制御部が、前記第ｎシルエットの前記類似度が前記所定の閾値以上の場合、前記プレビュー画面における前記プレビュー画像に重畳させて表示させることを特徴とする。

本発明の画像撮像支援装置は、前記シルエット抽出部が、前記背景分離をグラフカット法あるいはセマンティックセグメンテーションで行なうことを特徴とする。

本発明の画像撮像支援装置は、ユーザ操作により、前記画像領域の指定及び前記シルエットの修正を行なうユーザ編集入力部をさらに備えることを特徴とする。

本発明の画像撮像支援方法は、対象物体の３次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援方法であり、シルエット抽出部が、撮像画像データに対して背景分離を行ない、当該撮像画像データにおける前記対象物体の画像領域のシルエットを抽出するシルエット抽出過程と、シルエット表示制御部が、前記シルエットを撮像装置のプレビュー画面におけるプレビュー画像に重畳させて表示させるシルエット表示制御過程とを含むことを特徴とする。

以上説明したように、本発明によれば、ユーザが対象物体の３次元形状モデルの復元に用いる多視点画像を撮像する際、多視点画像における対象物体の画像の大きさ及び位置を合わせた撮像を簡易に可能とする支援を、ユーザに対して行なう画像撮像支援装置及び画像撮像支援方法を提供することができる。

本発明の一実施形態による画像撮像支援装置を備えた撮像システムの構成例を示すブロック図である。 シルエット表示制御部１０３及び支援情報通知部１０５による画像表示部４００におけるプレビュー画像に重畳したシルエット及び支援情報の表示画面の一例を示している。 本実施形態による画像撮像支援装置１００が行なう多視点画像の撮像を支援する処理の動作例を示すフローチャートである。

以下、本発明の一実施形態について、図面を参照して説明する。図１は、本発明の一実施形態による画像撮像支援装置を備えた撮像システムの構成例を示すブロック図である。画像撮像支援装置１００は、３次元形状モデルを復元するために用いる多視点画像における撮像画像データの撮像を支援する装置である。
図１において、撮像システム１は、画像撮像支援装置１００、撮像部２００、プレビュー画像表示制御部３００及び画像表示部４００の各々を備えている。撮像システム１は、例えばスマートフォンであり、画像撮像支援装置１００の機能のアプリケーションをインストールして、後述する多視点画像の撮像を支援している。本実施形態においては、一例として、多視点画像の撮像画像データとして、静止画の撮像を支援する構成を説明するが、動画でも処理自体は同様である。

画像撮像支援装置１００は、多視点画像の撮像を支援する装置であり、画像データ入力部１０１、シルエット抽出部１０２、シルエット表示制御部１０３、計測対象判定部１０４、支援情報通知部１０５、ユーザ編集入力部１０６及び記憶部１０７の各々を備えている。
撮像部２００は、例えば、スマートフォンに内蔵されている撮像素子を有するカメラ機能部である。

プレビュー画像表示制御部３００は、撮像部２００における撮像素子に集光された画像データをプレビュー画面として、画像表示部５００に表示する。
画像表示部４００は、上記プレビュー画面を表示する表示装置であり、例えば液晶ディスプレイを備えている。

画像データ入力部１０１は、撮像部２００から撮像された撮像画像データを順次入力し、記憶部１０７に書き込んで記憶させる。

シルエット抽出部１０２は、対象物体の撮像を開始した時点（最初）の撮像画像データ（第１撮像画像データ）から、この撮像画像データにおける対象物体の画像領域を検出し、この画像領域を抽出して第１シルエットを生成する（以下、シルエットの抽出）。
また、シルエット抽出部１０２は、例えば、上記第１撮像画像データの後の第ｎ（≧２）撮像画像データにおける対象物体の画像領域の第ｎシルエットを抽出する。

ここで、シルエット（第１シルエット、第ｎシルエット）としての境界線の抽出はエッジ検出で行なっても良いし、また、シルエット抽出を行なう背景分離の手段として、グラフカット法やセマンティックセグメンテーションを用いても良い。また、シルエットとしては、画像表示部４００のプレビュー画像に重畳させて表示させる際、シルエット領域を所定の透明度を有する所定の色や模様で示しても良いし、枠のみ（すなわち、輪郭）で表示させてもよい。
また、シルエット抽出を行なう際、撮像画像データの解像度を低下させて（画素数を圧縮して）行なうことにより、処理の負荷を低減させることができ、シルエットの抽出処理を高速化することができる。

シルエット表示制御部１０３は、シルエット抽出部１０２が抽出したシルエット（第１シルエット、第ｎシルエット）を、画像表示部４００に表示されるプレビュー画像に、シルエット画像として重畳して表示する。

図２は、シルエット表示制御部１０３及び支援情報通知部１０５による画像表示部４００におけるプレビュー画像に重畳したシルエット及び支援情報の表示画面の一例を示している。図２（ａ）は、画像表示部４００の表示画面４１０において、プレビュー画像表示制御部３００によりプレビュー画像として表示された第１撮像画像データの画像４２０を示している。ユーザがシャッタボタン２１０を押下（例えば、指でタッチ）することにより、表示画面４１０にプレビュー画像として表示されている第１撮像画像データの画像４２０が撮像部２００により撮像される。

図２（ｂ）は、画像表示部４００の表示画面４１０におけるプレビュー画像に重畳した、第１撮像画像データから抽出され第１シルエットのシルエット画像４１１を示している。第１シルエットは、すでに説明したように、シルエット抽出部１０２により抽出される。そして、シルエット画像４１１は、シルエット表示制御部１０３により、表示画面４１０のプレビュー画像に重畳して表示される。
このとき、支援情報通知部１０５は、表示画面４１０において第１シルエットのシルエット画像４１１と重ならない位置に、「このシルエットと同じ大きさになるように撮影を続けてね」などの文字画像４１２を支援情報として表示して通知してもよい。

また、第１シルエットのシルエット画像４１１を視認して、３次元形状モデルを復元しようとする対象物体のシルエットでないと判定した場合、表示画面４１０におけるリセットボタン２２０をユーザが押下する。これにより、シルエット表示制御部１０３により第１シルエットが削除され、表示画面４１０における第１シルエットのシルエット画像４１１が表示されなくなる。この場合、ユーザは、第１撮像画像データを新たに撮像し、第１シルエットを再度表示させることになる。

図２（ｃ）は、ユーザが撮像を行っている際、表示画面４１０において第１シルエットのシルエット画像４１１内に、プレビュー画像における対象物体の画像４１３が平面視で含まれる状態を示す画像である。このとき、撮像を行なうことにより、画像４１３が第ｎ撮像画像データとして取得される。ここで、シルエット表示制御部１０３は、表示画面４１０において、第１撮像画像データから生成した第１シルエットのシルエット画像４１１に対して、第ｎ撮像画像データを重畳して表示する。
後述するように、計測対象判定部１０４は、第１撮像画像データにおける対象物体の第１シルエットと、第ｎ撮像画像データにおける対象物体の第ｎシルエットとの各々のシルエット画像の類似性の判定を行なう。

この図２（ｃ）の場合、第１シルエットと第ｎシルエットとは類似しているため、撮像された第ｎ撮像画像データは、画像データ入力部１０１により記憶部１０７に書き込まれて記憶される。また、支援情報通知部１０５は、第１シルエットと第ｎシルエットとは類似している場合、表示画面４１０において第１シルエットのシルエット画像４１１と重ならない位置に、「このままシルエットと同じ大きさになるように撮影してね」などの文字画像４１４を支援情報として表示して通知してもよい。

図２（ｄ）は、ユーザが撮像を行っている際、表示画面４１０において第１シルエットのシルエット画像４１１内に、プレビュー画像における対象物体の画像４１５が平面視で含まれていない（シルエット画像４１１から画像４１５が外れている）状態を示す画像である。このとき、撮像を行なうことにより、画像４１５が第ｎ撮像画像データとして取得される。後述するように、計測対象判定部１０４は、第１撮像画像データにおける対象物体の第１シルエットと、第ｎ撮像画像データにおける対象物体の第ｎシルエットとの類似性の判定を行なう。

この図２（ｄ）の場合、第１シルエットと第ｎシルエットとは類似していないため、撮像された第ｎ撮像画像データは、画像データ入力部１０１により記憶部１０７に書き込まれずに削除される。また、削除を行なわずに使用できないフラグを付与して記憶部１０７に書き込んで記憶させる構成としてもよい。この場合、３次元形状モデルを復元する際、このフラグが付されている第ｎ撮像画像データを使用しない３次元形状モデルの復元アルゴリズムとする。
また、第１シルエットと第ｎシルエットとが類似していない場合、表示画面４１０において第１シルエットのシルエット画像４１１と重ならない位置に、「このシルエットと同じ大きさになるように撮影してね」などの警告を示す文字画像４１６を支援情報として表示して通知される。

図１に戻り、計測対象判定部１０４は、第１シルエットと第ｎシルエットとの形状及び面積比の各々を類似度として求める。計測対象判定部１０４は、形状の判定として、第１シルエット内に第ｎシルエットが含まれている比率、すなわち第ｎシルエットの全面積に対して第１シルエットと平面視で重なる面積の比率である含有比率αを求める。また、計測対象判定部１０４は、第１シルエットの面積に対する第ｎシルエットの面積の比率である面積比率βを求める。計測対象判定部１０４は、含有比率αが予め設定された含有比率閾値以上であり、かつ面積比率βが予め設定された面積比率範囲に含まれている場合、第１シルエットに対して第ｎシルエットが類似していると判定する。

支援情報通知部１０５は、計測対象判定部１０４が第１シルエットと第ｎシルエットとの類似性を判定した結果に応じて、画像表示部４００に対して支援情報の通知を行なう。ここで、支援情報通知部１０５は、例えば、第１シルエットと第ｎシルエットとが類似していると判定した場合、画像表示部４００に対して、「そのままシルエットと同じ大きさになるように撮像してね」などの文字データを支援情報として表示して通知する（図２（ｄ）参照）。

一方、支援情報通知部１０５は、第１シルエットと第ｎシルエットとが類似していないと判定した場合、画像表示部４００に対して、「このシルエットと同じ大きさになるように撮像してね」などの警告を示す文字データを支援情報として表示する。
また、支援情報通知部１０５は、画像表示部４００に対して支援情報を表示するのではなく、スピーカにより音声情報として通知するように構成しても良い。

ユーザ編集入力部１０６は、シルエット抽出部１０２により抽出された第１シルエットの形状を、ユーザが画像表示部４００の表示画面上で編集することができる。このとき、計測対象判定部１０４は、修正後の第１シルエットに基づき、第ｎシルエットの類似の判定を行なう。この場合、例えば、画像表示部４００の表示画面は、タッチパネルの構成が用いられる。

図３は、本実施形態による画像撮像支援装置１００が行なう多視点画像の撮像を支援する処理の動作例を示すフローチャートである。
ステップＳ１０１：ユーザが３次元形状モデルを復元しようとする対象物体を含む第１撮像画像データの撮像を行なう（図２（ａ）参照）。
これにより、画像データ入力部１０１は、撮像部２００から第１撮像画像データを入力し、シルエット抽出部１０２に出力する。また、画像データ入力部１０１は、第１撮像画像データに対してタイムスタンプ（撮像順番を示すシリアル番号など）を付与して、記憶部１０７に対して書き込んで記憶させる。

ステップＳ１０２：シルエット抽出部１０２は、画像データ入力部１０１から供給される第１撮像画像データの第１シルエットを抽出する。そして、シルエット抽出部１０２は、抽出した第１シルエットのデータをシルエット表示制御部１０３に対して出力する。
シルエット表示制御部１０３は、画像表示部４００の表示画面において、対象物体のシルエット画像をプレビュー画像に重畳して表示する（図２（ｂ）参照）。
また、支援情報通知部１０５は、画像表示部４００の表示画面において、支援情報の文字列をシルエット画像４１１と重ならないようにプレビュー画像に重畳して表示しても良い。

ステップＳ１０３：ユーザは、撮像システム１の画像表示部４００の表示画面において、プレビュー画像に重畳されて表示されている第１シルエットのシルエット画像４１１内に、３次元形状モデルの復元を行なう対象物体の画像が含まれるように、撮像位置及び撮像方向の各々の調整を行なう（図２（ｃ）参照）。

ステップＳ１０４：ユーザは、第１シルエットのシルエット画像内に、プレビュー画像における対象物体の画像が含まれているか否かの判定を行なう。すなわち、ユーザは、対象物体の第ｎ撮像画像データを撮像するか否かの判定を行なう。
このとき、ユーザは、プレビュー画像における対象物体の画像が第１シルエットのシルエット画像内に含まれているとした場合、処理をステップＳ１０５へ進める。
一方、ユーザは、プレビュー画像における対象物体の画像が第１シルエットのシルエット画像内に含まれていないとした場合、処理をステップＳ１０３へ進める。

ステップＳ１０５：ユーザは、シャッターを押下することにより、画像表示部４００の表示画面４１０にプレビュー画像として表示されている、対象物体の画像を含む第２撮像画像データを撮像する。
このとき、画像データ入力部１０１は、ユーザがシャッターを押下したことを検出した場合、撮像部２００からユーザが撮像した第ｎ撮像画像データを入力する。
そして、画像データ入力部１０１は、入力した第ｎ撮像画像データを、シルエット抽出部１０２に対して出力する。

ステップＳ１０６：シルエット抽出部１０２は、画像データ入力部１０１から供給される第ｎ撮像画像データの第ｎシルエットを抽出する。
このとき、シルエット抽出部１０２は、抽出した第ｎシルエットのデータをシルエット表示制御部１０３に対して出力する構成としてもよい。この構成の場合、シルエット表示制御部１０３は、画像表示部４００の表示画面４１０において、第１シルエット画像とともに、第ｎシルエットの画像である第ｎシルエット画像を表示する。これにより、ユーザは、撮像した第ｎ撮像画像データにおける対象物体の画像が第１シルエットに入っているか否かの判定を容易にビジュアル的に行なうことができる。

ステップＳ１０７：計測対象判定部１０４は、第１シルエットと第ｎシルエットとの形状及び面積比の各々（含有比率α、面積比率β）を類似度として求める。

ステップＳ１０８：計測対象判定部１０４は、算出した第１シルエットと第ｎシルエットとの類似度に基づいて、第１シルエットと第ｎシルエットとの各々が類似しているか否かの判定を行なう。すなわち、計測対象判定部１０４は、含有比率αが予め設定された含有比率閾値以上であり、かつ面積比率βが予め設定された面積比率範囲に含まれているか否かの判定を行なう。

このとき、計測対象判定部１０４は、含有比率αが予め設定された含有比率閾値以上であり、かつ面積比率βが予め設定された面積比率範囲に含まれている場合、第１シルエットと第ｎシルエットとが類似していると判定する。
一方、計測対象判定部１０４は、含有比率αが予め設定された含有比率閾値未満、あるいは面積比率βが予め設定された面積比率範囲に含まれていない場合、また、含有比率αが予め設定された含有比率閾値未満、かつ面積比率βが予め設定された面積比率範囲に含まれていない場合、第１シルエットと第ｎシルエットとが類似していないと判定する。

ステップＳ１０９：画像データ入力部１０１は、計測対象判定部１０４から類似しているとの判定結果が供給された場合、第ｎ撮像画像データを記憶部１０７に対して、タイムスタンプを付与して書き込んで記憶させる。

ステップＳ１１０：支援情報通知部１０５は、計測対象判定部１０４から類似しているとの判定結果が供給された場合、画像表示部４００の表示画面４１０に対して、「そのままシルエットと同じ大きさになるように撮像してね」などの文字データを支援情報として表示する（図２（ｃ）参照）。

ステップＳ１１１：画像データ入力部１０１は、計測対象判定部１０４から類似していないとの判定結果が供給された場合、第ｎ撮像画像データを削除し、記憶部１０７に対して書き込む処理を行なわない。

ステップＳ１１２：支援情報通知部１０５は、計測対象判定部１０４から類似していないとの判定結果が供給された場合、画像表示部４００の表示画面４１０に対して、「このシルエットと同じ大きさになるように撮影をしてね」などの文字データを支援情報として表示する（図２（ｄ）参照）。

ステップＳ１１３：画像データ入力部１０１は、多視点画像における撮像画像データの撮像を継続するか否かを、画像表示部４００の表示画面４１０に対して、終了ボタンとともに表示して通知する（不図示）。そして、画像データ入力部１０１は、終了ボタンが押下されたかにより、ユーザが多視点画像の撮像処理を終了するか否かの判定を行なう。
このとき、画像データ入力部１０１は、終了ボタンが押下された場合、多視点画像の撮像処理を終了する（あるいはアプリケーションの終了）。
一方、画像データ入力部１０１は、終了ボタンが押下されない場合、多視点画像の撮像処理を継続するため、処理をステップＳ１０３へ進める。

また、本実施形態によれば、３次元形状モデルの復元処理で用いる多視点画像の撮像画像データの各々を撮像する際、画像表示部のプレビュー画像に重畳させて、対象物体のシルエットが表示されるため、撮像位置を移動しても、対象物体の画像がこのシルエット内に入る状態で撮像を行なうことで、撮像位置及び撮像方向を対象物体に合わせることで撮像した各撮像画像データにおける対象物体の画像の大きさを合わせつつ、ユーザが対象物体の撮像画像データにおける対象物体の画像の位置を合わせるように撮像することができる。

また、本実施形態においては、第ｎ撮像画像データを撮像する毎に、第ｎ撮像画像データにおける対象物体の第ｎシルエットが抽出され、第１シルエットとの類似が判定されるため、その撮像位置における第ｎ撮像画像データが３次元形状モデルの復元に使用できるか否かをリアルタイムに確認することができ、かつ画像表示部４００に支援情報が表示されるため、経験の浅いユーザであっても、容易に多視点画像における撮像画像データの撮像を行なうことができる。

また、本実施形態においては、各撮像画像データ間で対象物体の画像の大きさや、撮像画像データにおける対象物体の撮像されている位置が統一されているため、撮像画像データ間の対象物体に対応する画素を効率的に抽出することができるため、撮像画像データを取り直す処理を行なったり、３次元形状の復元を行なったりすることが抑制されるため、３次元形状モデルの復元の作業の効率化が図れる。

また、上述した実施形態においては、第１撮像画像データから第１シルエットを抽出し、この第１シルエットが３次元形状モデルを復元する対象物体に対応していない場合、上述した実施形態においては、画像表示部４００の表示画面４１０のリセットボタンを押下して、第１撮像画像データの撮像を行なっていた。
しかしながら、リセットボタンを押下する構成ではなく、例えば、撮像システムがスマートフォンの場合、スマートフォンを振る（加速度センサにより所定の加速度が検出される程度の強さで振る）ことにより、第１シルエットのシルエット画像のデータを削除するように構成しても良い。

また、第１シルエットのシルエット画像に対応しない、すなわち第１シルエットのシルエット画像と類似しない第ｎ撮像画像データが所定の回数撮像された場合、ユーザが意図的にアラートを出していると判定し、この第１シルエットのシルエット画像のデータを削除するようにしても良い。
また、第１シルエットのシルエット画像の位置と全く異なる位置に、対象物体のシルエットが存在する第ｎ撮像画像データが所定の回数撮像された場合、ユーザが意図的にアラートを出していると判定し、この第１シルエットのシルエット画像のデータを削除するようにしても良い。

また、上述した実施形態において、第１撮像画像データにおける対象物体の画像領域の検出ができず、第１シルエットが抽出できない場合、ユーザが画像表示部４００の表示画面４１０に表示された第１撮像画像データの画像における対象物体の画像領域を選択する。
これにより、ユーザ編集入力部１０６は、対象物体の画像領域の位置情報を、シルエット抽出部１０２に出力する。
そして、シルエット抽出部１０２は、ユーザが選択した上記画像領域を、ＧｒａｂＣｕｔ法のアルゴリズムを用いて、前景（対象物体の画像）の抽出処理を行なう。

また、ユーザが画像表示部４００の表示画面４１０に表示された第１撮像画像データの画像における対象物体の画像領域の輪郭を指でなぞって選択する構成としてもよい。この構成の場合、ユーザ編集入力部１０６は、ユーザが指やタッチペン等で選択した対象物体の画像領域の輪郭情報を、シルエット抽出部１０２に出力する。
そして、シルエット抽出部１０２は、ユーザが選択した対象物体の画像領域の輪郭情報に基づいて、第１撮像画像データにおける対象物体の画像領域を示すシルエットの抽出処理を行なう。

シルエット表示制御部１０３は、抽出した第１シルエットの画像（第１シルエット画像）を画像表示部４００の表示画面４１０に第１撮像画像データの画像に重畳して表示する。ユーザは、第１シルエット画像の輪郭を表示画面４１０上で移動させて、第１撮像画像データの画像における対象物体の画像領域の輪郭に重なるように編集を行なうこともできる。
これにより、ユーザ編集入力部１０６は、編集処理した第１シルエットを、新たな第１シルエットとして、シルエット表示制御部１０３に出力する。

また、シルエット抽出部１０２は、輪郭抽出などを行なって対象物体の輪郭の形状情報を抽出し、記憶部１０７に予め記憶されている３次元形状モデルのなかから、抽出した輪郭の形状情報に類似する３次元形状モデルを検索し、この３次元形状モデルに基づいて輪郭の示す対象物体のシルエットのテンプレートであるテンプレートシルエットを生成する構成としても良い。この場合、シルエット表示制御部１０３は、シルエット抽出部１０２から供給されたテンプレートシルエットを、画像表示部４００の表示画面４１０に第１撮像画像データの画像に重畳して表示する。

そして、すでに述べた第１シルエット画像の輪郭を指やタッチペンなどでなぞってシルエットを生成する構成と同様に、ユーザは、テンプレートシルエットを表示画面４１０上で移動させて、第１撮像画像データの画像における対象物体の画像領域の輪郭に重なるように編集処理をする。
これにより、ユーザ編集入力部１０６は、編集処理した第１シルエットを、新たな第１シルエットとして、シルエット表示制御部１０３に出力する。

また、本実施形態においては、撮像システムの一例としてスマートフォンに、画像撮像支援装置１００の機能を、例えばアプリケーションとしてインストールして、３次元形状モデルの復元に用いる対象物体の多視点画像における撮像画像データの撮像の支援を行なう構成として説明した。
しかしながら、撮像システムを、例えば、デジタルカメラ（クライアント）と画像撮像支援装置（サーバ）とを備えるサーバクライアントシステムとして構築しても良い。この場合、サーバには、シルエット抽出部１０２及び計測対象判定部１０４の各々の計算負荷が大きくなる処理を行なう構成を持たせるのが望ましい。その他の画像データ入力部１０１、シルエット表示制御部１０３、支援情報通知部１０５及びユーザ編集入力部１０６の各々は、アプリケーションとして、デジタルカメラにインストールしておく。

上述した実施形態においては、撮像画像データとして静止画を例に説明したが、動画においても同様に対応し、例えば、第１撮像画像データを静止画として撮像し、第１シルエットを生成した後、この第１シルエット内に対象物体が入るように、ユーザに動画像を撮像させる構成としても良い。
また、所定の時間同一の撮像位置及び撮像方向でユーザが撮像装置を停止させて撮像することで、この静止した状態の撮像画像データを、第１撮像画像データとして、静止画に換えて、第１シルエットを生成する構成としても良い。

なお、本発明における図１の画像撮像支援装置１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行することにより、３次元画像形状モデルを復元するために必要な撮像画像データの撮像を支援する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷ（World Wide Web）システムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc - Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ（Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１…撮像システム
１００…画像撮像支援装置
１０１…画像データ入力部
１０２…シルエット抽出部
１０３…シルエット表示制御部
１０４…計測対象判定部
１０５…支援情報通知部
１０６…ユーザ編集入力部
１０７…記憶部
２００…撮像部
３００…プレビュー画像表示制御部
４００…画像表示部
４１１…シルエット画像

Claims (5)

1. 対象物体の３次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援装置であり、
   前記対象物体を撮像装置での撮像を開始して得られた１番目の第１撮像画像データに対して前記対象物体の画像領域と背景の画像領域との分離を行ない、当該第１撮像画像データにおける前記対象物体の画像領域の第１シルエットを抽出するシルエット抽出部と、
   第２撮像画像データを前記撮像装置で撮像する場合に、前記第１シルエットを前記撮像装置のプレビュー画面における前記第２撮像画像データのプレビュー画像に重畳させて表示させるシルエット表示制御部と、
   前記第１シルエットの形状と、前記第２撮像画像データにおける前記対象物体の画像領域の第２シルエットの形状との形状の類似度と所定の第１閾値とを比較し、前記第１シルエットの面積と、前記第２シルエットの面積との面積の類似度と前記第１閾値と異なる所定の第２閾値とを比較する計測対象判定部と、
   少なくとも前記形状の類似度が前記第１閾値未満である場合に、警告示すメッセージを通知する支援情報通知部と、
   を備える画像撮像支援装置。
2. 前記シルエット表示制御部は、前記形状の類似度が前記第１閾値以上であり、かつ前記面積の類似度が前記第２閾値範囲内に含まれる場合に、撮像を促すメッセージを通知する、
   請求項１に記載の画像撮像支援装置。
3. 前記シルエット抽出部は、グラフカット法あるいはセマンティックセグメンテーション法を用いて前記背景の画像領域を分離する、
   請求項１または請求項２に記載の画像撮像支援装置。
4. 前記第１撮像画像データに対して前記対象物体の画像領域および前記第１シルエットに対するユーザによる修正を受け付けるユーザ編集入力部、
   をさらに備える
   請求項１から請求項３のいずれか一項に記載の画像撮像支援装置。
5. 対象物体の３次元形状モデルを復元するために用いる多視点画像の撮像を支援する画像撮像支援方法であり、
   シルエット抽出部が、前記対象物体を撮像装置での撮像を開始して得られた１番目の第１撮像画像データに対して前記対象物体の画像領域と背景の画像領域との分離を行ない、当該第１撮像画像データにおける前記対象物体の画像領域の第１シルエットを抽出するシルエット抽出過程と、
   シルエット表示制御部が、第２撮像画像データを前記撮像装置で撮像する場合に、前記第１シルエットを前記撮像装置のプレビュー画面における前記第２撮像画像データのプレビュー画像に重畳させて表示させるシルエット表示制御過程と、
   計測対象判定部が、前記第１シルエットの形状と、前記第２撮像画像データにおける前記対象物体の画像領域の第２シルエットの形状との形状の類似度と所定の第１閾値とを比較し、前記第１シルエットの面積と、前記第２シルエットの面積との面積の類似度と前記第１閾値と異なる所定の第２閾値とを比較する計測判定過程と、
   支援情報通知部が、少なくとも前記形状の類似度が前記第１閾値未満である場合に、警告示すメッセージを通知する支援情報通知過程と、
   を含むことを特徴とする画像撮像支援方法。

Images