JP6514418B2 - 撮像システム、撮像方法、及びプログラム - Google Patents

撮像システム、撮像方法、及びプログラム Download PDF

Info

Publication number
JP6514418B2
JP6514418B2 JP2018531898A JP2018531898A JP6514418B2 JP 6514418 B2 JP6514418 B2 JP 6514418B2 JP 2018531898 A JP2018531898 A JP 2018531898A JP 2018531898 A JP2018531898 A JP 2018531898A JP 6514418 B2 JP6514418 B2 JP 6514418B2
Authority
JP
Japan
Prior art keywords
image
imaging
image data
images
portable terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018531898A
Other languages
English (en)
Other versions
JPWO2018025825A1 (ja
Inventor
英起 多田
英起 多田
玲志 相宅
玲志 相宅
吉田 慎二
慎二 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NURVE, INC.
Original Assignee
NURVE, INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NURVE, INC. filed Critical NURVE, INC.
Publication of JPWO2018025825A1 publication Critical patent/JPWO2018025825A1/ja
Application granted granted Critical
Publication of JP6514418B2 publication Critical patent/JP6514418B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

本発明は、全天球画像を生成する撮像システムに関する。
近年、仮想現実(バーチャルリアリティ、以下「VR」とも記す)の画像表示技術が、ゲームやエンターテインメント、学習支援、職業訓練、ビジネス等の様々な分野で利用されている。VRにおいては、通常、ヘッドマウントディスプレイ(以下、「HMD」とも記す)と呼ばれるメガネ型又はゴーグル型の表示装置が用いられる。ユーザは、HMDを頭部に装着し、HMDに内蔵された画面を両眼で見ることにより、立体感のある画像を認識することができる。HMDにはジャイロセンサや加速度センサが内蔵されており、これらのセンサにより検出されたユーザの頭部の動きに応じて、画面に表示される画像が変化する。それにより、ユーザは、あたかも3次元的に表示された画像(仮想空間)の中に入り込んだような体験をすることができる。
VRの素材となる画像は、カメラで現実の被写体を撮像したり、コンピュータグラフィックスで構成したり、或いは、両者を組み合わせたりして取得される。従来、広画角のパノラマ画像を取得する場合、カメラの向きを変化させながら撮像を繰り返すことにより生成した複数フレームの画像をつなぎ合わせていた。これに対し、最近では、一度の撮像動作により周囲の全方位360°の範囲が写った画像(所謂全天球画像)を撮像可能なカメラ(以下、「全天球カメラ」ともいう。例えば特許文献1、2参照)が実用化されている。全天球カメラを用いる場合、カメラの周囲の被写体のほぼ全体が収められた画像を、簡単且つ短時間に取得することができる。
特開2013−198062号公報 特開2016−103806号公報
VRのビジネスにおける利用例として、結婚式場等の施設の下見や不動産物件の内見等を、顧客を現場に連れて行く代わりに、VRによって顧客に体験させるといった例が挙げられる。これらの場合、施設や不動産物件の各部屋を全天球カメラで撮像することにより、VR用の画像を簡単に作成することができる。その一方で、全天球カメラを用いる際、全天球カメラを操作する撮影者が画像内に写り込んでしまうという問題がある。そのため、従来においては、全天球カメラを現場に据え付けた上で、撮影者が隣室に移動し又は物陰に隠れて、遠隔操作により撮像を行う必要があった。特に、撮影者を含む複数のスタッフが現場にいる場合、撮像時に隠れる場所の確保が困難なことがあり、1人でも画像内に写り込むと撮像をやり直さなければならず、かえって手間がかかることもあった。
このような問題に対し、特許文献2には、全天球画像を生成するための複数の画像を同時に撮像する撮像装置であって、撮像装置が撮像した撮像画像又は該撮像画像から生成された生成画像において、撮像装置を支持する支持体の像が所定の範囲に存在するか否かを判定し、その判定結果に基づいて、カメラが撮像を行う視点の位置を変更するためのガイド情報を通知する技術が開示されている。即ち、特許文献2においては、撮影者にガイド情報を通知することにより、撮影者の像を除去するのに適した画像を取得することとしている。それにより、取得された画像から撮影者が写った領域(撮影者領域)を抽出し、この領域に対して別の領域(例えば地面が写った地面領域)に基づくテクスチャ画像を並べることにより撮影者の像を消去している。
しかし、特許文献2の場合、撮影者は、ガイド情報に従って自分の位置やカメラの位置を調節しなければならないため、撮像作業が面倒である。また、取得された画像から撮影者領域や地面領域を抽出する画像処理も煩雑である。
本発明は以上を鑑みてなされたものであり、施設や不動産物件等の現場での全天球画像の撮像作業を容易に行うことができ、且つ、取得した全天球画像から撮影者の像などの不要な部分を簡単な画像処理で消去することができる撮像システムを提供することを目的とする。
上記課題を解決するために、本発明の一態様である撮像システムは、一度の撮像動作により周囲の全方位360°の範囲に含まれる被写体が写った画像を生成する撮像装置と、前記撮像装置に同一の被写体を複数回撮像させることにより生成される複数の画像であって、前記撮像装置に対する前記被写体以外の物体の位置が異なる複数の画像の画像データを取得する画像データ取得部と、前記複数の画像を合成することにより、前記物体の像が消去された画像を生成する画像処理部と、を備えるものである。
上記撮像システムは、画像を管理するサーバと、通信ネットワークを介して前記サーバと接続された携帯端末と、を備え、前記画像データ取得部は、前記携帯端末に設けられ、前記画像処理部は前記サーバに設けられ、前記携帯端末は、前記画像データ取得部が取得した前記複数の画像の画像データを前記サーバに送信し、前記サーバは、前記複数の画像の画像データを受信し、該画像データに基づく画像処理を前記画像処理部に実行させても良い。
上記撮像システムにおいて、前記画像処理部は、さらに、前記物体の像が消去された画像の画像データを用いて、バーチャルリアリティ用の画像データを生成しても良い。
上記撮像システムは、画像を管理するサーバと、通信ネットワークを介して前記サーバと接続された携帯端末と、を備え、前記画像データ取得部及び前記画像処理部は、前記携帯端末に設けられ、前記携帯端末は、前記画像処理部により生成された前記物体の像が消去された画像の画像データを前記サーバに送信しても良い。
上記撮像システムにおいて、前記サーバは、前記物体の像が消去された画像の画像データを用いてバーチャルリアリティ用の画像データを生成する第2の画像処理部をさらに有しても良い。
上記撮像システムは、前記携帯端末は、表示部と、外部からなされる操作に応じた信号を入力する入力デバイスと、前記複数の画像のうちの1つの画像を前記表示部に表示させると共に、前記入力デバイスから前記1つの画像内の少なくとも1つの領域を選択する信号が入力された場合に、前記1つの画像内の前記少なくとも1つの領域に対し、前記複数の画像のうちの他の画像内の前記少なくとも1つの領域に対応する領域を重畳して前記表示部に表示させる表示制御部と、をさらに有すると共に、前記1つの画像における前記少なくとも1つの領域の位置を表す位置情報を前記サーバにさらに送信し、前記画像処理部は、前記複数の画像の画像データに加え、前記位置情報を用いて、前記物体の像が消去された画像を生成しても良い。
上記撮像システムにおいて、前記携帯端末は、表示部と、外部からなされる操作に応じた信号を入力する入力デバイスと、前記複数の画像のうちの1つの画像を前記表示部に表示させる表示制御部と、をさらに有し、前記画像処理部は、前記入力デバイスから前記1つの画像内の少なくとも1つの領域を選択する信号が入力された場合に、前記複数の画像の画像データに加え、前記1つの画像における前記少なくとも1つの領域の位置を表す位置情報を用いて、前記物体の像が消去された画像を生成しても良い。
上記撮像システムにおいて、前記携帯端末は、前記入力デバイスから前記1つの画像内の少なくとも1つの領域を選択する信号が入力された場合に、前記撮像装置から前記他の画像の画像データを取得しても良い。
上記撮像システムにおいて、前記携帯端末は、表示部と、前記撮像装置により1回目の撮像を実行する旨を指示する第1の撮像指示画面と、前記1回目の撮像終了後に前記物体の位置を変更させて前記撮像装置により2回目の撮像を実行する旨を指示する第2の撮像指示画面とを前記表示部に順次表示させる表示制御部と、さらに有しても良い。
上記撮像システムにおいて、前記画像処理部は、前記複数の画像間で画素値の変化が生じている領域を抽出し、前記複数の画像のうちの1つの画像における前記領域の画素値を、前記複数の画像のうちの他の画像における前記領域の画素値に置き換えても良い。
上記撮像システムにおいて、表示部と、外部からなされる操作に応じた信号を入力する入力デバイスと、前記複数の画像のうちの1つの画像を前記表示部に表示させる表示制御部と、をさらに備え、前記画像処理部は、前記入力デバイスから前記1つの画像内の少なくとも1つの領域を選択する信号が入力された場合に、前記1つの画像内の前記少なくとも1つの領域の画素値を、前記複数の画像のうちの他の画像内の前記少なくとも1つの領域に対応する領域の画素値に置き換えても良い。
上記撮像システムは、表示部と、外部からなされる操作に応じた信号を入力する入力デバイスと、前記複数の画像のうちの1つの画像を前記表示部に表示させる表示制御部と、をさらに備え、前記画像処理部は、前記複数の画像間で画素値の変化が生じている少なくとも1つの領域を抽出し、前記表示制御部は、前記表示部に表示させた前記1つの画像に、前記画像処理部が抽出した前記少なくとも1つの領域をそれぞれ表す少なくとも1つのマークを重畳して表示させ、前記画像処理部は、前記入力デバイスから前記少なくとも1つのマークのうちの少なくともいずれかを選択する信号が入力された場合に、前記1つの画像内の前記少なくともいずれかのマークに対応する領域の画素値を、前記複数の画像のうちの他の画像内の対応する領域の画素値に置き換えても良い。
上記撮像システムは、表示部と、外部からなされる操作に応じた信号を入力する入力デバイスと、前記複数の画像を重畳し、前記表示部に表示させる表示制御部と、をさらに備え、前記画像処理部は、前記入力デバイスから、前記複数の画像のうち前記表示部に表示された最上層の画像内の領域を選択する信号が入力された場合に、前記領域を透明化しても良い。
上記撮像システムにおいて、前記表示制御部は、前記1つの画像を平面に投影した画像を前記表示部に表示させても良い。
上記撮像システムにおいて、前記表示制御部は、前記1つの画像を直交座標系に座標変換した画像を前記表示部に表示させても良い。
上記撮像システムは、撮像場所の位置を特定する画像の画像データを記憶する記憶部と、前記複数の画像の画像データを、前記位置を特定する画像の画像データにマッピングするマッピング処理部と、をさらに備えても良い。
本発明によれば、撮像装置に同一の被写体を複数回撮像させることにより、撮像装置に対する被写体以外の物体の位置が異なる複数の画像を取得し、これらの画像を合成することにより上記物体が消去された画像を生成するので、現場での全天球画像の撮像作業を容易に行うことができ、且つ、取得した全天球画像から撮影者の像などの不要な部分を簡単な画像処理で消去することが可能となる。
本発明の第1の実施形態に係る撮像システムの概略構成を示す模式図である。 図1に示すサーバの概略構成を示すブロック図である。 図1に示す携帯端末の概略構成を示すブロック図である。 図1に示す撮像装置の外観を例示する模式図である。 図1に示す撮像装置の概略構成を示すブロック図である。 本発明の第1の実施形態に係る撮像システムの動作を示すフローチャートである。 不動産物件のチラシを例示する模式図である。 携帯端末に表示される識別コード読み取り画面を例示する模式図である。 携帯端末に表示される撮像場所選択画面を例示する模式図である。 携帯端末に表示される撮像場所確認画面を例示する模式図である。 携帯端末に表示される撮像指示画面(1回目)を例示する模式図である。 1回目の撮像の様子を例示する模式図である。 図12に示す位置関係で撮像を行った場合に取得される画像を例示する模式図である。 携帯端末に表示される撮像指示画面(2回目以降)を例示する模式図である。 2回目の撮像の様子を例示する模式図である。 図15に示す位置関係で撮像を行った場合に取得される画像を例示する模式図である。 携帯端末に表示される確認画面を例示する模式図である。 携帯端末に表示される撮像場所変更画面を例示する模式図である。 携帯端末に表示される撮像完了確認画面を例示する模式図である。 携帯端末に表示される送信確認画面を例示する模式図である。 撮影者の像を消去する処理を説明するための模式図である。 撮影者の像が消去された画像を例示する模式図である。 第1の変形例における不要領域をユーザに選択させるための操作画面を例示する模式図である。 第1の変形例における画像処理を説明するための模式図である。 第2の変形例における不要領域をユーザに選択させるための操作画面を例示する模式図である。 第2の変形例における不要領域をユーザに選択させるための操作画面を例示する模式図である。 第3の変形例における不要領域をユーザに選択させるための操作画面を例示する模式図である。 第4の変形例における不要領域をユーザに選択させるための操作画面を例示する模式図である。 本発明の第2の実施形態に係る撮像システムの動作を示すフローチャートである。 携帯端末に表示される不要領域選択画面を例示する模式図である。 携帯端末に表示される撮像指示画面を例示する模式図である。 携帯端末に表示される画像確認画面を例示する模式図である。 本発明の第3の実施形態に係る撮像システムの動作を示すフローチャートである。 本発明の第3の実施形態における画像処理を説明するための模式図である。 本発明の第3の実施形態における画像処理を説明するための模式図である。
以下、本発明の実施形態に係る撮像システムについて、図面を参照しながら説明する。なお、これらの実施形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
以下においては、一例として、バーチャルリアリティ(以下「VR」と記す)の素材となる画像として、不動産物件の内見用の画像を生成する場合を説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係る撮像システムの概略構成を示す模式図である。図1に示す撮像システム1は、不動産物件に関する情報(以下「物件情報」という)や該不動産物件に関する画像を管理するサーバ10と、不動産物件の画像データを取得してサーバ10に転送する携帯端末20と、撮像装置30とを含む。このうち、サーバ10と携帯端末20とは、通信ネットワークNを介して接続されている。また、携帯端末20と撮像装置30とは、有線又は無線により直接接続されていても良いし、通信ネットワークNを介して接続されていても良い。
通信ネットワークNは、例えばインターネット回線や電話回線、LAN、専用線、移動体通信網、WiFi(Wireless Fidelity)、ブルートゥース(登録商標)等の通信回線、又はこれらの組み合わせが用いられる。通信ネットワークNは、有線、無線、又はこれらの組み合わせのいずれであっても良い。
図2は、サーバ10の概略構成を示すブロック図である。サーバ10は、不動産物件が写った画像の画像データを蓄積して管理する装置であり、例えばコンピュータによって構成される。ここで、サーバ10は、必ずしも1台のコンピュータで構成する必要はなく、例えば、通信ネットワークNに接続された複数のコンピュータによってサーバ10を構成しても良い。図2に示すように、サーバ10は、通信部11と、記憶部12と、演算部13とを備える。
通信部11は、サーバ10を通信ネットワークNに接続し、通信ネットワークNに接続された他の機器との間で通信を行うインタフェースである。通信部11は、例えばソフトモデム、ケーブルモデム、無線モデム、ADSLモデム等を用いて構成される。
記憶部12は、例えばROMやRAMといった半導体メモリやハードディスク等のコンピュータ読取可能な記憶媒体であり、プログラム記憶部121と、画像データ記憶部122と、物件情報データベース123とを含む。
プログラム記憶部121は、オペレーティングシステムプログラム及びドライバプログラムに加えて、各種機能を実行するアプリケーションプログラムや、これらのプログラムの実行中に使用される各種パラメータ等を格納する。具体的には、プログラム記憶部121は、物件情報を管理すると共に、撮像装置30によって取得され、携帯端末20を介して転送された画像データに基づいて画像処理を行うことによりVR画像の画像データを生成し、この画像データを物件情報と紐づけて管理する一連の動作を演算部13に実行させるためのプログラムを記憶している。
画像データ記憶部122は、不動産物件が写った画像の画像データや、この画像をVR用に構築した画像の画像データ(以下「VR画像データ」という)や、不動産物件の間取り図の画像データ(以下「間取り図データ」という)を格納する。
物件情報データベース123は、画像データ記憶部122に画像データが蓄積されている物件に関する情報を格納する。具体的には、物件情報は、物件情報を識別するための識別情報(物件ID)、当該物件の所在地、並びに、当該物件の画像データ、VR画像データ、及び間取り図データが記憶されている画像データ記憶部122上の記憶領域を表すアドレス等を含む。
演算部13は、例えばCPU(Central Processing Unit)やGPU(Graphics Processing Unit)を用いて構成され、プログラム記憶部121に記憶された各種プログラムを読み込むことにより、サーバ10の各部を統括的に制御すると共に、撮像システム1において物件の画像データを管理するための各種演算処理を実行する。詳細には、演算部13は、物件情報登録部131と、物件情報抽出部132と、物件情報更新部133と、画像処理部134とを含む。
物件情報登録部131は、通信ネットワークNを介して入力される情報に基づいて、物件情報を物件情報データベース123に登録する。具体的には、不動産物件の所在地や間取り、賃料若しくは売値等の情報が入力された場合に、物件IDを発行すると共に、入力された情報を物件IDと紐づけて、物件情報データベース123に記録する。
物件情報抽出部132は、通信ネットワークNを介して物件IDが入力された場合に、この物件IDと紐づけられた物件情報を物件情報データベース123から抽出する。
物件情報更新部133は、通信ネットワークNを介して入力される情報に従って、物件情報を更新する。
画像処理部134は、通信ネットワークNを介して入力される画像データに基づき、不動産物件の画像に対して所定の画像処理を実行する。詳細には、画像処理部134は、画像合成部135及びVR画像データ生成部136を含む。
画像合成部135は、同一の被写体を複数回撮像することにより取得された複数の画像を合成することにより、これらの画像に写り込んだ不要な物体、即ち、撮像対象とする被写体以外の物体の像を消去する。
VR画像データ生成部136は、画像合成部135により不要な物体の像が消去された画像をもとに、VR用の画像データを生成する。
図3は、携帯端末20の概略構成を示すブロック図である。携帯端末20は、不動産物件の現場で撮像装置30を用いて撮像を行う一連の動作を制御するための装置であり、例えばスマートフォン、タブレット端末、携帯電話、携帯情報端末(PDA)のように、通信ネットワークNを介した情報の送受信が可能な携帯機器によって構成される。
図3に示すように、携帯端末20は、通信部21と、入力部22と、表示部23と、読み取り部24と、記憶部25と、演算部26とを備える。
通信部21は、携帯端末20を通信ネットワークNに接続し、サーバ10やその他の機器との間で通信を行うインタフェースである。また、通信部21は、通信ケーブルを介して又は無線通信により撮像装置30との間で通信を行う。通信部21は、例えばISDNモデム、ADSLモデム、ケーブルモデム、光モデム、ソフトモデム等を用いて構成される。
入力部22は、操作ボタンや、表示部23上に設けられたタッチパネル等の入力デバイスであり、外部からなされる操作に応じた信号を演算部26に入力する。
表示部23は、例えば液晶ディスプレイや有機ELディスプレイであり、ユーザが入力操作を行うためのアイコンや、テキストメッセージや、画像等を表示する。
読み取り部24は、例えば携帯端末20に内蔵されたカメラであり、2次元コード等の識別コードの認識機能を有する。なお、携帯端末20は、必ずしもカメラを内蔵している必要はない。携帯端末20がカメラを内蔵していない場合には、識別コードを認識可能なリーダ装置を外付けにして用いれば良い。
記憶部25は、例えばROMやRAMといった半導体メモリ等のコンピュータ読取可能な記憶媒体であり、プログラム記憶部251と画像データ記憶部252とを含む。
プログラム記憶部251は、オペレーティングシステムプログラムやドライバプログラムに加えて、各種アプリケーションプログラムや、これらのプログラムの実行中に使用される各種パラメータ等を記憶する。具体的には、プログラム記憶部251は、不動産物件の撮像を撮像装置30に実行させることにより画像データを取得する一連の動作を演算部26に実行させるためのアプリケーションプログラムを記憶している。
画像データ記憶部252は、サーバ10から送信された不動産物件の間取り図データや、撮像装置30が撮像を行うことにより生成された画像データを記憶する。
演算部26は、例えばCPU(Central Processing Unit)やGPU(Graphics Processing Unit)を用いて構成され、プログラム記憶部251に記憶された各種プログラムを読み込むことにより、携帯端末20の各部を統括的に制御すると共に、撮像装置30から不動産物件の画像データを取得する一連の動作を実行する。詳細には、演算部26は、識別情報取得部261と、表示制御部262と、画像データ取得部263と、マッピング処理部264とを備える。
識別情報取得部261は、読み取り部24が識別コードを認識した場合に、この識別コードによって表される物件ID等の情報を取得する。ここで、識別コードとしては、バーコードや2次元コードのように光学的に読み取り可能なコードが用いられる。
表示制御部262は、撮像装置30に同一の被写体を複数回撮像させることにより、撮像装置30に対する被写体以外の物体の位置が異なる複数の画像を取得する一連の撮像動作中に表示部23に表示させる画面を生成し、表示部23に表示させる。
画像データ取得部263は、撮像装置30から出力される画像データを取り込み、同一の被写体を複数回撮像することにより取得された画像の画像データを互いに関連付けて画像データ記憶部252に記憶させる。
マッピング処理部264は、サーバ10から不動産物件の間取り図データを取得し、この間取り図データに対し、画像データ取得部263が撮像装置30から取り込んだ画像データのマッピングを行う。
図4は、撮像装置30の外観を例示する模式図である。また、図5は、撮像装置30の概略構成を示すブロック図である。撮像装置30は、一度の撮像動作により周囲の全方位を360°にわたって撮像可能な所謂全天球カメラであり、図4に示すように、筐体30cに取り付けられた2つの超広角レンズ30a、30bと、各々がCCDイメージセンサ又はCMOSイメージセンサを含み、カラー画像の画像データを生成して出力する2つの撮像部(第1撮像部31a、第2撮像部31b)とを備える。
超広角レンズ30a、30bの各々は少なくとも180°の画角を有する。第1撮像部31aは、被写体からの光を受光する受光面が超広角レンズ30aを介して外部を臨むように設けられている。また、超広角レンズ30aと第1撮像部31aとの間には、超広角レンズ30aによって集光された光を第1撮像部31aの受光面に入射させるためのプリズム等の光学系が配置されている。これにより、第1撮像部31aによって、水平画角180°及び垂直画角180°を有する半球画像を取得することができる。また、超広角レンズ30b及び第2撮像部31bも同様の構成を有している。
これらの第1撮像部31a及び第2撮像部31bによってそれぞれ取得された2つの半球画像を貼り合わせることにより、周囲の全方位が360°にわたって写った画像を取得することができる。このような画像は、全天球画像とも呼ばれる。
図5に示すように、撮像装置30は、第1撮像部31a、第2撮像部31bに加えて、通信部32、記憶部33、操作部34、及び制御部35を備える。
通信部32は、通信ケーブルを介して又は無線通信により当該撮像装置30を携帯端末20と接続するインタフェースである。
記憶部33は、例えばROMやRAMといった半導体メモリであり、第1撮像部31a、第2撮像部31bから出力された画像データを一時的に記憶する。
操作部34は、例えば押ボタン等の入力デバイスであり、ユーザの入力操作(シャッター操作)に応じて撮像指示を制御部35に入力する。なお、撮像装置30に対する撮像指示の入力は、操作部34を直接操作する他、撮像装置30と接続された携帯端末20からのリモート操作により行っても良い。
制御部35は、例えばCPU(Central Processing Unit)やGPU(Graphics Processing Unit)を用いて構成され、当該撮像装置30の動作を制御すると共に、第1撮像部31a及び第2撮像部31bからそれぞれ出力された画像データに基づく画像に対して所定の画像処理を実行する。詳細には、制御部35は、第1撮像部31a及び第2撮像部31bからそれぞれ出力された画像データに基づく半球画像に対し、ホワイトバランス処理やガンマ処理等の画像処理を施し、さらに、これらの半球画像を貼り合わせることにより、全天球画像を生成する画像処理部351を有する。
このような撮像装置30として、例えば、株式会社リコー製の全天球デジタルカメラ(製品名:THETA)を用いることができる。
次に、本実施形態に係る撮像システム1の動作について説明する。図6は、撮像システム1の動作を示すフローチャートである。
不動産物件の撮像に先立って、撮影者は、撮像対象の物件の物件IDを入手する。物件IDの入手方法は特に限定されないが、一例として、図7に示すように、物件IDを表す識別コード(例えば2次元コード)m11が印刷されたチラシを入手することとしても良い。このチラシM1には、識別コードm11の他、物件の間取り図m12や、物件の所在地等の情報が印刷されている。
まず、ステップS20において、撮影者は、携帯端末20において撮像アプリケーションを起動し、読み取り部24によってチラシM1に印刷された識別コードm11を読み取る。図8は、撮像アプリケーションの起動後に携帯端末20に表示される識別コード読み取り画面を例示する模式図である。撮影者は、まず、識別コード読み取り画面M2に表示されたメッセージm21に従い、チラシM1に印刷された識別コードm11に読み取り部24をかざす。
これに応じて、携帯端末20は、識別コードm11を読み取り、読み取った情報に含まれるURLによりサーバ10にアクセスして、読み取った情報に含まれる物件IDをサーバ10に送信する(ステップS21)。なお、物件IDをサーバ10に送信する方法はこれに限定されない。例えば、撮影者が携帯端末20に物件IDを直接入力して送信することとしても良い。
ステップS10において、サーバ10は物件IDを受信する。続くステップS11において、サーバ10の物件情報抽出部132は、物件情報データベース123を検索し、受信した物件IDに対応する物件情報を抽出する。
続く、ステップS12において、サーバ10の物件情報抽出部132は、抽出した物件情報から間取り図データが記憶されている記憶領域のアドレスを取得し、このアドレスに従って画像データ記憶部122から間取り図データを読み出して携帯端末20に送信する。
ステップS22において、携帯端末20は、間取り図データを受信し、表示部23に間取り図を表示する(ステップS23)。図9は、間取り図が表示された撮像場所選択画面を例示する模式図である。また、図10は、選択された撮像場所の確認画面を例示する模式図である。
撮影者は、図9に示す撮像場所選択画面M3に表示されたメッセージm32に従い、これから撮像しようとする場所に対応する間取り図m31上の位置(例えばLDK)に所定の操作(例えばタップ操作)を行う。携帯端末20は、操作を検知した間取り図m31上の位置を撮像場所として選択し(ステップS24)、この位置にピンm33を表示する(図10参照)。
図10に示す撮像場所確認画面M4には、間取り図m31及びピンm33に加えて、撮像場所を確認する旨のメッセージm34と、確認ボタンm35と、変更ボタンm36とが表示されている。携帯端末20は、確認ボタンm35に対する所定の操作(例えばタップ操作)を検知すると、選択された撮像場所を確定する。反対に、携帯端末20は、変更ボタンm36に対する所定の操作(同上)を検知すると、撮像場所の選択を解除し、再び図9に示す撮像場所選択画面M3を表示する。
続くステップS25において、携帯端末20は、撮像装置30に1回目の撮像を実行させることにより画像を取得する。詳細には、携帯端末20はまず、図11に例示するように、撮像の実行を指示するメッセージm37が表示された撮像指示画面(1回目)M5を表示する。撮影者がこのメッセージm37に従い、撮像装置30に対してシャッター操作を行うと、撮像装置30は撮像を開始し、撮像装置30の周囲の被写体が写った全天球画像の画像データを生成する。この画像データは、通信ケーブル又は無線通信を介して、撮像装置30から携帯端末20に転送される。
ここで、撮像を行う際には、好ましくは、三脚等を用いて撮像装置30を固定すると良い。より好ましくは、撮像装置30のセルフタイマー機能を利用し、或いは、携帯端末20からリモート操作を行うなどして、撮像装置30から若干離れた位置からシャッター操作を行うと良い。複数回撮像を行う間の構図の変化やブレを極力低減するためである。
図12は、選択された撮像場所(例えばLDK)における1回目の撮像の様子を例示する模式図である。また、図13は、図12に示す位置関係で撮像を行った場合に取得される1枚目の画像を例示する模式図である。なお、図13は、全天球画像に写った被写体の一部(例えば半球分の領域に写った被写体)を平面に投影した状態を示している。
撮像は、図12に示すように、撮像装置30をできるだけ部屋の中心に設置した状態で行うことが好ましい。図12において、撮影者2は、撮像装置30に対して図の左側に立った状態で撮像を行っている。そのため、図13に示すように、撮影者の像2’は、画像I1の左寄りの位置に写り込んでいる。
続くステップS26において、携帯端末20は、撮像装置30に2回目以降の撮像を実行させることにより画像を取得する。詳細には、携帯端末20はまず、図14に例示する撮像指示画面(2回目以降)M6を表示する。この撮像指示画面M6は、カメラ(撮像装置30)を移動させることなく、撮影者のみ移動して2回目の撮像を行うよう指示するメッセージm38が表示されている。撮影者がこのメッセージm38に従い、撮像装置30の位置を保ったまま、自分自身が移動し、この状態でシャッター操作を行うと、撮像装置30は撮像を開始し、撮像装置30の周囲の被写体が写った全天球画像の画像データを生成する。この画像データも、撮像装置30から携帯端末20に転送される。
図15は、2回目の撮像の様子を例示する模式図である。また、図16は、図15に示す位置関係で撮像を行った場合に取得される2枚目の画像を例示する模式図である。なお、図16は、全天球画像に写った被写体の一部(例えば半球分の領域に写った被写体)を平面に投影した状態を示している。図15において、撮影者2は、撮像装置30に対して図の右側に立った状態で撮像を行っている。そのため、図16に示すように、撮影者の像2’は、画像I2の右寄りの位置に写り込んでいる。
なお、撮影者を含む複数のスタッフで撮像を行う場合、各スタッフも撮影者2と同様、各回の撮像を行う間に場所を移動する。要するに、撮像装置30とスタッフとの相対的な位置が異なる複数の画像を取得できれば良い。
図17は、携帯端末20に表示される撮像確認画面を例示する模式図である。図17に示す撮像確認画面M7は、撮像が成功したか否かを問うメッセージm39と、成功ボタンm40と、やり直しボタンm41とを含む。携帯端末20は、やり直しボタンm41に対する所定の操作(例えばタップ操作)を検知すると、撮像装置30から転送された当該撮像場所に関する画像データを消去する。この場合、撮影者は、間取り図m31上でピンm33が表示されている場所における撮像をやり直すことができる。
他方、携帯端末20は、成功ボタンm40に対する所定の操作(同上)を検知すると、当該撮像場所において複数回撮像を行うことにより生成された画像データを1つのグループとして関連付けて画像データ記憶部252に記憶させる。
ステップS26において撮像を行う回数は、適宜設定することができる。例えば、全天球画像から撮影者の像を消去する画像処理を自動で行う場合には、トータルで(ステップS25を含め)少なくとも3回撮像を行う。また、全天球画像から撮影者の像を手動で選択する場合には、トータルで少なくとも2回撮像を行えば良い。
続くステップS27において、マッピング処理部264は、撮像装置30から転送された画像データを間取り図データに対してマッピングする。それにより、転送された画像データが、間取り図m31上でピンm33により特定された位置に関連づけられる。
図18は、1つの撮像場所における撮像の終了後に携帯端末20に表示される撮像場所変更画面を例示する模式図である。図18に示す撮像場所変更画面M8は、間取り図m31に加えて、次の撮像場所を選択させるメッセージm42と、終了ボタンm43とを含む。携帯端末20は、間取り図m31に対する操作を検知すると、操作に応じた位置にピンm33を表示した撮像場所確認画面(図10参照)を表示する。撮影者はこのような作業を繰り返すことにより、不動産物件の全ての部屋を撮像する。
他方、携帯端末20は、終了ボタンm43に対する操作を検知すると、図19に例示する撮像完了確認画面を表示する。図19に示す撮像完了確認画面M9は、全ての部屋の撮像が完了したか否かを問うメッセージm44と、YESボタンm45と、NOボタンm46とを含む。携帯端末20は、NOボタンm46に対する操作を検知すると、再び図9に示す撮像場所選択画面M3を表示する。それにより、撮影者は、引き続き撮像を行うことができる。
他方、携帯端末20は、YESボタンm45に対する操作を検知すると、続いて図20に示す画像データの送信確認画面を表示する。図20に示す送信確認画面M10は、画像データを送信するか否かを問うメッセージm47と、今すぐ送信する指示を入力するためのボタンm48と、後で送信する指示を入力するためのボタンm49とを含む。携帯端末20は、ボタンm48に対する操作を検知すると、撮像装置30から転送された物件の画像データと、マッピング処理後の間取り図データとを、通信ネットワークNを介してサーバ10に送信する。他方、携帯端末20は、ボタンm49に対する操作を検知すると、その場では画像データ等の送信を行わず、物件の画像データ及びマッピング処理後の間取り図データを画像データ記憶部252に保存しておく。この場合、携帯端末20は、別途送信指示を受けた段階で、画像データ及び間取り図データをサーバ10に送信する。
ここで、撮影者は、物件の画像データ及び間取り図データを、不動産物件の現場でサーバ10に送信しても良いし、サーバ10との通信環境が整ったときに送信しても良い。例えば、撮像対象の部屋数が多い場合には、データ送信に長時間を要することが予想されるので、後者とすることが好ましい。また、携帯端末20からサーバ10に画像データを直接送信しても良いし、携帯端末20から通信ケーブルを介してコンピュータに画像データを送信し、このコンピュータからサーバ10に画像データを送信することとしても良い。
ステップS28において、携帯端末20は、物件の画像データ及びマッピング処理後の間取り図データをサーバ10に送信する。ステップS13において、サーバは、これらのデータを受信する。
続くステップS14において、サーバ10の物件情報更新部133は、画像データ記憶部122に記憶されている間取り図データを、ステップS13において受信したマッピング処理後の間取り図データに更新する。
続くステップS15において、画像処理部134は、ステップS13において受信した物件の画像データに基づく画像に対して画像処理を施す。詳細には、画像合成部135が、同一の被写体(同じ部屋)を複数回撮像することにより得られた複数の全天球画像から、撮影者の像を消去する処理を行う。
ここで、撮影者の像を消去する処理を、図13、図16、図21、図22を参照しながら説明する。
図13に示す画像I1と図16に示す画像I2とは、同一の被写体を、撮像装置30に対する撮影者の位置を変えて撮像することにより得られた画像である。従って、各画像I1、I2においては、それぞれの画像に写り込んでいる撮影者の像2’の位置が異なるだけであって、それ以外の被写体の像は共通である。そこで、画像I1と画像I2との間で変化があった領域(例えば、図21に示す領域3)を検出することにより、撮影者の像2’を抽出することができる。詳細には、画像I1の座標xに位置する画素の画素値をp(x)、画像I2の座標xに位置する画素の画素値をq(x)として、位置が対応する画素同士で画素値の差を算出する。この差が所定の閾値Th以上である領域、即ち、次式(1)を満たす領域が、画像I1と画像I2との間で変化のあった領域である。
|p(x)−q(x)|≧Th…(1)
従って、|p(x)−q(x)|により算出される画像を閾値Thにより二値化し、得られた二値画像において輪郭追跡を行うことにより、撮影者の像2’と本来の被写体の像とを分離して抽出することができる。
実際の処理としては、同一の被写体を少なくとも3回撮像することにより得られた3枚の全天球画像(以下、画像A、画像B、画像Cとする)を用い、画像Aと画像Bとの差分画像から抽出した撮影者の像と、画像Bと画像Cとの差分画像から抽出した撮影者の像とのアンドを取ることにより、画像Bにおける撮影者の像の領域を抽出する。そして、画像Bから抽出された撮影者の像の領域に対し、別の画像(画像A又はC)における同じ領域の像を嵌め込む。即ち、画像Bにおける撮影者の像の領域内の画素の画素値を、別の画像内の対応する領域内の画素の画素値に置き換える。それにより、図22に示すような撮影者の像が消去された画像I3を得ることができる。
なお、撮像時に三脚等を用いて撮像装置30を固定している場合、撮像装置30の真下の領域については、複数の画像間で差異が生じない。この場合、上述したような画像処理により撮影者の像が消去された画像に対してさらに、撮像装置30の真下を含む所定の範囲が写った領域内の画素の画素値を、当該領域の近傍の画素の画素値に置き換える画像処理を実行する。これにより、当該領域全体が、当該領域の近傍と同じテクスチャとなり、撮像装置30を支持する三脚等の像を消去することができる。この際に画素値を置き換える領域の範囲については、予め設定しておけば良い。
続くステップS16において、VR画像データ生成部136は、撮影者の像が消去された全天球画像の画像データをもとに、間取り図データにおけるマッピング情報を用いてVR画像データを生成する。さらに、ステップS17において、VR画像データ生成部136は、生成したVR画像データを物件IDと関連付けて画像データ記憶部122に記憶させる。これにより、サーバ10及び携帯端末20の動作は終了する。
以上説明したように、本発明の第1の実施形態によれば、撮影者は、各撮像場所において撮像装置30に対する位置を変更して複数回撮像を行うだけで良いので、容易且つ短時間に撮像を完了することができる。また、第1の実施形態によれば、撮影者の位置が異なる複数の画像間での簡単な演算処理により、全天球画像から撮影者の像2’を消去することができる。従って、撮影者等の写り込みのない全天球画像を容易に取得することができる。
なお、上記第1の実施形態においては、同一の被写体に対して2回撮像を行うこととしたが、撮像回数は2回に限定されない。例えば、撮影者を含む複数のスタッフが現場にいる場合には、スタッフの位置を変えつつ3回以上撮像を行うことにより、より確実に、スタッフの像を全天球画像から消去することができる。
また、上記第1の実施形態においては、全天球画像から撮影者の像などの不要な部分を消去する画像処理をサーバ10側において行ったが、この画像処理を携帯端末20側で行っても良い。第1の実施形態においては、上述したように、簡単な演算処理で全天球画像から不要な部分を消去できるので、携帯端末20においても少ない負荷で当該画像処理を実行することができる。この場合、撮影者の像が消去された全天球画像の画像データを携帯端末20からサーバ10に転送し、サーバ10においては、受信した画像データをそのまま用いてVR画像データを生成すれば良い。
(第1の変形例)
上記第1の実施形態においては、全天球画像から撮影者の像などの不要な領域(以下、単に不要領域ともいう)を消去する画像処理を、サーバ10において自動で行うこととしたが、サーバ10にアクセスした端末装置から入力される情報に基づいて上記画像処理を行うこととしても良い。端末装置としては、サーバ10と通信を行うための通信インタフェースと、表示部と、該表示部における画面表示を制御する表示制御機能等を有する演算部と、外部からなされる操作に応じた信号を入力する入力デバイス(マウス、タッチパネル、キーボード等)とを有する汎用の装置を用いることができる。具体的には、パーソナルコンピュータ、ノートPC、タブレット端末等が用いられる。
図23は、不要領域をユーザ(端末装置の操作者)に選択させるための操作画面を例示する模式図であり、サーバ10にアクセスした端末装置に設けられた表示部に表示される。図24は、第1の変形例における画像処理を説明するための模式図である。以下の例においては、1つの撮像場所について少なくとも2回撮像を行えば良い。
図23に示す操作画面M11は、同一の被写体(1つの撮像場所)を複数回撮像することにより取得された画像(図6のステップS25、S26参照)のうちのいずれか(図23においては画像I1)と、不要領域の選択を促すメッセージm50と、OKボタンm51とを含む。ここで、図23においては、画像I1を、全天球画像に写った被写体の一部(例えば半球分の領域に写った被写体)を平面に投影した状態で表示している。操作画面M11においては、端末装置に設けられた入力デバイスにより画像I1に対して所定の操作(例えばスライド操作)を行うことにより、画像I1がスクロールされるようにしても良い。
ユーザは、画像I1の中から目視により撮影者の像2’を見つけ、操作画面M11に対する入力デバイスを用いた所定の操作(例えば、マウスやタッチパネルを用いた描画操作)により、撮影者の像2’を含む領域を囲み(囲み線4参照)、OKボタンm51を選択する。当該端末装置は、入力デバイスから入力される信号から画像I1内の領域を囲む操作及びOKボタンm51に対する操作を検知すると、囲まれた領域が不要領域として選択されたものと判断し、画像I1における当該領域の位置を表す位置情報(座標情報)をサーバ10に送信する。なお、選択される領域は1つであっても良いし、複数であっても良い。
これに応じて、サーバ10の画像処理部134は、端末装置から受信した位置情報に基づき、画像I1において選択された領域内の画素の画素値を、当該撮像時に取得された別の画像(図24に示す画像I2)において対応する領域内の画素(領域4’参照)の画素値に置き換える。これにより、撮影者の像2’が消去された画像(図22参照)を得ることができる。
本変形例によれば、画像内から消去したい領域をユーザが選択するので、より簡単な画像処理で、不要領域が消去された画像を得ることができる。
(第2の変形例)
上記第1の変形例においては、撮影者の像2’などの不要領域を軌跡4で囲むことにより選択したが、不要領域の選択方法はこれに限定されない。例えば、操作画面に表示された画像(全天球画像の一部)に対してスライド操作をすることにより、当該画像がスクロールされるようになっている場合、不要領域を選択する操作としては、画像内の領域への操作をできるだけ少なくすることが好ましい。
図25及び図26は、不要領域をユーザに選択させるための別の操作画面を例示する模式図である。これらの操作画面も、上記第1の変形例と同様、サーバ10にアクセスした端末装置に設けられた表示部に表示される。
図25に示す操作画面M12は、画像I1に対し、マウスやタッチパネル等の入力デバイスを用いて円弧5をなぞる描画操作がなされた場合に、当該円弧5を含む扇形領域6が選択されるようにしたものである。ユーザは、画像I1から撮影者の像2’を見つけた場合、この撮影者の像2’の近傍の円弧5をなぞる。それにより、撮影者の像2’を含む扇形領域6が不要領域として選択される。この場合、ユーザは、画像I1の内部に触れることなく、簡単に領域の選択操作を行うことができる。
図26に示す操作画面M13は、画像I1を予め複数の領域7a〜7hに分割して表示することにより、分割された領域単位で不要領域が選択されるようにしたものである。ユーザは、分割された領域7a〜7hのうちの所望の領域(例えば、撮影者の像2’を含む領域7g)に対し、入力デバイスを用いた所定の操作(例えば、ダブルクリック操作やダブルタップ操作)を行う。それにより、操作がなされた領域(例えば領域7g)が不要領域として選択される。この場合、ユーザは、画像I1に対する最小限の操作で、簡単に領域の選択操作を行うことができる。
なお、図26においては、画像I1を扇形に分割しているが、分割方法はこれに限定されない。例えば、画像I1を扇形に分割すると共に、径方向に分割しても良いし、格子状に分割しても良い。
(第3の変形例)
上記第1の変形例においては、不要領域をユーザに選択させるための操作画面に、全天球画像を平面に投影した円形の画像を表示しているが、全天球画像の表示方法はこれに限定されない。
図27は、不要領域をユーザに選択させるためのさらに別の操作画面を例示する模式図である。この操作画面も、上記第1の変形例と同様、サーバ10にアクセスした端末装置に設けられた表示部に表示される。
図27に示す操作画面M14には、全天球画像(例えば図16に示す画像I2)を直交座標系に座標変換した方形の画像I2’が表示されている。画像I2’の左方及び右方には、アイコンm52、m53がそれぞれ表示されており、これらのアイコンm52、m53に対して所定の操作(例えばクリック又はタップ操作)を行うことにより、画像I2’を左右にスクロールすることができる。或いは、画像I2’に対して直接、所定の操作(例えばスライド操作)を行うことにより、画像I2’がスクロールされるようにしても良い。
画像I2’に対する不要領域の選択方法は特に限定されない。例えば、第1の変形例と同様に、画像I2’内の所望の領域を囲むことで不要領域が選択されるようにしても良い。或いは、第2の変形例と同様に、画像I2’又は画像I2’の上辺若しくは下辺を水平方向になぞることで、なぞったラインを含む方形の領域が不要領域として選択されるようにしても良い。さらには、画像I2’を予め複数の領域に分割し、分割された領域単位で不要領域が選択されるようにしても良い。
(第4の変形例)
上記第1〜3の変形例においては、画像内からユーザが目視により撮影者の像2’を見つけることとしたが、撮影者の像2’の候補領域を自動検出し、候補領域の中から不要領域をユーザに選択させても良い。この場合、サーバ10の画像処理部134は、携帯端末20から送信された画像データに基づき、同一の被写体を複数回撮像することにより取得された複数の画像間の差分を取ることにより、撮影者の像2’と見られる候補領域を予め検出する。候補領域は、第1の実施形態と同様に、式(1)を満たす領域に対して輪郭追跡を行うことにより検出することができる。
図28は、不要領域をユーザに選択させるためのさらに別の操作画面を例示する模式図である。この操作画面も、上記第1の変形例と同様、サーバ10にアクセスした端末装置に設けられた表示部に表示される。
図28に示す操作画面M15には、同一の被写体を複数回撮像することにより取得された複数の画像(例えば、図13に示す画像I1と、図16に示す画像I2)のうちのいずれか(図28においては画像I1)が表示されている。この画像I1には、さらに、サーバ10において検出された候補領域を表すマーク8a、8bが重畳して表示されている。このうち、マーク8aは、画像I1に写り込んだ撮影者の像2’に対応し、マーク8bは、画像I2に写り込んだ撮影者の像2’に対応している。なお、マークの種類としては、図28に示すような候補領域の輪郭に限定されない。例えば、候補領域全体を塗りつぶしたオブジェクトであっても良いし、候補領域の位置を指す矢印等であっても良い。
携帯端末20は、操作画面M15上でのいずれかのマーク8a、8bに対する操作を検知すると、操作がなされたマーク(例えばマーク8a)を示す情報をサーバ10に送信する。これに応じて、サーバ10の画像処理部134は、操作画面M15に表示されている方の画像I1内のマーク8aに対応する領域の画素の画素値を、別の画像I2内の位置が対応する画素の画素値に置き換える。これにより、撮影者の像2’が消去された画像(図22参照)を得ることができる。
本変形例によれば、同一の被写体を複数回撮像することにより取得された複数の画像間で変化があった領域を候補領域として自動検出するので、ユーザの目視による不要領域の見落としを低減することができる。また、本変形例によれば、候補領域の中から、消去すべき不要領域をユーザに選択させるので、無用な画像処理を抑制することができる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
上記第1の実施形態においては、同一の被写体を複数回撮像することにより複数の全天球画像を取得した後(図6のステップS25、S26参照)、全天球画像から撮影者の像2’などの不要領域を消去する画像処理を行った。しかし、この画像処理を、携帯端末20において、撮像作業と並行して行っても良い。この場合、携帯端末20の演算部26が、プログラム記憶部251に記憶された画像処理プログラムを読み込むことにより、画像処理部としても機能する。以下、携帯端末20において画像処理を行う場合の撮像システム1の動作について説明する。
図29は、本発明の第2の実施形態に係る撮像システムの動作を示すフローチャートである。このうち、ステップS10〜S14、S16、S17、及びステップS20〜S24は、第1の実施形態と同様である。
ステップS24に続くステップS30において、携帯端末20は、撮像装置30に最初の撮像を実行させることにより画像を取得する。このステップS30の詳細は、図6のステップS25と同様である(図11〜図13参照)。撮影者が撮像装置30のシャッター操作を行うと、撮像装置30は撮像を開始し、撮像装置30の周囲の被写体が写った全天球画像の画像データを生成する。この画像データは、通信ケーブルを介して又は無線通信により、携帯端末20に転送される。
続くステップS31において、携帯端末20は、ステップS30において取得された画像を表示部23に表示する。詳細には、演算部26(表示制御部262)は、図30に示す不要領域選択画面を作成し、この画面内に、撮像装置30から転送された画像データに基づく画像を配置して表示部23に表示させる。図30に示す不要領域選択画面M16は、ステップS30において取得された画像I4と、不要領域をユーザに選択させるためのメッセージm60と、OKボタンm61とを含む。
撮影者は、画像I4から消去すべき領域、即ち、撮影者自身が写り込んでいる領域(不要領域)を目視で探し、この不要領域を選択する操作を携帯端末20に対して行う。不要領域を選択する操作は特に限定されない。例えば、第1の変形例と同様に不要領域を含む領域を線で囲む方法であっても良いし、第2の変形例と同様に、不要領域を含む扇形領域の円弧をなぞる方法であっても良いし、予め分割された複数の領域のいずれかを選択する方法であっても良い。また、不要領域選択画面M16において、第3の変形例と同様に全天球画像を直交座標系に座標変換した画像を表示しても良い。さらに、選択する領域は1つであっても良いし、複数であっても良い。図30は、画像I4において撮影者の像2’を含む領域を囲み線9で囲んだ状態を示している。
携帯端末20は、画像I4内の1つ以上の領域を選択する信号が入力され、さらに、OKボタンm61に所定の操作(例えばタップ操作)がなされたことを検知すると、画像I4において選択された不要領域の位置情報(座標情報)を記憶する(ステップS32)。
続くステップS33において、携帯端末20は、撮像装置30に再び撮像を実行させることにより画像を取得する。詳細には、演算部26はまず、図31に示す撮像指示画面を表示部23に表示させる。この撮像指示画面M17には、撮影者に移動して撮像を行うよう指示するメッセージm62が表示されている。撮影者がこのメッセージm62に従い、自分自身が移動した上で撮像装置30のシャッター操作を行うと、撮像装置30は撮像を開始し、撮像装置30の周囲の被写体が写った全天球画像の画像データを生成して携帯端末20に転送する。
続くステップS34において、携帯端末20は、ステップS30において取得された画像と、ステップS33において取得された画像とを合成する画像処理を行う。詳細には、画像処理部としての演算部26が、ステップS33において取得された画像から、ステップS32において記憶した不要領域の位置における画素の画素値を取得する。そして、これらの画素値によって、ステップS30において取得された画像I4における不要領域内の画素の画素値を置き換える。
続くステップS35において、携帯端末20は、ステップS34において画像処理が施された画像を表示する。詳細には、演算部26は、図32に示す画像確認画面を作成し、この画面内に、画像処理済みの画像を配置して表示部23に表示させる。図32に示す画像確認画面M18は、画像処理済みの画像I5と、不要領域の有無をユーザに確認させるためのメッセージm64と、不要領域の確認結果を入力させるためのボタンm65、m66とを含む。撮影者は、画像I5を目視し、さらに消去すべき不要領域がない場合には、ボタンm65に対して所定の操作(例えばタップ操作)を行う。反対に、さらに消去すべき不要領域がある場合には、ボタンm66に対して所定の操作(同上)を行う。
携帯端末20が、不要領域がある旨の操作を検知すると(ステップS36:Yes)、携帯端末20の動作はステップS31に戻る。この場合、携帯端末20は、再び不要領域選択画面(図30参照)を作成し、この画面に画像処理済みの画像I5を表示する。それにより、撮影者は、画像I5からさらに不要領域を選択することができる。
他方、携帯端末20が、不要領域はない旨の操作を検知すると(ステップS36:No)、演算部26(マッピング処理部264)は、画像処理済みの画像I5に対応する画像データを間取り図データに対してマッピングする(ステップS37)。それにより、画像処理済みの画像I5の画像データが、間取り図m31上でピンm33により特定された位置に関連づけられる。
続くステップS38において、携帯端末20は、画像処理済みの物件の画像データ及びマッピング処理後の間取り図データをサーバ10に送信する。
サーバ10は、物件の画像データ及び間取り図データを受信し(ステップS13)、間取り図データを更新する(ステップS14)。そして、ステップS13において受信した画像処理済みの画像データを用いてVR画像データを生成し(ステップS16)、生成したVR画像データを記憶する。
以上説明したように、本発明の第2の実施形態によれば、撮影者は、物件の現場において、画像内の不要領域の有無を確認しながら撮像作業を進めることができる。従って、不要領域の消去漏れのない画像を取得することが可能となる。
次に、上記第2の実施形態の変形例を説明する。本変形例において携帯端末20(表示制御部262)は、画像I4において選択された不要領域に(ステップS31、S32参照)、ステップS33において取得された画像内の上記不要領域に対応する領域の画像部分を重畳して表示するだけの簡易的な処理を行う(ステップS34、S35)。そして、ステップS38において、携帯端末20は、ステップS30及びステップS33においてそれぞれ取得された画像処理前の画像データと、ステップS32において記憶した不要領域の位置情報(座標情報)とをサーバ10に送信する。サーバ10は、受信した画像データと位置情報とに基づいて、ある画像内の不要領域の画素の画素値を、別の画像内の対応する領域の画素の画素値に置き換えることにより、不要領域を消去する画像処理を実行する。
本変形例によれば、不要領域の有無を確認しながら撮像作業を進めるので、不要領域の消去に必要な画像を確実に取得することができると共に、携帯端末20における演算負荷を低減することが可能となる。
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。図33は、本発明の第3の実施形態に係る撮像システムの動作を示すフローチャートである。図34及び図35は、本発明の第3の実施形態における画像処理を説明するための模式図である。
本実施形態に係る撮像システムにおいては、全天球画像から撮影者の像などの不要領域を消去する画像処理が、上記第1及び第2の実施形態と異なる。以下においては、全天球画像から不要領域を消去する画像処理を、携帯端末20において行う場合を説明するが、この画像処理を、画像をサーバ10に保存した後、端末装置からサーバ10にアクセスして行っても良い。
図33において、ステップS10〜S14、S16、S17、及びステップS20〜S24は、第1の実施形態と同様である。ステップS24に続くステップS40において、携帯端末20は、撮影場所1箇所につき、撮像装置30に複数回撮像を実行させることにより生成された2枚以上の画像を取得する。この際、1つの撮影場所において、1回撮像するたびに撮影者が移動するなどして、画像間において不要領域の位置が変化するようにする。
続くステップS41において、携帯端末20は、同じ場所で撮影された2枚以上の画像を重畳し、表示部23に表示する。このとき、2枚以上の画像の間で、不要領域以外の被写体の位置が重なるように、画像の向きを揃える。図34は、図13に示す画像I1と、図16に示す画像I2とを重畳した状態を示している。図34においては、画像I1の上に画像I2を重ねているため、画像I1に写った撮影者の像2’(破線部分)は画面に映らず、画像I2に写った撮影者の像2’(実線部分)が画面に映っている。
続くステップS42において、携帯端末20は、表示された画像において不要領域がある旨の操作を検知したか否かを判定する。この判定は、例えば図32と同様に、不要領域の有無をユーザに入力させる2つのボタンを画面に表示し、2つのボタンのいずれかに対して操作(例えばタップ操作)がなされたかを検知することで行うことができる。
携帯端末20は、不要領域がある旨の操作を検知した場合(ステップS42:Yes)、画面になされる操作に応じて、画面に表示された画像内において消去する部分(消去部分)を選択する(ステップS43)。具体的には、携帯端末20は、画面を指でなぞるスワイプ操作を検知すると、なぞられた領域を消去部分として選択する。例えば図34において、画像I2の撮影者の像2’を含む領域A1をなぞる操作が検知された場合、領域A1が消去部分として選択される。消去部分は、本来画像内に残したい被写体(図34においては撮影者の像2’の両脇のドア)にかかっても良い。
続くステップS44において、携帯端末20は、ステップS43において選択された部分を透明化する。即ち、選択された部分の透過度を100%に設定する。それにより、当該部分においては、下層の画像が画面に映される。例えば図35に示すように、選択された部分A2を透明化することにより、画像I2に写った撮影者の像2’やその周辺の像が画面から消え、下層の画像I1が見えるようになる。その後、処理はステップS41に戻る。
画像が3枚以上重畳されている場合には、透明化された部分に対してさらに消去部分を選択する操作(スワイプ操作)が行われたとき、透明化処理が施された画像(例えば1枚目の画像)の直下(例えば2枚目)の画像における当該選択された部分を透明化する処理が行われる。それにより、さらに下層(例えば3枚目)の画像の当該部分が画面に表示される。
また、ステップS42において、携帯端末20が、不要領域がある旨の操作を検知しない場合(ステップS42:No)、処理はステップS37に移行する。以後のステップS37、S38においては、重畳された2枚以上の画像はセットとして取り扱われる。
以上説明したように、本発明の第3の実施形態によれば、ユーザ(撮影者)は、自身の指などを用いた画面に対する直感的な操作により、不要領域を消去することができる。また、上層の画像に写った被写体のうち、本来画像内に残すべき被写体が消去部分として選択されてしまった場合でも、下層の画像に写った同じ被写体が画面に表示されるので、消去操作のミスを低減することができる。従って、ユーザは、ラフな操作で簡単に不要領域を消去することが可能となる。
上記第1〜3の実施形態及びこれらの変形例においては、不動産物件の内見用の画像を生成する場合を例として説明したが、本発明はこの他にも、全天球カメラにより周囲の被写体を一気に撮像したいが、撮影者の像を画像に写り込ませたくない各種画像を取得する場合に適用することができる。具体例として、結婚式場等の施設の下見用の画像や、観光案内用として観光地を仮想体験させるための画像などが挙げられる。
一例として、観光案内用の画像を取得する場合、著名な観光地には観光客がひっきりなしに訪れるため、人物が写り込まない観光施設や風景のみの画像を取得することが困難である。このような場合、観光施設や風景を、適宜タイミングを開けて複数回撮像を行うことにより、複数の画像を取得する。この際、撮影者自身も移動する。そして、これらの画像を用いて、画像間で変化が生じている領域、即ち、観光客や通行人等が写った領域を消去する処理を行えば良い。それにより、観光施設や風景のみが写った画像を容易に取得することができる。
画像処理の方法としては、第1の実施形態と同様にサーバ10において自動で行っても良いし、第1若しくは第2の変形例又は第2の実施形態と同様に端末装置に表示させた画像からユーザが不要領域を選択する方法であっても良いし、第4の変形例と同様にサーバ10において検出された不要領域の候補領域からユーザが不要領域を選択する方法であっても良い。或いは、第2の実施形態と同様に、撮像と、画像からの不要領域の選択と、画像処理又は重畳画像の表示とを、撮像場所において繰り返しても良い。後者の場合には、撮像しているその場で、不要領域を消去できているか否かを確認することができるので、画像処理による不要領域の消去漏れを抑制することができる。或いは、画像処理の失敗に備えて多めに撮像を行うといった手間を減らすことができる。
別の例として、旅行先での記念写真を撮る場合、やはり、著名な観光地には観光客が訪れるため、観光施設や風景を背景に自分(撮影者自身)たちだけが写った画像を取得することが困難である。このような場合、背景及び写真に残したい人物の構図を決め、適宜タイミングを開け、同じ構図で複数回撮像を行う。このときは、撮影者自身も移動する必要はない。そして、取得した複数の画像を用いて、画像間で変化が生じている領域を消去する処理を行うことにより、背景と自分たちだけが写った画像を容易に取得することができる。
これらの場合には、全天球画像の画像データを、不動産物件の間取り図データのように、撮像場所の位置を特定する画像の画像データにマッピングしても良い。具体的には、地図データ、観光施設の見取り図の画像データ等が挙げられる。
本発明は、上記第1〜3の実施形態及び変形例に限定されるものではなく、上記第1〜3の実施形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、第1〜3の実施形態及び変形例に示した全構成要素からいくつかの構成要素を除外して形成しても良いし、第1〜3の実施形態及び変形例に示した構成要素を適宜組み合わせて形成しても良い。
1 撮像システム
2 撮影者
2’ 撮影者の像
3、4’7a〜7h 領域
4、9 囲み線
5 円弧
6 扇形領域
8a、8b マーク
10 サーバ
11 通信部
12 記憶部
13 演算部
20 携帯端末
21 通信部
22 入力部
23 表示部
24 読み取り部
25 記憶部
26 演算部
30 撮像装置
30a、30b 超広角レンズ
30c 筐体
31a、31b 撮像部
32 通信部
33 記憶部
34 操作部
35 制御部
121 プログラム記憶部
122 画像データ記憶部
123 物件情報データベース
131 物件情報登録部
132 物件情報抽出部
133 物件情報更新部
134 画像処理部
135 画像合成部
136 VR画像データ生成部
251 プログラム記憶部
252 画像データ記憶部
261 識別情報取得部
262 表示制御部
263 画像データ取得部
264 マッピング処理部
351 画像処理部


Claims (21)

  1. 少なくとも、
    一度の撮像動作により周囲の全方位360°の範囲に含まれる被写体が写った画像を生成する撮像装置と、
    前記撮像装置と有線又は無線により接続された携帯端末と、
    を備える撮像システムであって
    前記携帯端末に設けられ、前記撮像装置に同一の被写体を複数回撮像させることによりそれぞれ生成される複数の画像であって、各回の間で前記撮像装置に対する前記被写体以外の物体の位置を変化させた状態で前記撮像装置に撮像を実行させることにより生成され、前記物体の像の位置が互いに異なる複数の画像の画像データを取得する画像データ取得部と、
    前記携帯端末に設けられた表示部と、
    前記携帯端末に設けられ、前記撮像装置により1回目の撮像を実行する旨を指示する第1の撮像指示画面と、前記1回目の撮像終了後に表示される第2の撮像指示画面であって、前記物体の位置を変更させて前記撮像装置により2回目の撮像を実行する旨を指示する第2の撮像指示画面と、を前記表示部に表示させる表示制御部と、
    前記複数の画像を合成することにより、前記物体の像が消去された画像を生成する画像処理部と、
    を備える撮像システム。
  2. 通信ネットワークを介して前記携帯端末と接続され、画像を管理するサーバをさらに備え、
    前記画像処理部は前記サーバに設けられ、
    前記携帯端末は、前記画像データ取得部が取得した前記複数の画像の画像データを前記サーバに送信し、
    前記サーバは、前記複数の画像の画像データを受信し、該画像データに基づいて前記物体の像が消去された画像を生成する、請求項1に記載の撮像システム。
  3. 前記画像処理部は、さらに、前記物体の像が消去された画像の画像データを用いて、バーチャルリアリティ用の画像データを生成する、請求項2に記載の撮像システム。
  4. 通信ネットワークを介して前記携帯端末と接続され、画像を管理するサーバをさらに備え、
    記画像処理部は、前記携帯端末に設けられ、
    前記携帯端末は、前記画像処理部により生成された前記物体の像が消去された画像の画像データを前記サーバに送信して記憶させる、請求項1に記載の撮像システム。
  5. 前記サーバは、前記物体の像が消去された画像の画像データを用いてバーチャルリアリティ用の画像データを生成する第2の画像処理部をさらに有する、請求項4に記載の撮像システム。
  6. 前記携帯端末は、外部からなされる操作に応じた信号を入力する入力デバイスをさらに有し
    前記表示制御部は、前記複数の画像のうちの1つの画像を前記表示部に表示させると共に、前記入力デバイスから前記1つの画像内の少なくとも1つの領域を選択する信号が入力された場合に、前記1つの画像内の前記少なくとも1つの領域に対し、前記複数の画像のうちの他の画像内の前記少なくとも1つの領域に対応する領域を重畳して前記表示部に表示させ、
    前記携帯端末は、前記1つの画像における前記少なくとも1つの領域の位置を表す位置情報を前記サーバにさらに送信し、
    前記画像処理部は、前記複数の画像の画像データに加え、前記位置情報を用いて、前記物体の像が消去された画像を生成する、
    請求項2又は3に記載の撮像システム。
  7. 前記携帯端末は、外部からなされる操作に応じた信号を入力する入力デバイスをさらに有し
    前記表示制御部は、前記複数の画像のうちの1つの画像を前記表示部に表示させ、
    前記画像処理部は、前記入力デバイスから前記1つの画像内の少なくとも1つの領域を選択する信号が入力された場合に、前記複数の画像の画像データに加え、前記1つの画像における前記少なくとも1つの領域の位置を表す位置情報を用いて、前記物体の像が消去された画像を生成する、
    請求項4又は5に記載の撮像システム。
  8. 前記画像処理部は、前記複数の画像間で画素値の変化が生じている領域を抽出し、前記複数の画像のうちの1つの画像における前記領域の画素値を、前記複数の画像のうちの他の画像における前記領域の画素値に置き換える、
    請求項1〜5のいずれか1項に記載の撮像システム。
  9. 前記携帯端末は、外部からなされる操作に応じた信号を入力する入力デバイスをさらに有し
    前記表示制御部は、前記複数の画像のうちの1つの画像を前記表示部に表示させ、
    前記画像処理部は、前記入力デバイスから前記1つの画像内の少なくとも1つの領域を選択する信号が入力された場合に、前記1つの画像内の前記少なくとも1つの領域の画素値を、前記複数の画像のうちの他の画像内の前記少なくとも1つの領域に対応する領域の画素値に置き換える、
    請求項1〜5のいずれか1項に記載の撮像システム。
  10. 前記携帯端末は、外部からなされる操作に応じた信号を入力する入力デバイスをさらに有し
    前記画像処理部は、前記複数の画像間で画素値の変化が生じている少なくとも1つの領域を抽出し、
    前記表示制御部は、前記複数の画像のうちの1つの画像を前記表示部に表示させると共に、前記表示部に表示させた前記1つの画像に、前記画像処理部が抽出した前記少なくとも1つの領域をそれぞれ表す少なくとも1つのマークを重畳して表示させ、
    前記画像処理部は、前記入力デバイスから前記少なくとも1つのマークのうちの少なくともいずれかを選択する信号が入力された場合に、前記1つの画像内の前記少なくともいずれかのマークに対応する領域の画素値を、前記複数の画像のうちの他の画像内の対応する領域の画素値に置き換える、
    請求項1〜5のいずれか1項に記載の撮像システム。
  11. 前記携帯端末は、外部からなされる操作に応じた信号を入力する入力デバイスをさらに有し
    前記表示制御部は、前記複数の画像を重畳し、前記表示部に表示させ、
    前記画像処理部は、前記入力デバイスから、前記複数の画像のうち前記表示部に表示された最上層の画像内の領域を選択する信号が入力された場合に、前記領域を透明化する、
    請求項1〜5のいずれか1項に記載の撮像システム。
  12. 一度の撮像動作により周囲の全方位360°の範囲に含まれる被写体が写った画像を生成する撮像装置と、
    前記撮像装置と有線又は無線により接続された携帯端末と、
    通信ネットワークを介して前記携帯端末と接続され、画像を管理するサーバと、
    を備える撮像システムであって、
    前記サーバは、撮像場所の位置を特定する画像の画像データを記憶する記憶部を有し、
    前記携帯端末は、
    表示部と、
    前記位置を特定する画像の画像データに基づいて、前記位置を特定する画像を前記表示部に表示させる表示制御部と、
    外部からなされる操作に応じた信号を入力する入力デバイスと、
    前記撮像装置に同一の被写体を複数回撮像させることによりそれぞれ生成される複数の画像であって、各回の間で前記撮像装置に対する前記被写体以外の物体の位置を変化させた状態で前記撮像装置に撮像を実行させることにより生成され、前記物体の像の位置が互いに異なる複数の画像の画像データを取得する画像データ取得部と、
    前記入力デバイスから入力された信号に基づき、前記表示部に表示された前記位置を特定する画像上の特定の位置を選択し、該選択された位置に基づいて、前記複数の画像の画像データを、前記位置を特定する画像の画像データにマッピングするマッピング処理を施すマッピング処理部と、
    前記複数の画像の画像データ、及び、前記マッピング処理が施された前記位置を特定する画像の画像データを前記サーバに送信する通信部と、
    を有し、
    前記サーバは、さらに、前記携帯端末から受信した前記複数の画像を合成することにより、前記物体の像が消去された画像を生成する画像処理部を有し、前記物体の像が消去された画像の画像データ、及び、前記携帯端末から受信した前記マッピング処理が施された前記位置を特定する画像の画像データを、前記記憶部に記憶させる、撮像システム。
  13. 一度の撮像動作により周囲の全方位360°の範囲に含まれる被写体が写った画像を生成する撮像装置と、
    前記撮像装置と有線又は無線により接続された携帯端末と、
    通信ネットワークを介して前記携帯端末と接続され、画像を管理するサーバと、
    を備える撮像システムであって、
    前記サーバは、撮像場所の位置を特定する画像の画像データを記憶する記憶部を有し、
    前記携帯端末は、
    表示部と、
    前記位置を特定する画像の画像データに基づいて、前記位置を特定する画像を前記表示部に表示させる表示制御部と、
    外部からなされる操作に応じた信号を入力する入力デバイスと、
    前記撮像装置に同一の被写体を複数回撮像させることによりそれぞれ生成される複数の画像であって、各回の間で前記撮像装置に対する前記被写体以外の物体の位置を変化させた状態で前記撮像装置に撮像を実行させることにより生成され、前記物体の像の位置が互いに異なる複数の画像の画像データを取得する画像データ取得部と、
    前記複数の画像を合成することにより、前記物体の像が消去された画像を生成する画像処理部と、
    前記入力デバイスから入力された信号に基づき、前記表示部に表示された前記位置を特定する画像上の特定の位置を選択し、該選択された位置に基づいて、前記物体の像が消去された画像の画像データを、前記位置を特定する画像の画像データにマッピングするマッピング処理を施すマッピング処理部と、
    前記物体の像が消去された画像の画像データ、及び、前記マッピング処理が施された前記位置を特定する画像の画像データを前記サーバに送信する通信部と、
    を有し、
    前記サーバは、前記携帯端末から受信した前記物体の像が消去された画像の画像データ、及び、前記マッピング処理が施された前記位置を特定する画像の画像データを前記記憶部に記憶させる、撮像システム。
  14. 前記サーバは、予め前記記憶部に記憶された前記マッピング処理が施される前の前記位置を特定する画像の画像データを前記携帯端末に送信し、前記携帯端末から受信した前記マッピング処理が施された前記位置を特定する画像の画像データを、前記記憶部に更新して記憶させる、請求項12又は13に記載の撮像システム。
  15. 前記被写体は建物の外観又は建物の内部であり、
    前記位置を特定する画像の画像データは、前記建物の位置を含む地図データ、又は、前記建物の内部を表す見取り図データ若しくは間取図データである、請求項12〜14のいずれか1項に記載の撮像システム。
  16. 少なくとも、
    一度の撮像動作により周囲の全方位360°の範囲に含まれる被写体が写った画像を生成する撮像装置と、
    前記撮像装置と有線又は無線により接続された携帯端末と、
    を備える撮像システムにおいて行われる撮像方法であって、
    前記撮像装置により1回目の撮像を実行する旨を指示する第1の撮像指示画面を前記携帯端末の表示部に表示するステップ(a)と、
    撮像装置に1回目の撮像を実行させることにより、少なくとも撮像対象の被写体が写った第1の画像を取得するステップ(b)と、
    ステップ(b)の後、前記撮像対象の被写体以外の物体の位置を変更させて前記撮像装置により2回目の撮像を実行する旨を指示する第2の撮像指示画面を前記表示部に表示するステップ(c)と、
    前記撮像装置に対する前記撮像対象の被写体以外の物体を移動させ、前記撮像装置に2回目の撮像を実行させることにより、前記第1の画像とは前記物体の位置が異なる第2の画像を取得するステップ(d)と、
    前記第1及び第2の画像を合成することにより、前記物体の像が消去された画像を生成するステップ(e)と、
    を含む撮像方法。
  17. 一度の撮像動作により周囲の全方位360°の範囲に含まれる被写体が写った画像を生成する撮像装置と、
    前記撮像装置と有線又は無線により接続された携帯端末と、
    通信ネットワークを介して前記携帯端末と接続され、画像を管理するサーバと、
    を備える撮像システムにおいて行われる撮像方法であって、
    前記サーバは、撮像場所の位置を特定する画像の画像データを記憶する記憶部を備え、
    前記携帯端末が、前記位置を特定する画像の画像データに基づいて、前記位置を特定する画像を前記携帯端末の表示部に表示するステップ(a)と、
    前記携帯端末が、外部からなされる操作に応じて前記携帯端末の入力デバイスから入力される信号に基づき、前記表示部に表示された前記位置を特定する画像上の特定の位置を選択するステップ(b)と、
    前記携帯端末が、前記撮像装置に同一の被写体を複数回撮像させることによりそれぞれ生成される複数の画像であって、各回の間で前記撮像装置に対する前記被写体以外の物体の位置を変化させた状態で前記撮像装置に撮像を実行させることにより生成され、前記物体の像の位置が互いに異なる複数の画像の画像データを取得するステップ(c)と、
    前記携帯端末が、ステップ(b)において選択された位置に基づいて、前記複数の画像の画像データを、前記位置を特定する画像の画像データにマッピングするマッピング処理を施すステップ(d)と、
    前記携帯端末が、前記複数の画像の画像データ、及び、前記マッピング処理が施された前記位置を特定する画像の画像データを前記サーバに送信するステップ(e)と、
    前記サーバが、前記携帯端末から受信した前記複数の画像を合成することにより、前記物体の像が消去された画像を生成するステップ(f)と、
    前記サーバが、前記携帯端末から受信した前記マッピング処理が施された前記位置を特定する画像の画像データを記憶するステップ(g)と、
    を含む撮像方法。
  18. 一度の撮像動作により周囲の全方位360°の範囲に含まれる被写体が写った画像を生成する撮像装置と、
    前記撮像装置と有線又は無線により接続された携帯端末と、
    通信ネットワークを介して前記携帯端末と接続され、画像を管理するサーバと、
    を備える撮像システムにおいて行われる撮像方法であって、
    前記サーバは、撮像場所の位置を特定する画像の画像データを記憶する記憶部を備え、
    前記携帯端末が、前記位置を特定する画像の画像データに基づいて、前記位置を特定する画像を前記携帯端末の表示部に表示するステップ(a)と、
    前記携帯端末が、外部からなされる操作に応じて前記携帯端末の入力デバイスから入力される信号に基づき、前記表示部に表示された前記位置を特定する画像上の特定の位置を選択するステップ(b)と、
    前記携帯端末が、前記撮像装置に同一の被写体を複数回撮像させることによりそれぞれ生成される複数の画像であって、各回の間で前記撮像装置に対する前記被写体以外の物体の位置を変化させた状態で前記撮像装置に撮像を実行させることにより生成され、前記物体の像の位置が互いに異なる複数の画像の画像データを取得するステップ(c)と、
    前記携帯端末が、前記複数の画像を合成することにより、前記物体の像が消去された画像を生成するステップ(d)と、
    前記携帯端末が、ステップ(b)において選択された位置に基づいて、前記物体の像が消去された画像の画像データを、前記位置を特定する画像の画像データにマッピングするマッピング処理を施すステップ(e)と、
    前記携帯端末が、前記物体の像が消去された画像の画像データ、及び、前記マッピング処理が施された前記位置を特定する画像の画像データを前記サーバに送信するステップ(f)と、
    前記サーバが、前記携帯端末から受信した前記物体の像が消去された画像の画像データ、及び、前記マッピング処理が施された前記位置を特定する画像の画像データを記憶するステップ(g)と、
    を含む撮像方法。
  19. 少なくとも、
    一度の撮像動作により周囲の全方位360°の範囲に含まれる被写体が写った画像を生成する撮像装置と、
    前記撮像装置と有線又は無線により接続された携帯端末と、
    を備える撮像システムにおいて、前記携帯端末に実行させるプログラムであって、
    前記撮像装置により1回目の撮像を実行する旨を指示する第1の撮像指示画面を前記携帯端末の表示部に表示するステップ(a)と、
    撮像装置に1回目の撮像を実行させることにより、少なくとも撮像対象の被写体が写った第1の画像を取得するステップ(b)と、
    ステップ(b)の後、前記撮像対象の被写体以外の物体の位置を変更させて前記撮像装置により2回目の撮像を実行する旨を指示する第2の撮像指示画面を前記表示部に表示するステップ(c)と、
    前記撮像装置に対する前記撮像対象の被写体以外の物体を移動させ、前記撮像装置に2回目の撮像を実行させることにより、前記第1の画像とは前記物体の位置が異なる第2の画像を取得するステップ(d)と、
    前記第1及び第2の画像を合成することにより、前記物体の像が消去された画像を生成するステップ(e)と、
    を含むプログラム。
  20. 一度の撮像動作により周囲の全方位360°の範囲に含まれる被写体が写った画像を生成する撮像装置と、
    前記撮像装置と有線又は無線により接続された携帯端末と、
    通信ネットワークを介して前記携帯端末と接続され、画像を管理するサーバと、
    を備える撮像システムにおいて、前記携帯端末に実行させるプログラムであって、
    前記サーバは、撮像場所の位置を特定する画像の画像データを記憶する記憶部を備え、
    前記位置を特定する画像の画像データに基づいて、前記位置を特定する画像を前記携帯端末の表示部に表示するステップ(a)と、
    外部からなされる操作に応じて前記携帯端末の入力デバイスから入力される信号に基づき、前記表示部に表示された前記位置を特定する画像上の特定の位置を選択するステップ(b)と、
    前記撮像装置に同一の被写体を複数回撮像させることによりそれぞれ生成される複数の画像であって、各回の間で前記撮像装置に対する前記被写体以外の物体の位置を変化させた状態で前記撮像装置に撮像を実行させることにより生成され、前記物体の像の位置が互いに異なる複数の画像の画像データを取得するステップ(c)と、
    ステップ(b)において選択された位置に基づいて、前記複数の画像の画像データを、前記位置を特定する画像の画像データにマッピングするマッピング処理を施すステップ(d)と、
    前記複数の画像の画像データ、及び、前記マッピング処理が施された前記位置を特定する画像の画像データを前記サーバに送信し、前記携帯端末から受信した前記複数の画像を合成することにより前記物体の像が消去された画像を生成させると共に、前記マッピング処理が施された前記位置を特定する画像の画像データを記憶させるステップ(e)と、
    を実行させるプログラム。
  21. 一度の撮像動作により周囲の全方位360°の範囲に含まれる被写体が写った画像を生成する撮像装置と、
    前記撮像装置と有線又は無線により接続された携帯端末と、
    通信ネットワークを介して前記携帯端末と接続され、画像を管理するサーバと、
    を備える撮像システムにおいて、前記携帯端末に実行させるプログラムであって、
    前記サーバは、撮像場所の位置を特定する画像の画像データを記憶する記憶部を備え、
    前記位置を特定する画像の画像データに基づいて、前記位置を特定する画像を前記携帯端末の表示部に表示するステップ(a)と、
    外部からなされる操作に応じて前記携帯端末の入力デバイスから入力される信号に基づき、前記表示部に表示された前記位置を特定する画像上の特定の位置を選択するステップ(b)と、
    前記撮像装置に同一の被写体を複数回撮像させることによりそれぞれ生成される複数の画像であって、各回の間で前記撮像装置に対する前記被写体以外の物体の位置を変化させた状態で前記撮像装置に撮像を実行させることにより生成され、前記物体の像の位置が互いに異なる複数の画像の画像データを取得するステップ(c)と、
    前記複数の画像を合成することにより、前記物体の像が消去された画像を生成するステップ(d)と、
    ステップ(b)において選択された位置に基づいて、前記物体の像が消去された画像の画像データを、前記位置を特定する画像の画像データにマッピングするマッピング処理を施すステップ(e)と、
    前記物体の像が消去された画像の画像データ、及び、前記マッピング処理が施された前記位置を特定する画像の画像データを前記サーバに送信し、前記物体の像が消去された画像の画像データ、及び、前記マッピング処理が施された前記位置を特定する画像の画像データを記憶させるステップ(f)と、
    を実行させるプログラム。
JP2018531898A 2016-08-02 2017-07-31 撮像システム、撮像方法、及びプログラム Active JP6514418B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016151768 2016-08-02
JP2016151768 2016-08-02
PCT/JP2017/027790 WO2018025825A1 (ja) 2016-08-02 2017-07-31 撮像システム

Publications (2)

Publication Number Publication Date
JPWO2018025825A1 JPWO2018025825A1 (ja) 2019-01-17
JP6514418B2 true JP6514418B2 (ja) 2019-05-15

Family

ID=61073463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018531898A Active JP6514418B2 (ja) 2016-08-02 2017-07-31 撮像システム、撮像方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP6514418B2 (ja)
WO (1) WO2018025825A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7154858B2 (ja) * 2018-07-26 2022-10-18 キヤノン株式会社 撮像装置
JP2020113974A (ja) * 2019-01-11 2020-07-27 株式会社リコー 撮像装置、方法およびプログラム
US11388332B2 (en) 2019-01-11 2022-07-12 Ricoh Company, Ltd. Image capturing apparatus, image capturing method, and recording medium
JP7306089B2 (ja) 2019-06-17 2023-07-11 株式会社リコー 画像処理システム、撮像システム、画像処理装置、撮像装置およびプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7221395B2 (en) * 2000-03-14 2007-05-22 Fuji Photo Film Co., Ltd. Digital camera and method for compositing images
JP2002140715A (ja) * 2000-10-31 2002-05-17 Dainippon Printing Co Ltd マルチ画面合成システム
JP2005012660A (ja) * 2003-06-20 2005-01-13 Nikon Corp 画像生成方法、画像生成装置
DE102007045835B4 (de) * 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
JP2012175533A (ja) * 2011-02-23 2012-09-10 Sanyo Electric Co Ltd 電子機器
JP6065195B2 (ja) * 2012-05-08 2017-01-25 パナソニックIpマネジメント株式会社 表示映像形成装置及び表示映像形成方法
JP6065474B2 (ja) * 2012-09-11 2017-01-25 株式会社リコー 撮像制御装置、撮像制御方法およびプログラム
JP6002529B2 (ja) * 2012-10-04 2016-10-05 パイオニア株式会社 電子機器、データの生成方法、プログラム、記録媒体、クライアントサーバシステム、クライアント端末、およびサーバ装置
JP2014096661A (ja) * 2012-11-08 2014-05-22 International Business Maschines Corporation 動画撮影中において動画中の動体オブジェクトをリアルタイムに隠消するための方法、並びに、その動画撮影機器及び当該動画撮影機器のためのプログラム
JP2015070483A (ja) * 2013-09-30 2015-04-13 株式会社日立ソリューションズ 画像取得プログラム、画像取得装置、および画像取得方法
JP2015109497A (ja) * 2013-12-03 2015-06-11 キヤノン株式会社 動画再生装置、動画再生方法及びプログラム
JP2015173407A (ja) * 2014-03-12 2015-10-01 有限会社デザインオフィス・シィ 被写体合成画像作成方法、その被写体合成画像を作成するプログラムを記録したコンピュータ読み取り可能な記録媒体、及び合成画像提供方法
JP6099595B2 (ja) * 2014-04-22 2017-03-22 本田技研工業株式会社 車内通信システム
JP2015207964A (ja) * 2014-04-23 2015-11-19 キヤノンマーケティングジャパン株式会社 撮像装置、撮像制御方法、プログラムおよび記録媒体
JP2016019249A (ja) * 2014-07-11 2016-02-01 キヤノン株式会社 表示制御装置
JP2016062486A (ja) * 2014-09-19 2016-04-25 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
JP6372696B2 (ja) * 2014-10-14 2018-08-15 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
JP2016103806A (ja) * 2014-11-28 2016-06-02 キヤノン株式会社 撮像装置、画像処理装置、撮像システム、画像処理方法およびプログラム
JP6682821B2 (ja) * 2014-12-05 2020-04-15 株式会社リコー サービスシステム、情報処理装置、サービス提供方法
JP6222205B2 (ja) * 2015-11-20 2017-11-01 株式会社リコー 画像処理装置

Also Published As

Publication number Publication date
JPWO2018025825A1 (ja) 2019-01-17
WO2018025825A1 (ja) 2018-02-08

Similar Documents

Publication Publication Date Title
JP6514418B2 (ja) 撮像システム、撮像方法、及びプログラム
JP6627861B2 (ja) 画像処理システムおよび画像処理方法、並びにプログラム
JP4434890B2 (ja) 画像合成方法及び装置
JP5966510B2 (ja) 情報処理システム
WO2018188499A1 (zh) 图像、视频处理方法和装置、虚拟现实装置和存储介质
CN106133794B (zh) 信息处理方法、信息处理设备以及程序
US20210405772A1 (en) Augmented reality eyewear 3d painting
CN104160369A (zh) 用于使用可移动引导标记来提供交互导航辅助的方法、装置和计算机可读存储介质
JP4834424B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2006127158A (ja) 画像処理方法、画像処理装置
US10803988B2 (en) Color analysis and control using a transparent display screen on a mobile device with non-transparent, bendable display screen or multiple display screen with 3D sensor for telemedicine diagnosis and treatment
JP6495538B2 (ja) イメージコンテンツ検索
CN109448050B (zh) 一种目标点的位置的确定方法及终端
US8643679B2 (en) Storage medium storing image conversion program and image conversion apparatus
JP5714960B2 (ja) 監視範囲検知装置
JP2014086988A (ja) 画像表示装置及びプログラム
CN113853569A (zh) 头戴式显示器
JP7287408B2 (ja) 表示方法、情報処理装置、及びプログラム
JP4703744B2 (ja) コンテンツ表現制御装置、コンテンツ表現制御システム、コンテンツ表現制御用基準物体およびコンテンツ表現制御プログラム
WO2021121061A1 (zh) 用于设置虚拟对象的空间位置的方法和电子设备
JP2003087550A (ja) 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP5691630B2 (ja) 画像合成方法
JP6859763B2 (ja) プログラム、情報処理装置
KR102339825B1 (ko) 상황인식 장치 및 이의 영상 스티칭 방법
JP7299653B1 (ja) 建築予定建物日照確認システム

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A527

Effective date: 20180824

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180824

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180824

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190321

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190411

R150 Certificate of patent or registration of utility model

Ref document number: 6514418

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350