JP6961157B1 - 情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
JP6961157B1
JP6961157B1 JP2021087993A JP2021087993A JP6961157B1 JP 6961157 B1 JP6961157 B1 JP 6961157B1 JP 2021087993 A JP2021087993 A JP 2021087993A JP 2021087993 A JP2021087993 A JP 2021087993A JP 6961157 B1 JP6961157 B1 JP 6961157B1
Authority
JP
Japan
Prior art keywords
information
information processing
outline
real space
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021087993A
Other languages
English (en)
Other versions
JP2022181131A (ja
Inventor
遼 松谷
太基 高見
瑛 長坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
X Garden
Original Assignee
X Garden
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by X Garden filed Critical X Garden
Priority to JP2021087993A priority Critical patent/JP6961157B1/ja
Priority to JP2021144862A priority patent/JP2022181153A/ja
Application granted granted Critical
Publication of JP6961157B1 publication Critical patent/JP6961157B1/ja
Publication of JP2022181131A publication Critical patent/JP2022181131A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】拡張現実(AugmentedReality:AR)を用いて、部屋等の一定の空間領域に対し、家具等の物品のデジタル情報をより精度よく重ね合わせて表示することを可能とする技術を提供すること。【解決手段】本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、次の各ステップを実行するように構成される。受付ステップでは、実空間を撮像した第1の画像データを受け付ける。取得ステップでは、実空間の概形に関する概形データを取得する。位置合わせステップでは、概形データの座標系と、第1の画像データに含まれる実空間の座標系とを対応付ける。【選択図】図1

Description

本発明は、情報処理システム、情報処理方法及びプログラムに関する。
近年、CADデータに基づいて、建築物に関するCG画像をリアルタイムで作成、表示できる技術が開示されている(特許文献1)。
特開平7−264545号公報
しかしながら、顧客が内見等の目的で実際に建築物を訪れる場合には、上記の従来技術のCG画像による現実世界の再現よりも、顧客が実際目にする現実の状態に基づいて、さらにイメージを膨らませることができるよう支援する技術が求められる。
本発明では上記事情を鑑み、拡張現実(Augmented Reality:AR)を用いて、部屋等の一定の空間領域に対し、家具等の物品のデジタル情報をより精度よく重ね合わせて表示することを可能とする技術を提供することとした。
本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、次の各ステップを実行するように構成される。受付ステップでは、実空間を撮像した第1の画像データを受け付ける。取得ステップでは、実空間の概形に関する概形データを取得する。位置合わせステップでは、概形データの座標系と、第1の画像データに含まれる実空間の座標系とを対応付ける。
本開示によれば、拡張現実(Augmented Reality:AR)を用いて、部屋等の一定の空間領域に対し、家具等の物品のデジタル情報をより精度よく重ね合わせて表示することを可能とする技術を提供することができる。
本実施形態に係る情報処理システム1を表す構成図である。 拡張現実提示装置2のハードウェア構成を示すブロック図である。 第3の実施形態に係る拡張現実提示装置2における制御部23等によって実現される機能を示すブロック図である。 情報処理装置3のハードウェア構成を示すブロック図である。 第1の実施形態および第2の実施形態に係る情報処理装置3における制御部33等によって実現される機能を示すブロック図である。 ホスト端末4に表示される画面であって、概形生成画面5の一例である。 拡張現実提示装置2に表示される画面であって、配置入力画面6の一例である。 拡張現実提示装置2に表示される画面であって、配置入力画面6の一例である。 概形データの座標系CGの一例である。 拡張現実提示装置2に表示される画面の一部であって、アンカー設定画面の一部である。 拡張現実提示装置2に表示される画面の一部であって、概形設定画面の一部である。 第1の画像データに含まれる実空間RSの座標系CRの一例である。 拡張現実提示装置2に表示される画面の一部であって、オブジェクト表示画面の一部である。 情報処理システム1によって実行される情報処理の流れの一例を示すアクティビティ図である。
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体(Non−Transitory Computer−Readable Medium)として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現(いわゆるクラウドコンピューティング)するように提供されてもよい。
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現され得るソフトウェアの情報処理とを合わせたものも含み得る。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、0または1で構成される2進数のビット集合体としての信号値の高低、または量子的な重ね合わせ(いわゆる量子ビット)によって表され、広義の回路上で通信・演算が実行され得る。
また、広義の回路とは、回路(Circuit)、回路類(Circuitry)、プロセッサ(Processor)、およびメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、およびフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものである。
1.ハードウェア構成
本節では、第1の実施形態(以下、本実施形態と称する)のハードウェア構成について説明する。
1.1 情報処理システム1
図1は、本実施形態に係る情報処理システム1を表す構成図である。情報処理システム1は、拡張現実提示装置2と、情報処理装置3と、ホスト端末4とを備え、これらがネットワークを通じて接続されている。これらの構成要素について、さらに説明する。ここで、情報処理システム1に例示されるシステムとは、1つまたはそれ以上の装置または構成要素からなるものである。したがって、情報処理装置3単体であっても、システムの一例となる。
1.2 拡張現実提示装置2
拡張現実提示装置2は、拡張現実(Augmented Reality:AR)が実現できる装置であれば、装置の種類は限定されない。拡張現実とは、実際の景色、地形等の現実環境に、情報処理装置を使ってさらに情報を加える技術を指す。拡張現実提示装置2は、ARを搭載した専用装置、パソコン、スマートフォンやタブレット型情報端末等の携帯情報端末であってもよく、ユーザがその目の周囲を覆うように装着可能に構成される装置であってもよい。例えば、ARウェアラブル端末であってもよい。ARウェアラブル端末として、例えば、メガネ型ARウェアラブル端末、ヘッドマウントディスプレイ、時計型ウェアラブル端末等の端末が挙げられる。
図2は、拡張現実提示装置2のハードウェア構成を示すブロック図である。拡張現実提示装置2は、通信部21と、記憶部22と、制御部23と、表示部24と、入力部25と、撮像部26とを有し、これらの構成要素が拡張現実提示装置2の内部において通信バス20を介して電気的に接続されている。通信部21、記憶部22および制御部23の説明は、情報処理装置3における通信部31、記憶部32および制御部33と略同様のため、省略する。
表示部24は、例えば、拡張現実提示装置2に含まれてもよいし、外付けされてもよい。拡張現実提示装置2が、ARグラスである場合、表示部24は、ARグラスのグラフィックディスプレイ部分である。ユーザは、グラフィックディスプレイを通して現実世界を認識するだけでなく、グラフィックディスプレイに表示された文字や画像を見て拡張現実を認識することができる。なお、ARグラス(拡張現実提示装置2)のグラフィックディスプレイ(表示部24)は、非透過両眼型、単眼型、透過両眼型等の種類があるが、限定されない。
拡張現実提示装置2が、ARグラスではない場合、表示部24は、拡張現実提示装置2に外付け、または内蔵されたCRTディスプレイ、液晶ディスプレイ、有機ELディスプレイおよびプラズマディスプレイ等の表示デバイスである。拡張現実提示装置2の種類に応じてこれらを使い分けて実施することが好ましい。また、表示部24の寸法、解像度、ドットピッチ等の仕様も限定されない。
入力部25は、ユーザからの各種指示や情報入力を受け付ける。当該入力が、命令信号として、通信バス20を介して制御部23に転送され、制御部23が、必要に応じて、所定の制御や演算を実行し得る。入力部25は、拡張現実提示装置2の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部25は、表示部24と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、QWERTYキーボード等を採用してもよい。
入力部25は、グラフィカルユーザインターフェース(Graphical User Interface:GUI)やナチュラルユーザインターフェースを用いることにしてもよい。ナチュラルユーザインターフェースを用いる場合、ユーザは、普段行っている自然な動作で、ARグラス(拡張現実提示装置2)に各種指示や情報を送ることができる。なお、ナチュラルユーザインターフェースとなる動作対象は、手又は指に限定されず、頭、首、腰等の体の部位全てとすることができる。
また、入力部25は、マイクロフォンであってもよい。マイクロフォン(入力部25)は、拡張現実提示装置2に内蔵又は外付けされるもので、音を電気信号に変換する音響装置である。具体的には、マイクロフォン(入力部25)は、空気振動を機械的振動に変え、それを電気信号に変換する。変換された電気信号は、デジタル電気信号であってもアナログ電気信号であってもよいが、通信部21を介して、デジタル電気信号として記憶部22に一旦保存される。
撮像部26は、外界の情報を撮像可能に構成される、いわゆるビジョンセンサ(カメラ)である。撮像部26は、撮影対象を撮影することで画像データを生成するように構成される。撮像部26は、後述の情報処理装置3における通信部31とネットワークを介して接続され、撮像した画像データを情報処理装置3に転送可能に構成される。
1.3 情報処理装置3
図4は、情報処理装置3のハードウェア構成を示すブロック図である。情報処理装置3は、通信部31と、記憶部32と、制御部33とを備え、これらの構成要素が、情報処理装置3の内部において、通信バス30を介して電気的に接続されている。各構成要素について、さらに説明する。
通信部31は、USB、IEEE1394、Thunderbolt、有線LANネットワーク通信等といった有線型の通信手段が好ましいものの、無線LANネットワーク通信、3G/LTE/5G等のモバイル通信、Bluetooth(登録商標)通信等を必要に応じて含めてもよい。すなわち、通信部31は、これら複数の通信手段の集合として実施されることがより好ましい。すなわち、情報処理装置3は、通信部31を介して、拡張現実提示装置2およびホスト端末4とネットワークを介して、種々の情報を通信する。
記憶部32は、前述の記載により定義される様々な情報を記憶する。記憶部32は、例えば、制御部33によって実行される情報処理装置3に係る種々のプログラム等を記憶するソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施され得る。また、記憶部32は、これらの組み合わせであってもよい。特に、記憶部32は、オブジェクトOに関するオブジェクト情報である描画データおよび位置座標データ、実空間RSの概形GDに関する概形データ、アンカー情報、または、これらを生成するためのプログラム等を記憶する。記憶部32は、これ以外にも、制御部33によって実行される情報処理装置3に係る種々のプログラム等を記憶している。
制御部33は、情報処理装置3に関連する全体動作の処理・制御を行う。制御部33は、例えば、不図示の中央処理装置(Central Processing Unit:CPU)である。制御部33は、記憶部32に記憶された所定のプログラムを読み出すことによって、情報処理装置3に係る種々の機能を実現する。すなわち、情報処理装置3に係る種々の機能は、記憶部32に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部33によって具体的に実現されることで、制御部33に含まれる各機能部として実行され得る。各機能部については、次節において、更に詳述する。なお、制御部33は、単一であることに限定されず、機能ごとに複数の制御部33を有するように実施されてもよい。また、制御部33は、複数の制御部の組み合わせであってもよい。
1.4 ホスト端末4
ホスト端末4の説明は、上記の拡張現実提示装置2と略同様のため、省略する。なお、ホスト端末4は、ARが実現できる装置でなくてもよいが、ARが実現できる装置であることが好ましい。
2.1 機能構成(拡張現実提示装置2)
本節では、第3の実施形態に係る拡張現実提示装置2の機能構成について説明する。前述の通り、拡張現実提示装置2に係る種々の機能は、記憶部22に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部23によって具体的に実現されることで、制御部23に含まれる各機能部として実行され得る。
図3は、第3の実施形態に係る拡張現実提示装置2における制御部23等によって実現される機能を示すブロック図である。具体的には、拡張現実提示装置2は、取得部231と、管理部232と、表示処理部233とを備える。
取得部231は、種々の情報を取得するように構成される。例えば、取得部231は、ネットワークを介して情報処理装置3から配置情報を取得してもよい。詳細については、後述する。
管理部232は、種々の情報を管理するように構成される。例えば、管理部232は、部屋に配置し得る複数のオブジェクトOに関する描画データを管理してもよい。詳細については、後述する。
表示処理部233は、種々の表示処理を実行するように構成される。例えば、表示処理部233は、実空間RSである部屋に仮想情報であるオブジェクトOを重畳表示させてもよい。詳細については、後述する。
2.2 機能構成(情報処理装置3)
本節では、第1の実施形態および第2の実施形態に係る情報処理装置3の機能構成について説明する。前述の通り、情報処理装置3に係る種々の機能は、記憶部32に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部33によって具体的に実現されることで、制御部33に含まれる各機能部として実行され得る。
図5は、第1の実施形態および第2の実施形態に係る情報処理装置3における制御部33等によって実現される機能を示すブロック図である。具体的には、情報処理システム1の一例である情報処理装置3は、受付部331と、画面表示部332と、概形生成部333と、取得部334と、位置合わせ部335とを備える。
受付部331は、種々の情報を受け付けるように構成される。例えば、受付部331は、受付ステップとして、実空間RSを撮像した第1の画像データを受け付けてもよい。詳細については、後述する。
画面表示部332は、種々の画面を表示させるよう制御するように構成される。概形生成画面表示部の一例である画面表示部332は、概形生成画面表示ステップとして、概形生成画面5(図6参照)を表示させるように制御する。アンカー設定画面表示部の一例である画面表示部332は、アンカー設定画面表示ステップとして、アンカー設定画面(図10参照)を表示させるように制御する。配置入力画面表示部の一例である画面表示部332は、配置入力画面表示ステップとして、配置入力画面6(図7および図8参照)を表示させるように制御する。オブジェクト表示画面の一例である画面表示部332は、オブジェクト表示画面表示ステップとして、オブジェクト表示画面(図13参照)を表示させるように制御する。詳細については、後述する。
概形生成部333は、第2の画像データから概形データを生成するように構成される。詳細については、後述する。
取得部334は、種々の情報を取得するように構成される。例えば、取得部334は、概形データ、アンカー情報およびオブジェクト情報を取得してもよい。詳細については、後述する。
位置合わせ部335は、概形データの座標系CGと、第1の画像データに含まれる実空間RSの座標系CRとを対応付けるように構成される。詳細については、後述する。
管理部336は、種々の情報を管理するように構成される。例えば、管理部336は、概形データを管理してもよい。詳細については、後述する。
3.第1の実施形態
本節では、第1の実施形態に係る情報処理システム1の情報処理方法について説明する。図6は、ホスト端末4に表示される画面であって、概形生成画面5の一例である。図7は、拡張現実提示装置2に表示される画面であって、配置入力画面6の一例である。図8は、拡張現実提示装置2に表示される画面であって、配置入力画面6の一例である。図9は、概形データの座標系CGの一例である。図10は、拡張現実提示装置2に表示される画面の一部であって、アンカー設定画面の一部である。図11は、拡張現実提示装置2に表示される画面の一部であって、概形設定画面の一部である。図12は、第1の画像データに含まれる実空間RSの座標系CRの一例である。図13は、拡張現実提示装置2に表示される画面の一部であって、オブジェクト表示画面の一部である。図14は、情報処理システム1によって実行される情報処理の流れの一例を示すアクティビティ図である。
ここで、ユーザとは、拡張現実提示装置2を使用する者であって、部屋等の一定の空間領域を対象とするAR体験を希望している者であるとする。また、ホストとは、ホスト端末4を使用する者であって、情報処理システム1によって提案されるサービスを利用して、ユーザにAR体験を提供する者であるとする。なお、ユーザとホストとは、同一人物であってもよく、この場合、当該人物は、拡張現実提示装置2を使用する。
実空間RSとは、AR体験の対象となる部屋等の一定の空間領域を指す。好ましくは、実空間RSは、建築物の内部空間である。このような態様によれば、ARを用いて、工場や屋内展示場といった場所に設置物を配置した場合のイメージを具体化させることができる。さらに好ましくは、実空間RSは、部屋である。このような態様によれば、ARを用いて、不動産物件の部屋等に家具等を配置した場合のイメージを具体化させることができる。
また、実空間RSに配置し得る物品をオブジェクトOと称する。実空間RSが部屋である場合、オブジェクトOとして、例えば、収納家具、棚類、箪笥、椅子類、寝具、机類等の家具、シーリングライト、フロアライト等の照明器具、空気清浄機、扇風機、エアーコンディショナー、時計等の生活家電、観葉植物、カーペット、ラグ、マット等のフロアマット、カーテン、ブラインド、ロールスクリーン、印刷機、複合機、シュレッダー等の事務機器、パーティション等が挙げられる。
以下、図13のアクティビティ図に沿って、情報処理システム1によって実行される情報処理の流れを説明するものとする。
まず、ホストが、ホスト端末4を用いて、情報処理システム1によって提案されるサービスのURLにブラウザを用いてアクセスする。なお、情報処理システム1によって提案されるサービスは、専用のモバイルアプリケーションにより提供されてもよく、この場合、ホストは、当該アプリケーションを起動する。次いで、ホストは、サービスを一覧表示する不図示のメニュー画面において、実空間RSの概形GDを編集および登録する機能を選択する(アクティビティA001)。
ホストによりメニュー画面(不図示)において実空間RSの概形GDを編集および登録する機能が選択されると、当該選択に係る情報が、ネットワークを介して情報処理装置3に送信される。その後、情報処理装置3において、通信部31が当該情報を受信したあと、制御部33の概形生成画面表示部332が、概形生成画面5(図6参照)をホスト端末4の表示部に表示させるための情報を、通信部31およびネットワークを介してホスト端末4に送信する(アクティビティA001)。
すなわち、概形生成画面表示部332は、概形生成画面5を表示させるように制御する。ここで、図6に示されるように、概形生成画面5は、複数の格子点LPを含み、各格子点LPを接続することで、実空間RSの概形GDに関する概形データを生成可能に構成される。このような態様によれば、一定の形状を有する部屋等の空間の概形について、簡易な手動操作で概形データを生成することができる(アクティビティA001)。
図6に示される概形生成画面5は、例えば、その右側に、複数の格子点LPを有する描画領域と、その左側に、概形生成画面5であることを示すタイトル51、スケールを設定するためのプルダウンメニュー52、描画のリセットを可能とするボタン53、および描画の完了を可能とするボタン54を含む領域とを有する(アクティビティA001)。
図6の概形生成画面5において、ホストは、まず、事前の採寸等で把握している実空間RSの広さに合わせて、プルダウンメニュー52から、格子点LP同士の間隔として適当な値を選択する。次いで、ホストは、描画領域において、格子点LPをつなぐように始点SPを移動させる操作を行うことによって、描線SLを作成する。続いて、ホストは、描線SLで閉じた領域ができるように、始点SPを終点EPが置かれた格子点LPまで移動させたあと、ボタン54を押下する。このようにしてホストによりボタン54が押下されると、当該一連の操作による入力情報は、ネットワークを介して情報処理装置3に送信され、通信部31が受信する。次いで、制御部33が、当該入力情報に基づいて、実空間RSの概形GDに関する概形データを生成する。(アクティビティA001)。
その後、記憶部32が概形データを少なくとも一時的に記憶する。ここで、管理部336が、概形データを、実空間RSの名称や所在地等の情報と関連づけて、所定の期間管理することが好ましい(アクティビティA001)。
続いて、ユーザが、拡張現実提示装置2を用いて、情報処理システム1によって提案されるサービスのURLにアクセスするか、または専用のモバイルアプリケーションを起動する。次いで、ユーザは、サービスを一覧表示する不図示のメニュー画面において、概形データの検索機能を選択し、管理部336が管理する、または記憶部32が記憶している複数の概形データの中から、実空間RSの名称や所在地等に基づいて、所望の概形データを検索する。例えば、実空間RSが部屋である場合、ユーザは、建物名、区画番号、部屋番号等を入力することにより、部屋の概形に関する概形データを検索する(アクティビティA002)。
ユーザは、概形データを選択後、遷移した画面(不図示)において、オブジェクトOの選択および配置場所指定の機能を選択する。ユーザにより当該機能が選択されると、当該選択に係る情報が、ネットワークを介して情報処理装置3に送信される。その後、情報処理装置3において、通信部31が当該情報を受信したあと、制御部33の配置入力画面表示部332が、配置入力画面6(図7参照)を拡張現実提示装置2の表示部24に表示させるための情報を、通信部31およびネットワークを介して拡張現実提示装置2に送信する(アクティビティA002)。
すなわち、配置入力画面表示部332は、配置入力画面6を表示させるように制御する。ここで、図7および図8に示されるように、配置入力画面6は、実空間RSに配置し得る複数のオブジェクトOの中から少なくとも1つのオブジェクトOを選択可能に構成され、かつ、選択されたオブジェクトOについて、概形データに含まれる概形GDのなす領域上の位置を指定することにより、概形データの座標系での位置を表す位置座標データを生成可能に構成される。このような態様によれば、重畳表示させる家具等の物品の選択と配置場所の指定とを、簡易な手動操作で行うことができる(アクティビティA002)。
図7および図8に示される配置入力画面6は、例えば、その右側に、ユーザが選択した概形データに含まれる概形GDが描かれた描画領域と、その左側に、配置入力画面6であることを示すタイトル61、オブジェクトOを概形GDのなす領域上に配置すること可能とするアイコンIO、およびアンカーAを概形GDのなす領域上に配置することを可能とするアイコンIAを含む領域とを有する(アクティビティA002)。
図7の配置入力画面6において、ユーザは、所望のオブジェクトOに対応するアイコンIOを、描画領域に描かれた概形GDのなす領域上の所望の位置にドラッグ・アンド・ドロップする。次いで、ユーザは、描画領域の下部に表示されるボタンRLまたはボタンRRを押下することにより、オブジェクトOの向きを調整する。なお、図7に示されているように、ボタンRLは、例えば、オブジェクトOを左に45度回転させることを可能とするボタンであり、ボタンRRは、例えば、オブジェクトOを右に45度回転させることを可能とするボタンである。ユーザの当該一連の操作による入力情報は、ネットワークを介して情報処理装置3に送信され、通信部31が受信する。次いで、制御部33が、当該入力情報に基づいて、選択されたオブジェクトOについて、概形データの座標系での位置を表す位置座標データを生成する(アクティビティA002)。
ユーザは、同様にして、全ての所望のオブジェクトOを、概形GDのなす領域上の所望の位置に配置する。これにより、全ての所望のオブジェクトOに対して位置座標データが生成され、記憶部32が位置座標データを少なくとも一時的に記憶する。なお、ユーザは、図7の配置入力画面6において、一旦配置してみたものの削除したいオブジェクトOを、オブジェクトOが選択されたあとに描画領域の下部に表示されるボタンDOにより削除することができる。削除されたオブジェクトOについては、生成された位置座標データも記憶部から削除される(アクティビティA002)。
その後、ユーザは、図7の配置入力画面6において、アンカーAを概形GDのなす領域上に配置することを可能とするアイコンIAに対する操作を行う。詳細には、ユーザは、図7の配置入力画面6において、アイコンIAを、描画領域に描かれた概形GDのなす領域上の適当な位置にドラッグ・アンド・ドロップする。ここで、図8の配置入力画面6に示されるように、ドラッグ・アンド・ドロップ操作によりアンカーAが描画領域に表示されると、アイコンIAが配置入力を完了させるボタンへと切り替わる。ユーザは、アンカーAを適当な位置に配置し終えたあと、当該アイコンIAを押下する。ユーザによる当該操作により、アンカー情報を対応付ける、概形GDのなす領域上の位置が指定され、当該指定に係る情報は、ネットワークを介して情報処理装置3に送信され、通信部31が受信する。次いで、制御部33が、概形GDのなす領域上の指定された位置へのアンカー情報の対応付けを行い、その後、概形GDのなす領域上の指定された位置に対応付けられたアンカー情報は、記憶部32により少なくとも一時的に記憶される(アクティビティA003)。
すなわち、配置入力画面6は、アンカー情報を対応付ける、概形データに含まれる概形GDのなす領域上の位置を指定可能に構成される。このような態様によれば、アンカーとするのに適した場所を、簡易な手動操作で指定することができる。なお、アンカーとするのに適した場所とは、実空間RSが部屋である場合、例えば、部屋の隅にあたる概形GDの角部分である(アクティビティA003)。
図8の配置入力画面6において、ユーザにより配置入力の完了を可能とするアイコンIAが押下されると、拡張現実提示装置2の撮像部が起動され、実空間RSを撮像した第1の画像データが、ネットワークを介して情報処理装置3に送信される。その後、情報処理装置3において、通信部31が、拡張現実提示装置2から送信された第1の画像データを受信し、受付部331が、実空間RSを撮像した第1の画像データを受け付ける(アクティビティA004)。
次いで、取得部334が、記憶部32から、実空間RSの概形GDに関する概形データを取得する。さらに、取得部334は、記憶部32から、概形データに対して設定されたアンカーAに関するアンカー情報を取得する。好ましくは、取得部334は、記憶部32から、概形GDのなす領域上の指定された位置に対応付けられたアンカー情報を取得する。続いて、第1の画像データおよびアンカー情報に基づいて、アンカー設定画面表示部332は、アンカー設定画面(図10参照)を拡張現実提示装置2の表示部24に表示させるための情報を生成し、通信部31およびネットワークを介して拡張現実提示装置2に送信する(アクティビティA005)。
すなわち、アンカー設定画面表示部332は、アンカー設定画面を表示させるように制御する。ここで、図10に示されるように、アンカー設定画面は、第1の画像データに重畳表示されるアンカーAを含み、かつ、アンカー情報を対応付ける実空間RSの位置を指定可能に構成される(アクティビティA005)。
図10にその一部が示されているアンカー設定画面は、例えば、実空間RSの画像と、アンカーAと、アンカー情報を対応付ける実空間RSの位置を指定可能とするボタンBAとを含む(アクティビティA005)。
ユーザは、表示部24にアンカー設定画面(図10参照)が表示されたあと、拡張現実提示装置2を所持または装着しながら実空間RS内を移動すること等により、拡張現実提示装置2の撮像部26が撮像する範囲を調整し、表示部24に表示されているアンカー設定画面(図10参照)において、配置入力画面6にてアンカーAを配置した概形GDのなす領域上の位置に対応する実空間RSの位置に、アンカーAを表示させる。ユーザは、アンカーAが適当な位置に表示されていることを確認したあと、アンカーAを押下する。ユーザによる当該操作により、アンカー情報を対応付ける実空間RSの位置が指定され、当該指定に係る情報が、ネットワークを介して情報処理装置3に送信され、記憶部32により少なくとも一時的に記憶される(アクティビティA005)。
続いて、制御部33が、概形設定画面(図11参照)を拡張現実提示装置2の表示部24に表示させるための情報を、通信部31およびネットワークを介して拡張現実提示装置2に送信する。ここで、図11に示されるように、概形設定画面は、実空間RSの画像と、概形GDと、概形GDの向きの調整を可能とするスライダーバーSBおよびスライダーSSと、概形GDの向きの調整を完了させることを可能とするボタンBGとを含む。また、概形設定画面(図11参照)は、アンカー情報が対応付けられた概形GDのなす領域上の点を、アンカー情報が対応付けられた実空間RSの位置に固定した状態で、概形GDの向きを変更可能とするように構成される(アクティビティA006)。
ユーザは、表示部24に概形設定画面(図11参照)が表示されたあと、スライダーバーSB上でスライダーSSを左右に移動させることにより、概形設定画面(図11参照)に表示されている概形GDの向きを調整し、実空間RSの形状に概形GDを合わせる。なお、スライダーSSの移動は、所持している拡張現実提示装置2を傾ける動作や、装着しているARグラス等の拡張現実提示装置2により部屋(実空間RS)の床の画像に重畳表示されるスライダーSSに対する手の動作等により可能となる。ユーザは、概形GDが実空間RSの形状に合っていることを確認したあと、ボタンBGを押下する。ユーザによる当該操作により、位置合わせの実行を要求する信号が、ネットワークを介して情報処理装置3に送信される(アクティビティA006)。
その後、情報処理装置3において、通信部31が、拡張現実提示装置2から送信された位置合わせの実行を要求する信号を受信し、位置合わせ部335が、概形データの座標系CGと、第1の画像データに含まれる実空間RSの座標系CRとを対応付ける。好ましくは、位置合わせ部335は、指定された実空間RSの位置に、アンカー情報を対応付けることによって、概形データの座標系CGと、実空間RSの座標系CRとを対応付ける。このような態様によれば、概形データの座標系CGと、実空間RSの座標系CRとにおいて、アンカーを共通の原点とすることにより、2つの座標系を精度良く対応付けることができる(アクティビティA006)。
ここで、位置合わせ部335が実行する位置合わせについて、図9および図12を参照しながら、具体例を挙げて説明することとする。図9に示されるように、概形データの座標系CGは、例えば、アンカーAを原点とし、座標軸としてx軸XGおよびy軸YGを有するXY座標系である。位置合わせ部335は、アクティビティA005において指定された実空間RSの位置にアンカー情報を対応付けることによって、当該位置を実空間RSの座標系CRの原点とするとともに、概形GDの向きに基づいてx軸XRおよびy軸YGを設定する。このようにして得られる実空間RSの座標系CRが、図12に示される座標系である(アクティビティA006)。
さらに、一つの点を例に挙げて、概形データの座標系CGと、実空間RSの座標系CRとの対応関係について説明することとする。また、ここで、説明の都合上、概形データに含まれる格子点LP同士の間隔は、1mであるとする。図9に示される概形データの座標系CGにおいて、概形GDのなす領域上の一点として、点P1が示されている。点P1は、図9の概形データの座標系CGにおいて、x座標が1m、y座標が1mである。これに対応して、点P1の実空間RSの座標系CRでの位置は、図12に示されるように、原点である部屋(実空間RS)の隅から、x軸XR方向に1m、y軸YR方向に1m離れた位置となる(アクティビティA006)。
以上で説明したように位置合わせが実行されたあと、取得部334が、記憶部32から、実空間RSに配置し得るオブジェクトOに関するオブジェクト情報を取得する。好ましくは、取得部334は、記憶部32から、アクティビティA002においてユーザにより選択されたオブジェクトOのオブジェクト情報を取得する。ここで、オブジェクト情報は、描画データと、概形データの座標系CGでの位置を表す位置座標データとを含む。なお、描画データは、オブジェクトOの3次元形状データを含み、色彩、模様およびテクスチャのデータを含むことが好ましい。また、位置座標データは、好ましくは、アクティビティA002において生成された位置座標データである(アクティビティA007)。
続いて、オブジェクト表示画面表示部332は、第1の画像データと、オブジェクト情報と、概形データの座標系CGに対応付けられた実空間RSの座標系CRと基づいて、オブジェクト表示画面(図13参照)を拡張現実提示装置2の表示部24に表示させるための情報を生成し、通信部31およびネットワークを介して拡張現実提示装置2に送信する(アクティビティA007)。
すなわち、オブジェクト表示画面表示部332は、オブジェクト表示画面を表示させるように制御する。ここで、図13に示されるように、オブジェクト表示画面は、オブジェクト情報と、概形データの座標系CGに対応付けられた実空間RSの座標系CRとに基づいて、第1の画像データにオブジェクトOを重畳表示させた画面である。このような態様によれば、家具等の物品のデジタル情報を、所望の位置により精度よく重畳表示することができる(アクティビティA007)。
図13にその一部が示されているオブジェクト表示画面は、例えば、実空間RSの画像と、概形GDと、立体的に表示されるオブジェクトOとを含む。なお、オブジェクト表示画面は、オブジェクトOの配置変更、回転、削除および追加が可能に構成されることが好ましい。(アクティビティA007)。
以上をまとめると、本実施形態の情報処理方法は、取得ステップと、受付ステップと、位置合わせステップとを備える。受付ステップでは、実空間RSを撮像した第1の画像データを受け付ける。取得ステップでは、実空間RSの概形GDに関する概形データを取得する。位置合わせステップでは、概形データの座標系CGと、第1の画像データに含まれる実空間RSの座標系CRとを対応付ける。
本実施形態によれば、拡張現実(Augmented Reality:AR)を用いて、部屋等の一定の空間領域に対し、家具等の物品のデジタル情報をより精度よく重ね合わせて表示することが可能になる。
4.第2の実施形態
本節では、第2の実施形態(以下、本実施形態と称する)に係る情報処理装置3について説明する。ただし、第1の実施形態に係る情報処理システム1と略同様の構成や機能については、その説明を省略する。
本実施形態に係る情報処理装置3は、次の各部を備える。受付部331は、部屋の概形GDに関する概形データに対する配置情報に関する入力を第1のユーザから受け付ける。配置情報は、部屋に配置するオブジェクトOの種類に関する情報と、オブジェクトOの配置場所に関する座標情報とを含む。画面表示部332は、配置情報をネットワークを介して拡張現実提示装置2に送信することで、実空間RSである部屋に仮想情報であるオブジェクトOを重畳表示させた画面を拡張現実提示装置2に表示させる。拡張現実提示装置2は、部屋に位置する第2のユーザの端末である。以下では、本実施形態に係る情報処理装置3によって実行される情報処理の流れを説明するものとする。
ここで、第1のユーザとは、例えば、不動産仲介担当者であり、第2のユーザとは、例えば、内見者である。また、第1のユーザと第2のユーザとは、同一人物であってもよい。
第1のユーザは、上記のアクティビティA002と同様にして、配置入力画面6(図8参照)において、実空間RSである部屋に配置し得る複数のオブジェクトOの中から少なくとも1つのオブジェクトOを選択し、選択したオブジェクトOについて、部屋の概形GDのなす領域上の位置を指定する。第1のユーザの当該操作による入力情報は、ネットワークを介して情報処理装置3に送信され、通信部31が受信したあと、受付部331が受け付ける。
次いで、制御部33が、当該入力情報に基づいて、選択されたオブジェクトOの種類に関する情報と、選択されたオブジェクトOの配置場所に関する座標情報とを生成する。すなわち、制御部33により配置情報が生成される。続いて、画面表示部332は、配置情報をネットワークを介して、部屋に実際にいる第2のユーザが所持する拡張現実提示装置2に送信する。次いで、拡張現実提示装置2において、通信部21が配置情報を受信したあと、制御部23が、配置情報と、記憶部22に記憶されたオブジェクトOの描画データとに基づいて、撮像部26が撮像した部屋の画像に、仮想情報であるオブジェクトOを重畳表示させた画面を表示部24に表示させるように制御する。
本実施形態によれば、内見等の目的で実際に不動産物件を訪れた顧客に、バーチャルモデルルームとして、従来の内見だけではイメージしにくい実際の生活の疑似体験を提供することができる。
5.第3の実施形態
本節では、第3の実施形態(以下、本実施形態と称する)に係る拡張現実提示装置2について説明する。ただし、第1の実施形態に係る情報処理システム1および第2の実施形態に係る情報処理装置3と略同様の構成や機能については、その説明を省略する。
本実施形態に係る拡張現実提示装置2は、次の各部を備える。取得部231は、ネットワークを介して情報処理装置3から配置情報を取得する。配置情報は、部屋の概形GDに関する概形データに対して設定された、部屋に配置するオブジェクトOの種類に関する情報と、オブジェクトOの配置場所に関する座標情報とを含む。管理部232は、部屋に配置し得る複数のオブジェクトOに関する描画データを管理する。表示処理部233は、取得した配置情報と、描画データとに基づいて、実空間RSである部屋に仮想情報であるオブジェクトOを重畳表示させる。以下では、本実施形態に係る拡張現実提示装置2によって実行される情報処理の流れを説明するものとする。
配置情報は、上記の第2の実施形態で説明したように、配置入力画面6(図8参照)における操作を介して情報処理装置3の制御部33において生成される。当該配置情報を、拡張現実提示装置2の取得部231が、ネットワークを介して情報処理装置3から取得する。
次いで、表示処理部233が、取得した配置情報と、管理部232が管理する描画データとに基づいて、撮像部26が撮像した部屋の画像に、仮想情報であるオブジェクトOを重畳表示させた画面を表示部24に表示させるように制御する。
なお、管理部232が管理する描画データは、上記の第1の実施形態で説明したように、オブジェクトOの3次元形状データを含み、色彩、模様およびテクスチャのデータを含むことが好ましい。また、管理部232は、オブジェクトOの名称や品番等の種類に関する情報と、オブジェクトOの描画データとを関連付けて管理する。
本実施形態によれば、内見等の目的で実際に不動産物件を訪れた顧客に、バーチャルモデルルームとして、従来の内見だけではイメージしにくい実際の生活の疑似体験を提供することができる。
5.その他
情報処理システム1に関して、以下のような態様を採用してもよい。
本実施形態の態様は、プログラムであってもよい。このプログラムは、コンピュータに、情報処理システム1の各ステップを実行させる。
第1の実施形態のアクティビティA001において、ホスト端末4に概形生成画面5(図6参照)を表示させたが、拡張現実提示装置2に概形生成画面5(図6参照)を表示させ、ユーザに概形GDの生成に係る操作を実行させてもよい。
第1の実施形態において、アクティビティA001をホストが実行し、アクティビティA002〜アクティビティA007をユーザが実行することとして説明したが、アクティビティA001〜アクティビティA003をホストがホスト端末4を使用して実行し、アクティビティA004〜アクティビティA007をユーザが拡張現実提示装置2を使用して実行してもよい。このような態様によれば、ホストである不動産仲介担当者等が、アクティビティA001〜アクティビティA003を経て予め2次元でモデルルーム(図8参照)を作成することによって、内見に来たユーザにバーチャルモデルルーム(図13参照)を体験させる準備を予め行うことができる。
第1の実施形態のアクティビティA001において、予め登録されている基本的な概形GDの中から、ホストまたはユーザが概形GDを選択することにより、概形データが生成されてもよい。実空間RSが部屋である場合、基本的な概形GDとは、例えば、長方形、L字型、T字型、カーブ型、Z字型、長方形から角が切り取られたカット型等である。さらに、基本的な概形GDを選択後、概形生成画面5(図6参照)等の画面において、実空間RSの形状により合致するように概形GDを調整できることが好ましい。
概形生成部333が、実空間RSの概形GDが把握可能である第2の画像データから概形データを生成してもよい。例えば、実空間RSを360度カメラで撮像した第2の画像データを利用し、概形データを生成してもよい。このような態様によれば、一定の形状を有する部屋等の空間の概形データを自動的に生成することできる。なお、生成される概形データは、3次元データであってもよい。
概形データは、CADデータであってもよい。実空間RSが部屋である場合、例えば、間取り図のCADデータを概形データとして利用してもよい。また、概形データとするCADデータは、3次元CADデータであってもよく、2次元CADデータから、3次元データとして概形データを生成してもよい。
概形データが3次元データである場合、第1の実施形態のアクティビティA002において、3次元で表された概形GDのなす空間上に、3次元で表されたオブジェクトOを配置する入力操作を行うことにより、オブジェクトOに対して、3次元座標系の位置座標データが生成されることが好ましい。
第1の実施形態のアクティビティA002において、ユーザの操作によらず、制御部33により自動的に、所定のオブジェクトOに対し、概形データに含まれる概形GDのなす領域上の適当な位置が指定されてもよい。ここで、所定のオブジェクトOに対し指定される適当な位置は、機械学習により、概形GDに合わせて最適化されていることが好ましい。
第1の実施形態のアクティビティA003において、アンカー情報を対応付ける、概形データに含まれる概形GDのなす領域上の位置は、ユーザの操作によらず、制御部33により自動的に指定されてもよい。例えば、図8の配置入力画面6に示されているように、概形GDの左隅が、アンカー情報を対応付ける位置として自動的に指定されてもよい。
第1の実施形態にアクティビティA002とA003とは、情報処理の流れとして、その順番が逆であってもよい。すなわち、アンカー情報を対応付ける、概形データに含まれる概形GDのなす領域上の位置を指定したあと、実空間RSに配置するオブジェクトOを選択し、選択したオブジェクトOについて、概形GDのなす領域上の位置を指定することが可能であってもよい。
オブジェクトOの描画データは、外部装置に記憶されたデータベースから取得してもよい。ここで、外部装置に記憶されたデータベースは、サービス提供者が有するデータベースに限らず、オブジェクトOの販売者等が有する外部のデータベースであってもよい。
第1の実施形態のアクティビティA007において拡張現実提示装置2の表示部24に表示されるオブジェクト表示画面は、実空間RSにいるユーザ以外の者が所持する拡張現実提示装置2に表示させることが可能であってもよい。例えば、実空間RSが部屋である場合、ホストでありユーザでもある不動産仲介担当者がアクティビティA001〜アクティビティA007を経て自身の拡張現実提示装置2にオブジェクト表示画面を表示させたあと、部屋の内見者が所持する拡張現実提示装置2にオブジェクト表示画面を表示させることが可能であってもよい。ここで、部屋の内見者は、複数人であってもよい。このような態様によれば、不動産仲介担当者等が、アクティビティA001〜アクティビティA003を経て予め2次元で作成したモデルルーム(図8参照)を利用して、内見に来た者に瞬時にバーチャルモデルルーム(図13参照)を体験させることができる。
次に記載の各態様で提供されてもよい。
前記情報処理システムにおいて、次のステップをさらに実行するように構成され、概形生成ステップでは、前記実空間の前記概形が把握可能である第2の画像データから前記概形データを生成する、もの。
前記情報処理システムにおいて、次のステップをさらに実行するように構成され、概形生成画面表示ステップでは、概形生成画面を表示させるように制御し、ここで、前記概形生成画面は、複数の格子点を含み、各格子点を接続することで、前記概形データを生成可能に構成される、もの。
前記情報処理システムにおいて、次の各ステップをさらに実行するように構成され、前記取得ステップでは、前記概形データに対して設定されたアンカーに関するアンカー情報をさらに取得し、アンカー設定画面表示ステップでは、アンカー設定画面を表示させるように制御し、ここで、前記アンカー設定画面は、前記第1の画像データに重畳表示される前記アンカーを含み、かつ、前記アンカー情報を対応付ける前記実空間の位置を指定可能に構成され、前記位置合わせステップでは、指定された前記実空間の位置に、前記アンカー情報を対応付けることによって、前記概形データの座標系と、前記実空間の座標系とを対応付ける、もの。
前記情報処理システムにおいて、次の各ステップをさらに実行するように構成され、配置入力画面表示ステップでは、配置入力画面を表示させるように制御し、ここで、前記配置入力画面は、前記アンカー情報を対応付ける、前記概形データに含まれる前記概形のなす領域上の位置を指定可能に構成され、前記取得ステップでは、前記概形のなす領域上の指定された位置に対応付けられた前記アンカー情報を取得する、もの。
前記情報処理システムにおいて、次の各ステップをさらに実行するように構成され、前記取得ステップでは、前記実空間に配置し得るオブジェクトに関するオブジェクト情報をさらに取得し、ここで、前記オブジェクト情報は、描画データと、前記概形データの座標系での位置を表す位置座標データとを含み、オブジェクト表示画面表示ステップでは、オブジェクト表示画面を表示させるように制御し、ここで、前記オブジェクト表示画面は、前記オブジェクト情報と、前記概形データの座標系に対応付けられた前記実空間の座標系とに基づいて、前記第1の画像データに前記オブジェクトを重畳表示させた画面である、もの。
前記情報処理システムにおいて、次のステップをさらに実行するように構成され、配置入力画面表示ステップでは、配置入力画面を表示させるように制御し、ここで、前記配置入力画面は、前記実空間に配置し得る複数のオブジェクトの中から少なくとも1つのオブジェクトを選択可能に構成され、かつ、選択された前記オブジェクトについて、前記概形データに含まれる前記概形のなす領域上の位置を指定することにより、前記位置座標データを生成可能に構成され、前記取得ステップでは、選択された前記オブジェクトの前記オブジェクト情報を取得する、もの。
前記情報処理システムにおいて、前記実空間は、建築物の内部空間である、もの。
前記情報処理システムにおいて、前記実空間は、部屋である、もの。
前記情報処理システムにおいて、前記概形データは、3次元データである、もの。
情報処理方法であって、前記情報処理システムの各ステップを備える、方法。
プログラムであって、コンピュータに、前記情報処理システムの各ステップを実行させる、もの。
情報処理装置であって、次の各ステップを実行するように構成され、受付ステップでは、部屋の概形に関する概形データに対する配置情報に関する入力を第1のユーザから受け付け、ここで前記配置情報は、前記部屋に配置するオブジェクトの種類に関する情報と、前記オブジェクトの配置場所に関する座標情報とを含み、画面表示ステップでは、前記配置情報をネットワークを介して拡張現実提示装置に送信することで、実空間である前記部屋に仮想情報である前記オブジェクトを重畳表示させた画面を前記拡張現実提示装置に表示させ、ここで、前記拡張現実提示装置は、前記部屋に位置する第2のユーザの端末である、もの。
拡張現実提示装置であって、次の各ステップを実行するように構成され、取得ステップでは、ネットワークを介して情報処理装置から配置情報を取得し、ここで前記配置情報は、部屋の概形に関する概形データに対して設定された、前記部屋に配置するオブジェクトの種類に関する情報と、前記オブジェクトの配置場所に関する座標情報とを含み、管理ステップでは、前記部屋に配置し得る複数のオブジェクトに関する描画データを管理し、表示処理ステップでは、取得した前記配置情報と、前記描画データとに基づいて、実空間である前記部屋に仮想情報である前記オブジェクトを重畳表示させる、もの。
もちろん、この限りではない。
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 :情報処理システム
2 :拡張現実提示装置
20 :通信バス
21 :通信部
22 :記憶部
23 :制御部
231 :取得部
232 :管理部
233 :表示処理部
24 :表示部
25 :入力部
26 :撮像部
3 :情報処理装置
30 :通信バス
31 :通信部
32 :記憶部
33 :制御部
331 :受付部
332 :画面表示部
333 :概形生成部
334 :取得部
335 :位置合わせ部
336 :管理部
4 :ホスト端末
5 :概形生成画面
51 :タイトル
52 :プルダウンメニュー
53 :ボタン
54 :ボタン
6 :配置入力画面
61 :タイトル
A :アンカー
AR :メガネ型
BG :ボタン
CG :座標系
CR :座標系
DO :ボタン
EP :終点
GD :概形
IA :アイコン
IO :アイコン
LP :格子点
O :オブジェクト
P1 :点
RL :ボタン
RR :ボタン
RS :実空間
SB :スライダーバー
SL :描線
SP :始点
SS :スライダー
XG :x軸
XR :x軸
YG :y軸
YR :y軸

Claims (9)

  1. 情報処理システムであって、
    次の各ステップを実行するように構成され、
    生成画面表示ステップでは、生成画面を表示させるように制御し、
    前記生成画面は、
    始点を移動させる操作を行うことによって、実空間の概形に関する概形データを生成可能な描画領域を含み、
    前記概形データに含まれる前記概形のなす領域上の位置を、前記実空間に設定するアンカーに関するアンカー情報を対応付ける位置として指定可能に構成され、
    複数の家具の中から少なくとも1つの家具のオブジェクトを選択可能に構成され、かつ、選択された前記家具について、前記概形データに含まれる前記概形のなす領域上の位置を指定することにより、配置情報を生成可能に構成され、前記配置情報は、前記家具の種類に関する情報と、前記家具の配置場所に関する座標情報とを含み、
    ここで前記生成画面において、前記描画領域と、前記アンカー情報を示すアイコンと、前記家具を示すアイコンとは、一覧性を有してともに表示され、
    取得ステップでは、前記生成画面を介して生成された、記概形データを取得し
    付ステップでは、前記実空間を撮像した第1の画像データを受け付け、
    位置合わせステップでは、前記概形データの座標系と、前記第1の画像データに含まれる前記実空間の座標系とを対応付ける、もの。
  2. 請求項1に記載の情報処理システムにおいて
    前記生成画面は、複数の格子点を含み、各格子点を接続することで、前記概形データを生成可能に構成される、もの。
  3. 請求項1または請求項2に記載の情報処理システムにおいて、
    次の各ステップをさらに実行するように構成され、
    前記取得ステップでは、前記アンカー情報をさらに取得し、
    アンカー設定画面表示ステップでは、アンカー設定画面を表示させるように制御し、ここで、前記アンカー設定画面は、前記第1の画像データに重畳表示される前記アンカーを含み、かつ、前記アンカー情報を対応付ける前記実空間の位置を前記第1の画像データに対して指定可能に構成され、
    前記位置合わせステップでは、指定された前記実空間の位置に、前記アンカー情報を対応付けることによって、前記概形データの座標系と、前記実空間の座標系とを対応付ける、もの。
  4. 請求項1または請求項3に記載の情報処理システムにおいて、
    次の各ステップをさらに実行するように構成され、
    前記取得ステップでは、前記配置情報をさらに取得し
    オブジェクト表示画面表示ステップでは、前記第1の画像データと、前記配置情報とに基づいて、前記第1の画像データに前記家具を重畳表示させたオブジェクト表示画面を表示させるように制御、もの。
  5. 請求項1〜請求項4の何れか1つに記載の情報処理システムにおいて、
    前記実空間は、建築物の内部空間である、もの。
  6. 請求項5に記載の情報処理システムにおいて、
    前記実空間は、部屋である、もの。
  7. 請求項1〜請求項6の何れか1つに記載の情報処理システムにおいて、
    前記概形データは、3次元データである、もの。
  8. 情報処理方法であって、
    請求項1〜請求項7の何れか1つに記載の情報処理システムの各ステップを備える、方法。
  9. プログラムであって、
    コンピュータに、請求項1〜請求項7の何れか1つに記載の情報処理システムの各ステップを実行させる、もの。
JP2021087993A 2021-05-25 2021-05-25 情報処理システム、情報処理方法及びプログラム Active JP6961157B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021087993A JP6961157B1 (ja) 2021-05-25 2021-05-25 情報処理システム、情報処理方法及びプログラム
JP2021144862A JP2022181153A (ja) 2021-05-25 2021-09-06 情報処理システム、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021087993A JP6961157B1 (ja) 2021-05-25 2021-05-25 情報処理システム、情報処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021144862A Division JP2022181153A (ja) 2021-05-25 2021-09-06 情報処理システム、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP6961157B1 true JP6961157B1 (ja) 2021-11-05
JP2022181131A JP2022181131A (ja) 2022-12-07

Family

ID=78409691

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021087993A Active JP6961157B1 (ja) 2021-05-25 2021-05-25 情報処理システム、情報処理方法及びプログラム
JP2021144862A Pending JP2022181153A (ja) 2021-05-25 2021-09-06 情報処理システム、情報処理方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021144862A Pending JP2022181153A (ja) 2021-05-25 2021-09-06 情報処理システム、情報処理方法及びプログラム

Country Status (1)

Country Link
JP (2) JP6961157B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023248619A1 (ja) * 2022-06-21 2023-12-28 株式会社Nttドコモ 端末装置及びオブジェクト管理サーバ

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163308A (ja) * 2000-09-13 2002-06-07 Matsushita Electric Works Ltd ネットワークを用いた3次元空間設計支援システム
JP2014002645A (ja) * 2012-06-20 2014-01-09 Shimizu Corp 合成画像表示システム及びその方法
WO2019088273A1 (ja) * 2017-11-04 2019-05-09 ナーブ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2020098568A (ja) * 2018-10-03 2020-06-25 株式会社エム・ソフト 情報管理装置、情報管理システム、情報管理方法および情報管理プログラム
JP6838130B1 (ja) * 2019-12-24 2021-03-03 株式会社ベガコーポレーション 情報提供装置、情報提供システム、情報提供方法及び情報提供プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163308A (ja) * 2000-09-13 2002-06-07 Matsushita Electric Works Ltd ネットワークを用いた3次元空間設計支援システム
JP2014002645A (ja) * 2012-06-20 2014-01-09 Shimizu Corp 合成画像表示システム及びその方法
WO2019088273A1 (ja) * 2017-11-04 2019-05-09 ナーブ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2020098568A (ja) * 2018-10-03 2020-06-25 株式会社エム・ソフト 情報管理装置、情報管理システム、情報管理方法および情報管理プログラム
JP6838130B1 (ja) * 2019-12-24 2021-03-03 株式会社ベガコーポレーション 情報提供装置、情報提供システム、情報提供方法及び情報提供プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023248619A1 (ja) * 2022-06-21 2023-12-28 株式会社Nttドコモ 端末装置及びオブジェクト管理サーバ

Also Published As

Publication number Publication date
JP2022181131A (ja) 2022-12-07
JP2022181153A (ja) 2022-12-07

Similar Documents

Publication Publication Date Title
US11164381B2 (en) Clothing model generation and display system
US10657716B2 (en) Collaborative augmented reality system
KR102276173B1 (ko) 공간-의존 콘텐츠를 위한 햅틱 효과 생성
US8046719B2 (en) Virtual work place
US20200371665A1 (en) Collaborative augmented reality system
JP6214981B2 (ja) 建築画像表示装置、建築画像表示方法及びコンピュータプログラム
US8098263B2 (en) Image processing method and image processing apparatus
GB2535302A (en) Methods for generating a 3D virtual body model of a person combined with a 3D garment image, and related devices, systems and computer program products
EP3090424A1 (en) Assigning virtual user interface to physical object
JP7208549B2 (ja) 仮想空間制御装置、その制御方法、及びプログラム
EP3262505B1 (en) Interactive system control apparatus and method
JP2019008623A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
US10964104B2 (en) Remote monitoring and assistance techniques with volumetric three-dimensional imaging
JP2007034415A (ja) 設計支援システム
JP6961157B1 (ja) 情報処理システム、情報処理方法及びプログラム
Xie et al. Interactive multi-user 3d visual analytics in augmented reality
JP2013008257A (ja) 画像合成プログラム
Sun et al. Enabling participatory design of 3D virtual scenes on mobile devices
JP6152888B2 (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
JP2012048656A (ja) 画像処理装置、画像処理方法
JP5767371B1 (ja) 仮想空間平面上に配置したオブジェクトを表示制御するゲーム・プログラム
EP4295219A1 (en) Devices, methods, and graphical user interfaces for maps
JP2017084215A (ja) 情報処理システム、その制御方法、及びプログラム
JP2020074108A (ja) 情報処理システム、その制御方法、及びプログラム
WO2020188721A1 (ja) ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210525

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210827

R150 Certificate of patent or registration of utility model

Ref document number: 6961157

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150