JP7388771B1 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
JP7388771B1
JP7388771B1 JP2022185029A JP2022185029A JP7388771B1 JP 7388771 B1 JP7388771 B1 JP 7388771B1 JP 2022185029 A JP2022185029 A JP 2022185029A JP 2022185029 A JP2022185029 A JP 2022185029A JP 7388771 B1 JP7388771 B1 JP 7388771B1
Authority
JP
Japan
Prior art keywords
information processing
vehicle
image
unit
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022185029A
Other languages
English (en)
Other versions
JP2024073998A (ja
Inventor
紗記子 斎藤(西)
亨 杉本
晃一 沢田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2022185029A priority Critical patent/JP7388771B1/ja
Application granted granted Critical
Publication of JP7388771B1 publication Critical patent/JP7388771B1/ja
Publication of JP2024073998A publication Critical patent/JP2024073998A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

【課題】撮影対象のサイズ感が実態と異ならないように適切に表示させること。【解決手段】本願に係る情報処理装置は、取得部と、設定部と、生成部とを備える。取得部は、複数の視点から対象物を撮影した複数の撮影画像を取得する。設定部は、取得部により取得された複数の撮影画像から中心軸を設定する。生成部は、設定部により設定された中心軸に対する角度に応じた情報を合成した多視点画像を生成する。【選択図】図21

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
従来、商品の大きさを感覚的に捉えやすくするために、商品の画像と、比較対象となる比較物品の画像とを並べて表示する技術が知られている。
特開2002-236941号公報
しかしながら、従来の技術では、撮影対象のサイズ感が実態と異ならないように適切に表示させることはできなかった。
本願は、上記に鑑みてなされたものであって、撮影対象のサイズ感が実態と異ならないように適切に表示させることを目的とする。
本願に係る情報処理装置は、複数の視点から対象物を撮影した複数の撮影画像を取得する取得部と、前記取得部により取得された複数の撮影画像から中心軸を設定する設定部と、前記設定部により設定された中心軸に対する角度に応じた情報を合成した多視点画像を生成する生成部と、を有することを特徴とする。
実施形態の一態様によれば、撮影対象のサイズ感が実態と異ならないように適切に表示させることができるという効果を奏する。
図1は、実施形態に係る情報処理システムの構成例を示す図である。 図2は、実施形態に係る情報処理の一例を示す図である。 図3は、実施形態に係る基準角度と車両の向きとの一例を示す図である。 図4は、実施形態に係る撮影画像の生成の一例を示す図である。 図5は、実施形態に係る撮影画像の生成の一例を示す図である。 図6は、実施形態に係るインターフェース(UI)の一例を示す図である。 図7は、実施形態に係る端末装置の構成例を示す図である。 図8は、実施形態に係る車両情報提供サーバの構成例を示す図である。 図9は、実施形態に係る車両情報記憶部の一例を示す図である。 図10は、実施形態に係る利用者情報記憶部の一例を示す図である。 図11は、実施形態に係る情報処理装置の構成例を示す図である。 図12は、実施形態に係る多視点画像記憶部の一例を示す図である。 図13は、実施形態に係る情報処理の一例を示すフローチャートである。 図14Aは、撮影位置と撮影対象との距離関係が異なる場合の一例を示す図である(正面その1)。 図14Bは、撮影位置と撮影対象との距離関係が異なる場合の一例を示す図である(斜めその1)。 図14Cは、撮影位置と撮影対象との距離関係が異なる場合の一例を示す図である(真横その1)。 図15Aは、撮影位置と撮影対象との距離関係が異なる場合の一例を示す図である(正面その2)。 図15Bは、撮影位置と撮影対象との距離関係が異なる場合の一例を示す図である(斜めその2)。 図15Cは、撮影位置と撮影対象との距離関係が異なる場合の一例を示す図である(真横その2)。 図16Aは、車両の表示の一例を示す図である(個別表示)。 図16Bは、車両の表示の一例を示す図である(並列表示)。 図17は、実施形態2に係る情報処理の一例を示す図である。 図18は、実施形態2に係る撮影方法の一例を示す図である。 図19Aは、実施形態2に係る表示の一例を示す図である(影の表示)。 図19Bは、実施形態2に係る表示の一例を示す図である(補助線の表示)。 図19Cは、実施形態2に係る表示の一例を示す図である(ターンテーブルの表示)。 図20Aは、実施形態2に係る多視点画像の一例を示す図である(角度0度の場合)。 図20Bは、実施形態2に係る多視点画像の一例を示す図である(角度45度の場合)。 図20Cは、実施形態2に係る多視点画像の一例を示す図である(角度90度の場合)。 図21は、実施形態2に係る情報処理装置の構成例を示す図である。 図22は、実施形態2に係る情報処理の一例を示すフローチャートである。 図23は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
(実施形態)
〔1.情報処理システムの構成〕
図1に示す情報処理システム1について説明する。図1に示すように、情報処理システム1は、端末装置10と、車両情報提供サーバ50と、情報処理装置100とが含まれる。端末装置10と、車両情報提供サーバ50と、情報処理装置100とは所定の通信網(ネットワークN)を介して、有線または無線により通信可能に接続される。図1は、実施形態に係る情報処理システム1の構成例を示す図である。
端末装置10は、車両情報を提供する所定のウェブサイト(例えば、車両を販売する販売店への送客を行う所定のウェブサイト(例えば、車両の検索サービスを提供するウェブサイト))を閲覧する利用者によって利用される情報処理装置である。利用者は、例えば、車両の購入を検討しているものである。端末装置10は、実施形態における処理を実現可能であれば、どのような装置であってもよい。また、端末装置10は、スマートフォンや、タブレット型端末や、ノート型PCや、デスクトップPCや、携帯電話機や、PDA等の装置であってもよい。図2では、端末装置10がスマートフォンである場合を示す。
端末装置10は、例えば、スマートフォンやタブレット等のスマートデバイスであり、3G~5G(Generation)やLTE(Long Term Evolution)等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。また、端末装置10は、液晶ディスプレイ等の画面であって、タッチパネルの機能を有する画面を有し、利用者から指やスタイラス等によりタップ操作、スライド操作、スクロール操作等、コンテンツ等の表示データに対する各種の操作を受付けてもよい。図2では、端末装置10は利用者U1によって利用される。
車両情報提供サーバ50は、利用者からの要求に応じて車両情報を提供することを目的とした情報処理装置であり、実施形態における処理を実現可能であれば、どのような装置であってもよい。例えば、車両情報提供サーバ50は、車両の車種情報や発表・発売年月情報やグレード情報や駆動/ミッション情報や価格情報や主要諸元データ(例えば、全長、全幅、全高、乗車定員、車両重量、タイヤサイズ、ホイールタイプ、使用燃料)などの情報を提供する。車両情報提供サーバ50は、例えば、車両情報を提供する所定のウェブサイトを管理するサーバ装置やクラウドシステム等により実現される。
情報処理装置100は、利用者が選択した複数の車両を、見栄えを揃えて比較したいといった利用者の要望に適切に応えることを目的とした情報処理装置であり、実施形態における処理を実現可能であれば、どのような装置であってもよい。例えば、情報処理装置100は、車両情報提供サーバ50から車両の指定を受け付けると、指定された車両の撮影画像(元データ)を取得して、見栄えを揃えて比較したいといった利用者の要望に適切に応えるための表示データを生成し、生成した表示データを車両情報提供サーバ50へ提供する。情報処理装置100は、例えば、車両情報を提供する所定のウェブサイトを管理するサーバ装置やクラウドシステム等により実現される。
なお、図1では、車両情報提供サーバ50と情報処理装置100とが別装置である場合を示したが、車両情報提供サーバ50と情報処理装置100とが一体であってもよい。
〔2.情報処理の一例〕
図2は、実施形態に係る情報処理システム1の情報処理の一例を示す図である。以下実施形態において、利用者U1は、車両Aと車両Bとで購入を迷っており、車両Aと車両Bとの見栄えを揃えて比較したいといった要望を有する。なお、実施形態に係る車両は対象物の一例である。以下実施形態では、対象物の一例として車両を例に挙げて説明するが、この例に限定されなくてもよい。例えば、対象物は、車両に限られず、電化製品などの物品であってもよい。
情報処理装置100は、様々な視点から車両を撮影した撮影画像(元データ)からなる多視点画像を車両ごとに取得する(ステップS101)。例えば、情報処理装置100は、車両をターンテーブルTB1に載せて少しずつ回転させながら車両を撮影した撮影画像からなる多視点画像を取得する。この際、車両は、例えば、車両の重心とターンテーブルTB1の中心とが一致するようにターンテーブルTB1に車両を載せて撮影される。また、車両の撮影は、例えば、情報処理装置100の管理者等によって実施される。
また、この際、車両の状態は様々であってもよい。例えば、車両のドアが閉まっている状態であってもよいし、車両のドアが開いている状態であってもよい。また、例えば、車両のライトが点灯していない状態であってもよいし、車両のライトが点灯している状態であってもよい。例えば、情報処理装置100は、ドアが閉まっている状態の車両をターンテーブルTB1に載せて撮影したあとにドアを開けて、ドアが開いている状態の同じ車両を撮影することで、ドアが閉まっている状態の多視点画像と、ドアが開いている状態の多視点画像とを取得してもよい。また、例えば、情報処理装置100は、ライトが点灯していない状態の車両をターンテーブルTB1に載せて撮影したあとにライトを点灯して、ライトが点灯している状態の同じ車両を撮影することで、ライトが点灯していない状態の多視点画像と、ライトが点灯している状態の多視点画像とを取得してもよい。なお、ドアが開いている状態や、ライトが点灯している状態は一例であり、実施形態に係る車両の状態はこれらの例に限られない。
情報処理装置100は、取得した多視点画像から、各撮影画像の車両の向きを特定し、特定した向きが、所定の基準角度から所定の範囲内であるか否かを判定する(ステップS102)。例えば、図3に示したように、情報処理装置100は、ターンテーブルTB1が360度回転するまでに所定の間隔で3枚撮影した場合には、360度を3で割ることで、各撮影画像の車両の向きを0度、120度、240度と特定する。そして、例えば、情報処理装置100は、基準角度が0度、50度、100度、150度、200度、250度、300度、350度である場合には、車両の向きの0度と、0度に最も近い基準角度の0度とを比較して所定の範囲内であるか否かを判定し、車両の向きの120度と、120度に最も近い基準角度の100度とを比較して所定の範囲内であるか否かを判定し、車両の向きの240度と、240度に最も近い基準角度の250度とを比較して所定の範囲内であるか否かを判定する。そして、例えば、情報処理装置100は、所定の範囲内であると判定した場合は、所定の基準角度の撮影画像としてタグ付けを行う(ステップS103)。また、例えば、情報処理装置100は、所定の範囲内でないと判定した場合は、タグ付けを行わない。なお、所定の範囲が0~30度であり、情報処理装置100は、0度、100度、250度の基準角度から所定の範囲内となる撮影画像があると判定したものとして以下説明する。
情報処理装置100は、基準角度の50度、150度、200度、300度、350度のように、所定の基準角度から所定の範囲内となる撮影画像がない場合は、取得した多視点画像から、向きが所定の基準角度となる撮影画像を生成する。例えば、情報処理装置100は、機械学習モデル(例えば、GAN:Generative Adversarial Network)や画像生成モデルなどを用いて撮影画像を生成する。具体的には、情報処理装置100は、所定の基準角度と角度が近い向きの撮影画像を入力すると、その所定の基準角度の撮影画像となるように学習されたモデルや、任意の画像生成手法を用いて撮影画像を生成してもよい。そして、情報処理装置100は、生成した撮影画像に、所定の基準角度の撮影画像としてタグ付けを行う。
情報処理装置100は、取得した多視点画像から基準状態の車両の撮影画像を特定する(ステップS104)。例えば、情報処理装置100は、ドアが閉まっている状態が基準状態である場合は、ドアが閉まっている状態の撮影画像を特定する。そして、情報処理装置100は、特定した撮影画像に、基準状態の撮影画像としてタグ付けを行う。なお、情報処理装置100は、基準状態の撮影画像が存在しない場合は、機械学習モデルや画像生成モデルなどを用いて撮影画像を生成する。例えば、図4に示したように、情報処理装置100は、ドアが半開きの状態が基準状態である場合は、ドアが閉まっている状態の撮影画像や、ドアが開いている状態の撮影画像などに基づき、機械学習モデルや画像生成モデルなどを用いて、ドアが半開きの状態の撮影画像を生成する。そして、情報処理装置100は、生成した撮影画像に、基準状態の撮影画像としてタグ付けを行う。
なお、ここまで、情報処理装置100が車両の外装を撮影した撮影画像からなる多視点画像を取得する場合の処理について説明したが、情報処理装置100は、外装に限られず、車両の内装を撮影した撮影画像からなる多視点画像を取得してもよい。そして、情報処理装置100は、外装の場合と同様に、取得した多視点画像(車両の内装を撮影した撮影画像からなる多視点画像)から、各撮影画像の車両の向きを特定し、特定した向きが、所定の基準角度から所定の範囲内であるか否かを判定し、所定の範囲内であると判定した場合は、所定の基準角度の撮影画像としてタグ付けを行い、所定の基準角度から所定の範囲内となる撮影画像がない場合は、取得した多視点画像から、向きが所定の基準角度となる撮影画像を生成するなどの処理を行ってもよい。
また、情報処理装置100は、車両の内側から撮影した撮影画像に基づいて、利用者U1が運転席に座った際に利用者U1の身長で視界に入る風景等(例えば、フロントガラスやサイドミラーの見え方を含む)の撮影画像を生成し、生成した生成画像に、基本状態の撮影画像としてタグ付けを行ってもよい。例えば、図5に示したように、情報処理装置100は、利用者U1が運転席に座った際に利用者U1の身長で見える視界を基準状態とし、身長の低い人が運転席に座った際にその人の身長で見える視界に対応した撮影画像や、身長の高い人が運転席に座った際にその身長の高い人の身長で見える視界に対応した撮影画像などに基づき、機械学習モデルや画像生成モデルなどを用いて、利用者U1が運転席に座った際に利用者U1の身長で見える視界に対応した撮影画像を生成してもよい。この際、情報処理装置100は、フロントガラスの見え方や、サイドミラーやバックミラーの見え方を含む撮影画像を生成してもよい。
ここで、利用者U1から複数の車両の選択を受け付けた場合の処理について説明する。端末装置10は、利用者U1の車両Aと車両Bとの選択を受け付けると、車両Aと車両Bとの選択を受け付けた旨を示す情報を車両情報提供サーバ50へ提供する(ステップS105)。情報処理装置100は、車両情報提供サーバ50から車両Aと車両Bとの車両の指定を受け付けると、指定された車両Aと車両Bとの撮影画像を取得して、車両Aと車両Bとを同じ向きで表示させるための表示データを生成する(ステップS106)。例えば、情報処理装置100は、車両Aと車両Bとのそれぞれにおいて、基準状態の撮影画像としてタグ付けがされた撮影画像や、所定の基準角度の撮影画像としてタグ付けがされた撮影画像などを取得することで、車両Aと車両Bとを同じ向きで表示させるための表示データを生成する。また、情報処理装置100は、利用者U1が基準角度や基準状態を変更する操作を行った場合には、変更後の基準角度や基準状態と対応する撮影画像を表示させるための表示データを生成してもよい。そして、情報処理装置100は、生成した表示データを車両情報提供サーバ50へ提供することで、端末装置10に、車両Aと車両Bとの見栄えを揃えて表示させる(ステップS107)。
なお、上記実施形態において、情報処理装置100は、利用者U1が特定の撮影画像の車両の一部(例えば、サイドミラーなど)にアノテーションを付与した場合には、他の撮影画像にも車両の同様の部分にアノテーションを付与して、角度ごとにアノテーションを表示させてもよい。例えば、情報処理装置100は、利用者U1が車両Aのサイドミラーにアノテーションを付与した場合には、車両Aの他の撮影画像や、車両Bの撮影画像にも同様の部分にアノテーションを付与して、角度ごとにアノテーションを表示させてもよい。
また、上記実施形態において、情報処理装置100は、所定の視点から車両を撮影した撮影画像を元データから削除した場合は、削除後の元データに基づいて表示データを生成してもよい。
(ユーザインターフェースの一例)
図6は、実施形態に係るインターフェース(UI)の一例を示す図である。コンテンツCT1は、基本情報、比較、レビュー、ニュース、動画といった項目を含む。図6では、比較の項目が選択され、2台の車両(車両A及び車両B)が表示されている。なお、この2台の車両のうち、車両Bは、車両Aとの比較のために選択された車両であってもよい。また、比較候補の車両は、関連車両をリスティングしたものの中から選択されたものであってもよい。ここで、スペック比較を選択すると(ステップS11)、スペックの比較画面(コンテンツCT2)が表示され、360度比較を選択すると(ステップS12)、2台の車両を回転可能な画面(コンテンツCT3)が表示される。なお、コンテンツCT3は、コンテンツCT31のような車両の外装を写すものであってもよいし、コンテンツCT32のような車両の内装を写すものであってもよい。また、コンテンツCT3では、内装及び外装といった項目の選択に応じて、コンテンツCT31及びコンテンツCT32の切り替えが可能であってもよい。また、コンテンツCT3において、車両の変更(例えば、比較候補の車両の変更)が可能であってもよい。
〔3.端末装置の構成〕
次に、図7を用いて、実施形態に係る端末装置10の構成について説明する。図7は、実施形態に係る端末装置10の構成例を示す図である。図7に示すように、端末装置10は、通信部11と、入力部12と、出力部13と、制御部14とを有する。
(通信部11)
通信部11は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部11は、所定のネットワークNと有線又は無線で接続され、所定のネットワークNを介して、車両情報提供サーバ50等との間で情報の送取得を行う。
(入力部12)
入力部12は、利用者からの各種操作を受け付ける。図2では、利用者U1からの各種操作を受け付ける。例えば、入力部12は、タッチパネル機能により表示面を介して利用者からの各種操作を受け付けてもよい。また、入力部12は、端末装置10に設けられたボタンや、端末装置10に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
(出力部13)
出力部13は、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示するための表示装置である。例えば、出力部13は、車両情報提供サーバ50から受信したコンテンツを表示する。
(制御部14)
制御部14は、例えば、コントローラ(controller)であり、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、端末装置10内部の記憶装置に記憶されている各種プログラムがRAM(Random Access Memory)を作業領域として実行されることにより実現される。例えば、この各種プログラムには、端末装置10にインストールされたアプリケーションのプログラムが含まれる。例えば、この各種プログラムには、車両情報提供サーバ50から受信したコンテンツを表示させるアプリケーションのプログラムが含まれる。また、制御部14は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
図7に示すように、制御部14は、受信部141と、送信部142とを有し、以下に説明する情報処理の作用を実現または実行する。
(受信部141)
受信部141は、車両情報提供サーバ50等の他の情報処理装置から各種情報を受信する。例えば、受信部141は、車両情報を提供する所定のウェブサイトにおいて、利用者が選択した複数の車両の見栄えを揃えて表示させるための表示データを受信する。
(送信部142)
送信部142は、車両情報提供サーバ50等の他の情報処理装置へ各種情報を送信する。例えば、送信部142は、利用者から複数の車両の選択を受け付けた旨を示す情報を送信する。
〔4.車両情報提供サーバの構成〕
次に、図8を用いて、実施形態に係る車両情報提供サーバ50の構成について説明する。図8は、実施形態に係る車両情報提供サーバ50の構成例を示す図である。図8に示すように、車両情報提供サーバ50は、通信部51と、記憶部52と、制御部53とを有する。なお、車両情報提供サーバ50は、車両情報提供サーバ50の管理者から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示するための表示部(例えば、液晶ディスプレイ等)を有してもよい。
(通信部51)
通信部51は、例えば、NIC等によって実現される。そして、通信部51は、ネットワークNと有線又は無線で接続され、ネットワークNを介して、情報処理装置100等との間で情報の送取得を行う。
(記憶部52)
記憶部52は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図8に示すように、記憶部52は、車両情報記憶部521と、利用者情報記憶部522とを有する。
車両情報記憶部521は、車両の車種情報や発表・発売年月情報やグレード情報や駆動/ミッション情報や価格情報や主要諸元データなどの情報を記憶する。ここで、図9に、実施形態に係る車両情報記憶部521の一例を示す。図9に示すように、車両情報記憶部521は、「車両ID」、「車両情報」といった項目を有する。
「車両ID」は、車両を識別するための識別情報を示す。「車両情報」は、車両の車種情報や発表・発売年月情報やグレード情報や駆動/ミッション情報や価格情報や主要諸元データなどの情報を示す。図9に示した例では、「車両情報」に「車両情報#1」や「車両情報#2」といった概念的な情報が格納される例を示したが、実際は、車両の車種を示すテキスト情報などが格納される。
利用者情報記憶部522は、利用者情報を記憶する。ここで、図10に、実施形態に係る利用者情報記憶部522の一例を示す。図10に示すように、利用者情報記憶部522は、「利用者ID」、「利用者情報」といった項目を有する。
「利用者ID」は、利用者を識別するための識別情報を示す。「利用者情報」は、利用者の属性(例えば、年齢や性別)や所定のウェブサイトにおける行動履歴(例えば、閲覧履歴や検索履歴)などの情報を示す。図10に示した例では、「利用者情報」に「利用者情報#1」や「利用者情報#2」といった概念的な情報が格納される例を示したが、実際は、利用者の属性を示すテキスト情報などが格納される。
(制御部53)
制御部53は、コントローラであり、例えば、CPUやMPU等によって、車両情報提供サーバ50内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部53は、例えば、ASICやFPGA等の集積回路により実現される。
図8に示すように、制御部53は、受信部531と、送信部532とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部53の内部構成は、図8に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
(受信部531)
受信部531は、端末装置10等の他の情報処理装置から各種情報を受信する。例えば、受信部531は、利用者から複数の車両の選択を受け付けた旨を示す情報を受信する。また、例えば、受信部531は、利用者が選択した複数の車両の見栄えを揃えて表示させるための表示データを受信する。
(送信部532)
送信部532は、端末装置10等の他の情報処理装置へ各種情報を送信する。例えば、送信部532は、利用者が選択した複数の車両の見栄えを揃えて表示させるための表示データを送信する。また、例えば、送信部532は、利用者が選択した複数の車両を示す情報を送信する。
〔5.情報処理装置の構成〕
次に、図11を用いて、実施形態に係る情報処理装置100の構成について説明する。図11は、実施形態に係る情報処理装置100の構成例を示す図である。図11に示すように、情報処理装置100は、通信部110と、記憶部120と、制御部130とを有する。なお、情報処理装置100は、情報処理装置100の管理者から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示するための表示部(例えば、液晶ディスプレイ等)を有してもよい。
(通信部110)
通信部110は、例えば、NIC等によって実現される。そして、通信部110は、ネットワークNと有線又は無線で接続され、ネットワークNを介して、車両情報提供サーバ50等との間で情報の送取得を行う。
(記憶部120)
記憶部120は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図11に示すように、記憶部120は、多視点画像記憶部121を有する。
多視点画像記憶部121は、様々な視点から(及び様々な状態で)車両を撮影した撮影画像からなる多視点画像を記憶する。ここで、図12に、実施形態に係る多視点画像記憶部121の一例を示す。図12に示すように、多視点画像記憶部121は、「車両ID」、「基準状態」、「基準角度1」、「基準角度2」といった項目を有する。
「車両ID」は、車両を識別するための識別情報を示す。「基準状態」は、基準状態の車両の撮影画像を示す。図12に示した例では、「基準状態」に「基準状態#1」や「基準状態#2」といった概念的な情報が格納される例を示したが、実際は、画像データなどが格納される。また、「基準状態」には、例えば、画像データが所在するURLや、格納場所を示すファイルパス名等が格納されてもよい。「基準角度1」は、所定の基準角度の撮影画像を示す。図12に示した例では、「基準角度1」に「基準角度#11」や「基準角度#12」といった概念的な情報が格納される例を示したが、実際は、画像データなどが格納される。また、「基準角度1」には、例えば、画像データが所在するURLや、格納場所を示すファイルパス名等が格納されてもよい。「基準角度2」は、「基準角度1」と異なる基準角度である所定の基準角度の撮影画像を示す。図12に示した例では、「基準角度2」に「基準角度#21」や「基準角度#22」といった概念的な情報が格納される例を示したが、実際は、画像データなどが格納される。また、「基準角度2」には、例えば、画像データが所在するURLや、格納場所を示すファイルパス名等が格納されてもよい。
(制御部130)
制御部130は、コントローラであり、例えば、CPUやMPU等によって、情報処理装置100内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部130は、例えば、ASICやFPGA等の集積回路により実現される。
図11に示すように、制御部130は、取得部131と、特定部132と、判定部133と、生成部134と、表示部135とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部130の内部構成は、図11に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
(取得部131)
取得部131は、記憶部120から各種情報を取得する。また、取得部131は、取得した各種情報を記憶部120に格納する。
取得部131は、外部の情報処理装置から各種情報を取得する。取得部131は、車両情報提供サーバ50等の他の情報処理装置から各種情報を取得する。例えば、取得部131は、様々な視点から車両を撮影した撮影画像(元データ)からなる多視点画像を車両ごとに取得する。また、例えば、取得部131は、複数の視点から車両を撮影した複数の撮影画像からなる多視点画像を元データとして取得する。また、例えば、取得部131は、異なる状態(例えば、ドアが閉まっている状態や、ドアが開ききった状態や、ドアが半開きの状態)で車両を撮影した複数の撮影画像を取得する。また、例えば、取得部131は、利用者が選択した複数の車両を示す情報を取得する。
(特定部132)
特定部132は、取得部131によって取得された元データの各撮影画像が示す車両の向きを特定する。例えば、特定部132は、ターンテーブルが360度回転するまでに所定の間隔で所定の枚数撮影した場合には、360度を所定の枚数で割ることで、各撮影画像の車両の向きを特定する。また、特定部132は、取得部131によって取得された元データの各撮影画像が示す車両の大きさを特定してもよい。
(判定部133)
判定部133は、特定部132によって特定された車両の向きが、所定の基準角度から所定の範囲内であるか否かを判定する。例えば、判定部133は、所定の基準角度から所定の範囲内である車両の向きがあるか否かを判定する。例えば、判定部133は、所定の基準角度から所定の範囲内である車両の向きがあると判定した場合は、その車両の向きの撮影画像を所定の基準角度の撮影画像としてタグ付けを行う。また、例えば、判定部133は、所定の基準角度から所定の範囲内である車両の向きがないと判定した場合は、後述の生成部134によって、取得部131によって取得された多視点画像に基づいて、所定の基準角度の撮影画像を生成すると判定する。
(生成部134)
生成部134は、取得部131によって取得された多視点画像に基づいて、機械学習モデル(例えば、GAN)や画像生成モデルなどを用いて所定の基準角度の撮影画像を生成し、生成した撮影画像に所定の基準角度の撮影画像としてタグ付けを行う。また、生成部134は、基準角度や基準状態が変更された場合は、変更後の基準角度や基準状態と対応する撮影画像を生成し、生成した撮影画像に変更後の基準角度の撮影画像としてタグ付けを行ってもよい。また、生成部134は、異なる視点から車両を撮影した複数の撮影画像に基づいて、その異なる視点の中間の視点から車両を撮影した際に得られる撮影画像を生成する。
生成部134は、取得部131によって取得された撮影画像が示す車両の状態とは異なる状態の車両の撮影画像を生成する。例えば、生成部134は、ドアが閉まっている状態で車両を撮影した撮影画像と、ドアが開ききった状態で車両を撮影した撮影画像とに基づいて、ドアが閉まっている状態から開ききるまでの中間の状態の車両の撮影画像を生成する。
生成部134は、利用者が選択した複数の車両の見栄えを揃えて表示させるための表示データを生成する。例えば、生成部134は、利用者が選択した各車両を同じ向き(及び同じ大きさ、同じ状態)で表示させるための表示データを生成する。また、例えば、生成部134は、利用者によって向きが指定された場合は、利用者により指定された特定の向きで各車両を表示させるための表示データを生成する。
生成部134は、特定部132によって特定された車両の大きさと、実際の車両の大きさとに基づいて、車両を所定の縮尺で表示させるための表示データを生成してもよい。例えば、生成部134は、利用者が選択した各車両を同じ縮尺で表示させるための表示データを生成してもよい。
生成部134は、複数の車両を並べて回転させることが可能な表示データであって回転に応じて表示される車両の一部のうち複数の車両で異なる部分に、回転に応じてその一部が表示される間のみアノテーションが付与される表示データを生成してもよい。例えば、生成部134は、前方から見て車両Aと車両Bのタイヤの太さが異なる場合は、前方から見える間のみタイヤ部分にアノテーションが付与される表示データを生成してもよい。また、例えば、生成部134は、回転に応じて他の異なる部分(一部とは異なる他の部分のうち複数の対象物で異なる部分)が表示されると、その他の部分に新たにアノテーションが付与される表示データを生成してもよい。
(表示部135)
表示部135は、生成部134により生成された表示データを車両情報提供サーバ50へ送信することで、端末装置10の画面上に、各車両を同じ向きに並べて表示させる。なお、表示部135は、生成部134により生成された表示データを端末装置10へ送信することで、端末装置10の画面上に、各車両を同じ向きに並べて表示させてもよい。また、表示部135は、生成部134により生成された撮影画像と、取得部131により取得された撮影画像とを送信することで、端末装置10の画面上に、複数の状態の車両を表示させる。
〔6.情報処理のフロー〕
次に、図13を用いて、実施形態に係る情報処理システム1による情報処理の手順について説明する。図13は、実施形態に係る情報処理システム1による情報処理の手順を示すフローチャートである。
図13に示すように、情報処理装置100は、様々な視点から車両を撮影した撮影画像(元データ)からなる多視点画像を車両ごとに取得する(ステップS201)。
情報処理装置100は、取得した多視点画像から、各撮影画像の車両の向きを特定する(ステップS202)。
情報処理装置100は、所定の基準角度から所定の範囲内となる車両の向きがあるか否かを判定する(ステップS203)。
情報処理装置100は、所定の基準角度から所定の範囲内となる車両の向きがあると判定した場合(ステップS203;YES)、その車両の向きの撮影画像に、所定の基準角度の撮影画像としてタグ付けを行う(ステップS204)。一方、情報処理装置100は、所定の基準角度から所定の範囲内となる車両の向きがないと判定した場合(ステップS203;NO)、多視点画像から、車両の向きが所定の基準角度となる撮影画像を生成する(ステップS205)。
情報処理装置100は、利用者が選択した複数の車両を示す情報を取得して、同じ向きで表示させるための表示データを生成する(ステップS206)。
(実施形態2)
車両の全長が異なる複数の車両を並べて表示させる場合、全長の短い車両と長い車両とでは、撮影位置と撮影対象との距離関係が異なるため、全長の短い車両が実態よりも小さく見えてしまう場合があり、正しく比較ができない場合がある。図14A乃至14Cは、撮影位置と撮影対象との距離関係が異なる場合の一例を示す図である。図14Aでは、車両Bのほうが車両Aよりも撮影位置までの距離が長いため、車両Aと車両Bとを並べて表示させた場合、車両Bが実態より小さく見えてしまうと想定される。
また、車両をターンテーブルの上で回転させる場合において、全長の短い車両と長い車両とでは、回転に応じた撮影位置と撮影対象との距離の変化が異なる。図14Bは、図14Aにおいてターンテーブルを45度回転させた場合を示す図であり、図14Cは、図14Aにおいてターンテーブルを90度回転させた場合を示す図である。一般的に、全長が異なる車両であっても、車幅は道幅に合わせて設計されるため、車幅に全長ほどの異なりはなく、ほとんど変わらない場合が多い。このため、正面から見た場合に撮影位置と撮影対象との距離関係が異なっていたとしても、真横から見た場合に撮影位置と撮影対象との距離関係がほとんど変わらない場合がある。それゆえ、実態に対する見え方が回転に応じて異なる場合がある。例えば、正面から見た場合は、車両Bが実態よりも小さく見えていたとしても、真横から見た場合は、車両Aと車両Bとの距離関係がほとんど変わらないため、車両Bが実態通りに見える場合がある。
また、図15A乃至15Cは、撮影位置と撮影対象との距離関係が異なる場合の一例を示す図である。図15Aに示すように、正面から見た場合の撮影位置と撮影対象との距離関係を揃えるために、車両Bの撮影位置を撮影対象に近づけると、正面の場合は、車両Bが実態通りに見えたとしても、真横に回転した場合は、図14Cの場合と異なり、車両Bのほうが車両Aよりも撮影位置までの距離が短いため、車両Bが実態より大きく見えてしまうと想定される。なお、図15Bは、図15Aにおいてターンテーブルを45度回転させた場合を示す図であり、図15Cは、図15Aにおいてターンテーブルを90度回転させた場合を示す図である。
このように、車両を個別に表示させる場合は、画角に対して100%のサイズ表示を行うことで、実態通りの表示が可能であるが、複数の車両を並べて表示させる場合は、実態のサイズ感と異なって表示される場合がある(図16A及び16B参照)。
本願は、上記に鑑みてなされたものであって、複数の撮影対象を並べた表示において、撮影対象のサイズ感が実態と異ならないように適切に表示させることを目的とする。
〔7.情報処理の一例〕
図17は、実施形態2に係る情報処理システム1Aの情報処理の一例を示す図である。実施形態2では、表示対象となる複数の車両のターンテーブルそれぞれの中心から撮影位置までの距離は同一である。また、撮影画像は、車両と水平な高さから撮影した撮影画像に限られず、俯瞰した位置(車両より高い位置)から車両を撮影した撮影画像であってもよい(図18参照)。また、撮影画像は、車両の影の大きさや補助線やターンテーブルなど、車両の奥行き感を示す情報を含んでもよい(図19A乃至19C参照)。なお、実施形態1と同様の説明は適宜省略する。
情報処理装置100Aは、複数の視点から車両を撮影した複数の撮影画像を取得する(ステップS301)。例えば、情報処理装置100Aは、所定の高さを有する複数の視点から車両を撮影した複数の撮影画像を取得する。
情報処理装置100Aは、取得した撮影画像に基づき、車両の3Dモデルを生成する(ステップS302)。そして、情報処理装置100Aは、生成した車両の3Dモデルに基づき、車両の中心軸(又は重心軸)を設定する(ステップS303)。例えば、情報処理装置100Aは、生成した車両の3Dモデルの点群データ(ポイントクラウド)に基づき車両の中心軸を設定する。
情報処理装置100Aは、撮影画像ごとに、撮影の角度を算出する(ステップS304)。例えば、情報処理装置100Aは、正面から撮影した撮影画像に対しては、角度を0度と算出し、真横から撮影した撮影画像に対しては、角度を90度と算出する。
情報処理装置100Aは、算出した角度に応じた情報を合成した多視点画像を生成する(ステップS305)。例えば、情報処理装置100Aは、車両の中心軸を合成した多視点画像を生成する。例えば、情報処理装置100Aは、算出した角度が0度の撮影画像には角度が0度の場合の車両の中心軸を合成し、算出した角度が45度の撮影画像には角度が45度の場合の車両の中心軸を合成し、算出した角度が90度の撮影画像には角度が90度の場合の車両の中心軸を合成し、各撮影画像の合成画像を合わせることで多視点画像を生成する(図20A乃至20C参照)。また、例えば、情報処理装置100Aは、車両の中心軸に限られず、特定の形状の3Dモデルを合成した多視点画像を生成してもよい。例えば、情報処理装置100Aは、車両がターンテーブルの上に積載されるようにターンテーブルの3Dモデルを合成した多視点画像を生成してもよい。例えば、情報処理装置100Aは、ターンテーブルの中心軸が車両の中心軸と一致するようにターンテーブルの3Dモデルを合成した多視点画像を生成してもよい。また、例えば、情報処理装置100Aは、車両の他に人物などの他のオブジェクトがターンテーブルの上に積載されるようにターンテーブルの3Dモデルと他のオブジェクトの3Dモデルとを合成した多視点画像を生成してもよい。また、例えば、情報処理装置100Aは、中心軸と特定の形状の3Dモデルとを合成した多視点画像を生成してもよい。
情報処理装置100Aは、利用者UIが選択した複数の対象物に対して生成された多視点画像に基づいて複数の対象物を並べて表示させるための表示データを提供する(ステップS306)。例えば、情報処理装置100Aは、利用者U1から車両の選択を受け付けると、利用者UIが選択した複数の車両に対して生成された多視点画像に基づいて複数の対象物を同一方向に並べて表示させるための表示データを提供する。
なお、実施形態2において、情報処理装置100Aは、車両の外装だけでなく、車両の内装を複数の視点から撮影した複数の撮影画像を取得してもよい。例えば、情報処理装置100Aは、運転席、助手席、後部座席など、車両の内装を複数の視点から撮影した複数の撮影画像を取得してもよい。また、情報処理装置100Aは、取得した車両の内装の撮影画像に基づき、車両の内部に中心軸を設定してもよい。また、情報処理装置100Aは、車両の内部の撮影画像ごとに、撮影の角度を算出してもよい。そして、情報処理装置100Aは、車両の外装の撮影画像から多視点画像を生成する場合と同様に、算出した角度に応じた情報を合成した多視点画像を生成してもよい。例えば、情報処理装置100Aは、車両の内部に設定された中心軸を合成した多視点画像を生成してもよい。また、例えば、情報処理装置100Aは、車両の内部に積載したいオブジェクトとして利用者U1が選択したオブジェクトの3Dモデルを合成した多視点画像を生成してもよい。例えば、情報処理装置100Aは、利用者U1がベビーシートやペット用のクレートなどを後部座席に配置したい場合は、ベビーシートやペット用のクレートなどが後部座席の上に設置されるようにベビーシートやペット用のクレートなどの3Dモデルを合成した多視点画像を生成してもよい。
〔8.情報処理装置の構成〕
次に、図21を用いて、実施形態2に係る情報処理装置100Aの構成について説明する。図21は、実施形態2に係る情報処理装置100Aの構成例を示す図である。図21に示すように、情報処理装置100Aは、通信部110と、記憶部120と、制御部130Aとを有する。なお、実施形態1と同様の説明は適宜省略する。
(制御部130A)
制御部130Aは、コントローラであり、例えば、CPUやMPU等によって、情報処理装置100A内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部130Aは、例えば、ASICやFPGA等の集積回路により実現される。
図21に示すように、制御部130Aは、取得部131Aと、特定部132と、判定部133と、生成部134Aと、表示部135と、設定部136と、算出部137とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部130Aの内部構成は、図21に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。なお、特定部132、判定部133、表示部135は、実施形態1と同様のため説明を省略する。
(取得部131A)
取得部131Aは、取得部131と同様の情報を取得する。また、取得部131Aは、所定の高さを有する複数の視点から車両を撮影した複数の撮影画像を取得してもよい。すなわち、取得部131Aは、俯瞰した位置から車両を撮影した複数の撮影画像を取得してもよい。また、取得部131Aは、車両の内装を複数の視点から撮影した複数の撮影画像を取得してもよい。
(設定部136)
設定部136は、取得部131Aにより取得された複数の撮影画像から中心軸を設定する。例えば、設定部136は、取得部131Aにより取得された複数の撮影画像から車両の3Dモデルを生成し、車両の中心軸を設定する。例えば、設定部136は、生成した車両の3Dモデルの点群データに基づき車両の中心軸を設定する。また、設定部136は、取得部131Aにより取得された車両の内装の撮影画像に基づき、車両の内部に中心軸を設定してもよい。
(算出部137)
算出部137は、取得部131Aにより取得された撮影画像ごとに、撮影の角度を算出する。例えば、算出部137は、正面から撮影した撮影画像に対しては、角度を0度と算出し、真横から撮影した撮影画像に対しては、角度を90度と算出する。また、算出部137は、車両の内部の撮影画像ごとに、撮影の角度を算出してもよい。
(生成部134A)
生成部134Aは、生成部134と同様の情報を生成する。また、生成部134Aは、設定部136により設定された中心軸に対する角度に応じた情報を合成した多視点画像を生成する。すなわち、生成部134Aは、算出部137により算出された中心軸に対する角度に応じた情報を合成した多視点画像を生成する。例えば、生成部134Aは、設定部136により設定された車両の中心軸を合成した多視点画像を生成する。例えば、生成部134Aは、算出部137により算出された角度が0度の撮影画像には角度が0度の場合の車両の中心軸を合成し、算出部137により算出された角度が45度の撮影画像には角度が45度の場合の車両の中心軸を合成し、算出部137により算出された角度が90度の撮影画像には角度が90度の場合の車両の中心軸を合成し、各撮影画像の合成画像を合わせることで多視点画像を生成する。
生成部134Aは、特定の形状の3Dモデルを合成した多視点画像を生成してもよい。例えば、生成部134Aは、車両がターンテーブルの上に積載されるようにターンテーブルの3Dモデルを合成した多視点画像を生成してもよい。また、例えば、生成部134Aは、車両の他に人物などの他のオブジェクトがターンテーブルの上に積載されるようにターンテーブルの3Dモデルと他のオブジェクトの3Dモデルとを合成した多視点画像を生成してもよい。また、例えば、生成部134Aは、中心軸と特定の形状の3Dモデルとを合成した多視点画像を生成してもよい。また、例えば、生成部134Aは、車両の内部に設定された中心軸を合成した多視点画像を生成してもよい。また、例えば、生成部134Aは、車両の内部に積載したいオブジェクトとして利用者が選択したオブジェクトの3Dモデルを合成した多視点画像を生成してもよい。
〔9.情報処理のフロー〕
次に、図22を用いて、実施形態に係る情報処理システム1Aによる情報処理の手順について説明する。図22は、実施形態に係る情報処理システム1Aによる情報処理の手順を示すフローチャートである。
図22に示すように、情報処理装置100Aは、複数の視点から対象物を撮影した複数の撮影画像を取得する(ステップS401)。
情報処理装置100Aは、取得した撮影画像から対象物の3Dモデルを生成する(ステップS402)。
情報処理装置100Aは、生成した対象物の3Dモデルから対象物の中心軸を設定する(ステップS403)。
情報処理装置100Aは、取得した撮影画像ごとに撮影の角度を算出する(ステップS404)。
情報処理装置100Aは、設定した中心軸に対する撮影画像ごとの角度に応じた情報を合成した多視点画像を生成する(ステップS405)。
〔10.効果〕
上述してきたように、実施形態2に係る情報処理装置100Aは、取得部131Aと、設定部136と、生成部134Aとを有する。取得部131Aは、複数の視点から対象物を撮影した複数の撮影画像を取得する。設定部136は、取得部131Aにより取得された複数の撮影画像から中心軸を設定する。生成部134Aは、設定部136により設定された中心軸に対する角度に応じた情報を合成した多視点画像を生成する。
これにより、実施形態2に係る情報処理装置100Aは、撮影対象の中心軸に基づき多視点画像を生成することができるため、撮影対象のサイズ感が実態と異ならないように適切に表示させることができる。
また、生成部134Aは、利用者が選択した複数の対象物に対して生成された多視点画像に基づいて複数の対象物を並べて表示させるための表示データを生成する。
これにより、実施形態2に係る情報処理装置100Aは、利用者が選択した複数の対象物のサイズ感を実態通りに適切に比較させることができる。
また、生成部134Aは、中心軸を合成した多視点画像を生成する。
これにより、実施形態2に係る情報処理装置100Aは、中心軸を表示させることで利用者に奥行き感を把握し易くさせることができる。
また、撮影画像は、俯瞰した位置から対象物を撮影した撮影画像である。
これにより、実施形態2に係る情報処理装置100Aは、俯瞰画像を表示させることで利用者に奥行き感を把握し易くさせることができる。
また、実施形態2に係る情報処理装置100Aは、中心軸に対する角度を撮影画像ごとに算出する算出部137を更に有する。また、生成部134Aは、算出部137により算出された角度に基づき多視点画像を生成する。
これにより、実施形態2に係る情報処理装置100Aは、撮影画像ごとに中心軸に対する角度に応じた情報を合成することができるため、品質の高い多視点画像を生成することができる。
また、生成部134Aは、角度に基づき特定の形状の3Dモデルを合成した多視点画像を生成する。
これにより、実施形態2に係る情報処理装置100Aは、特定の形状のオブジェクトを表示させることで利用者に奥行き感を把握し易くさせることができる。
また、生成部134Aは、対象物がターンテーブルの上に積載されるようにターンテーブルの3Dモデルを合成した多視点画像を生成する。
これにより、実施形態2に係る情報処理装置100Aは、ターンテーブルを表示させることで利用者に奥行き感を把握し易くさせることができる。
また、取得部131Aは、対象物の内部を撮影した複数の撮影画像を取得する。また、設定部136は、対象物の内部に中心軸を設定する。また、生成部134Aは、対象物の内部に積載したいオブジェクトとして利用者が選択したオブジェクトの3Dモデルを合成した多視点画像を生成する。
これにより、実施形態2に係る情報処理装置100Aは、利用者が対象物に積載したいオブジェクトが実際に収容可能であるか否かを把握し易くさせることができる。
〔11.ハードウェア構成〕
また、上述してきた実施形態2に係る情報処理装置100Aは、例えば、図23に示すような構成のコンピュータ1000によって実現される。図23は、情報処理装置100Aの機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
CPU1100は、ROM1300またはHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、所定の通信網を介して他の機器からデータを取得してCPU1100へ送り、CPU1100が生成したデータを所定の通信網を介して他の機器へ送信する。
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、生成したデータを、入出力インターフェイス1600を介して出力装置へ出力する。
メディアインターフェイス1700は、記録媒体1800に格納されたプログラムまたはデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が実施形態2に係る情報処理装置100Aとして機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部130Aの機能を実現する。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
〔12.その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上述してきた実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
1、1A 情報処理システム
10 端末装置
11 通信部
12 入力部
13 出力部
14 制御部
50 車両情報提供サーバ
51 通信部
52 記憶部
53 制御部
100、100A 情報処理装置
110 通信部
120 記憶部
121 多視点画像記憶部
130、130A 制御部
131、131A 取得部
132 特定部
133 判定部
134、134A 生成部
135 表示部
136 設定部
137 算出部
141 受信部
142 送信部
521 車両情報記憶部
522 利用者情報記憶部
531 受信部
532 送信部
N ネットワーク

Claims (10)

  1. 複数の視点から対象物を撮影した複数の撮影画像を取得する取得部と、
    前記取得部により取得された複数の撮影画像から前記対象物の中心軸を設定する設定部と、
    前記設定部により設定された前記対象物の中心軸を前記複数の撮影画像の各撮影画像に当該各撮影画像の撮影の角度に対応して合成した当該各撮影画像の合成画像を合わせることで多視点画像を生成する生成部と、
    前記生成部により複数の前記対象物に対して生成された多視点画像に基づいて、複数の前記対象物を同一方向に並べて表示させるための表示データを提供する表示部と、
    を有することを特徴とする情報処理装置。
  2. 前記生成部は、
    利用者が選択した複数の対象物に対して生成された多視点画像に基づいて当該複数の対象物を並べて表示させるための表示データを生成する
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記生成部は、
    前記中心軸を合成した多視点画像を生成する
    ことを特徴とする請求項1に記載の情報処理装置。
  4. 前記撮影画像は、俯瞰した位置から対象物を撮影した撮影画像である
    ことを特徴とする請求項1に記載の情報処理装置。
  5. 撮影画像ごとに撮影の角度を算出する算出部を更に有し、
    前記生成部は、
    前記算出部により算出された角度に基づき前記多視点画像を生成する
    ことを特徴とする請求項1に記載の情報処理装置。
  6. 前記生成部は、
    特定の形状の3Dモデルを合成した多視点画像を生成する
    ことを特徴とする請求項1に記載の情報処理装置。
  7. 前記生成部は、
    前記対象物がターンテーブルの上に積載されるように当該ターンテーブルの3Dモデルを合成した多視点画像を生成する
    ことを特徴とする請求項6に記載の情報処理装置。
  8. 前記取得部は、
    前記対象物の内部を撮影した複数の撮影画像を取得し、
    前記設定部は、
    前記対象物の内部に中心軸を設定し、
    前記生成部は、
    前記対象物の内部に積載したいオブジェクトとして利用者が選択したオブジェクトの3Dモデルを合成した多視点画像を生成する
    ことを特徴とする請求項6に記載の情報処理装置。
  9. コンピュータが実行する情報処理方法であって、
    複数の視点から対象物を撮影した複数の撮影画像を取得する取得工程と、
    前記取得工程により取得された複数の撮影画像から前記対象物の中心軸を設定する設定工程と、
    前記設定工程により設定された前記対象物の中心軸を前記複数の撮影画像の各撮影画像に当該各撮影画像の撮影の角度に対応して合成した当該各撮影画像の合成画像を合わせることで多視点画像を生成する生成工程と、
    前記生成工程により複数の前記対象物に対して生成された多視点画像に基づいて、複数の前記対象物を同一方向に並べて表示させるための表示データを提供する表示工程と、
    を含むことを特徴とする情報処理方法。
  10. 複数の視点から対象物を撮影した複数の撮影画像を取得する取得手順と、
    前記取得手順により取得された複数の撮影画像から前記対象物の中心軸を設定する設定手順と、
    前記設定手順により設定された前記対象物の中心軸を前記複数の撮影画像の各撮影画像に当該各撮影画像の撮影の角度に対応して合成した当該各撮影画像の合成画像を合わせることで多視点画像を生成する生成手順と、
    前記生成手順により複数の前記対象物に対して生成された多視点画像に基づいて、複数の前記対象物を同一方向に並べて表示させるための表示データを提供する表示手順と、
    をコンピュータに実行させることを特徴とする情報処理プログラム。
JP2022185029A 2022-11-18 2022-11-18 情報処理装置、情報処理方法及び情報処理プログラム Active JP7388771B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022185029A JP7388771B1 (ja) 2022-11-18 2022-11-18 情報処理装置、情報処理方法及び情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022185029A JP7388771B1 (ja) 2022-11-18 2022-11-18 情報処理装置、情報処理方法及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP7388771B1 true JP7388771B1 (ja) 2023-11-29
JP2024073998A JP2024073998A (ja) 2024-05-30

Family

ID=88917845

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022185029A Active JP7388771B1 (ja) 2022-11-18 2022-11-18 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (1)

Country Link
JP (1) JP7388771B1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001197521A (ja) 2000-01-06 2001-07-19 Toppan Printing Co Ltd 撮像装置、撮像方法及び撮像条件に係るデータを記録した記録媒体
JP2009188832A (ja) 2008-02-07 2009-08-20 Taito Corp 立体表示入力装置、立体表示入力プログラム及び立体表示データ通信システム
US20120262474A1 (en) 2011-03-17 2012-10-18 Joshua Morgan Jancourtz Image editing system and method for transforming the rotational appearance of a subject
WO2015166684A1 (ja) 2014-04-30 2015-11-05 ソニー株式会社 画像処理装置と画像処理方法
WO2019003429A1 (ja) 2017-06-30 2019-01-03 株式会社3D body Lab 人体モデル表示システム、人体モデル表示方法、通信端末装置、及びコンピュータプログラム
JP2020184150A (ja) 2019-05-07 2020-11-12 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001197521A (ja) 2000-01-06 2001-07-19 Toppan Printing Co Ltd 撮像装置、撮像方法及び撮像条件に係るデータを記録した記録媒体
JP2009188832A (ja) 2008-02-07 2009-08-20 Taito Corp 立体表示入力装置、立体表示入力プログラム及び立体表示データ通信システム
US20120262474A1 (en) 2011-03-17 2012-10-18 Joshua Morgan Jancourtz Image editing system and method for transforming the rotational appearance of a subject
WO2015166684A1 (ja) 2014-04-30 2015-11-05 ソニー株式会社 画像処理装置と画像処理方法
WO2019003429A1 (ja) 2017-06-30 2019-01-03 株式会社3D body Lab 人体モデル表示システム、人体モデル表示方法、通信端末装置、及びコンピュータプログラム
JP2020184150A (ja) 2019-05-07 2020-11-12 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JP2024073998A (ja) 2024-05-30

Similar Documents

Publication Publication Date Title
US11200617B2 (en) Efficient rendering of 3D models using model placement metadata
CN102483760B (zh) 视觉搜索和三维结果
US10762057B2 (en) Method and system for sharing file between devices
US9990603B2 (en) Product inventory system
US11282133B2 (en) Augmented reality product comparison
US20160127653A1 (en) Electronic Device and Method for Providing Filter in Electronic Device
US20150365480A1 (en) Methods and systems for communicating with electronic devices
US9038912B2 (en) Trade card services
CN110942370B (zh) 基于描述符和图像的项目模型
CN102326180B (zh) 在捕捉时对内容的配置与分发
JP2019046483A (ja) デジタル画像を公開するためのシステム
US20220254143A1 (en) Method and apparatus for determining item name, computer device, and storage medium
KR102320749B1 (ko) 인플루언서를 매개로 하는 쇼핑 정보 제공 시스템 및 방법
CN109215121A (zh) 用于生成信息的方法和装置
US20130254662A1 (en) Systems and methods for providing access to media content
CN108924440A (zh) 贴纸显示方法、装置、终端及计算机可读存储介质
US20160283099A1 (en) Interactive content timeline platform
US20180293775A1 (en) Image animation in a presentation document
JP7388771B1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
TWI528308B (zh) 用於產生一般媒體封面之系統及電腦可讀媒體
US20200143445A1 (en) Methods and apparatus for merchandise generation including an image
JP7388622B1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7388623B1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CA2932781A1 (en) View sharing and dual permission remote browsing methods and systems
CN113407580A (zh) 经由计算机网络分发统一图像的网络和速度增强

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221219

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230317

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230905

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20231026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231109

R150 Certificate of patent or registration of utility model

Ref document number: 7388771

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150