WO2023127649A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

情報処理装置４は、解析対象空間を表す解析対象画像を取得する画像取得部４３１と、解析対象画像を解析することにより、解析対象画像内の複数の領域それぞれに関連付けて色相とテクスチャとを特定する画像解析部４３２と、基準空間画像における位置と、当該位置における色相とテクスチャとの組み合わせと、当該基準空間画像の視認者感情と、が関連付けられた第１解析用データを記憶する記憶部４２と、第１解析用データにおいて、特定した各領域それぞれの位置と、各領域に対応する色相とテクスチャとの組み合わせとの相関度が閾値以上の基準空間画像の位置と、当該位置における色相とテクスチャとの組み合わせに基づき、解析対象空間の視認者の視認時感情を特定する感情特定部４３３と、解析対象画像に関連付けて視認時感情を出力する出力部４３４と、を有する。

Description

情報処理装置、情報処理方法及びプログラム

　本発明は、空間の様子を示す画像に関する情報を出力する情報処理装置、情報処理方法及びプログラムに関する。

　人の眼に映る視野内に占める樹木など植物の面積割合である緑視率を算出する技術が知られている。特許文献１には、所定空間を示す画像データに対する緑視量の割合を緑視率として算出する技術が開示されている。

特開２０１０－２７２０９７号公報

　しかしながら、画像データの緑視率が算出されたとしても、当該画像データが示す空間を視認した視認者が当該空間に対してどのような印象を持つかを把握できるようにすることはできなかった。

　そこで、本発明はこれらの点に鑑みてなされたものであり、画像データが示す空間を視認した視認者が抱く感情を把握できるようにことを目的とする。

　本発明の第１の態様においては、解析対象空間の状態を表す解析対象画像データを取得する画像取得部と、前記解析対象画像データを解析することにより、前記解析対象画像データが示す解析対象画像内の複数の領域それぞれに関連付けて色相とテクスチャとを特定する画像解析部と、基準空間画像における位置と、当該位置における色相とテクスチャとの組み合わせと、当該基準空間画像に対応する基準空間の視認者の感情と、が関連付けられた第１解析用データを記憶する記憶部と、前記第１解析用データにおいて、前記画像解析部が特定した前記複数の領域それぞれの位置と、前記複数の領域に対応する色相とテクスチャとの組み合わせとの相関度が閾値以上の前記基準空間画像における位置と、当該位置における色相とテクスチャとの組み合わせを特定することにより、前記解析対象空間の視認者の視認時感情を特定する感情特定部と、前記解析対象画像に関連付けて前記視認時感情を示す情報を出力する出力部と、を有する情報処理装置を提供する。

　前記第１解析用データにおいては、前記基準空間の視認者が視認している位置と当該視認者の感情とが関連付けられており、前記感情特定部は、前記第１解析用データを参照することにより、前記解析対象空間の視認者の視認位置に関連付けて前記視認時感情を特定し、前記出力部は、前記解析対象画像における位置に関連付けて前記視認時感情を示す情報を出力してもよい。

　前記記憶部は、基準空間画像における位置と、当該位置における色相と、当該基準空間画像の視認者の感情と、が関連付けられた第２解析用データをさらに記憶し、前記感情特定部は、前記解析対象画像における第１領域に対しては、前記第１解析用データを参照することにより、前記第１領域の位置と前記第１領域に対応する色相とテクスチャとの組み合わせとの関係に基づいて、前記解析対象画像の視認者の第１感情を特定し、前記第１領域と異なる第２領域に対しては、前記第２解析用データを参照することにより、前記第２領域の位置と前記第２領域に対応する色相との関係に基づいて、前記解析対象画像の視認者の第２感情を特定し、前記第１感情と前記第２感情とを平均化することにより前記視認時感情を特定してもよい。

　前記解析対象画像データは、画素に関連付けられた深度情報を含み、前記感情特定部は、前記深度情報が示す深度が閾値未満の領域を前記第１領域とし、前記深度情報が示す深度が前記閾値以上の領域を前記第２領域としてもよい。

　前記感情特定部は、前記第１感情に前記第２感情よりも大きな重みづけをして平均化することにより前記視認時感情を特定してもよい。

　前記感情特定部は、前記解析対象画像における緑色の領域の割合と、前記解析対象画像における茶色の領域の割合とにさらに基づいて、前記視認時感情を特定してもよい。

　前記画像取得部は、複数の前記解析対象空間それぞれに対応する前記解析対象画像データを取得し、前記感情特定部は、複数の前記解析対象画像データそれぞれに対応する解析対象空間の前記視認時感情を特定し、前記出力部は、複数の前記解析対象画像に対応する複数の前記解析対象空間を含む空間に対応するフロアマップにおける複数の前記解析対象画像それぞれに対応する領域に、複数の前記解析対象画像それぞれに対応する前記視認時感情を示す情報を出力してもよい。

　前記出力部は、前記フロアマップにおける、前記視認時感情が所定の感情を示す前記解析対象画像に対応する領域に、前記視認時感情を示す情報を出力してもよい。

　前記画像取得部は、それぞれ異なる位置から前記解析対象空間を視認した状態を示す複数の前記解析対象画像データを取得し、前記感情特定部は、前記複数の解析対象画像データそれぞれに対応する解析対象空間の視認時感情を特定し、特定した複数の前記視認時感情を平均化することにより、前記解析対象空間に対応する前記視認時感情を特定してもよい。

　前記記憶部は、基準空間画像における位置と、当該位置における色相とテクスチャとの組み合わせと、が入力されると当該基準空間画像の視認者の感情を出力する機械学習モデルを前記第１解析用データとして記憶してもよい。

　本発明の第２の態様においては、コンピュータが実行する、解析対象空間の状態を表す解析対象画像データを取得するステップと、前記解析対象画像データを解析することにより、前記解析対象画像データが示す解析対象画像内の複数の領域それぞれに関連付けて色相とテクスチャとを特定するステップと、基準空間画像における位置と、当該位置における色相とテクスチャとの組み合わせと、当該基準空間画像に対応する基準空間の視認者の感情と、が関連付けられた第１解析用データにおいて、特定した前記複数の領域それぞれの位置と、前記複数の領域に対応する色相とテクスチャとの組み合わせとの相関度が閾値以上の前記基準空間画像における位置と、当該位置における色相とテクスチャとの組み合わせを特定することにより、前記解析対象空間の視認者の視認時感情を特定するステップと、前記解析対象画像に関連付けて前記視認時感情を示す情報を出力するステップと、を有する情報処理方法を提供する。

　本発明の第３の態様においては、コンピュータに、解析対象空間の状態を表す解析対象画像データを取得する画像取得部、前記解析対象画像データを解析することにより、前記解析対象画像データが示す解析対象画像内の複数の領域それぞれに関連付けて色相とテクスチャとを特定する画像解析部、基準空間画像における位置と、当該位置における色相とテクスチャとの組み合わせと、当該基準空間画像に対応する基準空間の視認者の感情と、が関連付けられた第１解析用データにおいて、前記画像解析部が特定した前記複数の領域それぞれの位置と、前記複数の領域に対応する色相とテクスチャとの組み合わせとの相関度が閾値以上の前記基準空間画像における位置と、当該位置における色相とテクスチャとの組み合わせを特定することにより、前記解析対象空間の視認者の視認時感情を特定する感情特定部、及び前記解析対象画像に関連付けて前記視認時感情を示す情報を出力する出力部、としての機能を実現させるためのプログラムを提供する。

　本発明によれば、画像データが示す空間を視認した視認者が抱く感情を把握できるようになるという効果を奏する。

情報処理システムの概要を説明するための図である。 情報処理装置の構成を示す図である。 基準空間画像の例である。 第１解析用データの一例である。 第２解析用データの一例である。 解析対象画像の一例である。 複数の領域の色相とテクスチャとを特定する処理を説明するための図である。 解析対象画像における第１領域と第２領域を説明するための図である。 快適度のヒートマップを解析対象画像に重畳させた模式図である。 解析対象画像の一例である。 視認時感情を重畳させたフロアマップの一例である。 情報処理システムが実行するシーケンスの一例である。

［情報処理システムＳの概要］
　図１は、情報処理システムＳの概要を説明するための図である。情報処理システムＳは、所定の空間を視認した視認者が抱くと推定される感情を示す情報をユーザに提供するシステムである。ユーザは、例えば、住宅、オフィス、店舗、公園、庭園及びテーマパーク等を設計する設計者や建築家である。視認者は、例えばユーザが設計した住居や施設を利用すると想定される人である。以下、所定の空間を解析対象空間という。

　解析対象空間を視認した視認者が抱く感情（以下「視認時感情」という。）は、解析対象空間に植物や木材が含まれている場合と、金属やコンクリートが含まれている場合とで異なる。つまり、視認時感情は、解析対象空間に含まれる物体の色相及び物体の表面の質感（すなわちテクスチャ）に応じて変化する。そこで、情報処理システムＳは、視認者が視認した解析対象画像で表される解析対象空間における色相及びテクスチャの組み合わせ、又は解析対象空間を視認した位置等に基づいて視認時感情を推定する。

　情報処理システムＳは、画像提供装置１と、管理者端末２と、閲覧端末３と、情報処理装置４と、を備える。画像提供装置１、管理者端末２、閲覧端末３及び情報処理装置４は、インターネット等のネットワークＮを介して各種のデータを送受信する。

　解析対象空間の状態を表す解析対象画像は、例えば、住宅やオフィス等の不動産の購入若しくは賃貸に際して不動産を内覧するための画像、商品を販売する店舗若しくはショールーム等のように商品を購入するための空間を示す画像、又は観光地、テーマパーク若しくは博物館等のように体験サービスを受ける空間を示す画像である。解析対象画像は、屋内の空間の画像でもよく、屋外の空間の画像であってもよい。なお、解析対象画像は例えば屋外や建物内の空間が実際に撮影されることにより作成された仮想現実画像（ＶＲ画像）であってもよく、コンピュータグラフィックス技術を用いて作成された画像であってもよい。

　画像提供装置１は、情報処理システムＳを利用する視認者に視認させる一以上の解析対象画像データを記憶しているサーバである。画像提供装置１は、例えば、設計事務所、住宅展示場、不動産会社、又は商品を販売する店舗を運営する事業者により管理されている。

　画像提供装置１は、一以上の解析対象画像を視認者が閲覧可能な態様で閲覧端末３に提供する。画像提供装置１は、複数の解析対象画像のサムネイル画像を閲覧端末３に表示させた後に、視認者により選択された解析対象画像を特定してもよい。画像提供装置１は、視認者が閲覧端末３において指定した位置を示す情報を閲覧端末３から取得してもよい。

　管理者端末２は、画像提供装置１又は複数の解析対象画像を管理する管理者が使用するコンピュータである。管理者端末２は、管理者により格納された複数の解析対象画像を、ネットワークＮを介して画像提供装置１にアップロードする。閲覧端末３が管理者端末２として機能し、管理者端末２を使用するユーザが解析対象画像を画像提供装置１にアップロードしてもよい。

　閲覧端末３は、視認者が一以上の解析対象画像を閲覧したり、解析対象空間の視認時感情を表示したりするために用いられる端末であり、例えばコンピュータ、スマートフォン又はタブレットである。閲覧端末３は、視認者が所有する端末であってもよく、設計事務所、不動産会社、住宅展示場又は店舗に設置された端末であってもよい。閲覧端末３は、解析対象画像を示す解析対象画像データを画像提供装置１から受信し、受信した解析対象画像データに基づく解析対象画像をディスプレイに表示する。視認者に解析対象画像を見てもらうユーザが、視認者とともに閲覧端末３を使用してもよい。

　視認者又はユーザが閲覧端末３で所定の操作をすると、閲覧端末３は、視認者が選択可能な状態で一以上の解析対象画像を表示する。例えば、閲覧端末３は、複数の解析対象画像のうちの１枚の解析対象画像を視認者が選択すると、選択された解析対象画像６を表示する。閲覧端末３は、解析対象画像を１枚ずつ表示し、表示する解析対象画像を切り替えるためのアイコンを視認者が選択したことに応じて、表示する解析対象画像を切り替えてもよい。解析対象画像が、例えば全方位カメラで撮影された画像である場合、閲覧端末３は、視認者の操作に基づいて、表示する解析対象画像の視認方向を変化させてもよい。

　閲覧端末３は、例えば、視認者が複数の解析対象画像から選択した一以上の解析対象画像を識別するための解析対象画像識別情報（以下、「解析対象画像ＩＤ」という。）を情報処理装置４に送信する（図１（１）参照）。なお、閲覧端末３は、視認者の操作に基づいて撮像した撮像画像を解析対象画像として情報処理装置４に送信してもよい。また、閲覧端末３は、コンピュータグラフィックス技術を用いて作成された、住宅やオフィス、店舗等の屋内や公園、庭園、及びテーマパーク等の施設のＣＧ画像を解析対象画像として送信してもよい。

　情報処理装置４は、閲覧端末３から受信した解析対象画像ＩＤで識別される解析対象画像６が示す解析対象空間を視認者が視認したときの視認時感情を特定するコンピュータである。情報処理装置４は、解析対象画像６が示す解析対象空間における色相及びテクスチャの組み合わせに基づいて視認時感情を推定する（図１（２）参照）。

　そして、情報処理装置４は、特定した視認時感情を示す情報として、例えば視認時感情の強弱を表すヒートマップ７を閲覧端末３に送信する（図１（３）を参照）。閲覧端末３は、解析対象画像６にヒートマップ７を重畳させてディスプレイに表示する。このようにすることで、ユーザ又は視認者は、解析対象空間を視認者が視認したときの視認時感情を把握できる。以下の説明においては、情報処理装置４が、視認時感情を閲覧端末３に送信する場合の動作を主に例示する。

［情報処理装置４の構成］
　図２は、情報処理装置４の構成を示す図である。情報処理装置４は、通信部４１と、記憶部４２と、制御部４３と、を有する。制御部４３は、画像取得部４３１と、画像解析部４３２と、感情特定部４３３と、出力部４３４と、を有する。

　通信部４１は、ネットワークＮを介して画像提供装置１、管理者端末２又は閲覧端末３との間でデータを送受信するための通信インターフェースを有する。通信部４１は、画像提供装置１から受信した解析対象画像データ、及び閲覧端末３から受信した解析対象画像ＩＤ、視認状態情報又は生体情報を画像取得部４３１に入力する。また、通信部４１は、出力部４３４から入力された視認時感情を示す情報を閲覧端末３に向けて送信する。

　記憶部４２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体を含む。記憶部４２は、画像提供装置１から受信した解析対象画像データを、解析対象画像データを識別するための解析対象画像ＩＤに関連付けて記憶する。また、記憶部４２は、制御部４３が実行するプログラムを記憶する。

　記憶部４２は、解析対象空間の視認者の視認時感情の特定に用いられる第１解析用データを記憶する。第１解析用データにおいては、基準空間画像における位置と、当該位置における色相とテクスチャとの組み合わせと、当該基準空間画像に対応する基準空間の視認者の感情（視認時感情）と、が関連付けられている。

　図３は、基準空間画像５の例である。図３の基準空間画像５は、複数の領域に分割されている。本実施形態の基準空間画像５は、３行３列の９つの領域に分割されている。各領域の位置は、例えば行（Ｘ）の位置と列（Ｙ）の位置を示す２次元座標で表される。具体的には、各領域の位置は、左上から右下に向かって、（１，１）、（１，２）、（１，３）、（２，１）、（２，２）、（２，３）、（３，１）、（３，２）、（３，３）と設定されている。なお、基準空間画像５を分割する場合、上記の方法に限らず、任意の数及び配置の領域に分割できる。また、領域の大きさも任意である。

　図４は、第１解析用データの一例である。第１解析用データにおいては、基準空間の各領域と、当該領域の色相及びテクスチャと、当該領域の視認時感情とが関連付けられている。第１解析用データにおいては、基準空間の視認者が視認している位置と当該位置を視認したときの視認時感情とが関連付けられていてもよい。

　色相は、色の様相の相違を示す指標である。色相は、例えばＲｅｄ（Ｒ）、Ｇｒｅｅｎ（Ｇ）、Ｂｌｕｅ（Ｂ）の三原色を用いるＲＧＢ色空間で表される。色相は、ＨＳＶ色空間又はＨＬＳ色空間を用いて表されてもよい。

　テクスチャは、物の表面の質感、手触りなどを示す指標である。物の表面の質感を示す指標は例えば「植物的」「木目調」「金属的」であるが、これに限定するものではない。表面の質感を示す指標は、物の表面の凹凸を表す指標である平滑度又は表面粗さであってもよく、表面に表れている模様やパターンを示すものであってもよい。

　視認時感情は、基準空間画像５が表す基準空間を視認した視認者が抱いた感情の指標である。基準空間を視認した視認者が抱いた感情は、予め実験により測定されている。視認者の感情は、例えば基準空間の所定位置を視認した視認者の脳波及び心拍のうちの少なくとも一方を含む生理状態に基づいて測定される。視認者の感情は、例えばラッセル円環モデルを用いた快適度及び覚醒度で表される。一例を挙げると、視認者の感情は、基準空間を視認した視認者の脳波におけるα波の量が多いほど、基準空間を視認した視認者がリラックスして快適である（すなわち視認者の快適度が高い）と推定される。また、視認者の感情は、基準空間を視認した視認者の脳波におけるβ波の量が多いほど、基準空間を視認した視認者が集中している（すなわち視認者の覚醒度が高い）と推定される。

　具体例を挙げると、第１解析用データには、基準空間画像の位置［２，１］における色相は［緑（５９，１７５，１７７）］であり、テクスチャは［植物的］であることが示されている。そして、第１解析用データには、基準空間画像の位置［２，１］を視認した視認者が抱いた感情として、快適度が［７］、覚醒度が［４］であることが示されている。言い換えると、［緑（５９，１７５，１１７）］で［植物的］な位置［２，１］の空間を視認した視認者の感情が、快適度が［７］であり、覚醒度が［４］である（リラックス状態である）ことが示されている。

　記憶部４２は、複数の基準空間画像毎に視認者感情を関連付けて記憶してもよい。この場合、記憶部４２は、各基準空間画像の複数の位置それぞれに、視認者感情を関連付けて記憶する。

　記憶部４２は、機械学習モデルを第１解析用データとして記憶してもよい。例えば、第１解析用データである第１学習モデルは、複数の基準空間画像を用いて既知の機械学習処理を実行することによって生成されたモデルである。具体的には、第１学習モデルは、基準空間画像における位置と、当該位置における色相とテクスチャとの組み合わせと、が入力されると当該基準空間画像の視認時感情を出力するモデルである。すなわち、第１学習モデルにおいて、基準空間画像における位置と、当該位置における色相とテクスチャとの組み合わせとが説明変数であり、視認時感情が目的変数である。情報処理装置４は、第１学習モデルを用いて、位置と、当該位置における色相とテクスチャとの組み合わせとから視認時感情を予測する。学習モデルは、例えば、ニューラルネットワークである。機械学習処理は、例えば、誤差逆伝播法である。

　なお、物体の色と表面の質感がわかる状態で視認したときに視認者が抱く感情と、質感がなく色のみを視認したときに視認者が抱く感情とは異なる。そのため、記憶部４２は、基準空間画像における位置と、当該位置における色相と、当該基準空間画像の視認者の感情と、が関連付けられた第２解析用データを記憶する。

　図５は、第２解析用データの一例である。第２解析用データには、第１解析用データと異なり、基準空間画像における位置及び視認時感情にテクスチャが関連付けられていない。具体例を挙げると、第２解析用データの位置（２，１）における視認時感情は、第１解析用データの視認時感情（快適度［７］、覚醒度［４］（図４を参照））と異なり、快適度［７］、覚醒度［７］である。

　なお、第２解析用データは、第１解析用データと同様に、学習モデルであってもよい。この場合、第２解析用データの第２学習モデルは、基準空間画像における位置と、当該位置における色相と、が入力されると当該基準空間画像の視認時感情を出力するモデルである。すなわち、第２学習モデルにおいて、基準空間画像における位置と、当該位置における色相とが説明変数であり、視認時感情が目的変数である。

　制御部４３は、例えばＣＰＵ（Central Processing Unit）である。制御部４３は、記憶部４２に記憶されたプログラムを実行することにより、画像取得部４３１、画像解析部４３２、感情特定部４３３及び出力部４３４として機能する。

　画像取得部４３１は、通信部４１が受信した各種の情報を取得する。画像取得部４３１は、ユーザ又は視認者が選択した一以上の解析対象空間の状態を表す解析対象画像データを取得する。具体的には、画像取得部４３１は、閲覧端末３が送信した解析対象画像ＩＤに対応する解析対象画像データを取得する。図６は、解析対象画像６の一例である。

　画像取得部４３１は、取得した解析対象画像ＩＤで識別される解析対象画像データを画像解析部４３２に入力する。具体的には、画像取得部４３１は、取得した解析対象画像ＩＤで識別される解析対象画像データを画像提供装置１から取得し、取得した解析対象画像データを画像解析部４３２に入力する。画像取得部４３１は、閲覧端末３が複数の解析対象画像ＩＤを送信した場合、各解析対象画像ＩＤに対応する解析対象画像データを画像提供装置１から取得し、取得した複数の解析対象画像データを画像解析部４３２に入力する。

　画像解析部４３２は、解析対象画像データを解析することにより、解析対象画像６が表す解析対象空間における色相とテクスチャを特定する。例えば、画像解析部４３２は、解析対象画像データが示す解析対象画像６内の複数の領域それぞれに関連付けて色相とテクスチャとを特定する。

　図７は、複数の領域の色相とテクスチャとを特定する処理を説明するための図である。図７に示すように、解析対象画像６は、３行３列の９つの領域に分割されている。９つの領域には、左上から右下に向かって位置を特定するための識別情報が設定されている。位置を特定するための識別情報は、例えば左上から右下に向かって、（１，１）、（１，２）、（１，３）、（２，１）、（２，２）、（２，３）、（３，１）、（３，２）、（３，３）と設定されている。

　画像解析部４３２は、各領域の色相を特定する。例えば、画像解析部４３２は、各領域に含まれている複数の画素それぞれの色相を特定し、複数の画素の色相の平均値又は中央値を領域の色相として特定する。一例を挙げると、画像解析部４３２は、位置（１，１）の領域に含まれている複数の画素の色相の平均値を領域の色相として特定する。

　画像解析部４３２は、各領域のテクスチャを特定する。画像解析部４３２は、例えば複数のマスクパターンを用いて各領域の特徴を抽出することにより、各領域のテクスチャを特定する。なお、画像解析部４３２がテクスチャを特定する処理は、上記の処理に限定するものではない。

　感情特定部４３３は、解析対象空間を視認する視認者の視認時感情を特定する。具体的には、まず、感情特定部４３３は、第１解析用データにおいて、解析対象空間画像の各領域の位置と、当該位置の色相とテクスチャとの組み合わせと、基準空間画像５の各領域の位置と当該位置の色相とテクスチャとの組み合わせとの相関度を特定する。そして、感情特定部４３３は、相関度が閾値以上の基準空間画像における位置と、当該位置における色相とテクスチャとの組み合わせに対応する視認時感情を、解析対象空間の視認者の視認時感情として特定する。相関度の閾値は、実験などによって予め定められている。

　具体例を挙げると、感情特定部４３３は、基準空間画像５の位置（１，３）における色相［茶］とテクスチャ［木目調］との組み合わせとの相関度が閾値以上である解析対象画像６の領域を特定する。感情特定部４３３は、解析対象画像６の位置（２，３）の色相が［茶］であり、テクスチャが［木目調］であれば、基準空間画像５の位置（１，３）の領域と、解析対象画像６の位置（２，３）の領域との相関度が閾値以上であると判定する。そして、感情特定部４３３は、解析対象画像６の位置（２，３）の領域の視認時感情を、基準空間画像５の位置（１，３）に対応する視認時感情（快適度［８］、覚醒度［８］）であると特定する（図４を参照）。

　感情特定部４３３は、第１解析用データが学習モデルである場合、解析対象空間画像を学習モデルに入力することにより、解析対象空間画像に対応する解析対象空間の視認時感情を特定する。具体的には、感情特定部４３３は、解析対象空間画像の各領域の位置と、当該位置における色相とテクスチャとの組み合わせを学習モデルに入力することにより、解析対象空間画像に対応する解析対象空間の視認時感情を特定する。このように、感情特定部４３３は、色相とテクスチャとの組み合わせを入力することにより視認時感情を特定する学習モデルを用いることで、視認時感情を、より精度よく特定できる。

　感情特定部４３３は、解析対象空間に対する視認者の視認位置ごとに感情を特定してもよい。例えば、感情特定部４３３は、第１解析用データを参照することにより、解析対象空間の視認者の視認位置に関連付けて視認時感情を特定する。具体的には、感情特定部４３３は、解析対象空間の各位置を視認者が視認したと仮定して、各視認位置の視認時感情を特定する。具体例を挙げると、感情特定部４３３は、解析対象画像の位置（１，１）に関連付けて、解析対象画像６の位置（１，１）を視認者が視認したと仮定したときの視認時感情を特定する。このようにすることで、感情特定部４３３は、ユーザが設計した住居や施設を利用する予定の視認者が、解析対象空間の所定位置を視認したときに抱くと想定される感情を特定できる。

　また、感情特定部４３３は、解析対象空間に対応する解析空間画像における視認者の視認位置を特定し、特定した視認位置に関連付けて視認時感情を特定してもよい。例えば、感情特定部４３３は、視認者の眼を撮影するカメラと、解析対象画像を表示するディスプレイとを有するゴーグルを視認者が装着している状態で、ディスプレイに表示されている解析対象画像と視認者の瞳の位置とに基づいて視認位置を特定する。そして、感情特定部４３３は、特定した視認位置の視認時感情を特定する。このようにすることで、感情特定部４３３は、視認者が視認位置の画像を視認したときに抱くと想定される感情を特定できる。

　感情特定部４３３は、解析対象空間の奥行に応じた視認時感情を特定する。例えば、感情特定部４３３は、解析対象空間の手前の領域において色相及びテクスチャの組み合わせに基づく視認時感情を特定し、奥の領域において色相のみに基づいて視認時感情を特定する。この場合、解析対象画像データは、画素に関連付けられた深度情報を含む。言い換えると、解析対象画像データに含まれる各画素には、深度情報が関連付けられている。深度は、例えば解析対象空間の奥行方向の位置を示す数値であり、数値が大きいほど当該画素が解析空間の奥の領域に存在することを示す。

　感情特定部４３３は、深度情報が示す深度が、手前と奥とを区別するための深度閾値未満の領域を解析対象空間の手前の領域である第１領域とする。感情特定部４３３は、深度情報が示す深度が深度閾値以上の領域を、第１領域と異なる第２領域とする。深度閾値は、例えば解析対象画像データに含まれる各画素の深度情報が示す深度の最大値及び最小値の中間値であるが、これに限定するものではない。

　図８は、解析対象画像６における第１領域Ａと第２領域Ｂを説明するための図である。図８に示す第１領域Ａは、深度閾値未満である画素のみが含まれる領域である。第２領域Ｂは、深度閾値以上である画素のみが含まれる領域である。すなわち、解析対象画像６の第１領域Ａは、第２領域Ｂよりも手前に位置している。

　感情特定部４３３は、第１領域Ａに対しては、第１解析用データを参照することにより、第１領域Ａの位置と第１領域Ａに対応する色相とテクスチャとの組み合わせとの関係に基づいて、解析対象画像の視認者の第１感情を特定する。例えば、感情特定部４３３は、第１領域Ａの位置と、第１領域Ａの色相及びテクスチャの組み合わせとを第１学習モデルに入力することにより、解析対象画像の視認者の第１感情を特定する。

　感情特定部４３３は、第２領域Ｂに対しては、第２解析用データを参照することにより、第２領域Ｂの位置と第２領域Ｂに対応する色相との関係に基づいて、解析対象画像６の視認者の第２感情を特定する。

　そして、感情特定部４３３は、第１感情と第２感情とに基づいて視認時感情を特定する。例えば、感情特定部４３３は、第１感情と第２感情とを平均化することにより視認時感情を特定する。また、感情特定部４３３は、第１感情と第２感情との中央値を視認時感情として特定してもよい。このようにすることで、感情特定部４３３は、物体の色と表面の質感がわかる手前の領域を視認したときに視認者が抱く感情と、質感がわかりづらく色のみを視認できる奥の領域を視認したときに視認者が抱く感情とが反映された視認時感情を特定できる。

　解析対象空間における奥の領域よりも手前の領域の方が視認時感情に対する影響が大きいので、感情特定部４３３は、第１感情に第２感情よりも大きな重みづけをして平均化することにより視認時感情を特定してもよい。このようにすることで、感情特定部４３３は、視認者が解析対象空間の手前を視認したときの感情を、解析対象空間の奥を視認したときの感情よりも大きく重みづけできる。その結果、感情特定部４３３は、距離の影響を含めた視認時感情を特定できる。

　感情特定部４３３は、解析対象画像６における緑色の領域の割合（以下「緑視率」という）と、解析対象画像６における茶色の領域の割合（以下「木視率」という）とにさらに基づいて、視認時感情を特定してもよい。例えば、感情特定部４３３は、緑視率が０％から所定値までの間において緑視率が大きくなるほど高い快適度を特定し、所定値以降において緑視率が大きくなるほど低い快適度を特定する。言い換えると、緑視率に対する快適度は、上に凸のグラフを描く。なお、感情特定部４３３は、緑視率と同様に、木視率に対する快適度及び覚醒度の少なくともいずれかを特定する。木視率の所定値は、異なるものとするが、緑視率の所定値と同じであってもよい。これにより、感情特定部４３３は、解析対象空間全体に対する植物の比率、及び木材の比率に応じた視認時感情を特定できる。

　感情特定部４３３は、一の解析対象空間に対応する複数の解析対象画像それぞれの視認時感情を特定することにより、一の解析対象空間の視認時感情を特定する。一の解析対象空間は、例えば屋内のリビング、キッチン、ダイニング及び寝室等である。この場合、画像取得部４３１は、それぞれ異なる位置から一の解析対象空間を視認した状態を示す複数の解析対象画像データを取得する。言い換えると、画像取得部４３１は、一の解析対象空間を撮像した位置及び向きのうちの少なくとも一方が異なる複数の撮像画像を解析対象画像データとして取得する。

　次に、画像解析部４３２は、各解析対象画像データに対応する解析対象画像の各領域の色相とテクスチャを特定する。続いて、感情特定部４３３は、複数の解析対象画像データそれぞれに対応する解析対象空間の視認時感情を特定する。具体的には、感情特定部４３３は、各解析対象画像データの各領域の色相とテクスチャを第１学習モデルに入力することにより、各解析対象画像データに対応する複数の視認時感情を特定する。そして、感情特定部４３３は、特定した複数の視認時感情に基づいて一の解析対象空間に対応する視認時感情を特定する。例えば、感情特定部４３３は、複数の視認時感情を平均化した値、又は複数の視認時感情の中央値を一の解析対象空間に対応する視認時感情として特定する。

　また、感情特定部４３３は、各視認時感情に当該視認時感情に対応する解析対象画像データの重要度に応じた重みづけをした後の複数の視認時感情を平均化することにより一の解析対象空間に対応する視認時感情を特定してもよい。具体的には、感情特定部４３３は、視認者が視認する頻度が高い位置から一の解析対象空間を視認した状態を示す解析対象画像データに、視認者が視認する頻度が低い位置から一の解析対象空間を視認した状態を示す解析対象画像データよりも大きな重み付けをして平均化する。このようにすることで、感情特定部４３３は、視認者が一の解析対象空間で過ごす場合に抱く感情を適切に特定できる。

　出力部４３４は、解析対象画像６に関連付けて視認時感情を示す情報を出力する。例えば、出力部４３４は、解析対象画像６に視認時感情を重畳させて表示させるための情報を出力する。具体的には、出力部４３４は、視認時感情の快適度のヒートマップを解析対象画像に重畳させて表示させるための情報を閲覧端末３に出力する。

　図９は、快適度のヒートマップ７を解析対象画像６に重畳させた模式図である。図９の白く表示された領域は、快適度が他の領域よりも高い領域である。図９の黒く表示された領域は、快適度が他の領域よりも低い領域である。このようにすることで、ユーザは、解析対象空間のどこを視認者が見たときに快適度が高くなるかを把握しやすくなる。

　出力部４３４は、視認時感情を示す情報として、視認時感情を示す複数の項目を正多角形上に表現したレーダーチャートを出力してもよい。視認時感情を示す複数の項目は、例えば、感情の種類である。感情の種類は、例えばリラックス、集中、満足、疲れ、及び生産性である。出力部４３４は、解析対象画像６とともに視認時感情を示すレーダーチャートを表示させるための情報を送信する。このようにすることで、ユーザは、解析対象画像６に対応する解析対象空間を視認した視認者がどのような感情を抱くかを把握しやすくなる。

（視認時感情をフロアマップに重畳させて表示する処理）
　複数の解析対象空間を含む一の空間において、複数の解析対象空間それぞれに対応する視認時感情をユーザが知りたい場合がある。一の空間は、例えばデパート、ショッピングモールなどの商業施設、病院や役所などの公共施設である。複数の解析対象空間は、例えばデパートであれば、デパートに入店している複数の店舗、及び休憩スペースである。情報処理装置４は、一の空間に含まれる複数の解析対象空間の視認時感情を特定し、特定した視認時感情を一の空間の地図（以下「フロアマップ」という。）に関連付けて管理者端末２に表示させる。以下、視認時感情をフロアマップに重ねて表示する処理を具体的に説明する。

　画像取得部４３１は、一の空間に含まれる複数の解析対象空間それぞれに対応する解析対象画像データを取得する。例えば、画像取得部４３１は、複数の解析対象空間それぞれを撮像した複数の撮像画像を解析対象画像データとして取得する。また、画像取得部４３１は、複数の解析対象空間を示す一の解析対象画像データを取得してもよい。例えば、画像取得部４３１は、一の空間を所定の位置から全方位撮像した複数の撮像画像をコンピュータ上で合成処理されることにより作成された３６０度画像を取得する。また、画像取得部４３１は、３６０度が像を所定角度毎に分割した複数の画像を複数の解析対象画像データとして取得してもよい。図１０は、解析対象画像８の一例である。図１０の解析対象画像８は、一の空間に含まれる複数の解析対象空間それぞれに対応している。

　感情特定部４３３は、複数の解析対象画像データそれぞれに対応する解析対象空間の視認時感情を特定する。具体的には、感情特定部４３３は、複数の解析対象画像データを第１学習モデルに入力することにより、各解析対象画像データの視認時感情を特定する。

　出力部４３４は、複数の解析対象画像に対応する複数の解析対象空間を含む一の空間に対応するフロアマップに視認時感情を重畳させて表示するための情報を閲覧端末３に出力する。具体的には、出力部４３４は、フロアマップにおける複数の解析対象画像それぞれに対応する領域に、複数の解析対象画像それぞれに対応する視認時感情を示す情報を出力する。図１１は、視認時感情を重畳させたフロアマップの一例である。図１１の網掛けした領域は、当該領域を視認者が視認したときの快適度を示す。網掛けが濃くなるほど快適度は高い。例えば、領域７１及び領域７２の快適度は、領域７０、領域７３、領域７４及び領域７５よりも高い。領域７０の快適度は、領域７３、領域７４及び領域７５よりも高い。

　このようにすることで、視認時感情が重畳されたフロアマップを見たユーザは、フロア内のどこを見たときに視認者が快適になるかを把握しやすくなる。また、ユーザは、フロア内のどこを見たときに視認者が快適でなくなるかを把握できるので、フロアの環境改善に活用できる。

［情報処理システムＳが実行するシーケンス］
　図１２は、情報処理システムＳが実行するシーケンスの一例である。図１２のシーケンスは、例えば閲覧端末３から視認時感情を特定する処理を開始する指示が送信されたら実行される。

　まず、画像提供装置１は、視認時感情を特定する処理を開始する指示を送信した閲覧端末３に、複数の画像データを送信する（ステップＳ１）。例えば、画像提供装置１は、商品を販売する店舗内を撮像した位置及び向きがそれぞれ異なる複数の画像データを閲覧端末３に送信する。

　閲覧端末３は、画像提供装置１から送信された複数の画像データに対応する複数の画像をディスプレイに表示する。視認者は、閲覧端末３に表示された複数の画像のうち、視認時感情を特定する画像を選択する。閲覧端末３は、複数の画像のうち、視認時感情を特定する画像の選択を受け付ける（ステップＳ２）。閲覧端末３は、解析対象画像を識別するための解析対象画像ＩＤを情報処理装置４に送信する（ステップＳ３）。

　情報処理装置４は、閲覧端末３から送信された解析対象画像ＩＤで識別される解析対象画像データに対応する解析対象画像の色相とテクスチャを特定する（ステップＳ４）。具体的には、情報処理装置４は、解析対象画像の複数の領域の位置と、各領域における色相とテクスチャとの組み合わせとを特定する。

　続いて、情報処理装置４は、色相とテクスチャを特定した解析対象画像の視認時感情を特定する（ステップＳ５）。具体的には、情報処理装置４は、各領域の位置と、各領域の色相とテクスチャとの組み合わせとを第１学習モデルに入力することにより、各領域の視認時感情を特定する。

　情報処理装置４は、解析対象画像６に関連付けて視認時感情を閲覧端末３に出力する（ステップＳ６）。例えば、出力部４３４は、解析対象画像に視認時感情を重畳させて表示させるための情報を出力する。具体的には、出力部４３４は、視認時感情の快適度のヒートマップを解析対象画像に重畳させて表示させるための情報を閲覧端末３に出力する。

　閲覧端末３は、情報処理装置４が特定した視認時感情をディスプレイに表示する（ステップＳ７）。具体的には、閲覧端末３は、視認時感情の快適度のヒートマップを解析対象画像に重畳させてディスプレイに表示させる（図９を参照）。

　なお、情報処理装置４は、視認時感情を閲覧端末３に送信するだけでなく、視認時感情を管理者端末２のディスプレイに表示したり、紙などの印刷媒体に印刷したり、閲覧端末３と異なる外部装置（例えば管理者端末２）に送信したりしてもよい。

［情報処理装置４の効果］
　以上説明したとおり、情報処理装置４は、基準空間画像における位置と、当該位置における色相とテクスチャとの組み合わせと、当該基準空間画像に対応する基準空間の視認者の感情と、が関連付けられた第１解析用データを記憶している。まず、情報処理装置４は、解析対象空間の状態を表す解析対象画像データを解析することにより、解析対象画像データが示す解析対象画像内の各領域の色相とテクスチャを特定する。次に、情報処理装置４は、第１解析用データにおいて、複数の領域の位置と各領域に対応する色相とテクスチャとの組み合わせに対応する基準空間画像における位置と、当該位置における色相とテクスチャとの組み合わせを特定して解析対象空間の視認者の視認時感情を特定する。そして、情報処理装置４は、解析対象画像に関連付けて視認時感情を示す情報を出力する。

　このように、情報処理装置４は、基準空間画像の色相及びテクスチャの組み合わせと相関度が閾値以上である解析対象画像の色相及びテクスチャの空間を視認したときに抱くと推定される視認者の視認時感情を特定できる。その結果、情報処理装置４は、解析対象画像データが示す解析対象空間を視認した視認者の視認時感情を示す情報を、設計者や建築家であるユーザに提供できる。そして、視認時感情の提供を受けたユーザは、例えばユーザ自身が設計した解析対象空間を視認者が視認したときに抱くと想定される感情を把握できる。さらに、ユーザは、視認時感情を参考にレイアウトを変更した解析対象空間の視認時感情を確認することで、ユーザが快適になったり集中できたりする空間を設計できるようになる。

　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

Ｓ　情報処理システム
１　画像提供装置
２　管理者端末
３　閲覧端末
４　情報処理装置
４１　通信部
４２　記憶部
４３　制御部
４３１　画像取得部
４３２　画像解析部
４３３　感情特定部
４３４　出力部

Claims (12)

1. 　解析対象空間の状態を表す解析対象画像データを取得する画像取得部と、
   　前記解析対象画像データを解析することにより、前記解析対象画像データが示す解析対象画像内の複数の領域それぞれに関連付けて色相とテクスチャとを特定する画像解析部と、
   　基準空間画像における位置と、当該位置における色相とテクスチャとの組み合わせと、当該基準空間画像に対応する基準空間の視認者の感情と、が関連付けられた第１解析用データを記憶する記憶部と、
   　前記第１解析用データにおいて、前記画像解析部が特定した前記複数の領域それぞれの位置と、前記複数の領域に対応する色相とテクスチャとの組み合わせとの相関度が閾値以上の前記基準空間画像における位置と、当該位置における色相とテクスチャとの組み合わせを特定することにより、前記解析対象空間の視認者の視認時感情を特定する感情特定部と、
   　前記解析対象画像に関連付けて前記視認時感情を示す情報を出力する出力部と、
   　を有する情報処理装置。
2. 　前記第１解析用データにおいては、前記基準空間の視認者が視認している位置と当該視認者の感情とが関連付けられており、
   　前記感情特定部は、前記第１解析用データを参照することにより、前記解析対象空間の視認者の視認位置に関連付けて前記視認時感情を特定し、
   　前記出力部は、前記解析対象画像における位置に関連付けて前記視認時感情を示す情報を出力する、
   　請求項１に記載の情報処理装置。
3. 　前記記憶部は、基準空間画像における位置と、当該位置における色相と、当該基準空間画像の視認者の感情と、が関連付けられた第２解析用データをさらに記憶し、
   　前記感情特定部は、前記解析対象画像における第１領域に対しては、前記第１解析用データを参照することにより、前記第１領域の位置と前記第１領域に対応する色相とテクスチャとの組み合わせとの関係に基づいて、前記解析対象画像の視認者の第１感情を特定し、前記第１領域と異なる第２領域に対しては、前記第２解析用データを参照することにより、前記第２領域の位置と前記第２領域に対応する色相との関係に基づいて、前記解析対象画像の視認者の第２感情を特定し、前記第１感情と前記第２感情とを平均化することにより前記視認時感情を特定する、
   　請求項１又は２に記載の情報処理装置。
4. 　前記解析対象画像データは、画素に関連付けられた深度情報を含み、
   　前記感情特定部は、前記深度情報が示す深度が閾値未満の領域を前記第１領域とし、前記深度情報が示す深度が前記閾値以上の領域を前記第２領域とする、
   　請求項３に記載の情報処理装置。
5. 　前記感情特定部は、前記第１感情に前記第２感情よりも大きな重みづけをして平均化することにより前記視認時感情を特定する、
   　請求項４に記載の情報処理装置。
6. 　前記感情特定部は、前記解析対象画像における緑色の領域の割合と、前記解析対象画像における茶色の領域の割合とにさらに基づいて、前記視認時感情を特定する、
   　請求項１又は２に記載の情報処理装置。
7. 　前記画像取得部は、複数の前記解析対象空間それぞれに対応する前記解析対象画像データを取得し、
   　前記感情特定部は、複数の前記解析対象画像データそれぞれに対応する解析対象空間の前記視認時感情を特定し、
   　前記出力部は、複数の前記解析対象画像に対応する複数の前記解析対象空間を含む空間に対応するフロアマップにおける複数の前記解析対象画像それぞれに対応する領域に、複数の前記解析対象画像それぞれに対応する前記視認時感情を示す情報を出力する、
   　請求項１又は２に記載の情報処理装置。
8. 　前記出力部は、前記フロアマップにおける、前記視認時感情が所定の感情を示す前記解析対象画像に対応する領域に、前記視認時感情を示す情報を出力する、
   　請求項７に記載の情報処理装置。
9. 　前記画像取得部は、それぞれ異なる位置から前記解析対象空間を視認した状態を示す複数の前記解析対象画像データを取得し、
   　前記感情特定部は、前記複数の解析対象画像データそれぞれに対応する解析対象空間の視認時感情を特定し、特定した複数の前記視認時感情を平均化することにより、前記解析対象空間に対応する前記視認時感情を特定する、
   　請求項１又は２に記載の情報処理装置。
10. 　前記記憶部は、基準空間画像における位置と、当該位置における色相とテクスチャとの組み合わせと、が入力されると当該基準空間画像の視認者の感情を出力する機械学習モデルを前記第１解析用データとして記憶する、
    　請求項１又は２に記載の情報処理装置。
11. 　コンピュータが実行する、
    　解析対象空間の状態を表す解析対象画像データを取得するステップと、
    　前記解析対象画像データを解析することにより、前記解析対象画像データが示す解析対象画像内の複数の領域それぞれに関連付けて色相とテクスチャとを特定するステップと、
    　基準空間画像における位置と、当該位置における色相とテクスチャとの組み合わせと、当該基準空間画像に対応する基準空間の視認者の感情と、が関連付けられた第１解析用データにおいて、特定した前記複数の領域それぞれの位置と、前記複数の領域に対応する色相とテクスチャとの組み合わせとの相関度が閾値以上の前記基準空間画像における位置と、当該位置における色相とテクスチャとの組み合わせを特定することにより、前記解析対象空間の視認者の視認時感情を特定するステップと、
    　前記解析対象画像に関連付けて前記視認時感情を示す情報を出力するステップと、
    　を有する情報処理方法。
12. 　コンピュータに、
    　解析対象空間の状態を表す解析対象画像データを取得する画像取得部、
    　前記解析対象画像データを解析することにより、前記解析対象画像データが示す解析対象画像内の複数の領域それぞれに関連付けて色相とテクスチャとを特定する画像解析部、
    　基準空間画像における位置と、当該位置における色相とテクスチャとの組み合わせと、当該基準空間画像に対応する基準空間の視認者の感情と、が関連付けられた第１解析用データにおいて、前記画像解析部が特定した前記複数の領域それぞれの位置と、前記複数の領域に対応する色相とテクスチャとの組み合わせとの相関度が閾値以上の前記基準空間画像における位置と、当該位置における色相とテクスチャとの組み合わせを特定することにより、前記解析対象空間の視認者の視認時感情を特定する感情特定部、及び
    　前記解析対象画像に関連付けて前記視認時感情を示す情報を出力する出力部、
    　としての機能を実現させるためのプログラム。

Images