JP7077603B2 - 判定プログラム、判定方法及び画像生成装置 - Google Patents

判定プログラム、判定方法及び画像生成装置 Download PDF

Info

Publication number
JP7077603B2
JP7077603B2 JP2017242963A JP2017242963A JP7077603B2 JP 7077603 B2 JP7077603 B2 JP 7077603B2 JP 2017242963 A JP2017242963 A JP 2017242963A JP 2017242963 A JP2017242963 A JP 2017242963A JP 7077603 B2 JP7077603 B2 JP 7077603B2
Authority
JP
Japan
Prior art keywords
behavior
tendency
user
category
avatar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017242963A
Other languages
English (en)
Other versions
JP2019109761A (ja
Inventor
尚子 林田
健嗣 鈴木
英明 葛岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017242963A priority Critical patent/JP7077603B2/ja
Priority to US16/222,331 priority patent/US10824223B2/en
Publication of JP2019109761A publication Critical patent/JP2019109761A/ja
Application granted granted Critical
Publication of JP7077603B2 publication Critical patent/JP7077603B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、判定プログラム、判定方法及び画像生成装置に関する。
仮想空間におけるアバタを介して、ユーザ同士で、あるいはユーザと機械との間でコミュニケーションを行う技術が知られている（例えば、特許文献１参照）。ここでは、ＶＲ(Virtual Reality)技術によって構成された空間に限らず、ＡＲ(Augmented Reality)技術等によって、現実空間にアバタが投影されるような空間を含めた仮想的な空間の総称として、仮想空間と称する。
仮想空間においてアバタを介して、コミュニケーションを円滑に進め、相互の関係性を適切に構築するためには、実空間と同様、相互に感じている親密性を相互に伝達できたり、親密性のバランスを制御できるようにすることが重要である。
特開２０００－２５０６７７号公報 特表２０１２－５３３１２０号公報 特開２０１３－０７８９６９号公報 特開２０００－２７６６１０号公報
実空間では、非言語動作を用いて、親密性のバランスを制御している事が知られている。しかしながら、この親密性のバランスを制御する非言語動作は、具体的には、視線の交錯や身体的な近さ、身振り手振り、微笑み等のユーザの一方が対話相手に対し行う振る舞い（社会的な振る舞い）であり、仮想空間では特に、その非言語動作の意図を把握することが難しいことがある。
例えば、ユーザＡのアバタａがアテンション（注目）を他方のユーザＢのアバタｂに向けないとき、そのアバタｂの社会的振る舞いが、ユーザＡの視野角が狭いため、ユーザＡにとって見えにくく、見ても意味がないためなのか、それともアバタｂに対して親密性を近づけ過ぎないように、回避性の社会的振る舞いをとっているためなのか、ユーザＢが判断することは困難である。このため、アバタｂの適切な表示（例えば、見えにくいであろうユーザＢの手を明瞭化する表示等）を決定することは困難である。
そこで、一つの側面では、ユーザの振る舞いの種別を適切に判定することを目的としている。
１つの実施態様では、ユーザの振る舞いを仮想空間で表示させるアバタの画像を生成する際に、前記ユーザの体の複数箇所を測定することで得られたデータを取得し、ユーザの動作タイプに対応づけてユーザの振る舞いの接近傾向又は回避傾向を記憶する記憶部を参照して、取得した前記データが示す動作に対応するユーザの振る舞いの接近傾向又は回避傾向を判定し、前記接近傾向及び回避傾向の判定結果から、所定時間の接近行動傾向量及び回避行動傾向量を算出し、算出した前記接近行動傾向量と予め設定された接近行動傾向量の閾値とを比較し、算出した前記回避行動傾向量と予め設定された回避行動傾向量の閾値とを比較し、比較の結果に基づき、前記ユーザの振る舞いの種別を、カテゴリ別社会的振る舞い行動傾向量閾値定義情報に応じて、以下の（１）～（４）の場合に分けてカテゴリ別に接近行動傾向、回避行動傾向又は中間行動傾向のいずれかに判定し、前記ユーザの振る舞いの種別は、コミュニケーション対象の第一のユーザの第一のアバタと、コミュニケーション相手の機械のアバタ又は第二のユーザの第二のアバタとの位置の変化を示すカテゴリ、前記第一のアバタの身体の向きを示すカテゴリ、前記第一のアバタの身体の傾きを示すカテゴリ、前記第一のアバタの注目を示すカテゴリ、及び前記第一のアバタのジェスチャを示すカテゴリを含み、（１）前記接近行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えた場合であって、かつ、前記回避行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えなかった場合、該当カテゴリについての前記ユーザの振る舞いの種別を接近行動傾向と判定し、（２）前記接近行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えなかった場合であって、かつ、前記回避行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えた場合、該当カテゴリについての前記ユーザの振る舞いの種別を回避行動傾向と判定し、（３）前記接近行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えなかった場合であって、かつ、前記回避行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えなかった場合、該当カテゴリについての前記ユーザの振る舞いの種別を、中間行動傾向と判定し、（４）前記接近行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えた場合であって、かつ、前記回避行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えた場合、該当カテゴリについての前記ユーザの振る舞いの種別を中間行動傾向と判定する、処理をコンピュータに実行させる判定プログラムが提供される。
１つの側面では、本発明は、ユーザの振る舞いの種別を適切に判定することができる。
一実施形態に係る画像生成システムの全体構成の一例を示す図。 一実施形態に係る仮想空間の画像の一例を示す図。 一実施形態に係るアバタの画像の表現方法を説明するための図。 一実施形態に係る画像生成装置のハードウェア構成の一例を示す図。 一実施形態に係るＨＭＤのハードウェア構成の一例を示す図。 第１実施形態に係る画像生成装置の社会的振る舞い行動傾向解析部の機能構成及び各ＤＢの一例を示す図。 センサデータ用ＤＢに格納されるデータテーブルの一例を示す図である。 社会的振る舞い基礎情報の一例を示す図。 一実施形態に係る振る舞いログ更新記録データテーブルの一例を示す図。 一実施形態に係る社会的振る舞いログ記録データテーブルの一例を示す図。 一実施形態に係る社会的振る舞い値算出記録データテーブルの一例を示す図。 一実施形態に係る監視対象データログ定義情報の一例を示す図。 一実施形態に係る社会的振る舞い判定ＡＰＩ定義情報の一例を示す図。 一実施形態に係る社会的振る舞いの接近・回避傾向定義情報の一例を示す図。 一実施形態に係る社会的振る舞い行動傾向量記録データテーブルの一例を示す図。 一実施形態に係る社会的振る舞い行動傾向量閾値定義情報の一例を示す図。 一実施形態に係る社会的振る舞い行動傾向記録データテーブルの一例を示す図。 第１実施形態に係る社会的振る舞いの情報収集処理の一例を示すフローチャート。 第１実施形態に係る社会的振る舞いの判定処理の一例を示すフローチャート。 第１実施形態に係る社会的振る舞い行動傾向判定処理の一例を示すフローチャート。 第２実施形態に係る画像生成装置の社会的振る舞い行動傾向解析部の機能構成及び各ＤＢの一例を示す図。 一実施形態に係る社会的振る舞いのカテゴリ分類定義情報の一例を示す図。 一実施形態に係るカテゴリ別社会的振る舞い行動傾向量閾値定義情報の一例を示す図。 一実施形態に係るカテゴリ別社会的振る舞い行動傾向量記録データテーブルの一例を示す図。 一実施形態に係るカテゴリ別社会的振る舞い行動傾向記録データテーブルの一例を示す図。 一実施形態に係る社会的振る舞い行動傾向記録データテーブルの一例を示す図。 第２実施形態に係る社会的振る舞い行動傾向判定処理の一例を示すフローチャート。 第３実施形態に係る画像生成装置の社会的振る舞い行動傾向解析部の機能構成及び各ＤＢの一例を示す図。 一実施形態に係る考慮すべき事象の影響の度合いによる社会的振る舞いのカテゴリ毎重み定義情報の一例を示す図。 一実施形態に係るカテゴリ別重みつき社会的振る舞い行動傾向量記録データテーブルの一例を示す図。 一実施形態に係るカテゴリ別社会的振る舞い行動傾向記録データテーブルの一例を示す図。 一実施形態に係る社会的振る舞い行動傾向記録データテーブルの一例を示す図。 第３実施形態に係る社会的振る舞い行動傾向判定処理の一例を示すフローチャート。 第４実施形態に係る画像生成装置の社会的振る舞い行動傾向解析部の機能構成及び各ＤＢの一例を示す図。 一実施形態に係る社会的振る舞い行動傾向代表値行列定義情報の一例を示す図。 一実施形態に係るログ区間における社会的振る舞い行動傾向代表値記録データテーブルの一例を示す図。 一実施形態に係る代表値を用いた時間区間社会的振る舞い行動傾向判定記録データテーブルの一例を示す図。 第４実施形態に係る社会的振る舞い行動傾向代表値算出処理の一例を示すフローチャート。 第４実施形態に係る社会的振る舞い行動傾向判定処理の一例を示すフローチャート。
＜用語の定義＞
はじめに、各実施形態における画像生成システムを説明する際に用いる用語の定義について説明する。以下の各実施形態において説明する画像生成システムは、互いに離間した場所にいるユーザ同士で、またはユーザと機械との間でコミュニケーションを行うための仮想空間を提供するシステムである。本実施形態では、ＶＲ(Virtual Reality)技術によって構成された空間に限らず、ＡＲ(Augmented Reality)技術等によって、現実空間にアバタが投影されるような空間を含めた仮想的な空間の総称として、仮想空間と称する。
また、「仮想空間」とは、アバタの身体を骨格の位置（座標）や向き（回転角度）によって表現することができる空間を指す。このため、あるユーザが存在する実空間に、他のユーザのアバタがプロジェクションされ、実空間に存在するユーザ本人は、自身のアバタを見ることができないような空間も、仮想空間に含まれるものとする。
また、仮想空間において骨格によって身体の位置や向きが表現されるアバタのうち、実空間におけるユーザの非言語動作（アクション）と同期するように画像が生成されるアバタを、「ユーザのアバタ」と称する。また、仮想空間において骨格によって身体の位置や向きが表現されるアバタのうち、コンピュータプログラムの指示により自律的に動作する機械のアバタを、「機械のアバタ」と称する（ただし以下では、自律的に動作する機械自体も含めて、機械のアバタと称する）。なお、「骨格」とは、仮想空間においてアバタの身体の各身体部位を示すオブジェクトであり、位置や向き等の情報を有している。
また、実空間におけるユーザの非言語動作のうち、コミュニケーション相手（コミュニケーション対象）に対する非言語動作を、「社会的振る舞い（Social Behavior）」と称する。社会的振る舞いには、目を合わせる、同じ物をみる、相手の方に身体を向ける、相手に近づく、相手に微笑む等の各種非言語動作が含まれる。
＜画像生成システムの処理の概要＞
続いて、各実施形態における画像生成システムの処理の概要について説明する。以下の各実施形態における画像生成システムは、仮想空間において機械のアバタのコミュニケーション相手となるユーザの非言語動作を監視し、ユーザの社会的な振る舞いの行動傾向を適切に判定する。
これにより、機械のアバタは、ユーザの状態を社会的振る舞いの行動傾向に応じて判断し、ユーザの社会的振る舞いの行動傾向に対して最も適切と判断した自らの動作を実行することができるようになる。この結果、ユーザが機械のアバタに対して行っている社会的振る舞いを踏まえた上で、機械のアバタが自らの社会的振る舞いを決定する事が可能となり、ユーザと機械のアバタとのコミュニケーションを円滑に進め、相互の関係性を適切に構築することが可能となる。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
［第１実施形態］
＜画像生成システムの全体構成＞
はじめに、画像生成システムについて説明する。図１は、画像生成システムの全体構成の一例を示す図である。図１に示すように、画像生成システム１００は、サーバソフトウェアが配置される画像生成装置１１０と、クライアントアプリケーションソフトウェアが配置される情報処理装置１４１、１５１を含むクライアント側システム１４０、１５０とを有する。画像生成装置１１０と、クライアント側システム１４０、１５０とは、インターネットやＬＡＮ（Local Area Network）等に代表されるネットワーク１８０を介して接続される。
画像生成システム１００は、画像生成装置１１０と、クライアント側システム１４０、１５０とが、全体の処理を分割して実行することで、コミュニケーションサービスを提供する。ユーザ１６０（ユーザＩＤ＝"ｕｓｅｒＡ"）、ユーザ１７０（ユーザＩＤ＝"ｕｓｅｒＢ"）は、互いに離間した場所にて、画像生成システム１００が提供するコミュニケーションサービスを利用する。これにより、ユーザ１６０とユーザ１７０とは同じ仮想空間においてユーザのアバタ（ユーザと対応付けた状態の画像）を介してコミュニケーションを行うことができる。例えば、ユーザ１６０，１６０が学習者であり、ユーザのアバタを介して機械のアバタとコミュニケーションしながら学習する場合が一利用形態として挙げられる。ただし、ユーザのアバタを介してのコミュニケーションは、学習時に限らず、どのような場面にも適用可能である。
画像生成装置１１０は、ユーザ１６０、１７０をセンシングした結果得られたセンサデータを収集し、各種処理を行う情報処理装置の一例であり、サーバ装置、ＰＣ等であり得る。
画像生成装置１１０には、サーバソフトウェアとしてのユーザのアバタ基本機能プログラム、機械のアバタ基本機能プログラム、行動傾向判定プログラムがインストールされている。これらのプログラムが実行されることで、画像生成装置１１０は、ユーザのアバタ基本機能部、機械のアバタ基本機能部及び社会的振る舞い行動傾向解析部１２５として機能する。
ユーザのアバタ基本機能部には、センサデータ収集処理管理部１１１、ユーザのアバタ情報表示処理部１１２、ユーザのアバタ登録データ管理部１１３、ユーザのアバタ表示履歴管理部１１４が含まれる。ユーザのアバタ基本機能部は、コミュニケーションサービスを提供する際のユーザのアバタに関する基本的な機能を実現する。
センサデータ収集処理管理部１１１は、ユーザ１６０、１７０をセンシングした結果得られたセンサデータを収集してセンサデータ用データベース（以下、ＤＢ（Database）と略す）１３２中の各センサ用に用意したデータテーブルへ格納する。
ユーザのアバタ情報表示処理部１１２は、センサデータ用ＤＢ１３２に格納されたセンサデータに基づいて、仮想空間におけるユーザのアバタの画像を生成する。ユーザのアバタ情報表示処理部１１２は、例えば、コンテンツ用ＤＢ１３１に格納されたアバタ骨格モデルを用いてユーザのアバタの画像を生成する。アバタ骨格モデルとは、人型の画像であって、複数の骨格を用いて、ユーザの非言語動作に伴う各部位の動きを表現する画像である。ユーザのアバタ情報表示処理部１１２は、各骨格について仮想空間における位置及び回転角度を算出し、算出した位置及び回転角度をアバタ骨格モデルに反映させることでユーザのアバタの画像を生成する。
また、ユーザのアバタ情報表示処理部１１２は、コンテンツ用ＤＢ１３１に格納された仮想空間の画像（背景画像）に、ユーザのアバタの画像及び後述する機械のアバタの画像を組み込みこむことで仮想空間用情報を生成（または更新）する。更に、ユーザのアバタ情報表示処理部１１２は、生成または更新した仮想空間用情報を、クライアント側システム１４０、１５０に送信する。
ユーザのアバタ登録データ管理部１１３は、ユーザのアバタ情報表示処理部１１２が仮想空間用情報を生成して送信する際に用いる各種定義情報をコンテンツ用ＤＢ１３１に登録する。
ユーザのアバタ表示履歴管理部１１４は、ユーザのアバタの画像の生成に用いられたログデータを、ログ用ＤＢ１３４のログテーブルに記録する。
機械のアバタ基本機能部には、機械のアバタ情報表示処理部１２１、機械のアバタ登録データ管理部１２２、機械のアバタ表示履歴管理部１２３が含まれる。機械のアバタ基本機能部は、コミュニケーションサービスを提供する際の機械のアバタに関する基本的な機能を実現する。
機械のアバタ情報表示処理部１２１は、ログ用ＤＢ１３４に格納された、ユーザのアバタの画像の生成に用いられたログデータを参照し、仮想空間における機械のアバタの画像を生成する。機械のアバタ情報表示処理部１２１は、コミュニケーション相手のユーザの非言語動作及び、機械のアバタが有するコミュニケーション戦略に応じて、機械のアバタが標準的な動作を行うように、機械のアバタの画像を生成する。
また、機械のアバタ情報表示処理部１２１は、生成した機械のアバタの画像を、ユーザのアバタ情報表示処理部１１２に通知する。これにより、ユーザのアバタ情報表示処理部１１２により生成される仮想空間用情報に、機械のアバタの画像が組み込まれることになる。
なお、機械のアバタ情報表示処理部１２１は、社会的振る舞い行動傾向解析部１２５の判定結果に基づいて、ユーザのアバタ情報表示処理部１１２に通知する機械のアバタの画像を変更する。社会的振る舞い行動傾向解析部１２５の判定結果に基づき、機械のアバタの適切な画像を決定できない場合、機械のアバタ情報表示処理部１２１は、標準的な動作を行うための機械のアバタの画像を表示する。
機械のアバタ登録データ管理部１２２は、機械のアバタの画像を生成するのに用いる各種情報を、コンテンツ用ＤＢ１３１に登録する。
機械のアバタ表示履歴管理部１２３は、機械のアバタの画像の生成に用いられたログデータを、ログ用ＤＢ１３４のログテーブルに記録する。
社会的振る舞い行動傾向解析部１２５は、ユーザのアバタの画像の生成に用いられたログデータを用いて、コミュニケーション相手のユーザの非言語動作を監視する。また、社会的振る舞い行動傾向解析部１２５は、監視結果に基づいて、コミュニケーション相手のユーザが、特定の非言語動作を行ったか否かを判定する。更に、社会的振る舞い行動傾向解析部１２５は、コミュニケーション相手のユーザがある時間帯に非言語動作を行ったと判定した場合、その時間帯に行われた一つ以上の社会的振る舞いについて当該ユーザの行動が、接近行動傾向、回避行動傾向及び中間行動傾向のいずれかの判定を行う。なお、中間行動傾向は、ユーザの行動が接近行動傾向と回避行動傾向のどちらでもない行動傾向をいう。
続いて、クライアント側システムについて説明する。なお、クライアント側システム１４０とクライアント側システム１５０とは同様の構成を有していることから、ここでは、クライアント側システム１４０について説明する。
クライアント側システム１４０は、情報処理装置１４１、情報提示装置１４２、情報収集装置１４３～１４５を有する。
情報処理装置１４１には、クライアントアプリケーションとしての情報処理プログラムがインストールされている。情報処理装置１４１は、情報収集装置１４３～１４５から出力されるセンサデータを画像生成装置１１０に送信するとともに、画像生成装置１１０から送信される仮想空間用情報を受信し、情報提示装置１４２に出力する。
なお、以下の各実施形態において、情報処理装置１４１は、ユーザ１６０を取り囲む環境埋め込み型端末に搭載されているものとして説明するが、情報処理装置１４１は、環境埋め込み型端末に搭載されていなくてもよい。例えば、情報処理装置１４１は、ＨＭＤ（Head-Mounted Display）に搭載されていてもよい。あるいは、情報処理装置１４１は、コンタクトレンズ、眼鏡のような装着型モバイル端末や、据え置き型サーバ装置等に搭載されていてもよい。
情報提示装置１４２は、画像生成装置１１０より送信された仮想空間用情報を、ユーザ１６０に対して表示する。なお、各実施形態において、情報提示装置１４２は、ＨＭＤの表示部により実現される。
情報収集装置１４３～１４５は、ユーザ１６０の実空間における非言語動作をセンシングし、センサデータを出力する。
各実施形態において、情報収集装置１４３は頭部姿勢センサであり、ＨＭＤに搭載されている。頭部姿勢センサ１４３は、ユーザ１６０の実空間における非言語動作に含まれる"頭の向き"をセンシングして頭部姿勢データを出力する。
また、各実施形態において、情報収集装置１４４は深度センサである。深度センサ１４４は、ユーザ１６０の前方に設置され、設置位置からユーザ１６０までの三次元の距離をセンシングすることで、実空間におけるユーザ１６０の非言語動作に応じて変化する二次元の距離画像等を出力する。深度センサ１４４により測定された、物体の深度（奥行き）を示すデータ（例えば、３ｃｍ等）をここでは深度データと称する。また、二次元の距離画像とは、深度センサ１４４から得られた深度データをＸＹ平面にプロットすることで得られる画像をいう。二次元の距離画像上の各画素には、深度センサ１４４から得た各ＸＹ座標位置にある物体（深度センサ１４４から見て一番手前の物体）までの距離の値が格納される。なお、深度センサ１４４から得られるデータ（深度データ、二次元の距離画像のほか、カラー画像等も含む）を総称して、深度センサデータと称する。
また、各実施形態において、情報収集装置１４５は筋電位センサである。筋電位センサ１４５は、実空間におけるユーザ１６０の非言語動作に含まれる"表情の変化"をセンシングして筋電位データを出力する。
なお、以下では、クライアントアプリケーションソフトウェアが配置された１つの装置（情報処理装置）上に、１人のユーザが割り当てられるものとして説明するが、１つの装置上に複数のユーザが割り当てられていてもよい。
また、以下では、サーバソフトウェアもクライアントアプリケーションソフトウェアも、それぞれ１つの装置（画像生成装置、情報処理装置）上に配置されるものとして説明するが、１つの装置上に、複数のソフトウェアが配置されていてもよい。あるいは、サーバソフトウェアとクライアントアプリケーションソフトウェアは、１つの装置上に配置されていてもよい。あるいは、サーバソフトウェアもクライアントアプリケーションソフトウェアも、それぞれのソフトウェアにおいて実現される機能が、複数の装置に分散されて配置されていてもよい。
また、以下では、クライアントアプリケーションソフトウェアがユーザ１６０を識別し、画像生成装置１１０から送信される仮想空間用情報を、当該識別したユーザ１６０に応じた仮想空間用情報に変換して表示するものとする。
また、以下では、ユーザ１６０の非言語動作をセンシングした結果得られるセンサデータが、ユーザ１６０の識別子と紐づけて画像生成装置１１０に送信されるものとして説明する。なお、クライアントアプリケーションソフトウェアが配置される情報処理装置１４１は、クライアントアプリケーションソフトウェアまたはサーバソフトウェアによってアクセス制御されているものとする。つまり、以下では、クライアントアプリケーションソフトウェアは、クライアントアプリケーションソフトウェアが配置される情報処理装置１４１にて、本人確認（ユーザ認証）が事前に行われているものとする。
また、以下では、クライアントアプリケーションソフトウェアが情報提示装置１４２の仕様を確認し、画像生成装置１１０から送信される仮想空間用情報を、当該確認した仕様に応じた仮想空間用情報に変換して表示するものとする。
また、以下では、クライアントアプリケーションソフトウェアが情報処理装置１４１を確認し、ユーザ１６０の非言語動作をセンシングした結果得られたセンサデータを、情報処理装置１４１と紐づけて画像生成装置１１０に送信するものとする。
また、以下では、ユーザ１６０を識別する識別子を、ユーザ１６０が１種類有しているものとして説明するが、画像生成システム１００が複数のサービスを提供する場合にあっては、ユーザ１６０は、サービスごとに異なる識別子を有していてもよい。ただし、その場合、画像生成システム１００により、ユーザ１６０が有している複数の識別子間の対応付けが管理されているものとする。
また、以下では、情報収集装置１４３～１４５として、頭部姿勢センサ、深度センサ、筋電位センサがユーザ１６０の非言語動作をセンシングするものとして説明するが、それ以外のセンサが、ユーザ１６０の非言語動作をセンシングしてもよい。それ以外のセンサには、例えば、動画像撮像装置、静止画像（カラー画像）撮像装置、音声取得装置、生体センサ等が含まれる。
なお、非接触のセンサにおいては、例えば、ユーザ１６０を撮影している静止画像にユーザ１６０が映っていない場合のように、センサデータ中にユーザ１６０のデータがない場合もある。また、例えば、ユーザ１６０を撮影している静止画像に複数のユーザが撮影され、どのユーザをセンシングしたのか判別できない場合もある。本実施形態においては、このような事象については、別途対策がなされているものとし、センサデータは画像生成装置１１０においてユーザ１６０と正しく紐付けがなされているものとする。
また、以下では、情報収集装置１４３～１４５にてセンシングされたセンサデータ自体が画像生成装置１１０に送信されるものとして説明するが、センシングされたセンサデータから導出可能な中間的な情報が画像生成装置１１０に送信されてもよい。例えば、ユーザ１６０の顔画像データをセンシングする場合にあっては、ユーザ１６０の顔パーツに着目することで導出される笑顔の変化の大小を表す情報が、画像生成装置１１０に送信されてもよい。あるいは、ユーザ１６０の顔の大きさに着目することで導出される姿勢変化を表す情報が、画像生成装置１１０に送信されてもよい。
更に、以下では、情報処理装置１４１、１５１から送信されるセンサデータには、タイムスタンプが付加されているものとする。また、このとき付加されるタイムスタンプは、クライアント側システム１４０とクライアント側システム１５０との間で、時刻合わせが完了しているものとする。
＜仮想空間の画像＞
次に、ユーザ１６０、ユーザ１７０のユーザのアバタの画像及び機械のアバタの画像を含む仮想空間の画像について説明する。図２は、仮想空間の画像の一例を示す図である。
図２に示すように、コミュニケーションサービスを利用するユーザ（ここでは、ユーザ１６０）は、実空間において、ＨＭＤ（頭部姿勢センサ及び表示部が搭載されたＨＭＤ）と、筋電位センサ１４５とを装着して、例えば、椅子２００に着座する。また、ユーザ１６０の前方には深度センサ１４４が設置され、ユーザ１６０をセンシングする。
頭部姿勢センサ１４３、深度センサ１４４、筋電位センサ１４５によるセンシングにより得られた頭部姿勢データ、深度センサデータ、筋電位データは、画像生成装置１１０に送信され、ユーザ１６０のユーザのアバタの画像２２０が生成される。同様の処理がユーザ１７０に対しても行われ、ユーザ１７０のユーザのアバタの画像２３０が生成される。
また、画像生成装置１１０では、ユーザ１６０及びユーザ１７０とコミュニケーションを行う機械のアバタの画像２４０が生成される。更に、画像生成装置１１０において生成されたユーザのアバタ及び機械のアバタの画像は、仮想空間の画像に組み込まれ、仮想空間用情報として情報処理装置１４１及び１５１にそれぞれ送信される。
図２に示す画像２１０は、情報処理装置１４１に送信された仮想空間用情報に含まれる仮想空間の画像の一例である。当該画像２１０には、ユーザ１６０のユーザのアバタの画像２２０とユーザ１７０のユーザのアバタの画像２３０と、機械のアバタの画像２４０とが組み込まれている。図２に示すように、画像２１０は、ユーザ１６０が、自身のユーザのアバタの画像２２０を後から見ているように表示される。この状態で、ユーザ１６０が非言語動作を行うと、画像２１０内のユーザのアバタの画像２２０も同期して変化する。画像２１０によれば、ユーザ１６０は、自身の非言語動作に伴って仮想空間内で変化するユーザのアバタの画像２２０を、ユーザのアバタの画像２２０の後ろ側から確認することになる。
＜アバタの画像の表現方法＞
次に仮想空間におけるアバタ（ユーザのアバタ、機械のアバタ）の画像の表現方法について説明する。各実施形態において画像生成装置１１０は、仮想空間における各骨格の位置及び回転角度をアバタ骨格モデルを用いて表現する。また、各実施形態において画像生成装置１１０は、アバタの表面の状態（アバタの洋服や身体の色、表情等）をメッシュ（ｍｅｓｈ）と呼ばれる点群を用いて表現することで、アバタの画像を生成する。
はじめに、アバタ骨格モデルについて説明する。上述したように、骨格はアバタ骨格モデル内に複数含まれる。例えば、アバタ骨格モデルの頭部には、頭部の骨格が含まれている。頭部の骨格の位置及び回転角度は、頭部姿勢データに基づいて算出される。また、アバタ骨格モデルの頭部以外の肢体には、頭部以外の肢体の骨格が含まれている。これらの骨格の位置及び回転角度は、深度センサデータに基づいて算出される。
ここでは、一例として、アバタの上体の画像についてアバタ骨格モデルを用いて表現する表現方法について説明する。図３は、アバタの画像の表現方法の一例を示す図である。図３は、ユーザの上体が前傾または後傾する非言語動作、ユーザが左右を見回すように上体の向きを変える非言語動作、及び上体全体で左側面や右側面に揺れる非言語動作をアバタの画像として表現したものである。アバタ骨格モデルを用いた表現方法の場合、これらの非言語動作はアバタの腰付近に位置する骨格（"Ｂｏｎｅ＿Ｃｈｅｓｔ"）を原点とする、当該骨格の３軸方向に対する回転角度の変化として表現することができる。
なお、図３では、仮想空間で一意に定まる座標系のＸ軸、Ｙ軸、Ｚ軸を、それぞれアバタの左右方向、上下方向、前後方向としている。
画像３０１は、Ｘ軸に対して骨格が＋α［度］回転した場合のアバタの画像を示しており、画像３０２は、Ｘ軸に対して骨格が－α［度］回転した場合のアバタの画像を示している。また、画像３１１は、Ｙ軸に対して骨格が＋α［度］回転した場合のアバタの画像を示しており、画像３１２は、Ｙ軸に対して骨格が－α［度］回転した場合のアバタの画像を示している。
更に、画像３２１は、Ｚ軸に対して骨格が＋α［度］回転した場合のアバタの画像を示しており、画像３２２は、Ｚ軸に対して骨格が－α［度］回転した場合のアバタの画像を示している。
各アバタ骨格を、（（位置座標），（回転角度））の形式で記述し、例えば、時刻ｔ１において、"Ｂｏｎｅ＿Ｃｈｅｓｔ"は（（０，８，－１０），（２，０，０））であり、時刻ｔ１＋１においては（（０，８，－１０），（４，０，０））であったとする。この場合、時刻ｔ１での"Ｂｏｎｅ＿Ｃｈｅｓｔ"は、ＶＲ（Virtual Reality）空間上で一意の座標としての位置座標（０，８，－１０）にあり、その時、Ｘ軸上に対して、２度の回転だったものが、センサ入力で得られたデータによって更新したところ、"Ｂｏｎｅ＿Ｃｈｅｓｔ"の位置座標は同じ場所であるもの、Ｘ軸上に対して、さらに２度回転した４度の状態となったことを示す。
＜画像生成装置のハードウェア構成＞
次に、画像生成システム１００に含まれる画像生成装置１１０のハードウェア構成について説明する。図４は、画像生成装置のハードウェア構成の一例を示す図である。図４に示すように、画像生成装置１１０は、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３を備える。また、画像生成装置１１０は、補助記憶部５０４、通信部５０５、表示部５０６、操作部５０７、ドライブ部５０８を備える。なお、画像生成装置１１０の各部は、バス５０９を介して相互に接続されている。
ＣＰＵ５０１は、補助記憶部５０４にインストールされた各種プログラム（例えば、サーバソフトウェア）を実行する。ＲＯＭ５０２は、不揮発性メモリである。ＲＯＭ５０２は、補助記憶部５０４に格納された各種プログラムをＣＰＵ５０１が実行するために必要な各種プログラム、データ等を格納する主記憶部である。具体的には、ＲＯＭ５０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。
ＲＡＭ５０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリであり、主記憶部として機能する。ＲＡＭ５０３は、補助記憶部５０４に格納された各種プログラムがＣＰＵ５０１によって実行される際に展開される、作業領域を提供する。
補助記憶部５０４は、画像生成装置１１０にインストールされた各種プログラムや、各種プログラムを実行する際に用いる情報（各種コンテンツ、各種定義情報等）を格納する。また、補助記憶部５０４は、各種プログラムを実行することで取得される情報（センサデータ、ログデータ等）を格納する。
通信部５０５は、画像生成装置１１０に接続されるクライアント側システム１４０、１５０の情報処理装置１４１、１５１と通信するためのデバイスである。表示部５０６は、画像生成装置１１０の処理結果や処理状態を表示するデバイスである。操作部５０７は、画像生成装置１１０に対して各種指示を入力する際に用いられるデバイスである。
ドライブ部５０８は記録媒体５１０をセットするためのデバイスである。ここでいう記録媒体５１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体５１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等も含まれる。
なお、補助記憶部５０４にインストールされる各種プログラムは、例えば、配布された記録媒体５１０がドライブ部５０８にセットされ、記録媒体５１０に記録された各種プログラムがドライブ部５０８により読み出されることでインストールされる。あるいは、補助記憶部５０４にインストールされる各種プログラムは、通信部５０５を介してネットワーク１８０より受信することでインストールされてもよい。
なお、図４は、画像生成装置１１０のハードウェア構成として説明したが、クライアント側システム１４０に配された情報処理装置１４１及びクライアント側システム１５０に配された情報処理装置１５１のハードウェア構成も概ね同様である。
＜ＨＭＤのハードウェア構成＞
次に、ＨＭＤのハードウェア構成について説明する。図５は、ＨＭＤのハードウェア構成の一例を示す図である。図５に示すように、ＨＭＤは、ＣＰＵ６０１、ＲＯＭ６０２、ＲＡＭ６０３を備える。また、ＨＭＤは、補助記憶部６０４、通信部６０５を備える。ＨＭＤは、更に、操作部６０６、表示部１４２、頭部姿勢センサ１４３、Ｉ／Ｆ（Interface）部６０７を備え、これらの各部は、バス６０８を介して相互に接続されている。なお、ＨＭＤには、更に、音声出力装置（スピーカ等）及び音声取得装置（マイク等）が配されているが、各実施形態において、音声データの送受信の説明は省略するため、ここでも音声に関連する装置の説明は省略する。
ＣＰＵ６０１は、補助記憶部６０４にインストールされた各種プログラムを実行するコンピュータである。ＲＯＭ６０２は、不揮発性メモリである。ＲＯＭ６０２は、補助記憶部６０４に格納された各種プログラムをＣＰＵ６０１が実行するために必要な各種プログラム、データ等を格納する主記憶部である。具体的には、ＲＯＭ６０２はＢＩＯＳやＥＦＩ等のブートプログラム等を格納する。
ＲＡＭ６０３は、ＤＲＡＭやＳＲＡＭ等の揮発性メモリであり、主記憶部として機能する。ＲＡＭ６０３は、補助記憶部６０４に格納された各種プログラムがＣＰＵ６０１によって実行される際に展開される、作業領域を提供する。
補助記憶部６０４は、インストールされた各種プログラムや、各種プログラムを実行する際に用いる情報を格納する。通信部６０５は、情報処理装置１４１と通信するためのデバイスである。
操作部６０６は、ＨＭＤに対して各種指示を入力する際に用いられるデバイスである。表示部１４２は、画像生成装置１１０から情報処理装置１４１を介して送信された仮想空間用情報に含まれる仮想空間の画像を表示するデバイスである。
頭部姿勢センサ１４３は、実空間におけるユーザ１６０の非言語動作に含まれる"頭の向き"をセンシングし頭部姿勢データを出力する。
Ｉ／Ｆ部６０７は、筋電位センサ１４５と接続し、筋電位センサ１４５より出力された筋電位データを取得する。
取得した頭部姿勢データ、筋電位データ等のセンサデータは、通信部６０５により情報処理装置１４１に送信される。
なお、図５の例では、ＨＭＤが一体の装置として形成された場合について示したが、ＨＭＤは一体により形成されていても、別体の複数のデバイスにより形成されていてもよい。
＜第１実施形態＞
＜画像生成装置の社会的振る舞い行動傾向解析部の機能構成及び各ＤＢの説明＞
次に、第１実施形態に係る画像生成装置１１０の社会的振る舞い行動傾向解析部１２５の機能構成及び各ＤＢについて、図６を用いて説明する。図６は、第１実施形態に係る社会的振る舞い行動傾向解析部１２５の機能構成及び各ＤＢの一例を示す。社会的振る舞い行動傾向解析部１２５は、社会的振る舞い基礎情報算出部７０１、社会的振る舞いログ記録部７０２、社会的振る舞い値算出部７０３、社会的振る舞いの接近・回避傾向特定部７０４、時間区間社会的振る舞い行動傾向判定部７０５、社会的振る舞いの共有制御部７０６を有する。
また、センサデータ用ＤＢ１３２には、 "筋電位データテーブル"、"頭部姿勢データテーブル"、"深度センサデータテーブル"が格納される。定義情報用ＤＢ１３３には、"監視対象データログ定義情報"、"社会的振る舞い判定ＡＰＩ定義情報"、"社会的振る舞いの接近・回避傾向定義情報"、"社会的振る舞い行動傾向量閾値定義情報"が格納される。
更に、ログ用ＤＢ１３４には、"振る舞いログ更新記録データテーブル"、"社会的振る舞いログ記録データテーブル"、"社会的振る舞い値算出記録データログテーブル"が含まれる。
更に、社会的振る舞い行動傾向情報用ＤＢ１３５には、"社会的振る舞い行動傾向量記録データログテーブル"、"社会的振る舞い行動傾向記録データテーブル"が含まれる。以下、社会的振る舞い行動傾向解析部１２５が有する各部の機能の詳細及び各ＤＢに格納されるテーブルの詳細について説明する。
＜社会的振る舞い行動傾向解析部１２５が有する各部の機能の説明＞
（社会的振る舞い基礎情報算出部）
社会的振る舞い行動傾向解析部１２５が有する各部の機能について説明する。社会的振る舞い基礎情報算出部７０１は、第一のユーザのアバタである第一のアバタと、第一のユーザの対話相手である第二のユーザのアバタである第二のアバタとの間で共有している仮想空間（共有環境空間）における互いの物理的距離や、互いの互いに対する向き等の社会的振る舞いの基礎情報を算出する。例えば、社会的振る舞い基礎情報算出部７０１は、共有環境空間における物体と各アバタとの物理的距離や、該物体に対する各アバタの向き等を算出する。
第一のユーザのアバタである第一のアバタは、図２のユーザ１６０のユーザのアバタであってもよいし、ユーザ１７０のユーザのアバタであってもよい。第二のユーザは、第一のユーザとコミュニケーションを行う対話相手を指し、機械のアバタであってもよいし、ユーザ１６０又はユーザ１７０のユーザであってもよい。同様に、第二のユーザのアバタである第二のアバタは、機械のアバタであっても、ユーザ１６０又はユーザ１７０のユーザのアバタであってもよい。
なお、以下では、振る舞いを行った側のアバタを「振る舞いアバタ」とも称し、その振る舞いの受け手であった側の対話相手のアバタを「被振る舞いアバタ」とも称する。なお、本明細書中では、振る舞いアバタが第一のアバタであり、被振る舞いアバタが第二のアバタである場合の一例のみを述べる事が多いが、振る舞いアバタが第二のアバタであり、被振る舞いアバタが第一のアバタである場合についても同様である。
図８は、社会的振る舞い基礎情報算出部７０１によって算出される社会的振る舞い基礎情報を説明するための図である。例えば、図８に示す第一のアバタＡＶ１と、第二のアバタＡＶ２と、オブジェクトＯＢとが存在する共有環境空間において、各アバタの位置が座標（ｘ、ｙ、ｚ）の形式で記述される。図８では、第一のアバタＡＶ１の位置座標（０，０，０）と、第二のアバタＡＶ２の位置座標（１０，０，１７．３２）が算出される。なお、アバタのどの位置を基準としても良いが、当該図上では、アバタの左右の足元の中央付近を基準としている。また、各アバタの回転角度がＸ軸、Ｙ軸、Ｚ軸方向の回転角度の形式で記述される。図８では、第一のアバタＡＶ１の回転角度（０，０，０）と、第二のアバタＡＶ２の回転角度（０，－９０，０）とが算出される。後述するセンサデータを入力データとして画像生成処理を行った結果、第一のアバタＡＶ１と第二のアバタＡＶ２との身体及び身体パーツの位置座標及び回転角度が更新される。
更に、第一のアバタＡＶ１と第二のアバタＡＶ２との物理的距離が算出される。例えば、第一のアバタＡＶ１と第二のアバタＡＶ２との物理的距離は、２０（＝０．２Ｍ）と算出される。
更に、第二のアバタＡＶ２の前後方向から第一のアバタＡＶ１への上体のＸＺ平面上での回転角度が０度と算出され、第一のアバタＡＶ１の前後方向から第二のアバタＡＶ２への上体のＸＺ平面上での回転角度は、０度と算出される。同様にして、オブジェクトＯＢの位置（－６，２１，１７）と、オブジェクトＯＢの回転角度（９０，１４０，０）とが、算出される。
各アバタの身体及び身体パーツの位置座標及び回転角度、各アバタの物理的距離は、社会的振る舞い基礎情報に含まれる。社会的振る舞い基礎情報は、共有環境空間におけるアバタとアバタの物理的位置関係等を保存したデータ群であり、社会的振る舞いを検出し、当該社会的振る舞いをアバタへ反映させる事で、共有環境空間内のアバタとアバタとの物理的位置関係等が変化した際に更新する。
（社会的振る舞いログ記録部）
社会的振る舞いログ記録部７０２は、各ユーザのアバタＡＶ１、ＡＶ２の身体及び身体パーツのうち、監視対象となっているもののデータの連続する振る舞いのログデータを更新する。具体的には、社会的振る舞いログ記録部７０２は、図１２に示す監視対象データログ定義情報８７０で定義される"更新監視対象"の身体及び身体パーツのデータが"更新閾値"の条件を満たす場合、図９に示す振る舞いログ更新記録データテーブル８４０へ振る舞いログデータ（"記録開始時データ"、"記録更新時データ"等）を記録し、"更新ステータス"を「変化記録中」にする。"更新監視対象"の身体及び身体パーツのデータが"更新閾値"の条件を満たさない場合、"更新ステータス"を「変化記録なし」に変更し、"記録開始時データ"及び"記録更新時データ"を記録しないようにする。
過去から連続していた振る舞いが終わり、"更新ステータス"が「変化記録中」から「変化記録なし」へとデータが更新された場合、社会的振る舞いログ記録部７０２は、当該一連の振る舞いのログデータが、あるアバタの行った、当該アバタの対話相手のアバタへの社会的振る舞いに相当する場合には、図１０に示す社会的振る舞いログ記録データテーブル８５０に当該一連の振る舞いの社会的振る舞いに関するデータを記録する。
例えば、社会的振る舞いログ記録部７０２は、各ユーザの身体及び身体パーツ回転時の、共有環境空間における物体に対する向き変化、各ユーザの身体及び身体パーツ移動もしくは回転時の、対話相手の身体及び身体パーツ及び共有環境空間における物体に対する注目の増減の様態、について、各ユーザの対話相手に対する社会的振る舞いとして社会的振る舞いログ記録データテーブル８５０に記録する。
また、社会的振る舞いログ記録部７０２は、各ユーザの身体及び身体パーツ移動もしくは回転時の、対話相手の身体及び身体パーツ及び共有環境空間における物体に対する振る舞いの様態について、各ユーザの対話相手に対する社会的振る舞いとして記録する。
（社会的振る舞い値算出部）
社会的振る舞い値算出部７０３は、社会的振る舞いログ記録データテーブル８５０に記録された各社会的振る舞いの遠近、向き変化、増減の様態の種類や強度や時間及び、前記算出した社会的振る舞い基礎情報を用いて求めた振る舞いの属性値を算出し、社会的振る舞い値算出記録データテーブル８６０にする。属性値は、各社会的振る舞いによって異なり、"Ｄｉｓｔａｎｃｅ"や"Ｏｒｉｅｎｔａｔｉｏｎ"等の変化量を示す。例えば、"Ｄｉｒｅｃｔｔｏ"で何度相手の方へ向いたかや、"Ｉｎｄｉｒｅｃｔｔｏ"で何度相手と逆の方へ向いたかを示す。
社会的振る舞い値算出部７０３が算出する、種類や強度等の値は、図１１に示す社会的振る舞い値算出記録データテーブル８６０に記録される。なお、社会的振る舞い値算出部７０３が算出する、種類や強度等の値は、社会的振る舞いの判定ＡＰＩを使用するか、それぞれ種類を求めるＡＰＩ，強度を求めるＡＰＩ等のように定義してもよい。
（社会的振る舞いの接近・回避傾向特定部）
社会的振る舞いの接近・回避傾向特定部７０４は、社会的振る舞い値算出記録データテーブル８６０に記録された社会的振る舞いが対話相手に対して接近性傾向の社会的振る舞いであるか、回避性傾向の社会的振る舞いであるかを特定する。このとき、社会的振る舞いの接近・回避傾向特定部７０４は、図１４に示す社会的振る舞いの接近・回避傾向定義情報８９０に基づき、社会的振る舞いの接近・回避傾向を特定する。特定した結果は、図１１に示す社会的振る舞い値算出記録データテーブル８６０の"社会的振る舞いの接近・回避傾向"の項目に記録される。
（時間区間社会的振る舞い行動傾向判定部）
時間区間社会的振る舞い行動傾向判定部７０５は、図１５に示す社会的振る舞い行動傾向量記録データテーブル９１０において、ある時間区間内で記録された第一のユーザの第二のユーザに対する社会的振る舞いの接近傾向及び回避傾向の回数もしくは時間量に応じて、第一のユーザの第二のユーザに対する社会的振る舞いの行動傾向が接近行動傾向、回避行動傾向又は中間行動傾向のいずれであるかを判定する。判定した結果は、図１７に示す社会的振る舞い行動傾向記録データテーブル９２０の"社会的振る舞い行動傾向"の項目に記録される。
（社会的振る舞いの共有制御部）
社会的振る舞いの共有制御部７０６は、前記時間区間社会的振る舞い行動傾向判定部７０５によって記録された最も新しい時刻に社会的振る舞い行動傾向記録データテーブル９２０に記憶された、社会的振る舞い行動傾向の記録を参照し、記録されている行動傾向（接近行動傾向、回避行動傾向、中間行動傾向）に基づき、対話相手のユーザに対するアバタの提示を制御する。例えば、第二のユーザが機械アバタの講師であり、第一のユーザが学習者であった場合に、第二のアバタを第一のユーザの社会的振る舞い行動傾向に合わせて提示したい場合であるとする。第一のユーザの第二のユーザに対する社会的振る舞い行動傾向の記録を参照し、記録されている行動傾向に基づき、第二のユーザの第一のユーザに対する社会的振る舞いの提示を制御する。制御の一例としては、"社会的振る舞いの行動傾向"に記録された判定結果が、回避行動傾向である場合、第二のユーザの社会的振る舞いがあまり目立たないように変更をする等が挙げられる。もし、接近も回避もしていない中間行動傾向である場合、共有環境空間における第二のユーザの位置を見えやすい位置へ変更する等が挙げられる。
＜各ＤＢに格納されるテーブルの説明＞
次に、各ＤＢ（センサデータ用ＤＢ１３２、定義情報用ＤＢ１３３、ログ用ＤＢ１３４、社会的振る舞い行動傾向情報用ＤＢ１３５）に格納される各テーブルについて説明する。
（１）センサデータテーブル
はじめに、センサデータ用ＤＢ１３２に格納されるセンサデータテーブルについて説明する。センサデータテーブルは、センサデータ収集処理管理部１１１により、センサデータ用ＤＢ１３２に格納される。
図７は、センサデータ用ＤＢに格納されるデータテーブルの一例を示す図である。このうち、図７（ａ）は、筋電位データが格納される筋電位データテーブル８１０を示している。図７（ａ）に示すように、筋電位データが格納される筋電位データテーブル８１０に含まれる情報の項目には、情報の項目として、"ＤＢ記録時刻"、"センサ記録時刻"、"ユーザ名"、"情報収集装置ＩＤ"、"筋電位活動値"が含まれる。
"ＤＢ記録時刻"には、クライアント側システム１４０、１５０から送信された筋電位データが、センサデータ用ＤＢ１３２に格納された時点で付加されるタイムスタンプが記録される。
"センサ記録時刻"には、筋電位センサ１４５、１５５がユーザ１６０、１７０をセンシングした時点で付加されたタイムスタンプが記録される。
"ユーザ名"には、筋電位センサ１４５、１５５によりセンシングされたユーザ１６０、１７０を識別する識別子が記録される。
"情報収集装置ＩＤ"には、筋電位センサを識別する識別子が記録される。筋電位センサは、センシングする部位によって異なる識別子を有している。図７（ａ）のデータ行のうちの１行目の"ＴｃＡ＿ｃ３＿ｚｙｇｏｍａｔｉｃｕｓ（ｃｈｅｅｋ）"は、頬をセンシングする筋電位センサの識別子である。また、図７（ａ）のデータ行のうちの２行目の"ＴｃＡ＿ｃ３＿ｏｒｂｉｃｕｌａｒｉｓ（ｕｎｄｅｒ ｅｙｅ）"は、目の下をセンシングする筋電位センサの識別子である。更に、図７（ａ）のデータ行のうちの３行目の"ＴｃＡ＿ｃ３＿ｃｏｒｒｕｇａｔｏｒ（ｂｌｏｗ）"は、眉をセンシングする筋電位センサの識別子である。
"筋電位活動値"には、それぞれの筋電位センサでセンシングされた筋電位データの値が記録される。
図７（ｂ）は、頭部姿勢データが格納される頭部姿勢データテーブル８２０を示している。図７（ｂ）に示すように、頭部姿勢データテーブル８２０に含まれる情報の項目は、筋電位データテーブル８１０に含まれる情報の項目と概ね同じである。
なお、頭部姿勢データテーブル８２０の"情報収集装置ＩＤ"において、"ＴｃＡ＿ｃ１"とは、情報処理装置ＩＤが"ＴｃＡ"の情報処理装置に、情報収集装置の種類が"ｃ１"である情報収集装置が対応付けられていることを示している。具体的には、"ＴｃＡ＿ｃ１"は、情報処理装置１４１と対応付けられた頭部姿勢センサ１４３である。
また、"頭部姿勢データ"には、頭部の位置を示すデータと、頭部の回転角度を示すデータとが記録される。
図７（ｃ）は、深度センサデータが格納される深度センサデータファイルテーブル８３０を示している。図７（ｃ）に示すように、深度センサデータファイルテーブル８３０に含まれる情報の項目には、"ＤＢ記録時刻"、"ユーザ名"、"情報収集装置ＩＤ"の他、"センサ記録開始時刻"が含まれる。更に、深度センサデータファイルテーブル８３０に含まれる情報の項目には、"センサ記録終了時刻"、"深度センサデータ記録ファイルＵＲＩ"が含まれる。
"センサ記録開始時刻"には、深度センサ１４４、１５４によりセンシングが開始された時刻が記録される。深度センサ１４４、１５４の場合、所定の記録長のファイルとして深度センサデータを出力する。"センサ記録開始時刻"には、それぞれのファイルに含まれる最初の深度センサデータをセンシングした時点で付加されたタイムスタンプが記録される。
"センサ記録終了時刻"には、深度センサ１４４、１５４によりセンシングが終了した時刻が記録される。具体的には、所定の記録長のファイルに含まれる最後の深度センサデータをセンシングした時点で付加されたタイムスタンプが記録される。
"深度センサデータ記録ファイルＵＲＩ"には、所定の記録長を有するファイルの格納場所を示すＵＲＩが記録される。
なお、深度センサデータファイルテーブル８３０の"情報収集装置ＩＤ"において、"ＴｃＡ＿ｃ２"とは、情報処理装置ＩＤが"ＴｃＡ"の情報処理装置に、情報収集装置の種類が"ｃ２"である情報収集装置が対応付けられていることを示している。具体的には、"ＴｃＡ＿ｃ２"は、情報処理装置１４１と対応付けられた深度センサ１４４である。
（２）ログテーブル
続いて、ログ用ＤＢ１３４に格納されるログテーブルについて説明する。
（振る舞いログ更新記録データテーブル）
図９に示す振る舞いログ更新記録データテーブル８４０は、社会的振る舞いログ記録部７０２により、ログ用ＤＢ１３４に格納される。図９に示すように、振る舞いログ更新記録データテーブル８４０に含まれる情報の項目には、"ＤＢ記録時刻"、"記録開始時刻"、"記録更新時刻"、"振る舞いアバタ名"、"振る舞いログタイプラベル"、"更新監視対象"、"更新ステータス"、"記録開始時データ"、"記録更新時データ"、"社会的振る舞いログ記録ＩＤ参照値"が含まれる。振る舞いログ更新記録データテーブル８４０に含まれる項目の情報を、以下、振る舞いログ更新記録データとも称する。
"ＤＢ記録時刻"には、振る舞いログ更新記録データを記録した時刻が記録される。"記録開始時刻"には、振る舞いログ更新記録データの記録を開始した時刻が記録される。"記録更新時刻"には、振る舞いログ更新記録データの記録を更新した時刻が記録される。
"振る舞いアバタ名"には、振る舞いログ更新記録データに示す振る舞いを行ったアバタ（以下、「振る舞いアバタ」ともいう。）を識別するための識別子が記憶される。振る舞いアバタは、ユーザに対応するユーザのアバタ又は機械のアバタであり得る。なお、振る舞いアバタがコミュニケーションを行うコミュニケーション相手のアバタは「被振る舞いアバタ」である。同様に、被振る舞いアバタは、ユーザのアバタ又は機械のアバタであり得る。
"振る舞いログタイプラベル"には、ユーザの振る舞いの種類を類別する情報が記録される。"振る舞いログタイプラベル"に記述されるラベルのうち"Ｏｒｉｅｎｔａｔｉｏｎ"を含むものは、ユーザの身体や身体部位の向きの変化に関する振る舞いである事を示す。例えば、図９の二行目の"振る舞いログタイプラベル"に記述された"Ｏｒｉｅｎｔａｔｉｏｎ＿Ｆａｃｅ"は、ユーザの顔の向きの変化に関する振る舞いである事を示す。
"振る舞いログタイプラベル"に記述されるラベルのうち"Ｌｅａｎ"を含むものは、ユーザの身体の前傾・後傾に関する振る舞いである事を示す。例えば、図９の四行目の"振る舞いログタイプラベル"に記述された、"Ｌｅａｎ＿Ｕｐｐｅｒｂｏｄｙ"は、ユーザの上体に関する前傾・後傾の変化に関する振る舞いである事を示す。
"振る舞いログタイプラベル"に記述されるラベルのうち"Ｇｅｓｔｕｒｅ"を含むものは、ユーザのジェスチャや表情の変化等に関する振る舞いである事を示す。例えば、図９の九行目の"振る舞いログタイプラベル"に記述された、"Ｇｅｓｔｕｒｅ＿ＮｅｇａｔｉｖｅｍｅａｎｉｎｇＧｅｓｔｕｒｅ１"は、ユーザのネガティブな意味のジェスチャ（具体的には、腕組み等）を示す。その他のジェスチャの例としては、ポジティブな意味のジェスチャ（具体的には、頷きや笑顔等）が含まれる。
なお、後述する"振る舞いログタイプラベル"に記述されるラベルのうち"Ｄｉｓｔａｎｃｅ"を含むものは、ユーザの身体や身体パーツの位置の変化に関する振る舞いを示す。"振る舞いログタイプラベル"に記述されるラベルのうち"Ａｔｔｅｎｔｉｏｎ"を含むものは、ユーザの注視の変化に関する振る舞いを示す。
"更新監視対象"には、特定の非言語動作をユーザが行ったことを検出するために、監視すべきユーザのアバタの骨格が定義される。図９の例では、"Ｂｏｎｅ＿Ｈｅａｄ"の場合、振る舞いアバタの骨格モデルのうち頭の骨格（Ｂｏｎｅ＿Ｈｅａｄ）が監視対象となる。
"更新ステータス"には、更新監視対象の骨格モデルの部位の動きの変化が閾値以下の場合、「変化記録なし」が記録され、更新監視対象の骨格モデルの部位の動きの変化が閾値以上の場合、「変化記録中」が記録される。
"更新ステータス"に「変化記録中」が記録されたとき、"記録開始時データ"には、更新監視対象の記録開始時の位置座標及び回転角度が記録され、"記録更新時データ"には、更新監視対象の記録更新時の位置座標及び回転角度が記録される。
"更新ステータス"に「変化記録なし」が記録されたとき、"記録開始時データ"及び"記録更新時データ"にはデータなしを示すｎｕｌｌが記録される。
"社会的振る舞いログ記録ＩＤ参照値"には、図１０に示す社会的振る舞いログ記録データテーブルに記録された"社会的振る舞いログ記録データ"とリンクさせ、振る舞いログ更新記録データを参照するために、図１０の社会的振る舞いログ記録に付与されたＩＤ（社会的振る舞いログ記録ＩＤ）が記録される。
図９の三行目の例は、振る舞いアバタ名＝"ＡＶ１"のユーザ１６０が非言語動作を行い、"記録開始時刻"が２０１７年２月２１日１２時００分００秒０００に、一のユーザのアバタＡＶ１の画像の腰部の骨格（Ｂｏｎｅ＿Ｃｈｅｓｔ）の（位置座標、回転角度）が（（２．２４，１．１７，１．６８），（－２．４０，３．６１，２．７４））であったことを示している。また、"記録更新時刻"が２０１７年２月２１日１２時００分０２秒０００に、一のユーザのアバタＡＶ１の画像の腰部の骨格（Ｂｏｎｅ＿Ｃｈｅｓｔ）の（位置座標、回転角度）が（（２．２４，１．１７，１．６８），（－２．４０，２０，２．７４））になったことを示している。また、当該位置座標及び回転角度を含む、振る舞いログ更新記録データが、ログ用ＤＢ１３４に"２０１７年２月２１日１２時００分０２秒０１０"に記録されたことを示している。
なお、図９に示す振る舞いログ更新記録データテーブル８４０には、アバタＡＶ１の振る舞いに関する振る舞いログ更新記録データが記録されているが、これに限らず、アバタＡＶ２の振る舞いに関する振る舞いログ更新記録データも同様に記録される。
（社会的振る舞いログ記録データテーブル）
次に、社会的振る舞いログ記録データテーブル８５０について、図１０を参照して説明する。図１０に示す社会的振る舞いログ記録データテーブル８５０は、社会的振る舞いログ記録部７０２により、ログ用ＤＢ１３４に格納される。社会的振る舞いログ記録データテーブル８５０の情報の項目には、"ＤＢ記録時刻"、"記録開始時刻"、"記録更新時刻"、"振る舞いアバタ名"、"被振る舞いアバタ名"、"社会的振る舞いログ記録ＩＤ"、"社会的振る舞いタイプラベル"、"振る舞いログタイプラベル"が含まれる。
"被振る舞いアバタ名"には、"振る舞いアバタ名"が示すアバタの対話相手のアバタを識別するための識別子が記憶される。"社会的振る舞いログ記録ＩＤ"は、社会的振る舞いに対応する振る舞いログ更新記録データを参照するために付与されたＩＤである。
"社会的振る舞いタイプラベル"には、社会的振る舞いの種類が記憶される。"社会的振る舞いタイプラベル"の特定方法については後述する。
（社会的振る舞い値算出記録データテーブル）
次に、社会的振る舞い値算出記録データテーブル８６０について、図１１を参照して説明する。社会的振る舞いログ記録部７０２による社会的振る舞いログ記録時において、社会的振る舞い値算出部７０３は、各社会的振る舞いの遠近、向き変化、増減の様態の種類や強度や時間及び、該算出した社会的振る舞い基礎情報を用いて求めた振る舞いの属性値を算出し、ログ用ＤＢ１３４の社会的振る舞い値算出記録データテーブル８６０に格納する。社会的振る舞い値算出記録データテーブル８６０に含まれる情報の項目には、"ＤＢ記録時刻"、"記録開始時刻"、"記録更新時刻"、"振る舞いアバタ名"、"被振る舞いアバタ名"、"社会的振る舞いログ記録ＩＤ"、"社会的振る舞いタイプラベル"、"社会的振る舞いの種類"、"社会的振る舞いの強度"、"社会的振る舞いの属性値"、"社会的振る舞いの継続秒数"、"社会的振る舞いの接近・回避傾向"が含まれる。
"社会的振る舞いの種類"には、"社会的振る舞いタイプラベル"は、どのような種類の社会的振る舞いであるかを示す。例えば、図１１の二行目の例では、"社会的振る舞いタイプラベル"が"Ｏｒｉｅｎｔａｔｉｏｎ＿Ｕｐｐｅｒｂｏｄｙ＿Ｄｉｒｅｃｔｔｏ"であり、これは、振る舞いアバタ名のアバタの上体の向きの変化が、対話相手の存在する側への変化であることを示し、対応する"社会的振る舞いの種類"が"ｐａｙａｔｔｅｎｔｉｏｎ"の場合、その上体の変化によって、対話相手の方を注目するような社会的振る舞いの種類に属することを示す。
"社会的振る舞いの強度"は、"社会的振る舞いタイプラベル"に示す社会的振る舞いの強さを示す。図１１の例では、"社会的振る舞いの強度"は、１～１０の何れかの値で示され、数が大きくなるほど社会的振る舞いが強いことを示す。
"社会的振る舞いの属性値"は、社会的振る舞いの回数やスピードを示す。例えば、図１１の二行目の例では、対話相手の方への注目が好意的であった（評価値が１～１０の間で最大であった）ことを示す。属性値には、ユーザの性格（内向的か外交的か）、性別、持病等のユーザの特性を含んでもよい。
"社会的振る舞いの継続秒数"は、"社会的振る舞いタイプラベル"に示す社会的振る舞いの継続時間を示す。
"社会的振る舞いの接近・回避傾向"は、振る舞いアバタの被振る舞いアバタに対する社会的振る舞いが、接近傾向または回避傾向のいずれかが記憶される。
（３）定義情報
続いて、定義情報用ＤＢ１３３に格納される定義情報について説明する。
（監視対象データログ定義情報）
図１２は、定義情報用ＤＢに格納される監視対象データログ定義情報８７０の一例を示す。図１２に示すように、監視対象データログ定義情報８７０に含まれる情報の項目には、"振る舞いログタイプラベル"、"更新閾値"、"更新監視対象"、"センサ入力情報"、"情報収集装置種類ＩＤ"が含まれる。
監視対象データログ定義情報８７０には、"振る舞いログタイプラベル"毎に"更新閾値"及び"更新監視対象"が定義されている。図１２の二行目の例では、"Ｄｉｓｔａｎｃｅ＿Ｂｏｄｙｐａｒｔｓ"が示す身体パーツの位置の変化について、監視すべきユーザのアバタの骨格のうち、頭、右腕又は左腕を監視対象として、監視対象の身体パーツの位置座標の変化の絶対値がＸ座標、Ｙ座標、Ｚ座標のいずれも１より大きい（（＞｜１｜，＞｜１｜，＞｜１｜）こと，回転角度の閾値はない（＊，＊，＊）ことが定義されている。図９に示す振る舞いログ更新記録データテーブル８４０に記録された"記録開始時データ"及び"記録更新時データ"の差分が、対応する"振る舞いログタイプラベル"の"更新閾値"の条件を満たしているとき、更新監視対象の骨格モデルの部位の動きは閾値以上の変化であると判定し、図９の"更新ステータス"に「変化記録中」が記録される。"記録開始時データ"及び"記録更新時データ"の差分が、対応する"振る舞いログタイプラベル"の"更新閾値"の条件を満たしていないとき、更新監視対象の骨格モデルの部位の動きは閾値以下の変化であると判定し、図９の"更新ステータス"に「変化記録なし」が記録される。
"センサ入力情報"には、センサデータを検出するセンサの種類が記録される。"情報収集装置種類ＩＤ"には、センサデータの収集に使用されるセンサ装置の種類を示す装置種類ＩＤが定義される。
（社会的振る舞い判定ＡＰＩ定義情報）
図１３は、定義情報用ＤＢに格納される社会的振る舞い判定ＡＰＩ定義情報８８０の一例を示す。社会的振る舞い判定ＡＰＩ定義情報８８０の情報の項目には、"社会的振る舞いタイプラベル"、"社会的振る舞い判定ＡＰＩ"、"振る舞いログタイプラベル"が含まれる。"社会的振る舞い判定ＡＰＩ"には、"振る舞いログタイプラベル"に定義する種類のユーザの振る舞いが、"社会的振る舞いタイプラベル"に定義する社会的振る舞いに該当するかの判定に用いるシステム内の呼び出し関数（ＡＰＩ）が定義される。
"振る舞いログタイプラベル"には、ＡＰＩへの入力データとなる振る舞いに付与される振る舞いログタイプラベルが定義される。入力データは、例えば、振る舞いログ更新記録データテーブル８４０の"振る舞いログタイプラベル"に対応する変化記録なしとなったデータの"記録開始時刻"から"記録更新時刻"の間の時間帯に記録されたセンサ入力情報である。なお、振る舞いログ更新記録データテーブル８４０の"振る舞いログタイプラベル"に対応する、更新監視対象が変化記録なしとなったデータの直前の、当該更新監視対象が変化記録中であったデータの"記録開始時データ"及び"記録更新時データ"を用いる形態であってもよい。
"社会的振る舞い判定ＡＰＩ"には、ＡＰＩの呼び出し関数名が定義される。当該ＡＰＩには、ＡＰＩへの入力データに基づき社会的振る舞いタイプラベルを判定する際に呼び出すＡＰＩの名前が定義される。"社会的振る舞いタイプラベル"には、ＡＰＩから判定される"社会的振る舞いタイプラベル"が定義される。
図１３の一行目の例は、移動確認ＡＰＩを用いることで、"振る舞いログタイプラベル"に定義される"Ｄｉｓｔａｎｃｅ＿Ｕｐｐｅｒｂｏｄｙ"の動作（例えば、振る舞いログ更新記録データテーブル８４０の対応する"記録開始時データ"と"記録更新時データ"の変化）が、"社会的振る舞いタイプラベル"に定義される"Ｄｉｓｔａｎｃｅ＿Ｕｐｐｅｒｂｏｄｙ＿Ｃｌｏｓｅｔｏ"又は"Ｄｉｓｔａｎｃｅ＿Ｕｐｐｅｒｂｏｄｙ＿Ｆａｒｆｒｏｍ"の動作であるか否かを確認できることを示している。つまり、当該対象の入力データを、当該ＡＰＩへ入力することで、"Ｄｉｓｔａｎｃｅ＿Ｕｐｐｅｒｂｏｄｙ"について、当該ＡＰＩより"Ｄｉｓｔａｎｃｅ＿Ｕｐｐｅｒｂｏｄｙ＿Ｃｌｏｓｅｔｏ"又は"Ｄｉｓｔａｎｃｅ＿Ｕｐｐｅｒｂｏｄｙ＿Ｆａｒｆｒｏｍ"の動作であるかを確認できる。
なお、社会的振る舞い判定ＡＰＩ定義情報８８０の"社会的振る舞いタイプラベル"に定義されるデータは、以下のような動作を意味する。例えば、"Ｄｉｓｔａｎｃｅ＿Ｕｐｐｅｒｂｏｄｙ＿Ｃｌｏｓｅｔｏ"は、上体の位置の変化が相手の側に近づく動作であることを意味する。"Ｄｉｓｔａｎｃｅ＿Ｕｐｐｅｒｂｏｄｙ＿Ｆａｒｆｒｏｍ"は、上体の位置の変化が相手の側から遠ざかる動作であることを意味する。"Ｄｉｓｔａｎｃｅ＿Ｂｏｄｙｐａｒｔｓ－Ｃｌｏｓｅｔｏ"は、身体のパーツの位置の変化が相手の側に近づく動作であることを意味する。"Ｄｉｓｔａｎｃｅ＿Ｂｏｄｙｐａｒｔｓ－Ｆａｒｆｒｏｍ"は、身体のパーツの位置の変化が相手の側から遠ざかる動作であることを意味する。また、"Ｄｉｓｔａｎｃｅ＿Ｆａｃｅ＿Ｃｌｏｓｅｔｏ"は、頭部の位置の変化が相手の側に近づく動作であることを意味する。"Ｄｉｓｔａｎｃｅ＿Ｆａｃｅ＿Ｆａｒｆｒｏｍ"は、頭部の位置の変化が相手の側から遠ざかる動作であることを意味する。
また、"Ａｔｔｅｎｔｉｏｎ＿Ｍｕｔｕａｌ"は、お互いが互いの側を見る動作を意味する。ただし、ここでいう、お互いが互いの側を見る動作とは、お互いの顔を見つめ合う場合のみならず、例えば、一方が他方の手を見て、他方が一方の顔を見る動作等を含む。"Ａｔｔｅｎｔｉｏｎ＿Ａｖａｒｔｅｄ"は、相手から視線を外す動作を意味する。"Ａｔｔｅｎｔｉｏｎ＿Ｊｏｉｎｔ"は、相手と同じものを見る動作を意味し、"Ａｔｔｅｎｔｉｏｎ＿Ｆｏｌｌｏｗｉｎｇ"は、相手の見ているものを追いかけて見る動作を意味する。
また、"Ｏｒｉｅｎｔａｔｉｏｎ＿Ｆａｃｅ＿Ｄｉｒｅｃｔｔｏ"は顔を相手側に向ける動作を意味し、"Ｏｒｉｅｎｔａｔｉｏｎ＿Ｆａｃｅ＿Ｉｎｄｉｒｅｃｔｔｏ"は、顔を相手側から背ける動作を意味する。"Ｏｒｉｅｎｔａｔｉｏｎ＿Ｕｐｐｅｒｂｏｄｙ＿Ｄｉｒｅｃｔｔｏ"は、上体を相手側に向ける動作を意味し、"Ｏｒｉｅｎｔａｔｉｏｎ＿Ｕｐｐｅｒｂｏｄｙ＿Ｉｎｄｉｒｅｃｔｔｏ"は、上体を相手から背ける動作を意味する。
"Ｌｅａｎ＿Ｕｐｐｅｒｂｏｄｙ＿Ｆｏｒｗａｒｄ"は、身体を前傾する動作を意味し、"Ｌｅａｎ＿Ｕｐｐｅｒｂｏｄｙ＿Ｂａｃｋｗａｒｄ"は、身体を後傾する動作を意味する。
更に、"Ｇｅｓｔｕｒｅ＿Ｓｍｉｌｅｔｏ"は、相手に対して微笑む動作を意味し、"Ｇｅｓｔｕｒｅ＿Ｐｏｓｉｔｉｖｅｍｅａｎｉｎｇｇｅｓｔｕｒｅｔｏ"は、相手に対するポジティブな意味を持つ動作を意味し、"Ｇｅｓｔｕｒｅ＿Ｎｅｇａｔｉｖｅｍｅａｎｉｎｇｇｅｓｔｕｒｅｔｏ"は、相手に対するネガティブな意味を持つ動作を意味する。その他、図１３の社会的振る舞い判定ＡＰＩ定義情報８８０に例示した動作以外の動作も、接近傾向の振る舞いまたは回避傾向の振る舞いとして、社会的振る舞い判定ＡＰＩ定義情報８８０に定義されてもよい。
（社会的振る舞いの接近・回避傾向定義情報）
図１４は、定義情報用ＤＢに格納される社会的振る舞いの接近・回避傾向定義情報８９０の一例を示す。社会的振る舞いの接近・回避傾向定義情報８９０情報の項目には、"社会的振る舞いタイプラベル"、"接近・回避傾向"が含まれる。"接近・回避傾向"には、"社会的振る舞いタイプラベル"に示す社会的振る舞いが接近傾向又は回避傾向かが定義される。
例えば、図１４の一行目の例では、"Ｄｉｓｔａｎｃｅ＿Ｕｐｐｅｒｂｏｄｙ＿Ｃｌｏｓｅｔｏ"、つまり、上体の位置の変化が相手の側に近づく振る舞いであることを示す社会的振る舞いは、接近傾向であることが定義されている。また、"Ｄｉｓｔａｎｃｅ＿Ｕｐｐｅｒｂｏｄｙ＿Ｆａｒｆｒｏｍ"、つまり、上体の位置の変化が相手の側から遠ざかる振る舞いであることを示す社会的振る舞いは、回避傾向であることが定義されている。
（４）社会的振る舞い行動傾向情報
続いて、社会的振る舞い行動傾向情報用ＤＢ１３５に格納される情報について説明する。
（社会的振る舞い行動傾向量記録データテーブル）
図１５は、社会的振る舞い行動傾向情報用ＤＢ１３５に格納される社会的振る舞い行動傾向量記録データテーブル９１０の一例を示す。図１５に示すように、社会的振る舞い行動傾向量記録データテーブル９１０に含まれる情報の項目には、"ＤＢ記録時刻"、"判定範囲の開始時刻"、"判定範囲の終了時刻"、"振る舞いアバタ名"、"被振る舞いアバタ名"、"接近行動傾向量（回数）"、"回避行動傾向量（回数）"、"接近行動傾向量（時間［秒］）"、"回避行動傾向量（時間［秒］）"、"接近行動傾向量（回数の割合）"、"回避行動傾向量（回数の割合）"、"接近行動傾向量（時間［秒］の割合）"、"回避行動傾向量（時間［秒］の割合）"が含まれる。
"ＤＢ記録時刻"には、各社会的振る舞い行動傾向量を判定した結果が、図１５に示す社会的振る舞い行動傾向量記録データテーブル９１０に格納された時点で付加されるタイムスタンプが記録される。
"振る舞いアバタ名"には、コミュニケーションを行う第一のユーザのアバタの名が記録され、"被振る舞いアバタ名"には、対話相手の第二のユーザのアバタの名が記録される。
"判定範囲の開始時刻"及び"判定範囲の終了時刻"には、時間区間社会的振る舞い行動傾向判定部７０５により判定される、ある時間区間内で記録された、振る舞いアバタの被振る舞いアバタに対する社会的振る舞い行動の開始時刻及び終了時刻が記録される。
"接近行動傾向量（回数）"及び"回避行動傾向量（回数）"には、当該時間区間内で記録された振る舞いアバタの被振る舞いアバタに対する社会的振る舞いのうち、接近行動傾向量（回数）及び回避行動傾向量（回数）の合計値が記録される。
"接近行動傾向量（時間［秒］）"及び"回避行動傾向量（時間［秒］）"には、当該時間区間内で記録された振る舞いアバタの被振る舞いアバタに対する社会的振る舞いのうち、接近行動傾向量（時間［秒］）及び回避行動傾向量（時間［秒］）の合計値が記録される。
"接近行動傾向量（回数の割合）"には、接近行動傾向量（回数）及び回避行動傾向量（回数）の全体の回数に対する接近行動傾向量（回数）の割合が記録される。図１５の例では、"接近行動傾向量（回数の割合）"は、０．４５（＝１０／（１０＋１２））と算出される。
"回避行動傾向量（回数の割合）"には、全体の回数に対する回避行動傾向量（回数）の割合が記録される。図１５の例では、"回避行動傾向量（回数の割合）"は、０．５５（＝１２／（１０＋１２））と算出される。
"接近行動傾向量（時間［秒］の割合）"には、全体の時間に対する接近行動傾向量（時間［秒］）の割合が記録される。全体の時間は、"判定範囲の開始時刻"及び"判定範囲の終了時刻"にて示される、ある時間区間長を示し、図１５の例では６０秒である。よって、図１５の例では、"接近行動傾向量（時間［秒］の割合）"は、０．１８（＝１１／６０）と算出される。
"回避行動傾向量（時間［秒］の割合）"には、全体の時間に対する回避行動傾向量（時間［秒］）の割合が記録される。図１５の例では、"回避行動傾向量（時間［秒］の割合）"は、０．２５（＝１５／６０）と算出される。
（社会的振る舞い行動傾向量閾値定義情報）
図１６は、定義情報用ＤＢに格納される社会的振る舞い行動傾向量閾値定義情報９００の一例を示す。社会的振る舞い行動傾向量閾値定義情報９００に含まれる情報の項目には、"判定"、"閾値－回数の割合"、"閾値－時間［秒］の割合"が含まれる。
"判定"は、ある時間区間内で記録された振る舞いアバタの被振る舞いアバタに対する行動傾向量が所定の条件を満たすとき、その社会的振る舞いの行動傾向が、接近行動傾向、回避行動傾向又は中間行動傾向のいずれであるかが定義される。
"閾値－回数の割合"には、ある時間区間内で記録された振る舞いアバタの被振る舞いアバタに対する社会的振る舞いのうち、接近行動傾向量（回数）及び回避行動傾向量（回数）から算出される接近行動傾向量（回数の割合）の閾値（接近行動傾向と判定される回数の割合の条件）、回避行動傾向量（回数の割合）の閾値（回避行動傾向と判定される回数の割合の条件）が定義される。また、"閾値－回数の割合"には、中間行動傾向と判定される条件（上述の閾値によって接近行動傾向と判定されかつ回避行動傾向と判定されるケース、又は上述の閾値によって接近行動傾向でないと判定されかつ回避行動傾向でないと判定されるケース）が定義される。
"閾値－時間［秒］の割合"には、ある時間区間内で記録された振る舞いアバタの被振る舞いアバタに対する社会的振る舞いのうち、接近行動傾向量（時間［秒］）及び回避行動傾向量（時間［秒］）から算出される接近行動傾向量（時間［秒］の割合）の閾値（接近行動傾向と判定される時間の割合の条件）、回避行動傾向量（時間［秒］の割合）の閾値（回避行動傾向と判定される時間の割合の条件）が定義される。また、"閾値－時間の割合"には、中間行動傾向と判定される条件（上述の閾値によって接近行動傾向と判定されかつ回避行動傾向と判定されるケース、又は上述の閾値によって接近行動傾向でないと判定されかつ回避行動傾向でないと判定されるケース）が定義される。
（社会的振る舞い行動傾向記録データテーブル）
図１７は、社会的振る舞い行動傾向情報用ＤＢ１３５に格納される社会的振る舞い行動傾向記録データテーブル９２０の一例を示す。図１７に示すように、社会的振る舞い行動傾向記録データテーブル９２０に含まれる情報の項目には、"ＤＢ記録時刻"、"判定範囲の開始時刻"、"判定範囲の終了時刻"、"振る舞いアバタ名"、"被振る舞いアバタ名"、"社会的振る舞い行動傾向"が含まれる。
"ＤＢ記録時刻"には、社会的振る舞い行動傾向記録を行った時刻を記録する。"判定範囲の開始時刻"、"判定範囲の終了時刻"、"振る舞いアバタ名"、"被振る舞いアバタ名"には、図１５に示す社会的振る舞い行動傾向量記録データテーブル９１０の対応する項目の情報を記録する。"社会的振る舞い行動傾向"には、図１６に示す社会的振る舞い行動傾向量閾値定義情報９００に定義された閾値を用いて判定された行動傾向を記録する。
図１５の例では、判定方法の一つとして"接近行動傾向量（回数の割合）"及び"回避行動傾向量（回数の割合）"を用いる場合、"接近行動傾向量（回数の割合）"は、０．４５であり、図１６の"閾値－回数の割合"に定義された接近行動傾向量≧０．５５を満たさない。一方、"回避行動傾向量（回数の割合）"は、０．５５であり、"閾値－回数の割合"に定義された回避行動傾向量≧０．５５を満たす。よって、図１５の例に対応する図１７の一行目の"社会的振る舞い行動傾向"には、「回避行動傾向」が記録される。
他の判定方法のとして"接近行動傾向量（時間［秒］の割合）"及び"回避行動傾向量（時間［秒］の割合）"を用いてもよい。この場合、"接近行動傾向量（時間［秒］の割合）"は、０．１８であり、図１６の"閾値－時間［秒］の割合"に定義された接近行動傾向量≧０．２０を満たさない。一方、"回避行動傾向量（時間［秒］の割合）"は、０．２５であり、閾値－時間［秒］の割合に定義された回避行動傾向量≧０．１０を満たす。よって、これによっても、図１７の"社会的振る舞い行動傾向"には、「回避行動傾向」が記録される。上記二つの判定方法による結果が一致しない場合には、中間行動傾向と判定してもよい。
なお、図６に示す社会的振る舞い行動傾向解析部１２５のうち、社会的振る舞い基礎情報算出部７０１、社会的振る舞い値算出部７０３、社会的振る舞いの接近・回避傾向特定部７０４、時間区間社会的振る舞い行動傾向判定部７０５、社会的振る舞いの共有制御部７０６の各機能は、例えば、画像生成装置１１０にインストールされたプログラムが、ＣＰＵ５０１に実行させる処理により実現することができる。
また、社会的振る舞いログ記録部７０２は、各種のデータを、センサデータ用ＤＢ１３２、定義情報用ＤＢ１３３、ログ用ＤＢ１３４、社会的振る舞い行動傾向情報用ＤＢ１３５に記憶する。センサデータ用ＤＢ１３２、定義情報用ＤＢ１３３、ログ用ＤＢ１３４、社会的振る舞い行動傾向情報用ＤＢ１３５は、例えば、ＲＯＭ５０２、ＲＡＭ５０３及び補助記憶部５０４の記録領域に記録されてもよいし、ネットワークを介してクラウドコンピュータの記録領域に記録されてもよい。
［社会的振る舞いの情報収集処理］
次に、第１実施形態に係る社会的振る舞いの情報収集処理の一例について図１８を参照して説明する。図１８は、第１実施形態に係る社会的振る舞いの情報収集処理の一例を示すフローチャートである。
本処理は、第一のユーザが見ている共有環境空間の画像の更新のタイミング（時刻ｔｍ）に処理をスタートさせる。時刻ｔｍとは、今回のアバタの仮想空間用情報（画像）を生成（更新）する更新のタイミングを表すものとする。具体的には、当該画像更新のフローチャートの開始時点の時刻を指す。時刻ｔｍ－１は、前回の仮想空間用情報の更新のタイミングを表し、時刻ｔｍ＋１は、次回の仮想空間用情報の更新のタイミングを表す。したがって、時刻ｔｍ－ｎとは、ｎ回前の仮想空間用情報の更新のタイミングを表す。
本処理が開始されると、まず、社会的振る舞い基礎情報算出部７０１は、第一のユーザから取得したセンサデータの反映された第一のユーザのアバタ及び第二のユーザから取得したセンサデータの反映された第二のユーザのアバタの情報に基づき、社会的振る舞い基礎情報を算出する（ステップＳ１）。社会的振る舞い基礎情報には、各アバタの位置座標及び回転角度が含まれる。なお、第一のユーザのアバタは、第一のアバタ又はＡＶ１と表記され、第二のユーザのアバタは、第二のアバタ又はＡＶ２と表記される。ただし、第一のアバタが振る舞いアバタで第二のアバタが被振る舞いアバタあってもよいし、第一のアバタが被振る舞いアバタで第二のアバタが振る舞いアバタであっても良い。
次に、社会的振る舞いログ記録部７０２は、第一のユーザのアバタ及び第二のユーザのアバタの身体及び身体パーツのうち監視対象の動きの振る舞いのログデータ（振る舞いログ更新記録データ）を振る舞いログ更新記録データテーブル８４０に記録する（３。
次いで、社会的振る舞いログ記録部７０２は、振る舞いログ更新記録データテーブル８４０に記録した"記録開始時データ"と"記録更新時データ"の変化量が、監視対象データログ定義情報８７０に定義された"更新閾値"以上かを判定する（ステップＳ３）。社会的振る舞いログ記録部７０２は、"記録開始時データ"と"記録更新時データ"の変化量が更新閾値以上でないと判定した場合、振る舞いログ更新記録データテーブル８４０の"更新ステータス"に「変化記録なし」を記録し（ステップＳ４）、ステップＳ６に進む。一方、社会的振る舞いログ記録部７０２は、"記録開始時データ"と"記録更新時データ"の変化量が更新閾値以上であると判定した場合、振る舞いログ更新記録データテーブル８４０の"更新ステータス"に「変化記録中」を記録し（ステップＳ５）、ステップＳ６に進む。
次に、社会的振る舞いログ記録部７０２は、監視対象の骨格の更新ステータスのすべてを更新したかを判定する（ステップＳ６）。社会的振る舞いログ記録部７０２は、監視対象の骨格の更新ステータスのすべてを更新していないと判定した場合、ステップＳ３に戻り、ステップＳ３～Ｓ６の処理を繰り返す。一方、社会的振る舞いログ記録部７０２は、監視対象の骨格の更新ステータスのすべてを更新したと判定した場合、本処理を終了する。
［社会的振る舞いの判定処理］
次に、第１実施形態に係る社会的振る舞い情報提示処理の一例について図１９を参照して説明する。図１９は、第１実施形態に係る社会的振る舞いの判定処理の一例を示すフローチャートである。
本処理では、社会的振る舞いログ記録部７０２は、振る舞いログ更新記録データテーブル８４０の"更新ステータス"に「変化記録なし」が記録されているかを判定する（ステップＳ１１）。社会的振る舞いログ記録部７０２は、"更新ステータス"に「変化記録なし」が記録されていない、すなわち、「変化記録中」が記録されていると判定している間、ステップＳ１１を繰り返し実行する。
一方、社会的振る舞いログ記録部７０２は、"更新ステータス"に「変化記録なし」が記録されていると判定した場合、"更新ステータス"が「変化記録なし」になる直前に連続して振る舞いログ更新記録データテーブル８４０に記録した、更新監視対象の振る舞いログ更新記録データを抽出する（ステップＳ１２）。例えば、図９の五行目の例では、更新監視対象がＢｏｎｅ＿Ｃｈｅｓｔの"ＤＢ記録時刻"が"２０１７／２／２１ １２：００：０３．０１０"のとき、"更新ステータス"に「変化記録なし」が記録されている。この場合、社会的振る舞いログ記録部７０２は、その直前に"更新ステータス"が「変化記録中」となっている連続した、振る舞いログデータを抽出する。この例では、"ＤＢ記録時刻"が"２０１７／２／２１ １２：００：０２．０１０"に記録された"記録開始時データ"の（（２．２４，１．１７，１．６８），（－２．４０，３．６１，２．７４））及び"記録更新時データ"の（（２．２４，１．１７，１．６８），（－２．４０，２０，２．７４））と、"ＤＢ記録時刻"が"２０１７／２／２１ １２：００：０２．０２０"の"記録開始時データ"の（（－１．０７，０．８７，１．９９），（２２．３５，－４．２１，－７．１５））及び"記録更新時データ"の（（－１．０７，０．８７，１．９９），（２５，－４．２１，－７．１５））と、の２つの連続する振る舞いログ更新記録データが抽出される。なお、抽出したデータのうち、"ＤＢ記録時刻"が"２０１７／２／２１ １２：００：０２．０１０"に記録された振る舞いログ更新記録データは、腰部（Ｂｏｎｅ＿Ｃｈｅｓｔ）の骨格のデータである。一方、抽出したデータのうち、"ＤＢ記録時刻"が"２０１７／２／２１ １２：００：０２．０２０"に記録された振る舞いログ更新記録データは、胸部（Ｂｏｎｅ＿Ｓｐｉｎｅ）の骨格のデータである。
次に、社会的振る舞い値算出部７０３は、抽出した連続する振る舞いログ更新記録データに対応して"振る舞いログタイプラベル"に対応するＡＰＩを、社会的振る舞い判定ＡＰＩ定義情報８８０から特定し、特定したＡＰＩ使用して、連続する振る舞いログ更新記録データのそれぞれが社会的振る舞いか否かを判定し、判定結果を社会的振る舞いログ記録データテーブル８５０に記録する（ステップＳ１２）。
図９の三行目の例では、"振る舞いログタイプラベル"はＯｒｉｅｎｔａｔｉｏｎ＿Ｕｐｐｅｒｂｏｄｙである。よって、図１３に示す社会的振る舞い判定ＡＰＩ定義情報８８０により、"振る舞いログタイプラベル"がＯｒｉｅｎｔａｔｉｏｎ＿Ｕｐｐｅｒｂｏｄｙに対応する"社会的振る舞い判定ＡＰＩ"として方向確認ＡＰＩが特定される。そして、特定した方向確認ＡＰＩを使用して、"記録開始時データ"の（（２．２４，１．１７，１．６８），（－２．４０，３．６１，２．７４））と"記録更新時データ"の（（２．２４，１．１７，１．６８），（－２．４０，２０，２．７４））とで示される位置及び回転角度の変化から、該変化による動作が社会的振る舞いか否かを判定する。図１０の二行目の例では、判定の結果、社会的振る舞いログ記録データテーブル８５０の"社会的振る舞いタイプラベル"にＯｒｉｅｎｔａｔｉｏｎ＿Ｕｐｐｅｒｂｏｄｙ＿Ｄｉｒｅｃｔｔｏが記録される。
図９の四行目の例では、"振る舞いログタイプラベル"はＬｅａｎ＿Ｕｐｐｅｒｂｏｄｙである。よって、図１３に示す社会的振る舞い判定ＡＰＩ定義情報８８０により、"振る舞いログタイプラベル"がＬｅａｎ＿Ｕｐｐｅｒｂｏｄｙに対応する"社会的振る舞い判定ＡＰＩ"として前後傾確認ＡＰＩが特定される。そして、特定した前後傾確認ＡＰＩを使用して、"記録開始時データ"の（（－１．０７，０．８７，１．９９），（２２．３５，－４．２１，－７．１５））と"記録更新時データ"の（（－１．０７，０．８７，１．９９），（２５，－４．２１，－７．１５））とで示される位置及び回転角度の変化から、該変化による動作が社会的振る舞いか否かを判定する。図１０の三行目の例では、判定の結果、社会的振る舞いログ記録データテーブル８５０の"社会的振る舞いタイプラベル"にＬｅａｎ＿Ｕｐｐｅｒｂｏｄｙ＿Ｆｏｒｗａｒｄが記録される。
なお、社会的振る舞いか否かを判定する他の方法としては、ＡＰＩを使用せず、センサデータから直接社会的振る舞いか否かを判定してもよい。
図１９に戻り、次に、社会的振る舞い値算出部７０３は、社会的振る舞いと判定された振る舞いに関する属性値や強度等を算出する（ステップＳ１３）。次に、社会的振る舞い値算出部７０３は、社会的振る舞いと判定した場合、各社会的振る舞いの遠近の変化、向き変化、増減の様態の種類や強度、ステップＳ１３において算出した社会的振る舞い基礎情報を用いて求めた振る舞いの属性値及び時間を算出し、社会的振る舞い値算出記録データテーブル８６０に"社会的振る舞いタイプラベル"に対応させて"社会的振る舞いの種類"、"社会的振る舞いの強度"、"社会的振る舞いの属性値"、"社会的振る舞いの継続秒数"に記録する（ステップＳ１４）。
次に、社会的振る舞いの接近・回避傾向特定部７０４は、社会的振る舞いログ記録データテーブル８５０に記録された社会的振る舞いが対話相手に対して接近傾向の社会的振る舞いであるか、回避傾向の社会的振る舞いであるかを特定し、社会的振る舞い値算出記録データテーブル８６０の"社会的振る舞いの接近・回避傾向"に記録する（ステップＳ１５）。このとき、社会的振る舞いの接近・回避傾向特定部７０４は、社会的振る舞いの接近・回避傾向定義情報８９０に基づき、"社会的振る舞いタイプラベル"に対応させて、社会的振る舞いの接近・回避傾向を特定する。例えば、図１１の二行目の例では、"社会的振る舞いタイプラベル"がＯｒｉｅｎｔａｔｉｏｎ＿Ｕｐｐｅｒｂｏｄｙ＿Ｄｉｒｅｃｔｔｏである。この場合、図１４の社会的振る舞いの接近・回避傾向定義情報８９０に基づき、"社会的振る舞いタイプラベル" Ｏｒｉｅｎｔａｔｉｏｎ＿Ｕｐｐｅｒｂｏｄｙ＿Ｄｉｒｅｃｔｔｏに対応する"接近回避傾向"に定義された「接近傾向」と判定される。この結果、図１１の社会的振る舞い値算出記録データテーブル８６０の二行目の"社会的振る舞いの接近・回避傾向"には接近傾向が記録される。
図１９に戻り、次に、社会的振る舞いの接近・回避傾向特定部７０４は、連続するすべての振る舞いログ更新記録データについて判定を完了したかを判定する（ステップＳ１６）。連続するすべての振る舞いログ更新記録データについて判定が完了してはいないと判定された場合、ステップＳ１２に戻り、連続するすべての振る舞いログデータを判定するまで、ステップＳ１２～Ｓ１６の処理が繰り返される。一方、ステップＳ１６において、連続するすべての振る舞いログ更新記録データについて判定が完了したと判定された場合、社会的振る舞いの共有制御部７０６は、最も新しい時刻に社会的振る舞い行動傾向記録データテーブル９２０に記憶された、第二のユーザから第一のユーザに対して行った"社会的振る舞いの行動傾向"に記録された判定結果に基づき、第一のユーザの第二のユーザに対する社会的振る舞いの提示を制御し（ステップＳ１７）、本処理を終了する。講師である第二のユーザのアバタがアバタＡＶ２であり、学習者である第一のユーザのアバタがアバタＡＶ１である場合、学習者のアバタＡＶ１が講師のアバタＡＶ２に対して行った"社会的振る舞いの行動傾向"を参照して、講師である第二のユーザの学習者である第一のユーザに対する社会的振る舞いの提示が制御される。
なお、ステップＳ１１では更新ステータスが「変化記録なし」になったことをトリガとして、「変化記録なし」になる直前に連続的に記録した振る舞いログ更新記録データを抽出した。つまり、過去から連続していた振る舞いが終わり、「変化記録中」から「変化記録なし」へとデータが更新された場合、当該一連の振る舞いログ更新記録データが、あるアバタの行った、当該アバタの対話相手のアバタへの社会的振る舞いに相当する場合には、社会的振る舞いログ記録データテーブル８５０に当該一連の振る舞いログ更新記録データの記録を行った。
しかし、本実施形態にて示したように、アバタが連続して動いているときは動作の変化の記録を続け、動きが終わったところで、動作の変化の情報を取り出す方法に限らず、対話相手のアバタ（ユーザのアバタ又は機械のアバタ）の特定の動き（例えば、対話相手が顔をそらすことで、"Ａｔｔｅｎｔｉｏｎ＿Ｍｕｔｕａｌ"（お互いを見る動作）が終了する等）が検出されたときや、社会的振る舞いの基礎情報の変化（例えば、環境中のオブジェクトの変化等）がトリガとなって直前に連続的に記録した振る舞いのログデータを抽出、当該一連の振る舞いのログデータの記録を行ってもよい。
つまり、相手のアバタの動きによって自身のアバタの動作が影響を受けることを考慮して、相手のアバタの動きをトリガにしてステップＳ１２以降の処理における社会的振る舞いの判定を行ってもよい。また、環境情報の変化（音、振動、明りの点灯、消灯等）によってアバタの動作が変化するので、環境の変化によって自分のアバタの動作が影響を受けることを考慮して、環境情報の変化をトリガにしてステップＳ１２以降の処理における社会的振る舞いの判定を行ってもよい。
［社会的振る舞い行動傾向判定処理］
次に、第１実施形態に係る社会的振る舞い行動傾向判定処理の一例について図２０を参照して説明する。図２０は、第１実施形態に係る社会的振る舞い行動傾向判定処理の一例を示すフローチャートである。
本処理は、図１０に示す社会的振る舞いログ記録データテーブル８５０に、未処理の社会的振る舞いログ記録データが一定量以上蓄積された場合、若しくは、本フローチャートを実行した前回処理から一定時間経過後、若しくは、対話の区切れ目等のタイミングで、時刻ｔｌに処理をスタートさせる。時刻ｔｌは、今回の更新のタイミングを表し、時刻ｔｌ－１は、前回の更新のタイミングを表し、時刻ｔｌ＋１は、次回の更新のタイミングを表すものとする。したがって、時刻ｔｌ―ｎとは、ｎ回前の更新のタイミングを表す。本実施形態に係る社会的振る舞い行動傾向判定処理の入力データの例は、第一のユーザの第二のユーザに対するある時間帯ｔの社会的振る舞いとする。
本処理が開始されると、時間区間社会的振る舞い行動傾向判定部７０５は、前回の更新のタイミングｔｌ－１から今回の更新のタイミングｔｌまでの間の社会的振る舞いログ記録データテーブル８５０の記録を対象として、第一のユーザが第二のユーザに対して行った社会的振る舞いのうち、接近傾向と回避傾向の回数に応じて、接近傾向量（回数の割合）及び回避傾向量（回数の割合）を算出し、社会的振る舞い行動傾向量記録データテーブル９１０に記録する（ステップＳ２１）。
また、時間区間社会的振る舞い行動傾向判定部７０５は、前回の更新のタイミングｔｌ－１から今回の更新のタイミングｔｌまでの間の社会的振る舞いログ記録データテーブル８５０の記録を対象として、第一のユーザが第二のユーザに対して行った社会的振る舞いのうち、接近傾向と回避傾向の時間量に応じて、接近傾向量（時間［秒］の割合）及び回避傾向量（時間［秒］の割合）を算出し、社会的振る舞い行動傾向量記録データテーブル９１０に記録する（ステップＳ２１）。
なお、接近傾向量及び回避傾向量の算出は、接近傾向量（回数の割合）及び回避傾向量（回数の割合）の算出又は接近傾向量（時間［秒］の割合）及び回避傾向量（時間［秒］の割合）の算出のいずれか一方を行ってもよい。
次に、時間区間社会的振る舞い行動傾向判定部７０５は、"接近行動傾向量（回数の割合）"と、社会的振る舞い行動傾向量閾値定義情報９００の"閾値－回数の割合"に定義された接近行動傾向量の閾値とを比較する。また、時間区間社会的振る舞い行動傾向判定部７０５は、"回避行動傾向量（回数の割合）"と、社会的振る舞い行動傾向量閾値定義情報９００の"閾値－回数の割合"に定義された回避行動傾向量の閾値とを比較する。時間区間社会的振る舞い行動傾向判定部７０５は、比較の結果、第一のユーザが第二のユーザに対して行った社会的振る舞いの傾向が、接近行動傾向、回避行動傾向又は中間行動傾向のいずれかを判定し、判定した結果を社会的振る舞い行動傾向記録データテーブル９２０の"社会的振る舞い行動傾向"に記録する（ステップＳ２２）。
"接近行動傾向量（回数の割合）"が接近行動傾向量の閾値を超えた場合であって、かつ、"回避行動傾向量（回数の割合）"が回避行動傾向量の閾値を超えなかった場合、時間区間社会的振る舞い行動傾向判定部７０５は、第一のユーザが第二のユーザに対して行った社会的振る舞いの傾向を「接近行動傾向」と判定する。
"接近行動傾向量（回数の割合）"が接近行動傾向量の閾値を超えなかった場合であって、かつ、"回避行動傾向量（回数の割合）"が回避行動傾向量の閾値を超えた場合、時間区間社会的振る舞い行動傾向判定部７０５は、第一のユーザが第二のユーザに対して行った社会的振る舞いの傾向を「回避行動傾向」と判定する。
"接近行動傾向量（回数の割合）"が接近行動傾向量の閾値を超えなかった場合であって、かつ、"回避行動傾向量（回数の割合）"が回避行動傾向量の閾値を超えなかった場合、時間区間社会的振る舞い行動傾向判定部７０５は、第一のユーザが第二のユーザに対して行った社会的振る舞いの傾向を「中間行動傾向」と判定する。
"接近行動傾向量（回数の割合）"が接近行動傾向量の閾値を超えた場合であって、かつ、"回避行動傾向量（回数の割合）"が回避行動傾向量の閾値を超えた場合、時間区間社会的振る舞い行動傾向判定部７０５は、第一のユーザが第二のユーザに対して行った社会的振る舞いの傾向を「中間行動傾向」と判定する。
また、時間区間社会的振る舞い行動傾向判定部７０５は、"接近行動傾向量（時間［秒］の割合）"と、社会的振る舞い行動傾向量閾値定義情報９００の"閾値－時間［秒］の割合"に定義された接近行動傾向量の閾値とを比較する。また、時間区間社会的振る舞い行動傾向判定部７０５は、"回避行動傾向量（時間［秒］の割合）"と、社会的振る舞い行動傾向量閾値定義情報９００の"閾値－時間［秒］の割合"に定義された回避行動傾向量の閾値とを比較する。時間区間社会的振る舞い行動傾向判定部７０５は、比較の結果、第一のユーザが第二のユーザに対して行った社会的振る舞いの傾向が、接近行動傾向、回避行動傾向又は中間行動傾向のいずれかを判定する。時間区間社会的振る舞い行動傾向判定部７０５は、判定した結果を社会的振る舞い行動傾向記録データテーブル９２０の"社会的振る舞い行動傾向"の項目に記憶し（ステップＳ２２）、本処理を終了する。判定方法は、接近行動傾向量（回数の割合）及び回避行動傾向量（回数の割合）を用いた場合と同様であるため、説明を省略する。
なお、接近行動傾向量（回数の割合）及び回避行動傾向量（回数の割合）を用いて判定した結果と、接近行動傾向量（時間［秒］の割合）及び回避行動傾向量（時間［秒］の割合）を用いて判定した結果とが異なる場合には、中間行動傾向と判定してもよい。
また、接近行動傾向量（回数の割合）及び回避行動傾向量（回数の割合）を用いた判定のみを行ってもよいし、接近行動傾向量（時間［秒］の割合）及び回避行動傾向量（時間［秒］の割合）を用いた判定のみを行ってもよい。
社会的振る舞い行動傾向量閾値定義情報９００に定義された閾値（接近行動傾向量の閾値、回避行動傾向量の閾値）は、過去のデータ等から動的に決めてもよいし、対話中のユーザらの関係性のレベルによって変更してもよい。
以上に説明したように、第１実施形態に係る画像生成システム１００によれば、ある時刻ｔｌ－１から時刻ｔｌまでの時間帯のユーザの統合的な社会的振る舞いについて、接近行動傾向、回避行動傾向又は中間行動傾向を定義情報との照合に応じて決定し、対話相手との社会的振る舞いの共有を制御する。ある時刻ｔｌ－１から時刻ｔｌまでの時間帯のユーザの統合的な社会的振る舞いは、例えば、該時間帯の第一のユーザの第二のユーザに対する一分間当たりの社会的振る舞いの接近行動傾向量及び回避行動傾向量の回数や時間量として記録される。
これにより、ＶＲやＡＲ（拡張現実：Augmented Reality）やＭＲ（複合現実：Mixed Reality）で周辺視野や視野角等が現実空間同様ではなく、遠隔教育等でコンテンツを見ながら、対話相手の社会的振る舞いを見るには完璧でない環境において、例えば、第一のユーザが第二のユーザを見ない等の振る舞いについて、以下の２ケースを区別し、第一のユーザと第二のユーザとの社会的振る舞いの共有を制御することができる。
・ケース１：第一のユーザが第二のユーザに接近性/回避性の社会的振る舞いを行っていること
・ケース２：第一のユーザが第二のユーザに接近性/回避性の社会的振る舞いを行っていないこと
例えば、本実施形態に係る画像生成システム１００によれば、時刻ｔｌ－１から時刻ｔｌまでの間に第一のユーザが第二のユーザに対して行った社会的振る舞いを統合的に確認することで、例えば、第一のユーザのＡｔｔｅｎｔｉｏｎが示す回避傾向は、ケース２の場合（中間行動傾向）であって、単純に見えないから相手の方向を見ないという行動の帰結の可能性が高いことを判定することができる。この場合、第一のユーザは統合的には接近傾向及び回避傾向のいずれも示していないと確認できるため、第二のユーザの振る舞いを増幅するように第一のユーザと第二のユーザとの社会的振る舞いの共有を制御することができる。
このように、第一のユーザの社会的振る舞い（例えば、第二のユーザの説明コンテンツに集中する接近傾向や、第二のユーザに笑顔を向けない回避傾向）は事前に統合的に傾向が確認されるため、第一のユーザの振る舞いを無視した、第二のユーザの振る舞い提示を避けることができる。
これにより、第一のユーザの視界が悪い状況において対話相手である第二のユーザの示す社会的振る舞いをより明瞭に提示でき、一方で、ケース１の場合には第一のユーザの接近性及び回避性の社会的振る舞いを無視せずに、第二のユーザのアバタを動作させることが可能となるため、より現実空間に近い良好なユーザ間の関係構築が仮想空間において可能になる。
＜第２実施形態＞
＜画像生成装置の社会的振る舞い行動傾向解析部の機能構成及び各ＤＢの説明＞
次に、第２実施形態に係る社会的振る舞い行動傾向解析部１２５の機能構成及び各ＤＢについて、図２１を用いて説明する。図２１は、第２実施形態に係る社会的振る舞い行動傾向解析部１２５の機能構成及び各ＤＢの一例を示す。第２実施形態に係る社会的振る舞い行動傾向解析部１２５は、社会的振る舞い基礎情報算出部７０１、社会的振る舞いログ記録部７０２、社会的振る舞い値算出部７０３、社会的振る舞いの接近・回避傾向特定部７０４、社会的振る舞いの共有制御部７０６に加えて、カテゴリ別社会的振る舞い行動傾向量算出部７１０及びカテゴリ毎の時間区間社会的振る舞い行動傾向判定部７１１を有する点が第１実施形態と異なる。
また、定義情報用ＤＢ１３３に、図２２に示す社会的振る舞いのカテゴリ分類定義情報、図２３に示すカテゴリ別社会的振る舞い行動傾向量閾値定義情報を格納し、社会的振る舞い行動傾向情報用ＤＢ１３５に、図２４に示すカテゴリ別社会的振る舞い行動傾向量記録データテーブル、図２５に示すカテゴリ別社会的振る舞い行動傾向記録データテーブル、図２６に示す社会的振る舞い行動傾向記録データテーブルを格納する点が第１実施形態と異なる。よって、これらの異なる点を中心に、本実施形態に係る社会的振る舞い行動傾向解析部１２５の機能構成及び各ＤＢについて説明する。
（カテゴリ別社会的振る舞い行動傾向量算出部）
カテゴリ別社会的振る舞い行動傾向量算出部７１０は、社会的振る舞い値算出部７０３で算出した社会的振る舞い値の情報を、社会的振る舞いをカテゴリ毎にある時間区間内で記録された第一のユーザの第二のユーザに対する社会的振る舞いの接近傾向及び回避傾向の回数もしくは時間量を、該カテゴリ毎に接近傾向量と回避傾向量として算出する。
（カテゴリ毎の時間区間社会的振る舞い行動傾向判定部）
カテゴリ毎の時間区間社会的振る舞い行動傾向判定部７１１は、前記算出したカテゴリ別社会的振る舞い行動傾向量に基づき、カテゴリ毎にある時間区間内の社会的振る舞い行動傾向を判定する。
（社会的振る舞いのカテゴリ分類定義情報）
図２２は、一実施形態に係る社会的振る舞いのカテゴリ分類定義情報１０００の一例を示す。社会的振る舞いのカテゴリ分類定義情報１０００に含まれる情報の項目には、"カテゴリＩＤ"、"カテゴリ名"、"社会的振る舞いタイプラベル"が含まれる。
"カテゴリＩＤ"には、"カテゴリ名"に示される五つの社会的振る舞いのカテゴリを識別するためにカテゴリ毎に付与された識別子が記録される。
"カテゴリ名"が"Ｄｉｓｔａｎｃｅ"（以下、「Ｄ」とも表記する）の社会的振る舞いのカテゴリは、コミュニケーションを行う振る舞いアバタの身体及び身体パーツの位置の変化を示す社会的振る舞いの分類である。"カテゴリＩＤ"には、カテゴリ「Ｄ」を識別する「１」が定義される。
"カテゴリ名"が"Ｏｒｉｅｎｔａｔｉｏｎ"（以下、「Ｏ」とも表記する）の社会的振る舞いのカテゴリは、振る舞いアバタの身体及び身体の向きを示す社会的振る舞いの分類である。"カテゴリＩＤ"には、カテゴリ「Ｏ」を識別する「２」が定義される。
"カテゴリ名"が"Ｌｅａｎ"（以下、「Ｌ」とも表記する）の社会的振る舞いのカテゴリは、振る舞いアバタの身体の傾きを示す社会的振る舞いの分類である。"カテゴリＩＤ"には、カテゴリ「Ｌ」を識別する「３」が定義される。
"カテゴリ名"が"Ａｔｔｅｎｔｉｏｎ"（以下、「Ａ」とも表記する）の社会的振る舞いのカテゴリは、振る舞いアバタの注意（見ること）を示す社会的振る舞いの分類である。"カテゴリＩＤ"には、カテゴリ「Ａ」を識別する「４」が定義される。
"カテゴリ名"が"Ｇｅｓｔｕｒｅ"を（以下、「Ｇ」とも表記する）の社会的振る舞いのカテゴリは、振る舞いアバタのジェスチャ及びその他の振る舞いを示す社会的振る舞いの分類である。"カテゴリＩＤ"には、カテゴリ「Ｇ」を識別する「５」が定義される。
"社会的振る舞いタイプラベル"には、各カテゴリに含まれる社会的振る舞いの種類が定義される。例えば、カテゴリ「Ｄ」に含まれる社会的振る舞いの種類として、Ｄｉｓｔａｎｃｅ＿Ｂｏｄｙｐａｒｔｓ＿Ｃｌｏｓｅｔｏ、Ｄｉｓｔａｎｃｅ＿Ｂｏｄｙｐａｒｔｓ＿Ｆａｒｆｒｏｍ、Ｄｉｓｔａｎｃｅ＿Ｕｐｐｅｒｂｏｄｙ＿Ｃｌｏｓｅｔｏ、Ｄｉｓｔａｎｃｅ＿Ｕｐｐｅｒｂｏｄｙ＿Ｆａｒｆｒｏｍが定義される。
（カテゴリ別社会的振る舞い行動傾向量閾値定義情報）
図２３は、一実施形態に係るカテゴリ別社会的振る舞い行動傾向量閾値定義情報１０１０の一例を示す。カテゴリ別社会的振る舞い行動傾向量閾値定義情報１０１０に含まれる情報の項目には、"カテゴリＩＤ"、"判定"、"閾値－回数の割合"、"閾値－時間［秒］の割合"が含まれる。
図２３に示すカテゴリ別社会的振る舞い行動傾向量閾値定義情報１０１０は、図１６に示す社会的振る舞い行動傾向量閾値定義情報９００に含まれる情報の項目に"カテゴリＩＤ"の項目を加えたものである。カテゴリ別社会的振る舞い行動傾向量閾値定義情報１０１０には、"カテゴリＩＤ"で識別される社会的振る舞いのカテゴリ毎に"判定"及び閾値（"閾値－回数の割合"、"閾値－時間［秒］の割合"）が定義される。
（カテゴリ別社会的振る舞い行動傾向量記録データテーブル）
図２４は、一実施形態に係るカテゴリ別社会的振る舞い行動傾向量記録データテーブル１０２０の一例を示す。カテゴリ別社会的振る舞い行動傾向量記録データテーブル１０２０に含まれる情報の項目は、図１５の社会的振る舞い行動傾向量記録データテーブル９１０に含まれる情報の項目に、"カテゴリＩＤ"の項目を加えたものである。カテゴリ別社会的振る舞い行動傾向量記録データテーブル１０２０には、"カテゴリＩＤ"で識別される社会的振る舞いのカテゴリ毎に社会的振る舞い行動傾向量（"接近行動傾向量（回数、時間、回数の割合、時間の割合）"、"回避行動傾向量（回数、時間、回数の割合、時間の割合）"）が記録される。
（カテゴリ別社会的振る舞い行動傾向記録データテーブル）
図２５は、一実施形態に係るカテゴリ別社会的振る舞い行動傾向記録データテーブル１０３０の一例を示す。カテゴリ別社会的振る舞い行動傾向記録データテーブル１０３０に含まれる情報の項目は、図１７の社会的振る舞い行動傾向記録データテーブル９２０に含まれる情報の項目に、"カテゴリＩＤ"の項目を加えたものであり、カテゴリ別に社会的振る舞い行動傾向が記録される。
（社会的振る舞い行動傾向記録データテーブル）
図２６は、一実施形態に係る社会的振る舞い行動傾向記録データテーブル１０４０の一例を示す。社会的振る舞い行動傾向記録データテーブル１０４０に含まれる情報の項目は、図１７の社会的振る舞い行動傾向記録データテーブル９２０に含まれる情報の項目と同じである。社会的振る舞い行動傾向記録データテーブル１０４０の"社会的振る舞い行動傾向"の項目には、カテゴリ別社会的振る舞い行動傾向記録データテーブル１０３０の"社会的振る舞い行動傾向"に記録された社会的振る舞いの行動傾向から多数決により決定した社会的振る舞いの行動傾向が記録される。
なお、図２１に示す社会的振る舞い行動傾向解析部１２５のうち、社会的振る舞い基礎情報算出部７０１、社会的振る舞い値算出部７０３、社会的振る舞いの接近・回避傾向特定部７０４、社会的振る舞いの共有制御部７０６、カテゴリ別社会的振る舞い行動傾向量算出部７１０及びカテゴリ毎の時間区間社会的振る舞い行動傾向判定部７１１の各機能は、例えば、画像生成装置１１０にインストールされたプログラムが、ＣＰＵ５０１に実行させる処理により実現することができる。
［社会的振る舞い情報の収集及び判定処理］
第２実施形態に係る社会的振る舞い情報の収集及び判定処理は、図１８及び図１９に示す第１実施形態に係る社会的振る舞い情報の収集及び判定処理のフローチャートと同様であるため、説明を省略する。
［社会的振る舞い行動傾向判定処理］
次に、第２実施形態に係る社会的振る舞い行動傾向判定処理の一例について図２７を参照して説明する。図２７は、第２実施形態に係る社会的振る舞い行動傾向判定処理の一例を示すフローチャートである。本実施形態に係る社会的振る舞い行動傾向判定処理の入力データは、第一のユーザの第二のユーザに対するある時間帯ｔの社会的振る舞いとする。
本処理が開始されると、カテゴリ別社会的振る舞い行動傾向量算出部７１０は、前回の更新のタイミングｔｌ－１から今回の更新のタイミングｔｌまでの間の社会的振る舞いログ記録データテーブル８５０の記録を対象として、第一のユーザが第二のユーザに対して行った社会的振る舞いを、社会的振る舞いのカテゴリ分類定義情報１０００に基づき五つ（Ｄ，Ｏ，Ｌ，Ａ，Ｇ）のカテゴリに分類する（ステップＳ３１）。カテゴリ別社会的振る舞い行動傾向量算出部７１０は、カテゴリ毎に算出した接近傾向と回避傾向の回数に応じて、カテゴリ別の接近傾向量（回数の割合）及び回避傾向量（回数の割合）を算出し、カテゴリ別社会的振る舞い行動傾向量記録データテーブル１０２０に記録する（ステップＳ３１）。
また、カテゴリ別社会的振る舞い行動傾向量算出部７１０は、カテゴリ毎に算出した接近傾向と回避傾向の時間量に応じて、カテゴリ毎の接近傾向量（時間の割合）及び回避傾向量（時間の割合）を算出し、カテゴリ別社会的振る舞い行動傾向量記録データテーブル１０２０に記録する（ステップＳ３１）。なお、接近傾向量及び回避傾向量の算出は、回数の割合又は時間の割合のいずれかを算出してもよいし、その両方を算出してもよい。
次に、カテゴリ毎の時間区間社会的振る舞い行動傾向判定部７１１は、カテゴリ毎の"接近行動傾向量（回数の割合）"と、カテゴリ別社会的振る舞い行動傾向量閾値定義情報１０１０の"閾値－回数の割合"に定義されたカテゴリ毎の接近行動傾向量の閾値とを比較する。また、カテゴリ毎の時間区間社会的振る舞い行動傾向判定部７１１は、カテゴリ毎の"回避行動傾向量（回数の割合）"と、カテゴリ別社会的振る舞い行動傾向量閾値定義情報１０１０の"閾値－回数の割合"に定義された回避行動傾向量の閾値とを比較する。カテゴリ毎の時間区間社会的振る舞い行動傾向判定部７１１は、比較の結果、第一のユーザが第二のユーザに対して行った社会的振る舞いの傾向が、接近行動傾向、回避行動傾向又は中間行動傾向のいずれかをカテゴリ毎に判定し、判定した結果をカテゴリ別社会的振る舞い行動傾向記録データテーブル１０３０の"カテゴリＩＤ"に応じた"社会的振る舞い行動傾向"の項目に記憶する（ステップＳ３２）。
また、カテゴリ毎の時間区間社会的振る舞い行動傾向判定部７１１は、カテゴリ毎の"接近行動傾向量（時間［秒］の割合）"と、カテゴリ別社会的振る舞い行動傾向量閾値定義情報１０１０の"閾値－時間［秒］の割合"に定義されたカテゴリ毎の接近行動傾向量の閾値とを比較する。また、カテゴリ毎の時間区間社会的振る舞い行動傾向判定部７１１は、カテゴリ毎の"回避行動傾向量（時間［秒］の割合）"と、カテゴリ別社会的振る舞い行動傾向量閾値定義情報１０１０の"閾値－時間［秒］の割合"に定義されたカテゴリ毎の回避行動傾向量の閾値とを比較する。カテゴリ毎の時間区間社会的振る舞い行動傾向判定部７１１は、比較の結果、第一のユーザが第二のユーザに対して行った社会的振る舞いの傾向が、接近行動傾向、回避行動傾向又は中間行動傾向のいずれかをカテゴリ毎に判定し、判定した結果をカテゴリ別社会的振る舞い行動傾向記録データテーブル１０３０の"カテゴリＩＤ"に応じた"社会的振る舞い行動傾向"の項目に記憶する（ステップＳ３２）。
次に、カテゴリ毎の時間区間社会的振る舞い行動傾向判定部７１１は、カテゴリ別社会的振る舞い行動傾向記録データテーブル１０３０の"社会的振る舞い行動傾向"に記録したカテゴリ毎の社会的振る舞い行動傾向の判定結果から、多数決により第一のユーザが第二のユーザに対して行った社会的振る舞いの傾向を判定し、社会的振る舞い行動傾向記録データテーブル１０４０の"社会的振る舞い行動傾向"に記録し（ステップＳ３３）、本処理を終了する。
図２５の例では、カテゴリ別社会的振る舞い行動傾向記録データテーブル１０３０の"社会的振る舞い行動傾向"に記録された各カテゴリの"社会的振る舞い行動傾向を多数決することにより、社会的振る舞い行動傾向記録データテーブル１０４０の"社会的振る舞い行動傾向"に示す全カテゴリの総合的な社会的振る舞い行動傾向には、回避行動傾向が記録される。
以上に説明したように、第２実施形態に係る画像生成システム１００によれば、ある時刻ｔｌ－１から時刻ｔｌまでの時間帯のユーザの統合的な社会的振る舞いについて、接近行動傾向、回避行動傾向又は中間行動傾向を定義情報との照合に応じてカテゴリ（Ｄ，Ｏ，Ｌ，Ａ，Ｇ）毎に決定し、対話相手との社会的振る舞いの共有を制御する。ある時刻ｔｌ－１から時刻ｔｌまでの時間帯のユーザの統合的な社会的振る舞いは、例えば、該時間帯の第一のユーザの第二のユーザに対する一分間当たりの社会的振る舞いの接近行動傾向量及び回避行動傾向量の回数や時間量としてカテゴリ毎に記録される。
これにより、本実施形態に係る画像生成システム１００によれば、時刻ｔｌ－１から時刻ｔｌまでの時間帯に第一のユーザが第二のユーザに対して行った社会的振る舞いをカテゴリ毎に集計し、統合的に確認することで、第一のユーザと第二のユーザとの社会的振る舞いの共有をより正確に制御することができる。例えば、第一のユーザのＡｔｔｅｎｔｉｏｎが回避傾向を示すときに、本実施形態によれば、他のカテゴリ（Ｄ，Ｏ，Ｌ，Ｇ）が示す社会的行動傾向と総合的に確認して、第一のユーザのＡｔｔｅｎｔｉｏｎが回避傾向であるのは、第二のユーザに対する回避行動傾向であるか、又は、単純に見えないから相手の方向を見ないという行動の帰結の可能性が高いのかを判定することができる。
これにより、第一のユーザの視界が悪い等の状況において対話相手である第二のユーザの示す社会的振る舞いを更に明瞭に提示でき、一方で、第一のユーザの接近性及び回避性の社会的振る舞いを無視せずに、第二のユーザのアバタを動作させることが可能となる。この結果、より現実空間に近いユーザ間の関係構築が仮想空間において可能になる。
＜第３実施形態＞
＜画像生成装置の社会的振る舞い行動傾向解析部の機能構成及び各ＤＢの説明＞
次に、第３実施形態に係る社会的振る舞い行動傾向解析部１２５の機能構成及び各ＤＢについて、図２８を用いて説明する。図２８は、第３実施形態に係る社会的振る舞い行動傾向解析部１２５の機能構成及び各ＤＢの一例を示す。第３実施形態に係る社会的振る舞い行動傾向解析部１２５は、社会的振る舞い基礎情報算出部７０１、社会的振る舞いログ記録部７０２、社会的振る舞い値算出部７０３、社会的振る舞いの接近・回避傾向特定部７０４、社会的振る舞いの共有制御部７０６、カテゴリ別社会的振る舞い行動傾向量算出部７１０に加えて、社会的振る舞いのカテゴリ別重み算出部７２０及び統合的な時間区間社会的振る舞い行動傾向判定部７２１を有する。
また、定義情報用ＤＢ１３３に、図２９に示す社会的振る舞い基礎情報の影響の度合いによる社会的振る舞いのカテゴリ毎重み定義情報を格納し、社会的振る舞い行動傾向情報用ＤＢ１３５に、図３０に示すカテゴリ別重みつき社会的振る舞い行動傾向量記録データテーブル、図３１に示すカテゴリ別社会的振る舞い行動傾向記録データテーブル、図３２に示す社会的振る舞い行動傾向記録データテーブルを格納する。以下、本実施形態に係る社会的振る舞い行動傾向解析部１２５の機能構成及び各ＤＢについて説明する。
（社会的振る舞いのカテゴリ別重み算出部）
社会的振る舞いのカテゴリ別重み算出部７２０は、社会的振る舞いをカテゴリ毎に分類する際、社会的振る舞い基礎情報の影響の度合いに応じたカテゴリ毎の重み値を算出する。
（統合的な時間区間社会的振る舞い行動傾向判定部）
統合的な時間区間社会的振る舞い行動傾向判定部７２１は、社会的振る舞いのカテゴリ別重み算出部７２０によって算出したカテゴリ毎の重み値によって、接近行動傾向量及び回避行動傾向量に重みづけを行い、該重みづけ後の接近行動傾向量及び回避行動傾向量を統合的に用いることで当該時間区間内の社会的振る舞い行動傾向を判定する。
（社会的振る舞い基礎情報の影響の度合いによる社会的振る舞いのカテゴリ毎重み定義情報）
図２９は、一実施形態に係る考慮すべき事象（当該環境における見るという動作が実環境とは異なること等）の影響の度合いによる社会的振る舞いのカテゴリ毎重み定義情報１１００の一例を示す。社会的振る舞い基礎情報の影響の度合いによる社会的振る舞いのカテゴリ毎重み定義情報１１００に含まれる情報の項目は、図２２の社会的振る舞いのカテゴリ分類定義情報１０００に含まれる情報の項目に、"影響度合い"、"重み"の項目を加えたものである。
"影響度合い"及び"重み"には、カテゴリＩＤ"により識別されるカテゴリに含まれる"社会的振る舞いタイプラベル"に対する考慮すべき事象の影響の度合いと重み値が定義される。"影響度合い" 及び"重み"の定義について以下に説明する。
前提として、入力データは、第一のユーザ（ユーザＡとする）の第二のユーザ（ユーザＢとする）に対するある時間帯ｔの社会的振る舞いとする。以下では、考慮すべき事象として、視界が悪い環境（ユーザＢのアバタが見えにくい位置にいる等）である事を例に説明する。以下では、各カテゴリにおいて考慮すべき事象の影響をうける可能性の大きい構成動作に『』を付けて表示する。
カテゴリ「Ｄ」におけるＢｏｄｙｐａｒｔｓ＿Ｃｌｏｓｅｔｏの接近傾向の動作、Ｂｏｄｙｐａｒｔｓ＿Ｆａｒｆｒｏｍの回避傾向の動作を仮想空間の中でアバタに動作させる為には以下のような（１）～（４）の構成動作を行う。（１）『ユーザＢの位置を特定する』。（２）ユーザＡ自身の位置を特定する。（３）当該２つの特定位置の範囲内でユーザＡが移動できる範囲を特定する。（４）特定した移動可能な範囲内で、（一例として）頭部の位置をＸＺ平面上で（ユーザＢの側に対して）距離を短く又は長くする。同様に、カテゴリ「Ｄ」におけるＵｐｐｅｒｂｏｄｙ＿Ｃｌｏｓｅｔｏ（接近傾向）、動作Ｕｐｐｅｒｂｏｄｙ＿Ｆａｒｆｒｏｍ（回避傾向）の動作では、（１）『ユーザＢの位置を特定する』。（２）ユーザＡ自身の位置を特定する。（３）当該２つの特定位置の範囲内でユーザＡが移動できる範囲を特定する。（４）特定した移動可能な範囲内で、腰部の位置をＸＺ平面上で（ユーザＢの側に対して）距離を短く又は長くする。このとき、ユーザＡが視界が悪い環境である影響をうける可能性の大きい構成動作は（１）である。
カテゴリ「Ｏ」におけるＦａｃｅ＿Ｄｉｒｅｃｔｔｏ（接近傾向）、動作Ｆａｃｅ＿Ｉｎｄｉｒｅｃｔｆｒｏｍ（回避傾向）の動作では、（１）『ユーザＢの位置を特定する』。（２）ユーザＡ自身の位置を特定する。（３）当該２つの特定位置を結ぶ（ＸＺ平面上での）方向に対して、Ｙ軸上での頭部の回転角度を（ユーザＢの側に）近づける・遠ざける。同様に、カテゴリ「Ｏ」におけるＵｐｐｅｒｂｏｄｙ＿Ｄｉｒｅｃｔｔｏ（接近傾向）、動作Ｕｐｐｅｒｂｏｄｙ＿Ｉｎｄｉｒｅｃｔｆｒｏｍ（回避傾向）の動作では、（１）『ユーザＢの位置を特定する』。（２）ユーザＡ自身の位置を特定する。（３）当該２つの特定位置を結ぶ（ＸＺ平面上での）方向に対して、Ｙ軸上での腰部の回転角度を近づける・遠ざける。このとき、（１）～（３）において生起頻度が影響をうける可能性の大きい構成動作は（１）である。
カテゴリ「Ｌ」におけるＬｅａｎ＿Ｆｏｒｗａｒｄ（接近傾向）、動作Ｌｅａｎ＿Ｂａｃｋｗａｒｄ（回避傾向）の動作では、（１）ユーザＡ自身の正面方向を特定する。（２）（ＹＺ平面上での）正面方向に対して、Ｘ軸上での腰部の回転角度を近づける・遠ざける。このとき、（１）（２）においてユーザＡが視界が悪い環境である影響をうける可能性の大きい構成動作はない。
カテゴリ「Ａ」におけるＭｕｔｕａｌ（接近傾向）の動作では、（１）『１－１．ユーザＢの位置を特定する』。（２）１－２．ユーザＡ自身の正面方向を特定する。（３）１－３．ユーザＡ自身の（ＸＺ平面上での）正面方向をユーザＢの位置へ向ける。（４）『２－１．ユーザＢがユーザＡの位置を特定する』。（５）２－２．ユーザＢが正面方向を特定する。（６）２－３．ユーザＢがユーザＢの（ＸＺ平面上での）正面方向をユーザＡの位置へ向ける。（７）『１－１～１．３，２－１～２－３を繰り返す』。このとき、（１）～（７）において生起頻度が影響をうける可能性の大きい構成動作は（１）、（４）、（７）である。
カテゴリ「Ａ」におけるＡｖａｒｔｅｄ（回避傾向）の動作では、（１）『１．ユーザＢの位置を特定する』。（２）２．ユーザＡ自身の正面方向を特定する。（３）３．ユーザＡ自身の（ＸＺ平面上での）正面方向をユーザＢの位置へ向ける。（４）『（１～３を繰り返す。１，２を行う。）』（５）ユーザＡ自身の（ＸＺ平面上での）正面方向をユーザＢの位置以外の方向へ向ける。このとき、（１）～（５）において生起頻度が影響をうける可能性の大きい構成動作は（１）、（４）である。カテゴリ「Ａ」におけるＪｏｉｎｔ（接近傾向）の動作では、視界が悪い環境（ユーザＢのアバタが見えにくい位置にいる等）の影響をうける可能性の大きい構成動作はない。
カテゴリ「Ｇ」（その他）において、視界が悪い環境（ユーザＢのアバタが見えにくい位置にいる等）の影響をうける可能性の大きい構成動作はない。
上記の場合に、各カテゴリにおける動作において、視界が悪い環境に影響を受ける度合いは、各カテゴリにおける動作に含まれる視界が悪い環境に影響を受ける構成要素の割合で示される。
例えば、カテゴリ「Ｄ」における動作では、身体パーツに関する位置の変化に関しても、上体に関する位置の変化に関しても同様に、（１）～（４）の構成要素のうち、視界が悪い環境に影響を受ける構成要素は（１）である。よって、カテゴリ「Ｄ」において、視界が悪い環境に影響を受ける度合いは、０．２５（＝１／４）となる。これにより、図２９の例では、カテゴリ「Ｄ」の"影響度合い"及び"重み"には、０．２５が定義される。
カテゴリ「Ｏ」における動作では、顔に関する向きの変化に関しても、上体に関する向きの変化に関しても同様に、（１）～（３）の構成要素のうち、視界が悪い環境に影響を受ける構成要素は（１）である。よって、カテゴリ「Ｏ」において、視界が悪い環境に影響を受ける度合いは、０．３３（＝１／３）となる。これにより、図２９の例では、カテゴリ「Ｏ」の"影響度合い"及び"重み"には、０．３３が定義される。
カテゴリ「Ｌ」における動作では、（１）（２）の構成要素のうち、視界が悪い環境に影響を受ける構成要素はない。よって、図２９の例では、カテゴリ「Ｌ」の"影響度合い"には０が定義される。"重み"は０以外の０に近い値として０．０５が定義される。
カテゴリ「Ａ」における動作では、Ｍｕｔｕａｌに関しては（１）～（７）の構成要素のうち、視界が悪い環境に影響を受ける構成要素は（１）、（４）、（７）である。一方、Ａｖａｒｔｅｄに関しては、（１）～（５）の構成要素のうち、視界が悪い環境に影響を受ける構成要素は（１）、（４）である。よって、カテゴリ「Ａ」において、視界が悪い環境に影響を受ける度合いは、０．４１（３／７と２／５との平均）となる。これにより、図２９の例では、カテゴリ「Ａ」の"影響度合い"及び"重み"には、０．４１が定義される。
カテゴリ「Ｇ」における動作では、（１）（２）の構成要素のうち、視界が悪い環境に影響を受ける構成要素はない。カテゴリ「Ｇ」にはジェスチャ以外のその他の社会的振る舞いが含まれるため（カテゴリ「Ｌ」よりも視界が悪い環境に影響を受ける可能性が大きい為）、図２９の例では、カテゴリ「Ｇ」の"影響度合い"及び"重み"には、０．１が定義される。
（カテゴリ別重みつき社会的振る舞い行動傾向量記録データテーブル）
図３０は、一実施形態に係るカテゴリ別重みつき社会的振る舞い行動傾向量記録データテーブル１１１０の一例を示す。カテゴリ別重みつき社会的振る舞い行動傾向量記録データテーブル１１１０に含まれる情報の項目は、図２４のカテゴリ別社会的振る舞い行動傾向量記録データテーブル１０２０に含まれる情報の項目に、"重みづけ後の接近行動傾向量（回数の割合）"、"重みづけ後の回避行動傾向量（回数の割合）"、"重みづけ後の接近行動傾向量（時間［秒］の割合）"、"重みづけ後の回避行動傾向量（時間［秒］の割合）"の項目を加えたものである。
カテゴリ別重みつき社会的振る舞い行動傾向量記録データテーブル１１１０の"接近行動傾向量（回数）"及び"回避行動傾向量（回数）"には、カテゴリ毎の入力データの集計例、つまり、ある時間区間（例えば、時間帯t）におけるカテゴリ毎の接近性傾向・回避性傾向の社会的振る舞いの合計回数が記録される。図３０の例では、カテゴリＩＤが「１」に対応する"接近行動傾向量（回数）"に１０回、"回避行動傾向量（回数）"に１２回が記録される。これにより、カテゴリ毎の重みづけ前の"接近行動傾向量（回数の割合）"には、０．４５（＝１０／（１０＋１２））が記録され、"回避行動傾向量（回数の割合）"には、０．５５（＝１２／（１０＋１２））が記録される。
カテゴリ毎の"重みづけ後の接近行動傾向量（回数の割合）"は、"接近行動傾向量（回数の割合）"×重みづけ（＝視界の悪い環境の影響をうける度合い）により算出される。図３０の例では、カテゴリＩＤが「１」に対応する"重みづけ後の接近行動傾向量（回数の割合）"は、０．１１（＝０．４５×０．２５）が記録される。また、カテゴリＩＤ「１」（＝カテゴリＤ）の"重みづけ後の回避行動傾向量（回数の割合）"は、０．１４（＝０．５５×０．２５）が記録される。
カテゴリ別重みつき社会的振る舞い行動傾向量記録データテーブル１１１０の"接近行動傾向量（時間）"及び"回避行動傾向量（時間）"には、カテゴリ毎の入力データの集計例、つまり、ある時間区間（例えば、時間帯t）におけるカテゴリ毎の接近性傾向・回避性傾向の社会的振る舞いの合計時間量が記録される。図３０の例では、カテゴリＩＤが「１」に対応する"接近行動傾向量（時間）"に１１秒、"回避行動傾向量（時間）"に１５秒が記録される。これにより、カテゴリ毎の重みづけ前の"接近行動傾向量（時間の割合）"には、０．１８秒（＝１１／６０）が記録され、"回避行動傾向量（時間の割合）"には、０．２５秒（＝１５／６０）が記録される。なお、計算に用いた分母の６０秒は、判定範囲の開示時刻から終了時刻までの時間である。
カテゴリ毎の"重みづけ後の接近行動傾向量（時間の割合）"は、"接近行動傾向量（時間の割合）"×重みづけ（＝視界の悪い環境の影響をうける度合い）により算出される。図３０の例では、カテゴリＩＤが「１」に対応する"重みづけ後の接近行動傾向量（時間の割合）"は、０．０５（＝０．１８×０．２５）が記録される。また、カテゴリＩＤ「１」（＝カテゴリＤ）の"重みづけ後の回避行動傾向量（時間の割合）"は、０．０６（＝０．２５×０．２５）が記録される。
（カテゴリ別社会的振る舞い行動傾向記録データテーブル）
図３１は、一実施形態に係るカテゴリ別社会的振る舞い行動傾向記録データテーブル１１２０の一例を示す。カテゴリ別社会的振る舞い行動傾向記録データテーブル１１２０は、図２５に示すカテゴリ別社会的振る舞い行動傾向記録データテーブル１０３０と同一の項目を有する。
（社会的振る舞い行動傾向記録データテーブル）
図３２は、一実施形態に係る社会的振る舞い行動傾向記録データテーブル１１３０の一例を示す。社会的振る舞い行動傾向記録データテーブル１１３０は、図２６に示す社会的振る舞い行動傾向記録データテーブル１０４０と同一の項目を有する。
なお、図２８に示す社会的振る舞い行動傾向解析部１２５のうち、社会的振る舞い基礎情報算出部７０１、社会的振る舞い値算出部７０３、社会的振る舞いの接近・回避傾向特定部７０４、社会的振る舞いの共有制御部７０６、カテゴリ別社会的振る舞い行動傾向量算出部７１０、社会的振る舞いのカテゴリ別重み算出部７２０及び統合的な時間区間社会的振る舞い行動傾向判定部７２１の各機能は、例えば、画像生成装置１１０にインストールされたプログラムが、ＣＰＵ５０１に実行させる処理により実現することができる。
［社会的振る舞い情報の収集及び判定処理］
第３実施形態に係る社会的振る舞い情報の収集及び判定処理は、図１８及び図１９に示す第１実施形態に係る社会的振る舞い情報の収集及び判定処理のフローチャートと同様であるため、説明を省略する。
［社会的振る舞い行動傾向判定処理］
次に、第３実施形態に係る社会的振る舞い行動傾向判定処理の一例について図３３を参照して説明する。図３３は、第３実施形態に係る社会的振る舞い行動傾向判定処理の一例を示すフローチャートである。
なお、本実施形態に係る社会的振る舞い行動傾向判定処理の入力データは、第一のユーザの第二のユーザに対するある時間帯ｔの社会的振る舞いとする。例えば、アバタＡＶ１及びアバタＡＶ２について、ユーザの振る舞いの反映により、当該空間の座標系におけるアバタの身体部位（少なくとも、頭部・腕・手・胸・腰・尻・脚・足）の各位置・回転や、皮膚や筋肉相当の各伸縮の情報の、時間帯ｔ内における変化に基づき、アバタＡＶ２に対するアバタＡＶ１の身体部位との間の位置の変化・向きの変化等を求める事で、時間帯ｔにおけるユーザＢに対するユーザＡの接近性傾向の社会的振る舞い（第二のユーザに対して物理的距離を近づける、上体を向ける等）及び、回避性傾向の社会的振る舞い（第二のユーザに対して物理的距離を遠ざける、上体そむける等）の回数や時間を数量化する。
上記入力データに対して本実施形態で行う社会的振る舞い行動傾向判定処理は、入力データを、当該環境（例えば、視界が悪い環境）の影響の度合いが類似している行動のカテゴリ毎に接近傾向又は回避傾向の行動として集計し、各カテゴリの集計値に環境の影響を受ける度合いに応じた重みづけを行い、当該環境の影響を受けるデータである前提で求めたカテゴリ毎の接近性傾向・回避性傾向値をカテゴリ間で統合的に判定（例えば、平均値を求める等）することで出力データを求める。本処理により出力されるデータは、時間帯ｔ全体としての行動傾向（接近行動傾向、回避行動傾向、中間行動傾向（いずれでもない行動傾向））となる。
具体的には、図３３の処理が開始されると、カテゴリ別社会的振る舞い行動傾向量算出部７１０は、前回の更新のタイミングｔｌ－１から今回の更新のタイミングｔｌまでの間の社会的振る舞いログ記録データテーブル８５０の記録を対象として、第一のユーザが第二のユーザに対して行った社会的振る舞いを、社会的振る舞いのカテゴリ分類定義情報１０００に基づきカテゴリに分類する（ステップＳ４１）。カテゴリ別社会的振る舞い行動傾向量算出部７１０は、カテゴリ別の接近傾向と回避傾向の回数に応じて、カテゴリ毎の接近傾向量（回数の割合）及び回避傾向量（回数の割合）を算出し、カテゴリ別重みつき社会的振る舞い行動傾向量記録データテーブル１１１０に記録する（ステップＳ４１）。
また、カテゴリ別社会的振る舞い行動傾向量算出部７１０は、カテゴリ別の接近傾向と回避傾向の時間量に応じて、カテゴリ毎の接近傾向量（時間の割合）及び回避傾向量（時間の割合）を算出し、カテゴリ別重みつき社会的振る舞い行動傾向量記録データテーブル１１１０に記録する（ステップＳ４１）。なお、接近傾向量及び回避傾向量の算出は、回数の割合又は時間の割合のいずれかを算出してもよいし、その両方を算出してもよい。
次に、社会的振る舞いのカテゴリ別重み算出部７２０は、カテゴリ毎の接近傾向量（回数の割合）及び回避傾向量（回数の割合）から、社会的振る舞いのカテゴリ毎重み定義情報１１００に定義された"重み"に基づき、カテゴリ毎の"重みづけ後の接近行動傾向量（回数の割合）"及び"重みづけ後の回避傾向量（回数の割合）"を算出し、カテゴリ別重みつき社会的振る舞い行動傾向量記録データテーブル１１１０に記録する（ステップＳ４２）。
また、社会的振る舞いのカテゴリ別重み算出部７２０は、カテゴリ毎の接近傾向量（時間の割合）及び回避傾向量（時間の割合）から、社会的振る舞いのカテゴリ毎重み定義情報１１００に定義された "重み"に基づき、カテゴリ毎の"重みづけ後の接近行動傾向量（時間の割合）"及び"重みづけ後の回避傾向量（時間の割合）"を算出し、カテゴリ別重みつき社会的振る舞い行動傾向量記録データテーブル１１１０に記録する（ステップＳ４２）。
次に、統合的な時間区間社会的振る舞い行動傾向判定部７２１は、カテゴリ毎の"重みづけ後の接近行動傾向量（回数の割合）"と、カテゴリ別社会的振る舞い行動傾向量閾値定義情報１０１０の"閾値－回数の割合"に定義されたカテゴリ毎の接近行動傾向量の閾値とを比較する。また、統合的な時間区間社会的振る舞い行動傾向判定部７２１は、カテゴリ毎の"重みづけ後の回避行動傾向量（回数の割合）"と、カテゴリ別社会的振る舞い行動傾向量閾値定義情報１０１０の"閾値－回数の割合"に定義された回避行動傾向量の閾値とを比較する。統合的な時間区間社会的振る舞い行動傾向判定部７２１は、比較の結果、第一のユーザが第二のユーザに対して行った社会的振る舞いの傾向が、接近行動傾向、回避行動傾向又は中間行動傾向のいずれかをカテゴリ毎に判定し、判定した結果をカテゴリ別社会的振る舞い行動傾向記録データテーブル１１２０の"社会的振る舞い行動傾向"の項目に記憶する（ステップＳ４３）。
また、統合的な時間区間社会的振る舞い行動傾向判定部７２１は、カテゴリ毎の"重みづけ後の接近行動傾向量（時間［秒］の割合）"と、カテゴリ別社会的振る舞い行動傾向量閾値定義情報１０１０の"閾値－時間［秒］の割合"に定義されたカテゴリ毎の接近行動傾向量の閾値とを比較する。また、統合的な時間区間社会的振る舞い行動傾向判定部７２１は、カテゴリ毎の"重みづけ後の回避行動傾向量（時間［秒］の割合）"と、カテゴリ別社会的振る舞い行動傾向量閾値定義情報１０１０の"閾値－時間［秒］の割合"に定義されたカテゴリ毎の回避行動傾向量の閾値とを比較する。統合的な時間区間社会的振る舞い行動傾向判定部７２１は、比較の結果、第一のユーザが第二のユーザに対して行った社会的振る舞いの傾向が、接近行動傾向、回避行動傾向又は中間行動傾向のいずれかをカテゴリ毎に判定し、判定した結果をカテゴリ別社会的振る舞い行動傾向記録データテーブル１１２０の"社会的振る舞い行動傾向"の項目に記憶する（ステップＳ４３）。
次に、統合的な時間区間社会的振る舞い行動傾向判定部７２１は、カテゴリ別社会的振る舞い行動傾向記録データテーブル１１２０の"社会的振る舞い行動傾向"に記録した判定結果から多数決により第一のユーザが第二のユーザに対して行った社会的振る舞いの傾向を判定し、社会的振る舞い行動傾向記録データテーブル１１３０の"社会的振る舞い行動傾向"に記録し（ステップＳ４４）、本処理を終了する。
以上に説明したように、第３実施形態に係る画像生成システム１００によれば、時刻ｔｌ－１から時刻ｔｌまでの間に第一のユーザが第二のユーザに対して行った社会的振る舞いをカテゴリ毎の影響度合いを重み付けして行動傾向量を算出し、カテゴリ毎の重みづけ後の行動傾向量に基づき、ユーザの行動傾向（ユーザの動作の傾向）を統合的に確認する。これにより、第一のユーザと第二のユーザとの社会的振る舞いの共有を、カテゴリ毎の影響度合いを考慮して制御することができ、更に現実空間に近いユーザ間の関係構築が仮想空間において可能になる。
＜第４実施形態＞
＜画像生成装置の社会的振る舞い行動傾向解析部の機能構成及び各ＤＢの説明＞
次に、第４実施形態に係る社会的振る舞い行動傾向解析部１２５の機能構成及び各ＤＢについて、図３４を用いて説明する。図３４は、第４実施形態に係る社会的振る舞い行動傾向解析部１２５の機能構成及び各ＤＢの一例を示す。第４実施形態に係る社会的振る舞い行動傾向解析部１２５は、社会的振る舞い基礎情報算出部７０１、社会的振る舞いログ記録部７０２、社会的振る舞い値算出部７０３、社会的振る舞いの接近・回避傾向特定部７０４、社会的振る舞いの共有制御部７０６、カテゴリ別社会的振る舞い行動傾向量算出部７１０に加えて、カテゴリ別社会的振る舞い行動傾向量記録部７３０、接近性行動傾向及び回避性行動傾向時間帯検索部７３１、社会的振る舞い行動傾向代表値算出部７３２、ログ区間における社会的振る舞い行動傾向代表値算出部７３３、代表値を用いた時間区間社会的振る舞い行動傾向判定部７３４を有する。
また、定義情報用ＤＢ１３３に、図３５に示す社会的振る舞い行動傾向代表値行列定義情報を格納し、社会的振る舞い行動傾向情報用ＤＢ１３５に、図３７に示す代表値を用いた時間区間社会的振る舞い行動傾向判定記録データテーブル、図３６に示すログ区間における社会的振る舞い行動傾向代表値記録データテーブルを格納する。以下、本実施形態に係る社会的振る舞い行動傾向解析部１２５の機能構成及び各ＤＢについて説明する。
（カテゴリ別社会的振る舞い行動傾向量記録部）
カテゴリ別社会的振る舞い行動傾向量記録部７３０は、カテゴリ別社会的振る舞い行動傾向量算出部７１０によって算出されたカテゴリ毎の時間区間社会的振る舞い行動傾向量を記録する。
（接近性行動傾向及び回避性行動傾向時間帯検索部）
接近性行動傾向及び回避性行動傾向時間帯検索部７３１は、カテゴリ毎の時間区間内の社会的振る舞い行動傾向量の記録データの中から、接近傾向もしくは回避傾向が明瞭に表れていた時間帯を検索する。
（社会的振る舞い行動傾向代表値算出部）
社会的振る舞い行動傾向代表値算出部７３２は、ある時間帯の社会的振る舞いのデータの傾向を当該時間帯の社会的振る舞いの代表値を求める。社会的振る舞い行動傾向代表値算出部７３２は、例えば、時刻ｊｌ－１～時刻ｊｌの間（例えば１秒間隔等定量区間でもよいし、連続する数秒等の可変区間でもよい）の間の社会的振る舞いログ記録データテーブル８５０の記録を対象として、当該時間帯の接近行動傾向の比率を示す値、当該時間帯の回避行動傾向の比率を示す値、接近行動傾向と回避行動傾向の比率を示す値を当該時間帯の社会的振る舞いの代表値の行列として算出する。
代表値の行列の算出方法について説明する。例えば、探索結果範囲の開始時刻が2017/2/21 12:00:00.000であって、探索結果範囲の終了時刻が2017/2/21 12:10:00.000の６００秒間である場合、以下の各比率を時間で計算する。
図３７の二行目の例の代表値行列［３，５，３，３］は以下のように算出される。すなわち、接近行動傾向の比率を示す値は、社会的振る舞い行動傾向代表値行列定義情報１２１０の接近行動傾向の比率に対応して"求める値の定義"に定義された、Ｏｒｉｅｎｔａｔｉｏｎ＿Ｆａｃｅ＿Ｄｉｒｅｃｔｔｏ／Ｏｒｉｅｎｔａｔｉｏｎ＿Ｕｐｐｅｒｂｏｄｙ＿Ｄｉｒｅｃｔｔｏ＝３となる。
回避行動傾向の比率を示す値は、社会的振る舞い行動傾向代表値行列定義情報１２１０の回避行動傾向の比率に対応して"求める値の定義"に定義された、Ｏｒｉｅｎｔａｔｉｏｎ＿Ｆａｃｅ＿Ｉｎｄｉｒｅｃｔｔｏ／Ｏｒｉｅｎｔａｔｉｏｎ＿Ｕｐｐｅｒｂｏｄｙ＿Ｉｎｄｉｒｅｃｔｔｏ＝５となる。
接近行動傾向と回避行動傾向の比率を示す値は、社会的振る舞い行動傾向代表値行列定義情報１２１０の接近行動傾向と回避行動傾向の比率に対応して"求める値の定義"に定義された、Ｏｒｉｅｎｔａｔｉｏｎ＿Ｆａｃｅ＿Ｄｉｒｅｃｔｔｏ／Ｏｒｉｅｎｔａｔｉｏｎ＿Ｆａｃｅ＿Ｉｎｄｉｒｅｃｔｔｏ＝３と、Ｏｒｉｅｎｔａｔｉｏｎ＿Ｆａｃｅ＿Ｉｎｄｉｒｅｃｔｔｏ／Ｏｒｉｅｎｔａｔｉｏｎ＿Ｕｐｐｅｒｂｏｄｙ＿Ｄｉｒｅｃｔｔｏ＝３となる。
（ログ区間における社会的振る舞い行動傾向代表値算出部）
ログ区間における社会的振る舞い行動傾向代表値算出部７３３は、接近性行動傾向及び回避性行動傾向時間帯検索部７３１を用いて、一定のログ区間の過去の記録データの中から、接近傾向及び回避傾向が明瞭に表れていた時間帯をそれぞれ抽出し、該時間帯において社会的振る舞い行動傾向代表値算出部７３２を用いて該ログ区間における各代表値の算出する。
（代表値を用いた時間区間社会的振る舞い行動傾向判定部）
代表値を用いた時間区間社会的振る舞い行動傾向判定部７３４は、ある時間帯の社会的振る舞い行動傾向代表値と、一定のログ区間における社会的振る舞い行動傾向代表値の比較を行うことで、当該時間帯の社会的振る舞い行動傾向代表値とあるログ区間における社会的振る舞い行動傾向代表値の一致度合いを算出する。これにより、代表値を用いた時間区間社会的振る舞い行動傾向判定部７３４は、第一のユーザの第二のユーザに対する社会的振る舞いの行動の傾向を接近行動傾向もしくは回避行動傾向もしくは中間行動傾向のいずれであるかを判定する。
（社会的振る舞い行動傾向代表値行列定義情報）
図３５は、一実施形態に係る社会的振る舞い行動傾向代表値行列定義情報の一例を示す。社会的振る舞い行動傾向代表値行列定義情報１２１０は、"求める値の種類"、"求める値の定義"の項目を有する。
"求める値の種類"には、接近行動傾向の比率、回避行動傾向の比率、接近行動傾向と回避行動傾向の比率があり、各種類に対応して、"求める値の定義"が定義づけられる。
"求める値の種類"が"接近行動傾向の比率"のとき、"求める値の定義"には、Ｏｒｉｅｎｔａｔｉｏｎ＿Ｆａｃｅ＿Ｄｉｒｅｃｔｔｏ／Ｏｒｉｅｎｔａｔｉｏｎ＿Ｕｐｐｅｒｂｏｄｙ＿Ｄｉｒｅｃｔｔｏと定義される。"求める値の種類"が"回避行動傾向の比率"のとき、"求める値の定義"には、Ｏｒｉｅｎｔａｔｉｏｎ＿Ｆａｃｅ＿Ｉｎｄｉｒｅｃｔｔｏ／Ｏｒｉｅｎｔａｔｉｏｎ＿Ｕｐｐｅｒｂｏｄｙ＿Ｉｎｄｉｒｅｃｔｔｏと定義される。求める値の種類"が"接近行動傾向と回避行動傾向の比率"のとき、"求める値の定義"には、Ｏｒｉｅｎｔａｔｉｏｎ＿Ｆａｃｅ＿Ｄｉｒｅｃｔｔｏ／Ｏｒｉｅｎｔａｔｉｏｎ＿Ｆａｃｅ＿ＩｎＤｉｒｅｃｔｔｏ、又はＯｒｉｅｎｔａｔｉｏｎ＿Ｆａｃｅ＿Ｉｎｉｒｅｃｔｔｏ／Ｏｒｉｅｎｔａｔｉｏｎ＿Ｕｐｐｅｒｂｏｄｙ＿Ｄｉｒｅｃｔｔｏと記憶される。
（ログ区間における社会的振る舞い行動傾向代表値記録データテーブル）
図３６は、一実施形態に係るログ区間における社会的振る舞い行動傾向代表値記録データテーブルの一例を示す。ログ区間における社会的振る舞い行動傾向代表値記録データテーブル１２３０に含まれる情報の項目には、"ＤＢ記録時刻"、"判定範囲の開始時刻"、"判定範囲の終了時刻"、"振る舞いアバタ名"、"被振る舞いアバタ名"、"時間区間の明瞭特徴"、"代表値行列"、が含まれる。
"時間区間の明瞭特徴"には、ある時間区間に社会的振る舞い行動傾向量の記録データの中から、接近傾向もしくは回避傾向が明瞭に表れていた時間帯における行動傾向が記録される。
"代表値行列"には、接近傾向及び回避傾向が明瞭に表れていた時間帯をそれぞれ抽出したときに、該時間帯の区間における各代表値の行列が記録される。
（代表値を用いた時間区間社会的振る舞い行動傾向判定記録データテーブル）
図３７は、一実施形態に係る代表値を用いた時間区間社会的振る舞い行動傾向判定記録データテーブルの一例を示す。代表値を用いた時間区間社会的振る舞い行動傾向判定記録データテーブル１２２０に含まれる情報の項目には、"ＤＢ記録時刻"、"判定範囲の開始時刻"、"判定範囲の終了時刻"、"振る舞いアバタ名"、"被振る舞いアバタ名"、"時間区間の明瞭特徴"、"代表値行列"、"距離"が含まれる。
"距離"には、過去数日の間に記録された代表値行列と、ある時間区間の間の社会的振る舞いログ記録データを対象として求めた代表値行列とを比較し、算出された距離が記録される。
図３７の代表値を用いた時間区間社会的振る舞い行動傾向判定記録データテーブル１２２０に含まれる"距離"以外の情報の項目については、図３６のログ区間における社会的振る舞い行動傾向代表値記録データテーブル１２３０において同一項目の説明を行ったため、ここでは説明は省略する。
なお、図３４に示す社会的振る舞い行動傾向解析部１２５のうち、社会的振る舞い基礎情報算出部７０１、社会的振る舞い値算出部７０３、社会的振る舞いの接近・回避傾向特定部７０４、社会的振る舞いの共有制御部７０６、カテゴリ別社会的振る舞い行動傾向量算出部７１０、カテゴリ別社会的振る舞い行動傾向量記録部７３０、接近性行動傾向及び回避性行動傾向時間帯検索部７３１、社会的振る舞い行動傾向代表値算出部７３２、ログ区間における社会的振る舞い行動傾向代表値算出部７３３、代表値を用いた時間区間社会的振る舞い行動傾向判定部７３４の各機能は、例えば、画像生成装置１１０にインストールされたプログラムが、ＣＰＵ５０１に実行させる処理により実現することができる。
［社会的振る舞い情報の収集及び判定処理］
第４実施形態に係る社会的振る舞い情報の収集及び判定処理は、図１８及び図１９に示す第１実施形態に係る社会的振る舞い情報の収集及び判定処理と同様である。
なお、本処理の開始タイミングは、次に説明する第４実施形態に係る社会的振る舞い行動傾向判定処理の開始タイミングとは異なっていてもよいし、同じであってもよい。
例えば、図１０に示す社会的振る舞いログ記録データテーブル８５０に、未処理の社会的振る舞いログ記録データが一定量以上蓄積された場合、若しくは、本フローチャートを実行した前回処理から一定時間経過後、若しくは、対話の区切れ目等のタイミングで、時刻ｊｌに処理をスタートさせる。時刻ｊｌは、今回の更新のタイミングを表し、時刻ｊｌ－１は、前回の更新のタイミングを表し、時刻ｊｌ＋１は、次回の更新のタイミングを表すものとする。
［社会的振る舞い行動傾向代表値算出処理］
次に、第４実施形態に係る社会的振る舞い行動傾向判定処理の一例について、図３８に示す第４実施形態に係る社会的振る舞い行動傾向代表値算出処理の一例を示すフローチャートを参照しながら説明する。
本処理が開始されると、接近性行動傾向及び回避性行動傾向時間帯検索部７３１は、時刻ｊｋ－１～時刻ｊｋの間の社会的振る舞いのログ記録データを対象として、第一のユーザが第二のユーザに対して行った社会的振る舞いのうち、接近傾向もしくは回避傾向が明瞭に表れていた時間帯を検索する（ステップＳ６１）。検索する時間帯は、たとえば、１秒間隔等の定量区間でもよいし、連続する数秒の可変区間でもよい。接近傾向もしくは回避傾向が明瞭に表れていた時間帯とは、例えば、一定時間以上、接近行動傾向が続いていた場合や、社会的振る舞い行動傾向量が圧倒的に他の傾向よりも大きな値であった場合等が挙げられる。
次に、ログ区間における社会的振る舞い行動傾向代表値算出部７３３は、検索した接近傾向もしくは回避傾向が明瞭に表れたそれぞれの時間帯について、接近性行動傾向及び回避性行動傾向時間帯検索部７３１を用いて、一定のログ区間の過去のログ記録データの中から、接近傾向及び回避傾向が明瞭に表れていた時間帯をそれぞれ抽出し、該時間帯において社会的振る舞い行動傾向代表値算出部７３２を用いて該ログ区間における各代表値の算出し（ステップＳ６２）、本処理を終了する。
［社会的振る舞い行動傾向判定処理］
次に、第４実施形態に係る社会的振る舞い行動傾向判定処理の一例について図３９に示す第４実施形態に係る社会的振る舞い行動傾向判定処理の一例を示すフローチャートを参照しながら説明する。
本処理が開始されると、代表値を用いた時間区間社会的振る舞い行動傾向判定部７３４は、過去数日（例えば、１０日）の間に記録された代表値行列と、時刻ｊｋ－１～時刻ｊｋのログ区間の社会的振る舞いログ記録データを対象として求めた代表値行列とを比較し、距離を算出する（ステップＳ７１）。
次に、代表値を用いた時間区間社会的振る舞い行動傾向判定部７３４は、該距離が（例えば平均的に）閾値を下回っている傾向がある場合には、該傾向をもって、第一のユーザの第二のユーザに対する社会的振る舞いの行動の傾向を接近行動傾向若しくは回避行動傾向もしくは中間行動傾向のいずれであるかを判定し（ステップＳ７２）、本処理を終了する。
なお、過去数日の間に記録された代表値行列は、図３８のフローチャートにより算出される。また、一致度合いの計算例としては、（１－行列間の距離）を用いることができ、例えば、［３，５，３，３］の行列と［３，５，３，７］の行列との距離はｓｑｒｔ（ｓｑｒ（３－３）＋ｓｑｒ（５－５）＋ｓｑｒ（３－３）＋ｓｑｒ（３－７））＝４と算出される。距離の閾値が「５」に定義されているとすると、算出した距離４は、閾値を下回るため、過去数日の間に記録された代表値行列と、時刻ｊｋ－１～時刻ｊｋのログ区間の社会的振る舞いログ記録データを対象として求めた代表値行列とは一致していると判定される。
つまり、代表値を用いた時間区間社会的振る舞い行動傾向判定部７３４は、算出した距離が、予め定められた閾値を下回る場合、その時間区間の明瞭特徴を示す傾向を、第一のユーザから第二のユーザに対して行った社会的振る舞いの行動傾向と判定し、本処理を終了する。
以上に説明したように、第４実施形態に係る画像生成システム１００によれば、ある区間の時間帯のユーザの統合的な社会的振る舞いについて、ユーザの社会的振る舞いの傾向や、ユーザのおかれている環境によって、接近性の社会的振る舞い及び回避性の社会的振る舞いの現れ方は変わる事が想定されるため、ユーザ本人が明瞭に接近性の社会的振る舞い又は回避性の社会的振る舞いを行っていた時間帯のデータに基づいて、ユーザの社会的振る舞いの傾向を特定することができる。これにより、第一のユーザと第二のユーザとの社会的振る舞いの共有をより正確に制御することができ、更に現実空間に近いユーザ間の関係構築が仮想空間において可能になる。
なお、社会的振る舞いの接近・回避傾向特定部７０４は、コミュニケーション対象のユーザの動作を所定時間検出すると、前記検出した所定時間における前記ユーザの動作情報から、所定時間内の前記ユーザの行動の傾向を特定する特定部の一例である。
また、時間区間社会的振る舞い行動傾向判定部７０５、カテゴリ毎の時間区間社会的振る舞い行動傾向判定部７１１、統合的な時間区間社会的振る舞い行動傾向判定部７２１、代表値を用いた時間区間社会的振る舞い行動傾向判定部７３４は、ユーザの動作の傾向の判定条件を示す条件情報と該条件情報に対応するユーザの動作の判定情報とを記録する記録部を参照して、特定したユーザの動作の傾向が前記条件情報に示される判定条件を満たすか否かを判定し、判定した結果に応じて前記条件情報に対応するユーザの動作の判定情報に基づきユーザの振る舞いを判定する判定部の一例である。
以上に説明した各実施形態及び変形例によれば、ユーザの動作を検出し、ユーザの動作に対応づけてユーザの振る舞いの種別を記憶する記憶部を参照して、検出した前記ユーザの動作に対応するユーザの振る舞いの種別を判定することができる。
また、検出された前記ユーザの動作がユーザの複数の動作であり、検出された前記ユーザの複数の動作に対応する振る舞いの種別が複数の種別である場合に、前記複数の動作のうち、種別判断の確からしさの高い動作が優先的に選択されるように、ユーザの振る舞いの種別を判定することができる。
ユーザの振る舞いの種別が、社会的振る舞いのいずれかを判定する情報は、ユーザの動作の傾向の判定条件を示す条件情報と、該条件情報に対応するユーザの動作の判定情報と、を含んでもよい。例えば、ユーザの動作の傾向の判定条件を示す条件情報及び該条件情報に対応するユーザの動作の判定情報は、社会的振る舞い行動傾向量閾値定義情報９００に定義された閾値及び閾値に対応する判定の情報であってもよい。
ユーザの振る舞いの複数の種別をカテゴリ毎に判定する情報は、ユーザの動作の傾向の判定条件を示すカテゴリ毎の条件情報と、該カテゴリ毎の条件情報に対応する動作の判定情報と、を含んでもよい。例えば、ユーザの振る舞いの複数の種別をカテゴリ毎に判定する情報は、カテゴリ別社会的振る舞い行動傾向量閾値定義情報１０１０に定義されたカテゴリ毎の閾値及び閾値に対応する判定の情報であってもよい。
ユーザの動作に応じた影響度を示す重みを記憶した記憶部を参照して、特定の前記ユーザの動作に重み付けを行い、重み付けを行った後の前記ユーザの動作に対応するユーザの振る舞いの種別を判定してもよい。
また、ユーザの動作を検出した所定時間と異なる時間帯に検出したユーザの動作に対応して判定した前記ユーザの振る舞いの種別に基づき、前記所定時間に検出したユーザの動作に対応するユーザの振る舞いの種別を判定してもよい。例えば、所定時間に検出したユーザの動作の一例としては、時刻jｌ－１から時刻jｌまでの間の社会的振る舞いログ記録データテーブル８５０に記録された情報が挙げられる。所定時間と異なる時間帯は、例えば、一定のログ区間（例えば１０日）の過去の記録データの中から、接近傾向及び回避傾向が明瞭に表れていた時間帯であってもよく、例えば社会的振る舞いログ記録データテーブル８５０に記録された情報から取得できる。
以上、判定プログラム、判定方法及び画像生成装置を上記実施形態により説明したが、本発明に係る判定プログラム、判定方法及び画像生成装置は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記実施形態及び変形例が複数存在する場合、矛盾しない範囲で組み合わせることができる。
本発明に係る画像生成システムは、ＶＲや、ＡＲや、ＭＲ等を用いて、ユーザの視界に対話相手の実像の代替物（アバタ）を提示する場合に、現実空間と同様の関係性構築支援を行う技術に適用可能である。例えば、遠隔教育における英語講師と学習者の間等では、現実空間と同様の関係性構築が出来る事が求められる。ところが、ＶＲやＡＲやＭＲでは周辺視野や視野角等が現実空間同様ではなく、遠隔教育等でコンテンツを見ながら、対話相手の社会的振る舞いを見るには、十分でない。
このような環境で関係性構築するには、対話相手が自分に対して、接近性・回避性の行動をしているのか、していないのか、どのような接近性・回避性の行動をしているのか、双方で共有する事を（特に視野が悪い状況では）支援する本発明に係る画像生成システムが有益である。つまり、本発明に係る画像生成システムによれば、第一のユーザと第二のユーザとの社会的振る舞いの共有をより正確に制御することができ、現実空間に近いユーザ間の関係構築が仮想空間において可能になる。
以上の説明に関し、更に以下の項を開示する。
（付記１）
ユーザの動作を検出し、
ユーザの動作に対応づけてユーザの振る舞いの種別を記憶する記憶部を参照して、検出した前記ユーザの動作に対応するユーザの振る舞いの種別を判定する、処理をコンピュータに実行させる判定プログラム。
（付記２）
検出された前記ユーザの動作がユーザの複数の動作であり、検出された前記ユーザの複数の動作に対応する振る舞いの種別が複数の種別である場合に、前記複数の動作のうち、種別判断の確からしさの高い動作が優先的に選択されるように、ユーザの振る舞いの種別を判定する、
付記１に記載の判定プログラム。
（付記３）
前記ユーザの動作は、ユーザの身体の全体の動作及び／又はユーザの身体の部分の動作である、
付記１又は２に記載の判定プログラム。
（付記４）
前記ユーザの振る舞いの種別は、コミュニケーション対象の第一のユーザの第一のアバタと、コミュニケーション相手の機械のアバタ又は第二のユーザの第二のアバタとの位置の変化を示すカテゴリ、前記第一のアバタの身体の向きを示すカテゴリ、前記第一のアバタの身体の傾きを示すカテゴリ、前記第一のアバタの注目を示すカテゴリ、及び前記第一のアバタのジェスチャを示すカテゴリを含む、
付記１～３のいずれか一項に記載の判定プログラム。
（付記５）
前記ユーザの振る舞いの種別を、接近行動傾向、回避行動傾向又は中間行動傾向のいずれかに判定する、
付記１～４のいずれか一項に記載の判定プログラム。
（付記６）
ユーザの動作に応じた影響度を示す重みを記憶した記憶部を参照して、特定の前記ユーザの動作に重み付けを行い、
重み付けを行った後の前記ユーザの動作に対応するユーザの振る舞いの種別を判定する、
付記１～５のいずれか一項に記載の判定プログラム。
（付記７）
前記ユーザの動作を検出した所定時間と異なる時間帯に検出したユーザの動作に対応して判定した前記ユーザの振る舞いの種別に基づき、前記所定時間に検出したユーザの動作に対応するユーザの振る舞いの種別を判定する、
付記１～６のいずれか一項に記載の判定プログラム。
（付記８）
前記ユーザの振る舞いの種別を判定する処理は、検出した前記ユーザの動作の変化が閾値以下となったとき、コミュニケーションの相手となるユーザのアバタ又は機械のアバタによる特定の動作が検出されたとき、又は、アバタ同士のコミュニケーションが行われる環境について特定の変化が検出されたとき、の少なくともいずれかに対応して開始される、
付記１～７のいずれか一項に記載の判定プログラム。
（付記９）
ユーザの動作を検出し、
ユーザの動作に対応づけてユーザの振る舞いの種別を記憶する記憶部を参照して、検出した前記ユーザの動作に対応するユーザの振る舞いの種別を判定する、
ことをコンピュータが実行する判定方法。
（付記１０）
検出された前記ユーザの動作がユーザの複数の動作であり、検出された前記ユーザの複数の動作に対応する振る舞いの種別が複数の種別である場合に、前記複数の動作のうち、種別判断の確からしさの高い動作が優先的に選択されるように、ユーザの振る舞いの種別を判定する、
付記９に記載の判定方法。
（付記１１）
前記ユーザの動作は、ユーザの身体の全体の動作及び／又はユーザの身体の部分の動作である、
付記９又は１０に記載の判定方法。
（付記１２）
前記ユーザの振る舞いの種別は、コミュニケーション対象の第一のユーザの第一のアバタと、コミュニケーション相手の機械のアバタ又は第二のユーザの第二のアバタとの位置の変化を示すカテゴリ、前記第一のアバタの身体の向きを示すカテゴリ、前記第一のアバタの身体の傾きを示すカテゴリ、前記第一のアバタの注目を示すカテゴリ、及び前記第一のアバタのジェスチャを示すカテゴリを含む、
付記９～１１のいずれか一項に記載の判定方法。
（付記１３）
前記ユーザの振る舞いの種別を、接近行動傾向、回避行動傾向又は中間行動傾向のいずれかに判定する、
付記９～１２のいずれか一項に記載の判定方法。
（付記１４）
ユーザの動作に応じた影響度を示す重みを記憶した記憶部を参照して、特定の前記ユーザの動作に重み付けを行い、
重み付けを行った後の前記ユーザの動作に対応するユーザの振る舞いの種別を判定する、
付記９～１３に記載の判定方法。
（付記１５）
前記ユーザの動作を検出した所定時間と異なる時間帯に検出したユーザの動作に対応して判定した前記ユーザの振る舞いの種別に基づき、前記所定時間に検出したユーザの動作に対応するユーザの振る舞いの種別を判定する、
付記９～１４のいずれか一項に記載の判定方法。
（付記１６）
前記ユーザの振る舞いの種別を判定する処理は、検出した前記ユーザの動作の変化が閾値以下となったとき、コミュニケーションの相手となるユーザのアバタ又は機械のアバタによる特定の動作が検出されたとき、又は、アバタ同士のコミュニケーションが行われる環境について特定の変化が検出されたとき、の少なくともいずれかに対応して開始される、
付記９～１５のいずれか一項に記載の判定方法。
（付記１７）
ユーザの動作を検出する基本機能部と、
ユーザの動作に対応づけてユーザの振る舞いの種別を記憶する記憶部を参照して、検出した前記ユーザの動作に対応するユーザの振る舞いの種別を判定する判定部と、
を有する画像生成装置。
（付記１８）
前記判定部は、検出された前記ユーザの動作がユーザの複数の動作であり、検出された前記ユーザの複数の動作に対応する振る舞いの種別が複数の種別である場合に、前記複数の動作のうち、種別判断の確からしさの高い動作が優先的に選択されるように、ユーザの振る舞いの種別を判定する、
付記１７に記載の画像生成装置。
（付記１９）
前記ユーザの動作は、ユーザの身体の全体の動作及び／又はユーザの身体の部分の動作である、
付記１７又は１８に記載の画像生成装置。
（付記２０）
前記ユーザの振る舞いの種別は、コミュニケーション対象の第一のユーザの第一のアバタと、コミュニケーション相手の機械のアバタ又は第二のユーザの第二のアバタとの位置の変化を示すカテゴリ、前記第一のアバタの身体の向きを示すカテゴリ、前記第一のアバタの身体の傾きを示すカテゴリ、前記第一のアバタの注目を示すカテゴリ、及び前記第一のアバタのジェスチャを示すカテゴリを含む、
付記１７～１９のいずれか一項に記載の画像生成装置。
（付記２１）
前記ユーザの振る舞いの種別を、接近行動傾向、回避行動傾向又は中間行動傾向のいずれかに判定する、
付記１７～２０のいずれか一項に記載の画像生成装置。
（付記２２）
ユーザの動作に応じた影響度を示す重みを記憶した記憶部を参照して、特定の前記ユーザの動作に重み付けを行う重み算出部を有し、
前記判定部は、重み付けを行った後の前記ユーザの動作に対応するユーザの振る舞いの種別を判定する、
付記１７～２１のいずれか一項に記載の画像生成装置。
（付記２３）
前記判定部は、前記ユーザの動作を検出した所定時間と異なる時間帯に検出したユーザの動作に対応して判定した前記ユーザの振る舞いの種別に基づき、前記所定時間に検出したユーザの動作に対応するユーザの振る舞いの種別を判定する、
付記１７～２２のいずれか一項に記載の画像生成装置。
（付記２４）
前記判定部は、検出した前記ユーザの動作の変化が閾値以下となったとき、コミュニケーションの相手となるユーザのアバタ又は機械のアバタによる特定の動作が検出されたとき、又は、アバタ同士のコミュニケーションが行われる環境について特定の変化が検出されたとき、の少なくともいずれかに対応して前記ユーザの振る舞いの種別の判定を開始する、
付記１７～２３のいずれか一項に記載の画像生成装置。
１００ ：画像生成システム
１１０ ：画像生成装置
１２５ ：社会的振る舞い行動傾向解析部
１３１ ：コンテンツ用ＤＢ
１３２ ：センサデータ用ＤＢ
１３３ ：定義情報用ＤＢ
１３４ ：ログ用ＤＢ
１３５ ：社会的振る舞い行動傾向情報用ＤＢ
１４０、１５０ ：クライアント側システム
１４１、１５１ ：情報処理装置
１４２、１５２ ：情報提示装置
１４３、１５３ ：情報収集装置（頭部姿勢センサ）
１４４、１５４ ：情報収集装置（深度センサ）
１４５、１５５ ：情報収集装置（筋電位センサ）
２２０、２３０ ：ユーザのアバタの画像
２４０ ：機械のアバタの画像
７０１ ：社会的振る舞い基礎情報算出部
７０２ ：社会的振る舞いログ記録部
７０３ ：社会的振る舞い値算出部
７０４ ：社会的振る舞いの接近・回避傾向特定部
７０５ ：時間区間社会的振る舞い行動傾向判定部
７０６ ：社会的振る舞いの共有制御部
７１０ ：カテゴリ別社会的振る舞い行動傾向量算出部
７１１ ：カテゴリ毎の時間区間社会的振る舞い行動傾向判定部
７２０ ：社会的振る舞いのカテゴリ別重み算出部
７２１ ：統合的な時間区間社会的振る舞い行動傾向判定部
７３０ ：カテゴリ別社会的振る舞い行動傾向量記録部
７３１ ：接近性行動傾向及び回避性行動傾向時間帯検索部
７３２ ：社会的振る舞い行動傾向代表値算出部
７３３ ：ログ区間における社会的振る舞い行動傾向代表値算出部
７３４ ：代表値を用いた時間区間社会的振る舞い行動傾向判定部
８１０ ：筋電位データテーブル
８２０ ：頭部姿勢データテーブル
８３０ ：深度センサデータファイルテーブル
８４０ ：振る舞いログ更新記録データテーブル
８５０ ：社会的振る舞いログ記録データテーブル
８６０ ：社会的振る舞い値算出記録データテーブル
８７０ ：監視対象データログ定義情報
８８０ ：社会的振る舞い判定ＡＰＩ定義情報
８９０ ：社会的振る舞いの接近・回避傾向定義情報
９００ ：社会的振る舞い行動傾向量閾値定義情報
９１０ ：社会的振る舞い行動傾向量記録データテーブル
９２０ ：社会的振る舞い行動傾向記録データテーブル
１０００ ：社会的振る舞いのカテゴリ分類定義情報
１０１０ ：カテゴリ別社会的振る舞い行動傾向量閾値定義情報
１０２０ ：カテゴリ別社会的振る舞い行動傾向量記録データテーブル
１０３０ ：カテゴリ別社会的振る舞い行動傾向記録データテーブル
１０４０ ：社会的振る舞い行動傾向記録データテーブル
１１００ ：社会的振る舞い基礎情報の影響の度合いによる社会的振る舞いのカテゴリ毎重み定義情報
１１１０ ：カテゴリ別重みつき社会的振る舞い行動傾向量記録データテーブル
１１２０ ：カテゴリ別社会的振る舞い行動傾向記録データテーブル
１１３０ ：社会的振る舞い行動傾向記録データテーブル
１２１０ ：社会的振る舞い行動傾向代表値行列定義情報
１２２０ ：代表値を用いた時間区間社会的振る舞い行動傾向判定記録データテーブル
１２３０ ：ログ区間における社会的振る舞い行動傾向代表値記録データテーブル

Claims (8)

  1. ユーザの振る舞いを仮想空間で表示させるアバタの画像を生成する際に、前記ユーザの体の複数箇所を測定することで得られたデータを取得し、
    ユーザの動作タイプに対応づけてユーザの振る舞いの接近傾向又は回避傾向を記憶する記憶部を参照して、取得した前記データが示す動作に対応するユーザの振る舞いの接近傾向又は回避傾向を判定し、
    前記接近傾向及び回避傾向の判定結果から、所定時間の接近行動傾向量及び回避行動傾向量を算出し、
    算出した前記接近行動傾向量と予め設定された接近行動傾向量の閾値とを比較し、算出した前記回避行動傾向量と予め設定された回避行動傾向量の閾値とを比較し、比較の結果に基づき、前記ユーザの振る舞いの種別を、カテゴリ別社会的振る舞い行動傾向量閾値定義情報に応じて、以下の（１）～（４）の場合に分けてカテゴリ別に接近行動傾向、回避行動傾向又は中間行動傾向のいずれかに判定し、
    前記ユーザの振る舞いの種別は、コミュニケーション対象の第一のユーザの第一のアバタと、コミュニケーション相手の機械のアバタ又は第二のユーザの第二のアバタとの位置の変化を示すカテゴリ、前記第一のアバタの身体の向きを示すカテゴリ、前記第一のアバタの身体の傾きを示すカテゴリ、前記第一のアバタの注目を示すカテゴリ、及び前記第一のアバタのジェスチャを示すカテゴリを含み、
    （１）前記接近行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えた場合であって、かつ、前記回避行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えなかった場合、該当カテゴリについての前記ユーザの振る舞いの種別を接近行動傾向と判定し、
    （２）前記接近行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えなかった場合であって、かつ、前記回避行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えた場合、該当カテゴリについての前記ユーザの振る舞いの種別を回避行動傾向と判定し、
    （３）前記接近行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えなかった場合であって、かつ、前記回避行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えなかった場合、該当カテゴリについての前記ユーザの振る舞いの種別を、中間行動傾向と判定し、
    （４）前記接近行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えた場合であって、かつ、前記回避行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えた場合、該当カテゴリについての前記ユーザの振る舞いの種別を中間行動傾向と判定する、処理をコンピュータに実行させる判定プログラム。
  2. 検出された前記ユーザの動作がユーザの複数の動作であり、検出された前記ユーザの複数の動作に対応する振る舞いの種別が複数の種別である場合に、前記複数の動作のうち、種別判断の確からしさの高い動作が優先的に選択されるように、ユーザの振る舞いの種別を判定する、
    請求項１に記載の判定プログラム。
  3. 前記ユーザの動作は、ユーザの身体の全体の動作及び／又はユーザの身体の部分の動作である、
    請求項１又は２に記載の判定プログラム。
  4. ユーザの動作に応じた影響度を示す重みを記憶した記憶部を参照して、特定の前記ユーザの動作に重み付けを行い、
    重み付けを行った後の前記ユーザの動作に対応するユーザの振る舞いの種別を判定する、
    請求項１～３のいずれか一項に記載の判定プログラム。
  5. 前記ユーザの動作を検出した所定時間と異なる時間帯に検出したユーザの動作に対応して判定した前記ユーザの振る舞いの種別に基づき、前記所定時間に検出したユーザの動作に対応するユーザの振る舞いの種別を判定する、
    請求項１～４のいずれか一項に記載の判定プログラム。
  6. 前記ユーザの振る舞いの種別を判定する処理は、検出した前記ユーザの動作の変化が閾値以下となったとき、コミュニケーションの相手となるユーザのアバタ又は機械のアバタによる特定の動作が検出されたとき、又は、アバタ同士のコミュニケーションが行われる環境について特定の変化が検出されたとき、の少なくともいずれかに対応して開始される、
    請求項１～５のいずれか一項に記載の判定プログラム。
  7. ユーザの振る舞いを仮想空間で表示させるアバタの画像を生成する際に、前記ユーザの体の複数箇所を測定することで得られたデータを取得し、
    ユーザの動作タイプに対応づけてユーザの振る舞いの接近傾向又は回避傾向を記憶する記憶部を参照して、取得した前記データが示す動作に対応するユーザの振る舞いの接近傾向又は回避傾向を判定し、
    前記接近傾向及び回避傾向の判定結果から、所定時間の接近行動傾向量及び回避行動傾向量を算出し、
    算出した前記接近行動傾向量と予め設定された接近行動傾向量の閾値とを比較し、算出した前記回避行動傾向量と予め設定された回避行動傾向量の閾値とを比較し、比較の結果に基づき、前記ユーザの振る舞いの種別を、カテゴリ別社会的振る舞い行動傾向量閾値定義情報に応じて、以下の（１）～（４）の場合に分けてカテゴリ別に接近行動傾向、回避行動傾向又は中間行動傾向のいずれかに判定し、
    前記ユーザの振る舞いの種別は、コミュニケーション対象の第一のユーザの第一のアバタと、コミュニケーション相手の機械のアバタ又は第二のユーザの第二のアバタとの位置の変化を示すカテゴリ、前記第一のアバタの身体の向きを示すカテゴリ、前記第一のアバタの身体の傾きを示すカテゴリ、前記第一のアバタの注目を示すカテゴリ、及び前記第一のアバタのジェスチャを示すカテゴリを含み、
    （１）前記接近行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えた場合であって、かつ、前記回避行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えなかった場合、該当カテゴリについての前記ユーザの振る舞いの種別を接近行動傾向と判定し、
    （２）前記接近行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えなかった場合であって、かつ、前記回避行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えた場合、該当カテゴリについての前記ユーザの振る舞いの種別を回避行動傾向と判定し、
    （３）前記接近行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えなかった場合であって、かつ、前記回避行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えなかった場合、該当カテゴリについての前記ユーザの振る舞いの種別を、中間行動傾向と判定し、
    （４）前記接近行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えた場合であって、かつ、前記回避行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えた場合、該当カテゴリについての前記ユーザの振る舞いの種別を中間行動傾向と判定する、処理をコンピュータが実行する判定方法。
  8. ユーザの振る舞いを仮想空間で表示させるアバタの画像を生成する際に、前記ユーザの体の複数箇所を測定することで得られたデータを取得するセンサデータ収集処理管理部と、
    ユーザの動作タイプに対応づけてユーザの振る舞いの接近傾向又は回避傾向を記憶する記憶部を参照して、取得した前記データが示す動作に対応するユーザの振る舞いの接近傾向又は回避傾向を判定し、
    前記接近傾向及び回避傾向の判定結果から、所定時間の接近行動傾向量及び回避行動傾向量を算出し、
    算出した前記接近行動傾向量と予め設定された接近行動傾向量の閾値とを比較し、算出した前記回避行動傾向量と予め設定された回避行動傾向量の閾値とを比較し、比較の結果に基づき、前記ユーザの振る舞いの種別を、カテゴリ別社会的振る舞い行動傾向量閾値定義情報に応じて、以下の（１）～（４）の場合に分けてカテゴリ別に接近行動傾向、回避行動傾向又は中間行動傾向のいずれかに判定する社会的振る舞い行動傾向解析部と、
    を有し、
    前記ユーザの振る舞いの種別は、コミュニケーション対象の第一のユーザの第一のアバタと、コミュニケーション相手の機械のアバタ又は第二のユーザの第二のアバタとの位置の変化を示すカテゴリ、前記第一のアバタの身体の向きを示すカテゴリ、前記第一のアバタの身体の傾きを示すカテゴリ、前記第一のアバタの注目を示すカテゴリ、及び前記第一のアバタのジェスチャを示すカテゴリを含み、
    社会的振る舞い行動傾向解析部は、
    （１）前記接近行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えた場合であって、かつ、前記回避行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えなかった場合、該当カテゴリについての前記ユーザの振る舞いの種別を接近行動傾向と判定し、
    （２）前記接近行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えなかった場合であって、かつ、前記回避行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えた場合、該当カテゴリについての前記ユーザの振る舞いの種別を回避行動傾向と判定し、
    （３）前記接近行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えなかった場合であって、かつ、前記回避行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えなかった場合、該当カテゴリについての前記ユーザの振る舞いの種別を、中間行動傾向と判定し、
    （４）前記接近行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えた場合であって、かつ、前記回避行動傾向量が前記接近行動傾向量のカテゴリ別の閾値を超えた場合、該当カテゴリについての前記ユーザの振る舞いの種別を中間行動傾向と判定する、画像生成装置。
JP2017242963A 2017-12-19 2017-12-19 判定プログラム、判定方法及び画像生成装置 Active JP7077603B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017242963A JP7077603B2 (ja) 2017-12-19 2017-12-19 判定プログラム、判定方法及び画像生成装置
US16/222,331 US10824223B2 (en) 2017-12-19 2018-12-17 Determination apparatus and determination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017242963A JP7077603B2 (ja) 2017-12-19 2017-12-19 判定プログラム、判定方法及び画像生成装置

Publications (2)

Publication Number Publication Date
JP2019109761A JP2019109761A (ja) 2019-07-04
JP7077603B2 true JP7077603B2 (ja) 2022-05-31

Family

ID=66815959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017242963A Active JP7077603B2 (ja) 2017-12-19 2017-12-19 判定プログラム、判定方法及び画像生成装置

Country Status (2)

Country Link
US (1) US10824223B2 (ja)
JP (1) JP7077603B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410359B2 (en) * 2020-03-05 2022-08-09 Wormhole Labs, Inc. Content and context morphing avatars
US11423620B2 (en) * 2020-03-05 2022-08-23 Wormhole Labs, Inc. Use of secondary sources for location and behavior tracking
JP7459679B2 (ja) * 2020-06-23 2024-04-02 富士通株式会社 行動認識方法、行動認識プログラム及び行動認識装置
US20240020626A1 (en) * 2022-07-14 2024-01-18 ThirdEye Gen, Inc Augmented reality system for supply chain operational environments

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012533120A (ja) 2009-07-09 2012-12-20 マイクロソフト コーポレーション プレーヤーの表現に基づく視覚表示の表現方法及びシステム
JP2015035769A (ja) 2013-08-09 2015-02-19 株式会社リコー 情報処理装置、情報処理システム及びプログラム
JP2017073042A (ja) 2015-10-08 2017-04-13 富士通株式会社 画像生成システム、画像生成プログラム及び画像生成方法
JP2017076202A (ja) 2015-10-13 2017-04-20 富士通株式会社 反応出力システム、反応出力プログラム、反応出力方法
JP2017215468A (ja) 2016-05-31 2017-12-07 トヨタ自動車株式会社 音声対話装置および音声対話方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3753882B2 (ja) 1999-03-02 2006-03-08 株式会社東芝 マルチモーダルインターフェース装置及びマルチモーダルインターフェース方法
JP3368226B2 (ja) 1999-03-26 2003-01-20 キヤノン株式会社 情報処理方法及び情報処理装置
US7908554B1 (en) * 2003-03-03 2011-03-15 Aol Inc. Modifying avatar behavior based on user action or mood
US7990387B2 (en) * 2007-08-16 2011-08-02 International Business Machines Corporation Method and apparatus for spawning projected avatars in a virtual universe
US20090058862A1 (en) * 2007-08-27 2009-03-05 Finn Peter G Automatic avatar transformation for a virtual universe
US20110004481A1 (en) * 2008-09-19 2011-01-06 Dell Products, L.P. System and method for communicating and interfacing between real and virtual environments
US8788973B2 (en) * 2011-05-23 2014-07-22 Microsoft Corporation Three-dimensional gesture controlled avatar configuration interface
JP5966121B2 (ja) 2011-10-03 2016-08-10 株式会社ユピテル 運転支援システムおよび運転支援プログラム
US10702773B2 (en) * 2012-03-30 2020-07-07 Videx, Inc. Systems and methods for providing an interactive avatar
US20160134840A1 (en) * 2014-07-28 2016-05-12 Alexa Margaret McCulloch Avatar-Mediated Telepresence Systems with Enhanced Filtering
WO2016145129A1 (en) * 2015-03-09 2016-09-15 Ventana 3D, Llc Avatar control system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012533120A (ja) 2009-07-09 2012-12-20 マイクロソフト コーポレーション プレーヤーの表現に基づく視覚表示の表現方法及びシステム
JP2015035769A (ja) 2013-08-09 2015-02-19 株式会社リコー 情報処理装置、情報処理システム及びプログラム
JP2017073042A (ja) 2015-10-08 2017-04-13 富士通株式会社 画像生成システム、画像生成プログラム及び画像生成方法
JP2017076202A (ja) 2015-10-13 2017-04-20 富士通株式会社 反応出力システム、反応出力プログラム、反応出力方法
JP2017215468A (ja) 2016-05-31 2017-12-07 トヨタ自動車株式会社 音声対話装置および音声対話方法

Also Published As

Publication number Publication date
JP2019109761A (ja) 2019-07-04
US20190187780A1 (en) 2019-06-20
US10824223B2 (en) 2020-11-03

Similar Documents

Publication Publication Date Title
US11379287B2 (en) System and method for error detection and correction in virtual reality and augmented reality environments
JP7077603B2 (ja) 判定プログラム、判定方法及び画像生成装置
US10593025B2 (en) Method and system for reconstructing obstructed face portions for virtual reality environment
EP3674852B1 (en) Method and apparatus with gaze estimation
US20220207772A1 (en) Generating pose information for a person in a physical environment
JP6756236B2 (ja) アクション指示プログラム、アクション指示方法及び画像生成装置
JP6569452B2 (ja) 画像生成システム、画像生成プログラム及び画像生成方法
JP2021534516A (ja) 眼鏡用仮想試着システム及び方法
Plantard et al. Filtered pose graph for efficient kinect pose reconstruction
US20160171287A1 (en) Fitting glasses frames to a user
US20170365084A1 (en) Image generating apparatus and image generating method
US11449718B2 (en) Methods and systems of real time movement classification using a motion capture suit
JP4868360B2 (ja) 興味傾向情報出力装置、興味傾向情報出力方法、及びプログラム
Haggag et al. Body parts segmentation with attached props using rgb-d imaging
US10788887B2 (en) Image generation program, image generation device, and image generation method
Kim et al. Head-mounted binocular gaze detection for selective visual recognition systems
Leoncini et al. Multiple NUI device approach to full body tracking for collaborative virtual environments
JP2008046802A (ja) インタラクション情報出力装置、インタラクション情報出力方法、及びプログラム
JPWO2022024272A5 (ja)
Adiani et al. Evaluation of webcam-based eye tracking for a job interview training platform: Preliminary results
WO2024069997A1 (ja) 仮想三次元空間共有システム、仮想三次元空間共有方法、及び仮想三次元空間共有サーバ
US20210255704A1 (en) Methods and systems of real time hand movement classification
WO2022091166A1 (ja) 追跡装置、追跡システム、追跡方法、および記録媒体
WO2024110779A1 (en) Method for triggering actions in the metaverse or virtual worlds
CN116685891A (zh) 在虚拟环境中用于多用户群组意图处理的跨模态输入融合

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220502

R150 Certificate of patent or registration of utility model

Ref document number: 7077603

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150