JP6982203B2 - キャラクタ画像生成装置、キャラクタ画像生成方法及びプログラム - Google Patents
キャラクタ画像生成装置、キャラクタ画像生成方法及びプログラム Download PDFInfo
- Publication number
- JP6982203B2 JP6982203B2 JP2021026614A JP2021026614A JP6982203B2 JP 6982203 B2 JP6982203 B2 JP 6982203B2 JP 2021026614 A JP2021026614 A JP 2021026614A JP 2021026614 A JP2021026614 A JP 2021026614A JP 6982203 B2 JP6982203 B2 JP 6982203B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- real object
- character image
- character
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、キャラクタ画像生成装置の一例としての、撮像画像に基づく実空間計測が可能な端末装置に、本発明を適用した例を説明する。しかし、本発明は、実空間に存在する実オブジェクトの特性に応じた表示態様のキャラクタ画像を生成することが可能な任意の機器に適用可能である。また、本明細書において、「場所記述情報」とは、任意の位置で撮像された画像における特徴点の分布をスクリーン座標として記録した情報を指し、また「3次元空間情報(あるいは単に空間情報)」とは、端末装置の移動や姿勢変化と、これに伴い撮像された撮像画像とに基づいて構築された、実空間中の特徴点とその位置(空間座標)を示す情報の集合を指すものとする。
図1は、本発明の実施形態に係るキャラクタ画像生成システムの構成を示したシステム図である。図1に示されるように、本実施形態のキャラクタ画像生成システムは、ユーザへのキャラクタ画像の提示を行う端末装置10、後述の実オブジェクトの特性把握に係る解析を行うサーバ20、及びこれら装置間での通信接続と情報通信とを実現する、移動通信網や無線LAN等であってよいネットワーク30で構成される。図1の例では、1つのサーバ20に対し、1つの端末装置10が接続される構成を示しているが、本発明の実施はこれに限られるものではなく、複数の端末装置10が1つのサーバ20に接続可能に構成されるものであってよいことは言うまでもない。
図2は、本実施形態による端末装置10の概略的なハードウェア構成図である。端末装置10は、例えば、スマートフォンといった携帯型の通信端末である。スピーカ101は、制御部100から出力する音声信号を音声に変換する。マイク102は、音声を音声信号に変換して制御部100に出力する。撮像部103は、レンズ及びCCDセンサを有し、画像情報を取得して制御部100に出力する。ディスプレイ105は、本実施形態では、タッチセンシティブディスプレイであり、ユーザへの情報の提示に加え、ユーザ操作の入力部としても機能する。なお、ディスプレイがタッチセンシティブディスプレイではない場合、別に、入力部を設ける。深さセンサ106は、オブジェクトまでの距離(深さ)を測定して測定結果を深さ情報として制御部100に出力する。通信部107は、移動通信網や無線LANであってよいネットワーク30を介した通信処理を行う。地磁気センサ108は、地磁気を検出して端末の基準方向の現在の向きを示す方位情報を制御部100に出力する。加速度センサ109は、加速度を検出して加速度情報を制御部100に出力する。ジャイロセンサ110は、角速度を検出して角速度情報を制御部100に出力する。
図3は、本発明の実施形態に係る端末装置10において実現される機能構成モジュールを示したソフトウェア構成図である。これら機能構成モジュールは、制御部100により対応するプログラムがメモリ展開されて実行されることにより実現される。
場所記述情報生成モジュール111は、例えば、非特許文献1に記載された技術に基づき場所記述情報を生成する。場所記述情報とは、撮像部103が撮像している画像から端末装置の3次元空間位置と撮像部103の撮像方向を判定するための情報である。まず、非特許文献1に記載された場所記述情報の生成について説明する。端末装置10のユーザは、場所記述情報の取得を開始すると、撮像部103により画像を撮像しながら、その位置や、撮像方向を変化させる。場所記述情報生成モジュール111は、場所記述情報の取得の間、その開始時の位置を原点とし、加速度情報及び角速度情報に基づき、(暫定的な)端末装置の位置や撮像方向の向き(姿勢)を判定し続ける。また、場所記述情報生成モジュール111は、撮像部103が撮像している画像内の特徴点を求める。このとき、場所記述情報生成モジュール111は、3次元空間における端末装置の位置や撮像方向と、画像内の同じ特徴点の位置、つまり、特徴点のスクリーン座標を判定する。これにより、場所記述情報生成モジュール111は、3次元空間内の各位置及び各撮像方向において、撮像部103が撮像している画像内のどの位置に各特徴点が見えるかを示す場所記述情報を生成する。よって、場所記述情報生成モジュール111は、既に生成した場所記述情報と、撮像部103が撮像している画像の特徴点とを比較することで、そのときの(最終的な)端末装置の3次元空間位置と撮像部103の撮像方向を判定することができる。なお、3次元空間位置の原点は、場所記述情報を開始したときの位置であるものとする。また、場所記述情報生成モジュール111は、既に保存している場所記述情報と、撮像部103が撮像している画像の特徴点との比較により端末装置の3次元空間位置と撮像部103の撮像方向を判定すると同時に、撮像部103が撮像している画像の特徴点に基づき当該既に保存している場所記述情報の更新も行う。
本実施形態のサーバ20のハードウェア構成は、端末装置10との通信及び所定の処理を実行可能に構成されるものであればよいため、省略する。以下、本実施形態のサーバ20において実現される機能構成モジュールを示したソフトウェア構成について、図4を用いて説明する。これら機能構成モジュールは、端末装置10と同様に、不図示のサーバ20が有する制御部、フラッシュメモリ、RAM等により実現されるものとする。
このような構成をもつ本実施形態の端末装置10の表示処理について、図6のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部100が、例えばフラッシュメモリに記憶されている対応する処理プログラムを読み出し、RAMに展開して実行することにより各モジュールを動作させ、実現することができる。本表示処理は、例えば複合現実感提示に係る所定のアプリケーションが起動された際に開始され、ディスプレイ105に表示されるフレームごとに繰り返し実行されるものとして説明する。
上述たように実オブジェクトの用途に係る特性情報が取得される場合、撮像環境に存在する実オブジェクトを単に障害物としてではなく把握することができるため、該特性情報に応じた行動をとらせるよう、仮想キャラクタを制御できる。例えば、実オブジェクトが椅子や座布団等であり、着座用途であることが把握できる場合には、仮想キャラクタを該実オブジェクト上に着座させるよう、挙動制御するものであってよい。あるいは、実オブジェクトがテーブル等であり、着座用途ではなく、物体載置用途であることが把握できる場合には、仮想キャラクタを該実オブジェクト上に配置しないがキャラクタの装着品等は配置可能とする、仮想キャラクタが該実オブジェクトを避けて歩行する等、挙動制御するものであってよい。また例えば実オブジェクトが絵画や造形物等であり、観賞用途であることが把握できる場合には、仮想キャラクタは該実オブジェクトに注視するよう挙動制御するものであってもよい。
実オブジェクトが機能を果たすことによって他の実オブジェクトに影響を及ぼす特性情報が取得される場合、撮像環境に存在する実オブジェクトに起因する変化が生じるよう、仮想キャラクタの描写を制御することができる。例えば、実オブジェクトが照明器具であり、機能することにより周囲の実オブジェクトの輝度変化や陰影変化を生じさせるとの特性が把握できる場合には、該実オブジェクトの影響を受ける所定の範囲に仮想キャラクタが配置される場合において、仮想キャラクタの位置と該実オブジェクトの位置及び光源特性の情報に基づき、仮想キャラクタの輝度やキャラクタに係り発生させる陰影の状態を制御するものであってよい。また例えば、実オブジェクトが空調機器であり、機能することによりカーテン等の周囲の実オブジェクトの動き(揺れ)を生じさせるとの特性が把握できる場合には、該実オブジェクトの影響を受ける所定の範囲に仮想キャラクタが配置される場合において、毛髪や被服等の挙動を制御するものであってよい。もちろん、このように他の実オブジェクトに影響を及ぼすか否かは、照明器具や空調機器の運転状況にもよるものであるため、解析モジュール201は、その運転状況によって特性情報を変更する、あるいは特性情報に応じた制御を行うか否かの情報を付加することにより解析結果を送出し、端末装置10における挙動制御は適応的に行われるものであってよい。
上述した実施形態では、仮想キャラクタを配置する位置と対応する、実空間中の位置周辺の実オブジェクトの特性に応じて、キャラクタ制御モジュール113が仮想キャラクタの挙動制御を行うものとして説明したが、本発明の実施はこれに限られるものではない。
上述した実施形態及び変形例では、描画モジュール115により生成されたキャラクタ画像と撮像画像とが合成されることにより、複合現実感を提示する提示用画像が生成されてディスプレイ105に表示されるものとして説明したが、キャラクタ画像の提示はこれに限られるものではない。即ち、上述した態様は、ディスプレイ105に表示された提示用画像を介して、仮想キャラクタが実空間に存在するとの認識を与えるものであったが、例えばHMP(Head-Mounted Projector)やグラス型デバイス等、光学透過方式を採用する機器をディスプレイ105に代わり使用する態様であってもよい。この場合、キャラクタ画像のキャラクタに係る画素のみを、光学透過方式でユーザに視認可能に構成すればよく、ユーザは実世界を直接観察しながら、仮想キャラクタが実空間に存在するかの如く認識することができる。換言すれば、本発明の実施においてキャラクタ画像と撮像画像との合成は必須ではなく、提示方式に従って採用される要素であることは容易に理解されよう。なお、グラス型デバイス等を用いる場合は、位置及び姿勢の判定につき、該デバイス自体、あるいは該デバイスと対応する位置に撮像部103が設けられていることが好ましい。
上述した実施形態及び変形例では、表示フレームに係り取得された撮像画像に基づいて実オブジェクトの特性把握がなされるものとして説明したが、ユーザの観察する空間内の存在する実オブジェクトの特性把握は、ユーザの視点や端末装置10とは異なる位置に設けられた撮像装置により得られた撮像画像に基づいて行われるものであってよい。
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。また本発明に係るキャラクタ画像生成装置は、1以上のコンピュータを該装置として機能させるプログラムによっても実現可能である。該プログラムは、コンピュータが読み取り可能な記録媒体に記録されることにより、あるいは電気通信回線を通じて、提供/配布することができる。
Claims (9)
- 実オブジェクトを含む実空間を記述した空間情報と、前記実オブジェクトの特性を示す特性情報とを取得する第1の取得手段と、
所定の情報を取得する第2の取得手段と、
前記実空間に対応して構築される3次元空間を描画する描画手段であって、前記実オブジェクトの特性に応じた表示態様で、前記3次元空間中の仮想キャラクタを描画したキャラクタ画像を生成する描画手段と、を有するキャラクタ画像生成装置であって、
前記描画手段は、前記第2の取得手段により取得された前記所定の情報と関連する特性の前記実オブジェクトを前記特性情報に基づいて特定し、該実オブジェクトの特性に応じた表示態様で前記仮想キャラクタを描画したキャラクタ画像を生成する
ことを特徴とするキャラクタ画像生成装置。 - 前記描画手段により生成されたキャラクタ画像を介して前記所定の情報を提示する提示手段をさらに有することを特徴とする請求項1に記載のキャラクタ画像生成装置。
- 前記第2の取得手段は、ユーザの発した音声情報に基づいて前記所定の情報を取得することを特徴とする請求項1または2に記載のキャラクタ画像生成装置。
- 前記実オブジェクトは、稼動状態が変化する機器であり、
前記キャラクタ画像生成装置は、前記実オブジェクトの稼動状態を取得し、取得した該稼動状態に応じて前記実オブジェクトの特性を変更する変更手段をさらに有し、
前記描画手段は、前記変更手段により前記実オブジェクトの特性が変更された場合に、変更後の該特性に応じて、前記仮想キャラクタの表示態様を異ならせる
ことを特徴とする請求項1乃至3のいずれか1項に記載のキャラクタ画像生成装置。 - 前記描画手段はさらに、ユーザの要求、または前記仮想キャラクタと前記実オブジェクトとの相対関係に応じて、特性が前記仮想キャラクタの表示態様に参照される前記実オブジェクトを特定する請求項1乃至4のいずれか1項に記載のキャラクタ画像生成装置。
- 前記描画手段は、同一の前記実オブジェクトの特性に応じた表示態様で前記仮想キャラクタを描画したキャラクタ画像を生成する頻度を制限することを特徴とする請求項1乃至5のいずれか1項に記載のキャラクタ画像生成装置。
- 前記第1の取得手段は、ユーザによる選択に基づいて前記特性情報を取得することを特徴とする請求項1乃至6のいずれか1項に記載のキャラクタ画像生成装置。
- 実オブジェクトを含む実空間を記述した空間情報と、前記実オブジェクトの特性を示す特性情報とを取得する第1の取得工程と、
所定の情報を取得する第2の取得工程と、
前記実空間に対応して構築される3次元空間を描画する描画工程であって、前記実オブジェクトの特性に応じた表示態様で、前記3次元空間中の仮想キャラクタを描画したキャラクタ画像を生成する描画工程と、を有するキャラクタ画像生成方法であって、
前記描画工程において、前記第2の取得工程において取得された前記所定の情報と関連する特性の前記実オブジェクトを前記特性情報に基づいて特定し、該実オブジェクトの特性に応じた表示態様で前記仮想キャラクタを描画したキャラクタ画像が生成される
ことを特徴とするキャラクタ画像生成方法。 - コンピュータを、請求項1乃至7のいずれか1項に記載のキャラクタ画像生成装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021026614A JP6982203B2 (ja) | 2019-04-17 | 2021-02-22 | キャラクタ画像生成装置、キャラクタ画像生成方法及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019078844A JP6843178B2 (ja) | 2019-04-17 | 2019-04-17 | キャラクタ画像生成装置、キャラクタ画像生成方法、プログラム及び記録媒体 |
JP2021026614A JP6982203B2 (ja) | 2019-04-17 | 2021-02-22 | キャラクタ画像生成装置、キャラクタ画像生成方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019078844A Division JP6843178B2 (ja) | 2019-04-17 | 2019-04-17 | キャラクタ画像生成装置、キャラクタ画像生成方法、プログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021082344A JP2021082344A (ja) | 2021-05-27 |
JP6982203B2 true JP6982203B2 (ja) | 2021-12-17 |
Family
ID=79170181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021026614A Active JP6982203B2 (ja) | 2019-04-17 | 2021-02-22 | キャラクタ画像生成装置、キャラクタ画像生成方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6982203B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7354185B2 (ja) * | 2021-06-18 | 2023-10-02 | ヤフー株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003076312A (ja) * | 2001-09-06 | 2003-03-14 | Hideo Nagaoka | キャラクタ表示装置 |
JP2003090729A (ja) * | 2001-09-20 | 2003-03-28 | Mitsubishi Electric Corp | ナビゲーション装置 |
JP6056178B2 (ja) * | 2012-04-11 | 2017-01-11 | ソニー株式会社 | 情報処理装置、表示制御方法及びプログラム |
JP6119254B2 (ja) * | 2013-01-11 | 2017-04-26 | カシオ計算機株式会社 | 通信装置、ar表示システム及びプログラム |
-
2021
- 2021-02-22 JP JP2021026614A patent/JP6982203B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2021082344A (ja) | 2021-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6517255B2 (ja) | キャラクタ画像生成装置、キャラクタ画像生成方法、プログラム、記録媒体及びキャラクタ画像生成システム | |
CN110022470B (zh) | 使用合成图像训练对象检测算法的方法和系统和存储介质 | |
US10320437B2 (en) | System and method for immersive and interactive multimedia generation | |
US9865094B2 (en) | Information processing apparatus, display control method, and program | |
CN105190482B (zh) | 缩放手势的检测 | |
KR102065687B1 (ko) | 무선 손목 컴퓨팅과 3d 영상화, 매핑, 네트워킹 및 인터페이스를 위한 제어 장치 및 방법 | |
KR101818024B1 (ko) | 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템 | |
JP6348741B2 (ja) | 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法 | |
CN107004279A (zh) | 自然用户界面相机校准 | |
CN105190483A (zh) | 检测用至少两个控制对象执行的手势 | |
CN111510701A (zh) | 虚拟内容的显示方法、装置、电子设备及计算机可读介质 | |
JP7073481B2 (ja) | 画像表示システム | |
JP2013101529A (ja) | 情報処理装置、表示制御方法、およびプログラム | |
US20210407213A1 (en) | Augmented reality eyewear with 3d costumes | |
JP2018124515A (ja) | コンピュータプログラム、端末および方法 | |
JP6982203B2 (ja) | キャラクタ画像生成装置、キャラクタ画像生成方法及びプログラム | |
CN110223327A (zh) | 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统 | |
JP6843178B2 (ja) | キャラクタ画像生成装置、キャラクタ画像生成方法、プログラム及び記録媒体 | |
WO2022176450A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2019160332A (ja) | コンピュータプログラム、端末および方法 | |
JP7441289B1 (ja) | コンピュータプログラム、情報処理端末、及びその制御方法 | |
KR20180058199A (ko) | 영상 회의를 위한 전자 장치 및 그의 동작 방법 | |
JP7488210B2 (ja) | 端末及びプログラム | |
US20230071828A1 (en) | Information processing apparatus, information processing system, and information processing method | |
JP2024071199A (ja) | コンピュータプログラム、情報処理端末、及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210222 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210222 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211012 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211022 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6982203 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |