JP7849099B2 - Ｘｒ ｃａｖｅ環境におけるｘｒコンテンツ制御方法およびシステム - Google Patents

Ｘｒ ｃａｖｅ環境におけるｘｒコンテンツ制御方法およびシステム

Info

Publication number
JP7849099B2
JP7849099B2 JP2025528664A JP2025528664A JP7849099B2 JP 7849099 B2 JP7849099 B2 JP 7849099B2 JP 2025528664 A JP2025528664 A JP 2025528664A JP 2025528664 A JP2025528664 A JP 2025528664A JP 7849099 B2 JP7849099 B2 JP 7849099B2
Authority
JP
Japan
Prior art keywords
pedestrians
cave
content
movement
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2025528664A
Other languages
English (en)
Other versions
JP2025537842A (ja
Inventor
ヒョン ジョン、ヘ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Newjak Co Ltd
Original Assignee
Newjak Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Newjak Co Ltd filed Critical Newjak Co Ltd
Publication of JP2025537842A publication Critical patent/JP2025537842A/ja
Application granted granted Critical
Publication of JP7849099B2 publication Critical patent/JP7849099B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—Three-dimensional [3D] animation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Description

本発明は、ＸＲ ＣＡＶＥ環境におけるＸＲコンテンツ制御方法およびシステムに関し、特に、ＨＭＤを着用せずにＸＲ ＣＡＶＥ環境においてユーザ間の視野を共有してより高い解像度と広い視野角（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）を介して拡張現実（ＸＲ）に長時間没入することができ、ユーザと他人の現実の体をそのまま見ることができるため、高い現存感（ｐｒｅｓｅｎｃｅ）を経験できるＸＲ ＣＡＶＥ環境におけるＸＲコンテンツ制御方法およびシステムに関する。
拡張現実（Ｅｘｔｅｎｄｅｄ Ｒｅａｌｉｔｙ、ＸＲ）は、多様な没入型およびインタラクティブ技術領域を網羅する包括的な用語で、拡張現実（ＡＲ）、混合現実（ＭＲ）、仮想現実（ＶＲ）を総称する。ＸＲは長い間日常生活で使われてきて、９０年代初めから今まで様々な進化を経てきた。インターネットの３Ｄ進化形態であるメタバース（ｍｅｔａｖｅｒｓｅ）に対する関心が増加するにつれて、ＸＲの活用は新しい産業に急速に拡張されている。
一般的なＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）環境においては、現実空間での個別ユーザの位置を把握するために、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）のＩＲ（Ｉｎｆｒａ－Ｒｅｄ）追跡を使用してユーザの頭の位置および方向を追跡した。しかしながら、ＨＭＤを着用すると視野角が狭くなるだけでなく、ユーザの実際の体をそのまま見ることができないため、現存感（ｐｒｅｓｅｎｃｅ）が低下する。また、ＸＲ環境内において多数のユーザの移動が感知される場合、移動する多数の歩行者に合わせて提供されるＸＲコンテンツ内の時点が変更される技術が必要な状況である。
先行技術としては、韓国公開特許第１０－２０１９－０１０５５３２号（ＸＲコンテンツ提供方法およびＸＲデバイス）があるが、１つまたはそれ以上の座標系およびＸＲデバイスの座標系に基づいてユーザの動きに応じてＸＲコンテンツをディスプレイするためにユーザ動き推定情報を生成するステップ、ＸＲデバイス前面のイメージを取得するステップ、取得したイメージを第１イメージおよび第２イメージに分離するステップ、第１イメージおよび第２イメージの少なくともいずれか１つ以上に基づいて変換動き情報を生成するステップ、生成した変換動き情報に基づいてユーザ動き推定情報を補正するステップおよび補正されたユーザ動き推定情報が示す位置および方向にＸＲコンテンツをディスプレイするステップを含んでいるだけである。
韓国公開特許第１０－２０１９－０１０５５３２号
本発明が解決しようとする課題は、ＨＭＤを着用せずにＸＲ ＣＡＶＥ環境においてユーザ間の視野を共有してより高い解像度と広い視野角（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）を介して拡張現実（ＸＲ）に長時間没頭することができ、ユーザと他人の現実の体をそのまま見ることができるため、高い現存感（ｐｒｅｓｅｎｃｅ）を経験できるＸＲ ＣＡＶＥ環境におけるＸＲコンテンツ制御方法およびシステムを提供することにある。
本発明によると、ＨＭＤを着用せずにＸＲ ＣＡＶＥ環境においてユーザ間の視野を共有してより高い解像度と広い視野角（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）を介して拡張現実（ＸＲ）に長時間没頭することができる。
また、ＨＭＤを着用しないため、ユーザと他人の現実の体をそのまま見ることができ、高い現存感（ｐｒｅｓｅｎｃｅ）を経験することができる。
本発明の実施形態によるＸＲ ＣＡＶＥ環境におけるＸＲコンテンツ制御方法を説明するフローチャートである。 本発明の実施形態による多数の歩行者を探知する方法を説明するフローチャートである。 本発明の実施形態によるＸＲ ＣＡＶＥ環境におけるＸＲコンテンツ制御システムを説明する構成図である。 本発明の実施形態によるＸＲ ＣＡＶＥの壁面の構造を説明する構成図である。 本発明の実施形態によるＸＲコンテンツが照射されたＸＲ ＣＡＶＥの壁面を示す例示図である。
本明細書に開示された本発明の概念による実施形態に対する特定の構造的または機能的説明は単に本発明の概念による実施形態を説明するための目的で例示されたものであり、本発明の概念による実施形態は多様な形態で実施されることができ、本明細書に説明された実施形態に限定されない。
本発明の概念による実施形態は多様な変更を加えることができ、多様な形態を有することができるため、実施形態を図面に例示して本明細書で詳細に説明する。しかしながら、これは本発明の概念による実施形態を特定の開示形態に対して限定しようとするものではなく、本発明の思想および技術範囲に含まれるすべての変更、均等物、または代替物を含む。
本明細書で使用した用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定しようとする意図で使用されるものではない。単数の表現は、文脈上明白に異なるように意味しない限り、複数の表現を含む。本明細書において「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部分品またはこれらを組み合わせたものが存在することを指定しようとするものであり、１つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部分品またはこれらを組み合わせたもの存在または付加可能性を予め排除しないことと理解されるべきである。
以下、本明細書に添付した図面を参照して本発明の実施形態を詳細に説明する。
図１は、本発明の実施形態によるＸＲ ＣＡＶＥ環境におけるＸＲコンテンツ制御方法を説明するフローチャートである。
図１に示すように、ＸＲ ＣＡＶＥ環境におけるＸＲコンテンツ制御方法は、多数のビームプロジェクタ２２０がＸＲ ＣＡＶＥ２００内にＸＲコンテンツを照射する（Ｓ１０１）。この時に照射されるＸＲコンテンツは、多数の歩行者の移動が感知される前の補正されていない最初のＸＲコンテンツであり得る。前記最初のＸＲコンテンツは、ＸＲ ＣＡＶＥ２００内において収集可能な空間情報およびユーザ情報などに対するデータベースに基づいて生成されて格納されたＸＲコンテンツであり得る。また、最初のＸＲコンテンツは、ＸＲ ＣＡＶＥ２００内において進行可能なＸＲコンテンツの技術的側面特性を研究して生成されて格納されたＸＲコンテンツであり得る。
ＸＲ ＣＡＶＥ内に配置されたカメラ２１０により多数の歩行者を探知および多数の歩行者の移動速度の平均値と方向を計算する（Ｓ１０３）。前記カメラ２１０は単一カメラで構成されて多数の歩行者の移動映像を撮影することができる。カメラ２１０は、赤外線カメラやデプスカメラなどの装備を備えずに１つのカメラだけでも個別歩行者の移動経路と歩行方向を推定できる多数の歩行者の移動映像を撮影することができる。カメラ２１０は、ＸＲ ＣＡＶＥ２００の環境上部に設置されてもよく、多数の歩行者の歩行データ収集および機械学習に活用される多数の歩行者の移動映像を撮影することができる。
計算された多数の歩行者の移動速度の平均値と方向に基づいてＸＲコンテンツの照射位置と速度を補正し（Ｓ１０５）、補正されたＸＲコンテンツをＸＲ ＣＡＶＥの壁面２３０に反映して照射する（Ｓ１０７）。この時、壁面２３０は１つまたは多数であってもよく、１つの壁面２３０で構成されて帯の形状でＸＲ ＣＡＶＥ２００を構成してもよく、４つの壁面２３０で構成されて四角形の構造でＸＲ ＣＡＶＥ２００を構成してもよいが、必ずしもこれに限定されるものではない。また、１つまたは複数の壁面２３０は伝導性インクを利用してタッチボードと接続することができ、多数の歩行者が該当位置をタッチすればインタラクションが実行されることができる。
図２は、本発明の実施形態による多数の歩行者を探知する方法を説明するフローチャートである。
図２に示すように、多数の歩行者を探知する方法は、カメラ２１０が多数の歩行者の移動映像を撮影し（Ｓ２０１）、検出部１１０がカメラ２１０から受信した多数の歩行者の移動映像から２次元座標を追跡および方向ベクトルを検出する（Ｓ２０３）。この時、検出部１１０は、カメラ２１０から受信した多数の歩行者の移動映像画面の中心を基準に２次元映像平面に写像された歩行者の位置変移を角度値に換算して多数の歩行者の２次元座標を追跡することができる。また、２次元座標を追跡する時、多数の歩行者のすべての領域の２次元座標を探すことではなく、特徴的な領域を選定して追跡することができる。
検出部１１０がカメラ２１０から受信した多数の歩行者の移動映像から多数の歩行者の移動速度を検出する（Ｓ２０５）。検出部１１０はカメラ２１０から受信した多数の歩行者の移動映像から追跡した２次元座標に基づいて方向ベクトルと移動速度を検出することができる。
検出部１１０が追跡した２次元座標と検出した方向ベクトルと移動速度を利用して計算部１２０が多数の歩行者の速度の平均値と方向を計算する（Ｓ２０７）。リアルタイムで移動する歩行者が多数であるので、検出部１１０が検出した多数の歩行者の個別移動速度の平均を求めて補正するＸＲコンテンツの速度を計算することができる。
図３は、本発明の実施形態によるＸＲ ＣＡＶＥ環境におけるＸＲコンテンツ制御システムを説明する構成図である。
図３に示すように、ＸＲ ＣＡＶＥ環境におけるＸＲコンテンツ制御システム１０は、ＸＲコンテンツ提供サーバ１００とＸＲ ＣＡＶＥ２００から構成される。
ＸＲコンテンツ提供サーバ１００は、検出部１１０、計算部１２０、ＸＲコンテンツ補正部１３０、タッチ制御部１４０、格納部１５０、通信部１６０から構成される。
前記検出部１１０は、ＸＲ ＣＡＶＥ２００のカメラ２１０から多数の歩行者の移動映像を受信することができる。検出部１１０は、カメラ２１０から受信した映像から多数の歩行者の２次元座標を追跡した後、方向ベクトルと移動速度を検出することができる。本発明のＸＲ ＣＡＶＥ環境におけるＸＲコンテンツ制御システム１０は、ユーザの頭の位置および方向を追跡するためにＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を使用しないため、ＸＲ ＣＡＶＥ環境において歩行者の歩行方向を認識するために現実空間においてユーザの位置を把握する必要がある。検出部１１０はビジョンベースの追跡を使用して汎用性のある追跡が可能である。
検出部１１０は、カメラ２１０から受信した多数の歩行者の移動映像から多数の歩行者の移動によりリアルタイムで変わる多数の歩行者の２次元座標を追跡することができる。検出部１１０は、カメラ２１０から受信した多数の歩行者の移動映像画面の中心を基準に２次元映像平面に写像された歩行者の位置変移を角度値に換算して多数の歩行者の２次元座標を追跡することができる。また、検出部１１０は、２次元座標を追跡する時、多数の歩行者のすべての領域の２次元座標を探すことではなく、特徴的な領域を選定して追跡することができる。前記特徴的な領域はカメラ２１０から受信した映像のオブジェクト、すなわち、多数の歩行者領域のコーナー部分あるいはピクセル値の変化が大きい地点でありうるが、必ずこれに限定されるものではない。
検出部１１０は、カメラ２１０から受信した多数の歩行者の移動映像から追跡した２次元座標に基づいて方向ベクトルと移動速度を検出することができる。この時、前記移動映像から実際空間であるＸＲ ＣＡＶＥ環境内の３次元座標を推定して方向ベクトルと移動速度を検出することができる。
前記計算部１２０は、前記検出部１１０が追跡した２次元座標と、検出した方向ベクトルと移動速度を利用して多数の歩行者の速度の平均値を計算することができる。リアルタイムで移動する歩行者が多数であるので、検出部１１０が検出した多数の歩行者の個別移動速度の平均を求めて補正するＸＲコンテンツの速度を計算することができる。補正されたＸＲコンテンツの速度が多数の歩行者の移動速度の平均値より速いかまたは遅い場合、めまいを感じる歩行者の数が増え、没入感を損なう恐れがあるため、計算部１２０は補正されたＸＲコンテンツの速度が移動速度の平均値から大きく外れないように誤差率を計算して調整する必要がある。このとき、誤差率は５%未満に調整できるが、必ずしもこれに限定されることではない。
また、計算部１２０は、多数の歩行者の速度の平均値を反映して多数の歩行者の方向を計算することができる。前記検出部１１０が追跡した２次元座標と検出した方向ベクトルに基づいて多数の歩行者の位置を把握してどの方向に進行されなければならないかを計算することができる。この時、歩行者の人数が増えるほど歩行者別に方向ベクトルの偏差が激しくなる可能性があるので、指定された誤差率内で方向を計算することができる。このとき、誤差率は１０％未満に調整できるが、必ずしもこれに限定されることではない。
前記ＸＲコンテンツ補正部１３０は、前記計算部１２０が計算した多数の歩行者の移動速度の平均値と方向に基づいてＸＲコンテンツの照射位置と速度を補正することができる。一実施形態として、計算部１２０により計算された歩行者の平均移動速度が８ｋｍ／ｈであれば、歩行者がジョギングをすると判断してＸＲコンテンツの進行速度を一般の人々のジョギング速度に合わせて補正することができる。また他の実施形態として、計算部１２０により計算された歩行者の平均移動速度が０.２ｋｍ／ｈ未満であれば、歩行者がほとんど動いてないと判断してＸＲコンテンツの進行速度を非常に遅く補正することができる。また、ＸＲコンテンツ補正部１３０はタッチ制御部１４０からＸＲコンテンツの補正が要求されると、該当要求事項に基づいてＸＲコンテンツの照射位置と速度を補正することができる。
前記タッチ制御部１４０は、ＸＲ ＣＡＶＥ２００の壁面２３０からインタラクションが伝達されることができる。この時、インタラクションとは、壁面２３０をタッチした歩行者とＸＲコンテンツ内容との相互作用を意味する。タッチ制御部１４０は、伝達されたインタラクションに基づいてＸＲコンテンツ補正部１３０にＸＲコンテンツの補正を要求することができる。
前記格納部１５０は、多数の歩行者の移動が感知される前の補正されていない最初のＸＲコンテンツを格納することができる。前記最初のＸＲコンテンツは、ＸＲ ＣＡＶＥ２００内において収集可能な空間情報およびユーザ情報などに対するデータベースに基づいて生成されて格納されることができる。また、最初のＸＲコンテンツは、ＸＲ ＣＡＶＥ２００内において進行可能なＸＲコンテンツの技術的側面特性を研究して生成されて格納されることができる。また、最初のＸＲコンテンツはサウンドロゴを含めてデータの聴覚化により没入感を増大させることができる。前記サウンドロゴは、短いサウンドクリップを生成して空間、商品などの固有の特徴を表現する技法を意味する。多数の歩行者がサウンドロゴの適用された特定空間または商品近隣を通過する時、一定距離の半径内に歩行者が存在するとサウンドロゴが再生される。該当サウンドロゴを聞いた歩行者は、音だけで特定空間または商品を連想できるため、より高い没入感を感じることができる。
通信部１６０は、ネットワークを介してＸＲ ＣＡＶＥ２００の各構成と通信することができる。前記ネットワーク手段は、前記ＣＤＭＡベース（またはＨＳＤＰＡベース）の移動通信網、および／またはＩＥＥＥ８０２．１６ｘベースの超高速無線インターネット、および／またはＩＥＥＥ８０２．１１ｘベースの無線ＬＡＮ通信網を少なくとも１つ以上含んで構成されてもよいが、必ずしもこれに限定されることではない。
ＸＲ ＣＡＶＥ２００はカメラ２１０、ビームプロジェクタ２２０、壁面２３０、通信部２４０で構成される。
また、計算部１２０は、多数の歩行者の速度の平均値を反映して多数の歩行者の方向を計算することができる。前記検出部１１０が追跡した２次元座標と検出した方向ベクトルに基づいて多数の歩行者の位置を把握してどの方向に進行されなければならないかを計算することができる。この時、歩行者の人数が増えるほど歩行者別に方向ベクトルの偏差が激しくなる可能性がある。そのため、計算部１２０は、当該方向ベクトルの偏差に基づき、所定の誤差率、例えば１０％未満の範囲内で、多数の歩行者が全体として進行している移動方向ベクトルを決定することができる。計算部１２０は、このように決定された移動方向ベクトルおよび多数の歩行者の移動速度の平均値を反映して、ＸＲコンテンツの照射位置と速度を補正することができる。
前記ビームプロジェクタ２２０は、１つまたは多数のビームプロジェクタ２２０で構成されてもよい。一実施形態として多数のビームプロジェクタ２２０を使用する場合、多面プロジェクトマッピング技術により広い空間においてインタラクティブメディアを提供することができ、多数の歩行者が同時にコンテンツを鑑賞できるサービスを提供することができる。また、ビームプロジェクタ２２０は、多数の壁面２３０にＸＲコンテンツを照射することで、多数の歩行者が没入空間内において能動的な実感体験を実現することができる。
前記壁面２３０は、１つまたは多数の壁面２３０で構成されてもよい。一実施形態として、１つの壁面２３０から構成されて帯の形状でＸＲ ＣＡＶＥ２００を構成してもよく、４つの壁面２３０で構成されて四角形構造でＸＲ ＣＡＶＥ２００を構成してもよい、必ずしもこれに限定されるものではない。１つまたは多数の壁面２３０は伝導性インクを利用してタッチボードと接続することができ、多数の歩行者が該当位置をタッチすると、インタラクションが実行されてタッチ制御部１４０に伝達できる。壁面２３０はインク自体に電気が通じる伝導性インクを介して電気が通じないところにも電気を連結して使用可能である。また、壁面２３０は、伝導性タッチボードとユニティをシリアル通信を使用してシリアル値によってインタラクションが実行されるように実現できる。また、壁面２３０は敏感度の範囲を設定して変数設定により厚い壁においてもタッチが実行できるようにすることができる。
通信部２４０は、ネットワークを介してＸＲコンテンツ提供サーバ１００の各構成と通信できる。前記ネットワーク手段は、前記ＣＤＭＡベース（またはＨＳＤＰＡベース）の移動通信網、および／またはＩＥＥＥ８０２．１６ｘベースの超高速無線インターネット、および／またはＩＥＥＥ８０２．１１ｘベースの無線ＬＡＮ通信網を少なくとも１つ以上含んで構成されてもよいが、必ずしもこれに限定されるものではない。
図４は、本発明の実施形態によるＸＲ ＣＡＶＥの壁面の構造を説明する構成図である。
図４（ａ）は１つの壁面２３０で構成されて帯の形状でＸＲ ＣＡＶＥ２００を構成することを示し、図４（ｂ）は４つの壁面２３０で構成されて四角形構造でＸＲ ＣＡＶＥ２００を構成することを示す。また他の実施形態として、ＸＲ ＣＡＶＥの壁面２３０は、より多くの数の壁面２３０で構成されてもよく、ＸＲ ＣＡＶＥ内にビームプロジェクタで照射されるＸＲコンテンツの内容に合わせてＸＲ ＣＡＶＥの壁面２３０が構成されることができる。
図５は、本発明の実施形態によるＸＲコンテンツが照射されたＸＲ ＣＡＶＥの壁面を示す例示図である。
図５（ａ）は、帯の形状で構成されたＸＲ ＣＡＶＥ２００の壁面２３０にＸＲコンテンツが照射されたことを示した例示図である。図５（ｂ）は、４つの壁面２３０で構成されて四角形の構造でＸＲ ＣＡＶＥ２００を構成したＸＲ ＣＡＶＥ２００の壁面２３０にＸＲコンテンツが照射されたことを示した例示図である。図５に示すように、歩行者あるいは多数の歩行者はＸＲ ＣＡＶＥ２００の壁面２３０に多数のビームプロジェクタ２２０により照射されたＸＲコンテンツをＸＲ ＣＡＶＥ２００環境内において歩行しながら体験することができる。
本発明は、図面に図示された実施形態を参考にして説明されたが、これは例示的なものに過ぎず、本技術分野の通常の知識を有する者であれば、これから多様な変形および均等な他の実施形態が可能であるという点を理解するであろう。したがって、本発明の真の技術的保護範囲は、添付の登録請求範囲の技術的思想によって定められなければならないであろう。
１０ ＸＲコンテンツ制御システム
１００ ＸＲコンテンツ提供サーバ
１１０ 検出部
１２０ 計算部
１３０ ＸＲコンテンツ補正部
１４０ タッチ制御部
１５０ 格納部
１６０ 通信部
２１０ カメラ
２２０ ビームプロジェクタ
２３０ 壁面
２４０ 通信部

Claims (4)

  1. ＸＲ(Extended Reality) ＣＡＶＥ(CAVE Automatic Virtual Environment)環境におけるＸＲコンテンツ制御方法において、
    ＸＲ ＣＡＶＥ内にＸＲコンテンツを照射するステップ；
    ＸＲ ＣＡＶＥ内に配置されたカメラにより多数の歩行者を探知および多数の歩行者の移動速度の平均値と方向を計算するステップ；
    計算された多数の歩行者の移動速度の平均値と方向に基づいて前記ＸＲコンテンツの照射位置と速度を補正するステップ；および
    補正されたＸＲコンテンツをＸＲ ＣＡＶＥの壁面に反映して照射するステップを含み、
    前記ＸＲ ＣＡＶＥ内に配置されたカメラにより多数の歩行者を探知および多数の歩行者の速度の平均値と方向を計算するステップは、
    カメラが多数の歩行者の移動映像を撮影するステップ；
    検出部がカメラから受信した多数の歩行者の移動映像から２次元座標を追跡および方向ベクトルを検出するステップ；
    検出部がカメラから受信した多数の歩行者の移動映像から多数の歩行者の移動速度を検出するステップ；および
    検出部が追跡した２次元座標と検出した方向ベクトルと移動速度を利用して計算部が多数の歩行者それぞれの前記方向ベクトルの偏差に基づき、所定の誤差率の範囲内で、多数の歩行者が全体として進行している移動方向ベクトルを決定するとともに、多数の歩行者の移動速度の平均値を算出するステップをさらに含むことを特徴とするＸＲ ＣＡＶＥ環境におけるＸＲコンテンツ制御方法。
  2. 前記多数の歩行者の移動映像を撮影するカメラは、単一カメラであることを特徴とする請求項１に記載のＸＲ ＣＡＶＥ環境におけるＸＲコンテンツ制御方法。
  3. 前記ＸＲ ＣＡＶＥの壁面はＸＲ ＣＡＶＥを構成する壁面であり、タッチボードと連動してタッチによりＸＲコンコンテンツを制御することをさらに含む請求項１に記載のＸＲ ＣＡＶＥ環境におけるＸＲコンテンツ制御方法。
  4. カメラが撮影した映像を受信して多数の歩行者を探知および多数の歩行者の移動速度の平均値と方向を計算し、計算された多数の歩行者の移動速度の平均値と方向に基づいてＸＲコンテンツの照射位置と速度を補正し、補正されたＸＲコンテンツをＸＲ ＣＡＶＥ の壁面に反映して照射するＸＲコンテンツ提供サーバ；および
    多数の歩行者の移動映像を撮影し、ＸＲコンテンツをＸＲ ＣＡＶＥの壁面に照射するＸＲ ＣＡＶＥを含み、
    前記ＸＲコンテンツ提供サーバは、
    カメラから受信した多数の歩行者の移動映像から２次元座標を追跡および方向ベクトルを検出し、カメラから受信した多数の歩行者の移動映像から多数の歩行者の移動速度を検出し、追跡した２次元座標と検出した方向ベクトルと移動速度を利用して多数の歩行者それぞれの前記方向ベクトルの偏差に基づき、所定の誤差率の範囲内で、多数の歩行者が全体として進行している移動方向ベクトルを決定するとともに、多数の歩行者の移動速度の平均値を算出することを特徴とするＸＲ ＣＡＶＥ環境におけるＸＲコンテンツ制御システム。
JP2025528664A 2022-11-17 2023-11-13 Ｘｒ ｃａｖｅ環境におけるｘｒコンテンツ制御方法およびシステム Active JP7849099B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2022-0154564 2022-11-17
KR1020220154564A KR102683572B1 (ko) 2022-11-17 2022-11-17 Xr cave 환경에서의 xr콘텐츠 제어 방법 및 시스템
PCT/KR2023/018160 WO2024106873A1 (ko) 2022-11-17 2023-11-13 Xr cave 환경에서의 xr콘텐츠 제어 방법 및 시스템

Publications (2)

Publication Number Publication Date
JP2025537842A JP2025537842A (ja) 2025-11-20
JP7849099B2 true JP7849099B2 (ja) 2026-04-21

Family

ID=91084803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2025528664A Active JP7849099B2 (ja) 2022-11-17 2023-11-13 Ｘｒ ｃａｖｅ環境におけるｘｒコンテンツ制御方法およびシステム

Country Status (6)

Country Link
US (1) US12430862B2 (ja)
EP (1) EP4610934A4 (ja)
JP (1) JP7849099B2 (ja)
KR (1) KR102683572B1 (ja)
CN (1) CN120129932A (ja)
WO (1) WO2024106873A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102951708B1 (ko) 2024-06-04 2026-04-10 주식회사 엘지에너지솔루션 급속 충전 맵을 생성하기 위한 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180364801A1 (en) 2017-06-19 2018-12-20 Kt Corporation Providing virtual reality experience service
WO2022103760A1 (en) 2020-11-13 2022-05-19 Magic Leap, Inc. Transmodal input fusion for multi-user group intent processing in virtual environments

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994029670A1 (en) * 1993-06-10 1994-12-22 Kabushiki Kaisha Oh - Yoh Keisoku Kenkyusho Apparatus for measuring position of moving object
US8615383B2 (en) * 2008-01-18 2013-12-24 Lockheed Martin Corporation Immersive collaborative environment using motion capture, head mounted display, and cave
US10297082B2 (en) * 2014-10-07 2019-05-21 Microsoft Technology Licensing, Llc Driving a projector to generate a shared spatial augmented reality experience
US10504295B2 (en) * 2016-09-27 2019-12-10 Duke University Systems and methods for using sensing of real object position, trajectory, or attitude to enable user interaction with a virtual object
US20180314322A1 (en) * 2017-04-28 2018-11-01 Motive Force Technology Limited System and method for immersive cave application
CN110297584A (zh) * 2018-03-21 2019-10-01 佟志强 面向幼教的沉浸式交互cave教室
KR102283625B1 (ko) * 2019-08-22 2021-08-02 정광철 실시간 위치 측위 시스템을 이용한 이동체 서비스 방법 및 시스템
KR102622882B1 (ko) 2019-08-26 2024-01-09 엘지전자 주식회사 Xr 컨텐츠 제공 방법 및 xr 디바이스
KR102377652B1 (ko) * 2019-11-19 2022-03-23 김하연 제어된 교통신호정보를 이용한 보행자 교통정보 제공 시스템 및 그 방법
KR102647028B1 (ko) * 2019-12-03 2024-03-14 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
KR102496201B1 (ko) * 2020-08-25 2023-02-07 (주) 사이언스쇼 혼합현실 체험 시스템 및 그 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180364801A1 (en) 2017-06-19 2018-12-20 Kt Corporation Providing virtual reality experience service
WO2022103760A1 (en) 2020-11-13 2022-05-19 Magic Leap, Inc. Transmodal input fusion for multi-user group intent processing in virtual environments

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Alireza BILESAN et al.，"Markerless Human Motion Tracking Using Microsoft Kinect SDK and Inverse Kinematics"，2019 12th Asian Control Conference (ASCC) [online]，2019年06月12日，pp.504-509，https://ieeexplore.ieee.org/document/8765061 [取得日 2025年11月19日]
Hikaru TAKATORI et al.，"Large-Scale Projection-Based Immersive Display: The Design and Implementation of LargeSpace"，2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR) [online]，2019年03月，pp.557-565，https://ieeexplore.ieee.org/document/8798019 [取得日 2025年11月19日]，DOI: 10.1109/VR.2019.8798019

Also Published As

Publication number Publication date
KR102683572B1 (ko) 2024-07-11
WO2024106873A1 (ko) 2024-05-23
EP4610934A1 (en) 2025-09-03
JP2025537842A (ja) 2025-11-20
EP4610934A4 (en) 2026-01-14
US20250278904A1 (en) 2025-09-04
US12430862B2 (en) 2025-09-30
CN120129932A (zh) 2025-06-10
KR20240073265A (ko) 2024-05-27

Similar Documents

Publication Publication Date Title
CN109298629B (zh) 在未绘制地图区域中引导移动平台的系统及方法
US10825197B2 (en) Three dimensional position estimation mechanism
US8644552B2 (en) Markerless motion capturing apparatus and method
KR101410273B1 (ko) 증강현실 응용을 위한 환경 모델링 방법 및 장치
CN107852447B (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
US9336602B1 (en) Estimating features of occluded objects
CN109255749B (zh) 自主和非自主平台中的地图构建优化
JP2018522348A (ja) センサーの３次元姿勢を推定する方法及びシステム
JP2019075156A (ja) 多因子画像特徴登録及び追尾のための方法、回路、装置、システム、及び、関連するコンピュータで実行可能なコード
US9703371B1 (en) Obtaining input from a virtual user interface
KR20150053955A (ko) 대화형 디스플레이 시스템에서의 절대적 및 상대적 위치결정 센서 융합
KR20180030446A (ko) 비디오에서 가상 오브젝트를 블러링하기 위한 방법 및 디바이스
WO2014062906A1 (en) Motion compensation in an interactive display system
JP7849099B2 (ja) Ｘｒ ｃａｖｅ環境におけるｘｒコンテンツ制御方法およびシステム
CN121002534A (zh) 用于对象跟踪的位姿优化
CN106843790B (zh) 一种信息展示系统和方法
JP2016197192A (ja) プロジェクションシステムと映像投影方法
Kim et al. Realtime plane detection for projection Augmented Reality in an unknown environment
US9329679B1 (en) Projection system with multi-surface projection screen
CN114402364A (zh) 使用随机森林的3d对象检测
CN119213464A (zh) 具有手部预测的手势检测方法和系统
Malik Robust registration of virtual objects for real-time augmented reality
TW202305745A (zh) 控制方法、追蹤系統以及非暫態電腦可讀取媒體
JP2020182201A (ja) ポーズ変化通知方法及び関連する対話型画像処理システム
CN115981492A (zh) 三维笔迹生成方法、设备及系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250515

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20250515

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20250515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20251125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20260203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260402

R150 Certificate of patent or registration of utility model

Ref document number: 7849099

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150