SA110310836B1 - مساعدة تعاونية ظاهرية تعتمد على صورة رمزية - Google Patents
مساعدة تعاونية ظاهرية تعتمد على صورة رمزية Download PDFInfo
- Publication number
- SA110310836B1 SA110310836B1 SA110310836A SA110310836A SA110310836B1 SA 110310836 B1 SA110310836 B1 SA 110310836B1 SA 110310836 A SA110310836 A SA 110310836A SA 110310836 A SA110310836 A SA 110310836A SA 110310836 B1 SA110310836 B1 SA 110310836B1
- Authority
- SA
- Saudi Arabia
- Prior art keywords
- avatar
- user
- display
- environment
- module
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 117
- 238000012545 processing Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 15
- 238000012423 maintenance Methods 0.000 claims description 14
- 230000014509 gene expression Effects 0.000 claims description 6
- 230000036544 posture Effects 0.000 claims description 6
- 230000003190 augmentative effect Effects 0.000 claims description 5
- 230000003319 supportive effect Effects 0.000 claims description 5
- 230000004224 protection Effects 0.000 claims 4
- 230000004438 eyesight Effects 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 46
- 230000009471 action Effects 0.000 description 24
- 230000007613 environmental effect Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 22
- 230000003542 behavioural effect Effects 0.000 description 18
- 230000006399 behavior Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 11
- 230000015654 memory Effects 0.000 description 10
- 230000003993 interaction Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000009877 rendering Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000009434 installation Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- BPPVUXSMLBXYGG-UHFFFAOYSA-N 4-[3-(4,5-dihydro-1,2-oxazol-3-yl)-2-methyl-4-methylsulfonylbenzoyl]-2-methyl-1h-pyrazol-3-one Chemical group CC1=C(C(=O)C=2C(N(C)NC=2)=O)C=CC(S(C)(=O)=O)=C1C1=NOCC1 BPPVUXSMLBXYGG-UHFFFAOYSA-N 0.000 description 1
- 206010001497 Agitation Diseases 0.000 description 1
- 208000016057 CHAND syndrome Diseases 0.000 description 1
- 241000581364 Clinitrachus argentatus Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 102100030931 Ladinin-1 Human genes 0.000 description 1
- 101710177601 Ladinin-1 Proteins 0.000 description 1
- 241000252067 Megalops atlanticus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- CVBNMWXECPZOLM-UHFFFAOYSA-N Rhamnetin Natural products COc1cc(O)c2C(=O)C(=C(Oc2c1)c3ccc(O)c(O)c3O)O CVBNMWXECPZOLM-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013019 agitation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000004081 cilia Anatomy 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000006213 oxygenation reaction Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
Abstract
يتعلق الاختراع الحالي بنظام داعم تعاوني collaborative يعتمد على صورة رمزية avatar (1)، يشتمل على مستشعرات sensors لتتبع الحركة movement-tracking (2، 3، 7)، مصممة لتتبع حركات المستخدم user وجزء أو أكثر من جسمه body؛ شاشة عرض مثبتة رأسيا head-mounted display (9)؛ ومعالجات processors (2، 10، 12)، مصممة للعمل المشترك مع مستشعرات تتبع الحركة (3، 7) ومع الشاشة المثبتة رأسياً (9) لتجعل شاشة الشاشة المثبتة رأسياً (9) تعرض صورة رمزية (8) قادرة على الحركة في بيئة environment (5) مقابلة لمجال رؤية field of vision المستخدم وتتعلق بالبيئة (5) نفسها وبالمستخدم (4) وفقاً للمساعدة التي يتم تقديمها للمستخدم.
Description
مساعدة تعاونية ظاهرية تعتمد على صورة رمزية Avatar-based virtual collaborative assistance الوصف الكامل خلفية الاختراع يتعلق الاختراع الحالي بصفة عامة بمساعدة تعاونية collaborative ظاهرية virtual تعتمد على الصورة الرمزية avatar وبتفصيل أكثر يتعلق بتكوين بيئة عمل؛ تدريب؛ ومساعدة بواسطة تقنيات بواقية مدعومة. يتم استخدام أنظمة من نوع معروف؛ على سبيل المثال تلك المصممة designed لتوفير بيئات عمل تعاونية «(CWEs) collaborative working على نحو مميز لمساعدة Jade عن بُعد فى تنفيذ مجموعة من الأنشطة المنطقية (مثل؛ على سبيل JU صيانة المعدات عم ie ض equipment أو تنفيذ عمليات محددة (specific operations تثبت الطريقة السابقة فائدتها بالتحديد فى حالة حيث بها يكون المشغل فى منطقة يصعب الوصول led) على سبيل المثال فى مكان عالى ٠ الخطورة البيئية environmental risk تاعلط. فى هذه الحالة؛ نقل الفنيين المتخصصين specialized technician إلى موقع العمليات 85م بالإضافة إلى كونها مكلفة costly وغير مريحة «inconvenient فقد تعرض ha الفنيين وعامل النقل transport personnel للخطر بشكل كبير. تعتمد عمليات المساعدة عن بُعد على استخدام اتصالات communications صوت audio و/أو صورة video من ly مركز المساعدة الفنية technical-assistance centre عن بُعد بطريقة حيث ض ١ _يمكن بها دعم المشغل فى المجال عن بُعد بواسطة عامل فنى متخصص من خلال تنفيذ عمليات محددة؛ على سبيل المثال؛ الصيانة maintenance فى العديد من الحالات؛ يتوافر للمشغل فى المجال واحدة أو أكثر من كاميرات الفيديو video cameras اتي بواسطتها يتم التقاط صور أو أفلاء للموقع أو للمعدات التى يتم عليها تنفيذ التداخل لإرسالها إلى الفني المتخصص؛ والذى يستطيع بهذه الطريقة مساعدة المشغل بصورة أكثر فاعلية. Yo يقدم هذا النوع من الطرق؛ مع ذلك؛ سلسلة من الحدود الداخلية intrinsic limits فى الموضع الأول؛ تكون التعليمات المقدمة بواسطة الفنى المتخصص محدودة بتعليمات صوتية والتى يجب تفسيرها وتنفيذها بواسطة مشغل المجال. Lead يكون من الضرورى توفير شبكة network نقل بيانات data
ض على نطاق واسع بصورة كافية؛ على سبيل المثال لضمان رؤية واضحة وعالية الدقة clear للفنى المتخنصص للأفلام أو الصور التي تم التقاطها. وعلاوة على ذلك فمن الصعب إمداد الفنئى المتخصص برؤية شاملة ورؤية تفصيلية للموقع عازه و/أو المعدات equipment التى يجب دخولها فى وقت واحد. يمكن التغلب على القيد الأخير جزئياً باستخدام تقنيات مجسمة «sly stereoscopic * مع ذلك؛ تكون مطلوبة لنطاق نقل أوسع أيضاً. ويكون من الصعب تنفيذ الحل المذكور لهذا السبب فى مواضع محدودة الموصلية .connectivity يتصور حل ممكن آخر للمشاكل المذكورة تكوين بيئات واقع افتراضي تكفل إعادة إنتاج صحيح للموقع والمعدات التى قد يضطر المشغل إلى التعامل معها. تبقى إعادة البناء الافتراضي للموقع والمعدات التى من الضرورى التعامل معها على كل من المعالج processor المستخدم بواسطة الفني ٠ المتخصص والمعالج المستخدم بواسطة مشغل المجال. ومن ثم يستطيع الفنى المتخصص تخلل البيئة الافتراضية مباشرة عن طريق إظهار العمليات التى يتم تنفيذها للمشغل الموجود على الموقع الذى من المطلوب الدخول فيه. يتطلب ذلك الحل؛ مع ذلك؛ جهد حسابى كبير لتكوين بيئة افتراضية والتى ستمثل الموقع الفعلى والمعدات بشكل صحيح. ia ol) العام للاختراع ٠ يتعلق الاختراع الحالى بنظام وطريقة مقابلة لتوفير مساعدة تعاونية و/أو بيئة عمل بمدى مفضل لتنفيذ تطبيق من الأنشطة اللوجيستية logistic activities (تركيب installation صيانة؛ تنفيذ عمليات coperations تدريب ctraining الخ) فى مواقع تشغيل متتقلة nomadic باستخدام تقنيات وتطبيقات مدعومة الافتراضية. فى الاسلوب الفني technical الحالي؛ يتم استخدام التعبير "مدعومة الافتراضية" “augmented reality” ٠ كثيراً للإشارة إلى تقنيات وتطبيقات والتى بها يزداد الإدراك البصرى visual perception للحيز المادي physical عن طريق التراكب على الصورة الحقيقية real picture (للسيناريو العام (generic scenario واحد أو أكثر من العناصر الافتراضية للافتراضية. بهذه الطريقة؛ يتم تكوين مشهد مركب والذى فيه يكون إدراك الافتراضية غنى افتراضياً (أي؛ متزايد) عن طريق عناصر افتراضية إضافية؛ مولدة نموذجياً بواسطة معالج. يدرك المشغل الذى يستخدم الافتراضية المدعومة © السيناريو النهائى المركب؛ المكون بواسطة السيناريو الحقيقي الغنى بعناصر غير حقيقية أو افتراضية. يمكن التقاط السبناريو الحقبقي عن طريق كاميرات فوتوغرافية photographic cameras أو ض
كاميرات فيديو؛ فى حين يمكن تكوين العناصر الافتراضية virtual elements بواسطة كمبيوتر باستخدام برامج مناسبة مساعدة للتصوير أو» على نحو بديل؛ يتم الحصول عليها أيضاً بكاميرات فوتوغرافية أو كاميرات فيديو. عن Bub دمج integrating العناصر الافتراضية مع السيناريو الحقيقي يتم الحصول على السيناريو النهائى والذى به يتم دمج العناصر الافتراضية بطريقة طبيعية فى © السيناريو scenario الحقيقي؛ مما يتبح للمشغل الحركة بحرية freely فى السيناريو النهائى وربما التفاعل معه. ض يشتمل أسلوب تصميم نظام الافتراضية المدعومة augmented-reality system بشكل أساسى على منصة كمبيوتر hardware platform ومنصة برنامج csoftware platform والتى تتفاعل مع بعضها البعض ويتم تشكيلها بالطريقة التى يكون بها المشغل مزود بنظارات واقية goggles VR مناسبة أو ٠ خوذة helmet لعرض الافتراضية المدعومة؛ سوف يميز بصرياً وجود صورة رمزية augmented creality والتي؛ كما هو معروف؛ لا تكون غير تمثيل تصويري ثنائي الأبعاد two-dimensional أو ثلاثي الأبعاد three-dimensional مكوّن بواسطة كمبيوتر computer والذي يمكن أن يختلف في ض الفكرة والحجم ويفترض عادة ملاح إنسان human features ملامح حيوان «animal features أو ملامح تصورية cimaginary features وتجسّد تصويرياً graphically embodies الوظيفة المحددة ٠ للنظام. على نحو مفضل» يكون للصورة الرمزية ملامح وجه إنسان human physiognomy وتكون قادرة على التفاعل (من خلال الكلمات words و/أو الإيماءات (gestures مع المشغل operator لإرشاده؛ مراقبته؛ ومساعدته فى أداء الفعل بشكل صحيح فى بيئة عمل حقيقية و/أو افتراضية. قد يكون للصورة الرمزية وظائف functions مختلفة وفقاً للسياق التطبيقي applicational context لاستخدام النظام مدعوم الافتراضية (العمل cwork التسلية camusement التدريب ¢training الخ.). Ye يتم التحكم بالحركات cgesturescale Las) cmovements وخطاب الصورة الرمزية avatar وبالمثل تمثيلها التصويري؛ وإدارتها بواسطة منصة البرامج المناسبة. علاوة على ذلك يمكن أن تشتمل المحتويات الافتراضية المدعومة المعروضة من خلال نظارات وقائية VR أو خوذة» بالإضافة إلى الصورة الرمزية؛ على عناصر افتراضية مدعومة أخرى؛ معروضة متراكبة على البيئة المحيطة الحقيقية أو على البيئة المولدة جزئياً بواسطة تقنيات techniques الواقع Ye الافتراضي. ض ض
ض ض هت على نحو مميزء يمكن عرض الصورة الرمزية بالطريقة التى تُظهر حركتها طبيعية داخل بيئة التمثيل الحقيقية أو الافتراضية وقد تشغل الصورة الرمزية مساحة خاصة بها داخل البيئة. ويعنى هذا أن ض الصورة الرمزية يمكن أن تخرج من مجال رؤية المشغل إذا كان الأخير يحرك نظره gaze على سبيل المثال بمقدار 188 درجة degrees علاوة على ذلك؛ من المناسب أن تكون الصورة الرمزية قادرة © على الارتباط الصحيح بالبيئة المحيطة وبالعناصر أو المعدات الموجودة فيها حتى تكون قادرة؛ على سبيل المثال؛ على الإشارة بدقة indicate precisely (بواسطة إيماءات ذاتية) إلى أجزاء أو تفاصيل للعناصر أو المعدة المذكورة؛ فى نفس الوقت؛ يجب أن يوجد آليات 5ه مراقبة تصويرية envisaged control لإدراك وربما تصحيح الإجراءات التى يتخذها المشغل. لذلك الغرض؛ وللتمكن من ضبط تأثيرات 5 الصورة الرمزية بشكل مناسب؛ تفترض سعة capacity ٠ النظام المدعوم الافتراضية؛ للكشف عن حركات body awa movements المشغل ووضع العناصر الموجودة في البيئة المحيطة؛ أهمية خاصة. وللحصول على التأثير يمكن استخدام الأجهزة devices الموصوفة لتتبع الحركات فى ثلاثة أبعاد ض بأنواع مختلفة. يوجد في السوق market أنوا ع مختلفة من أجهزة التتبع AEN الأبعاد المناسبة لذلك الغرض. ١٠ يمكن أن تكون مجالات تطبيق الاختراع الحالى متعددة. على سبيل المثال؛ يتيح النظام الخاص بالاختراع دورات تدريب training sessions يتم تنفيذها في نفس المكان loco أو على مسافة distance وتكون بصفة عامة general ذات قيمة valuable لكل متطلبات التدريب تلك والتي بها يثبت التفاعل مع المدرب فائدة advantageous أغراض التعليم ¢learning purposes ويتيح هذا توفير دعم لوجيستي logistics (التركيب؛ الصيانة؛. الخ) لأي نوع من المعدات أو الأجهزة؛ ويوفر دعم ٠ فعال للجراحين A surgeons غرفة العمليات operating theatre لتعليمهم على استخدام المعدات أو لمساعدتهم أثناء سير الجراحة tsurgery أو مرة cpa) يمكن استخدامها في بيئات مغلقة أثناء ض العروض cshows أو الأسواق fairs أو المعارض cexhibitions أو في بيئات مفتوحة open 000©15؛ على سبيل المثال في المناطق أثرية archaeological لإرشاد وتوجيه الزوار والتفاعل معهم خلال الزيارة. YO شرح مختصر للرسومات ض
وحتى يتم فهم الاختراع الحالى بشكل أفضل يتم الآن وصف تجسيد مفضل منه؛ ببساطة على سبيل المثال وليس الحصر» بالرجوع إلى الرسومات الملحقة؛ والذى به: 7 شكل ١ يوضح تصميم جهاز بنظام مدعوم الافتراضية وفقاً لأحد تجسيدات الاختراع الحالى؛ = شكل ؟ يوضح؛ بواسطة رسم بياني تخطيطي block diagram إطاري؛ خطوات طريقة ٠ لعرض صورة رمزية وتتفيذ طرق بافتراضية مدعومة وفقاً لأحد تجسيدات الاختراع الحالى؛ - شكل ؟ يوضح ؛ فى شكل تخطيطي ؛ تركيب برنامج لنظام مدعوم الافتراضية وفقاً لأحد تجسيدات الاختراع الحالى؛ £ — الأشكال 4 -لا cia بواسطة رسوم بيانية تخطيطية cya) طرق خاصة لاستخدام النظام مدعوم الافتراضية. ض ٠ الوصف التفصيلى يتم تقديم المناقشة التالية لتمكين الشخص الماهر person skilled المجال art من تطبيق واستخدام الاختراع. سوف تتضمن تعديلات modifications مختلفة على التجسيدات embodiments للخبراء في المجال؛ بدون الحيود 8 عن مجال الاختراع الحالي كما هو مذكور. ونتيجة ld لا يتم فهم الاختراع الحالى بأنه مقيد بالتجسيدات الموضحة؛ ولكن يجب منحه مجال أوسع وفقاً Ve للمبادئ والخصائص الموضحة فى الوصف Mall والمحددة فى عناصر الحماية المرفقة. يوضح شكل ١ تصميم جهاز بنظام ممكن لنظام داعم تعاونى «collaborative supportive والذى يستخدم تقنيات مدعومة الافتراضية؛ وفقاً لتجسيد مفضل للاختراع الحالى. على نحو (Kate يشتمل النظام الداعم التعاونى ١ على جهاز تتبع حركة movement-tracking كت ض والذى يشتمل بدوره على وحدة تتبع حركة واحدة على الأقل ؟ وواحد أو أكثر من مستشعر بيئي «V environmental sensors | ٠ متصل بوحدة تتبع الحركة ١ أو مدمج في وحدة تتبع الحركة ؟ نفسها أثنا ء الاستخدام؛ جهاز تتبع الحركة 7 يكون مشكل للكشف عن موضع وحركات المشغل ؛ (أو أجزاء من جسم المشغل 4) داخل البيئة 5؛ سواء مغلقة closed أو مفتوحة open لذلك الغرض؛ فقد يشتمل co . النظام الداعم التعاونى ١ أيضاً على واحد أو أكثر من مستشعرات الحركة 7 والتي يمكن تحميلها بواسطة المشغل ؛ (على سبيل المثال ؛ يوضح شكل ١ مستشعر حركة واحد ١ محمول بواسطة Yo المشغل ؛)؛ والذى يكون مصمم ليعمل مع المستشعرات البيئية ؟. تكشف المستشعرات البيئية oe
v موضع و/أو حركات مستشعرات الحركة ا وفي شكل البيانات المشفرة encoded data بشكل clio يرسلها إلى وحدة تتبع الحركة ". تقوم وحدة تتبع الحركة ¥ بتجميع البيانات الواردة data received من المستشعرات البيئية ؟ وعملياتها حتى يتم الكشف 1 عن موضع و/أو حركات مستشعرات الحركة ١ في البيئة © ونتيجة؛ للمشغل ؟. قد يتم إرسال البيانات المذكورة أيضاً إلى الخادم المحلي ١١ 0 مع الصور المكتسبة خلال واحدة أو أكثر من كاميرات الفيديو عالية الوضوح ٠5 Lin الموزعة فى البيئة 2 يشتمل النظام الداعم التعاونى Lad ١ على شاشة مثبتة رأسياً head-mounted display (HMD) 4 والتي يمكن أن يرتديها المستخدم؛ فى شكل خوذة VR (واقع افتراضي) أو نظارات وقائية VR على نحو مفضل تتضمن كاميرا sad 4أ من النوع الميكروسكوبى monoscopic أو المجسم stereoscopic ٠ للتصوير السينمائى 8 للبيثة © من وجهة نظر المشغل of وميكروفون ض microphone كأ لتمكين المشغل من نقل الأوامر الصوتية voice commands يشتمل النظام الداعم التعاونى ١ أيضاً على جهاز تقليد صوت VY sound-reproduction على سبيل المثال ele lew 05 مدمجة بالشاشة المثبتة رأسياً head-mounted 4 أو مكبرات صوت loudspeakers مرتبة في البيئة © (الأخيرة غير موضحة في شكل .)١ dead ve تكون شاشة مثبتة رأسياً 4 قادر على تدعيم تطبيقات applications افتراضية مدعومة. على نحو محدد؛ من المفضل أن تكون الشاشة المثبتة رأسياً 4 من نوع يمكن خلاله الرؤية البصرية optical see لتمكين المشغل ؛ لملاحظة البيئة © بدون مرشحات filters والتى قد تغير من مظهرها. على نحو (dary يمكن أن تكون الشاشة المثبتة رأسياً 4 من النوع المتفاعل interfaced مع كاميرا الفيديو *ا (في هذه الحالة من المفضل الكاميرا المجسمة) للاقتراح في الوقت الحقيقي real time Ye للمشغل ؛ أفلام للبيئة co على نحو مفضل مقابل لمجال رؤية المستخدم. فى هذه الحالة؛ يتم عرض الصورة الرمزية A مركبة على أفلام البيئة © الملتقطة بواسطة كاميرا الفيديو 4أ. يشتمل نظام الدعم التعاونى ١ أيضاً على lea كمبيوتر ٠١ من النوع المحمول portable على سبيل المثال حاسوب دفترى notebook حاسوب دفترى صغير palm-top مساعد رقمي شخصيء وما إلى ذلك؛ مزود بوحدات معالجة وتخزين storage مناسبة (غير موضحة) مصممة لتخزين وإنتاج ض TO محتويات مدعومة الافتراضية والتى يمكن عرضها من خلال الشاشة المثبتة رأسياً 4. لذلك الغرض؛
A تتصل الشاشة المثبتة رأسياً 4 وجهاز الكمبيوتر المحمول ببعضهم البعض من خلال اتصال SLY of wireless من خلال كابل cable على نحو متوازن. يمكن أن يتصل جهاز الكمبيوتر المحمول ٠١ أيضاً بالخادم المحلي OY على سبيل المثال من خلال اتصال لاسلكي؛ لإرسال و/ أو استقبال محتويات أخرى مدعومة الافتراضية ليتم عرضها عبر ٠ الشاشة المثبتة رأسياً 4. علاوة على ذلك؛ يستقبل جهاز الكمبيوتر المحمول ٠١ من الخادم المحلي ٠" البيانات التى تتعلق بموضع و/أو حركات المشغل ؛ المعالج بواسطة وحدة تتبع الحركة VY ض وربما معالج أيضاً بالخادم المحلي NY بهذه الطريقة؛ المحتويات الافتراضية المدعومة الناتجة بواسطة جهاز الكمبيوتر المحمول ٠١ والمعروضة من خلال الشاشة المثبتة رأسياً 4 قد تتغير وفقاً ض للوضع المفترض بواسطة المشغل 4؛ حركاته؛ تفاعلاته interactions وتأثيراته .actions ٠ تفاعل الصورة الرمزية A مع المشغل ؛ والتحكم الثابت للتأثيرات التى يتم تنفيذها بواسطة المشغل ؛ يتم تطبيقها خلال وحدة تتبع الحركة oF المستشعرات البيئية oF مستشعرات الحركة oF والميكروفون oA والذى يعمل بطريقة تعاونية. على نحو محدد؛ حيث يتم تشكيل وحدة تتبع الحركة 9؛ مستشعرات (VAS all والمستشعرات البيئية ؟ للكشف عن موضع وازاحات displacements المشغل ؛ والأجسام الموجودة بالبيئة 0< الميكروفون 1ب يكون متصل على نحو مميز (على سبيل JU Vo عبر وصلة لاسلكية cwireless connection من نوع معروف) بجهاز الكمبيوتر المحمول ١٠؛ ويكون مشكل لإرسال الإشارات الصوتية audio signals لجهاز الكمبيوتر المحمول ٠١ ومرتبط بتعبيرات صوتية ممكنة للمشغل 4. جهاز الكمبيوتر المحمول ٠١ يكون مشكل بدوره لاستقبال الإشارات , الصوتية المذكورة وترجمتها cinterpreting وعلى أساسها ass نغمات الصوت الدلالية semantics و/أو الخاصة لتعبيرات الصوت voice tones يتم تغييرها بواسطة المشغل ؛ (على سبيل Jd) عبر Yo برامج إدراك الصوت من نوع معروف). نغمات الصوت الخاصة؛ تعبيرات الوجه «facial expressions و/أو الوضعيات postures )5 ¢ بصفة عامة؛ أي تعبير للغة جسم body language المشغل ؛ (Say استخدامها لترجمة درجة فاعلية التفاعل (a effectiveness الصورة الرمزية A والمشغل ؛. على سبيل المثال» هز الرأس prolonged ض shaking لفترة طويلة بواسطة المشغل ؛ يمكن تفسيرها كإشارة لشك doubtfulness أو معارضة dissent Yo المشغل ؛؛ هز الرأس لفترة طويلة في الاتجاه الرأسي vertical direction يمكن تفسيره كعلامة لموافقة assent المشغل 4؛ أو مرة أخرى؛ العبوس frowning على eda من المشغل ؛ يمكن ض
تفسيره كإشارة لشكل المشغل ؛. يمكن استخدام علامات أخرى للغة الجسم لتفسر درجة فاعلية التعاون Lad بين الصورة الرمزية A والمشغل 4 . يستطيع الخادم المحلي VY local server أيضاً ضبط set up الاتصال بين مركز المساعدة الفنية V0 برئاسة (إنسان) مساعد ويتم وضعه على مسافة من البيئة © التي يوجد بها المشغل ؛. فى هذه ٠ الحالة؛ يتصل الخادم المحلي VY بمركز المساعدة التقنية ١١ خلال شبكة اتصالات Je) ١١ communications network سبيل المثال؛ شبكة تكنولوجيا المعلومات telematic network والاتصالات؛ شبكة الهاتف؛ أو أي شبكة إرسال صوت/بيانات .(voice/data-transmission network تشتمل المحتويات الافتراضية المدعومة المعروضة من خلال الشاشة المثبتة رأسياً 4؛ على نحو محدد؛ على الصورة الرمزية A ممثلة فى شكل ١ بخط متقطعع1:0 cdashed لكى تكون مرئية فقط ٠ بواسطة المشغل مزود بالشاشة المثبتة رأسياً 4 المناسبة. على نحو مفضل» تكون الصورة الرمزية A هى الصورة التي يراها المشغل ؛ فى شكل ثلاثى الأبعاد وتمثل شكل إنسان human متكامل فى ض بيئة حقيقية © قادر على التأثير فى علاقة مع البيئة ©؛ ربما تعديلها cles مع المشغل 4 نفسه. يتم تمثيل التعديلات التى يتم تنفيذها بواسطة الصورة الرمزية A للبيئة © أيضاً بواسطة صور مدعومة الافتراضية؛ مرئية visible بواسطة المشغل ؛ المزود بالشاشة المثبتة رأسياً 4. ٠ يتيح تصميم برنامج مناسب (موضح بتفصيل أكثر فيما يلى) تعريف الرسم graphic definition للصورة الرمزية A وامكانيات تفاعلها 48 واتصالها relating مع البيئة ©. يمكن أن يشتمل تصميم البرنامج software المذكور على نحو مميز على مجموعة من وحدات البرنامج؛ كل منها بوظيفة محددة»؛ محفوظة فى ذاكرات memories خاصة (غير موضحة) لوحدة تتبع الحركة 7 و/أو للخادم المحلى VY local server و/أو lead الكمبيوتر .٠١ computer device يتم تصميم وحدات ٠ البرنامج ليعالج بشكل مناسب البيانات الواردة من المستشعرات البيئية ؟ حتى يتم تحديد بدقة معينة ض (تعتمد على؛ على سبيل المثال؛ نوع المستشعرات البيئية ؟ ومستشعرات الحركة V المستخدمة) الحركات والعمليات التى يجريها المشغل ؛ على الأجسام الموجودة بالبيئة ©. لهذا من الممكن التحكم فى جهاز الكمبيوتر ٠١ بالطريقة التى تدير وتعرض الصورة الرمزية A وفقاً لحركات المشغل ؛ أو لأجزاء من جسمها فى البيئة 10 على نحو مميزء يمكن عرض الصورة الرمزية A بالطريقة التى YO تظهر بها حركاتها طبيعية داخل البيئة ©. على سبيل المثال؛ قد ترتبط الصورة الرمزية A بالبيئة 6 بطريقة لا تعتمد على كل من حركات المشغل ؛ وتعتمد عليها. على سبيل JU يمكن أن تخرج ض ض
ض B : الصورة الرمزية A من مجال رؤية المشغل ؛ إذا حول الأخير نظره بمقدار» على سبيل المثال» ٠80 درجة؛ أو أيضاً قد تتحرك الصورة الرمزية A حول البيئة 0 للتفاعل مع المشغل 4. من الواضح ض بالتالي أن الطريقة الخاصة التى يتم تنفيذها بواسطة الصورة الرمزية A تختلف وفقاً للتأثيرات التى يجريها المشغل 4 . يتم تعريف التأثيرات المذكورة؛ كما تم (Lah على أساس وضعيات attitudes Ss oe نغمات tones الصوت التي يصدرها المشغل ؛ نفسه ضمنياً و/أو بوضوح إلى وحدة المعالجة ٠ خلال وحدة تتبع TAS all مستشعرات الحركة 7؛ المستشعرات البيئية oF كاميرات فيديو البيئة 8 أو أنوا 2 أخرى من المستشعرات الموجودة. يجب أن تكون الصورة الرمزية A أيضاً قادرة على الارتباط بدقة بالبيئة © وبالعناصر أو المعدات الموجودة بالبيئة © لتكون قادرة على إرشاد و/أو مساعدة المشغل ؛ في الاستخدام المناسب للعناصر ٠ أو المعدات المذكورة؛ باستخدام إيماءات و/أو كلمات خاصة به. لذلك الغرض؛ تتمثل الأهمية الخاصة في قدرةٍ النظام الداعم التعاوني ١ على الكشف عن موضع وحركات المشغل ؛ (أو لجزء أو أكثر من أجزاء جسمه) وللعناصر الموجودة بالبيئة © ليكون قادر ض على تضمين تأثيرات الصورة الرمزية A وفقاً لهذا. يجب وضع الصورة الرمزية A على نحو مفضل فى بيئة © بطريقة صحيحة؛ أي؛ بدون تركيبها بنفسها على عناصر أو أجسام موجودة فى البيئة ٠ 0 حتى يتم ضبط AD الحقيقية مع المشغل ؛ (لذلك الغرض؛ يمكن تشكيل الصورة الرمزية A بالطريقة التي؛ عندما يتكلم؛ تحدث إيماءات وتتبع للمشغل ؛ بتحرك نظره). للحصول على التأثير الفنى technical effect الموضح من الممكن استخدام معدات تتبع حركة ١ movement-tracking في بعدين أو أكثر ٠. على نحو مخصص»؛ وقد أدى التطور الحديث ونشر حزم packages تطبيق قولبة ثلاثية الأبعاد 3D-modelling إلى تكوين أسطح بينية تفاعلية للرسم ٠ للإبحار navigation والدوران في AD أبعاد . تحدد حزم التطبيق application packages المذكورة؛ فى الواقع؛ موضع الهدف العام generic object (والعناصر All elements تصنعه) فى ض الفضاء «space على أساس الإحداثيات المكانية المشتركة الثلاثة Xo, ( three spatial co-ordinates ض (yo, Zo والاتجاه فيما يتعلق بالنظام المرجعى المشار إليه بواسطة ثلاثة زوايا Tox al) angles الو انعراج cyaw toy ودرجة ميل (pitch roz للدوران حول كل الإحداثيات المكانية المشتركة الثلاثة. Yo تكون لقدرة التحكم بالطريقة المستقلة بستة متغيرات على الأقل ميزة مفيدة على نحو محدد فى حزم تطبيق قولبة ثلاثية الأبعاد. يتم تصميم حزم التطبيق المذكورة أيضاً لنمذجة modelling الصحيحة
للافتراضية؛ أيضاً في ما يتعلق بالطرق التي يتفاعل بها الإنسان مع أهداف استخدام الحياة اليومية everyday من الناحية التقنية «technological standpoint تتيح معدات تتبع الحركة 1 المصاحبة لحزم تطبيق برنامج مناسب تحويل ظاهرة فيزيائية Jie physical phenomenon قوة force أو «velocity4e yu في البيانات التي يمكن معالجتها وتمثيلها على الكمبيوتر. © يوجد فى السوق أنوا ع مختلفة من معدات تتبع الحركة movement-tracking 1 من هذا النوع. على نحو ple يتم تصنيف معدات تتبع الحركة +7 على أساس التكنولوجيا التى تستخدم الظواهر الفيزيائية All تحدث فى البيئة © حيث تعمل للالتقاط capturing والقياس .measuring على سبيل المثالء يمكن استخدام معدات تتبع الحركة ١ من النوع الميكانيكي؛ والتي تشتمل على هيكل ميكانيكي mechanical يتألف من مجموعة من القضبان rods متصلة ببعضها البعض بواسطة ٠ دبابيس pins وتشتمل على مجموعة من مستشعرات الحركة 7؛ على سبيل (JU) مستشعرات كهربائية electrical و/أو بصرية optical يتم ارتداء الهيكل الميكانيكي mechanical skeleton المذكور بواسطة المشغل ؛ ويكشف عن الحركات التى يعملها المشغل 4 نفسه (أو جزء أو أكثر من جسمه)؛ مما يتيح تتبع موضعه فى المكان. على نحو بديلء من الممكن اسستخدام معدات تتبسع حركة ١ من نوع ٠ كهرومغناطيسي166170101880608». تشتمل المعدات المذكورة على: وحدة تتبع حركة واحدة أو أكثر ؟؛ مجموعة من مستشعرات Fn على سبيل المثال نواقل إشارة كه رومغناطيسية celectromagnetic متصلة بوحدة تتبع الحركة ¥ ومرتبة داخل البيئة £0 وواحد أو أكثر المستشعرات oY والتي تعمل ض كأجهزة استقبال للإشارة الكهرومغناطيسية المرسلة؛ مجهزة بشكل مناسب على جسم المشغل 4؛ على سبيل المثال على أطرافه المتحركة mobile limbs تقابل حركات المشغل ؛ التغير الحادث بالإشارة ض ٠ الكهرومغناطيسية المكشوف عنها بواسطة مستشعرات الحركة oY والتي يمكن معالجتها من ثم حتى يتم تقييم حركات المشغل ؛ فى البيئة ©. تكون معدات تتبع TAS al) من هذا النوع؛ مع هذاء تكون حساسة fas للتداخل الكهرومغناطيسي؛ والذى قد يضعف دقة القياس .measurement يشتمل نوع آخر من معدات تتبع الحركة 1 على مستشعرات بيئية ؟ من النوع البصرى. في هذه الحالة؛ تشتمل مستشعرات الحركة 7 فعلياً على مصدر ضوء le) سبيل المثال LASER أو «(LED ض Ye والتي تبعث إشارة ضوئية signal 11804 على سبيل المثال من نوع الأشعة تحت الحمراء infrared تعمل المستشعرات البيئية ؟ في هذه الحالة على هيئة أجهزةٍ استقبال بصرية coptical receivers
. مصممة لاستقبال إشارات الضوء المنبعثة بواسطة مستشعرات الحركة 7. يتم التحكم بالتغير فى مساحة الإشارات الضوئية بعد ذلك فى علاقة مع حركات خاصة للمشغل 4 . تكون الأجهزة من هذا النوع مفيدة بقدر ما تتيح تغطية coverage بيئة عمل واسعة جداً ©. ومع ذلك؛ فهي تكون عرضة لإعاقات الممر البصرى optical path للإشارات الضوئية light signals المنبعثة بواسطة مستشعرات 0 الحركة .١ يجب منع حدوث أى إعاقة للمسار البصرى بشكل مناسب للحصول على الأداء المثالى. على نحو بديل؛ من الممكن ضمان المسار البصرى بواسطة توفير عدد مناسب من المستشعرات oF Add على سبيل المثال لضمان التغطية عع8:©»ه»الكاملة للبيئة © . تشتمل الأنواع الأخرى من معدات تتبع الحركة 6 التى يمكن استخدامها على مستشعرات بيئة ؟ من النوع الصوتي. أيضاً فى هذه الحالة؛ كما هو موضح سابقاً؛ من الملائم تجهيز واحد أو أكثر من ٠ المستشعرات البيئية ؟ على نحو مفضل داخل البيئة © وواحد أو أكثر من مستشعرات الحركة ١ على جسم المشغل 4. فى هذه الحالة؛ مع ذلك؛ تعمل مستشعرات الحركة ١ على هيئة نواقل للموجات الصوتية sound waves وتعمل المستشعرات البيئية ؟ على هيئة أجهزة استقبال للموجات الصوتية المرسلة. يتم الكشف عن حركات المشغل ؛ بواسطة قياس التغيرات فى الوقت المأخوذ بواسطة الموجات الصوتية لقطع المساحة بين مستشعرات الحركة A والمستشعرات البيئية 7. لا يضمن ذلك ٠ النوع من الأجهزة» حتى إذا كان يمثل ميزة مفيدة اقتصادياً economically ومتاحة بسهولة readily available مع ذلك الدقة A precision إذا كانت بيئة العمل © عبارة عن بيئة مغلقة بسبب الانعكاسات reflections الممكنة للموجات الصوتية مقابل جدران البيئة 0 معدات تتبع حركة أخرى ١ والتى يمكن استخدامها تمثل استخدام مستشعرات حركة ١ تشتمل على جيروسكوبات 10500085 رولقياس تغيرات الدوران variations حول واحد أو أكثر المحاور المرجعية. "٠ يمكن إرسال الإشارة الناتجة بواسطة الجيروسكوبات إلى وحدة تتبع الحركة ¥ خلال وصلة لاسلكية لكى يمكن معالجتها على نحو ملائم. فى هذه الحالة؛ لا يكون من الضرورى تصوير استخدام المستشعرات البيئية ؟. علاوة على ذلك؛ قبل ذلك فى Alls الإجراءات غير المحددة cline يستطيع الفنى فى مركز المساعدة الفنية Vo أن يساعد المشغل 4؛ ليسيطر على الصورة الرمزية A فى زمن حقيقي ويلاحظ البيئة © ض Ye المشغل of والمعدات التى من الضرورى دخولها. في هذه الحالة؛ من الملائم تجهيز مجموعة من كاميرات الفيديو القابلة للتحكم (على سبيل المثال؛ المتنقلة أو التي لها قدرة على تغيير البؤرة (focus ض
. مصممة لإرسال صور عالية الدقة resolution بإطارات frames مختلفة لكل من البيئة © والمعدات التي عليها يتم تشغيل المشغل 4. يتم تجهيز كاميرات الفيديو المذكورة على نحو مفضل بالطريقة التى تكون قادرة على ضمان تغطية مرئية جيدة للبيئة © كلها وللمعدات المطلوب دخولها فى كل الأوقات. من الواضح نتيجة لهذا أنه يمكن تجهيز كاميرات الفيديو المذكورة بشكل ملائم فقط عند الضرورة © وبتجهيز مختلف وفقاً لبيئة العمل 0 وفي النهاية؛ كبديل لمعدات تتبع الحركة > الموضحة أو بالإضافة إلى واحدة أو أكثر منها؛ء من الممكن تزويد المشغل ؛ بقفازات سلكية wired gloves 9 ؟ (يشار إليها أيضاً ب «(Cybergloves® من نوع معروف؛ مزودة بمستشعرات؛ وذلك بغرض تنفيذ كشف بالزمن الفعلي لالتواء bending أو تقريب adduction أصابع 5 اليد الواحدة (أو كلا اليدين (both hands للمستخدم؛ والتي تكون ٠ على أساس أي إيماءة. تكون القفازات السلكية YA من النوع المعروف قادرة على الكشف عن حركات الالتواء/التقريب نحو المحور وتفسيرها كأوامر إيمائية gestural و/أو سلوكية behavioural والتي يمكن تزويدها؛ على سبيل المثال من خلال وصلة لاسلكية ewireless connection إلى وحدة تتبع الحركة oF على سبيل المثال لاختيار أو تنشيط وظائف activating functions تطبيق البرنامج؛ بدون الالتجاء resorting إلى فأرة mouse أو dal مفاتيح keyboard ٠ فى حالة تكون بيئة العمل © عبارة عن مكان مفتوح وتكون المسافات distances التي يجب أو يمكن للمشغل قطعها طويلة على نحو محدد؛ من الواضح أن بعض معدات تتبع الحركة 1١ الموضحة سابقاً قد تثبت تركيب باهظ الثمن أو بطيئة cumbersome فى هذه الحالة؛ قد يكون من المفيد ضبط بالإضافة لذلك أى من أجهزةٍ تتبع الحركة ST كبديل led جهاز استقبال navigation GPS (نظام تحديد المكان العالمي) (Global Positioning System) يعمل مع برنامج إبحار GPS مناسب. يتم ض © _ ربط برنامج إبحار cnavigation GPS على سبيل المثال المخزن في ذاكرة جهاز الكمبيوتر ٠١ عبر جهاز الكمبيوتر ١٠؛ بوحدة تتبع الحركة ؟ و/أو بالخادم المحلي «VY ويزود بموضع المشغل ؛ وبدائله. لهذا يكون النظام الداعم التعاونى ١ مرثي؛ داخل حدود استشعار نظام تحديد المكان العالمي؛ لحركات وبدائل المشغل ؛ فى بيئة مفتوحة © ويمكن بالتالى التحكم بعرض الصورة الرمزية A بالطريقة التي؛ على سبيل المثال؛ تستبدل أيضاً المشغل 4 . Cp TO النظر عن نوع جهاز تتبع الحركة T المستخدم؛ من الملائم تصوير منصة برنامج مناسبة (تم توضيحها ووصفها فيما يلي بالإشارة إلى شكل 7 وتم تحديدها بواسطة الرقم 46)؛ على سبيل المثال
ض 1 من نوع ذو وحدات؛ تشتمل على واحدة أو أكثر من الوحدات وتبقى» كما تم ذكره» فى ذاكرات خاصة لوحدة تتبع الحركة ؟ و/أو للخادم المحلى ١١ و/أو لجهاز الكمبيوتر المحمول .٠١ portable computer يتم عرض الخطوات التى يتم تنفيذها بواسطة منصة البرنامج ٠٠ فى شكل .١ © فى المكان الأول (الخطوة ٠٠ من شكل »)١ يضبط المشغل ؛ مجموعات تنفذ إجراء داعم تعاونى افتراضي؛ لعرض الصورة الرمزية 8. يتم الكشف عن موضع واتجاه المشغل © (مزوده وفقاً لتجسيد الاختراع الحالي؛ بمستشعرات حركة V والشاشة المثبتة رأسياً ) بالإشارة إلى البيئة المحيطة © (على سبيل «JO بمساعدة المستشعرات البيئية ؟ و/أو كاميرات فيديو و/أو؛ كما هو موضح بشكل أفضل فيما يلى؛ بوضع المشغل 4 فعلياً داخل خريطة رقمية digital map للبيئة *)» ويتم تكوين الصورة ٠ الرمزية oh خلال الشاشة المثبتة رأسياً 4 وتظهر للمشغل 4؛ في بيئة العمل ©. كما هو موضح سابقاً؛ يتم الكشف عن موضع واتجاه المشغل ؛ على نحو مفضل بواسطة تعريف 1 درجات من ض الحرية (الإحداثيات المكانية المشتركة الثلاثة Xo Yor Zo والزوايا 2 «alll roy, Tov, الانعراج؛ ودرجة الميل). بعد ذلك (الخطوة oY) يتم ضبط تتفيذ العمل (أو المساعدة cassistance أو التدريب (training ١ ليجري Bly على طلب المشغل 4. أثناء هذه الخطوة؛ بالإضافة إلى بداية إجراء محدد؛ من الممكن أيضاً ضبط قيم بداية الإحداثيات المكانية المشتركة 7 Xo, Yor والزوايا Tox, Toys Toz (مخزنة stored فى الخادم المحلي (VY المستخدمة بالتالى أثناء خطوة ؟7. ض يمكن تقسيم تنفيذ ضبط تنفيذ العمل فى خطوة 7١ على نحو مميز إلى واحد أو أكثر من الروتينات الثانوية (عنصري elementary أو مركب lly (complex تعود؛ عند نهايتهاء إلى مخرج خاص Ve يمكن قياسه 0680160 وتحليله canalysed ومقارنته compared بمخرجات مرجعية reference results مخزنة فى الخادم المحلي NY يمكن تقييم مخرج كل روتين ثانوي subroutine بصرياً بواسطة المساعد الموجود فى مركز المساعدة الفنية V0 (والذى يتحقق منها بصرياً على مسافة؛ على سبيل المثال من خلال كاميرا الفيديو؛ نتائج العمليات operations المنفذة بواسطة المشغل 4 )؛ أو ض أيضاً في شكل آلي كلياً من خلال أدوات تشخيص الوسيلة التي يعمل عليها المشغل ؛ (تستطيع © أدوات التشخيص؛ على سبيل المثال؛ الكشف عن وجود أو اختفاء disappearance إشارات Ua قادمة من دوائر كهربائية electrical circuits أو ما شابه ذلك). ض ض
ض ض ١ بعد ذلك (الخطوة 77)» فى حين يقوم المشغل 4 بتنفيذ العمليات الممثلة بواسطة طريقة العمل (بمساعدة الصورة الرمزية A فى ذلك)» أجهزة تتبع الحركة 1 و/أو مستشعرات الحركة ١ و/أو ض الميكروفون 4ب و/أو القفازات السلكية 74 و/أو كاميرات الفيديو البيئية ٠9 تجرى مراقبة ثابتة ومستمرة للإحداثيات المكانية المشتركة xo, Yo Zo ولزوايا اللف» الانعراج» درجة الميل tor.
Toy. يرن ٠ المصاحبة للموضع Jal للمشغل cf ولكن أيضاً لإحداثيات مكانية مشتركة أخرى م5 i يم وزوايا اللفء الانعراج؛ ودرجة الميل toy, Tez ,»م المصاحبة لموضع أجزاء جسم المشغل of بالإضافة إلى ض إشارات ورسائل الصوت الصادرة بواسطة المشغل . يتم تخزين البيانات المذكورة (الإحداثيات المكانية المشتركة co-ordinates لمتتدصى؛ زوايا cangles of roll «alll الانعراج cyaw ودرجة الميل «pitch والإشارات الصوتية (voice signals بواسطة وحدة تتبع الحركة JY ض Ve بعد ذلك؛ تتم معالجة البيانات المخزنة لإجراء ضبط موضع وسلوك المشغل 4 . فى خطوة (YY تتم مقارنة الإحداثيات المكانية المشتركة op Voi Zor وزوايا اللف» الانعراج؛ ودرجة الميل rox, Tovi, Tozi المصاحبة للموضع الحالى للمشغل ؛ عند اللحظة ith بالإحداثيات المكانية المشتركة الخاصة Xo(i-1)s Yoi-1> Zoi-1 وزوايا اللف؛ الانعراج؛ ودرجة الميل Tovi-1), Tozd-1) :(-)<10 المصاحبة للموضع الحالى للمشغل ؛ عند اللحظة (-1)-th التى تسبق اللحظة ith إذا أنتجت ٠ عملية المقارنة بالخطوة YY مخرج سلبي (أى؛ تبقى الإحداثيات المكانية المشتركة الثلاثة Xo.
Yor Zo وزوايا اللف» الانعراج؛ درجة الميل 1002 غير متغيرة بالنسبة للإحداثيات والزوايا السابقة)؛ ثم (المخرج "لا" بالخطوة (YF تتحكم بالمرور إلى الخطوة 4 ؟. بدلاً من ذلك؛ إذا أنتجت Adee المقارنة مخرج موجب ais) positive الإحداثيات المكانية المشتركة الثلاثة zor نم xen وزوايا اللف» الانعراج؛ درجة الميل roxi, 2076 Tozi تتغير)؛ فإنها (المخرج 'نعم" من الخطوة (YY تسبب حركة المشغل 4 . ٠ يتضح أن الإحداثيات المكانية المشتركة الثلاثة Zoi نمز oi, وزوايا اللف» الانعراج؛ درجة الميل roxi, To 016 تعتبر متغيرة من اللحظة ith إلى اللحظة :0-(1-) إذا تغيرت لتتجاوز قيم بداية محددة (على سبيل المثال» محددة أثناء خطوة TY أو معرفة سابقاً). يتم تحديد قيم البداية المذكورة وتطبيقها بواسطة التأثير المحدد لطريقة الداعم التعاونى والتى لها يكون من المطلوب تداخل الصورة الرمزية A وعلى نحو مفضل بقيمة أعلى من قيم التحمل الأدنى لمستشعرات الحركة V أو للمستشعرات البيئية * Ye المستخدمة. ض ض
. يؤدي استخدام قيم values البداية أثناء تنفيذ خطوة YY إلى جعل من غير الممكن تعطيل العمل الحالى إذاء لأدا ء العمل نفسه. قام المشغل ؛ بتنفيذ تحركات؛ وربما الحد الأدنى منها أيضاًء وبالتالي لا بصبح غير متحرك تماماً. يصدر المخرج "نعم" من الخطوة YT أمر (الخطوة 15) لتحديث موضع الصورة الرمزية A المصورة 0 بواسطة المشغل 4. يمكن نتفيذ الخطوة 75 على نحو مميز باستخدام حزم تطبيق مناسبة لنوع البرنامج. على سبيل المثال؛ بواسطة التحديد الحسابي لموضع المشغل ؛ وموضع الصورة الرمزية A من الممكن وصف؛ عن طريق دالة حسابية» أى حركة مكتشفة للمشغل 4. ثم؛ باستخدام الدالة الحسابية of! والتى تكون مقلوب الدالة الوظيفية of لتحديد موضع الصورة الرمزية oA من الممكن موازنة إزاحات رأس المشغل 4 وتبقى عرض الصورة الرمزية » فى مكان واحد وفى نفس المكان. ٠ على نحو بديل؛ باستخدام الدالة الحسابية / لتحديد موضع الصورة الرمزية oA يكون من الممكن ضبط ض الصورة الرمزية حتى تتبع المشغل 4 أثناء إزاحاته. مرة ccs aT يمكن التحكم بحركة الصورة الرمزية A ض Gs لدالة حسابية أخرى؛ تختلف عن الدوال الحسابية / و وقادرة على إثبات أن الصورة الرمزية A لن يتم ضبطها بين المشغل ؛ والجسم أو الأجهزة التي يتم عليها تنفيذ التدخل. . بعد ذلك (الخطوة oY يتم تحديث تمثيل الصورة الرمزية A المزودة بالشاشة المثبتة رأسياً ؟ ٠ للمشغل؛ ويعود الضبط إلى الخطوة XY على نحو محدد؛ يمكن عرض الصورة الرمزية A عادة فى نفس الموضع بالنسبة للبيئة © أو مع تحركها بحرية داخل البيئة 5؛ وتستطيع بالتالي الخروج من عرض المشغل 4 . في نفس الوقت وبالتوازي parallel مع الخطوة YY يتم تنفيذ الخطوة Ally «YY بهاء بالإضافة إلى ض تحليل analysing نغمات tones ومفردات vocabulary الرسائل الصوتية voice messages الممكنة ض ٠ للمشغل of يتم معالجة الإحداثيات المكانية المشتركة نم2 ,نم1 xpi, وزوايا ell الانعراج؛ ودرجة الميل 1p 06.206 المصاحبة للموضع الحالي لأجزاء جسم المشغل ؛ عند اللحظة ith ومقارنتها بقيم الإحداثيات المكانية المشتركة ردومة ,رومز ,رهم وزوايا call الانعراج» ودرجة الميل وردوم ورد ry التي تم الكشف عنها سابقاً عند اللحظة :0-(1-). يتيح هذا تعريف السلوك behaviours الأوضا ع attitudes المواقف postures الوضعيات الممكنة؛ الرسائل الصوتية و/أو نغمات الصوت Yo والعمليات التي يتم تنفيذها بواسطة المشغل ؛ Ally قد تكون عرضية للارتباك؛ عدم alia! وبصفة dale صعوبة أداء العمل الحالي بواسطة المشغل 4.
Vv علاوة على ذلك؛ لتحديد حركات المشغل ؛ بدقة فى البيئة © يكون من الملائم؛ عن طريق معرفة تقنيات الواقع الافتراضي؛ تجهيز خريطة رقمية ثلاثية الأبعاد le) سبيل an (JU خلال مصفوفة (matrix للبيئة © وللمعدات الموجودة بالبيئة © قبل أن يبدأ المشغل ؛ فى تعديل البيئة 6 بنفسها عن طريق العمل الذى يؤديه. فى هذه الطريقة؛ يكون من الممكن تتبع كل حركة للمشغل ؛ ٠ داخل البيئة © بدقة عن طريق تحديد كل حركة للمشغل ؛ على أساس التناسق المحدد فى الخريطة الرقمية. وبالتالى يرتبط كل Jad أو حركة للمشغل ؛ فى البيئة © بفعل أو حركة مطابقة داخل الخريطة الرقمية (أو مصفوفة). بالإشارة إلى شكل ١؛ يمكن تكوين الخريطة الرقمية بواسطة الخادم المحلي ١١ أو بواسطة وحدة تتبع الحركة oY وتخزينها فى ذاكرة Jala الخادم المحلي المذكور أو ض وحدة تتبع الحركة. ٠ إذا cal خطوة YV مخرجات سلبية (على سبيل المثال؛ السلوكيات؛ المواقف؛ الوضعات؛ الرسائل الصوتية؛ و/أو نغمات الصوت وعمليات المشغل ؛ التى تم اكتشاف أنها ليست أعراضاً للإضطراب؛ عدم الانتباه؛ أو صعوبة فى أداء العمل الحالي)؛ بالتالى (المخرج "لا" من الخطوة (YY ينتقل التحكم إلى الخطوة YE ' Yay من ذلك؛ إذا كانت عملية المقارنة فى خطوة YY تنتج مخرجات إيجابية (على سبيل المثال؛ ve السلوكيات؛ المواقف؛ الوضعيات؛ الرسائل الصوتية؛ و/أو نغمات الصوت وعمليات المشغل ؛ التى تم اكتشافها هى أعراضاً للاضطراب؛ عدم الانتباه؛ أو صعوبة فى أداء العمل الحالي)؛ بالتالى (المخرج "نعم" من الخطوة (TV هذا يعنى أنه يوجد سلوك و/أو موقف غير عادى من جانب المشغل ؛ الذى قد يعرض نجاح العمل الحالى للخطر. يتجه المخرج "نعم" من الخطوة YV (الخطوة (YA إلى مقاطعة للعمل الحالى وطلب محتمل بواسطة ٠ الصورة الرمزية A للمشغل ؛ (على سبيل (JE عن طريق الأوامر الصوتية و/أو الإيمائية التى تعطيها الصورة الرمزية A مباشرةً للمشغل 4) لإعادة تكوين الحالة الأولية وظروف البيئة co للأدوات؛ و/أو للمعدات التى يستخدمها المشغل ؛ فى تنفيذ العمل الحالى. يمكن تنفيذ الخطوة YA باستخدام حزمة تطبيق مناسبة من نوع البرنامج. على نحو محدد؛ من الممكن صياغة؛ من خلال Aly حسابية ع cmathematical function كل عمل يتم تنفيذ بواسطة المشغل ؛ ض © (كل Jad أو حركة للمشغل 4 تكون معرفة فى الحقيقة ويمكن اكتشافها ووصفها رياضياً من خلال ض الخريطة الرقمية بالإشارة إلى ما سبق). وبناءً على ذلك؛ فى Jad Alls غير ملائم؛ يتم استخدام الدالة
YA الحسابية cg” وهى عكسية زائفة للدالة الحسابية cg للتحكم فى أفعال وحركات الصورة الرمزية A (وهى تصحيحية بالنسبة للأفعال والحركات غير الملائمة التي يؤديها المشغل ؛) وتوضح للمشغل ct من خلال الأفعال والحركات المذكورة للصورة الرمزية eA الإجراءات المطلوب اتخاذها لاستعادة ظروف ١ لأمان safety conditions للبيئة © ولإعادة تكوين أخر حالة تشغيل صحيحة التى كانت بها £ £ 2 © الأدوات و/أو المعدات الموجودة ببيئة العمل © قبلاً هى الفعل غير الملائم الذى تم إجراؤه. يكون المخرج "نعم" من الخطوة 4 7 متاحة فقط فى حالة أن تكون مخرجات الخطوات NYY TY لكل من النواتج (لا يوجد سلوك أو موقف غير عادى ولا حركة للمشغل). ض ض يكون للخطوة 4 7 وظيفة متزامنة للضوابط المستقلة والمتوازية المشار Led) فى الخطوات XY XT ض تضبط جميعها بعد خطوة (YY وتضمن أن تتم مواصلة العمل الحالى (الخطوة (Fo فقط عندما لا ٠ يكون من الضرورى عمل أى تعديلات على السلوك أو التمثيل البصرى للصورة الرمزية A حتى يتم إمداد المشغل ؛ بالمؤشرات. بعد الخطوة oe يتم إجراء فحص (الخطوة )7( للتحقق من اكتمال العمل الحالي؛ على سبيل المثال؛ التحقق من قيام المشغل ؛ بإجراء جميع العمليات المتصورة والمحددة للمشغل ؛ بواسطة الصورة الرمزية A (على سبيل المثال؛ تلك المخزنة فى ذاكرة الخادم المحلي VY أو وحدة تتبع الحركة ٠ ؟ فى شكل قائمة منظمة للخطوات الأساسية المطلوب إجراءها). على نحو محدد؛ فى حالة عدم اكتمال العمل (المخرج "لا" خطوة oT) يعود التحكم إلى الخطوة YY يتم تكرار هذا حتى يكتمل ض العمل الحالي» و(المخرج "نعم" من الخطوة )7( ينتقل التحكم إلى الخطوة FY فى خطوة (FY يتم مقارنة النتائج المكتسبة فى dled العمل الحالى بالأهداف المحددة مسبقاً (التي؛ على سبيل المثال؛ تم تخزينها فى ذاكرة الخادم المحلي ١١ أو وحدة تتبع الحركة Y فى شكل حالات ٠ من مجموعة الأدوات و/أو المعدات الموجودة ببيئة العمل © والتى Jolin عليها الصورةٍ الرمزية f(A فى حالة تحقيق الأهداف المذكورة (المخرج "نعم" من الخطوة (VY ينتقل التحكم إلى الخطوة YY خلاف ذلك (المخرج "لا" من الخطوة 37)؛ ينتقل التحكم إلى الخطوة YA تقوم الخطوة (FF التي يتم إعادتها عند نهاية العمل الحالى المؤدى بواسطة المشغل ؛ تحت تحكم الصورة الرمزية A بالتأكد من اكتمال الأعمال المتصورة بواسطة الطريقة الحالية والتى يتم لها Yo استخدام الصورة الرمزية A فى تلك اللحظة. فى هذه الحالة؛ إذا تم استكمال جميع إجراءات الطريقة ض (المخرج "نعم" من الخطوة (FY ينتقل التحكم إلى الخطوة 4 ؟؛ وبخلاف ذلك (المخرج "لا" من ض ض
الخطوة (YY » ينتقل التحكم إلى الخطوة Yo التى تسترجع وتضبط جميع J لإجراءات التالية المتصورة بواسطة الطريقة الحالية. يا + a ee af 1s يكون للخطوة YE وظيفة التحقق من أن المشغل ؛ يتطلب (على سبيل (JU عبر جهاز الكمبيوتر ض )٠ تنفيذ طرق أخرى أو من استكمال التداخل الذى يتم استخدام الصورة الرمزية A له. في الحالة ٠ الأولى (المخرج "نعم" من الخطوة (TE ينتقل التحكم إلى الخطوة 7١ لضبط جميع إجراءات الطريقة الجديدة؛ خلاف ذلك (المخرج "لا" من الخطوة 4 ")؛ ينتهى البرنامج وهكذا أيضاً ينتهى تفاعل الصورة ض الرمزية A مع المشغل 4. بالإضافة إلى الخطوات الموضحة سابقاً بالإشارة إلى شكل oF من الممكن استخدام آليات إضافية ض للتحكم فى أمان المشغل of المعدات؛ والأدوات الموجودة بالبيئة © لإعاقة interrupting إيقاف ض «stopping + و/أو إنهاء terminating الطريقة التى يتم لها استخدام الصورة الرمزية lla A حتى إذا لم ينتهى واحد أو أكثر من إجراءات الطريقة نفسها. يوضح شكل ؟ رسم تخ block diagram nihil إطاري لمنصة برنامج ٠ لتتفيذ الخطوات 5-7١ بخريطة التدفق flowchart بشكل ؟ء وفقاً لأحد تجسيدات ١ لاختراع الحالي . تشتمل منصة البرنامج ٠0 على العديد من الوحدات الدقيقة amacromodules تشتمل كل منها بدورها Ve على واحدة أو أكثر من الوحدات الوظيفية. بتفصيل أكثر؛ تشتمل منصة البرنامج 5٠ على: وحدة مستخدم ١4؛ تتضمن وحدة بايومترية £Y ووحدة تمييز | لأوامر لا ؛ وحدة الصورة الرمزية te » تتضمن محرك عرض م ومحرك سلوكى 7 وحدة الواجهة البينية للافتراضية المدعومة 7؟؛ تتضمن وحدة تسجيل ثلاثية الأبعاد 4؛ ووحدة ظهور الصورة الرمزية 48؛ cg اختيارياً وحدة الرسم الافتراضى virtual-graphic + 0. ٠ بتفصيل أكثر ؛ تقوم وحدة قياس الاتحاد العنصرى biometric 47 بوحدة المسة لمستخدم ١؛ بتحديد موضع؛ (dag وحركة المشغل ¢ 0 جزء أو أكثر من جسمه و؛ وفقاً لهذه calling يتم تصور تحديثات موضع الصورة الرمزية A بواسطة المشغل ؛ LS) تم توضيحه سابقاً). , على نحو محدد؛ تعتمد الخوارزمية algorithm على dallas المعلومات عن موضع المشغل ؛؛ فى لحظتين متتاليتين من الزمن 10-0 5 ith لمقارنتهم والوصول إذا كان ذلك مفيداً إلى عمل تعديلات Yo على الإحداثيات المكانية المشتركة (Xa, Ya, Za) لعرض الصورة الرمزية 8 في البيئة 0
لذلك الغرض؛ تتصل الوحدة البيومترية biometric 47 بوحدة الواجهة البينية للافترارضية المدعومة 4 وتتواجد فى الذاكرة المقدمة عمداً لوحدة تتبع الحركة ؟. يكون لوحدة تمييز الأوامر ؟؛ بوحدة المستخدم ١؛ وظيفة إدراك الصوت؛ cle Lay) والسلوكيات لتمكين المشغل ؛ من التحكم بشكل مباشر directly و/أو غير مباشر indirectly فى الصورة الرمزية A 2 على نحو محدد؛ تمكن وحدة تمييز الأوامر £7 المشغل ؛ من تنفيذ كلاً من تفاعل مباشر ليرسل الأوامر الصوتية إلى الصورة الرمزية A (التى يتم معالجتها وتمييزها عبر برنامج تمييز صوتي) وتفاعل غير مباشر عن طريق كشف وتفسير إشارات غير مباشرة للمشغل of مثل؛ على سبيل (JU) سلوكيات؛ مواقف؛ وضعيات؛ مواضع الجسم تعبيرات الوجه؛ ونغمات الصوت. فى هذه الطريقة؛ من الممكن اكتشاف ما إذا كان المشغل 4 يواجه صعوبة في أداء الإجراءات المحددة ٠ والمبينة بواسطة الصورة الرمزية eA أو تحديد الإجراءات التى قد تضع المشغل ؛ فى خطر أو تتلف المعدات الموجودة بالبيئة 0 تتصل وحدة تمييز الأوامر "؛ بالمحرك السلوكى 47 بوحدة الصورة الرمزية eff لترسل إشارات مرتبطة بالأوامر الصوتية والسلوكية المكتشفة للتحكم بسلوك الصورة الرمزية A وفقاً لذلك. فى هذه الحالة؛ يتم اكتشاف المعلومات السلوكية للمشغل ؛ cal على أساس سلوكيات المشغل ؛ أو No تعبيرات وجهه أو ما شابه ذلك؛ إذا تم عمل تعديلات على إجراءات الطريقة (على سبيل JE ض تكرار بعض الخطوات بالطريقة نفسها). يمكن أن تبقى وحدة تمييز الأوامر 7؛ إما فى الخادم المحلي ١١ أو فى ذاكرة جهاز الكمبيوتر المحمول ٠١ وتستلم الأوامر الصوتية الممنوحة vocal commands imparted من قبل المشغل ¢ عبر الميكروفون 4ب المدمج فى الشاشة المثبتة رأسياً 9 والأوامر السلوكية خلال مستشعرات الحركة ٠ - 7 وكاميرات الفيديو البيئية Va والقفازات (Ya ASL والميكروفون #ب. يكون لوحدة الواجهة البينية للافتراضية المدعومة 7١؛ وظيفة التحكم بعناصر الافتراضية المدعومة؛ على نحو محدد الوظيفة التى تسبب ظهور الصورة الرمزية A (عبر وحدة ظهور الصورة الرمزية £9( والتى تدير الإجراءات السلوكية للصورة الرمزية A وفقاً لبيئة © التى يوجد بها مشغل ؛ (على سبيل ض المثال؛ إجراءات التدريب؛ مساعدة الصيانة؛ الخ.). لذلك الغرض؛ تكشف وحدة التسجيل ثلاثية Yo الأبعاد الترتيب المكانى وموقع الكائنات والمعدات الموجودة ببيئة العمل © التى يمكن أن تتفاعل الصورة الرمزية A بها وتكوّن الخريطة الرقمية ثلاثية الأبعاد لبيئة © وللمعدات المرتبة بها. على نحو ض
1١ مفضل» تبقى وحدة ظهور الصورة الرمزية £3 ووحدة التسجيل ثلاثى الأبعاد EA فى ذاكرة جهاز الكمبيوتر ٠١ و/أو الخادم المحلي ١١ و/أو وحدة تتبع الحركة 7؛ فى حين أن مجموعة الإجراءات الممكنة التى يمكن أن تؤديها الصورة الرمزية A والخريطة الرقمية (عموماً ذات الأبعاد الكبيرة) يتم تخزينها فى الخادم المحلي ١١ أو فى وحدة تتبع الحركة ؟. © كما تم ذكره؛ تكون كل من ١ لإجراءات المقترحة envisaged محددة لنوع المساعدة assistance لجعلها متاحة لمشغل ؛. على سبيل المثال؛ فى الحالة العملية لصيانة رادار radar مثبت فى مكان معين؛ الإجراء الذى سيتوافر لديه جميع عمليات الصيانة المتعلقة بالرادار» مع الأخذ فى الاعتبار خصوصية التثبيت فى ذلك المكان الخاص (المسافات النسبية crelative spaces العائق «encumbrance الخ)؛ ض فى حالة رادار مماثل مثبت فى مكان Sal وعند موقع معدات فيزيائى مختلف؛ فى الخادم المحلي ١١ ٠ الذى سيحتوى على إجراءات مماثلة لما تم وصفها للحالة السابقة؛ على نحو ملائم يتم إعادة فصلها حتى يؤخذ فى الاعتبار موضع الصورة الرمزية Leg A يتعلق بالمكان الجديد المحيط. قد يتضمن الخادم المحلي ١١ مجموعة من إجراءات الصيانة أو التثبيت أو ما شابه ذلك. تبقى وحدة الصورة الرمزية EE التي تتضمن محرك العرض £0 والمحرك السلوكى 47؛ على نحو مفضل فى الخادم المحلي .١١ يكون محرك العرض £0 يكون مسئولاً عن التمثيل البيانى للصورة ٠ الرمزية tA على سبيل المثال؛ يحدد المظهر الخارجى لها ويدير حركتها الملاحظة بواسطة المشغل ؛ الذى يرتدى الشاشة المثبتة رأسياً 4. يتم تكوين محرك العرض display engine £0 لتوليد generating الصورة الرمزية A بيانياً عن طريق وسائل التقنيات التخطيطية ثلاثية الأبعاد. على سبيل المثال المعتمدة على نموذج 19774 ISO/IEC علاوة على ذلك؛ تحدد وتتحكم هذه الوحدة بجميع الحركات المسموح للصورة الرمزية A القيام بها (تحرك يديها chands تدير رأسها chead تحرك شفاهها clips - ٠ تشير بإصبعها :6ع508؛ تومئ kneeling down shad cgesticulating تعمل خطوات (steps الخ.). تم تصميم محرك العرض بشكل مناسب بطريقة يمكن تحديثها عند الضرورة؛ على سبيل ض «JU عن طريق استبدال بعض الوظائف Jie) وظائف الحركة (motion functions و/أو خلق وظائف جديدة؛ وفقاً للحاجة. يقوم المحرك السلوكى £7 بمعالجة البيانات الواردة من المشغل ؛ (أو المكتشفة بواسطة جهاز YO الكمبيوتر ١٠؛ عن طريق محرك السلوك FV و/أو عن طريق المساعد الموجود فى مركز المساعدة الفنية ١١ على أساس إيماءات؛ وضيعات؛ حركات المشغل ؛) والتحقق من وجود تفاعل سليم بين ض ض ض
YY ض المشغل 4 والصورة الرمزية ed ضمان؛ على سبيل المثال؛ أن يتم إجراء طريقة الصيانة التى يتم استخدام الصورة الرمزية لها بشكل صحيح بواسطة المشغل 4. ض تعتمد الخوارزمية algorithm التابعة للمحرك السلوكى 476 على آليات للمراقبة المستمرة خلال كافة الأعمال التى يقوم بها المشغل 4 وفقاً لتوجيه الصورة الرمزية 8» وعلى إمكانية مقاطعة عمل حالى © والتحكم فى الصورة الرمزية A بطريقة والتى ستتدخل فى طريقة الصيانة الحالية فى وقت حقيقي؛ تقوم بتعديلها وتخصيصها وفقاً لأعمال مشغل 4. علاوة على ذلك؛ يقوم المحرك السلوكى £1 برصد النتائج ومقارنتها بالأهداف المحددة مسبقاً للتأكد من أن أى إجراء سيتم اتخاذه تماماً وبالطريقة السليمة بواسطة المشغل of تتوقع أيضاً آليات الأمان الضرورية لحماية المشغل ؛ وجميع الأجهزة و/أو المعدات الموجودة بالبيئة 0 ض ٠ يكون المحرك السلوكى £1 من نوع ذو برنامج ويكون مسئولاً عن معالجة وتفسير المحفزات cinterpreting stimuli الأوامر الإيمائية «gestural و/أو الأوامر الصوتية vocal الواردة من مشغل of مكتشفة عن طريق المستشعرات البيئية ؟ بالتعاون مع مستشعرات Led) V AS pall يتعلق بالأوامر الإيمائية) وعن طريق الميكروفون 4ب Lad) يتعلق بالأوامر الصوتية). اعتماداً على الأوامر المذكورة؛ يقوم المحرك السلوكى £1 بتحديد؛ وتحكم؛ وضبط سلوك وأعمال الصورة الرمزية A (على ١ _سبيل المثال؛ Led يتعلق بقدرة الصورة الرمزية A على الكلام؛ الإجابة على الأسئلة «questions الخ) ويتداخل مع طرق عرض الصورة الرمزية + التى يتحكم بها محرك العرض £0 (مثل؛ على سبيل (JU قدرة الصورة الرمزية على تدوير رأسها بعد نظر المشغل؛ يشير إلى جسم أو أجزاء منها بأصبعه؛ الخ). يقوم المحرك السلوكى £1 علاوة على ذلك بتحديد وتحديث مفردات الصورة الرمزية A ض بحيث تكون الصورة الرمزية A قادرة على الحوار» عن طريق المفردات الخاصة بها التى يمكن تحديثها بحرية؛ مع المشغل 4. بطريقة مماثلة لمحرك العرض 5؟؛ يتم تصميم المحرك السلوكى £1 بشكل مقترح بطريقة يمكن تحديثها عند اللزوم؛ وفقاً للحاجة؛ حتى يتم تعزيز» على سبيل المثال؛ القدرات الجدلية للصورة الرمزية A علاوة على ذلك يتصل محرك العرض £0 والمحرك السلوكى £7 ببعضهم البعض حتى للتحكم بإيماءات وكلمات الصورة الرمزية A بطريقة متناغمة. فى الواقع؛ يقوم المحرك السلوكى 47 بمعالجة ض Yo المحفزات المكتشفة خلال المستشعرات البيئية ؟ و/أو مستشعرات الحركة 7 ويتحكم بالتأثير الذى له يتم استخدام الصورة الرمزية A بطريقة صحيحة بواسطة المشغل ؛؛ بشكل مباشر؛ عن طريق التحكم
ض - بمفردات الصورة الرمزية A وبشكل غير مباشر؛ من خلال وظائف محرك العرض £0( الحركات؛ وعرض الصورة الرمزية A وفي النهاية» تقوم وحدة الرسم الافتراضى + 0< الاختيارية؛ عن طريق الاتصال والتفاعل مع وحدة الواجهة البينية للافتراضية المدعومة 47؛ بدعم و/أو استبدال replaces بيئة العمل © لمشغل of © وإنتاج وعرض الصورة الرمزية A داخل موقع افتراضى يختلف عن البيئة © التى يوجد بها المشغل ؛ على نحو فعال. فى هذه الحالة؛ لا تكون الشاشة المثبتة رأسياً 4 من النوع الشفاف «see-through على سبيل المثال؛ لا يرى المشغل البيئة الحقيقية © المحيطة به. توجد وحدة الرسم الافتراضى 00 و/أو تستخدم حصرياً فى حالة خلق افتراضية مدعومة فى بيئة ظاهرية (وبالتالى يعاد بناؤها فى بعدين أو ثلاثة أبعاد وليست حقيقية (not real وتخلق بيئة ظاهرية ٠ ووحدة رسم لمعدات أو أجهزة والتى يتم من أجلها تصوير مداخلات التدريب و/أو الصيانة. تعرض الأشكال 77-4 طرق خاصة لاستخدام الاختراع الحالي؛ بالتبادل مع بعضها البعض. يعرض الشكل 4 طريقة لاستخدام الاختراع الحالى حيث توضح الطريقة التى تنفذها الصورة الرمزية A عن بُعد؛ على نحو محدد بواسطة مركز المساعدة الفنية 10 الواقع على مسافة من البيئة © التى يعمل بها المشغل 4 (انظر شكل .)١ فى هذه الحالة؛ يتصل مركز المساعدة الفنية Vo بالخادم ض ٠ المحلي ١١ من خلال شبكة الاتصالات AT Line (الخطوة )0( يتصل المشغل ؟ بعد أن أصبح على علم بحدوث خطأً؛ على سبيل المثال؛ بالنسبة لجهاز يقوم بالتحكم به؛ عن طريق جهاز كمبيوتر ٠١ بمركز المساعدة الفنية 10 يستغل ض الاتصال بين جهاز الكمبيوتر ٠١ والخادم المحلي ١١ والاتصال عبر شبكة الاتصالات ١١ للخادم المحلى ١١ بمركز المساعدة الفنية .١١ يترأس مركز المساعدة الفنية V0 مساعد؛ كما تم ذكره. ٠ بعد ذلك (الخطوة (OY تقدم المساعد؛ بعد فهم نوع الحدث الخطأً المشار إليه؛ للمشغل ؛ الطريقة المقترحة لحل هذا الحدث adh (تشتمل على؛ على سبيل المثال؛ التعليمات السلوكية والصوتية التى قد توديها الصورة الرمزية (A بافتراض أن الطريقة المذكورة من نوع البرنامج» يتم توفيرها بواسطة تكنولوجيا المعلومات والاتصالات؛ من خلال شبكة الاتصالات AT
ض ض Y¢ بعد ذلك (الخطوة (OF يرتدى المشغل 4 الشاشة المثبتة رأسياً 4 ومستشعرات الحركة ا (إذا تم اقتراحها حسب نوع جهاز تتبع الحركة + المستخدم) و(الخطوة 4 5) تضع سائر إجراءات طريقة حل ض الحدث الخطأً المستلم بواسطة مركز المساعدة الفنية .١١ :. ض فى هذه الحالة تشتمل الخطوات 00 07 على الخطوات 325-77 بشكل ؟ الموضحة سابقاً. تكون Lo, oe الشاشة المثبتة Lau, 4 فى هذه الحالة؛ قادر على توضيح لمشغل ؛ البيئة المحيطة الحقيقية © ويتم Cem : ار 2 > . .. . تكوينها لعرض رسم الصورة الرمزية A المركبة على صور البيئة 55.0 للصورة الرمزية A على نحو مفضل شكل إنسان و؛ تتحرك بحرية فى البيئة ©؛ تستطيع التحاور بالإيماءات والكلمات مع ض المشغل . تكون الصورة الرمزية CA كما ثم ذكرها ؛ مجهزة بمفردات خاصة بها التى تكون محددة ض حسب نوع التطبيق ويمكن تعديلها وفقاً للتطبيق المذكور. علاوة على ذلك؛ تستطيع الصورة الرمزية A ض ٠ الإجابة بالإيماءات و/أو الكلمات لأوامر صوتية ممكنة يمنحها المشغل 4. يعرض شكل © طريقة إضافية لاستخدام الاختراع الحالى وفقاً لقائمة الطرق الممكنة التى منها يتم اختيار الطريقة التى تنفذها الصورة الرمزية A مباشرةً بواسطة المشغل؛ يتم تخزينهاء على سبيل المثال؛ فى الخادم المحلي AY فى هذه الحالة (الخطوة (T+ يقوم المشغل of بعد أن يصبح على علم بالحدث الخطأً lead على Ye سبيل JE ؛ يقوم هو بإدارته cmanaging يختار selects من بين قائمة طرق ممكنة؛ الطريقة التى يعتبرها مناسبة لمساعدته فى حل الحدث الخطأً error الذى حدث. يتم إجراء الاختيار المذكور على نحو مفضل عن طريق جهاز الكمبيوتر sll ٠ عن طريق التواصل مع الخادم المحلي VY يقوم باسترداد التعليمات المقابلة للطريقة المختارة المذكورة من الخادم المحلي VY وتخزينها فى ذاكرة خاصة به. ض Ye تكون الخطوات التالية 71 TY مماثلة للخطوات oF 54 بالشكل ؛. تشتمل الخطوات التالية CTY 4 على الخطوات 320-77 بشكل Y الموضحة سابقاً؛ وبناءً على ذلك لم يتم توضيحها في هذه ض ٍِ ّ ض الوثيقة إضافيا. يوضح شكل 1 طريقة (gal لاستخدام الاختراع الحالى وفقاً لأن الطريقة التى تؤديها الصورة الرمزية A غير محددة مسبقاًء لكن يتما لتحكم بها فى زمن حقيقي بواسطة المساعد الموجود فى مركز ض ٠ المساعدة الفنية V0 الذى له بالتالى تحكم مباشر على الإيماءات والكلمات الخاصة بالصورة الرمزية ض ه. فى هذه الحالة؛ يتم التحكم فى الصورة الرمزية 4 فى زمن iis عن طريق أوامر نصية مناسبة ض
و/أو عن طريق عصا تحكم joystick و/أو فارة mouse و/أو لوحة مفاتيح keyboard أو أى أداة أخرى قد تكون مفيدة لتواصل المساعد بالصورة الرمزية A بالإضافة إلى الإيماءات؛ يمكن أيضاً التحكم بالكلمات التى تنطقها الصورة الرمزية A بواسطة المساعد أو ينطقها المساعد مباشرة. مبدئياً (الخطوة V+ يتصل المشغل ؛ بالمساعد لطلب التدخل للمساعدة. فى هذه الحالة؛ يقرر 0 المساعد أن يتدخل عن طريق التحكم فى الصورة الرمزية A فى الزمن الحقيقي؛ وعن طريق التحكم ض بإيماءات الصورة الرمزية A بنفسه. ثم (الخطوة (VY يرسل المساعد طلب للاتصال بالخادم المحلي ض OY الذى يرسل بدوره الطلب المذكور إلى جهاز الكمبيوتر ٠١ بالمشغل 4. فى خطوة VY يرتدى المشغل ؛ الشاشة المثبتة رأسياً 4 ومستشعرات الحركة ١ (فى حالة تصورها 410 م و(الخطوة «(YY ويقبل تكوين اتصال مع المساعد؛ عبر جهاز الكمبيوتر .٠١ بعد ذلك ٠ (الخطوة 4)؛ يتم عرض الصورة الرمزية 4 فى موضع خاص بالبيئة ©؛ فى موضع قريب بالنسبة للمشغل 4 (وفقاً لما تم توضيحه بالفعل بالرجوع إلى شكل (Y يتم تمثل الخطوات Vo VE الخطوات التى تم توضيحها بالفعل سابقاً بالرجوع إلى الخطوات 5-77 بشكل oY مع الفارق الوحيد وهو أن المساعد؛ بعد استلامه وتحليله لمعلومات التحكم؛ يقوم مباشرةً بالتحكم عن بُعد بحركات الصورة الرمزية A ويساعد و/أو يوجه المشغل 4؛ يتحكم مباشرةً فى الصورة الرمزية A حتى يتم حل الحدث ٠ الخطأ الواقع. ض فى هذه الحالة؛ يجب أن يكون المساعد قادراً على ملاحظة البيئة © والمعدات التى من الضرورى دخولها. تصميم على ذلك يجب أن يتم تصوير صورة كاميرات فيديو واحدة أو أكثر لإرسال صور Alle الدقة إلى مركز المساعدة الفنية Vo عبر شبكة الاتصالات NT يمكن للمساعد التحكم فى كاميرات الفيديو المذكورة على نحو مميز؛ وبالتالى يستطيع إجراء تكبير أو تغيير للإطار وفقاً ov للحاجة. يعرض شكل 7 طريقة إضافية لاستخدام الاختراع الحالى يمكن استخدامها فى الحالة التى بها لا يحتاج المشغل ؛ إلى المساعدة لحل حدث (Lad لكنه يرغب فى إجراء دورة تدريبية؛ على سبيل المثال لكسب مهارات جديدة تتعلق بصيانة المعدات والأجهزة التى يديرها. فى هذه الحالة (الخطوة (A يرتدى المشغل ؛ الشاشة المثبتة رأسياً 4 ومستشعرات الحركة “ (إذا YO "تم تصورها حسب نوع جهاز جهاز تتبع الحركة ١ المستخدم). بعد ذلك (الخطوة (A) يقوم بوضع برامج التدريب الجارية التى يرغب فى استخدامها؛ عن طريق جهاز الكمبيوتر .٠١ يمكن أن تبقى
برامج التدريب بغير مبالاة على جهاز الكمبيوتر ١٠؛ على الخادم المحلي OY أو يمكن استلامها من مركز المساعدة الفنية (V0 إما كمجموعة تعليمات للبرنامج أو كأوامر زمن حقيقي مصدرة من قبل المساعد. حيث يجب أن يتم إجراء تدريب فعال فى الظروف الحادث بها حدث ad قد يشتمل برنامج التدريب المستخدم على عرض للبيئة © التى يوجد بها عناصر افتراضية مدعومة إضافية © بالإضافة إلى الصورة الرمزية Je) A نحو محدد؛ العناصر المتعلقة بالحدث الخطأً التى يرغب فى التدريب عليها). على نحو بديل؛ قد تعرض الشاشة المثبتة رأسياً 9 بيئة © كلياً كواقع افتراضيء الذى لا يقوم بإعادة إنتاج البيئة الحقيقية © التى يوجد بها المشغل لمحاكاة أحداث Las المطلوب إجراء التدريب عليه. بعد ذلك (الخطوات 84-47)؛ بغض النظر عن نوع النظام المختار (بناءً على البيئة الحقيقية أو ٠ على البيئة الافتراضية) وبطريقة مماثلة لما تم توضيحه سابقاً بالرجوع إلى الخطوات 35-77 بشكل "» يتم عرض الصورة الرمزية cA السلوك والموقع المكانى الذي تم تعريفه جزئياً على الأقل وفقاً لسلوكيات (أو الأوامر الصوتية) والموقع المكانى للمشغل ؛ الذى يستغل الدورة التدريبية. من دراسة لخصائص النظام والطريقة المقدمة وفقاً للاختراع الحالى المزايا التى يمنحها تكون واضحة : على نحو محدد؛ يقوم النظام والطريقة للمساعدة التعاونية المقدمة وفقاً للاختراع الحالى بتمكين الدعم ٠ اللوجستي logistic للأنشطة Je) سبيل المثال؛ التركيب installation أو الصيانة (maintenance 0 ض التدريب training بدون الحاجة إلى وجود مادي لفنى متخصص فى موقع التداخل. ويكون هذا مفيداً , بشكل خاص فى Ala أن يكون من الضرورى التدخل فى مناطق صعب الوصول (led) يرأسها عدد صغير جداً من المشغلات؛ بدون شبكة للاتصال بمركز المساعدة الفنية أو تجهيزها باتصال بقدرة ضعيفة poor أو صفر zero على إرسال البيانات .data transmission Ye في النهاية؛ يتضح أنه يمكن إجراء تعديلات modifications وتغييرات variations على نظام وطريقة المساعدة التعاونية الافتراضية عن طريق الصورة الرمزية A الموصوفة والموضحة في هذه الوثيقة؛ ض وبذلك بدون الحيود عن مجال الاختراع الحالي؛ كما تم تحديده فى عناصر الحماية الملحقة. على سبيل المثال؛ يمكن تنفيذ الوظائف All يتم تنفيذها بواسطة ١ و١ بواسطة كمبيوتر واحد Cul ض أو متحرك؛ على سبيل المثال بواسطة الخادم المحلي ١١ فقط أو جهاز الكمبيوتر المتحرك ٠١ فقطء YO المقدمة في صورة مجهزة بقوة حسابية كافية. ض ض
ض ال على سبيل المثال؛ يمكن استخدام نظام الدعم التعاوني ١ لمساعدة زوار المسرحيات؛ cilia peal) المتاحف؛ المعارض فى المواقع العامة general أو الأثرية archaeological فى هذه الحالة؛ يكون للصورة الرمزية A وظيفة المرافقة الافتراضية للزوار visitors إرشادهم guiding حول المكان وتوضيح المعروضات exhibits present 33 5a gall لهم. ض فى هذه الحالة؛ يرتدى wear كل الزوار الشاشة المثبتة رأسياً ؟ ويصبحوا مجهزين بواحد أو أكثر من مستشعرات الحركة LY تشتمل الطريقة المصورة yl قل ذلك فى حالة معرض فى مكان مغلق؛ على العديد من المستشعرات البيئية ؟؛ مجهزة بشكل مناسب على امتداد الطريق بأكمله along the .entire route فى حالة زيارة موقع أثرى (Say carchaeological استبدال مستشعرات الحركة ١ بمستقبل .GPS ٠ يتم تكييف البرنامج الذى يقوم بالتحكم بإيماءات وحديث الصورة الرمزية A مع الحالة المحددة للزيارة الموجهة الخاصة ويمكن أن يشتمل على معلومات عن المعرض ككل لكن أيضاً عن عروض معينة على نحو محدد. تمكن قدرة نظام الدعم التعاوني ١ من التحكم بشكل دقيق بحركات وايماءات الصورة ض الرمزية A فى الواقع الصورة الرمزية A لوصف المعروضات بدقة. على سبيل المثال؛ فى حالة الرسم التصويري؛ يمكن أن تصف الصورة الرمزية A ذلك بدقة؛ مع إظهار تفاصيل الإيماءات المميزة للرسم ١٠ التصويري painting أو لنمط الرسم التصويري أو على وجه التخصيص العناصر التصويرية الممثلة .elements represented بالإضافة لذلك. يمكن أن تكون الصورة الرمزية A عبارة عن توضيح ثنائى الأبعاد أو ثلاثى الأبعاد يختلف عن شكل clad) مثل واحد أو أكثر من الصورة التوضيحية pictograms أو الرسوم التخطيطية (graphic أو الإشارات البصرية cvisual أو الصوتية sound بشكل عام. يتضح أنه يمكن ض ٠ تطبيق الصورة الرمزية A فى حالات أخرى» تختلف عن ما تم ذكره سابقاً. يمكن أن يرى سائق 00010:158؛ على سبيل المثال؛ عند قيادته driving للسيارة وبدون إبعاد عينيه eyes عن الطريق road ما يظهر أمامه من التعليمات التخطيطية graphic instructions للمستكشف navigator و/أو مؤشرات السرعة (speed فضلاً عن التحذير من وجود سيارة فى بقعة ظلامية من مرايا الرؤية الخلفية rearview mirrors علاوة على ذلك؛ يستطيع الاختراع الحالى أن يجد تطبيق YO في المجال field all 010601081 حيث يتم الحصول على رؤية Jab الجسم باستخدام مخطط الصدى echography وطرق تصوير sal imaging methods يمكن تركيبها على الرؤية
YA
الافتراضي للمريض patient نفسه بحيث يمكن للجراح أن يكون على دراية ALIS بالآثار المباشرة direct والفورية immediate للعملية الجراحية All يجريها للمريض: على سبيل JU قد يجرى جراح الأوعية الدموية vascular surgeon عملية ويكون لديه كل مؤشرات الأوعية الدموية blood ض vessel لضغط blood pressure pall بالإضافة إلى ومتغيرات الأكسجة oxygenation فى الدم .blood © على نحو واضحء تقع التطبيقات الممكنة للاختراع الحالى ضمن أى مجال آخر حيث به تتحد إضافة المعلومات الرقمية digital information لنوع صوت/فيديو audio/video مع آليات التحكم control ممسونصعط»»» وتثبت ©0107 أو تستطيع أن يثبت؛ أنها مفيدة helpful
Claims (1)
- va عناصر الحماية.١ ١ نظام داعم supportive system تعاونى collaborative يعتمد على الصورة الرمزية avatar-based )١ Y يشتمل على: ¥ جهاز تتبع حركة (V oF ١ ) movement tracker لتتبع حركة movement مستخدم user (4) وواحد ¢ أو أكثر من أجزاء الجسم body parts الخاصة به؛ © شاشة display )4(¢ 1 نظام معالجة (VY ٠٠١ ( processing system للتعاون مع جهاز تتبع الحركة movement (V 7( tracker ¥ والشاشة display )1( لتجعل الشاشة display )1( تعرض صورة رمزية (A) avatar A قادرة على التحرك فى بيئة environment )©( المقابلة لمجال عرض field of view لمستخدم؛ 4 المرتبط بالبيثة ٠ (° ) environment وترتبط وتتفاعل مع المستخدم user (4) وفقاً للمساعدة assistance ٠ المطلوب تقديمها للمستخدم fuser و ١ منصة برنامج وحدات )4٠ ( modular software platform تشتمل على وحدة مستخدم user module ٠" (؛) ¢ وحدة صورة رمزية avatar module )££( ووحدة واجهة interface module مدعومة ٠ الافتراضية ¢(£V) augmented reality NE حيث تشتمل وحدة المستخدم user module )£1( على: VO وحدة بيومترية (£Y) biometric module تستجيب responsive لجهاز aii الحركة movement ض tracker 7 (ت ¥« (V لتحديد موضع «position اتجه orientation وحركات movements المستخدم user VY )¢( وواحد أو أكثر من أجزاء الجسم body parts الخاصة به Lad يتعلق بنظام مرجعى ‘reference system 310 YA 4 وحدة إدراك أوامر (YY) command recognition module لإدراك الأوامر commands الإيمائية gestural ٠ والصوتية voice التى يرسلها المستخدم user (4)؛ ١١ حيث تشتمل وحدة الصورة الرمزية avatar module (44؛) على: ٠" محرك سلوك )7١( behavior engine يستجيب لوحدة إدراك الأرامر command recognition (YY) module YY لتحديد سلوك behavior الصورة الرمزية (A) avatar فى البيئة environment )°( YE على أساس الأوامر المرسلة imparted commands وYO محرك عرض (Yo) display engine يستجيب لمحرك السلوك (Y7) behavior engine لحساب ١ مظهر رسومي graphical appearance 3D للصورة الرمزية (A) avatar فى البيئة environment )°( ض ع YY على أساس السلوك behavior المحدد للصورة الرمزية avatar (8)؛ ض YA وحيث تشتمل وحدة واجهة interface module مدعومة الافتراضية (£V) augmented reality على: YA وحدة تسجيل « (£A) recording module 3D لتسجيل التكوين المكانى «spatial configuration ض ع | و ¢(°) environment فيء البيئة objects الاجسام position وموضع ve. display تستجيب لمحرك العرض (£9) appearance-of-avatar module وحدة مظهر صورةٍ رمزية ١ (Yo) engine TY لعرض الصورة الرمزية (A) avatar على الشاشة display (9) مع المظهر البيانى ض | (Y °) display engine المحسو ب بواسطة محرك العرض graphical appearance 313 TV «¥ (ت movement tracker حيث يتم تكوين جهاز تتبع الحركة ١ ؟. النظام وفقاً لعنصر الحماية ١ وحيث fuser المستخدم postures و/أو أوضا ع expressions تعبيرات detect أيضاً للكشف عن ) ¥ display الشاشة Jaa أيضاً ليؤدي إلى (VY ٠١ (ت processing system "يتم تكوين نظام المعالجة مع interacting والتفاعل relating قادرة على الارتباط (A) avatar ؛ (4) تقوم بعرض صورة رمزية و/أو لأوضاع expressions على أساس الحركات 715 0:؛ التعبيرات $ ) user المستخدم 8.)4( user المكتشفة للمستخدم postures ١1 movement tracker حيث يتم تكوين جهاز تتبع الحركة oF أو ١ ؟. النظام وفقاً لعنصر الحماية ١ digital أيضاً لتكوين خريطة رقمية (VY ٠١ (ت processing system ونظام المعالجة (V +" " فى الخريطة الرقمية (£) user المستخدم movements ولتتبع حركات (©) environment للبيئة map ¥ | Lo digital map وحيث يتم تكوين نظام المعالجة (VY ٠١ «Y) processing system أيضا ليؤدي إلى © جعل الشاشة display )9( تقوم بعرض صورة رمزية (A) avatar قادرة على الارتباط relating والتفاعل interacting مع المستخدم user )£( على أساس حركات movements المستخدم user )£( التى تم تتبعها فى الخريطة الرقمية map لمانعنل. ض i} ض ١ 4. النظام وفقاً لأي من عناصر الحماية السابقة؛ حيث تشتمل شاشة العرض display على شاشة display يمكن أن يرتديها المستخدم cuser-wearable مدعومة الافتراضية caugmented- reality "| مثبتة رأسياً head-mounted )9( ؛ وحيث يتم تكوين نظام المعالجة processing system (ت «V+ (VY أيضاً ليؤدي إلى جعل الشاشة display المثبتة رأسياً head-mounted )1( تقوم بعرض الصورة الرمزية (A) avatar مركبة على البيئة environment )2( المقابلة لمجال عرض field of view 1 المستخدم 96:2ن. Lo ١ النظام وفقاً لعنصر الحماية of حيث تكون الشاشة display المثبتة رأسياً head-mounted )4( " من النوع الشفاف ¢see-through وحيث يتم برمجة نظام المعالجة ٠١ 7( processing system ١ " أيضاً ليؤدي إلى Jas الشاشة display المثبتة رأسياً head-mounted )1( تقوم بعرض الصورة ؛ الرمزية (A) avatar مركبة على البيئة environment )©( المرئية خلال الشاشة display المثبتة head-mounted Ll o )9(.١ النظام وفقاً لعنصر الحماية of الذى يشتمل أيضاً على كاميرا camera يمكن أن يرتديها V المستخدم (1a ) user-wearable لتسجيل record صور images البيئات tenvironments وحيث يتم A برمجة نظام المعالجة (VY ٠٠ :7( processing system أيضاً ليؤدي إلى جعل الشاشة display 4 المثبتة رأسياً head-mounted (1) تقوم بعرض الصورة الرمزية (A) avatar المركبة على الصور images ٠ المسجلة بواسطة الكاميرا (fa ) camera . ١ . النظام Lai, لعنصر الحماية 4؛ حيث يتم تكوين نظام المعالجة processing system (ت «V+ و 'Y ( أيضاً ليؤدي إلى Jas الشاشة display المثبتة رأسياً head-mounted ) 4( تقوم بعرض الصورة " الرمزية (A) avatar مركبة على صورة ظاهرية virtual image للبيشة environment )©( المقابلة ؛ ا لمجال عرض field of view المستخدم 62فن0.. A) النظام وفقاً لأي من عناصر الحماية السابقة؛ الذى يشتمل أيضاً على جهاز إعادة إنتاج صوتي ععضمعة sound reproduction يمكن أن يرتديه المستخدم VY) user-wearable وحيث يتم تكوين " نظام المعالجة processing system (ت (VY ٠ أيضاً ليجعل جهاز إعادة إنتاج الصوت sound (YY) reproduction device 5 يقوم بإعادة إنتاج الرسائل الصوتية sound messages المقابلة لإيماءات ض gestures © الصورة الرمزية avatar (8). ١ 4. النظام Lad, لأي من عناصر الحماية السابقة؛ حيث يشتمل نظام المعالجة processing system (VY ٠١ ١7( " على كمبيوتر ثابت (VV) stationary computer مبرمج لتنفيذ الوحدة البيومترية «(Y) biometric module ¥ وكمبيوتر محمول )٠١( portable computer مبرمج لتنفيذ محرك ؛ السلوك behavior engine )1( ومحرك العرض display engine (© ؟)؛ حيث يتم برمجة الكمبيوتر © المحمول )٠١( portable computer أيضاً لعرض displaying واجهة مستخدم رسومية graphical user interface 7 يمكن بواسطتها أن يختار المستخدم user )£( نوع من المساعدة assistance من بين ا مجموعة مختلفة من الأنواع المساعدة assistance المتاحة؛ وحيث يتم برمجة الكمبيوتر الثابت (VY) stationary | computer A أيضاً لتخزين store أوضاع 85 السلوك behavior والعرض display المختلفة للصورة الرمزية (A) avatar لأحد الأنوا ع ونفس النوع أو لأنوا ع مختلفة من ٠ المساعدة 6 التى يتم توفيرها للمستخدم user (4؛)؛ وللاتصال communicate بالكمبيوتر ض ١ المحمول (V+) portable computer نظام mode السلوك behavior والعرض display الذى يمكن ١ تطبيقه على الصورة الرمزية (A) avatar حتى يتم توفير نوع المساعدة assistance المطلوبة من قبل ٠ المستخدم user (4). ٠١ ١ . النظام وفقاً لعنصر الحماية ؛ حيث يتم برمجة الكمبيوتر الثابت (VY) stationary computer ١" أيضاً للاتصال communicate بمركز centre المساعدة التقنية technical assistance عن بُعد (V0) remote ¥ من خلال شبكة اتصالات عن بعد network telematic )11( لاستقبال الأوامر ؛ commands المتعلقة بالتحكم management بسلوك behavior وعرض display الصورة الرمزية (A) avatar ©ض 0".١١ ١ النظام وفقا لاي من عناصر الحماية AGL حيث يتم تكوين نظام المعالجة processing ض (OF ٠١ »»( system أيضاً ليؤدي إلى جعل الصورة الرمزية (A) avatar تقوم بتزويد المستخدم user ¥ )€( بمؤشرات indications تتعلق بصيانة maintenance المعدات cequipment إصلاح repair ؛ العيوب faults التدريب ctraining أو المؤشرات السياحية tourist indications ض | processing ةجلاعم فى نظام loadable قابلة للتحميل software platform منصة برنامج .١١ ١ system ) تيل YY ( لنظام 2 داعم supportive تعاونى collaborative يعتمد على الصورة | «Y) processing system ومصممة؛ عند تتفيذهاء لجعل نظام المعالجة )١( avatar-based الرمزية rv يكون مصمم وفقاً لأى من عناصر الحماية . ض ( YY ٠ $ £
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/IT2009/000501 WO2011058584A1 (en) | 2009-11-10 | 2009-11-10 | Avatar-based virtual collaborative assistance |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| SA110310836B1 true SA110310836B1 (ar) | 2014-09-15 |
Family
ID=42008588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| SA110310836A SA110310836B1 (ar) | 2009-11-10 | 2010-11-07 | مساعدة تعاونية ظاهرية تعتمد على صورة رمزية |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20120293506A1 (ar) |
| EP (1) | EP2499550A1 (ar) |
| SA (1) | SA110310836B1 (ar) |
| WO (1) | WO2011058584A1 (ar) |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2569411T3 (es) | 2006-05-19 | 2016-05-10 | The Queen's Medical Center | Sistema de seguimiento de movimiento para imágenes adaptativas en tiempo real y espectroscopia |
| US8965049B2 (en) * | 2011-02-01 | 2015-02-24 | Panasonic Intellectual Property Corporation Of America | Function extension device, function extension method, computer-readable recording medium, and integrated circuit |
| US8810598B2 (en) | 2011-04-08 | 2014-08-19 | Nant Holdings Ip, Llc | Interference based augmented reality hosting platforms |
| US9606209B2 (en) | 2011-08-26 | 2017-03-28 | Kineticor, Inc. | Methods, systems, and devices for intra-scan motion correction |
| US8854282B1 (en) * | 2011-09-06 | 2014-10-07 | Google Inc. | Measurement method |
| US8223024B1 (en) | 2011-09-21 | 2012-07-17 | Google Inc. | Locking mechanism based on unnatural movement of head-mounted display |
| US20130137076A1 (en) * | 2011-11-30 | 2013-05-30 | Kathryn Stone Perez | Head-mounted display based education and instruction |
| US9277367B2 (en) * | 2012-02-28 | 2016-03-01 | Blackberry Limited | Method and device for providing augmented reality output |
| US8947323B1 (en) | 2012-03-20 | 2015-02-03 | Hayes Solos Raffle | Content display methods |
| DE102012017700A1 (de) * | 2012-09-07 | 2014-03-13 | Sata Gmbh & Co. Kg | System und Verfahren zur Simulation einer Bedienung eines nichtmedizinischen Werkzeugs |
| US10573037B2 (en) * | 2012-12-20 | 2020-02-25 | Sri International | Method and apparatus for mentoring via an augmented reality assistant |
| US20150212647A1 (en) | 2012-10-10 | 2015-07-30 | Samsung Electronics Co., Ltd. | Head mounted display apparatus and method for displaying a content |
| US10219571B1 (en) * | 2012-11-08 | 2019-03-05 | Peter Aloumanis | In helmet sensors providing blind spot awareness |
| US9305365B2 (en) | 2013-01-24 | 2016-04-05 | Kineticor, Inc. | Systems, devices, and methods for tracking moving targets |
| US10327708B2 (en) | 2013-01-24 | 2019-06-25 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
| US9717461B2 (en) | 2013-01-24 | 2017-08-01 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
| CN105392423B (zh) | 2013-02-01 | 2018-08-17 | 凯内蒂科尔股份有限公司 | 生物医学成像中的实时适应性运动补偿的运动追踪系统 |
| KR20140108428A (ko) * | 2013-02-27 | 2014-09-11 | 한국전자통신연구원 | 착용형 디스플레이 기반 원격 협업 장치 및 방법 |
| JP6138566B2 (ja) * | 2013-04-24 | 2017-05-31 | 川崎重工業株式会社 | 部品取付作業支援システムおよび部品取付方法 |
| US9582516B2 (en) | 2013-10-17 | 2017-02-28 | Nant Holdings Ip, Llc | Wide area augmented reality location-based services |
| US10004462B2 (en) | 2014-03-24 | 2018-06-26 | Kineticor, Inc. | Systems, methods, and devices for removing prospective motion correction from medical imaging scans |
| KR102236203B1 (ko) * | 2014-05-27 | 2021-04-05 | 삼성전자주식회사 | 서비스를 제공하는 방법 및 그 전자 장치 |
| DE102014009699B4 (de) * | 2014-06-26 | 2022-05-19 | Audi Ag | Verfahren zum Betreiben einer Anzeigeeinrichtung und System mit einer Anzeigeeinrichtung |
| US9827060B2 (en) | 2014-07-15 | 2017-11-28 | Synaptive Medical (Barbados) Inc. | Medical device control interface |
| WO2016014718A1 (en) | 2014-07-23 | 2016-01-28 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
| US9607573B2 (en) | 2014-09-17 | 2017-03-28 | International Business Machines Corporation | Avatar motion modification |
| KR101659849B1 (ko) * | 2015-01-09 | 2016-09-29 | 한국과학기술원 | 아바타를 이용한 텔레프레즌스 제공 방법, 상기 방법을 수행하는 시스템 및 컴퓨터 판독 가능한 기록 매체 |
| US9943247B2 (en) | 2015-07-28 | 2018-04-17 | The University Of Hawai'i | Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan |
| WO2017087314A1 (en) * | 2015-11-18 | 2017-05-26 | Wal-Mart Stores, Inc. | Apparatus to provide a 3-d stimulation-experience for a non-point-of-sale logistics and supply chain challenge |
| WO2017091479A1 (en) | 2015-11-23 | 2017-06-01 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
| CN105807425B (zh) * | 2015-12-31 | 2018-09-28 | 北京小鸟看看科技有限公司 | 一种头戴设备 |
| US10187686B2 (en) * | 2016-03-24 | 2019-01-22 | Daqri, Llc | Recording remote expert sessions |
| US11341776B2 (en) | 2016-07-15 | 2022-05-24 | Htc Corporation | Method, electronic apparatus and recording medium for automatically configuring sensors |
| JP2018116537A (ja) * | 2017-01-19 | 2018-07-26 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| US10712814B2 (en) * | 2017-04-21 | 2020-07-14 | Accenture Global Solutions Limited | Multi-device virtual reality, augmented reality and mixed reality analytics |
| JPWO2018230563A1 (ja) * | 2017-06-16 | 2020-02-27 | 本田技研工業株式会社 | 車両の画像提供システム、サーバーシステムおよび車両の画像提供方法 |
| US10304239B2 (en) | 2017-07-20 | 2019-05-28 | Qualcomm Incorporated | Extended reality virtual assistant |
| US10747300B2 (en) * | 2017-08-17 | 2020-08-18 | International Business Machines Corporation | Dynamic content generation for augmented reality assisted technology support |
| KR102499576B1 (ko) * | 2018-01-08 | 2023-02-15 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| US10909372B2 (en) * | 2018-05-28 | 2021-02-02 | Microsoft Technology Licensing, Llc | Assistive device for the visually-impaired |
| US11159766B2 (en) | 2019-09-16 | 2021-10-26 | Qualcomm Incorporated | Placement of virtual content in environments with a plurality of physical participants |
| US11166050B2 (en) * | 2019-12-11 | 2021-11-02 | At&T Intellectual Property I, L.P. | Methods, systems, and devices for identifying viewed action of a live event and adjusting a group of resources to augment presentation of the action of the live event |
| US11694380B2 (en) | 2020-11-13 | 2023-07-04 | Zoltan GELENCSER | System and method for immersive telecommunications |
| US11775132B1 (en) | 2022-05-18 | 2023-10-03 | Environments by LE, Inc. | System and method for the management and use of building systems, facilities, and amenities using internet of things devices and a metaverse representation |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6094625A (en) * | 1997-07-03 | 2000-07-25 | Trimble Navigation Limited | Augmented vision for survey work and machine control |
| US20040104935A1 (en) * | 2001-01-26 | 2004-06-03 | Todd Williamson | Virtual reality immersion system |
| US6867753B2 (en) * | 2002-10-28 | 2005-03-15 | University Of Washington | Virtual image registration in augmented display field |
| US7050078B2 (en) * | 2002-12-19 | 2006-05-23 | Accenture Global Services Gmbh | Arbitrary object tracking augmented reality applications |
| US7619626B2 (en) * | 2003-03-01 | 2009-11-17 | The Boeing Company | Mapping images from one or more sources into an image for display |
| US7063256B2 (en) * | 2003-03-04 | 2006-06-20 | United Parcel Service Of America | Item tracking and processing systems and methods |
| JP4838499B2 (ja) * | 2004-05-21 | 2011-12-14 | オリンパス株式会社 | ユーザ支援装置 |
| SE525826C2 (sv) * | 2004-06-18 | 2005-05-10 | Totalfoersvarets Forskningsins | Interaktivt förfarande för att presentera information i en bild |
| US7626569B2 (en) * | 2004-10-25 | 2009-12-01 | Graphics Properties Holdings, Inc. | Movable audio/video communication interface system |
| WO2008008893A2 (en) * | 2006-07-12 | 2008-01-17 | Medical Cyberworlds, Inc. | Computerized medical training system |
| US20080163054A1 (en) * | 2006-12-30 | 2008-07-03 | Pieper Christopher M | Tools for product development comprising collections of avatars and virtual reality business models for avatar use |
| US20090112604A1 (en) * | 2007-10-24 | 2009-04-30 | Scholz Karl W | Automatically Generating Interactive Learning Applications |
| US8419545B2 (en) * | 2007-11-28 | 2013-04-16 | Ailive, Inc. | Method and system for controlling movements of objects in a videogame |
| WO2009117450A1 (en) * | 2008-03-18 | 2009-09-24 | Invism, Inc. | Enhanced immersive soundscapes production |
| WO2009120616A1 (en) * | 2008-03-25 | 2009-10-01 | Wms Gaming, Inc. | Generating casino floor maps |
| US20090300525A1 (en) * | 2008-05-27 | 2009-12-03 | Jolliff Maria Elena Romera | Method and system for automatically updating avatar to indicate user's status |
-
2009
- 2009-11-10 EP EP09804210A patent/EP2499550A1/en not_active Ceased
- 2009-11-10 US US13/508,748 patent/US20120293506A1/en not_active Abandoned
- 2009-11-10 WO PCT/IT2009/000501 patent/WO2011058584A1/en active Application Filing
-
2010
- 2010-11-07 SA SA110310836A patent/SA110310836B1/ar unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2011058584A1 (en) | 2011-05-19 |
| US20120293506A1 (en) | 2012-11-22 |
| EP2499550A1 (en) | 2012-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| SA110310836B1 (ar) | مساعدة تعاونية ظاهرية تعتمد على صورة رمزية | |
| JP7068562B2 (ja) | 拡張現実データを記録するための手法 | |
| Schmalstieg et al. | Augmented reality: principles and practice | |
| Henderson et al. | Augmented reality for maintenance and repair (armar) | |
| US10816807B2 (en) | Interactive augmented or virtual reality devices | |
| Eswaran et al. | Augmented reality-based guidance in product assembly and maintenance/repair perspective: A state of the art review on challenges and opportunities | |
| Carmigniani et al. | Augmented reality technologies, systems and applications | |
| JP7009495B2 (ja) | 多ソース仮想コンテンツ合成を伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法 | |
| US11836294B2 (en) | Spatially consistent representation of hand motion | |
| US11755122B2 (en) | Hand gesture-based emojis | |
| Stanney et al. | Extended reality (XR) environments | |
| US20200311396A1 (en) | Spatially consistent representation of hand motion | |
| Vertucci et al. | History of augmented reality | |
| Flotyński et al. | Extended Reality Environments | |
| Guizzi et al. | Augmented Reality and Virtual Reality: From the Industrial Field to Other Areas | |
| US20240077983A1 (en) | Interaction recording tools for creating interactive ar stories | |
| CN112148118B (zh) | 生成物理环境中的人的姿势信息 | |
| US20240079031A1 (en) | Authoring tools for creating interactive ar experiences | |
| US20240119928A1 (en) | Media control tools for managing communications between devices | |
| Neumann | Design and implementation of multi-modal AR-based interaction for cooperative planning tasks | |
| US20240077984A1 (en) | Recording following behaviors between virtual objects and user avatars in ar experiences | |
| US20220375026A1 (en) | Late warping to minimize latency of moving objects | |
| Ganesh et al. | Real‐Time Applications of Mixed Reality | |
| CN117218319A (zh) | 扩展现实的处理方法、装置及电子设备 | |
| CN112148118A (zh) | 生成物理环境中的人的姿势信息 |