UA120581C2 - Пристрій компенсації трясіння для систем доповненої реальності в автомобілі (варіанти) і спосіб компенсації трясіння (варіанти) - Google Patents

Пристрій компенсації трясіння для систем доповненої реальності в автомобілі (варіанти) і спосіб компенсації трясіння (варіанти) Download PDF

Info

Publication number
UA120581C2
UA120581C2 UAA201902561A UAA201902561A UA120581C2 UA 120581 C2 UA120581 C2 UA 120581C2 UA A201902561 A UAA201902561 A UA A201902561A UA A201902561 A UAA201902561 A UA A201902561A UA 120581 C2 UA120581 C2 UA 120581C2
Authority
UA
Ukraine
Prior art keywords
module
data
gyroscope
accelerometer
shaking
Prior art date
Application number
UAA201902561A
Other languages
English (en)
Russian (ru)
Inventor
Віктор Юрійович Сдобніков
Original Assignee
Апостера Гмбх
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Апостера Гмбх filed Critical Апостера Гмбх
Priority to UAA201902561A priority Critical patent/UA120581C2/uk
Publication of UA120581C2 publication Critical patent/UA120581C2/uk
Priority to DE112019004159.2T priority patent/DE112019004159T5/de
Priority to KR1020207036573A priority patent/KR102501257B1/ko
Priority to PCT/UA2019/000171 priority patent/WO2020190248A1/en
Priority to CN201980058945.XA priority patent/CN112673619A/zh
Priority to US17/268,786 priority patent/US20210185232A1/en
Priority to JP2021528325A priority patent/JP7319367B2/ja
Priority to GB2017697.0A priority patent/GB2588305B/en
Priority to US17/529,532 priority patent/US11615599B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Винахід стосується транспортних засобів, зокрема автомобілів, і може бути використаний для компенсації і прогнозування їх трясіння з метою відображення доповнених об'єктів на проекційному дисплеї. Згідно із винаходами, запропоновані варіанти пристроїв та способи компенсації трясіння для систем доповненої реальності, де за рахунок об’єднання відповідних засобів збору, обробки та відображення інформації досягають комплексну компенсацію трясіння у системах доповненої реальності в автомобілі.

Description

Винахід стосується транспортних засобів, зокрема автомобілів, і може бути використаний для компенсації і прогнозування їх трясіння з метою відображення доповнених об'єктів.
Відомий блок відображення на лобовому склі для транспортного засобу для створення віртуального зображення в полі зору водія всередині транспортного засобу. Блок відображення містить блок випромінювання для генерації і випромінювання сигналу зображення, який проектується на лобове скло в поле зору водія. Водій сприймає проектований сигнал зображення як віртуальне зображення. Блок відображення містить щонайменше один рухливий відбивач, що впливає на ділянку шляху проектування. На представлення віртуального зображення впливає контрольоване переміщення блока випромінювання і додатково на нього впливають шляхом зміни сигналу випромінюваного зображення щодо сигналу зображення при центральному положенні дзеркала. Рух блока випромінювання виконується в залежності від розпізнаної дорожньої ситуації (ОЕ201510116161.
Відомий блок використовується для відображення віртуальних об'єктів і надає можливість коригувати це відображення двома способами, не надаючи механізм оцінки та прогнозування необхідних коригувань як такої. Відповідно, опис пристрою не містить необхідних для даного процесу блоків, а сам по собі є частиною описуваної системи з необхідною властивістю - можливістю компенсації зображення.
Відомо пристрій відображення для транспортного засобу, в якому датчик зображення призначений для відображення щонайменше одного виду доповнених об'єктів на поверхні, розташованої в транспортному засобі. Пристрій відображення містить засіб компенсації, за допомогою якого в залежності від руху транспортного засобу, реалізує механізм компенсації зображення щонайменше для одного виду відображуваних доповнених об'єктів
ІОЕТО2016009506А11.
Описаний пристрій не містить блока компенсації високочастотних компонент трясіння і відповідного механізму поділу частот для компенсації. Відсутність каскадного з'єднання блоків пристрою унеможливлює каскадний процес компенсації, який є одним з ключових елементів винаходу, що дозволяє застосовувати оптимальний по частоті, затримки і точності метод для компенсації компонент трясіння, що мають різну природу виникнення. Також, запропоноване в відомому пристрої з'єднання блоків не дозволяє точної оцінки тимчасових затримок, які потребують окремого підходу до компенсації, додатково до компенсації просторової складової для різних частот. Запропонований у відомому пристрої метод пропонує закріплювати положення віртуальних об'єктів безпосередньо перед процесом відображення, в той час як пропонований прогнозує низькочастотні зміни відносного положення об'єктів між собою і щодо об'єктів реального світу, що дозволяє нівелювати затримку, яка виникає в пристрої відображення (проекційному дисплеї).
Найбільш близьким до заявлюваного винаходу є пристрій відображення для транспортного засобу, що містить генератор зображень для відображення щонайменше одного типу доповнених об'єктів на поверхні, розташованої в транспортному засобі Щонайменше відображення одного типу доповнених об'єктів може бути скориговано залежно від руху транспортного засобу за допомогою компенсуючого пристрою, призначеного щонайменше для компенсації власного руху транспортного засобу. З цією метою компенсуючий пристрій з'єднано з пристроєм розпізнавання, за допомогою якого може бути розпізнано щонайменше власний стан транспортного засобу, при цьому рух транспортного засобу може бути викликано зазначеним станом. Компенсуючий пристрій призначений для зміни щонайменше частини інформації, що відповідає одному типу доповнених об'єктів, на підставі результатів, отриманих від пристрою розпізнавання (2012-12-142РСТ/ЕР2012/0051311.
Відомий пристрій має два блоки - пристроєм розпізнавання і пристроєм відображення інформації з можливістю компенсації. Пристрій розпізнавання в автомобілі має високі значеннями затримки від отримання сигналу до отримання результатів його розпізнавання, що унеможливлює його використання для компенсації основних впливів, які є предметом розгляду в пропонованому пристрої. Відсутність блоків прогнозування і високочастотної компенсації також улоеможливлює отримання очікуваних для проекційного дисплея результатів.
Відомий спосіб підготовки інформації про середовище навколо транспортного засобу, де візуально відображаються реальні об'єкти навколишнього середовища навколо транспортного засобу, причому зазначені віртуальні об'єкти накладаються у вигляді доповненої реальності реальними об'єктами. Відповідно до поточного профілю руху транспортного засобу та/або профілю руху щонайменше одного реального об'єкта навколо транспортного засобу, визначається час для відображення віртуального об'єкта (ІОЕ102016009506А11.
В даному способі відсутня остання стадія оцінки трясіння за гіроскопом і акселерометром, що має найбільшу частоту і точність і дозволяє досягти описаного результату і надати частотне розбиття таких трясінь для подальшої компенсації.
Зазначений спосіб описує компенсації, пов'язані з рухом автомобіля і об'єктів навколо нього, з огляду на часові затримки і прогноз, але не пов'язує цей процес з останнім етапом високочастотної компенсації.
У способі немає розбивки на різні частоти отриманого результату. Це суттєва частина пропозиції, оскільки дозволяє будувати оптимальну компенсацію на основі тестування і експериментів, які виявлятимуть, які ж елементи трясіння необхідно компенсувати, а які призводять лише до погіршення сприйняття і відволікання водія.
Не виділені основні джерела затримки даних, що призводить до складнощів у практичній реалізації системи. Без них також неможливо поділ на різні частоти компенсації, оскільки вони залежать від частот і затримок не тільки отримання даних, але і їх доставки.
У способі прототипу відносна позиція відображуваних об'єктів визначається за мінімальний час відображення. З огляду на час відображення на проекційному дисплеї, такий підхід вносить додаткову затримку у відображення не менше 20 мс для існуючих технологій проектування (оМО-аїіднаІптісгоптіггогаемісе) навіть для низькочастотних прогнозованих рухів автомобіля та об'єктів навколо, які і є основним фокусом в прототипі.
В основу винаходу поставлена задача створення пристрою компенсації трясіння для систем доповненої реальності в автомобілі, що забезпечує комплексне коригування положення доповнених об'єктів, яке виникає в зв'язку з тим, що зображення на дисплеї сприймається водієм з нульовою затримкою, компенсацію від наїзду на купини або нерівності дороги, компенсація різних частот і амплітуд коливань машини, яка дозволила б відокремити ці коливання від інших зсувів автомобіля, виділити їх прогнозовану частину, а також класифікувати збурення, що залишилися, для їх подальшої оптимальної компенсації.
Друга задача, поставлена в основу винаходу - це створення способу компенсації трясіння для систем доповненої реальності в автомобілі, спрямованого на комплексне коригування положення доповнених об'єктів, що виникає в зв'язку з тим, що зображення на проекційному дисплеї сприймається водієм з нульовою затримкою, в той час як дані мають затримку, а також на компенсацію різних частот і амплітуд коливань автомобіля для відділення цих коливань від інших зсувів автомобіля, виділення їх прогнозованої частини.
Поставлену задачу вирішують тим, що пристрій компенсації трясіння для систем доповненої реальності в автомобілі, що включає модуль компенсації трясіння, відповідно до винаходу, містить розпізнавальну фронтальну камеру, гіроскоп, акселерометр і сенсорні датчики, з'єднані з модулем прогнозування, гіроскоп, акселерометр і сенсорні датчики також з'єднані з модулем позиціонування, а гіроскоп, акселерометр з'єднаний ще з модулем компенсації трясіння, модуль прогнозування, модуль позиціонування, модуль компенсації трясіння і сенсорні датчики з'єднані з модулем відтворення даних, з'єднаним з проекційним дисплеєм.
Поставлену задачу вирішують також тим, що пристрій компенсації трясіння для систем доповненої реальності в автомобілі, що включає модуль компенсації трясіння, відповідно до винаходу містить фронтальну камеру, гіроскоп, акселерометр і сенсорні датчики з'єднані з модулем розпізнавання, модуль розпізнавання, гіроскоп, акселерометр і сенсорні датчики з'єднані з модулем прогнозування, гіроскоп, акселерометр і сенсорні датчики також з'єднані з модулем позиціонування, а гіроскоп, акселерометр з'єднаний ще з модулем компенсації трясіння, модуль прогнозування, модуль позиціонування, модуль компенсації трясіння і сенсорні датчики з'єднані з модулем відтворення даних, з'єднаним з проекційним дисплеєм.
Другу поставлену задачу вирішують тим, що в способі компенсації трясіння для систем доповненої реальності в автомобілі, згідно з яким описують компенсації, пов'язані з рухом автомобіля і об'єктів навколо нього, з огляду на часові затримки і прогноз, відповідно до винаходу, за допомогою фронтальної камери передають результати розпізнавання в модуль прогнозування з відповідною частотою і затримкою відносно до моменту потрапляння світла на матрицю фронтальної камери, гіроскоп і акселерометр передають дані в модуль прогнозування і в модуль позиціонування, сенсори автомобіля передають дані з різними частотами і затримками в модуль прогнозування і в модуль позиціонування, за допомогою модуля позиціонування підраховують позицію і поворот автомобіля, їх відносне зміщення на момент, віддалений від поточного часу на сумарний час роботи модулів і передають їх в модуль прогнозування, де на основі отриманих даних прогнозують окремо позиції статичних і динамічних об'єктів, дані від гіроскопа і акселерометра надходять в модуль компенсації трясіння автомобіля, де виконують прогноз низьких частот трясіння на час роботи модуля відтворення і бо відображення даних, а іншу частину трясіння віддають разом з прогнозованою частиною в модуль відтворення даних для відображення на проекційному дисплеї, при цьому в модулі відтворення даних проводять розрахунок і додають частину або всі компоненти, проінтегровані за період роботи модуля компенсації трясіння, а поправку зображення, що формується, на зміщення очей водія застосовують після всіх коригувань в модулі відтворення, остаточний результат для водія відображають на проекційному дисплеї.
Другу поставлену задачу також вирішують тим, що в способі компенсації трясіння для систем доповненої реальності в автомобілі, згідно з яким описують компенсації, пов'язані з рухом автомобіля і об'єктів навколо нього, з огляду на часові затримки і прогноз, відповідно до винаходу, за допомогою фронтальної камери передають відеопотік в модуль розпізнавання, гіроскоп і акселерометр і сенсори автомобіля передають дані в модуль розпізнавання, де на підставі отриманих даних розпізнаються навколишні об'єкти і передаються результати розпізнавання в модуль прогнозування, гіроскоп і акселерометр передають дані в модуль прогнозування і в модуль позиціонування, сенсори автомобіля передають дані з різними частотами і затримками в модуль прогнозування і в модуль позиціонування, за допомогою модуля позиціонування підраховують позицію і поворот автомобіля, їх відносне зміщення на момент, віддалений від поточного часу на сумарний час роботи модулів і передають їх в модуль прогнозування, де на основі отриманих даних прогнозують окремо позиції статичних і динамічних об'єктів, дані від гіроскопа і акселерометра надходять в модуль компенсації трясіння автомобіля, де виконують прогноз низьких частот трясіння на час роботи модуля відтворення і відображення даних, а іншу частину трясіння віддають разом з прогнозованої частиною в модуль відтворення даних для відображення на проекційному дисплеї, при цьому в модулі відтворення даних виконують розрахунок і додають частину або всі компоненти, проінтегровані за період роботи модуля компенсації трясіння, а поправку зображення, що формується, на зміщення очей водія застосовують після всіх коригувань в модулі відтворення, остаточний результат для водія відображають на проекційному дисплеї.
Каскадний підхід, побудований від використання даних менших частот і що мають велику затримку, проте мають кращу точність, доти, поки приходять частіше і швидше, але мають властивість накопичення помилок з часом, в сучасних автомобілях, відрізняє заявлений пристрій від прототипу.
Зо У пристрої використовуються всі дані - і про своєму русі, і про рух статичних і динамічних об'єктів, і з високочастотного акселерометра і гіроскопа, і з модуля прогнозування. На відміну від відомих аналогів, які використовують не більше двох із зазначених механізмів або використовують їх без урахування зв'язку один з одним, запропонований підхід дозволяє отримати якісні результати, забезпечуючи високі вимоги до пристроїв такого типу: - затримка на рівні часу роботи системи відображення; - відсутність накопичення помилок коригування та прогнозування; - використання даних максимально швидко після їх отримання; - ефективне використання даних на максимальних доступних частотах; - можливість різних стратегій компенсації трясіння різної природи.
Ефективна компенсація високочастотних змін позиції і кута автомобіля нерозривно пов'язана з компенсацією власного руху і руху інших об'єктів на частотах нижче цієї компенсації, цей зв'язок відображений у винаході, що заявляється, а результат, що досягається обумовлений запропонованою каскадною схемою компенсації від менших частот до великих.
На відміну від прототипу спосіб, що заявляється, дозволяє будувати оптимальну компенсацію на основі тестування і експериментів, які виявлятимуть які ж елементи трясіння необхідно компенсувати, а які призводять лише до погіршення сприйняття і відволікання водія.
У порівнянні з прототипом, де відносна позиція відображуваних об'єктів визначається за мінімальний час до відображення, у винаході, що заявляється, відсутній цей недолік, оскільки визначення позиції відбувається з урахуванням прогнозу з попередженням, відповідним часу фізичного процесу відображення, включаючи додатково і низькочастотне трясіння.
Винахід пояснюється кресленнями.
На Фіг. 1 зображено пристрій компенсації трясіння автомобіля, в якому камера надає розпізнані об'єкти; на Фіг. 2 - пристрій компенсації трясіння автомобіля, в якому камера надає відеопотік.
Пристрій компенсації трясіння автомобіля за першим варіантом виконання містить розпізнає фронтальну камеру 1, яка надає розпізнані об'єкти, гіроскоп і акселерометр 2 і сенсорні датчики 3, з'єднані з модулем 4 прогнозування власного руху і руху навколишніх об'єктів, що обчислює відносне зміщення і абсолютну позицію автомобіля, включаючи поворот по трьох осях. Гіроскоп і акселерометр 2 і сенсорні датчики З також з'єднані з модулем 5 позиціонування, а гіроскоп, бо акселерометр 2 з'єднані ще з модулем б компенсації трясіння, що працює за показниками гіроскопа і акселерометра. Модуль 4 прогнозування, модуль 5 позиціонування, модуль 6 компенсації трясіння і сенсорні датчики З з'єднані з модулем 7 відтворення даних для відображення на проекційному дисплеї 8, з яким він з'єднаний.
Пристрій компенсації трясіння автомобіля за другим варіантом виконання містить фронтальну камеру 1, яка надає відеопотік, гіроскоп і акселерометр 2 і сенсорні датчики З (щонайменше поворот рульового колеса і швидкість автомобіля), з'єднані з модулем 9 розпізнавання власного руху, оточуючих об'єктів, що рухаються, і оточуючих статичних об'єктів по відеопотоку. Модуль 9 розпізнавання, гіроскоп і акселерометр 2 і сенсорні датчики З з'єднані з модулем 4 прогнозування. Гіроскоп і акселерометр 2 і сенсорні датчики З також з'єднані з модулем 5 позиціонування, а гіроскоп і акселерометр 2 з'єднані ще з модулем 6 компенсації трясіння. Модуль 4 прогнозування, модуль 5 позиціонування, модуль 6 компенсації трясіння і сенсорні датчики З з'єднані з модулем 7 відтворення даних, сполученим з проекційним дисплеєм 8.
Пристрій компенсації трясіння автомобіля функціонує наступним чином.
У першому варіанті виконання розпізнавальна фронтальна камера 1 передає результати розпізнавання в модуль 4 прогнозування з частотою ЧА і затримкою відносно до моменту потрапляння світла на матрицю фронтальної камери 1.
У другому варіанті виконання фронтальна камера 1 передає відеопотік в модуль 9 розпізнавання з частотою Ч:Б і затримкою відносно до моменту потрапляння світла на матрицю фронтальної камери 1. Гіроскоп і акселерометр 2 передають дані з частотою Ч» і затримкою в модуль 9 розпізнавання. Сенсори З автомобіля передають дані з різними частотами і затримками в модуль 9. Модуль 9 розпізнавання на підставі отриманих даних розпізнає навколишні об'єкти з частотою ЧіБ і передає результати розпізнавання в модуль 4 прогнозування з частотою Ч;Б і затримкою відносно до моменту потрапляння світла на матрицю фронтальної камери 1.
У подальшому для обох варіантів процес проходить однаково. Гіроскоп і акселерометр 2 передають дані в модуль 4 прогнозування з частотою Ч», а також в модуль 5 позиціонування.
Сенсори 3 автомобіля передають дані з різними частотами і затримками в модуль 4 прогнозування, а також в модуль 5 позиціонування. Модуль 5 позиціонування підраховує
Зо позицію автомобіля, його відносне зміщення і передає їх в модуль 4 прогнозування на необхідній, можливо частоті Чи, що змінюється.
Модуль 5 позиціонування підраховує позицію і поворот автомобіля та їх відносне зміщення на момент, віддалений від поточного часу на сумарний час роботи модулів 4, 7 і 8, і передає їх в модуль 7 відтворення даних з частотою Чу.
Модуль 4 прогнозування на основі отриманих даних прогнозує окремо позиції статичних і динамічних об'єктів, віднімаючи від моделі других як спрогнозовані невипадкові величини їх пересувань, так і більш високочастотні дані з гіроскопа і акселерометра 2, проінтегрувавши їх за відповідний доступний проміжок часу. Прогноз відбувається на час, що віддалений від часу надання результатів прогнозу на сумарний час роботи модулів 7 і 9.
Модуль 6 компенсації трясіння автомобіля отримує дані від гіроскопа і акселерометра 2 і виконує прогноз низьких частот трясіння на час роботи модуля 7 відтворення і відображення даних, а іншу частину трясіння надає як доданки, що відповідають різним частотам, в сукупності з прогнозованою частиною в модуль відтворення 7 даних для відображення на проекційному дисплеї 8.
Модуль 7 відтворення даних проводить розрахунок, додає частину або всі компоненти, проінтегровані за період роботи модуля 6 компенсації трясіння.
Перебуваючи за межами поточного розгляду, поправка зображення, що формується, на зміщення очей водія застосовується після всіх описаних коригувань в модулі 7.
Фінальне прогнозоване описаним каскадним чином на час передачі даних і відображення їх проекційним дисплеєм 8 і відкоректоване положення всіх доповнених об'єктів промальовується і передається на проекційний дисплей 8, де відображається, дозволяючи водієві побачити остаточний результат у вигляді віртуальної сцени перед автомобілем, рухи об'єктів якої завдяки запропонованій системі відповідають руху реальних об'єктів, що знаходяться в полі зору водія.

Claims (4)

ФОРМУЛА ВИНАХОДУ
1. Пристрій компенсації трясіння для систем доповненої реальності в автомобілі, що включає модуль компенсації трясіння, який відрізняється тим, що містить розпізнавальну фронтальну камеру, гіроскоп, акселерометр і сенсорні датчики, з'єднані з модулем прогнозування, гіроскоп, бо акселерометр і сенсорні датчики також з'єднані з модулем позиціонування, а гіроскоп і акселерометр з'єднані ще з модулем компенсації трясіння, модуль прогнозування, модуль позиціонування, модуль компенсації трясіння і сенсорні датчики, з'єднані з модулем відтворення даних, з'єднаним з проекційним дисплеєм.
2. Пристрій компенсації трясіння для систем доповненої реальності в автомобілі, що включає модуль компенсації трясіння, який відрізняється тим, що містить фронтальну камеру, гіроскоп, акселерометр і сенсорні датчики, з'єднані з модулем розпізнавання, модуль розпізнавання, гіроскоп, акселерометр і сенсорні датчики, з'єднані з модулем прогнозування, гіроскоп, акселерометр і сенсорні датчики також з'єднані з модулем позиціонування, а гіроскоп, акселерометр з'єднані ще з модулем компенсації трясіння, модуль прогнозування, модуль позиціонування, модуль компенсації трясіння і сенсорні датчики з'єднані з модулем відтворення даних, з'єднаним з проекційним дисплеєм.
3. Спосіб компенсації трясіння для систем доповненої реальності в автомобілі, згідно з яким описують компенсації, пов'язані з рухом автомобіля і об'єктів навколо нього, з огляду на часові затримки і прогноз, який відрізняється тим, що за допомогою фронтальної камери передають результати розпізнавання в модуль прогнозування з відповідною частотою і затримкою по відношенню до моменту потрапляння світла на матрицю фронтальної камери, гіроскоп і акселерометр передають дані в модуль прогнозування і в модуль позиціонування, сенсори автомобіля передають дані з різними частотами і затримками в модуль прогнозування і в модуль позиціонування, за допомогою модуля позиціонування підраховують позицію і поворот автомобіля, їх відносне зміщення на момент, віддалений від поточного часу на сумарний час роботи модулів і передають їх в модуль прогнозування, де на основі отриманих даних прогнозують окремо позиції статичних і динамічних об'єктів, дані від гіроскопа і акселерометра надходять в модуль компенсації трясіння автомобіля, де виконують прогноз низьких частот трясіння на час роботи модуля відтворення і відображення даних, а іншу частину трясіння віддають разом з прогнозованою частиною в модуль відтворення даних для відображення на проекційному дисплеї, при цьому в модулі відтворення даних проводять розрахунок і додають частину або всі компоненти, проінтегровані за період роботи модуля компенсації трясіння, а поправку зображення, що формується, на зміщення очей водія застосовують після всіх коригувань в модулі відтворення, остаточний результат для водія відображають на Зо проекційному дисплеї.
4. Спосіб компенсації трясіння для систем доповненої реальності в автомобілі, згідно з яким описують компенсації, пов'язані з рухом автомобіля і об'єктів навколо нього, з огляду на часові затримки і прогноз, який відрізняється тим, що за допомогою фронтальної камери передають відеопотік в модуль розпізнавання, гіроскоп і акселерометр і сенсори автомобіля передають дані в модуль розпізнавання, де на підставі отриманих даних розпізнаються навколишні об'єкти і передаються результати розпізнавання в модуль прогнозування, гіроскоп і акселерометр передають дані в модуль прогнозування і в модуль позиціонування, сенсори автомобіля передають дані з різними частотами і затримками в модуль прогнозування і в модуль позиціонування, за допомогою модуля позиціонування підраховують позицію і поворот автомобіля, їх відносне зміщення на момент, віддалений від поточного часу на сумарний час роботи модулів і передають їх в модуль прогнозування, де на основі отриманих даних прогнозують окремо позиції статичних і динамічних об'єктів, дані від гіроскопа і акселерометра надходять в модуль компенсації трясіння автомобіля, де виконують прогноз низьких частот трясіння на час роботи модуля відтворення і відображення даних, а іншу частину трясіння віддають разом з прогнозованою частиною в модуль відтворення даних для відображення на проекційному дисплеї, при цьому в модулі відтворення даних виконують розрахунок і додають частину або всі компоненти, проінтегровані за період роботи модуля компенсації трясіння, а поправку зображення, що формується, на зміщення очей водія застосовують після всіх коригувань в модулі відтворення, остаточний результат для водія відображають на проекційному дисплеї.
UAA201902561A 2019-03-15 2019-03-15 Пристрій компенсації трясіння для систем доповненої реальності в автомобілі (варіанти) і спосіб компенсації трясіння (варіанти) UA120581C2 (uk)

Priority Applications (9)

Application Number Priority Date Filing Date Title
UAA201902561A UA120581C2 (uk) 2019-03-15 2019-03-15 Пристрій компенсації трясіння для систем доповненої реальності в автомобілі (варіанти) і спосіб компенсації трясіння (варіанти)
DE112019004159.2T DE112019004159T5 (de) 2019-03-15 2019-12-28 Vorrichtung zur erschütterungskompensation und verfahren zur erschütterungskompensation
KR1020207036573A KR102501257B1 (ko) 2019-03-15 2019-12-28 떨림 보상 장치 및 떨림 보상 방법
PCT/UA2019/000171 WO2020190248A1 (en) 2019-03-15 2019-12-28 Apparatus of shaking compensation and method of shaking compensation
CN201980058945.XA CN112673619A (zh) 2019-03-15 2019-12-28 抖动补偿装置和抖动补偿方法
US17/268,786 US20210185232A1 (en) 2019-03-15 2019-12-28 Apparatus of shaking compensation and method of shaking compensation
JP2021528325A JP7319367B2 (ja) 2019-03-15 2019-12-28 振動補償の装置および振動補償の方法
GB2017697.0A GB2588305B (en) 2019-03-15 2019-12-28 Apparatus of shaking compensation and method of shaking compensation
US17/529,532 US11615599B2 (en) 2019-03-15 2021-11-18 Apparatus of shaking compensation and method of shaking compensation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
UAA201902561A UA120581C2 (uk) 2019-03-15 2019-03-15 Пристрій компенсації трясіння для систем доповненої реальності в автомобілі (варіанти) і спосіб компенсації трясіння (варіанти)

Publications (1)

Publication Number Publication Date
UA120581C2 true UA120581C2 (uk) 2019-12-26

Family

ID=71116722

Family Applications (1)

Application Number Title Priority Date Filing Date
UAA201902561A UA120581C2 (uk) 2019-03-15 2019-03-15 Пристрій компенсації трясіння для систем доповненої реальності в автомобілі (варіанти) і спосіб компенсації трясіння (варіанти)

Country Status (8)

Country Link
US (1) US20210185232A1 (uk)
JP (1) JP7319367B2 (uk)
KR (1) KR102501257B1 (uk)
CN (1) CN112673619A (uk)
DE (1) DE112019004159T5 (uk)
GB (1) GB2588305B (uk)
UA (1) UA120581C2 (uk)
WO (1) WO2020190248A1 (uk)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7120982B2 (ja) * 2019-11-11 2022-08-17 株式会社Soken 表示制御装置
WO2023210288A1 (ja) * 2022-04-25 2023-11-02 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理システム
CN115134525B (zh) * 2022-06-27 2024-05-17 维沃移动通信有限公司 数据传输方法、惯性测量单元及光学防抖单元

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6982746B1 (en) * 1998-02-24 2006-01-03 Canon Kabushiki Kaisha Apparatus and method for correcting shake by controlling sampling timing of shake signal
US20160216521A1 (en) * 2013-10-22 2016-07-28 Nippon Seiki Co., Ltd. Vehicle information projection system and projection device
JP2017013590A (ja) 2015-06-30 2017-01-19 日本精機株式会社 ヘッドアップディスプレイ装置
DE102015011616A1 (de) * 2015-09-04 2017-03-09 Audi Ag Virtual-Reality-System und Verfahren zum Betreiben eines Virtual-Reality-Systems
KR101756252B1 (ko) * 2015-11-09 2017-07-11 현대오트론 주식회사 헤드업 디스플레이의 표시 제어 장치 및 방법
KR20170055135A (ko) * 2015-11-11 2017-05-19 엘지전자 주식회사 가상현실 단말기 및 그 제어방법
KR101826627B1 (ko) * 2015-12-02 2018-02-08 현대오트론 주식회사 헤드업 디스플레이를 이용한 안전 운전정보 표시장치 및 그 제어방법
DE102016009506A1 (de) * 2016-08-04 2017-04-13 Daimler Ag Verfahren zur Darstellung von Umgebungsinformationen eines Fahrzeuges
US10769831B2 (en) * 2016-08-29 2020-09-08 Maxell, Ltd. Head up display
US10186065B2 (en) * 2016-10-01 2019-01-22 Intel Corporation Technologies for motion-compensated virtual reality
JP6601441B2 (ja) * 2017-02-28 2019-11-06 株式会社デンソー 表示制御装置及び表示制御方法
JP6731644B2 (ja) 2017-03-31 2020-07-29 パナソニックＩｐマネジメント株式会社 表示位置補正装置、表示位置補正装置を備える表示装置、及び表示装置を備える移動体
KR20180123354A (ko) * 2017-05-08 2018-11-16 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량

Also Published As

Publication number Publication date
DE112019004159T5 (de) 2021-05-20
JP2021533420A (ja) 2021-12-02
KR102501257B1 (ko) 2023-02-17
US20210185232A1 (en) 2021-06-17
GB202017697D0 (en) 2020-12-23
CN112673619A (zh) 2021-04-16
GB2588305B (en) 2023-05-17
GB2588305A (en) 2021-04-21
JP7319367B2 (ja) 2023-08-01
WO2020190248A1 (en) 2020-09-24
KR20210011980A (ko) 2021-02-02

Similar Documents

Publication Publication Date Title
UA120581C2 (uk) Пристрій компенсації трясіння для систем доповненої реальності в автомобілі (варіанти) і спосіб компенсації трясіння (варіанти)
CN109791739B (zh) 晕车估计装置、晕车防止装置和晕车估计方法
CN110573369B (zh) 平视显示器装置及其显示控制方法
EP3590753A1 (en) Display control device and display control method
US20200269696A1 (en) Virtual image display device
CN108737801B (zh) 车载投影的现实运动修正
EP3520354A1 (en) Augmented reality communication system and augmented reality interaction device
KR101805377B1 (ko) 대상물 마킹의 위치를 트래킹하기 위한 방법 및 장치
JP6501743B2 (ja) 画像安定化方法及び電子デバイス
JP6724886B2 (ja) 虚像表示装置
WO2021039388A1 (en) Illumination device and ranging module
US10771711B2 (en) Imaging apparatus and imaging method for control of exposure amounts of images to calculate a characteristic amount of a subject
US20210031776A1 (en) Display control unit and non-transitory tangible computer readable storage medium
CN113677553A (zh) 显示控制装置以及显示控制方法
US20190166358A1 (en) Display device, electronic mirror and method for controlling display device
CN113767026A (zh) 用于运行机动车的方法
WO2017024458A1 (en) System, method and apparatus for vehicle and computer readable medium
US11619811B2 (en) Image display system, moving body, image display method, and program
US11615599B2 (en) Apparatus of shaking compensation and method of shaking compensation
JP7394306B2 (ja) 表示システム、表示装置、及び表示制御方法
WO2020212287A1 (en) Imaging system and method
CN114008684A (zh) 车辆显示单元上的附加信息的位置正确的显现
JPWO2019111307A1 (ja) 表示制御装置及び表示制御方法
US20240163555A1 (en) Image processing device and image processing method
TWI621098B (zh) 影像穩定方法與電子裝置