RU2715876C1 - Способ и оборудование отображения окрестностей мобильного тела - Google Patents

Способ и оборудование отображения окрестностей мобильного тела Download PDF

Info

Publication number
RU2715876C1
RU2715876C1 RU2018139676A RU2018139676A RU2715876C1 RU 2715876 C1 RU2715876 C1 RU 2715876C1 RU 2018139676 A RU2018139676 A RU 2018139676A RU 2018139676 A RU2018139676 A RU 2018139676A RU 2715876 C1 RU2715876 C1 RU 2715876C1
Authority
RU
Russia
Prior art keywords
attention
mobile body
vehicle
range
image
Prior art date
Application number
RU2018139676A
Other languages
English (en)
Inventor
Йосинори КУСАЯНАГИ
Такура ЯНАГИ
Сейго ВАТАНАБЕ
Норимаса КИСИ
Original Assignee
Ниссан Мотор Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ниссан Мотор Ко., Лтд. filed Critical Ниссан Мотор Ко., Лтд.
Application granted granted Critical
Publication of RU2715876C1 publication Critical patent/RU2715876C1/ru

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Предусмотрен способ отображения окрестностей мобильного тела, осуществляемый посредством оборудования отображения окрестностей мобильного тела, включающего в себя элемент захвата изображений, который получает информацию окрестностей относительно мобильного тела посредством захвата изображений, контроллер (40), который создает захваченное изображение с использованием информации окрестностей и виртуального изображения, представляющего ситуацию около мобильного тела, и дисплей (50), который отображает виртуальное изображение. Способ обнаруживает требующий внимания диапазон около мобильного тела, создает захваченное изображение требующего внимания диапазона и отображает захваченное изображение требующего внимания диапазона на дисплее (50). Повышается безопасность движения. 2 н. и 4 з.п. ф-лы, 16 ил.

Description

Область техники, к которой относится изобретение
[0001] Настоящее изобретение относится к способу отображения окрестностей мобильного тела и к оборудованию отображения окрестностей мобильного тела.
Уровень техники
[0002] Традиционно известна технология для обнаружения требующего внимания объекта в направлении движения транспортного средства и информирования водителя в отношении обнаруженного требующего внимания объекта. В патентном документе 1, обнаруженный требующий внимания объект отображается на дисплее на лобовом стекле.
Список библиографических ссылок
Патентные документы
[0003] Патентный документ 1. Публикация заявки на патент (Япония) номер 2001-23091
Сущность изобретения
Техническая задача
[0004] В патентном документе 1, требующий внимания объект отображается на дисплее на лобовом стекле в качестве значка. Таким образом, информация, которую человек, занимающий место в транспортном средстве, эмпирически получает в ходе нормального вождения, такая как атрибут требующего внимания объекта (то, представляет собой объект пожилого человека или ребенка либо нет) и направление взгляда объекта, может быть потеряна.
[0005] Настоящее изобретение осуществлено с учетом вышеизложенной проблемы и имеет цель предоставлять способ отображения окрестностей мобильного тела и оборудование отображения окрестностей мобильного тела, допускающие информирование человека, занимающего место в транспортном средстве, в отношении подробностей информации, на которую должно обращаться внимание.
Решение задачи
[0006] Способ отображения окрестностей мобильного тела согласно аспекту настоящего изобретения получает информацию окрестностей относительно мобильного тела посредством захвата изображений, создает захваченное изображение с использованием полученной информации окрестностей и виртуального изображения, представляющего ситуацию около мобильного тела, обнаруживает требующий внимания диапазон около мобильного тела, создает захваченное изображение обнаруженного требующего внимания диапазона и отображает захваченное изображение требующего внимания диапазона на дисплее.
Преимущества изобретения
[0007] Настоящее изобретение отображает захваченное изображение требующего внимания диапазона на дисплее и в силу этого обеспечивает возможность информирования человека, занимающего место в транспортном средстве, в отношении подробностей информации, на которую должно обращаться внимание.
Краткое описание чертежей
[0008] Фиг. 1 является схемой конфигурации оборудования отображения окрестностей мобильного тела согласно первому варианту осуществления настоящего изобретения.
Фиг. 2(a) и 2(b) являются схемами, иллюстрирующими пример синтеза виртуального изображения со снятым камерой изображением согласно первому варианту осуществления настоящего изобретения.
Фиг. 3(a), 3(b) и 3(c) являются схемами, иллюстрирующими другой пример синтеза виртуального изображения со снятым камерой изображением согласно первому варианту осуществления настоящего изобретения.
Фиг. 4(a), 4(b) и 4(c) являются схемами, иллюстрирующими еще один другой пример синтеза виртуального изображения со снятым камерой изображением согласно первому варианту осуществления настоящего изобретения.
Фиг. 5 является схемой, иллюстрирующей еще один другой пример синтеза виртуального изображения со снятым камерой изображением согласно первому варианту осуществления настоящего изобретения.
Фиг. 6 является блок-схемой последовательности операций способа, иллюстрирующей примерную работу оборудования отображения окрестностей мобильного тела согласно первому варианту осуществления настоящего изобретения.
Фиг. 7 является схемой конфигурации оборудования отображения окрестностей мобильного тела согласно второму варианту осуществления настоящего изобретения.
Фиг. 8 является схемой, иллюстрирующей синтез виртуального изображения со снятым камерой изображением согласно второму варианту осуществления настоящего изобретения.
Фиг. 9 является схемой, иллюстрирующей пример синтеза виртуального изображения со снятым камерой изображением согласно второму варианту осуществления настоящего изобретения.
Фиг. 10 является схемой, иллюстрирующей другой пример синтеза виртуального изображения со снятым камерой изображением согласно второму варианту осуществления настоящего изобретения.
Фиг. 11 является блок-схемой последовательности операций способа, иллюстрирующей примерную работу оборудования отображения окрестностей мобильного тела согласно второму варианту осуществления настоящего изобретения.
Фиг. 12 является схемой конфигурации оборудования отображения окрестностей мобильного тела согласно третьему варианту осуществления настоящего изобретения.
Фиг. 13 является схемой, иллюстрирующей пример синтеза виртуального изображения со снятым камерой изображением согласно третьему варианту осуществления настоящего изобретения.
Фиг. 14 является схемой, иллюстрирующей другой пример синтеза виртуального изображения со снятым камерой изображением согласно третьему варианту осуществления настоящего изобретения.
Фиг. 15 является схемой, иллюстрирующей еще один другой пример синтеза виртуального изображения со снятым камерой изображением согласно третьему варианту осуществления настоящего изобретения.
Фиг. 16 является блок-схемой последовательности операций способа, иллюстрирующей примерную работу оборудования отображения окрестностей мобильного тела согласно третьему варианту осуществления настоящего изобретения.
Подробное описание вариантов осуществления
[0009] Ниже описываются варианты осуществления настоящего изобретения со ссылкой на чертежи. На всех чертежах, идентичные части обозначаются посредством идентичных ссылок с номерами и многократно не описываются.
[0010] Первый вариант осуществления
Ниже описывается оборудование 1 отображения окрестностей мобильного тела согласно первому варианту осуществления со ссылкой на фиг. 1. Как проиллюстрировано на фиг. 1, оборудование 1 отображения окрестностей мобильного тела включает в себя датчик 10 окружения, камеру 20 переднего вида, правую камеру 21, левую камеру 22, камеру 23 заднего вида, контроллер 40 и дисплей 50. Следует отметить, что оборудование 1 отображения окрестностей мобильного тела представляет собой оборудование, главным образом используемое для транспортного средства с поддержкой автономного вождения с возможностями автономного вождения.
[0011] Датчик 10 окружения представляет собой устройство, которое обнаруживает окружение, окружающее рассматриваемое транспортное средство, и представляет собой, например, лазерный дальномер. Лазерный дальномер обнаруживает помехи (такие как пешеход, велосипед, двухколесное транспортное средство и другое транспортное средство), расположенные около (например, в пределах 30 метров) рассматриваемого транспортного средства. Вместо этого, инфракрасный датчик, ультразвуковой датчик и т.п. могут использоваться в качестве датчика 10 окружения, либо их комбинация может составлять датчик 10 окружения. Дополнительно, датчик 10 окружения может быть сконфигурирован с включением в себя таких камер, как камера 20 переднего вида и камера 23 заднего вида, которые описываются ниже, или с включением в себя другой камеры. Кроме того, датчик 10 окружения может быть сконфигурирован с включением в себя приемного GPS-устройства. Датчик 10 окружения может передавать информацию относительно позиции рассматриваемого транспортного средства, принимаемую с помощью приемного GPS-устройства, в облако и принимать картографическую информацию около рассматриваемого транспортного средства из облака. Датчик 10 окружения выводит обнаруженную информацию окружения в контроллер 40. Помимо этого, датчик 10 окружения не обязательно должен предоставляться в рассматриваемом транспортном средстве, и данные, обнаруженные посредством датчика, установленного за пределами транспортного средства, могут получаться через беспроводную связь. Другими словами, датчик 10 окружения может обнаруживать окружение, окружающее рассматриваемое транспортное средство, через беспроводную связь с другими транспортными средствами (связь между транспортными средствами) или беспроводную связь с помехами и перекрестками (связь между транспортным средством и инфраструктурой).
[0012] Камера 20 переднего вида, правая камера 21, левая камера 22 и камера 23 заднего вида представляют собой камеру, имеющую элемент захвата изображений, такую как прибор с зарядовой связью (CCD) или комплементарная структура "металл-оксид-полупроводник" (CMOS). Ниже, четыре камеры, а именно, камера 20 переднего вида, правая камера 21, левая камера 22 и камера 23 заднего вида, совместно упоминаются как "камеры 20-23 транспортного средства". Камеры 20-23 транспортного средства получают информацию окрестностей относительно рассматриваемого транспортного средства посредством захвата изображений передней стороны, правой стороны, левой стороны и задней стороны рассматриваемого транспортного средства, соответственно, и выводят полученную информацию окрестностей в контроллер 40.
[0013] Контроллер 40 представляет собой схему, которая обрабатывает информацию, полученную из датчика 10 окружения и камер 20-23 транспортного средства, и сконфигурирована, например, с помощью IC, LSI и т.п. Контроллер 40, при функциональном рассмотрении, может классифицироваться на модуль 41 создания виртуальных изображений, модуль 42 определения окружения вождения, модуль 43 идентификации требующих внимания диапазонов, модуль 44 хранения, модуль 45 создания снятых камерой изображений и модуль 46 синтеза.
[0014] Модуль 41 создания виртуальных изображений создает виртуальное изображение, представляющее окружающую ситуацию рассматриваемого транспортного средства, с использованием информации, полученной из датчика 10 окружения. В первом варианте осуществления, виртуальное изображение представляет собой компьютерное графическое изображение, полученное посредством трехмерной картографии, например, географической информации, информации помех, информации дорожных знаков и т.п., и отличается от снятого камерой изображения, которое описывается ниже. Модуль 41 создания виртуальных изображений выводит созданное виртуальное изображение в модуль 46 синтеза.
[0015] Модуль 42 определения окружения вождения определяет текущее окружение вождении с использованием информации, полученной из датчика 10 окружения. Примеры окружений вождения, определенных посредством модуля 42 определения окружения вождения, включают в себя регулярное окружение движения, окружение парковки, окружение, в котором рассматриваемое транспортное средство въезжает в поток на скоростной автомагистрали, и окружение, в котором рассматриваемое транспортное средство въезжает на перекресток. Модуль 42 определения окружения вождения выводит определенное окружение вождении в модуль 43 идентификации требующих внимания диапазонов.
[0016] На основе окружения вождения, определенного посредством модуля 42 определения окружения вождения, модуль 43 идентификации требующих внимания диапазонов идентифицирует область, на которую должен обращать внимание человек, занимающий место в транспортном средстве, (в дальнейшем называемую "требующим внимания диапазоном"). Более конкретно, модуль 43 идентификации требующих внимания диапазонов идентифицирует требующий внимания диапазон с использованием базы данных, сохраненной в модуле 44 хранения. Хотя далее приводится описание требующего внимания диапазона, требующий внимания диапазон, в окружении парковки рядом, например, представляет собой область от окрестности заднего колеса на внутренней стороне поворота, до задней части рассматриваемого транспортного средства, до передней части рассматриваемого транспортного средства на правой стороне, и в окружении параллельной парковки, представляет собой область около рассматриваемого транспортного средства, включающую в себя его передние и задние колеса. В модуле 44 хранения, требующие внимания диапазоны согласно окружениям вождении сохраняются заранее. Модуль 43 идентификации требующих внимания диапазонов выводит идентифицированный требующий внимания диапазон в модуль 45 создания снятых камерой изображений и модуль 46 синтеза.
[0017] С использованием информации, полученной из камер 20-23 транспортного средства, модуль 45 создания снятых камерой изображений создает снятое камерой изображение (захваченное изображение) требующего внимания диапазона, идентифицированного посредством модуля 43 идентификации требующих внимания диапазонов. Модуль 45 создания снятых камерой изображений выводит созданное снятое камерой изображение в модуль 46 синтеза. Хотя камеры транспортного средства используются для захваченного изображения в настоящем варианте осуществления, камеры транспортного средства не ограничены конкретными типами и могут быть любыми камерами, к примеру, камеры для цветной съемки, камеры для черно-белой съемки, камеры для съемки в инфракрасном диапазоне или радиокамеры.
[0018] Модуль 46 синтеза заменяет требующий внимания диапазон в виртуальном изображении на снятое камерой изображение. Модуль 46 синтеза затем выводит такое синтезированное изображение на дисплей 50.
[0019] Дисплей 50 представляет собой, например, жидкокристаллический дисплей, установленный в приборной панели, или жидкокристаллический дисплей, используемый в автомобильном навигационном устройстве, и представляет различные части информации человеку, занимающему место в транспортном средстве.
[0020] Далее, со ссылкой на фиг. 2-5, описываются примеры синтеза снятых камерой изображений для различных окружений вождения.
[0021] Окружение вождении, проиллюстрированное на фиг. 2(a), представляет собой окружение, в котором рассматриваемое транспортное средство M1 паркуется рядом между другим транспортным средством M2 и другим транспортным средством M3. Требующий внимания диапазон для случая парковки рядом, как указано посредством области R, представляет собой область от окрестности заднего колеса на внутренней стороне поворота, до задней части рассматриваемого транспортного средства, до передней части рассматриваемого транспортного средства на правой стороне и представляет собой диапазон, в котором может двигаться рассматриваемое транспортное средство M1. Модуль 43 идентификации требующих внимания диапазонов идентифицирует область R в качестве требующего внимания диапазона, и модуль 45 создания снятых камерой изображений создает снятое камерой изображение области R. Затем модуль 46 синтеза заменяет область R в виртуальном изображении P на снятое камерой изображение. В силу этого, дисплей 50 отображает область R, на которую должен обращать внимание человек, занимающий место в транспортном средстве, со снятым камерой изображением, т.е. фактическим захваченным изображением. Таким образом, человек, занимающий место в транспортном средстве, может информироваться в отношении подробной информации относительно области R.
[0022] Далее, со ссылкой на фиг. 2(b), приводится описание окружения вождения, в котором рассматриваемое транспортное средство M1 выполняет параллельную парковку между другим транспортным средством M2 и другим транспортным средством M3. Требующий внимания диапазон для случая параллельной парковки, как указано посредством области R, представляет собой область около транспортного средства, включающую в себя его передние и задние колеса. Модуль 43 идентификации требующих внимания диапазонов идентифицирует область R в качестве требующего внимания диапазона, и модуль 45 создания снятых камерой изображений создает снятое камерой изображение области R. Следующая обработка является идентичной обработке, описанной в связи фиг. 2(a), и в силу этого не описывается здесь.
[0023] Далее, со ссылкой на фиг. 3(a), приводится описание окружения вождения, в котором рассматриваемое транспортное средство M1 отклоняется влево, чтобы предотвращать столкновение с другим транспортным средством M2 при движении по узкой дороге. Требующий внимания диапазон для случая отклонения влево на узкой дороге, как указано посредством области R, представляет собой область, охватывающую переднюю часть и левую сторону рассматриваемого транспортного средства. Модуль 43 идентификации требующих внимания диапазонов идентифицирует область R в качестве требующего внимания диапазона, и модуль 45 создания снятых камерой изображений создает снятое камерой изображение области R. Следующая обработка является идентичной обработке, описанной в связи фиг. 2(a), и в силу этого не описывается здесь. Помимо этого, модуль 43 идентификации требующих внимания диапазонов может идентифицировать, в качестве требующего внимания диапазона, область, в которой рассматриваемое транспортное средство M1 вплотную приближается к другому транспортному средству M2 при проезде мимо другого транспортного средства M2.
[0024] Далее, со ссылкой на фиг. 3(b), приводится описание окружения движения по букве S, в котором рассматриваемое транспортное средство M1, движущееся по узкой дороге, объезжает припаркованное другое транспортное средство M3. Требующий внимания диапазон для случая движения по букве S на узкой дороге, как указано посредством области R, представляет собой область, охватывающую левую и правую стороны другого транспортного средства M3 и переднюю часть рассматриваемого транспортного средства, включающую в себя позиции, в которых шины касаются земли. Следует отметить, что область R может включать в себя встречное другое транспортное средство M2. Дополнительно, модуль 43 идентификации требующих внимания диапазонов может задавать, в качестве требующего внимания диапазона, область, в которой движется встречное транспортное средство, в пределах области, в которой движется рассматриваемое транспортное средство M1, чтобы объезжать припаркованное транспортное средство. Модуль 43 идентификации требующих внимания диапазонов идентифицирует область R в качестве требующего внимания диапазона, и модуль 45 создания снятых камерой изображений создает снятое камерой изображение области R. Следующая обработка является идентичной обработке, описанной в связи фиг. 2(a), и в силу этого не описывается здесь.
[0025] Далее, со ссылкой на фиг. 3(c), приводится описание окружения вождения, в котором рассматриваемое транспортное средство M1, движущееся по узкой дороге, проезжает самое узкое место (в дальнейшем называемое "самой узкой частью") вследствие присутствия телефонного столба T и т.п. Требующий внимания диапазон для случая проезда самой узкой части, как указано с помощью области R, представляет собой область, охватывающую переднюю часть транспортного средства, включающую в себя ширину самой узкой части (ширину дороги между другим транспортным средством M2 и телефонным столбом T). Модуль 43 идентификации требующих внимания диапазонов идентифицирует область R в качестве требующего внимания диапазона, и модуль 45 создания снятых камерой изображений создает снятое камерой изображение области R. Следующая обработка является идентичной обработке, описанной в связи фиг. 2(a), и в силу этого не описывается здесь.
[0026] Далее, со ссылкой на фиг. 4(a), приводится описание окружения вождения, в котором рассматриваемое транспортное средство M1 въезжает в поток на скоростной автомагистрали с другим транспортным средством M2 позади. Требующий внимания диапазон для такого окружения вождения, как указано с помощью области R, представляет собой область от правой стороны рассматриваемого транспортного средства до области позади него. Модуль 43 идентификации требующих внимания диапазонов идентифицирует область R в качестве требующего внимания диапазона, и модуль 45 создания снятых камерой изображений создает снятое камерой изображение области R. Следующая обработка является идентичной обработке, описанной в связи фиг. 2(a), и в силу этого не описывается здесь. Следует отметить, что требующий внимания диапазон для окружения вождения, проиллюстрированного на фиг. 4(a) может представлять собой диапазон, отражаемый в правом боковом зеркале рассматриваемого транспортного средства.
[0027] Далее, со ссылкой на фиг. 4(b), приводится описание окружения вождения, в котором рассматриваемое транспортное средство M1 въезжает в поток на скоростной автомагистрали с другим транспортным средством M3 впереди. Требующий внимания диапазон для такого окружения вождения, как указано с помощью области R, представляет собой область впереди с правой стороны рассматриваемого транспортного средства. Модуль 43 идентификации требующих внимания диапазонов идентифицирует область R в качестве требующего внимания диапазона, и модуль 45 создания снятых камерой изображений создает снятое камерой изображение области R. Следующая обработка является идентичной обработке, описанной в связи фиг. 2(a), и в силу этого не описывается здесь.
[0028] Далее, со ссылкой на фиг. 4(c), приводится описание окружения вождения, в котором рассматриваемое транспортное средство M1 въезжает в поток на скоростной автомагистрали с другим транспортным средством M2 позади и другим транспортным средством M3 впереди. Требующий внимания диапазон для такого окружения вождения, как указано с помощью области R, представляет собой область впереди и позади с правой стороны рассматриваемого транспортного средства. Модуль 43 идентификации требующих внимания диапазонов идентифицирует область R в качестве требующего внимания диапазона, и модуль 45 создания снятых камерой изображений создает снятое камерой изображение области R. Следующая обработка является идентичной обработке, описанной в связи фиг. 2(a), и в силу этого не описывается здесь.
[0029] Далее, со ссылкой на фиг. 5, приводится описание окружения вождения, в котором рассматриваемое транспортное средство M1 поворачивает налево на перекрестке. Требующий внимания диапазон для случая поворота налево на перекрестке, как указано с помощью области R, представляет собой область всего перекрестка, включающую в себя направление движения (направление левого поворота) рассматриваемого транспортного средства M1. Модуль 43 идентификации требующих внимания диапазонов идентифицирует область R в качестве требующего внимания диапазона, и модуль 45 создания снятых камерой изображений создает снятое камерой изображение области R. Следующая обработка является идентичной обработке, описанной в связи фиг. 2(a), и в силу этого не описывается здесь.
[0030] Далее описывается примерная работа оборудования 1 отображения окрестностей мобильного тела со ссылкой на блок-схему последовательности операций способа на фиг. 6. Эта блок-схема последовательности операций способа инициируется, когда, например, включается переключатель зажигания.
[0031] На этапе S101, датчик 10 окружения и камеры 20-23 транспортного средства получают информацию относительно окрестностей рассматриваемого транспортного средства.
[0032] На этапе S102, модуль 41 создания виртуальных изображений создает виртуальное изображение с использованием информации относительно окрестностей рассматриваемого транспортного средства.
[0033] На этапе S103, модуль 42 определения окружения вождения определяет окружение вождении с использованием информации относительно окрестностей рассматриваемого транспортного средства.
[0034] На этапе S104, на основе окружения вождения, определенного посредством модуля 42 определения окружения вождения, модуль 43 идентификации требующих внимания диапазонов идентифицирует требующий внимания диапазон с использованием базы данных в модуле 44 хранения.
[0035] На этапе S105, модуль 45 создания снятых камерой изображений создает снятое камерой изображение требующего внимания диапазона, идентифицированного посредством модуля 43 идентификации требующих внимания диапазонов.
[0036] На этапе S106, модуль 46 синтеза заменяет требующий внимания диапазон в виртуальном изображении на снятое камерой изображение.
[0037] На этапе S107, контроллер 40 отображает синтезированное изображение, синтезированное посредством модуля 46 синтеза, на дисплее 50.
[0038] Оборудование 1 отображения окрестностей мобильного тела согласно первому варианту осуществления, как описано выше, может формировать следующие преимущества.
[0039] Оборудование 1 отображения окрестностей мобильного тела сначала создает виртуальное изображение с использованием информации относительно окрестностей рассматриваемого транспортного средства. Затем, оборудование 1 отображения окрестностей мобильного тела идентифицирует требующий внимания диапазон на основе окружения вождения и создает снятое камерой изображение идентифицированного требующего внимания диапазона. После этого, оборудование 1 отображения окрестностей мобильного тела заменяет требующий внимания диапазон в виртуальном изображении на снятое камерой изображение и отображает такое синтезированное изображение на дисплее 50. В силу этого, человек, занимающий место в транспортном средстве, может информироваться в отношении подробной информации относительно требующего внимания диапазона.
[0040] Ранее, оборудование 1 отображения окрестностей мобильного тела описывается в качестве оборудования, главным образом используемого для транспортного средства с поддержкой автономного вождения с возможностями автономного вождения. Когда множество частей информации предоставляются человеку, занимающему место в транспортном средстве, во время автономного вождения, человек, занимающий место в транспортном средстве, может считать их беспокоящими. Тем не менее, оборудование 1 отображения окрестностей мобильного тела отображает виртуальное изображение за исключением требующего внимания диапазона и в силу этого может уменьшать объем информации, предоставляемой человеку, занимающему место в транспортном средстве. Таким образом, оборудование 1 отображения окрестностей мобильного тела может беспокоить человека, занимающего место в транспортном средстве, в меньшей степени. Посредством такого отображения требующего внимания диапазона со снятым камерой изображением и отображения области, отличной от требующего внимания диапазона, с виртуальным изображением, оборудование 1 отображения окрестностей мобильного тела может предоставлять подробную информацию человеку, занимающему место в транспортном средстве, для области, на которую должен обращать внимание человек, занимающий место в транспортном средстве, (требующего внимания диапазона), и уменьшать чрезмерную информацию для области, отличной от требующего внимания диапазона. В силу этого, человек, занимающий место в транспортном средстве, может корректно получать только необходимую информацию.
[0041] Как проиллюстрировано на фиг. 2-5, требующие внимания диапазоны представляют собой такие места на дороге, как точка въезда в поток на скоростной автомагистрали, в которой транспортное средство и транспортное средство движутся с пересечением друг друга, и перекресток, на котором транспортное средство и человек движутся с пересечением друг друга. Человек, занимающий место в транспортном средстве, должен быть внимательным в таких местах. Поскольку оборудование 1 отображения окрестностей мобильного тела заменяет требующий внимания диапазон в виртуальном изображении на снятое камерой изображение и отображает такое синтезированное изображение, человек, занимающий место в транспортном средстве, может информироваться в отношении подробной информации относительно требующего внимания диапазона.
[0042] Второй вариант осуществления
Далее, со ссылкой на фиг. 7, приводится описание оборудования 2 отображения окрестностей мобильного тела согласно второму варианту осуществления настоящего изобретения. Как проиллюстрировано на фиг. 7, второй вариант осуществления отличаются от первого варианта осуществления тем, что оборудование 2 отображения окрестностей мобильного тела включает в себя датчик 60 объектов и модуль 47 идентификации требующих внимания объектов и не включает в себя модуль 42 определения окружения вождения, модуль 43 идентификации требующих внимания диапазонов и модуль 44 хранения. Составляющие, идентичные составляющим в первом варианте осуществления, обозначаются посредством ссылок с номерами, идентичных ссылкам с номерами, используемым в первом варианте осуществления, и не описываются здесь. Ниже поясняются главным образом отличающиеся аспекты.
[0043] Датчик 60 объектов представляет собой датчик обнаружения объектов, который обнаруживает объект, присутствующий около рассматриваемого транспортного средства, и обнаруживает объект, присутствующий на периферии дороги, по которой движется рассматриваемое транспортное средство. Например, радарный датчик может использоваться в качестве датчика 60 объектов. Примеры объектов, обнаруженных посредством датчика 60 объектов, включают в себя мобильные тела, такие как другое транспортное средство, мотоцикл, пешеход и велосипед, светофоры и дорожные знаки. Следует отметить, что датчик 60 объектов может представлять собой датчик, отличный от радарного датчика, и может представлять собой датчик распознавания изображений с использованием изображения, захваченного посредством камеры. Кроме того, лазерный датчик, ультразвуковой датчик и т.п. могут использоваться в качестве датчика 60 объектов. Датчик 60 объектов выводит информацию относительно обнаруженных объектов в модуль 47 идентификации требующих внимания объектов.
[0044] Модуль 47 идентификации требующих внимания объектов идентифицирует, из числа объектов, обнаруженных посредством датчика 60 объектов, объект, на который должен обращать внимание человек, занимающий место в транспортном средстве, (в дальнейшем называемый "требующим внимания объектом"). Примеры требующего внимания объекта включают в себя другое транспортное средство, мотоцикл, пешехода, велосипед, животное (такое как собака или кошка), телефонный столб, рекламный модуль, светофор, дорожный знак и упавший объект на дороге. Модуль 47 идентификации требующих внимания объектов выводит идентифицированный требующий внимания объект в модуль 45 создания снятых камерой изображений и модуль 46 синтеза.
[0045] Далее, со ссылкой на фиг. 8, описывается пример синтеза снятых камерой изображений. Как проиллюстрировано на фиг. 8, в виртуальном изображении P, пешеход W показан как символ. В этом случае, информация, такая как атрибут пешехода P (то, представляет собой пешеход P пожилого человека или ребенка либо нет) и направление взгляда пешехода P, может быть потеряна. Таким образом, модуль 47 идентификации требующих внимания объектов идентифицирует пешехода W, обнаруженного посредством датчика 60 объектов, в качестве требующего внимания объекта, и модуль 45 создания снятых камерой изображений создает снятое камерой изображение идентифицированного пешехода W, как проиллюстрировано на фиг. 8. Затем модуль 46 синтеза заменяет пешехода W в виртуальном изображении P на снятое камерой изображение. В силу этого, дисплей 50 отображает пешехода W, на которого должен обращать внимание человек, занимающий место в транспортном средстве, с использованием снятого камерой изображения, т.е. фактического захваченного изображения. В силу этого, человек, занимающий место в транспортном средстве, может информироваться в отношении подробной информации относительно пешехода W. Следует отметить, что снятое камерой изображение созданного требующего внимания объекта может представлять собой снятое камерой изображение области, включающей в себя пешехода W, как проиллюстрировано на фиг. 8, или снятое камерой изображение, исключающее пешехода W вдоль контура.
[0046] Далее, со ссылкой на фиг. 9-10, приводится описание примеров синтеза снятых камерой изображений для различных окружений вождения.
[0047] Как проиллюстрировано на фиг. 9, когда датчик 60 объектов обнаруживает другое транспортное средство M2, в то время как рассматриваемое транспортное средство M1 движется по узкой дороге, модуль 47 идентификации требующих внимания объектов идентифицирует другое транспортное средство M2 в качестве требующего внимания объекта, и модуль 45 создания снятых камерой изображений создает снятое камерой изображение другого транспортного средства M2. Следующая обработка является идентичной обработке, описанной в связи фиг. 8, и в силу этого не описывается здесь.
[0048] Далее, со ссылкой на фиг. 10, приводится описание ситуации, когда рассматриваемое транспортное средство M1 въезжает на T-образный перекресток. Когда датчик 60 объектов обнаруживает другие транспортные средства M2 и M3, пешехода W, велосипеды B1-B3 и дорожный знак L, модуль 47 идентификации требующих внимания объектов идентифицирует эти объекты в качестве требующих внимания объектов, и модуль 45 создания снятых камерой изображений создает снятые камерой изображения этих объектов. Следующая обработка является идентичной обработке, описанной в связи фиг. 8, и в силу этого не описывается здесь.
[0049] Далее, со ссылкой на блок-схему последовательности операций способа на фиг. 11, описывается примерная работа оборудования 2 отображения окрестностей мобильного тела. Эта блок-схема последовательности операций способа инициируется, когда, например, включается переключатель зажигания.
[0050] На этапе S201, датчик 10 окружения и датчик 60 объектов получают информацию относительно окрестностей рассматриваемого транспортного средства.
[0051] На этапе S202, модуль 41 создания виртуальных изображений создает виртуальное изображение с использованием информации относительно окрестностей рассматриваемого транспортного средства.
[0052] На этапе S203, модуль 47 идентификации требующих внимания объектов идентифицирует требующий внимания объект около рассматриваемого транспортного средства.
[0053] На этапе S204, модуль 45 создания снятых камерой изображений создает снятое камерой изображение требующего внимания объекта, идентифицированного посредством модуля 47 идентификации требующих внимания объектов.
[0054] На этапе S205, модуль 46 синтеза заменяет требующий внимания объект в виртуальном изображении на снятое камерой изображение.
[0055] На этапе S206, контроллер 40 отображает синтезированное изображение, синтезированное посредством модуля 46 синтеза, на дисплее 50.
[0056] Оборудование 2 отображения окрестностей мобильного тела согласно второму варианту осуществления, как описано выше, формирует следующие преимущества.
[0057] Оборудование 2 отображения окрестностей мобильного тела сначала создает виртуальное изображение с использованием информации относительно окрестностей рассматриваемого транспортного средства. Затем, оборудование 2 отображения окрестностей мобильного тела идентифицирует требующий внимания объект и создает снятое камерой изображение идентифицированного требующего внимания объекта. После этого, оборудование 2 отображения окрестностей мобильного тела заменяет требующий внимания объект в виртуальном изображении на снятое камерой изображение и отображает такое синтезированное изображение на дисплее 50. В силу этого, человек, занимающий место в транспортном средстве, может информироваться в отношении подробной информации относительно требующего внимания объекта.
[0058] В виртуальном изображении, информация относительно требующего внимания объекта может быть потеряна. Например, если человек показан как символ, информация, такая как атрибут этого человека (то, представляет собой человек пожилого человека или ребенка либо нет) и направление взгляда человека, может быть потеряна. Дополнительно, если транспортное средство показано как символ, информация, такая как размер, форма и цвет транспортного средства, может быть потеряна. Тем не менее, оборудование 2 отображения окрестностей мобильного тела отображает требующий внимания объект в виртуальном изображении после замены его на снятое камерой изображение и в силу этого может компенсировать потери информации, которые могут вызываться посредством виртуализации изображения. В силу этого, человек, занимающий место в транспортном средстве, с большей вероятностью имеет возможность прогнозировать движение требующего внимания объекта.
[0059] Помимо этого, оборудование 2 отображения окрестностей мобильного тела может информировать человека, занимающего место в транспортном средстве, с подробной информацией относительно требующего внимания объекта, такого как пешеход, животное, велосипед, транспортное средство или дорожный знак, посредством отображения требующего внимания объекта после замены требующего внимания объекта на снятое камерой изображение.
[0060] Третий вариант осуществления
Далее, со ссылкой на фиг. 12, приводится описание оборудования 3 отображения окрестностей мобильного тела согласно третьему варианту осуществления настоящего изобретения. Третий вариант осуществления отличается от первого варианта осуществления тем, что оборудование 3 отображения окрестностей мобильного тела включает в себя датчик 60 объектов, модуль 47 идентификации требующих внимания объектов и модуль 48 идентификации подсвеченных участков. Составляющие, идентичные составляющим в первом варианте осуществления, обозначаются посредством ссылок с номерами, идентичных ссылкам с номерами, используемым в первом варианте осуществления, и не описываются ниже. Ниже поясняются главным образом отличающиеся аспекты. Следует отметить, что датчик 60 объектов и модуль 47 идентификации требующих внимания объектов являются идентичными модулям, описанным во втором варианте осуществления, и в силу этого не описываются ниже.
[0061] Модуль 48 идентификации подсвеченных участков идентифицирует подсвеченный участок, на который должен обращать внимание человек, занимающий место в транспортном средстве. В частности, когда требующий внимания объект, идентифицированный посредством модуля 47 идентификации требующих внимания объектов, расположен в пределах требующего внимания диапазона, идентифицированного посредством модуля 43 идентификации требующих внимания диапазонов, модуль 48 идентификации подсвеченных участков идентифицирует этот требующий внимания объект в качестве подсвеченного участка. Модуль 48 идентификации подсвеченных участков выводит идентифицированный подсвеченный участок в модуль 45 создания снятых камерой изображений и модуль 46 синтеза.
[0062] Далее, со ссылкой на фиг. 13-15, описываются примеры синтеза снятых камерой изображений для различных окружений вождения.
[0063] Во-первых, со ссылкой на фиг. 13, приводится описание окружения вождения, в котором рассматриваемое транспортное средство M1 въезжает на T-образный перекресток. Требующий внимания диапазон для случая T-образного перекрестка, как указано посредством области R, представляет собой область около рассматриваемого транспортного средства, включающую в себя диапазон левой и правой сторон центра T-образного перекрестка. Модуль 43 идентификации требующих внимания диапазонов идентифицирует область R в качестве требующего внимания диапазона. Затем, модуль 47 идентификации требующих внимания объектов идентифицирует другие транспортные средства M2 и M3, пешехода W, велосипеды B1-B3 и дорожный знак L, обнаруженные посредством датчика 60 объектов, в качестве требующих внимания объектов. Затем, из требующих внимания объектов, идентифицированных посредством модуля 47 идентификации требующих внимания объектов, модуль 48 идентификации подсвеченных участков идентифицирует требующий внимания объект, расположенный в пределах диапазона R, в качестве подсвеченного участка. В примере, проиллюстрированном на фиг. 13, модуль 48 идентификации подсвеченных участков идентифицирует пешехода W, велосипеды B1-B3 и дорожный знак L в качестве подсвеченных участков. Затем, модуль 45 создания снятых камерой изображений создает снятые камерой изображения пешехода W, велосипедов B1-B3 и дорожного знака L, идентифицированные в качестве подсвеченных участков. Затем модуль 46 синтеза заменяет пешехода W, велосипеды B1-B3 и дорожный знак L в виртуальном изображении P на снятые камерой изображения. В силу этого, дисплей 50 отображает пешехода W, велосипеды B1-B3 и дорожный знак L посредством использования снятых камерой изображений, т.е. фактических захваченных изображений. Это обеспечивает возможность информирования человека, занимающего место в транспортном средстве, в отношении подробной информации относительно пешехода W, велосипедов B1-B3 и дорожного знака L. Следует отметить, что в примере, проиллюстрированном на фиг. 13, требующий внимания объект, который частично расположен в пределах области R, такой как велосипеды B2 и B3, также идентифицируется в качестве подсвеченного участка, но только требующий внимания объект, который полностью расположен в пределах области R, может идентифицироваться в качестве подсвеченного участка. Дополнительно, модуль 43 идентификации требующих внимания диапазонов может идентифицировать требующий внимания диапазон в реальном времени, и требующие внимания диапазоны могут быть предварительно установлены на карте и т.п.
[0064] Дополнительно, модуль 48 идентификации подсвеченных участков не идентифицирует подсвеченный участок, когда требующий внимания объект не обнаруживается в пределах области R. Когда модуль 48 идентификации подсвеченных участков не идентифицирует подсвеченный участок, модуль 46 синтеза не заменяет область R в виртуальном изображении P на снятое камерой изображение.
Причина этого заключается в том, что когда требующий внимания объект, такой как другое транспортное средство или пешеход, не обнаруживается в области R, риск столкновения рассматриваемого транспортного средства является низким, и имеется низкая необходимость информирования человека, занимающего место в транспортном средстве, в отношении области R, которая заменена на снятое камерой изображение. Когда требующий внимания объект не обнаруживается в области R, оборудование 3 отображения окрестностей мобильного тела отображает только виртуальное изображение P и в силу этого может уменьшать объем информации, предоставляемой человеку, занимающему место в транспортном средстве. Следовательно, оборудование 3 отображения окрестностей мобильного тела может беспокоить человека, занимающего место в транспортном средстве, в меньшей степени. Следует отметить, что датчик 60 объектов может обнаруживать объект в пределах требующего внимания диапазона, идентифицированного посредством модуля 43 идентификации требующих внимания диапазонов. Такое ограничение диапазона, в котором следует обнаруживать объект, может уменьшать время, которое требуется для датчика 60 объектов, чтобы обнаруживать объект. В свою очередь, время, которое требуется для модуля 47 идентификации требующих внимания объектов, чтобы идентифицировать требующий внимания объект, также может уменьшаться. Помимо этого, ограничение диапазона, в котором следует обнаруживать объект, может приводить к снижению нагрузки по обработке на контроллер 40.
[0065] Далее, со ссылкой на фиг. 14, приводится описание окружения вождения, в котором рассматриваемое транспортное средство M1 поворачивает налево на перекрестке. Требующий внимания диапазон для случая поворота налево на перекрестке, как указано с помощью области R, представляет собой полную область перекрестка, включающую в себя направление движения (направление левого поворота) рассматриваемого транспортного средства M1. Модуль 43 идентификации требующих внимания диапазонов идентифицирует область R в качестве требующего внимания диапазона, и модуль 47 идентификации требующих внимания объектов идентифицирует другие транспортные средства M2-M4, велосипед B и светофор S в качестве требующих внимания объектов. Затем, из требующих внимания объектов, идентифицированных посредством модуля 47 идентификации требующих внимания объектов, модуль 48 идентификации подсвеченных участков идентифицирует требующий внимания объект, расположенный в пределах области R, в качестве подсвеченного участка. В примере, проиллюстрированном на фиг. 14, модуль 48 идентификации подсвеченных участков идентифицирует другие транспортные средства M2-M3, велосипед B и светофор S в качестве подсвеченных участков. Следующая обработка является идентичной обработке, описанной в связи фиг. 13, и в силу этого не описывается здесь. Следует отметить, что, как проиллюстрировано на фиг. 14, требующий внимания диапазон может задаваться с возможностью удовлетворять ситуации поворота налево. Когда требующий внимания диапазон и область за пределами требующего внимания диапазона в силу этого задаются согласно окружению движения, в данный момент осуществляемой операции вождения, операции вождения, предполагаемой для осуществления в будущем, и т.п., модуль 43 идентификации требующих внимания диапазонов может задавать требующий внимания диапазон, подходящий для окружения движения и операции вождения, и может делать менее вероятным то, что внимание обращается за пределы требующего внимания диапазона.
[0066] Далее, со ссылкой на фиг. 15, приводится описание окружения вождения, в котором рассматриваемое транспортное средство M1 поворачивает направо на перекрестке. Требующий внимания диапазон для случая поворота направо на перекрестке, как указано с помощью области R, представляет собой полную область перекрестка, включающую в себя направление движения (направление правого поворота) рассматриваемого транспортного средства M1 и исключающую правую сторону рассматриваемого транспортного средства. Модуль 43 идентификации требующих внимания диапазонов идентифицирует область R в качестве требующего внимания диапазона, и модуль 47 идентификации требующих внимания объектов идентифицирует другие транспортные средства M2-M4, пешехода W, велосипеды B1 и B2 и дорожные знаки L1 и L2 в качестве требующих внимания объектов. Затем, из требующих внимания объектов, идентифицированных посредством модуля 47 идентификации требующих внимания объектов, модуль 48 идентификации подсвеченных участков идентифицирует требующий внимания объект, расположенный в пределах области R, в качестве подсвеченного участка. В примере, проиллюстрированном на фиг. 15, модуль 48 идентификации подсвеченных участков идентифицирует другие транспортные средства M2-M4, пешехода W, велосипеды B1 и B2 и дорожные знаки L1 и L2 в качестве подсвеченных участков. Следующая обработка является идентичной обработке, описанной в связи фиг. 13, и в силу этого не описывается здесь. Дополнительно, как на фиг. 14, модуль 43 идентификации требующих внимания диапазонов может задавать требующий внимания диапазон с возможностью удовлетворять ситуации поворота направо, как проиллюстрировано на фиг. 15.
[0067] Далее, со ссылкой на блок-схему последовательности операций способа, проиллюстрированную на фиг. 16, приводится описание примерной работы оборудования 3 отображения окрестностей мобильного тела. Эта блок-схема последовательности операций способа инициируется, когда, например, включается переключатель зажигания.
[0068] На этапе S301, датчик 10 окружения, датчик 60 объектов и камеры 20-23 транспортного средства получают информацию относительно окрестностей рассматриваемого транспортного средства.
[0069] На этапе S302, модуль 41 создания виртуальных изображений создает виртуальное изображение с использованием информации относительно окрестностей рассматриваемого транспортного средства.
[0070] На этапе S303, модуль 42 определения окружения вождения определяет окружение вождении с использованием информации относительно окрестностей рассматриваемого транспортного средства.
[0071] На этапе S304, на основе окружения вождения, определенного посредством модуля 42 определения окружения вождения, модуль 43 идентификации требующих внимания диапазонов идентифицирует требующий внимания диапазон с использованием базы данных в модуле 44 хранения.
[0072] На этапе S305, модуль 47 идентификации требующих внимания объектов идентифицирует требующий внимания объект около рассматриваемого транспортного средства.
[0073] На этапе S306, модуль 48 идентификации подсвеченных участков определяет то, расположен или нет требующий внимания объект в пределах требующего внимания диапазона. Когда требующий внимания объект расположен в пределах требующего внимания диапазона ("Да" на этапе S306), модуль 48 идентификации подсвеченных участков идентифицирует требующий внимания объект, расположенный в пределах требующего внимания диапазона, и обработка переходит к этапу S307. Когда требующий внимания объект не расположен в пределах требующего внимания диапазона (Не на этапе S306), обработка переходит к этапу S310.
[0074] На этапе S307, модуль 45 создания снятых камерой изображений создает снятое камерой изображение требующего внимания объекта, идентифицированного посредством модуля 48 идентификации подсвеченных участков.
[0075] На этапе S308, модуль 46 синтеза заменяет требующий внимания объект в виртуальном изображении на снятое камерой изображение.
[0076] На этапе S309, контроллер 40 отображает синтезированное изображение, синтезированное посредством модуля 46 синтеза, на дисплее 50.
[0077] На этапе S310, контроллер 40 отображает виртуальное изображение на дисплее 50.
[0078] Оборудование 3 отображения окрестностей мобильного тела согласно третьему варианту осуществления, как описано выше, может формировать следующие преимущества.
[0079] Оборудование 3 отображения окрестностей мобильного тела сначала создает виртуальное изображение с использованием информации относительно окрестностей рассматриваемого транспортного средства. Затем, оборудование 3 отображения окрестностей мобильного тела идентифицирует требующий внимания диапазон на основе окружения вождения и идентифицирует требующий внимания объект в пределах требующего внимания диапазона. Оборудование 3 отображения окрестностей мобильного тела создает снятое камерой изображение требующего внимания объекта в пределах требующего внимания диапазона, заменяет требующий внимания объект в пределах требующего внимания диапазона в виртуальном изображении на снятое камерой изображение и отображает такое синтезированное изображение на дисплее 50. В силу этого, человек, занимающий место в транспортном средстве, может информироваться в отношении подробной информации относительно требующего внимания объекта.
[0080] Дополнительно, оборудование 3 отображения окрестностей мобильного тела отображает виртуальное изображение на дисплее 50 только тогда, когда требующий внимания объект не расположен в пределах требующего внимания диапазона. Таким образом, оборудование 3 отображения окрестностей мобильного тела может уменьшать объем информации, предоставляемой человеку, занимающему место в транспортном средстве. Оборудование 3 отображения окрестностей мобильного тела в силу этого может беспокоить человека, занимающего место в транспортном средстве, в меньшей степени.
[0081] Выше описаны варианты осуществления настоящего изобретения. Тем не менее, не следует понимать, что описания и чертежи, которые составляют часть раскрытия сущности, ограничивают настоящее изобретение. Из этого раскрытия сущности, различные альтернативные варианты осуществления, примеры и рабочие технологии должны становиться очевидными для специалистов в данной области техники.
[0082] В первом и втором вариантах осуществления, требующий внимания диапазон и требующий внимания объект, соответственно, заменяются на снятое камерой изображение. В третьем варианте осуществления, требующий внимания объект заменяется на снятое камерой изображение, если требующий внимания объект расположен в пределах требующего внимания диапазона. Требующий внимания диапазон и требующий внимания объект указывают диапазон, на который должен обращать внимание человек, занимающий место в транспортном средстве, и требующий внимания диапазон и требующий внимания объект могут совместно перефразироваться как требующий внимания диапазон. Помимо этого, как описано ниже, требующий внимания диапазон также может включать в себя область, уровень внимания которой равен или выше предварительно определенного значения.
[0083] В первом-третьем вариантах осуществления, требующий внимания диапазон заменяется на снятое камерой изображение, но настоящее изобретение не ограничено этим. Например, оборудование 1-3 отображения окрестностей мобильного тела может вычислять уровень внимания для рассматриваемого транспортного средства и выполнять замену согласно уровню вычисленного внимания. Уровень внимания для рассматриваемого транспортного средства может получаться на основе относительной скорости или относительного расстояния до рассматриваемого транспортного средства. Например, датчик 10 окружения и/или датчик 60 объектов могут иметь возможность обнаружения относительной скорости и относительного расстояния до рассматриваемого транспортного средства.
[0084] Например, оборудование 1-3 отображения окрестностей мобильного тела может вычислять и задавать уровень внимания таким образом, что чем выше относительная скорость относительно рассматриваемого транспортного средства, тем выше уровень внимания. Дополнительно, оборудование 1-3 отображения окрестностей мобильного тела может задавать уровень внимания таким образом, что чем короче относительное расстояние до рассматриваемого транспортного средства, тем выше уровень внимания.
[0085] Приводится конкретное описание способа отображения, который основан на уровне внимания. Оборудование 1-3 отображения окрестностей мобильного тела вычисляет уровень внимания объекта, расположенного около рассматриваемого транспортного средства, и когда уровень вычисленного внимания равен или выше предварительно определенного значения, создает снятое камерой изображение области, в которой расположен объект, заменяет эту область в виртуальном изображении на снятое камерой изображение и отображает такое синтезированное изображение. В силу этого, оборудование 1-3 отображения окрестностей мобильного тела может информировать человека, занимающего место в транспортном средстве, в отношении подробной информации относительно области, на которую должно обращаться внимание, без идентификации атрибута объекта (того, представляет собой объект человека или животное либо нет), и т.п. Следует отметить, что предварительно определенное значение может получаться заранее посредством эксперимента или моделирования.
[0086] Кроме того, оборудование 1-3 отображения окрестностей мобильного тела может разделять виртуальное изображение на множество частей, вычислять уровень внимания для каждой из областей, соответствующих соответствующим разделенным частям изображения, и заменять область, вычисленный уровень внимания которой равен или выше предварительно определенного значения, на снятое камерой изображение. Таким образом, оборудование 1-3 отображения окрестностей мобильного тела может уменьшать нагрузку для вычисления уровня внимания.
[0087] Хотя модуль 43 идентификации требующих внимания диапазонов идентифицирует требующий внимания диапазон с использованием базы данных, сохраненной в модуле 44 хранения, настоящее изобретение не ограничено этим. Например, модуль 43 идентификации требующих внимания диапазонов может передавать информацию относительно позиции рассматриваемого транспортного средства в облако и идентифицировать требующий внимания диапазон с использованием информации из облака, соответствующей информации относительно позиции рассматриваемого транспортного средства. Кроме того, модуль 43 идентификации требующих внимания диапазонов может идентифицировать требующий внимания диапазон с использованием информации, полученной из другого транспортного средства, через связь между транспортными средствами.
[0088] Хотя модуль 46 синтеза настоящих вариантов осуществления заменяет требующий внимания диапазон в виртуальном изображении на снятое камерой изображение, настоящее изобретение не обязательно ограничено этим. Модуль 46 синтеза может формировать снятое камерой изображение около рассматриваемого транспортного средства и заменять область, отличную от требующего внимания диапазона, на виртуальное изображение. Другими словами, любой подход может реализовываться при условии, что требующий внимания диапазон отображается посредством использования снятого камерой изображения.
[0089] Следует отметить, что каждая функция вышеприведенных вариантов осуществления может реализовываться посредством одной или множества схем обработки. Схема обработки включает в себя программируемое обрабатывающее устройство, к примеру, обрабатывающее устройство, включающее в себя электрическую схему. Схема обработки включает в себя такое устройство, как специализированная интегральная схема (ASIC), адаптированная с возможностью выполнять функции, описанные в вариантах осуществления, или традиционный схемный компонент.
Список ссылочных обозначений
[0090] 10 - датчик окружения
20 - камера переднего вида
21 - правая камера
22 - левая камера
23 - камера заднего вида
40 - контроллер
41 - модуль создания виртуальных изображений
42 - модуль определения окружения вождения
43 - модуль идентификации требующих внимания диапазонов
44 - модуль хранения
45 - модуль создания снятых камерой изображений
46 - модуль синтеза
47 - модуль идентификации требующих внимания объектов
48 - модуль идентификации подсвеченных участков
50 - дисплей
60 - датчик объектов

Claims (23)

1. Способ отображения окрестностей мобильного тела, осуществляемый посредством оборудования отображения окрестностей мобильного тела, включающего в себя элемент захвата изображений, который монтируется на мобильном теле и получает информацию окрестностей посредством захвата изображений, контроллер, который создает захваченное изображение с использованием информации окрестностей и виртуального изображения, представляющего ситуацию около мобильного тела, и дисплей, который отображает виртуальное изображение, при этом способ содержит этапы, на которых:
разделяют виртуальное изображение около мобильного тела на множество частей, вычисляют уровень внимания для каждой из областей, соответствующих разделенным частям виртуального изображения, и обнаруживают область, уровень внимания которой равен или выше предварительно определенного значения, в качестве требующего внимания диапазона;
создают захваченное изображение требующего внимания диапазона; и
отображают требующий внимания диапазон посредством использования захваченного изображения,
причём виртуальное изображение отличается от захваченного изображения, и
отображают захваченное изображение на виртуальном изображении.
2. Способ отображения окрестностей мобильного тела по п. 1, в котором требующий внимания диапазон представляет собой область на дороге, по которой транспортное средство и транспортное средство или транспортное средство и человек движутся с пересечением друг друга.
3. Способ отображения окрестностей мобильного тела по п. 1 или 2, содержащий этапы, на которых:
обнаруживают требующий внимания объект около мобильного тела;
при обнаружении требующего внимания объекта, обнаруживают область, включающую в себя требующий внимания объект, в качестве требующего внимания диапазона; и
отображают требующий внимания диапазон посредством использования захваченного изображения.
4. Способ отображения окрестностей мобильного тела по п. 1 или 2, содержащий этапы, на которых:
обнаруживают требующий внимания объект около мобильного тела в пределах требующего внимания диапазона;
при обнаружении требующего внимания объекта в пределах требующего внимания диапазона, обнаруживают область, включающую в себя требующий внимания объект, в качестве подсвеченного участка; и
отображают подсвеченный участок посредством использования захваченного изображения.
5. Способ отображения окрестностей мобильного тела по п. 3, в котором требующий внимания объект представляет собой пешехода, животное, велосипед, транспортное средство или дорожный знак, расположенный около мобильного тела.
6. Оборудование отображения окрестностей мобильного тела, содержащее:
элемент захвата изображений, который монтируется на мобильном теле и получает информацию окрестностей посредством захвата изображений;
контроллер, который создает захваченное изображение с использованием информации окрестностей и виртуального изображения, представляющего ситуацию около мобильного тела; и
дисплей, который отображает виртуальное изображение, при этом
контроллер разделяет виртуальное изображение около мобильного тела на множество частей, вычисляет уровень внимания для каждой из областей, соответствующих разделенным частям виртуального изображения, обнаруживает область, уровень внимания которой равен или выше предварительно определенного значения, в качестве требующего внимания диапазона, создает захваченное изображение обнаруженного требующего внимания диапазона и отображает захваченное изображение требующего внимания диапазона на дисплее,
причем виртуальное изображение отличается от захваченного изображения, и
контроллер отображает захваченное изображение на виртуальном изображении.
RU2018139676A 2016-04-14 2016-04-14 Способ и оборудование отображения окрестностей мобильного тела RU2715876C1 (ru)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/062014 WO2017179174A1 (ja) 2016-04-14 2016-04-14 移動体周囲表示方法及び移動体周囲表示装置

Publications (1)

Publication Number Publication Date
RU2715876C1 true RU2715876C1 (ru) 2020-03-03

Family

ID=60042543

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018139676A RU2715876C1 (ru) 2016-04-14 2016-04-14 Способ и оборудование отображения окрестностей мобильного тела

Country Status (10)

Country Link
US (1) US10864856B2 (ru)
EP (1) EP3444145A4 (ru)
JP (1) JP6555413B2 (ru)
KR (1) KR102023863B1 (ru)
CN (1) CN109070799B (ru)
BR (1) BR112018071020B1 (ru)
CA (1) CA3020813C (ru)
MX (1) MX367700B (ru)
RU (1) RU2715876C1 (ru)
WO (1) WO2017179174A1 (ru)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7195200B2 (ja) * 2019-03-28 2022-12-23 株式会社デンソーテン 車載装置、車載システムおよび周辺監視方法
US11554668B2 (en) * 2019-06-25 2023-01-17 Hyundai Mobis Co., Ltd. Control system and method using in-vehicle gesture input
WO2022190970A1 (ja) * 2021-03-08 2022-09-15 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び、情報処理システム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1725035A1 (en) * 2005-05-20 2006-11-22 Nissan Motor Co., Ltd. Image display apparatus and method for a vehicle
JP2007329793A (ja) * 2006-06-09 2007-12-20 Nissan Motor Co Ltd 車両用監視装置
WO2011135778A1 (ja) * 2010-04-26 2011-11-03 パナソニック株式会社 画像処理装置、カーナビゲーションシステム、及び路上カメラシステム
RU2444059C2 (ru) * 2005-06-30 2012-02-27 Эй-Джи-Си Флэт Гласс Норт Америкэ, Инк. Интегральное устройство и способ восприятия образов
JP2012176748A (ja) * 2011-02-02 2012-09-13 Nissan Motor Co Ltd 駐車支援装置
US20120287277A1 (en) * 2011-05-13 2012-11-15 Koehrsen Craig L Machine display system
EP2555519A1 (en) * 2010-03-26 2013-02-06 Aisin Seiki Kabushiki Kaisha Vehicle periphery monitoring device
US20150070157A1 (en) * 2013-09-11 2015-03-12 Honda Motor Co., Ltd. Vehicle display apparatus
EP2911041A1 (en) * 2014-02-18 2015-08-26 Harman International Industries, Inc. Generating an augmented view of a location of interest

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06278531A (ja) 1993-03-25 1994-10-04 Honda Motor Co Ltd 車両用視認補助装置
JP4334686B2 (ja) 1999-07-07 2009-09-30 本田技研工業株式会社 車両の画像表示装置
EP2153377A4 (en) * 2007-05-04 2017-05-31 Qualcomm Incorporated Camera-based user input for compact devices
US8947421B2 (en) * 2007-10-29 2015-02-03 Interman Corporation Method and server computer for generating map images for creating virtual spaces representing the real world
JP2011118482A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 車載装置および認知支援システム
CN102714710B (zh) * 2009-12-07 2015-03-04 歌乐牌株式会社 车辆周边图像显示系统
JP2012053533A (ja) * 2010-08-31 2012-03-15 Daihatsu Motor Co Ltd 運転支援装置
DE112013006385B4 (de) * 2013-01-09 2018-09-06 Mitsubishi Electric Corporation Fahrzeugperipherie-Anzeigevorrichtung
JP2013255237A (ja) * 2013-07-08 2013-12-19 Alpine Electronics Inc 画像表示装置及び画像表示方法
US20150138099A1 (en) * 2013-11-15 2015-05-21 Marc Robert Major Systems, Apparatus, and Methods for Motion Controlled Virtual Environment Interaction

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1725035A1 (en) * 2005-05-20 2006-11-22 Nissan Motor Co., Ltd. Image display apparatus and method for a vehicle
RU2444059C2 (ru) * 2005-06-30 2012-02-27 Эй-Джи-Си Флэт Гласс Норт Америкэ, Инк. Интегральное устройство и способ восприятия образов
JP2007329793A (ja) * 2006-06-09 2007-12-20 Nissan Motor Co Ltd 車両用監視装置
EP2555519A1 (en) * 2010-03-26 2013-02-06 Aisin Seiki Kabushiki Kaisha Vehicle periphery monitoring device
WO2011135778A1 (ja) * 2010-04-26 2011-11-03 パナソニック株式会社 画像処理装置、カーナビゲーションシステム、及び路上カメラシステム
JP2012176748A (ja) * 2011-02-02 2012-09-13 Nissan Motor Co Ltd 駐車支援装置
US20120287277A1 (en) * 2011-05-13 2012-11-15 Koehrsen Craig L Machine display system
US20150070157A1 (en) * 2013-09-11 2015-03-12 Honda Motor Co., Ltd. Vehicle display apparatus
EP2911041A1 (en) * 2014-02-18 2015-08-26 Harman International Industries, Inc. Generating an augmented view of a location of interest

Also Published As

Publication number Publication date
MX367700B (es) 2019-09-03
CA3020813C (en) 2019-05-14
JPWO2017179174A1 (ja) 2019-04-04
EP3444145A4 (en) 2019-08-14
CN109070799B (zh) 2021-02-26
US20190337455A1 (en) 2019-11-07
KR102023863B1 (ko) 2019-09-20
BR112018071020A2 (pt) 2019-02-12
CA3020813A1 (en) 2017-10-19
CN109070799A (zh) 2018-12-21
KR20180123553A (ko) 2018-11-16
EP3444145A1 (en) 2019-02-20
MX2018012119A (es) 2019-02-11
JP6555413B2 (ja) 2019-08-14
BR112018071020B1 (pt) 2022-06-28
WO2017179174A1 (ja) 2017-10-19
US10864856B2 (en) 2020-12-15

Similar Documents

Publication Publication Date Title
US10055652B2 (en) Pedestrian detection and motion prediction with rear-facing camera
US11535155B2 (en) Superimposed-image display device and computer program
US10302448B2 (en) Automobile periphery information display system
US10497264B2 (en) Methods and systems for providing warnings of obstacle objects
CA3002628C (en) Display control method and display control device
CN105608927A (zh) 警告装置
JP2019011017A (ja) 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
US20180090002A1 (en) Display control apparatus, display device, and display control method
JP5712119B2 (ja) 車両用歩行者報知装置
US11200806B2 (en) Display device, display control method, and storage medium
CN109562757B (zh) 驾驶辅助装置、驾驶辅助方法、移动体和程序
CN109927629B (zh) 用于控制投影设备的显示控制设备、显示控制方法及车辆
RU2715876C1 (ru) Способ и оборудование отображения окрестностей мобильного тела
JP6599387B2 (ja) 情報報知装置、移動体及び情報報知システム
US12103523B2 (en) Method, apparatus, and computer program product for identifying wrong-way driven vehicles
JP2015210584A (ja) 画像処理装置
CN111886568A (zh) 图像控制设备、显示设备、移动体、图像数据生成方法和程序
JP2017191472A (ja) 画像表示方法及び画像表示装置
JP6599386B2 (ja) 表示装置及び移動体
JP2017129543A (ja) ステレオカメラ装置及び車両
Park et al. A study on augmented reality of a vehicle information using head-up display
JP3222638U (ja) 安全運転支援装置
JP6989418B2 (ja) 車載システム
JP2022154208A (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP2020139802A (ja) 重畳画像表示装置及びコンピュータプログラム