KR20180133864A - 차량 윈드스크린 상의 증강 현실 디스플레이를 위한 방법 및 시스템 - Google Patents

차량 윈드스크린 상의 증강 현실 디스플레이를 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20180133864A
KR20180133864A KR1020187030339A KR20187030339A KR20180133864A KR 20180133864 A KR20180133864 A KR 20180133864A KR 1020187030339 A KR1020187030339 A KR 1020187030339A KR 20187030339 A KR20187030339 A KR 20187030339A KR 20180133864 A KR20180133864 A KR 20180133864A
Authority
KR
South Korea
Prior art keywords
vehicle
driver
determining
job information
windscreen
Prior art date
Application number
KR1020187030339A
Other languages
English (en)
Other versions
KR102340298B1 (ko
Inventor
레오니드 발레리아노비치 에델만
다니엘레 파그리아니
Original Assignee
리미티드 라이어빌리티 컴퍼니 “탑콘 포지셔닝 시스템”
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 리미티드 라이어빌리티 컴퍼니 “탑콘 포지셔닝 시스템” filed Critical 리미티드 라이어빌리티 컴퍼니 “탑콘 포지셔닝 시스템”
Publication of KR20180133864A publication Critical patent/KR20180133864A/ko
Application granted granted Critical
Publication of KR102340298B1 publication Critical patent/KR102340298B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213—Virtual instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/17—Construction vehicles, e.g. graders, excavators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

환경에 대한 증강 현실 뷰를 머신 운전자에게 제공하는 방법이 개시되며, 상기 방법은, 차량의 위치 및 방위를 결정하는 단계를 포함한다. 차량의 운전자의 눈의 위치와 시선 역시도 결정된다. 차량의 위치 및 차량의 방위에 기초하여 차량의 운전자에게 디스플레이될 작업 정보(job information)가 결정된다. 작업 정보는 차량의 운전자의 시선 및 눈의 위치에 기초하여 운전자에게 디스플레이된다. 일 실시예에서, 윈드스크린을 통해 볼 수 있는 환경 특징들이 결정된다. 운전자에게 디스플레이되는 작업 정보는 환경 특징들에 기초하여 수정될 수 있다.

Description

차량 윈드스크린 상의 증강 현실 디스플레이를 위한 방법 및 시스템
일반적으로, 본 발명은 증강 현실(AR) 디스플레이에 관한 것으로, 보다 상세하게는 건설 차량의 윈드스크린에 대한 AR 디스플레이에 관한 발명이다.
증강 현실은 사용자에 의해 인지된 환경과 정보의 통합이다. 증강 현실은 사용자가 환경을 볼 수 있는 윈도우를 이용하여 구현될 수 있다. 예를 들어, 프로젝터가 사용되어 정보를 윈도우에 투사할 수 있다. 상기 정보는 사용자가 윈도우를 통해 볼 수있는 소정 객체들과 오버레이(overlay)될 수 있다. 상기 정보는 불투명, 투명 또는 반투명 방식으로 표시될 수 있다. 증강 현실은 차량의 윈드스크린(또는 윈드 쉴드라고도 함) 상에 정보를 투영하여 사용자에게 추가적인 정보를 제공하도록 차량과 함께 사용될 수 있다. 예를 들어 차량의 속도, 나침반 방향 등에 대한 정보를 차량의 윈드스크린 상에 투사하여 사용자에게 헤드-업-디스플레이(HUD: Head-Up Display)를 제공할 수 있다. HUD의 사용은 차량의 운전자가 차량의 계기판보다는 윈드스크린 상에서 정보를 볼 수 있도록 함으로써 차량의 윈드스크린을 통해 환경을 지속적으로 볼 수 있게 한다.
증강 현실 디스플레이(Augmented Reality Display)는 추가적인 정보가 디스플레이되는 윈도우를 통해 볼 수 있는 존재하는 객체들 및 차량 파라미터들에 대한 추가적인 정보를 사용자에게 제공한다.
일 실시예에서, 환경에 대한 증강 현실 뷰를 머신 운전자에게 제공하는 방법이 개시되며, 상기 방법은, 차량의 위치 및 방위를 결정하는 단계를 포함한다. 차량의 운전자의 눈의 위치와 시선 역시도 결정된다. 차량의 위치 및 차량의 방위에 기초하여 차량의 운전자에게 디스플레이될 작업 정보(job information)가 결정된다. 작업 정보는 차량의 운전자의 시선 및 눈의 위치에 기초하여 운전자에게 디스플레이된다. 일 실시예에서, 윈드스크린을 통해 볼 수 있는 환경 특징들이 결정된다. 작업 정보의 식별 및 디스플레이는 환경 특징들의 결정에 또한 기초한다. 일 실시예에서, 상기 환경 특징들에 대한 결정은 차량이 위치한 환경 내에 위치한 객체들의 검출에 또한 기초한다. 작업 정보는 건설 파라미터(construction parameters), 농업 활동(agricultural operations) 또는 표면 교정 파라미터(surface modification parameters) 중 하나를 포함할 수 있다. 일 실시예에서, 운전자 입력(operator input)에 의해서 특정 작업이 식별되며, 상기 작업 정보의 식별은 운전자 입력에 또한 기초한다. 일 실시예에서, 작업 정보의 디스플레이는 운전자의 눈의 위치 및 시선에 기초하여, 환경 특징과 오버레이되도록 작업 정보에 관한 속성 이미지를 디스플레이하는 단계를 포함한다. 환경 인식 디바이스로부터의 데이터에 기초하여, 속성 이미지에 대한 위치가 결정될 수 있다.
도 1은 머신의 운전자에게 증강 현실 디스플레이를 제공하는 시스템을 도시한다.
도 2는 증강 현실 디스플레이 및 관련 구성 요소가 장착된 머신을 도시한다.
도 3은 머신의 운전자에게 이미지를 디스플레이하기 위한 증강 현실 시스템의 개략도이다.
도 4는 눈 위치 및 시선 방향을 설명하기 위해 수정이 있거나 없는 증강 현실 디스플레이 상에 디스플레이된 이미지의 예들을 도시한 도면이다.
도 5는 일 실시예에 따른 머신의 운전자에게 이미지를 디스플레이하기 위한 방법의 흐름도이다.
도 6은 컴퓨터의 고레벨 블록도를 도시한다.
증강 현실은 차량(예를 들어, 건설 머신와 같은 머신)의 운전자에게 수행될 작업에 대한 정보 및 부가 정보를 제공하기 위해 사용된다. 일 실시예에서, 차량의 운전자는 차량의 윈드스크린(윈드 실드로도 지칭됨) 상에 헤드 업 디스플레이(HUD)를 구비한다. HUD는 운전자에게 가령, 표면 교정(surface modification), 구조물 건설, 표면 건설 등과 같은 작업에 관한 정보를 제공한다. 일 실시예에서, 운전자에게 디스플레이된 정보는 머신의 위치 및 방향에 기초한다. HUD에 표시된 정보는 운전자가 작업을 수행하기 위해 머신를 조작하는데 사용될 수 있다. 예를 들어, 운전자는 윈드스크린에 디스플레이되는, 굴착을 위해 지정된 영역의 가상 경계를 제공받을 수 있다. 영역의 가상 경계는, 윈드스크린을 통한 실제 뷰와 윈드스크린 상에 디스플레이되는 정보를 정렬시키기 위하여, 운전자의 눈의 위치 및 시선에 기초하여 운전자에게 디스플레이된다. 이를 통해 운전자는 윈드스크린을 통해 보이는 실제 객체들 및 위치들과 정렬되는 가상 정보를 볼 수 있다. 만일, 가상 이미지들을 디스플레이할 때에 운전자의 눈의 위치와 운전자의 시선이 고려되지 않는다면, 가상 이미지는 윈드스크린을 통해 보이는 실제 객체들 및 위치들과 정렬되지 않을 수 있다. 일 실시예에서, HUD는 현재 존재하지 않는 원하는 구조물들 및 표면들에 대하여 특정 영역에 관한 정보를 운전자에게 제공한다. 여러 디바이스가 머신 운전자에게 증강 현실 뷰를 제공하는데 사용된다.
도 1은 차량의 윈드스크린 상에 증강 현실 디스플레이를 위한 시스템(100)을 도시한다. 위치 및 방위 검출 디바이스(104)는 일 실시예에서, 디바이스(104)가 위치된 관련 머신의 위치 및 방위를 결정하는데 사용되는 하나 이상의 디바이스들이다. 글로벌 항법 위성 시스템(GNSS) 수신기가 머신의 위치를 결정하는데 사용될 수 있다. GNSS 수신기(위성 위치 확인 시스템(GPS) 수신기라고도 함)는 또한 머신의 방위를 결정하는데 사용될 수 있다. 예를 들어 머신이 이동할 수 있는 방법에 대한 지식과 함께 머신의 이동에 관한 GNSS 데이터를 사용하여 머신의 방위를 결정할 수 있다. 일 실시예에서, GNSS 수신기는 머신의 위치를 결정하는데 사용될 수 있고, 다른 디바이스는 머신의 방위를 결정하는데 사용될 수 있다.
관성 측정 유닛(IMU)은 머신의 방위를 결정하는데 사용될 수 있다. IMU는 머신에 마운트되거나 또는 다른 방식으로 머신에 배치될 수 있다. IMU는 머신의 움직임과 방향을 결정하기 위해 머신의 가속도를 측정한다. 예를 들어, 머신의 시작 방위가 알려지면, IMU는 다른 방향들에서의 머신의 가속도를 측정할 수 있는데 이는 시작 방향 및 하나 이상의 방향들에서의 머신의 가속도에 기초하여, 머신의 현재 방위를 결정하기 위한 것이다. 시작 위치를 알고있는 경우 IMU를 사용하여 머신의 위치를 결정할 수도 있다. 예를 들어, 전진 가속도가 IMU에 의해 감지되면, 이 가속도는 머신이 특정 속도로 전진하고 있는지를 결정하는데 사용될 수 있다. 머신의 현재 위치는 머신이 주행하는 방향과 머신이 특정 속도로 얼마나 오래 주행하는지에 기초하여 결정될 수 있다.
또한, 레이저 트래킹 유닛, 광학 트래킹 유닛 및/또는 스테레오 카메라가 머신의 위치 및/또는 방향을 결정하는데 사용될 수 있다. 또한 GNSS 수신기 및 IMU와 같은 디바이스들의 조합을 사용하여 머신의 위치 및 포지션을 결정할 수 있다. 디바이스들의 다른 조합도 사용할 수 있다.
객체 검출 디바이스(106)는 머신이 위치하는 영역에서 객체들 및 장애물들을 검출하는데 사용된다. 일 실시예에서, 객체 검출 디바이스(106)는 객체가 위치하는 영역을 모니터링하기 위한 하나 이상의 센서를 포함한다. 객체 검출 디바이스는 음향 송수신기, 레이저 송수신기, 광학 감지 디바이스(예컨대, 카메라 또는 스테레오 카메라), 레이더 송수신기 등과 같은 임의 종류의 하드웨어를 사용할 수 있다. 머신이 위치한 지역에서 객체들과 장애물들을 검출할 수 있는 임의 유형의 센서 또는 디바이스 또는 센서들 및/또는 디바이스들의 조합이 이용될 수 있다.
환경 인식 디바이스(108)는 운전자가 봐야만 하는 실제 객체들과 상기 정보가 서로 간섭하지 않도록, 사용자에게 디스플레이되는 추가 정보의 배치를 결정하는데 사용된다. 일 실시예에서, 환경 인식 디바이스(108)는 머신이 위치하는 영역 내의 객체들 및 장애물들을 검출하는데 사용되는 객체 검출 디바이스를 포함한다. 일 실시예에서, 환경 인식 디바이스의 객체 검출 디바이스는 객체 검출 디바이스(106)와는 별개의 것이다. 일 실시예에서, 환경 인식 디바이스는 객체 검출 디바이스(106)에 의해 획득된 데이터를 사용한다. 머신의 운전자에게 디스플레이하기 위한 추가 정보의 배치를 결정하기 위하여 머신이 위치한 영역 내에 있는 객체들에 관한 정보가 이용되는바, 따라서 머신의 윈드스크린을 통해 디스플레이되는 추가 정보에 의해서 실제 객체들이 가려지지 않는다.
눈 위치 및 시선 검출 디바이스(110)는 운전자의 눈의 위치 및 운전자의 시선의 방향을 결정하는데 사용된다. 일 실시예에서, 운전자의 눈의 위치는 윈드스크린에 대해 결정된다. 예를 들어, 운전자의 눈은 윈드스크린의 중앙에 위치할 수 있다. 운전자의 머리의 움직임에 따라 운전자의 눈 위치가 변한다. 예를 들어, 운전자가 왼쪽이나 오른쪽으로 기울이면, 윈드스크린에 대한 운전자의 눈 위치가 변경될 수 있다. 운전자의 시선은 운전자가 바라보고 있는 곳이다. 예를 들어 운전자는 전방, 좌측, 우측, 위 또는 아래를 볼 수 있다. 운전자의 눈 위치와 시선 방향이 이용되어 머신의 윈드스크린 상에 투영된 이미지를 배치시키므로, 추가 정보는 윈드스크린을 통해 볼 수 있는 실제 객체에 대하여 정렬될 수 있다. 예를 들어, 객체를 가리키는 지시선(lead line)의 이미지가 윈드스크린 상에 디스플레이될 수 있으며, 상기 지시선은 운전자의 눈의 위치 및 시선 방향에 기초하여 객체를 가리킨다. 일 실시예에서, 눈 위치 및 시선 검출 디바이스(110)는 스테레오 카메라를 포함하지만, 운전자의 눈 위치 및 시선 방향을 검출할 수 있는 임의의 디바이스 또는 디바이스 그룹을 포함할 수 있다.
증강 현실 디바이스(112)는 머신 운전자에게 정보를 디스플레이하는데 사용되는 디바이스이다. 일 실시예에서, 증강 현실 디바이스(112)는 증강 현실 디바이스(112)가 위치된 머신의 윈드스크린 상에 이미지를 투사하기 위한 프로젝터를 포함한다. 증강 현실 디바이스(112)는 윈드스크린에 부착된 투명 필름 상에 이미지를 투사할 수 있다. 일 실시예에서, 증강 현실 디바이스(112)는 이미지의 시청 및 윈드스크린의 외부에 있는 실제 세계에 대한 가시성을 개선하기 위해, 윈드스크린 상에 디스플레이된 이미지의 밝기 및 콘트라스트를 조정할 수 있다. 또한, 디스플레이된 이미지의 밝기 및/또는 콘트라스트는 운전자의 불쾌감을 방지하도록 조정될 수 있다. 디스플레이된 이미지의 밝기 및/또는 콘트라스트 조절은 자동으로 수행되거나 사용자에 의해 수행될 수도 있다.
작업 정보 데이터베이스(114)는 머신의 사용을 필요로 하는 작업에 관한 정보를 저장하는데 사용된다. 작업 정보 데이터베이스(114)는 또한 머신이 위치한 환경과 관련된 정보를 저장할 수 있다. 예를 들어 굴착에 관한 정보는 굴착이 수행될 지점(예를 들면, 환경)에 관한 정보와 함께 작업 정보 데이터베이스(114)에 저장된다. 작업 정보 데이터베이스(114)는 머신 운전자에게 정보를 생성 및 디스플레이하는데 이용되는 정보를 획득하기 위해 액세스될 수 있다.
위치 및 방위 검출 디바이스(104), 객체 검출 디바이스(106), 환경 인식 디바이스(108), 눈 위치 및 시선 검출 디바이스(110), 증강 현실 디바이스(112) 및 직업 정보 데이터베이스(114)는 각각 컨트롤러(102)와 통신한다. 일 실시예에서, 컨트롤러(102)는 다양한 디바이스들로부터 데이터를 수신하고, 작업 정보 데이터베이스(114)에 액세스하고, 증강 현실 디바이스(112)에 데이터를 출력하여 관련 머신의 운전자에게 이미지를 디스플레이하게 하는 프로세서이다. 일 실시예에서, 컨트롤러(102), 위치 및 방위 검출 디바이스(104), 객체 검출 디바이스(106), 환경 인식 디바이스(108), 눈 위치 및 시선 검출 디바이스(110), 증강 현실 디바이스(112) 및 직업 정보 데이터베이스(114)는 건설 머신 등과 같은 머신 상에 물리적으로 위치된다. 컨트롤러(102)는 사용자가 컨트롤러(102)와 상호작용할 수 있게 하는 주변 장치들 가령, 키보드, 커서 컨트롤러(예를 들면, 마우스) 및 디스플레이(미도시) 등을 포함할 수 있다. 컨트롤러(102)는 유선 및/또는 무선 네트워크를 통해 도 1에 도시된 하나 이상의 구성요소들과 통신할 수 있다. 일 실시예에서, 하나 이상의 디바이스들은 머신으로부터 멀리 떨어져 위치될 수 있다. 예를 들어, 작업 정보 데이터베이스(114)는 컨트롤러(102)로부터 멀리 떨어져 위치될 수 있고, 데이터는 2개의 구성요소들 사이에서 송신 및 수신될 수 있다. 일 실시예에서, 데이터는 작업 정보 데이터베이스(114)와 컨트롤러(102) 사이에서 무선으로 전송된다. 위치 및 방위 검출 디바이스와 관련하여, 이 디바이스의 하나 이상의 구성요소들은 컨트롤러(102)가 위치한 머신로부터 멀리 떨어져 위치될 수 있다.
도 2는 증강 현실 시스템 및 관련 구성요소들이 장착된 머신(101)를 도시한다. 이 실시예에서 컨트롤러(102), 눈 위치 및 시선 검출 디바이스(110), 증강 현실 디바이스(112) 및 작업 정보 데이터베이스(114)가 머신(101)의 운전실(cabin)에 위치된다. 상기 실시예에서, 위치 및 방위 디바이스(104), 객체 검출 디바이스(106) 및 환경 인식 디바이스(108)는 머신(101)의 운전실의 지붕에 위치하는 것으로 도시되어 있다.
도 3은 머신(101)의 운전자에게 이미지를 디스플레이하기 위한 증강 현실 시스템의 개략도이다. 특히, 도 3은 시스템(100)의 일부 구성요소가 위치하는 머신(101)의 윈드스크린(204)을 도시한다. 운전자(202)는 머신의 운전실에 위치하는 것으로 도시되며 그리고 윈드스크린(204)을 통해 환경 특징(environmental feature)(208)을 볼 수 있다. 컨트롤러(102)(도 1 및 도 2에 도시됨)는 눈 위치 및 시선 검출 디바이스(110) 및 증강 현실 디바이스(112)와 통신한다. 위치 및 방위 디바이스(104) 및 객체 검출 디바이스(106)로부터의 데이터에 기초하여, 컨트롤러(102)는 운전자(202)에 디스플레이될 속성 이미지(212)를 결정한다. 일 실시예에서, 속성 이미지(212)의 배치는, 머신이 위치한 환경에 관한 정보(110), 눈 위치 및 시선 검출 디바이스(110), 환경 인식 디바이스(108) 및 작업 정보 데이터베이스(114)로부터의 데이터에 기초하여 결정된다. 환경 인식 디바이스(108)로부터의 데이터가 이용되어 속성 이미지(212)의 배치를 결정하는바 가령, 장애물들 혹은 구조물들과 같은 운전자가 볼 필요가 있는 환경의 일부분들과 속성 이미지가 간섭되지 않도록 한다.
도 3에서, 속성 이미지(212)를 윈드스크린(204) 상에 투영하는 증강 현실 디바이스(112)에 의해서 운전자(202)에게 속성 이미지(212)가 디스플레이된다. 이 일례에서, 속성 이미지(212)는 운전자가 위치한 머신을 이용하여 운전자(202)에 의해서 수행될 동작을 나타내는 화살표이다. 속성 이미지(212)는 프로젝션 라인(214)에 의해 도시된 바와 같이 특정 위치에서 윈드스크린(204) 상에 투영된다. 속성 이미지(212)가 디스플레이되는 윈드스크린(204)의 특정 위치는 운전자(202)의 눈 위치 및 시선에 기초하는바, 이는 뷰 라인(210)으로 도시된 바와 같은 환경 특징(208)을 갖는 운전자(202)의 뷰와 속성 이미지(212)를 정렬시키기 위한 것이다.
일 실시예에서, 속성 이미지(212)의 배치는, 위치 및 방위 검출 디바이스(104)로부터 머신 위치 및 방위 정보를 사용하여 작업 정보 데이터베이스(114)로부터의 정보에 기초하여 결정된다. 예를 들어, 굴착을 필요로 하는 영역은 머신 위치에 기초하여, 머신 근처로 결정될 수 있다. 속성 이미지(212)의 배치는 머신 방위에 기초하여 결정될 수 있다. 발굴될 영역이 현재 윈드스크린을 통해 운전자의 시야에 있다면, 운전자(202)의 눈 위치 및 시선에 기초하여 속성 이미지(212)가 디스플레이될 것이다. 또한, 객체 검출 디바이스(106)로부터의 정보가 이용되어, 머신이 위치한 환경 내의 객체들을 식별할 수 있다. 속성 이미지(212)의 배치는 운전자(202)가 봐야만 하는 객체들이 가려지는 것을 방지하기 위해 환경 인식 디바이스(108)로부터의 정보에 기초하여 수정될 수 있다.
일 실시예에서, 윈드스크린(204) 상의 속성 이미지(212)의 배치(즉, 윈드스크린(204) 상의 특정 위치에 속성 이미지(212)를 투영하는 것)는 라인 교차 방법(line intersection method)을 사용하여 결정된다. 운전자의 시선 방향에서, 운전자의 눈 위치로부터 관심 대상(예를 들어, 환경 특징(208))까지 연장되는 라인이 계산된다. 일 실시예에서, 상기 라인은 복수의 포인트들을 포함한다. 윈드스크린과 상기 라인이 교차하는 선을 따라 있는 포인트가 결정된다. 윈드스크린(204)에서의 상기 라인의 교차점과 속성 이미지(212)를 정렬시킴으로써, 속성 이미지(212)는 운전자의 눈 위치에 대하여 관심 대상과 정렬되어 윈드스크린(204) 상에 배치된다(예를 들어, 투영된다). 일 실시예에서, 운전자에 의해 보여지는 관심 대상의 이미지의 기하학적 중심이 결정되며 그리고 속성 이미지(212)의 기하학적 중심점이 상기 교차점에서 윈드스크린(204) 상에 위치된다. 상기 라인은 운전자의 눈들 중 하나의 위치로부터 또는 운전자의 눈들 사이의 중간 지점으로부터 연장될 수 있다. 일 실시예에서, 운전자의 눈들 사이의 중간 지점은 상기 중간 지점으로부터 관심 대상까지 연장되는 라인을 계산하기 전에 결정된다.
도 4는 운전자의 눈 포지션 및 위치가 속성 이미지의 위치를 수정하는데 사용되지 않을 때의 증강 현실 뷰를 도시한다. 도 4에 도시된 바와 같이, 속성 이미지는 가상(phantom) 속성 이미지(404)에 의해 묘사된 위치에 디스플레이되어야만 하지만, 대신에 속성 이미지(402)의 위치로 도시된 바와 같은 부정확한 위치에 디스플레이된다. 속성 이미지(402)의 위치는 운전자의 시선 방향 및 눈 위치를 고려하여 조정되지 않는다. 가상 속성 이미지(404)의 위치는 이미지의 위치가 운전자의 눈 위치 및 시선 방향에 기초하여 수정된 경우 이미지가 디스플레이되는 곳이다.
도 5는 머신의 운전자에게 정보를 디스플레이하기 위해 컨트롤러(102)에 의해 수행되는 방법(500)의 흐름도를 도시한다. 단계(502)에서, 사용자 입력이 컨트롤러(102)에 의해 수신된다. 일 실시예에서, 사용자 입력은 운전자가 정보를 원할 특정 작업을 식별한다. 예를 들어, 운전자가 사용하는 머신의 유형에 따라, 운전자는 굴착 정보, 건설 정보, 기타 등등을 보고 싶어할 수 있다. 단계 504에서, 컨트롤러(102)는 컨트롤러(102)가 위치하는 차량의 위치를 결정한다. 단계(506)에서, 컨트롤러(102)는 컨트롤러(102)가 위치하는 차량의 방위를 결정한다. 일 실시예에서, 위치 및 방위 정보는 위치 및 방위 디바이스 검출 디바이스(104)로부터 컨트롤러(102)에 의해 수신된 정보에 기초하여 결정된다.
단계(508)에서, 컨트롤러(102)는 운전자의 눈 위치를 결정한다. 단계(510)에서, 컨트롤러(102)는 운전자의 시선을 결정한다. 일 실시예에서, 눈 위치 및 시선은 눈 위치 및 시선 검출 디바이스(110)로부터 컨트롤러(102)에 의해 수신된 정보에 기초하여 결정된다.
단계(512)에서, 컨트롤러(102)는 차량이 위치하는 환경의 환경 특징을 결정한다. 일 실시예에서, 컨트롤러(102)는 객체 검출 디바이스(106)로부터 수신된 정보를 사용하여 환경 특징을 결정한다. 예를 들어, 흙더미(mounds), 구덩이(depressions), 장비들, 구조물 등과 같은 특징들이 객체 검출 디바이스(106)에 의해 검출될 수 있다. 컨트롤러(102)는 객체들에 대해서 수신된 정보를 이용할 수 있으며 그리고 이러한 정보를 작업 정보 데이터베이스(114)에 포함된 환경 데이터와 비교할 수 있다. 예를 들어, 환경 데이터는 차량이 위치하는 환경 내에서 검출된 객체들을 식별하는데 사용될 수 있다.
단계(514)에서, 컨트롤러(102)는 사용자에게 디스플레이될 작업 정보를 식별한다. 일 실시예에서, 작업 정보는 작업 정보 데이터베이스(114)에 저장된 정보를 사용하여 컨트롤러(102)에 의해 식별된다. 예를 들어, 컨트롤러(102)는 차량의 위치 및 방위를 사용하여 차량이 위치한 환경을 식별할 수 있다. 운전자가 보고싶어 하는 특정 작업 정보는 운전자로부터의 사용자 입력을 사용하여 판별된다. 예를 들어, 굴착 작업의 경우, 머신 운전자는 굴착 영역의 가상 경계와 필요한 굴착 깊이의 가상 표시를 포함하는 디스플레이를 요청하여 제공받을 수 있다. 불도저에 의해 수행되는 작업의 경우, 운전자는 작업 지점의 가상 경계와 가상 컷 표시(virtual cut indication) 및 가상 충전 표시(virtual fill indication)를 포함하는 디스플레이를 요청하여 제공받을 수 있다. 표시할 수 있다. 농업용 트랙터에 의해 수행되는 작업의 경우, 트랙터 운전자는 파종 작업(seeding job) 또는 살포 작업(spraying job)에 대한 가상 맵을 요청하여 제공받을 수 있다.
단계(516)에서, 단계(514)에서 식별된 작업 정보가 운전자에게 디스플레이된다. 일 실시예에서, 디스플레이를 위해 식별된 작업 정보는 컨트롤러(102)로부터 증강 현실 디바이스(112)로 전송되며, 일 실시예에서 상기 증강 현실 디바이스(112)는 차량의 윈드스크린 상에 정보를 투사한다.
일 실시예에서, 운전자에게 식별 및 디스플레이되는 작업 정보는 하나 이상의 속성 이미지들을 포함한다. 일 실시예에서, 각각의 속성 이미지는 환경 특징과 연관된다. 예를 들어, 컨트롤러(102)는 굴착될 필요가 있는 환경의 영역에 속성 이미지를 할당할 수 있다. 이러한 일례에서, 속성 이미지는 필요한 굴착 깊이를 나타내는 이미지를 포함한다. 하나 이상의 속성 이미지들은는 특정한 환경 특징과 연관될 수 있다.
일 실시예에서, 속성 이미지가 윈드스크린 상에 디스플레이되는 위치는, 차량이 위치하는 환경에 기초하여 수정될 수 있다. 일 실시예에서, 환경에 관한 정보가 환경 인식 디바이스(108)로부터 수신된다. 예를 들어, 환경 인식 디바이스(108)에 의해 검출된 환경 내의 객체가, 상기 차량과 상호작용해서는 안되는 것으로 식별되는 경우, 컨트롤러(102)는 하나 이상의 속성 이미지들의 디스플레이를 수정하여, 상호작용해서는 안되는 객체의 폐색(occlusion) 또는 차단(obstruction)을 방지할 수 있다. 일 실시예에서는, 객체의 폐색을 방지하기 위해서, 속성 이미지의 위치가 지정될 수 있다. 또한, 상호작용해서는 안되는 객체에 대한 운전자의 시야를 방해하지 않도록, 속성 이미지의 광도 및/또는 투명도가 조정될 수 있다.
컨트롤러(102), 위치 및 방위 검출 디바이스(104), 객체 검출 디바이스(106), 환경 인식 디바이스(108), 눈 위치 및 시선 검출 디바이스(110), 증강 현실 디바이스(112) 및 직업 정보 데이터베이스(114)는 각각 컴퓨터를 사용하여 구현될 수 있다. 이러한 컴퓨터의 고레벨 블록도가 도 6에 도시되어 있다. 컴퓨터(602)는 이러한 동작들을 정의하는 컴퓨터 프로그램 명령을 실행함으로써 컴퓨터(602)의 전체적인 동작을 제어하는 프로세서(604)를 포함한다. 컴퓨터 프로그램 명령들은 저장 디바이스(612) 또는 다른 컴퓨터 판독가능 매체(예컨대, 자기 디스크, CD ROM 등)에 저장될 수 있으며, 컴퓨터 프로그램 명령들의 실행이 요구될 때 메모리(610)에 로딩될 수 있다. 따라서, 도 5의 방법 단계들은 메모리(610) 및/또는 저장 디바이스(612)에 저장된 컴퓨터 프로그램 명령들에 의해 정의될 수 있고 그리고 컴퓨터 프로그램 명령들을 실행하는 프로세서(604)에 의해 제어될 수 있다. 예를 들어, 컴퓨터 프로그램 명령들은 도 5의 방법 단계들에 의해 정의된 알고리즘을 수행하기 위해 당업자에 의해 프로그래밍된 컴퓨터 실행가능 코드로서 구현될 수 있다. 따라서, 컴퓨터 프로그램 명령들을 실행함으로써, 프로세서(604)는 도 5의 방법 단계들에 의해 정의된 알고리즘을 실행한다. 또한, 컴퓨터(602)는 네트워크를 통해 다른 디바이스와 통신하기 위한 하나 이상의 네트워크 인터페이스(606)를 포함한다. 컴퓨터(602)는 또한 컴퓨터(602)와의 사용자 상호작용을 가능하게 하는 입력/출력 디바이스(608)(예를 들어, 디스플레이, 키보드, 마우스, 스피커, 버튼 등)를 포함한다. 해당 기술분야의 당업자라면 실제 컴퓨터의 구현은 다른 구성요소들도 포함할 수 있음을 능히 이해할 것이며, 도 6은 이러한 컴퓨터의 구성요소 중 일부를 예시적으로 도시한 것이다.
전술한 발명의 상세한 설명은 제한적인 것이 아니라, 모든 면에서 예시적이고 일례로서 이해되어야 하며, 본 명세서에 개시된 발명의 사상의 범위는 상세한 설명으로부터 결정되는 것이 아니라 오히려 특허법에 의해서 허용되는 광의에 따라 해석된 청구범위로부터 결정된다. 다음을 유의해야 하는바, 본 명세서에 도시되고 설명된 실시예들은 본 발명 개념의 원리를 설명하기 위한 것일 뿐이며, 본 발명의 개념 및 범위를 벗어나지 않으면서도 당업자에 의해 다양한 변형예들이 구현될 수 있다. 당업자는 본 발명의 개념의 범위 및 사상을 벗어나지 않고 다양한 다른 특징 조합을 구현할 수 있다.

Claims (20)

  1. 방법으로서,
    차량의 위치를 결정하는 단계;
    상기 차량의 방위를 결정하는 단계;
    상기 차량의 운전자의 눈의 위치를 결정하는 단계;
    상기 차량의 운전자의 시선을 결정하는 단계;
    상기 차량의 위치 및 상기 차량의 방위에 기초하여 상기 차량의 윈드스크린 상에서 운전자에게 디스플레이될 작업 정보(job information)를 식별하는 단계; 및
    상기 차량의 운전자의 시선 및 눈의 위치에 기초하여 상기 윈드스크린 상에서 상기 운전자에게 작업 정보를 디스플레이하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 윈드스크린을 통해 볼 수 있는 환경 특징들을 결정하는 단계를 더 포함하고,
    상기 작업 정보를 식별하는 단계 및 상기 작업 정보를 디스플레이하는 단계는 상기 환경 특징들을 결정하는 단계에 또한 기초하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 차량이 위치한 환경에 위치한 객체들을 검출하는 단계를 더 포함하고,
    상기 환경 특징들을 결정하는 단계는, 상기 객체들을 검출하는 단계 및 상기 작업 정보와 연관된 환경 데이터에 기초하는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 작업 정보는 건설 파라미터(construction parameters), 농업 활동(agricultural operations) 또는 표면 교정 파라미터(surface modification parameters) 중 하나를 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    특정 작업을 식별하는 운전자 입력(operator input)을 수신하는 단계를 더 포함하며,
    상기 작업 정보를 식별하는 단계는 상기 운전자 입력에 또한 기초하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 작업 정보를 디스플레이하는 단계는,
    상기 운전자의 눈의 위치 및 시선에 기초하여, 상기 환경 특징과 오버레이되도록 상기 작업 정보에 관한 속성 이미지를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  7. 제6항에 있어서,
    환경 인식 디바이스로부터의 데이터에 기초하여, 디스플레이될 속성 이미지에 대한 위치를 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  8. 장치로서,
    프로세서; 및
    컴퓨터 프로그램 명령들을 저장하는 메모리를 포함하며,
    상기 컴퓨터 프로그램 명령들은 상기 프로세서 상에서 실행될 때, 상기 프로세서로 하여금,
    차량의 위치를 결정하는 단계;
    상기 차량의 방위를 결정하는 단계;
    상기 차량의 운전자의 눈의 위치를 결정하는 단계;
    상기 차량의 운전자의 시선을 결정하는 단계;
    상기 차량의 위치 및 상기 차량의 방위에 기초하여 상기 차량의 윈드스크린 상에서 운전자에게 디스플레이될 작업 정보(job information)를 식별하는 단계; 및
    상기 차량의 운전자의 시선 및 눈의 위치에 기초하여 상기 윈드스크린 상에서 상기 운전자에게 작업 정보를 디스플레이하는 단계
    를 포함하는 동작들을 수행하게 하는 것을 특징으로 하는 장치.
  9. 제8항에 있어서, 상기 동작들은 또한,
    상기 윈드스크린을 통해 볼 수 있는 환경 특징들을 결정하는 단계를 더 포함하고,
    상기 작업 정보를 식별하는 단계 및 상기 작업 정보를 디스플레이하는 단계는 상기 환경 특징들을 결정하는 단계에 또한 기초하는 것을 특징으로 하는 장치.
  10. 제9항에 있어서, 상기 동작들은 또한,
    상기 차량이 위치한 환경에 위치한 객체들을 검출하는 단계를 더 포함하고,
    상기 환경 특징들을 결정하는 단계는, 상기 객체들을 검출하는 단계 및 상기 작업 정보와 연관된 환경 데이터에 기초하는 것을 특징으로 하는 장치.
  11. 제10항에 있어서,
    상기 작업 정보는 건설 파라미터(construction parameters), 농업 활동(agricultural operations) 또는 표면 교정 파라미터(surface modification parameters) 중 하나를 포함하는 것을 특징으로 하는 장치.
  12. 제8항에 있어서, 상기 동작들은 또한,
    특정 작업을 식별하는 운전자 입력(operator input)을 수신하는 단계를 더 포함하며,
    상기 작업 정보를 식별하는 단계는 상기 운전자 입력에 또한 기초하는 것을 특징으로 하는 장치.
  13. 제8항에 있어서, 상기 작업 정보를 디스플레이하는 단계는,
    상기 운전자의 눈의 위치 및 시선에 기초하여, 상기 환경 특징과 오버레이되도록 상기 작업 정보에 관한 속성 이미지를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 장치.
  14. 제13항에 있어서, 상기 동작들은 또한,
    환경 인식 디바이스로부터의 데이터에 기초하여, 디스플레이될 속성 이미지에 대한 위치를 결정하는 단계를 더 포함하는 것을 특징으로 하는 장치.
  15. 컴퓨터 프로그램 명령들을 저장하는 컴퓨터 판독가능 매체로서, 상기 컴퓨터 프로그램 명령들은 프로세서 상에서 실행될 때, 상기 프로세서로 하여금,
    차량의 위치를 결정하는 단계;
    상기 차량의 방위를 결정하는 단계;
    상기 차량의 운전자의 눈의 위치를 결정하는 단계;
    상기 차량의 운전자의 시선을 결정하는 단계;
    상기 차량의 위치 및 상기 차량의 방위에 기초하여 상기 차량의 윈드스크린 상에서 운전자에게 디스플레이될 작업 정보(job information)를 식별하는 단계; 및
    상기 차량의 운전자의 시선 및 눈의 위치에 기초하여 상기 윈드스크린 상에서 상기 운전자에게 작업 정보를 디스플레이하는 단계
    를 포함하는 동작들을 수행하게 하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  16. 제15항에 있어서, 상기 동작들은 또한,
    상기 윈드스크린을 통해 볼 수 있는 환경 특징들을 결정하는 단계를 더 포함하고,
    상기 작업 정보를 식별하는 단계 및 상기 작업 정보를 디스플레이하는 단계는 상기 환경 특징들을 결정하는 단계에 또한 기초하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  17. 제16항에 있어서, 상기 동작들은 또한,
    상기 차량이 위치한 환경에 위치한 객체들을 검출하는 단계를 더 포함하고,
    상기 환경 특징들을 결정하는 단계는, 상기 객체들을 검출하는 단계 및 상기 작업 정보와 연관된 환경 데이터에 기초하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  18. 제17항에 있어서,
    상기 작업 정보는 건설 파라미터(construction parameters), 농업 활동(agricultural operations) 또는 표면 교정 파라미터(surface modification parameters) 중 하나를 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  19. 제15항에 있어서, 상기 동작들은 또한,
    특정 작업을 식별하는 운전자 입력(operator input)을 수신하는 단계를 더 포함하며,
    상기 작업 정보를 식별하는 단계는 상기 운전자 입력에 또한 기초하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  20. 제15항에 있어서,
    상기 작업 정보를 디스플레이하는 단계는,
    상기 운전자의 눈의 위치 및 시선에 기초하여, 상기 환경 특징과 오버레이되도록 상기 작업 정보에 관한 속성 이미지를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
KR1020187030339A 2016-04-04 2016-04-04 차량 윈드스크린 상의 증강 현실 디스플레이를 위한 방법 및 시스템 KR102340298B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2016/000186 WO2017176143A1 (en) 2016-04-04 2016-04-04 Method and apparatus for augmented reality display on vehicle windscreen

Publications (2)

Publication Number Publication Date
KR20180133864A true KR20180133864A (ko) 2018-12-17
KR102340298B1 KR102340298B1 (ko) 2021-12-20

Family

ID=60000511

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187030339A KR102340298B1 (ko) 2016-04-04 2016-04-04 차량 윈드스크린 상의 증강 현실 디스플레이를 위한 방법 및 시스템

Country Status (6)

Country Link
US (1) US10789744B2 (ko)
EP (1) EP3440496A4 (ko)
JP (1) JP2019521403A (ko)
KR (1) KR102340298B1 (ko)
AU (1) AU2016402225B2 (ko)
WO (1) WO2017176143A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3543402A1 (de) * 2018-03-19 2019-09-25 Joseph Vögele AG Baumaschine zum erstellen oder bearbeiten einer strasse
US20190355177A1 (en) * 2018-05-15 2019-11-21 Honeywell International Inc. Building system maintenance using mixed reality
JP7151392B2 (ja) 2018-11-07 2022-10-12 コベルコ建機株式会社 建設機械の遠隔操作装置
JP7159903B2 (ja) * 2019-02-19 2022-10-25 コベルコ建機株式会社 目標位置推測装置
JP7318258B2 (ja) * 2019-03-26 2023-08-01 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ
US11905675B2 (en) 2019-08-05 2024-02-20 Topcon Positioning Systems, Inc. Vision-based blade positioning
EP4097552A4 (en) 2020-01-28 2023-11-22 Topcon Positioning Systems, Inc. SYSTEM AND METHOD FOR CONTROLLING A WORK DEVICE ON A WORK MACHINE USING MACHINE VISION
JP7013509B2 (ja) * 2020-03-25 2022-01-31 株式会社インフォマティクス 建設機械における図面投影システム、図面投影方法及びプログラム
US20220136214A1 (en) * 2020-11-05 2022-05-05 Trimble Inc. High-accuracy augmented reality display for construction machines
US20230141588A1 (en) * 2021-11-11 2023-05-11 Caterpillar Paving Products Inc. System and method for configuring augmented reality on a worksite

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130158778A1 (en) * 2011-12-14 2013-06-20 General Motors Llc Method of providing information to a vehicle
KR20140084409A (ko) * 2012-12-26 2014-07-07 두산인프라코어 주식회사 헤드업 디스플레이를 이용한 건설기계의 작업 가이드 디스플레이 장치 및 방법
US20140240313A1 (en) * 2009-03-19 2014-08-28 Real Time Companies Computer-aided system for 360° heads up display of safety/mission critical data
KR20150095743A (ko) * 2012-12-07 2015-08-21 볼보 트럭 코퍼레이션 차량 어레인지먼트, 차량 어레인지먼트를 제어하기 위한 방법 및 컴퓨터 프로그램
KR20150108817A (ko) * 2013-01-14 2015-09-30 인텔 코포레이션 차량에서의 감각 체험 생성

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4526689B2 (ja) * 2000-11-13 2010-08-18 株式会社トプコン 建設機械の施工案内装置
WO2005024144A1 (ja) * 2003-09-02 2005-03-17 Komatsu Ltd. 施工目標指示装置
ATE552478T1 (de) 2004-06-03 2012-04-15 Making Virtual Solid L L C Navigationsanzeigeverfahren und vorrichtung für unterwegs unter verwendung eines head-up-displays
JP4414959B2 (ja) 2005-11-16 2010-02-17 アイシン精機株式会社 駐車支援装置
US20080262669A1 (en) * 2006-09-22 2008-10-23 Jadi, Inc. Autonomous vehicle controller
JP5050735B2 (ja) * 2007-08-27 2012-10-17 マツダ株式会社 車両用運転支援装置
JP2010018141A (ja) 2008-07-10 2010-01-28 Caterpillar Japan Ltd 建設機械におけるディスプレイ装置
US8692739B2 (en) * 2011-09-22 2014-04-08 GM Global Technology Operations LLC Dynamic information presentation on full windshield head-up display
JP6258582B2 (ja) 2012-12-28 2018-01-10 株式会社小松製作所 建設機械の表示システムおよびその制御方法
US20140362195A1 (en) * 2013-03-15 2014-12-11 Honda Motor, Co., Ltd. Enhanced 3-dimensional (3-d) navigation
KR101524379B1 (ko) * 2013-12-27 2015-06-04 인하대학교 산학협력단 주문형 비디오에서 인터랙티브 서비스를 위한 캡션 교체 서비스 시스템 및 그 방법
US10503249B2 (en) * 2014-07-03 2019-12-10 Topcon Positioning Systems, Inc. Method and apparatus for construction machine visualization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140240313A1 (en) * 2009-03-19 2014-08-28 Real Time Companies Computer-aided system for 360° heads up display of safety/mission critical data
US20130158778A1 (en) * 2011-12-14 2013-06-20 General Motors Llc Method of providing information to a vehicle
KR20150095743A (ko) * 2012-12-07 2015-08-21 볼보 트럭 코퍼레이션 차량 어레인지먼트, 차량 어레인지먼트를 제어하기 위한 방법 및 컴퓨터 프로그램
KR20140084409A (ko) * 2012-12-26 2014-07-07 두산인프라코어 주식회사 헤드업 디스플레이를 이용한 건설기계의 작업 가이드 디스플레이 장치 및 방법
KR20150108817A (ko) * 2013-01-14 2015-09-30 인텔 코포레이션 차량에서의 감각 체험 생성

Also Published As

Publication number Publication date
US20180144523A1 (en) 2018-05-24
EP3440496A4 (en) 2019-11-13
US10789744B2 (en) 2020-09-29
AU2016402225B2 (en) 2022-02-10
KR102340298B1 (ko) 2021-12-20
JP2019521403A (ja) 2019-07-25
AU2016402225A1 (en) 2018-09-13
EP3440496A1 (en) 2019-02-13
WO2017176143A1 (en) 2017-10-12

Similar Documents

Publication Publication Date Title
KR102340298B1 (ko) 차량 윈드스크린 상의 증강 현실 디스플레이를 위한 방법 및 시스템
EP3164787B1 (en) Method and apparatus for construction machine visualization
US10829911B2 (en) Visual assistance and control system for a work machine
US11181737B2 (en) Head-up display device for displaying display items having movement attribute or fixed attribute, display control method, and control program
US20150199847A1 (en) Head Mountable Display System
CN207360243U (zh) 车载导航定位全景云台
JP6545423B2 (ja) 調整装置、表示システム及び調整方法
US11024040B2 (en) Dynamic object tracking
US10891791B2 (en) Detection and visualization of system uncertainty in the representation of augmented image content in heads-up displays
US11294456B2 (en) Perspective or gaze based visual identification and location system
JP2016091192A (ja) 虚像表示装置、制御方法、プログラム、及び記憶媒体
EP2075762A2 (en) Three-dimensional data processing device, three-dimensional image generating device, navigation device, and three-dimensional data processing program
US11694345B2 (en) Moving object tracking using object and scene trackers
KR20170055577A (ko) 헤드업 디스플레이를 이용한 건물정보 표시 장치 및 방법
US11210519B2 (en) Providing augmented reality images to an operator of a machine
JP7013509B2 (ja) 建設機械における図面投影システム、図面投影方法及びプログラム
KR102506369B1 (ko) 건설기계의 가이던스용 웨어러블 디바이스 및 이를 이용한 작업정보 표시 방법
WO2020230418A1 (ja) 表示装置
JP2005201635A (ja) 車両用ナビゲーションシステム
KR101846325B1 (ko) 헤드업 디스플레이의 눈 높이 검출 장치 및 방법
JP2020163942A (ja) 表示装置
JP5266715B2 (ja) 地図表示装置
KR102641118B1 (ko) 사용자에게 ar 오브젝트를 제공하는 방법 및 장치
KR101767436B1 (ko) 헤드업 디스플레이 및 그 제어방법
JP2019043312A (ja) ヘッドアップディスプレイ装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant