KR20210023175A - 자율주행 차량용 칵핏모듈 및 디스플레이 모듈 위치제어 방법 - Google Patents

자율주행 차량용 칵핏모듈 및 디스플레이 모듈 위치제어 방법 Download PDF

Info

Publication number
KR20210023175A
KR20210023175A KR1020190103015A KR20190103015A KR20210023175A KR 20210023175 A KR20210023175 A KR 20210023175A KR 1020190103015 A KR1020190103015 A KR 1020190103015A KR 20190103015 A KR20190103015 A KR 20190103015A KR 20210023175 A KR20210023175 A KR 20210023175A
Authority
KR
South Korea
Prior art keywords
vehicle
information
occupant
autonomous vehicle
module
Prior art date
Application number
KR1020190103015A
Other languages
English (en)
Other versions
KR102246498B1 (ko
Inventor
김영민
김용광
송수현
정지훈
박지웅
Original Assignee
주식회사 이에스피
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이에스피 filed Critical 주식회사 이에스피
Priority to KR1020190103015A priority Critical patent/KR102246498B1/ko
Publication of KR20210023175A publication Critical patent/KR20210023175A/ko
Application granted granted Critical
Publication of KR102246498B1 publication Critical patent/KR102246498B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/81—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G06K9/00362—
    • B60K2360/21—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/70—Energy storage systems for electromobility, e.g. batteries

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

자율주행 차량용 칵핏모듈 및 디스플레이 모듈 위치제어 방법을 개시한다. 실시예에 따른 자율주행차량용 칵핏모듈은 탑승자의 움직임과 생체정보 등 다양한 탑승자 정보를 인식하고, 자율주행 차량의 주행정보와 주행상황을 기반으로 칵핏모듈의 위치 및 디스플레이 모듈의 위치와 탑승자에게 제공되는 정보 컨텐츠를 제어하는 자율주행 차량용 칵핏 모듈을 제공한다.

Description

자율주행 차량용 칵핏모듈 및 디스플레이 모듈 위치제어 방법 {COCKPIT MODULE FOR AUTONOMOUS VEHICLE AND METHOD FOR CONTROLLING DISPLAY MODULE POSITION}
자율주행 차량의 디스플레이 모듈 위치제어 방법에 관한 것으로 구체적으로, 탑승자의 움직임과 주행상태에 따라 디스플레이 객체 및 디스플레이 모듈의 위치와 컨텐츠를 제어하는 자율주행 차량용 칵핏모듈에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
칵핏모듈(COCKPIT MODULE)은 자동차 내장부품으로서 운전석의 전면 유리하단에 부착되며 속도계, 연료계, 수온계 등의 미터기를 일체화시킨 클러스터와 공조장치, 라디오, 시계, 재떨이, 소형 보관 품을 넣을 수 있는 장치 등으로 이루어져 있다. 운전 중에 칵핏모듈 구성을 조작 하기도 하고 확인하기도 하므로 디자인, 편의성, 안전성 측면 에서 매우 중요한 부품이다. 칵핏모듈은 인스트루먼트 패널, 카울 크로스 바, 공조시스템, 에어백 등의 부품을 패키지 및 기능으로 통합설계 및 조립 되여 완성 차 생산 라인에 공급되는 제품단위로서 많은 부품을 동시 설계, 개발, 조립하여 부품 수 축소통합과, 중량 절감, 생산성 향상 및 품질 향상에 기여하고 있다.
차량주행 환경이 스마트화 되어가면서 단계적인 자율주행이 차량에 적용되고 있고, 이에 자동차는 또 하나의 생활공간으로 진화해 나가고 있다. CES 2018에서 도요타의 이팔레트(e-Palette)를 미래 비전으로 제시하면서 자동차의 용도가 단순이동 수단에서 다양한 목적성과 유동성을 가지는 모빌리티 산업으로 변화되고 있는 추세이다. 자율주행 기술의 발전과 함께 차량의 용도가 변화하고 실내 환경이 변화함에 따라 모빌리티 컨셉 또한 진화하고 있다. 구체적으로, 자동차의 내부가 사무실, 아파트, 연구실, 쇼핑몰로 진화하는 개념으로 바뀌고 있다. 특히 4차 산업혁명에 따른 공유경제 개념이 자율주행과 맞물리면서, 차량의 소유개념이 없어지고 있다. 이는 마치 우리가 주택을 구입할 때, 구조와 인테리어에 더 큰 관심을 두듯이 차량도 외관보다 실내에 더 큰 관심을 가질 것으로 판단된다. 이에 앞으로 선보일 자동차의 가장 큰 변화는 실내가 될 것으로 보인다.
이와 같이, 자율주행시대는 자동차의 단순한 기술적 진화뿐만이 아닌, 자동차의 사용자, 사용방식, 도시환경, 교통시스템 전반에 이르는 대대적인 패러다임 변화를 가져 올 것으로 예상된다. 이에 따라, 새롭게 재편될 미래자율주행시대의 글로벌 자동차시장을 선점하고 신시장을 개척하기 위해선, 도시환경-교통인프라-도시민라이프스타일을 아우르는 중장기적, 융합적 관점의 예측에 기반한 자율주행차의 인카서비스와 신모빌리티 비즈니스, 그리고 이러한 다양성을 효율적으로 구현 할 수 있는 가변형(모듈형) 내부 디자인에 대한 연구 개발이 필요하다.
1. 한국 특허등록 제 10-1519741 호(2015.05.06) 2. 한국 특허등록 제 10-0783598 호(2007.12.03)
탑승자의 움직임과 생체정보 등 다양한 탑승자 정보를 인식하고, 자율주행 차량의 주행정보와 주행상황을 기반으로 칵핏모듈의 위치 및 디스플레이 모듈의 위치와 탑승자에게 제공되는 정보 컨텐츠를 제어하는 자율주행 차량용 칵핏 모듈을 제공한다.
실시예에 따른 자율주행 차량용 칵핏모듈은 차량 탑승자의 움직임과 제스처를 인식하는 모션인식부; 인식된 탑승자 움직임에 따라 클러스터 및 CID(Center Infotainment Display)를 포함하는 디스플레이 모듈의 위치를 제어하는 무빙 디스플레이 제어부; 자율주행 차량의 전방, 후방 및 측면에 장착된 카메라에 의한 차량 주변공간 모니터링 영상을 디스플레이 하는 차량주변공간모니터링(AVM, Around View Monitoring)부; 차량주변공간 모니터링부를 통해 획득한 차량 주변공간 모니터링 영상을 클러스터에 표시되는 주행데이터와 통합하여 자율주행 차량용 주행정보디스플레이 객체를 생성하는 정보객체생성부; 를 포함한다.
다른 실시예에 따른 자율주행 차량용 칵핏모듈의 디스플레이 모듈 위치제어 방법은 (A) 모션인식부에서 차량 탑승자의 움직임을 인식하는 단계; (B) 무빙디스플레이 제어부에서 인식된 탑승자 움직임에 따라 클러스터 및 CID(Center Infotainment Display)를 포함하는 디스플레이 모듈의 위치를 제어하는 단계; (C) 차량주변공간모니터링부에서 자율주행 차량의 전방, 후방 및 측면에 장착된 카메라에 의한 차량 주변공간 모니터링 영상을 디스플레이 하는 단계; (D) 정보객체생성부에서 차량주변공간 모니터링부를 통해 획득한 차량 주변공간 모니터링 영상을 클러스터에 표시되는 주행데이터와 통합하여 자율주행 차량용 주행객체를 생성하는 단계; 를 포함한다.
이상에서와 같은 자율주행 차량용 칵핏모듈의 위치와 정보 컨텐츠를 탑승자 정보 및 차량 주행 정보에 따라 자동으로 조정하여, 자율주행 중 탑승자가 차 안에서 보다 편안한 시간을 보낼 수 있도록 한다.
또한, 자율주행차의 주행 데이터를 교통상황과 탑승자의 자세, 차량 안 위치, 움직임에 따라 다르게 설정하여 제공하고 디스플레이 모듈의 위치 및 디스플레이 되는 정보객체의 크기와 기울기 및 컨텐츠 종류까지 제어함으로써, 탑승자가 주행정보를 빠르고 편리하게 인식 할 수 있도록 한다.
일정, 시간, 이동위치, 동선 등을 포함하는 탑승자 정보와 차량 주행정보에 따라 자율주행 차량의 조명밝기, 출력 사운드 크기 등 자율주행 차량 내부 환경 정보를 제어하여 자율 주행 동안 탑승자 맞춤형 최적의 차량 내부 환경을 제공 받을 수 있도록 한다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 실시예에 따른 자율주행 차량용 칵핏 모듈의 주요 기능을 설명하기 위한 도면
도 2는 실시예에 따른 칵핏모듈의 데이터 처리 블록을 나타낸 도면
도 3은 실시예에 따른 칵핏모듈에서 차량 실내환경을 제어하고 디스플레이 모듈의 위치와 출력 정보를 제어하는 예를 나타낸 도면
도 4는 실시예에 따른 자율주행 차량용 칵핏모듈의 디스플레이 모듈 위치제어 방법을 나타낸 도면
도 5는 실시예에 따른 칵핏모듈에 의해 차량 내부 디스플레이 모듈의 위치와 컨텐츠가 제어되는 예를 나타낸 도면
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 실시예에 따른 자율주행 차량용 칵핏 모듈의 주요 기능을 설명하기 위한 도면이다.
도 1을 참조하면, 실시예에 따른 자율주행 차량용 칵핏 모듈은 차량에 탑승한 사용자 정보와 차량 주행정보에 따라 칵핏모듈에 구성된 디스플레이모듈의 위치와 탑승자에게 제공되는 정보 컨텐츠 종류 및 크기를 조정하여 자율주행 차량에 탑승한 사용자에게 최적의 시각 자료와 차량내부 환경을 제공할 수 있도록 한다. 본 명세서에서 사용되는 ‘모듈’ 이라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware),
임베디드 코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다.
실시예에서 자율주행 차량용 칵핏 모듈은 탑승자 정보와 차량 주행 정보에 따라 정보전달요소를 확장 시킨다. 예컨대, 칵핏 모듈은 탑승자 정보 및 차량 주행정보에 기반하여 대화면 디스플레이를 적용하거나, 디지털 클러스터를 적용하여 대화면 디스플레이와 디지털 클러스터가 디스플레이 되는 크기와 기울기, 선명도 등을 차량 내부 환경에 따라 자동으로 조정하여 탑승자에게 최적의 디스플레이품질 및 컨텐츠를 제공할 수 있도록 한다. 또한, 실시예에서 칵핏모듈은 차량 주행상태와 주행환경 및 탑승자의 상태정보와 행동 정보를 고려하여 차량 내 조명을 조정한다. 예컨대, 칵핏모듈은 차량 내부의 패턴조명을 활용하거나 조명 조도를 조정하고 탑승자가 위치하는 공간에 따라 조명의 온 오프와 밝기를 유기적으로 조정할 수 있도록 한다. 또한, 실시예에 따른 칵핏모듈은 탑승자 제스처와 모션을 인식하여 무빙 디스플레이 제어와 디스플레이 컨텐츠를 제어하여 사용자 편의성을 극대화 할 수 있도록 한다.
도 2는 실시예에 따른 칵핏모듈의 데이터 처리 블록을 나타낸 도면이다.
도 2를 참조하면, 실시예에 따른 칵핏모듈(200)은 모션인식부(210), 무빙 디스플레이제어부(230), 차량 주변공간 모니터링부(250), 정보객체 생성부(270) 및 피드백부(290)을 포함하여 구성될 수 있다.
모션인식부(210)는 차량 탑승자의 움직임을 인식한다. 실시예에서 모션인식부(210)는 차량 내부에 설치된 센서를 통해 탑승자의 움직임, 동작 및 탑승자의 차량 내 위치를 인식할 수 있다. 또한, 실시예에서 모션인식부(210)는 자율주행 차량에 설치된 센서를 통해, 차량 탑승자의 생체정보를 인식하고 자율주행 차량에 등록된 탑승자의 스마트 단말로부터 탑승자의 최근 생체정보 데이터 및 일정데이터를 전달받아 좌석 등받이 기울기, 차량 조명밝기, 출력사운드 크기를 포함하는 차량 환경 설정 정보를 제어하도록 한다.
무빙 디스플레이 제어부(230)는 인식된 탑승자 움직임에 따라 클러스터 및 CID(Center Infotainment Display)를 포함하는 디스플레이 모듈의 위치를 제어한다. 예컨대, 무빙 디스플레이 제어부(230)는 탑승자 움직임과 자세를 인식하고 탑승자의 시선과 시야를 파악하여 탑승자 시야에 디스플레이 객체가 포함되도록 디스플레이 모듈의 위치와 출력컨텐츠를 제어한다. 구체적으로, 탑승자가 독서 중인 상태로 자율주행 하는 경우, 좌석의 기울기와 탑승자 제스처를 통해 탑승자 시야를 파악하고 차량 속도, 남은 주행시간, 교통상태, 경로, 차량 주변 공간 정보 등이 탑승자 시야 안에서 디스플레이 되도록 무빙 디스플레이와 디스플레이 모듈을 조정한다.
또한, 무빙 디스플레이 제어부(230)는 자율주행 차량 내부 및 외부에 설치된 센서와 카메라로부터 수집되는 차량 주행정보, 차량상태정보 및 사용자의 움직임과 탑승자 상태정보에 따라 디스플레이 모듈의 위치를 실시간으로 제어하고, 인지된 탑승자의 자세에 따라 디스플레이 모듈의 기울기와 방향을 제어할 수 있다.
차량주변공간모니터링(AVM, Around View Monitoring)부(250)는 자율주행 차량의 전방, 후방 및 측면에 장착된 카메라에 의한 차량 주변공간 모니터링 영상을 디스플레이 한다. 차의 주변을 쉽게 확인 할 수 있게 도와주는 장비다. 차량에 설치된 전방, 후방 및 측면에 장착된 카메라에 의한 차량 주변공간 모니터링 영상을 주행정보에 따라 선택하는 실시예에서 AVM(Around View Monitoring)은 차의 앞뒤와 좌우 사이드 미러에 한 개씩 총 4개의 카메라로 구성 된다. 실시예에서 AVM은 전, 후, 좌우의 촬영물을 조합해 지붕 위에서 내려다본듯한 영상을 생성할 수 있다. 실시예에서 차량주변공간모니터링부(250)는 차량 주행 상태에 따라 디스플레이 되는 차량주변공간 영상을 선택할 수 있다. 예컨대, 차량이 후진 중인 경우에는 차량 후방 카메라에 의해 생성된 차량 주변공간 영상을 출력하도록 하고, 내비게이션에서 추천되는 경로에 따라 차량이 좌회전 또는 우회전 해야 하는 경우 측면 영상을 디스플레이 되는 정보 객체에 포함시켜 탑승자에게 제공할 수 있다.
정보객체 생성부(270)는 차량주변공간 모니터링부를 통해 획득한 차량 주변공간 모니터링 영상을 클러스터에 표시되는 주행데이터와 통합하여 자율주행 차량용 주행정보 디스플레이객체를 생성한다. 또한 정보객체생성부(270) 는 차량 주행상태와 경로에 따라 선택된 주변공간 모니터링 영상을 주행데이터와 통합하여 자율주행 차량용 주행정보디스플레이 객체를 생성할 수 있다. 실시예에서 주행정보 디스플레이 객체는 탑승자에게 제공되는 차량 주행정보로서, 클러스터(계기판)에 표시되는 차속, 연료상태, 가속상태를 포함하는 주행정보와, 차량의 현재 위치 및 동선, 목적지까지의 경로, 도착시간, 교통상태 등을 포함하는 내비게이션 정보와, 탑승자의 일정 및 개인정보까지 포함할 수 있다.
실시예에서 정보객체 생성부(270)는 탑승자 설정 및 탑승자의 이동경로와 일정에 따라 주행정보 디스플레이 객체에 포함되는 정보를 조정할 수 있다. 예컨대, 정보객체 생성부(270)는 탑승자가 설정한 주행정보만 표시되도록 하거나, 탑승자의 동작이나 상황에 따라 주행정보의 종류를 다르게 설정할 수 있다.
또한, 실시예에서 정보객체 생성부(270)는 주행모드에 따라 디스플레이 되는 정보객체의 밝기, 선명도를 조정하여 출력한다. 예컨대, 주행 중 탑승자가 수면모드를 선택한 경우 정보객체에 차량 내부 조도를 반영하여 선명도와 밝기를 일정 수준 미만으로 출력할 수 있다. 또한, 탑승자가 독서, 스터디, 회의 중인 경우에는 긴급상황에만 주행정보가 표시되도록 하거나, 디스플레이 되는 주행 정보 종류를 최소화하여 설정할 수 있다.
피드백부(290)는 자율주행 차량 내부 및 외부에 설치된 센서와 카메라로부터 수집되는 차량 주행정보, 차량상태정보 및 사용자의 움직임과 탑승자 상태정보를 감지하여, 감지된 실시간 차량 정보 및 탑승자 정보를 무빙 디스플레이 제어부로 전달하여 디스플레이 모듈의 위치 제어를 피드백 한다. 예컨대, 피드백부(290)는 무빙디스플레이제어부(230)에서 1차적으로 디스플레이모듈의 위치와 각도가 조정되면, 이후 탑승자의 차량 내 위치, 제스처, 모션 및 차량 주행정보를 지속적으로 전달받아 무빙디스플레이 제어부(230)로 전달하여 디스플레이모듈의 위치와 각도가 변경되는 차량 주행정보와 탑승자 정보에 대응하여 수정되도록 할 수 있다. 또한, 피드백부(290)는 무빙 디스플레이 제어부(230)에서 디스플레이모듈의 1차 위치 제어 이후, 일정 시간 간격 마다 탑승자 정보와 주행정보를 수신하여 디스플레이 모듈의 위치 제어 신호를 생성하고 이를 통해 디스플레이 모듈의 위치를 재조정할 수 있다.
도 3은 실시예에 따른 칵핏모듈에서 차량 실내환경을 제어하고 디스플레이 모듈의 위치와 출력 정보를 제어하는 예를 나타낸 도면이다.
도 3에 도시된 바와 같이, 실시예에서 칵핏모듈은 탑승자 정보와 주행정보에 따라 차량에 설치된 디스플레이모듈(a)의 위치, 각도, 출력정보를 조정한다. 구체적으로 칵핏모듈은 주행 모드와 좌석의 기울기에 따라 디스플레이 모듈의 위치와 기울기 각도를 제어할 수 있다. 또한, 실시예에서 칵핏모듈은 주행모드에 따라 탑승객이 위치한 좌석의 기울기를 조정하거나 차량 전방에 주행 정보(b)를 디스플레이 하거나 경로정보와 차량 위치정보(C)의 출력 또한 조정할 수 있다.
이하에서는 자율주행 차량용 칵핏모듈의 디스플레이 모듈 위치제어 방법에 대해서 차례로 설명한다. 실시예에 따른 자율주행 차량용 칵핏모듈의 디스플레이 모듈 위치제어 방법의 작용(기능)은 칵핏모듈상의 기능과 본질적으로 같은 것이므로 도 1 내지 도 3과 중복되는 설명은 생략하도록 한다.
도 4는 실시예에 따른 자율주행 차량용 칵핏모듈의 디스플레이 모듈 위치제어 방법을 나타낸 도면이다.
S410 단계에서는 모션인식부에서 차량 탑승자의 움직임을 인식한다. S430 단계에서는 무빙 디스플레이 제어부에서 상기 인식된 탑승자 움직임에 따라 클러스터 및 CID(Center Infotainment Display)를 포함하는 디스플레이 모듈의 위치를 제어한다. 실시예에서 S430 단계에서는 자율주행 차량에 설치된 센서를 통해, 차량 탑승자의 생체정보를 인식하고 자율주행 차량에 등록된 탑승자의 스마트 단말로부터 탑승자의 최근 생체정보 데이터 및 일정데이터를 전달받아 좌석 등받이 기울기, 차량 조명밝기, 출력사운드 크기를 포함하는 차량 환경 설정 정보를 제어하는 단계; 및 자율주행 차량 내부 및 외부에 설치된 센서와 카메라로부터 수집되는 차량 주행정보, 차량상태정보 및 사용자의 움직임과 탑승자 상태정보에 따라 디스플레이 모듈의 위치를 실시간으로 제어하고, 인지된 탑승자의 자세에 따라 디스플레이 모듈의 기울기와 방향을 제어한다.
S450 단계에서는 차량주변공간모니터링부에서 자율주행 차량의 전방, 후방 및 측면에 장착된 카메라에 의한 차량 주변공간 모니터링 영상을 디스플레이 한다.
S470 단계에서는 정보제공객체생성부에서 차량주변공간 모니터링부를 통해 획득한 차량 주변공간 모니터링 영상을 클러스터에 표시되는 주행데이터와 통합하여 자율주행 차량용 주행객체를 생성한다. S470 단계는 차량 주행상태와 경로에 따라 선택된 주변공간 모니터링 영상을 주행데이터와 통합하여 자율주행 차량용 주행정보디스플레이 객체를 생성하고, 탑승자 설정 및 탑승자의 이동경로와 일정에 따라 주행정보 디스플레이 객체에 포함되는 정보를 조정한다.
도 5는 실시예에 따른 칵핏모듈에 의해 차량 내부 디스플레이 모듈의 위치와 컨텐츠가 제어되는 예를 나타낸 도면이다.
도 5를 참조하면, 실시예에 따른 칵핏 모듈은 탑승자 정보와 주행정보에 따라 디지털 클러스터(c)의 설정 및 디지털 클러스터에 표시되는 정보의 종류와 방식을 제어할 수 있다. 예컨대, 차량이 일정시간 정속 주행 하는 경우, 원형으로 표시되는 디스플레이 방식을 차속을 숫자로 표시하는 등으로 변경할 수 있고, 탑승자가 설정한 필요정보만 표시되도록 설정할 수 있다. 또한, 차량 내부 공간에서 회의를 진행하는 경우, 좌석 배치를 변경하거나, 디스플레이 되는 정보 객체가 차량 내부 측면(d)에 나타나도록 디스플레이 모듈의 위치를 조정할 수 있다.
이상에서와 같은 자율주행 차량용 칵핏모듈의 위치와 정보 컨텐츠를 탑승자 정보 및 차량 주행 정보에 따라 자동으로 조정하여, 자율주행 중 탑승자가 차 안에서 보다 편안한 시간을 보낼 수 있도록 한다. 또한, 자율주행차의 주행 데이터를 교통상황과 탑승자의 자세, 차량 안 위치, 움직임에 따라 다르게 설정하여 제공하고 디스플레이 모듈의 위치 및 디스플레이 되는 정보객체의 크기와 기울기까지 제어함으로써, 탑승자가 주행정보를 빠르고 편리하게 인식 할 수 있도록 한다.
일정, 시간, 이동위치, 동선 등을 포함하는 탑승자 정보와 차량 주행정보에 따라 자율주행 차량의 조명밝기, 출력 사운드 크기 등 자율주행 차량 내부 환경 정보를 제어하여 자율 주행 동안 탑승자 맞춤형 최적의 차량 내부 환경을 제공 받을 수 있도록 한다.
개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시예에 한정되지 않는다.

Claims (10)

  1. 자율주행 차량용 칵핏모듈에 있어서,
    차량 탑승자의 움직임과 제스처를 인식하는 모션인식부;
    상기 인식된 탑승자 움직임에 따라 클러스터 및 CID(Center Infotainment Display)를 포함하는 디스플레이 모듈의 위치를 제어하는 무빙 디스플레이 제어부;
    자율주행 차량의 전방, 후방 및 측면에 장착된 카메라에 의한 차량 주변공간 모니터링 영상을 디스플레이 하는 차량주변공간모니터링(AVM, Around View Monitoring)부;
    상기 차량주변공간 모니터링부를 통해 획득한 차량 주변공간 모니터링 영상을 클러스터에 표시되는 주행데이터와 통합하여 자율주행 차량용 주행정보디스플레이 객체를 생성하는 정보객체생성부; 를 포함하는 자율주행 차량용 칵핏모듈.
  2. 제 1항에 있어서, 상기 자율주행 차량용 칵핏모듈은
    자율주행 차량 내부 및 외부에 설치된 센서와 카메라로부터 수집되는 차량 주행정보, 차량상태정보 및 사용자의 움직임과 탑승자 상태정보를 감지하여, 감지된 실시간 차량 정보 및 탑승자 정보를 상기 무빙 디스플레이 제어부로 전달하여 상기 디스플레이 모듈의 위치 제어를 피드백 하는 피드백부; 를 더 포함하는 것을 특징으로 하는 자율주행 차량용 칵핏모듈.
  3. 제 1항에 있어서, 상기 모션인식부는
    상기 자율주행 차량에 설치된 센서를 통해, 상기 차량 탑승자의 생체정보를 인식하고 자율주행 차량에 등록된 탑승자의 스마트 단말로부터 탑승자의 최근 생체정보 데이터 및 일정데이터를 전달받아 좌석 등받이 기울기, 차량 조명밝기, 출력사운드 크기를 포함하는 차량내부환경 설정정보를 제어하도록 하는 것을 특징으로 하는 자율주행 차량용 칵핏모듈.
  4. 제 1항에 있어서, 상기 무빙 디스플레이 제어부;는
    자율주행 차량 내부 및 외부에 설치된 센서와 카메라로부터 수집되는 차량 주행정보, 차량상태정보 및 사용자의 움직임과 탑승자 상태정보에 따라 상기 디스플레이 모듈의 위치를 실시간으로 제어하고, 인지된 탑승자의 자세에 따라 디스플레이 모듈의 기울기와 방향을 제어하는 것을 특징으로 하는 자율주행 차량용 칵핏모듈.
  5. 제 1항에 있어서, 상기 차량주변공간 모니터링부;는
    상기 차량에 설치된 전방, 후방 및 측면에 장착된 카메라에 의한 차량 주변공간 모니터링 영상을 주행정보에 따라 선택하는 것을 특징으로 하는 자율주행 차량용 칵핏모듈.
  6. 제 1항에 있어서, 상기 정보제공객체생성부; 는
    차량 주행상태와 경로에 따라 선택된 주변공간 모니터링 영상을 주행데이터와 통합하여 자율주행 차량용 주행정보디스플레이 객체를 생성하는 것을 특징으로 하는 자율주행 차량용 칵핏모듈.
  7. 제 6항에 있어서, 상기 정보제공객체생성부; 는
    탑승자 설정 및 탑승자의 이동경로와 일정에 따라 주행정보 디스플레이 객체에 포함되는 정보를 조정하는 것을 특징으로 하는 자율주행 차량용 칵핏모듈.
  8. 자율주행 차량용 칵핏모듈의 디스플레이 모듈 위치제어 방법에 있어서,
    (A) 모션인식부에서 차량 탑승자의 움직임을 인식하는 단계;
    (B) 무빙디스플레이 제어부에서 상기 인식된 탑승자 움직임에 따라 클러스터 및 CID(Center Infotainment Display)를 포함하는 디스플레이 모듈의 위치를 제어하는 단계;
    (C) 차량주변공간모니터링부에서 자율주행 차량의 전방, 후방 및 측면에 장착된 카메라에 의한 차량 주변공간 모니터링 영상을 디스플레이 하는 단계;
    (D) 정보객체생성부에서 상기 차량주변공간 모니터링부를 통해 획득한 차량 주변공간 모니터링 영상을 클러스터에 표시되는 주행데이터와 통합하여 자율주행 차량용 주행객체를 생성하는 단계; 를 포함하는 자율주행 차량용 칵핏모듈의 디스플레이 모듈 위치제어 방법.
  9. 제 8항에 있어서, 상기 (D) 의 자율주행 차량용 주행정보디스플레이 객체를 생성하는 단계; 는
    차량 주행상태와 경로에 따라 선택된 주변공간 모니터링 영상을 주행데이터와 통합하여 자율주행 차량용 주행정보디스플레이 객체를 생성하고,
    탑승자 설정 및 탑승자의 이동경로와 일정에 따라 주행정보 디스플레이 객체에 포함되는 정보를 조정하는 것을 특징으로 하는 자율주행 차량용 칵핏모듈의 디스플레이 모듈 위치제어 방법.
  10. 제 8항에 있어서, 상기 (B) 무빙 디스플레이 제어부에서 상기 인식된 탑승자 움직임에 따라 클러스터 및 CID(Center Infotainment Display)를 포함하는 디스플레이 모듈의 위치를 제어하는 단계; 는
    상기 자율주행 차량에 설치된 센서를 통해, 상기 차량 탑승자의 생체정보를 인식하고 자율주행 차량에 등록된 탑승자의 스마트 단말로부터 탑승자의 최근 생체정보 데이터 및 일정데이터를 전달받아 좌석 등받이 기울기, 차량 조명밝기, 출력사운드 크기를 포함하는 차량 환경 설정 정보를 제어하는 단계; 및
    자율주행 차량 내부 및 외부에 설치된 센서와 카메라로부터 수집되는 차량 주행정보, 차량상태정보 및 사용자의 움직임과 탑승자 상태정보에 따라 상기 디스플레이 모듈의 위치를 실시간으로 제어하고, 인지된 탑승자의 자세에 따라 디스플레이 모듈의 기울기와 방향을 제어하는 단계; 를 포함하는 것을 특징으로 하는 자율주행 차량용 칵핏모듈의 디스플레이 모듈 위치제어 방법.

KR1020190103015A 2019-08-22 2019-08-22 자율주행 차량용 칵핏모듈 및 디스플레이 모듈 위치제어 방법 KR102246498B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190103015A KR102246498B1 (ko) 2019-08-22 2019-08-22 자율주행 차량용 칵핏모듈 및 디스플레이 모듈 위치제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190103015A KR102246498B1 (ko) 2019-08-22 2019-08-22 자율주행 차량용 칵핏모듈 및 디스플레이 모듈 위치제어 방법

Publications (2)

Publication Number Publication Date
KR20210023175A true KR20210023175A (ko) 2021-03-04
KR102246498B1 KR102246498B1 (ko) 2021-05-03

Family

ID=75174871

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190103015A KR102246498B1 (ko) 2019-08-22 2019-08-22 자율주행 차량용 칵핏모듈 및 디스플레이 모듈 위치제어 방법

Country Status (1)

Country Link
KR (1) KR102246498B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100783598B1 (ko) 2006-10-27 2007-12-10 덕양산업 주식회사 Ｒｆｉｄ송수신신호를 이용한 칵핏모듈 생산 제어장치 및제어방법
KR101519741B1 (ko) 2013-11-25 2015-05-12 현대자동차주식회사 자동차의 칵핏 모듈용 가이드 마운팅 브라켓
KR20150062317A (ko) * 2013-11-29 2015-06-08 현대모비스 주식회사 자동차의 통합 멀티미디어 장치
KR20170029071A (ko) * 2015-09-04 2017-03-15 현대모비스 주식회사 지능형 차량 제어 방법
KR20180134604A (ko) * 2017-06-09 2018-12-19 현대자동차주식회사 주행 정보 안내 장치 및 방법, 그리고 차량 시스템
KR20190088090A (ko) * 2017-12-26 2019-07-26 엘지전자 주식회사 차량에 구비된 디스플레이 장치
KR20190095908A (ko) * 2018-11-21 2019-08-16 엘지전자 주식회사 탑승자 모니터링 방법 및 이를 위한 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100783598B1 (ko) 2006-10-27 2007-12-10 덕양산업 주식회사 Ｒｆｉｄ송수신신호를 이용한 칵핏모듈 생산 제어장치 및제어방법
KR101519741B1 (ko) 2013-11-25 2015-05-12 현대자동차주식회사 자동차의 칵핏 모듈용 가이드 마운팅 브라켓
KR20150062317A (ko) * 2013-11-29 2015-06-08 현대모비스 주식회사 자동차의 통합 멀티미디어 장치
KR20170029071A (ko) * 2015-09-04 2017-03-15 현대모비스 주식회사 지능형 차량 제어 방법
KR20180134604A (ko) * 2017-06-09 2018-12-19 현대자동차주식회사 주행 정보 안내 장치 및 방법, 그리고 차량 시스템
KR20190088090A (ko) * 2017-12-26 2019-07-26 엘지전자 주식회사 차량에 구비된 디스플레이 장치
KR20190095908A (ko) * 2018-11-21 2019-08-16 엘지전자 주식회사 탑승자 모니터링 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
KR102246498B1 (ko) 2021-05-03

Similar Documents

Publication Publication Date Title
US10317900B2 (en) Controlling autonomous-vehicle functions and output based on occupant position and attention
CN107351763B (zh) 用于车辆的控制装置
KR101732983B1 (ko) 차량용 리어 콤비네이션 램프 및 이를 포함하는 차량
EP3100913B1 (en) Vehicle display apparatus and vehicle including the same
US20170343375A1 (en) Systems to dynamically guide a user to an autonomous-driving vehicle pick-up location by augmented-reality walking directions
KR101904373B1 (ko) 차량용 디스플레이 장치 및 차량
KR20170141484A (ko) 차량용 제어장치 및 그것의 제어방법
CN105556246A (zh) 具有用户识别和车辆功能控制的交互式车辆窗户显示系统
KR101927170B1 (ko) 차량과 모바일 통신 디바이스 접속을 위한 시스템 및 방법
US10983691B2 (en) Terminal, vehicle having the terminal, and method for controlling the vehicle
US11701984B2 (en) Apparatus and method for controlling interior of vehicle
KR20160114486A (ko) 이동단말기 및 이동 단말기의 제어방법
CN111231860A (zh) 用于车辆的操作模块、操作方法、操作系统及存储介质
KR101750875B1 (ko) 차량용 진단 장치
KR102246498B1 (ko) 자율주행 차량용 칵핏모듈 및 디스플레이 모듈 위치제어 방법
KR102286569B1 (ko) 스마트카의 시스루 디스플레이 제어 시스템 및 방법
KR101807788B1 (ko) 차량용 디스플레이 장치 및 그 제어방법
CN107831825B (zh) 用于安装到参与车辆上并在其间转移用户配置文件的柔性模块化屏幕装置
KR20170086293A (ko) 차량 운전 보조 장치 및 이의 동작 방법
JP7058125B2 (ja) 情報処理装置及び情報処理方法
KR20220010655A (ko) 주행모드 및 사용자 제어모션에 따른 자율주행 차량의 동적 칵핏 제어 시스템
CN107585115B (zh) 车辆、包括该车辆的车辆系统以及车辆系统的控制方法
KR20220135571A (ko) 차량 인포테인먼트 시스템 및 이의 동작 방법
KR20220067606A (ko) 차량 내 전자 장치 및 차량 내 전자 장치에서 디스플레이 방법
US10970998B1 (en) Systems, methods, and devices for remotely controlling functionalities of vehicles

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant