KR102199809B1 - 상반신 이미지 기반 차량 시트 제어 방법 및 장치 - Google Patents

상반신 이미지 기반 차량 시트 제어 방법 및 장치 Download PDF

Info

Publication number
KR102199809B1
KR102199809B1 KR1020190024426A KR20190024426A KR102199809B1 KR 102199809 B1 KR102199809 B1 KR 102199809B1 KR 1020190024426 A KR1020190024426 A KR 1020190024426A KR 20190024426 A KR20190024426 A KR 20190024426A KR 102199809 B1 KR102199809 B1 KR 102199809B1
Authority
KR
South Korea
Prior art keywords
length
upper body
dimensions
image
vehicle seat
Prior art date
Application number
KR1020190024426A
Other languages
English (en)
Other versions
KR20200105733A (ko
Inventor
박태준
서광원
정현철
Original Assignee
한양대학교 에리카산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 에리카산학협력단 filed Critical 한양대학교 에리카산학협력단
Priority to KR1020190024426A priority Critical patent/KR102199809B1/ko
Publication of KR20200105733A publication Critical patent/KR20200105733A/ko
Application granted granted Critical
Publication of KR102199809B1 publication Critical patent/KR102199809B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224—Non-manual adjustments, e.g. with electrical operation
    • B60N2/0244—Non-manual adjustments, e.g. with electrical operation with logic circuits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224—Non-manual adjustments, e.g. with electrical operation
    • B60N2/0244—Non-manual adjustments, e.g. with electrical operation with logic circuits
    • B60N2/0273—Non-manual adjustments, e.g. with electrical operation with logic circuits taking into account user data, e.g. knee height or physical state
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224—Non-manual adjustments, e.g. with electrical operation
    • B60N2/0244—Non-manual adjustments, e.g. with electrical operation with logic circuits
    • B60N2/0278—Non-manual adjustments, e.g. with electrical operation with logic circuits using sensors external to the seat for measurements in relation to the seat adjustment, e.g. for identifying the presence of obstacles or the appropriateness of the occupants position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • B60N2002/0268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

상반신 이미지 기반 차량 시트 제어 방법 및 장치이 개시된다. 본 발명의 실시 예에 따른 상반신 이미지 기반 차량 시트 제어 방법은 운전자의 상반신 이미지를 촬영하는 단계, 상기 상반신 이미지로부터 복수의 상반신 부위 인체 치수들을 측정하는 단계, 상기 복수의 상반신 부위 인체 치수들 중에서 적어도 하나를 소정의 상관식에 대입하여 적어도 하나의 관심 부위 인체 치수를 추론하는 단계 및 상기 관심 부위 인체 치수에 기초하여 차량 시트의 상태를 제어하는 단계를 포함한다

Description

상반신 이미지 기반 차량 시트 제어 방법 및 장치{METHOD AND DEVICE FOR CONTROLLING VEHICLE SEATS BASED ON UPPER BODY IMAGE}
본 발명은 차량 시트 제어 방법 및 장치에 관한 것으로, 특히, 별도의 센서 추가 없이 차량 내에 구비되는 카메라를 이용해 차량 내 맞춤 서비스를 제공할 수 있는 상반신 이미지 기반 차량 시트 제어 방법 및 장치에 관한 것이다.
최근 정보통신기술의 발달에 따라 향상된 사용자 경험을 제공하기 위한 다양한 방법이 연구되고 있다. 예를 들어, 별도의 입력이 필요하고 실시간 변경이 어려웠던 기존의 서비스방식에서 벗어나 별도의 입력이 필요 없고 실시간으로 변경 가능한 능동적이고 양방향적인 서비스가 도입되고 있다. 이와 같은 서비스를 위해서 탑승자를 구별하거나 특징을 추론하는 것은 매우 중요한 작업이다. 신체 정보, 즉 탑승자의 여러 가지 인체 치수를 파악하는 것은 능동적인 서비스 제공의 폭을 넓혀줄 수 있다.
하지만 종래에는 인체 치수 기반 서비스를 제공하기 위해 사용자에게 데이터 입력을 요구하거나 인체 치수를 획득하기 위한 별도의 센서를 이용해 인체 치수를 측정하고 있다. 이와 같은 종래 기술은 능동적인 서비스가 아니거나 추가적인 비용이 발생한다. 따라서 차량 내 맞춤형 서비스를 제공하기 위해 범용적으로 사용되는 센서를 이용해 인체 치수 기반 서비스를 제공하기 위한 기술이 요구된다.
차량 내에서 맞춤형 서비스를 제공하기 위해 가장 많이 사용하는 센서 중 하나가 바로 차량 내 카메라(비전 센서)인데, 차량 내 카메라로 받아오는 영상에는 주로 운전자의 상반신에 대한 정보가 담겨 있는데, 운전자의 상반신 정보에서 시트 조절 등을 위한 다리길이, 팔길이, 앉은키에 해당하는 정보를 확인하기란 매우 어렵다.
본 발명이 이루고자 하는 기술적인 과제는 별도의 센서 추가 없이 차량 내에 구비되는 카메라를 이용해 차량 내 맞춤 서비스를 제공할 수 있는 상반신 이미지 기반 차량 시트 제어 방법 및 장치를 제공하는 것이다.
본 발명의 실시 예에 따른 상반신 이미지 기반 차량 시트 제어 방법은 운전자의 상반신 이미지를 촬영하는 단계, 상기 상반신 이미지로부터 복수의 상반신 부위 인체 치수들을 측정하는 단계, 상기 복수의 상반신 부위 인체 치수들 중에서 적어도 하나를 소정의 상관식에 대입하여 적어도 하나의 관심 부위 인체 치수를 추론하는 단계 및 상기 관심 부위 인체 치수에 기초하여 차량 시트의 상태를 제어하는 단계를 포함한다
상기 추론하는 단계는 상기 복수의 상반신 부위 인체 치수들 중에서 상기 관심 부위 인체 치수와의 상관도가 가장 높은 것을 주요 인체 치수로 선택하는 단계 및 상기 주요 인체 치수와 상기 관심 부위 인체 치수 간의 상관식에 상기 주요 인체 치수를 대입하여 상기 관심 부위 인체 치수를 추론하는 단계를 포함할 수 있다.
상기 추론하는 단계는 상기 복수의 상반신 부위 인체 치수들 중에서 제1 상반신 부위 인체 치수를 제1 상관식에 대입하여 제1 관심 인체 치수를 추론하는 단계 및 상기 복수의 상반신 부위 인체 치수들 중에서 제2 상반신 부위 인체 치수를 제2 상관식에 대입하여 제2 관심 인체 치수를 추론하는 단계를 포함할 수 있다.
상기 추론하는 단계는 상기 복수의 상반신 부위 인체 치수들 중에서 상기 관심 부위 인체 치수와의 상관도가 가장 높은 것을 주요 인체 치수로 선택하는 단계, 상기 주요 인체 치수와 전신 치수 간의 제1 상관식에 상기 주요 인체 치수를 대입하여 상기 전신 치수를 추론하는 단계 및 상기 전신 치수와 상기 관심 부위 인체 치수 간의 제2 상관식에 상기 전신 치수를 대입하여 상기 관심 부위 인체 치수를 추론하는 단계를 포함할 수 있다.
상기 전신 치수는 키 및 몸무게 중 적어도 하나를 포함할 수 있다.
상기 상반신 이미지 기반 차량 시트 제어 방법은 상기 상반신 이미지에서의 상기 운전자의 자세에 따라 상기 상반신 부위 인체 치수들 각각에 대한 정확도를 계산하는 단계를 더 포함하며, 상기 추론하는 단계는 상기 복수의 상반신 부위 인체 치수들 중에서 상기 관심 부위 인체 치수와의 상관도와 상기 정확도의 곱이 가장 높은 것을 주요 인체 치수로 선택하는 단계, 상기 주요 인체 치수와 전신 치수 간의 제1 상관식에 상기 주요 인체 치수를 대입하여 상기 전신 치수를 추론하는 단계 및 상기 전신 치수와 상기 관심 부위 인체 치수 간의 제2 상관식에 상기 전신 치수를 대입하여 상기 관심 부위 인체 치수를 추론하는 단계를 포함할 수 있다.
상기 제어하는 단계는 상기 관심 부위 인체 치수에 대응하는 상기 차량 시트의 상태 정보를 룩-업 테이블로부터 로드하는 단계 및 상기 상태 정보에 따라 상기 차량 시트를 제어하는 단계를 포함하는 단계를 포함할 수 있다.
상기 상반신 부위 인체 치수들은 오른쪽어깨경사각, 왼쪽어깨경사각, 겨드랑앞벽사이길이, 어깨길이, 어깨사이길이, 머리수직길이, 얼굴수직길이, 눈동자사이너비, 눈구석사이너비, 눈살점-눈확아래점길이, 귀구슬사이머리위길이, 머리너비, 얼굴너비를 포함할 수 있다.
상기 관심 부위 인체 치수는 앉은 키, 팔 길이, 다리 길이 중 적어도 하나를 포함할 수 있다.
본 발명의 실시 예에 따른 상반신 이미지 기반 차량 시트 제어 장치는 카메라에 의해 촬영된 운전자의 상반신 이미지로부터 복수의 상반신 부위 인체 치수들을 측정하는 영상 분석 모듈, 상기 상반신 부위 인체 치수들 중에서 적어도 하나에 따라 적어도 하나의 관심 부위 인체 치수를 추론하는 인체 치수 추론 모듈 및 상기 관심 부위 인체 치수에 기초하여 차량 시트 제어 신호를 출력하는 엑츄에이터 제어 모듈을 포함한다.
상기 인체 치수 추론 모듈은 상기 상반신 부위 인체 치수들 중에서 상기 관심 부위 인체 치수와의 상관도가 가장 높은 것을 주요 인체 치수로 선택하고, 상기 주요 인체 치수에 대응하는 상관식에 상기 주요 인체 치수를 대입하여 상기 관심 부위 인체 치수를 추론할 수 있다.
상기 인체 치수 추론 모듈은 상기 복수의 상반신 부위 인체 치수들 중에서 상기 관심 부위 인체 치수와의 상관도가 가장 높은 것을 주요 인체 치수로 선택하고, 상기 주요 인체 치수와 전신 치수 간의 제1 상관식에 상기 주요 인체 치수를 대입하여 상기 전신 치수를 추론하며, 상기 전신 치수와 상기 관심 부위 인체 치수 간의 제2 상관식에 상기 전신 치수를 대입하여 상기 관심 부위 인체 치수를 추론할 수 있다.
상기 전신 치수는 키 및 몸무게 중 적어도 하나를 포함할 수 있다.
상기 이미지 분석 모듈은 상기 상반신 이미지에서의 상기 운전자의 자세에 따라 상기 상반신 부위 인체 치수들 각각에 대한 정확도를 계산하며, 상기 인체 치수 추론 모듈은 상기 복수의 상반신 부위 인체 치수들 중에서 상기 관심 부위 인체 치수와의 상관도와 상기 정확도의 곱이 가장 높은 것을 주요 인체 치수로 선택하고 상기 주요 인체 치수와 전신 치수 간의 제1 상관식에 상기 주요 인체 치수를 대입하여 상기 전신 치수를 추론하며 상기 전신 치수와 상기 관심 부위 인체 치수 간의 제2 상관식에 상기 전신 치수를 대입하여 상기 관심 부위 인체 치수를 추론할 수 있다.
상기 상반신 부위 인체 치수들은 오른쪽어깨경사각, 왼쪽어깨경사각, 겨드랑앞벽사이길이, 어깨길이, 어깨사이길이, 머리수직길이, 얼굴수직길이, 눈동자사이너비, 눈구석사이너비, 눈살점-눈확아래점길이, 귀구슬사이머리위길이, 머리너비, 얼굴너비를 포함할 수 있다.
상기 관심 부위 인체 치수는 앉은 키, 팔 길이, 다리 길이 중 적어도 하나를 포함할 수 있다.
본 발명의 실시 예에 따른 상반신 이미지 기반 차량 시트 제어 방법 및 장치는 별도의 센서 추가 없이 차량 내에 구비되는 카메라를 이용해 차량 내 맞춤 서비스를 제공할 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 차량 시스템을 개략적으로 나타내는 블록도이다.
도 2는 도 1에 도시된 차량 시트 제어 장치를 보다 상세하게 나타내는 블록도이다.
도 3은 도 2에 도시된 차량 시트 제어 장치가 차량 시트를 제어하는 과정의 일 실시 예를 설명하기 위한 플로우 차트(flow chart)이다.
도 4는 도 2에 도시된 인체 치수 추론 모듈이 관심 부위 인체 치수를 추론하는 과정의 일 실시 예를 설명하기 위한 플로우 차트이다.
도 5는 도 2에 도시된 인체 치수 추론 모듈이 관심 부위 인체 치수를 추론하는 과정의 다른 실시 예를 설명하기 위한 플로우 차트이다.
도 6은 도 2에 도시된 차량 시트 제어 장치가 차량 시트를 제어하는 과정의 다른 실시 예를 설명하기 위한 플로우 차트이다.
도 7은 상반신 이미지로부처 상반신 부위 인체 치수들을 측정하는 과정을 설명하기 위한 도면이다.
도 8 및 9는 상반신 부위 인체 치수들과 관심 부위 인체 치수들과의 상관도의 일례를 나타내는 도면이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 차량 시스템을 개략적으로 나타내는 블록도이고, 도 2는 도 1에 도시된 차량 시트 제어 장치를 보다 상세하게 나타내는 블록도이며, 도 3은 도 2에 도시된 차량 시트 제어 장치가 차량 시트를 제어하는 과정의 일 실시 예를 설명하기 위한 플로우 차트(flow chart)이다.
도 1 내지 3을 참조하면, 차량 시스템(10)은 카메라(100), 차량 시트 제어 장치(200) 및 차량 시트 액츄에이터(300)를 포함한다.
카메라(100)는 차량 내부에 구비되며, 차량 내부를 촬영하고 촬영된 이미지를 차량 시트 제어 장치(200)로 출력한다(S100). 예를 들어, 카메라(100)는, 전원이 공급되거나 운전자가 탑승하면, 차량 내부, 보다 구체적으로, 운전자의 상반신을 촬영하고 촬영된 이미지를 차량 시트 제어 장치(200)로 출력한다.
차량 시트 제어 장치(200)는 카메라(100)로부터 수신된 이미지, 즉, 운전자의 상반신 이미지를 분석하고 분석 결과에 따라 차량 시트의 상태를 제어한다. 차량 시트 제어 장치(200)는 영상 분석 모듈(210), 인체 치수 추론 모듈(230) 및 액츄에이터 제어 모듈(250)을 포함한다.
본 명세서에서의 모듈(module)이라 함은 본 명세서에서 설명되는 각각의 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 또는 특정한 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수 있고, 또는 특정한 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체를 의미할 수 있다.
영상 분석 모듈(210)은 운전자의 상반신 이미지로부터 상반신 부위 인체 치수들을 측정한다(S200). 구체적으로, 영상 분석 모듈(210)은 카메라(100)로부터 수신된 이미지로부터 운전자의 상반신 부위들을 추출하고 추출된 상반신 부위들 각각의 인체 치수, 즉, 길이 등을 측정한다.
상반신 부위 인체 치수들은 오른쪽어깨경사각, 왼쪽어깨경사각, 겨드랑앞벽사이길이, 어깨길이, 어깨사이길이, 머리수직길이, 얼굴수직길이, 눈동자사이너비, 눈구석사이너비, 눈살점-눈확아래점길이, 귀구슬사이머리위길이, 머리너비 및 얼굴너비 중에서 적어도 하나를 포함한다.
상기 오른쪽어깨경사각은 오른쪽 목옆점을 지나는 수평선과 목옆점과 오른쪽어깨 가쪽점을 연결한 직선이 이루는 각도를 의미한다. 상기 왼쪽어깨경사각은 왼쪽 목옆점을 지나는 수평선과 목옆점과 왼쪽어깨 가쪽점을 연결한 직선이 이루는 각도를 의미한다. 상기 겨드랑앞벽사이길이는 양쪽 겨드랑앞벽점 사이 길이를 의미한다. 상기 어깨길이는 목옆점에서 어깨가쪽점까지의 길이를 의미한다. 상기 어깨사이길이는 양쪽 어깨점 사이 길이를 의미한다. 상기 머리수직길이는 머리마루점에서 턱끝점까지의 수직 거리를 의미한다. 상기 얼굴수직길이는 코뿌리점에서 턱끝점까지의 수직 거리를 의미한다. 상기 눈동자사이너비는 양 눈동자 사이의 수평거리를 의미한다. 상기 눈구석사이너비는 양쪽 눈구석점 사이의 수평거리를 의미한다. 상기 눈살점-눈확아래점길이는 눈살점에서 눈확아래점까지의 길이를 의미한다. 상기 귀구슬사이머리위길이는 귀구슬점에서 머리마루점을 지나 반대쪽 귀구슬점까지의 길이를 의미한다. 상기 머리너비는 양쪽 머리옆점 사이의 수평 거리를 의미한다. 상기 얼굴너비는 양쪽 광대뼈옆점 사이의 수평거리를 의미한다.
여기서, 상기 목옆점은 목밑둘레선에서 등세모근의 위가와 만나는 곳이다. 상기 어깨 가쪽점은 위팔 폭을 이등분하는 수직선과 겨드랑둘레선이 만나는 곳이다. 상기 겨드랑앞벽점은 어깨점과 겨드랑앞점 사이 거리의 중간 위치이다. 상기 어깨점은 어깨뼈봉우리에서 가장 가쪽으로 돌출한 점이다. 상기 머리마루점은 머리수평면을 유지할 때 머리 부위 정중선상에서 가장 위쪽이다. 상기 턱끝점은 아래턱뼈 부위 정중선 상에서 가장 아래쪽이다. 상기 코뿌리점은 코의 위 부분에서 코뼈의 가장 깊게 들어간 곳이다. 상기 눈구석점은 눈의 위쪽과 아래쪽 눈꺼풀이 만나서 형성된 눈의 안쪽 및 가쪽 구석이다. 상기 눈살점은 눈 위 두드러진 뼈 사이의 이마뼈 중간에서 가장 앞쪽으로 돌출한 곳이다. 상기 눈확아래점은 눈확의 전면 가장자리에서 가장 아래쪽이다. 상기 귀구슬점은 귀의 귀구슬과 머리의 연결부분에서 가장 위쪽이다. 상기 머리옆점은 귀 위 부위(관자뼈부위)에서 가장 가쪽으로 돌출된 곳이다. 상기 광대뼈옆점은 광대 활 부분에서 가장 가쪽이다. 상기 겨드랑앞점은 겨드랑 수준을 팔의 앞쪽에 표시한 것이다.
도 7은 상반신 이미지로부처 상반신 부위 인체 치수들을 측정하는 과정을 설명하기 위한 도면이다.
도 7을 참조하면, 영상 분석 모듈(210)은 카메라(100)로부터 수신된 이미지로부터 오른쪽어깨경사각(1), 왼쪽어깨경사각(2), 겨드랑앞벽사이길이(3), 어깨길이(4), 어깨사이길이(5), 머리수직길이(6), 얼굴수직길이(7), 눈동자사이너비(8), 눈구석사이너비(9), 눈살점-눈확아래점길이(10), 귀구슬사이머리위길이(11), 머리너비(12) 및 얼굴너비(13)를 측정한다.
구체적으로, 영상 분석 모듈(210)은 상기 이미지로부터 목옆점, 어깨 가쪽점, 겨드랑앞벽점, 머리마루점 등 기준점들을 추출하고, 상기 상반신 부위들 각각의 정의에 따라 상기 기준점들 사이의 거리를 상기 상반신 부위 인체 치수들로서 측정한다.
예를 들어, 영상 분석 모듈(210)은 상기 이미지에서 운전자의 어깨뼈봉우리에서 가장 가쪽으로 돌출한 점을 어깨점으로 추출하고, 겨드랑 수준을 팔의 앞쪽에 표시한 점을 겨드랑앞점으로 추출한다. 영상 분석 모듈(210)은 상기 어깨점과 상기 겨드랑앞점 사이 거리의 중간 위치를 겨드랑앞벽점으로 정의한다. 영상 분석 모듈(210)은 양쪽 겨드랑앞벽점 사이 길이를 겨드랑앞벽사이길이로서 측정한다.
영상 분석 모듈(210)은 이미지로부터 측정 가능한 상반신 부위 인체 치수들을 측정하여 인체 치수 추론 모듈(230)로 출력한다.
다시 도 1 내지 3을 참조하면, 인체 치수 추론 모듈(230)은 영상 분석 모듈(210)로부터 수신된 상반신 부위 인체 치수들 중에서 적어도 하나에 따라 적어도 하나의 관심 부위 인체 치수를 추론한다(S300).
여기서, 관심 부위 인체 치수는 앉은 키, 팔 길이, 다리 길이 중 적어도 하나를 포함한다.
인체 치수 추론 모듈(230)이 상기 적어도 하나의 관심 부위 인체 치수들을 추론하는 과정은 다양하게 설계될 수 있다.
도 4는 도 2에 도시된 인체 치수 추론 모듈이 관심 부위 인체 치수를 추론하는 과정의 일 실시 예를 설명하기 위한 플로우 차트이다.
도 4를 참조하면, 인체 치수 추론 모듈(230)은 상반신 부위 인체 치수들과 관심 부위 인체 치수 사이의 상관도에 기초하여 상기 상반신 부위 인체 치수들 중에서 주요 인체 치수를 선택한다(S310).
구체적으로, 인체 치수 추론 모듈(230)은 영상 분석 모듈(210)에 의해 측정된 상반신 부위 인체 치수들의 상관도들을 서로 비교하고 가장 높은 상관도를 갖는 상반신 부위 인체 치수를 주요 인체 치수로 선택한다. 이때, 상반신 부위 인체 치수들과 관심 부위 인체 치수 사이의 상관도는 데이터베이스(미도시)에 저장되어 있을 수 있다.
인체 치수 추론 모듈(230)이 주요 인체 치수를 선택하는 과정은 도 8 및 9를 통해 보다 상세하게 설명될 것이다.
도 8 및 9는 상반신 부위 인체 치수들과 관심 부위 인체 치수들과의 상관도의 일례를 나타내는 도면이다. 도 8 및 9에 기재된 상관도는 Pearson 상관 분석을 이용해 상관계수를 계산한 것으로서 값이 높을수록 상관관계가 높다. 도 8 및 9에 기재된 상관도는 발명의 설명을 위한 일례일 뿐이며, 본 발명의 기술적 사상은 이에 한정되지 않는다.
도 8 및 9를 참조하면, 상반신 부위 인체 치수들을 관심 부위 인체 치수들 중에서 앉은키와의 상관도가 높은 순서대로 나열하면, 겨드랑앞벽사이길이, 머리수직길이, 어깨사이길이, 어깨길이, 귀구슬사이머리위길이, 머리너비, 얼굴수직길이, 눈동자사이너비, 눈구석사이너비, 얼굴너비, 눈살점-눈획 아래길이, 아래턱사이너비, 오른쪽어깨경사각 및 왼쪽어깨경사각이다.
인체 치수 추론 모듈(230)은, 측정된 상반신 부위 인체 치수들 중에서 가장상관도가 높은 것을 주요 인체 치수로 선택하므로, 영상 분석 모듈(210)에 의해 겨드랑앞벽사이길이가 측정되었다면 겨드랑앞벽사이길이를 앉은키에 대응하는 주요 인체 치수로 선택한다.
다른 예로서, 상반신 부위 인체 치수들을 관심 부위 인체 치수들 중에서 팔길이와의 상관도가 높은 순서대로 나열하면, 어깨사이길이, 겨드랑앞벽사이길이, 머리수직길이, 귀구슬사이머리위길이, 어깨길이, 눈동자사이너비, 머리너비, 얼굴수직길이, 눈구석사이너비, 얼굴너비, 눈살점-눈획 아래길이, 아래턱사이너비, 오른쪽어깨경사각 및 왼쪽어깨경사각이다.
영상 분석 모듈(210)이 어깨사이길이와 겨드랑앞벽사이길이를 측정하지 못했다면, 인체 치수 추론 모듈(230)은 측정된 상반신 부위 인체 치수들 중에서 가장 높은 상관도를 갖는 머리수직길이를 팔길이에 대응하는 주요 인체 치수로 선책한다.
주요 인체 치수가 선택되면, 인체 치수 추론 모듈(230)은 상기 주요 인체 치수에 대응하는 상관식에 상기 주요 인체 치수를 대입하여 관심 부위 인체 치수를 추론한다(S320). 이때, 상반신 부위 인체 치수들과 관심 부위 인체 치수들 간의 상관식은 데이터베이스(미도시)에 저장되어 있다.
예를 들어, 겨드랑앞벽사이길이가 앉은키에 대응하는 주요 인체 치수로 선택된 경우, 인체 치수 추론 모듈(230)은 상기 겨드랑앞벽사이길이와 상기 앉은키 사이의 상관식에 상기 겨드랑앞벽사이길이를 대입하여 상기 앉은키를 추론한다.
실시 예에 따라, 인체 치수 추론 모듈(230)은 복수의 주요 인체 치수들을 선택할 수 있다. 즉, 인체 치수 추론 모듈(230)은 상반신 부위 인체 치수들 중에서 상관도가 가장 높은 2 이상의 상반신 부위 인체 치수들을 주요 인체 치수들로 선택하고, 선택된 주요 인체 치수들을 이용해 관심 부위 인체 치수를 추론할 수 있다.
인체 치수 추론 모듈(230)은 주요 인체 치수들 각각에 대응하는 상관식에 상기 주요 인체 치수들을 대입한 결과를 가중 평균하여 관심 부위 인체 치수를 추론할 수 있다.
예를 들어, 상반신 부위 인체 치수들을 관심 부위 인체 치수들 중에서 다리길이와의 상관도가 높은 순서대로 나열하면, 어깨사이길이, 머리수직길이, 겨드랑앞벽사이길이, 어깨길이, 귀구슬사이머리위길이, 눈구석사이너비, 눈동자사이너비, 머리너비, 얼굴수직길이, 얼굴너비, 눈살점-눈획 아래길이, 오른쪽어깨경사각, 왼쪽어깨경사각 및 아래턱사이너비이다.
이 중에서 어깨사이길이와 어깨길이가 측정되지 않았다고 가정하면, 인체 치수 추론 모듈(230)은 상관도가 가장 높은 2개의 상반신 주위 인체 치수들, 즉, 머리수직길이와 겨드랑앞벽사이길이를 주요 인체 치수들로 선택할 수 있다.
인체 치수 추론 모듈(230)은 머리수직길이에 대응하는 상관식에 머리수직길이를 대입한 제1 값과 겨드랑앞벽사이길이에 대응하는 상관식에 겨드랑앞벽사이길이를 대입한 제2 값을 가중 평균하여 다리길이를 추론할 수 있다.
이때 가중값은 상관도가 높은 순서에 따라 정해질 수 있다.
이를 통해, 영상 분석 모듈(210)은 카메라(100)에 의해 촬영된 이미지의 정확도가 낮은 경우에 발생할 수 있는 오류를 감소시킬 수 있다.
도 5는 도 2에 도시된 인체 치수 추론 모듈이 관심 부위 인체 치수를 추론하는 과정의 다른 실시 예를 설명하기 위한 플로우 차트이다.
도 5를 참조하면, 인체 치수 추론 모듈(230)은 상반신 부위 인체 치수들과 전신 치수 사이의 상관도에 기초하여 상기 상반신 부위 인체 치수들 중에서 주요 인체 치수를 선택한다(S330). 여기서, 전신 치수는 키 및 몸무게 중 적어도 하나를 포함한다.
인체 치수 추론 모듈(230)은 영상 분석 모듈(210)에 의해 측정된 상반신 부위 인체 치수들 중에서 전신 치수와 가장 상관도가 높은 것을 주요 인체 치수로 선택한다.
예를 들어, 전신 치수가 키로 정해진 경우, 인체 치수 추론 모듈(230)은 측정된 상반신 부위 인체 치수 중에서 키와 가장 상관도가 높은 인체 치수, 예를 들어, 겨드랑앞벽사이길이를 주요 인체 치수로 선택한다.
주요 인체 치수가 선택되면, 인체 치수 추론 모듈(230)은 상기 주요 인체 치수에 대응하는 제1 상관식에 상기 주요 인체 치수를 대입하여 전신 치수를 추론한다(S340). 여기서, 제1 상관식은 상기 주요 인체 치수와 상기 전신 치수 사이의 상관식이다.
예를 들어, 겨드랑앞벽사이길이가 키에 대응하는 주요 인체 치수로 선택된 경우, 인체 치수 추론 모듈(230)은 상기 겨드랑앞벽사이길이와 상기 키 사이의 제1 상관식에 상기 겨드랑앞벽사이길이를 대입하여 상기 키를 추론한다.
전신 치수가 추론되면, 인체 치수 추론 모듈(230)은 전신 치수와 관심 부위 인체 치수 사이의 제2 상관식에 추론된 전신 치수를 대입하여 상기 관심 부위 인체 치수를 추론한다(S350).
상반신 부위 인체 치수들과 전신 치수 사이들의 상관식과 전신 치수들과 관심 부위 인체 치수 사이의 상관식은 데이터베이스(미도시)에 저장되어 있을 수 있다.
다시 도 1 내지 3을 참조하면, 인체 치수 추론 모듈(230)은 추론된 적어도 하나의 관심 부위 인체 치수를 액츄에이터 제어 모듈로 출력한다.
액츄에이터 제어 모듈(250)은 인체 치수 추론 모듈(230)로부터 수신된 관심 부위 인체 치수에 따라 차량 시트 액츄에이터(300)를 제어한다.
구체적으로, 액츄에이터 제어 모듈(250)은 관심 부위 인체 치수에 대응하는 차량 시트의 상태 값, 예를 들어, 높낮이와 각도 등을 생성하고, 계산된 상태 값에 도달하도록 차량 시트 액츄에이터(300)를 조절한다.
액츄에이터 제어 모듈(250)은 소정의 식에 상기 추론된 적어도 하나의 관심 부위 인체 치수를 대입하여 상기 차량 시트의 상기 상태 값을 계산하거나 상기 추론된 적어도 하나의 관심 부위 인체 치수에 대응하는 상기 차량 시트의 상기 상태 값을 소정의 룩-업 테이블로부터 로드할 수 있다.
도 6은 도 2에 도시된 차량 시트 제어 장치가 차량 시트를 제어하는 과정의 다른 실시 예를 설명하기 위한 플로우 차트이다. 도 6에 도시된 과정은 관심 부위 인체 치수를 추론할 때 측정된 상반신 부위 인체 치수들의 정확도도 고려하는 것을 제외하면 도 3에 도시된 과정과 동일한 바, 중복되는 설명은 생략한다.
도 6을 참조하면, 영상 분석 모듈(210)은, 운전자의 상반신 이미지로부터 상반신 부위 인체 치수들을 측정할 때, 측정되는 상반신 부위 인체 치수들의 정확도를 계산한다(S250).
구체적으로, 영상 분석 모듈(210)은 운전자의 자세에 따라 상반신 부위 인체 치수들의 정확도를 계산한다. 영상 분석 모듈(210)이 추출한 기준점들을 연결한 선들 사이의 각도에 따라 상반신 부위 인체 치수들 각각이 정확도가 계산될 수 있다.
일 예로서, 촬영된 상반신 이미지에서 운전자가 몸통을 회전시킨 상태라면, 몸통 부위 인체 치수들의 정확도는 낮게 계산될 수 있다.
다른 예로서, 촬영된 상반신 이미지에서 운전자가 머리를 숙이고 있다면, 얼굴 부위 인체 치수들의 정확도는 낮게 계산될 수 있다.
영상 분석 모듈(210)은 상반신 부위 인체 치수들과 관심 부위 인체 치수 사이의 상관도와 함께 상반신 부위 인체 치수들 각각의 정확도를 고려하여 관심 부위 인체 치수를 추론한다(S300').
예를 들어, 영상 분석 모듈(210)은 상반신 부위 인체 치수들과 관심 부위 인체 치수 사이의 상관도와 상반신 부위 인체 치수들 각각의 정확도를 곱하고 그 결과가 가장 높은 것을 주요 인체 치수로 선택한다. 이후, 영상 분석 모듈(210)은 선택된 주요 인체 치수를 대응하는 상관식에 대입하여 관심 인체 치수를 추론한다.
이를 통해, 영상 분석 모듈(210)은 카메라(100)에 의해 촬영된 이미지가 이상적이지 않은 경우에도 관심 인체 치수를 비교적 정확하게 추론할 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100; 카메라
200; 차량 시트 제어 장치
300; 차량 시트 액츄에이터

Claims (16)

  1. 운전자의 상반신 이미지를 촬영하는 단계;
    상기 상반신 이미지로부터 복수의 상반신 부위 인체 치수들을 측정하는 단계;
    상기 복수의 상반신 부위 인체 치수들 중에서 적어도 하나를 소정의 상관식에 대입하여 상기 운전자의 앉은 키, 팔 길이 및 다리 길이 중 적어도 하나를 추론하는 단계; 및
    상기 앉은 키, 상기 팔 길이 및 상기 다리 길이 중 상기 적어도 하나에 기초하여 차량 시트의 상태를 제어하는 단계를 포함하되,
    상기 상반신 이미지에서의 상기 운전자의 자세에 따라 상기 상반신 부위 인체 치수들 각각에 대한 정확도를 계산하는 단계를 더 포함하며,
    상기 추론하는 단계는,
    상기 복수의 상반신 부위 인체 치수들 중에서 상기 앉은 키, 상기 팔 길이 및 상기 다리 길이 중 상기 적어도 하나와의 상관도와 상기 정확도의 곱이 가장 높은 것을 주요 인체 치수로 선택하는 단계;
    상기 주요 인체 치수와 전신 치수 간의 제1 상관식에 상기 주요 인체 치수를 대입하여 상기 전신 치수를 추론하는 단계; 및
    상기 전신 치수와 상기 앉은 키, 상기 팔 길이 및 상기 다리 길이 중 상기 적어도 하나 간의 제2 상관식에 상기 전신 치수를 대입하여 상기 앉은 키, 상기 팔 길이 및 상기 다리 길이 중 상기 적어도 하나를 추론하는 단계를 포함하는 상반신 이미지 기반 차량 시트 제어 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 전신 치수는 키 및 몸무게 중 적어도 하나를 포함하는 상반신 이미지 기반 차량 시트 제어 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 제어하는 단계는,
    상기 앉은 키, 상기 팔 길이 및 상기 다리 길이 중 상기 적어도 하나에 대응하는 상기 차량 시트의 상태 정보를 룩-업 테이블로부터 로드하는 단계; 및
    상기 상태 정보에 따라 상기 차량 시트를 제어하는 단계를 포함하는 단계를 포함하는 상반신 이미지 기반 차량 시트 제어 방법.
  8. 제1항에 있어서,
    상기 상반신 부위 인체 치수들은 오른쪽어깨경사각, 왼쪽어깨경사각, 겨드랑앞벽사이길이, 어깨길이, 어깨사이길이, 머리수직길이, 얼굴수직길이, 눈동자사이너비, 눈구석사이너비, 눈살점-눈확아래점길이, 귀구슬사이머리위길이, 머리너비, 얼굴너비를 포함하는 상반신 이미지 기반 차량 시트 제어 방법.
  9. 삭제
  10. 카메라에 의해 촬영된 운전자의 상반신 이미지로부터 복수의 상반신 부위 인체 치수들을 측정하는 영상 분석 모듈;
    상기 상반신 부위 인체 치수들 중에서 적어도 하나에 따라 상기 운전자의 앉은 키, 팔 길이 및 다리 길이 중 적어도 하나를 추론하는 인체 치수 추론 모듈; 및
    상기 앉은 키, 상기 팔 길이 및 상기 다리 길이 중 상기 적어도 하나에 기초하여 차량 시트 제어 신호를 출력하는 엑츄에이터 제어 모듈을 포함하되,
    상기 영상 분석 모듈은 상기 상반신 이미지에서의 상기 운전자의 자세에 따라 상기 상반신 부위 인체 치수들 각각에 대한 정확도를 계산하며,
    상기 인체 치수 추론 모듈은 상기 복수의 상반신 부위 인체 치수들 중에서 상기 앉은 키, 상기 팔 길이 및 상기 다리 길이 중 상기 적어도 하나와의 상관도와 상기 정확도의 곱이 가장 높은 것을 주요 인체 치수로 선택하고 상기 주요 인체 치수와 전신 치수 간의 제1 상관식에 상기 주요 인체 치수를 대입하여 상기 전신 치수를 추론하며 상기 전신 치수와 상기 앉은 키, 상기 팔 길이 및 상기 다리 길이 중 상기 적어도 하나 간의 제2 상관식에 상기 전신 치수를 대입하여 상기 앉은 키, 상기 팔 길이 및 상기 다리 길이 중 상기 적어도 하나를 추론하는 상반신 이미지 기반 차량 시트 제어 장치.
  11. 삭제
  12. 삭제
  13. 제10항에 있어서,
    상기 전신 치수는 키 및 몸무게 중 적어도 하나를 포함하는 상반신 이미지 기반 차량 시트 제어 장치.
  14. 삭제
  15. 제10항에 있어서,
    상기 상반신 부위 인체 치수들은 오른쪽어깨경사각, 왼쪽어깨경사각, 겨드랑앞벽사이길이, 어깨길이, 어깨사이길이, 머리수직길이, 얼굴수직길이, 눈동자사이너비, 눈구석사이너비, 눈살점-눈확아래점길이, 귀구슬사이머리위길이, 머리너비, 얼굴너비를 포함하는 상반신 이미지 기반 차량 시트 제어 장치.
  16. 삭제
KR1020190024426A 2019-03-01 2019-03-01 상반신 이미지 기반 차량 시트 제어 방법 및 장치 KR102199809B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190024426A KR102199809B1 (ko) 2019-03-01 2019-03-01 상반신 이미지 기반 차량 시트 제어 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190024426A KR102199809B1 (ko) 2019-03-01 2019-03-01 상반신 이미지 기반 차량 시트 제어 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200105733A KR20200105733A (ko) 2020-09-09
KR102199809B1 true KR102199809B1 (ko) 2021-01-07

Family

ID=72451661

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190024426A KR102199809B1 (ko) 2019-03-01 2019-03-01 상반신 이미지 기반 차량 시트 제어 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102199809B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115320457A (zh) * 2021-05-10 2022-11-11 博泰车联网科技(上海)股份有限公司 座椅调节方法、装置、电子设备及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120024225A (ko) * 2010-09-06 2012-03-14 주식회사 디에스인터내셔널 영상 정보를 이용한 탑승자 신체조건에 적응하는 자동차시트 자동조절시스템
KR20130070785A (ko) * 2011-12-20 2013-06-28 이자효 높낮이 조절 손잡이 및 방법
KR102429480B1 (ko) * 2016-07-27 2022-08-05 현대자동차주식회사 차량의 운전자세 제어 장치 및 방법

Also Published As

Publication number Publication date
KR20200105733A (ko) 2020-09-09

Similar Documents

Publication Publication Date Title
US11644896B2 (en) Interactive motion-based eye tracking calibration
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
JP6742405B2 (ja) 表情検出機能を備えたヘッドマウントディスプレイ
US9400923B2 (en) Patient interface identification system
US7862172B2 (en) Gaze direction measuring method and gaze direction measuring device
KR20180121594A (ko) 생체 인증 보안을 위한 청색 광 조정
US10740921B2 (en) Method and device for estimating obsolute size dimensions of test object
US20090304232A1 (en) Visual axis direction detection device and visual line direction detection method
CN109034108B (zh) 一种视线估计的方法、装置和系统
KR102134476B1 (ko) 인공신경망을 이용한 가상 피팅 시스템, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
US11170535B2 (en) Virtual reality interface method and apparatus for providing fusion with real space
CN109522887A (zh) 一种视线追踪方法、装置、设备及存储介质
CN112951138B (zh) 一种自适应调节平板显示屏亮度的方法
KR102657095B1 (ko) 탈모 상태 정보 제공 방법 및 장치
KR102199809B1 (ko) 상반신 이미지 기반 차량 시트 제어 방법 및 장치
US11841555B2 (en) Method for measuring the frame wearing parameter and measuring device thereof
JP6906943B2 (ja) 車載器
CN116883436A (zh) 一种基于视线估计的辅助理解方法及系统
WO2020065790A1 (ja) 推定装置、推定方法、および記憶媒体
JP2005081101A (ja) 視線方向検出装置及び視線方向検出方法
WO2021070611A1 (ja) 画像処理装置、および非一時的なコンピュータ可読媒体
JP2021060814A (ja) 画像処理装置、およびコンピュータプログラム
JP2021010652A (ja) 情報処理装置、評価方法、および情報処理プログラム
CN112750108B (zh) 按摩仪控制方法、系统及计算机可读存储介质
CN116392086B (zh) 检测刺激方法、终端及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant