KR102428362B1 - 다중 카메라와 광학 필터를 이용한 사물 인식용 카메라 장치 - Google Patents

다중 카메라와 광학 필터를 이용한 사물 인식용 카메라 장치 Download PDF

Info

Publication number
KR102428362B1
KR102428362B1 KR1020150152036A KR20150152036A KR102428362B1 KR 102428362 B1 KR102428362 B1 KR 102428362B1 KR 1020150152036 A KR1020150152036 A KR 1020150152036A KR 20150152036 A KR20150152036 A KR 20150152036A KR 102428362 B1 KR102428362 B1 KR 102428362B1
Authority
KR
South Korea
Prior art keywords
image
camera
information
processing unit
camera sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150152036A
Other languages
English (en)
Other versions
KR20170051696A (ko
Inventor
강영만
조휘택
Original Assignee
(주)엠아이웨어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엠아이웨어 filed Critical (주)엠아이웨어
Priority to KR1020150152036A priority Critical patent/KR102428362B1/ko
Publication of KR20170051696A publication Critical patent/KR20170051696A/ko
Application granted granted Critical
Publication of KR102428362B1 publication Critical patent/KR102428362B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/204—Filters in which spectral selection is performed by means of a conductive grid or array, e.g. frequency selective surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 동일한 영상을 수납하여 서로 다른 광축으로 설치된 카메라에 동일한 영상을 투과/반사할 수 있는 프리즘 또는 반투과 미러를 포함하는 광학 필터와, 상기 광학 필터를 투과하는 영상을 수납하는 적어도 1 개의 제 1 카메라 렌즈 및 제 1 카메라 센서와, 상기 제 1 카메라 렌즈 및 제 1 카메라 센서와 다른 광축으로 설치되며, 상기 광학 필터로부터 반사되는 영상을 수납하는 적어도 1개의 제 2 카메라 렌즈와 제 2 카메라 센서와, 상기 제 1 카메라 센서와 제 2 카메라 센서로부터 상이한 영상을 동시에 수납하여 심도 정보를 생성하는 영상 처리부와, 상기 영상 처리부가 수납하거나 가공한 정보중 적어도 하나 이상의 영상을 출력할 수 있는 영상 출력부 및 상기 영상 처리부에서 가공한 정보를 음성, 텍스트, 진동등 사람이 인지할 수 있는 정보 형태로 출력할 수 있는 정보 출력부를 포함하는카메라 장치를 개시한다.

Description

다중 카메라와 광학 필터를 이용한 사물 인식용 카메라 장치 {Camera Apparatus having multi-cameras and optical band pass filter for detection and recognition of object}
본 발명은 프리즘 또는 반투과 미러와 같은 광학 필터를 통하여 다중 카메라로 입사된 입사된 영상 정보의 영상 처리를 통하여 사물을 검출 및 인식할 수 있는 카메라 장치에 관한 것이다.
영상으로부터 3차원 공간상의 심도 정보(Depth Map), 다시 말해 3차원 공간상의 피사체와의 거리를 얻기 위한 방법에는, 스테레오 카메라를 이용하는 방법, 레이저 스캔을 이용하는 방법, TOF(Time of Flight)를 이용하는 방법 등이 알려지고 있다.
이 중에서, 스테레오 카메라를 이용하는 스테레오 정합(Stereo Matching)은, 사람이 두 눈을 이용하여 입체를 인지하는 과정을 하드웨어적으로 구현한 것으로서, 동일한 피사체를 두 개의 카메라로 촬영하여 획득한 한 쌍의 이미지에 대한 해석 과정을 통해 공간에서의 깊이(또는 거리)에 대한 정보를 추출하는 방법이다. 이를 위해, 도 1에서 보는 바와 같이 두 개의 카메라로부터 획득한 영상의 동일한 에피폴라 선(Epipolar Line)상의 양안차를 계산한다. 양안차는 거리 정보를 포함하며, 이러한 양안차로부터 계산된 기하학적 특성이 깊이(depth)가 된다. 입력 영상으로부터 실시간으로 양안차값을 계산하면 관측 공간의 삼차원 거리 정보 등을 측정할 수 있다.
스테레오 정합 알고리즘으로 알려진 것에는, 예컨대, 대한민국 등록특허 제0517876호의 "복수 영상 라인을 이용 한 영상 정합 방법"이나, 대한민국 등록특허 제0601958호의 "3차원 객체 인식을 위한 양안차 추정방법"이 있다
본 발명은 적어도 1개 이상의 광학필터에 의하여 분주된 영상을 2개의 서로 다른 카메라로 수신하여 사물을 검출 및 인식할 수 있는 카메라 장치를 제공하는데 그 목적이 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 카메라 장치는 동일한 영상을 수납하여 서로 다른 광축으로 설치된 카메라에 동일한 영상을 투과/반사할 수 있는 프리즘 또는 반투과 미러를 포함하는 광학 필터와, 상기 광학 필터를 투과하는 영상을 수납하는 적어도 1 개의 제 1 카메라 렌즈 및 제 1 카메라 센서와, 상기 제 1 카메라 렌즈 및 제 1 카메라 센서와 다른 광축으로 설치되며, 상기 광학 필터로부터 반사되는 영상을 수납하는 적어도 1개의 제 2 카메라 렌즈와 제 2 카메라 센서와, 상기 제 1 카메라 센서와 제 2 카메라 센서로부터 상이한 영상을 동시에 수납하여 심도 정보를 생성하는 영상 처리부와, 상기 영상 처리부가 수납하거나 가공한 정보중 적어도 하나 이상의 영상을 출력할 수 있는 영상 출력부 및 상기 영상 처리부에서 가공한 정보를 음성, 텍스트, 진동등 사람이 인지할 수 있는 정보 형태로 출력할 수 있는 정보 출력부를 포함하는 것을 특징으로 한다.
또한, 상기 영상 처리부는 상기 제 1 카메라 렌즈와 제 1 카메라 센서와 제 2 카메라 렌즈 및 및 제 2 카메라 센서로부터 상기 영상 처리부로 입력되는 영상을 이용한 심도 정보의 생성과 함께 영상의 이진화, 엣지 영상 생성, 영상 안정화, 사물 검출, 사물 분류의 영상 변환 처리를 병행할 수 있다.
또한, 상기 영상 처리부는 외부 정보 입력부로부터 입력되는 정보를 상기 영상 변환 처리의 기준정보 또는 가공정보로 사용하며, 상기 영상 처리부에서 생성되는 정보를 저장할 수 있는 정보 저장부를 더 포함여 형성될 수 있다.
본 발명에 따른 카메라 장치는 적어도 1개 이상의 광학 필터에 의하여 분주된 영상 정보를 다중 카메라로 수신하여 영상 처리함으로써 기존의 스테레오 카메라를 사용하지 않고도 사물을 검출 및 인식할 수 있는 효과가 있다.
본 발명의 카메라 장치는 1대의 카메라로 수신된 영상 정보를 영상 처리하여 적어도 1대의 영상 표시부에 영상을 보여줄 수 있는 효과가 있다.
또한, 본 발명의 카메라 장치는 동일한 사물에 대하여 적어도 1개 이상의 광학 필터에 의하여 분주된 상이한 영상 정보를 이용하여 영상에 대한 심도 정보를 구성할 수 있는 효과가 있다.
도 1은 하나의 피사체에 대하여 공액점을 찾기 위한 에피폴라선과 에피폴라 평면의 관계를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 카메라 장치의 블록도이다.
도 3은 본 발명의 카메라 장치에서 2대의 카메라에서 1대의 카메라를 광축으로부터 Δx이격한 상태에 따른 영상 변화를 나타내는 도면이다.
도 4는 본 발명의 다른 실시예에 따른 카메라 장치의 블록도이다.
도 5는 도 2의 카메라 장치의 제 1 카메라 센서에 의하여 생성되는 영상 정보의 사진이다.
도 6은 도 2의 카메라 장치의 제 2 카메라 센서에 의하여 생성되는 영상 정보의 사진이다.
이하, 본 발명의 실시예에 따른 카메라 장치를 첨부된 도면을 통하여 상세히 설명한다.
그림 2는 본 발명의 일 실시예에 따른 카메라 장치의 블록도이다.
본 발명의 일 실시예에 따른 카메라 장치는, 도 2를 참조하면, 프리즘 또는 반투과 미러를 포함하는 광학 필터(100)와 적어도 2개의 카메라 렌즈(200, 300)와 적어도 2개의 카메라 센서(210, 310)와 영상 처리부(400)와 영상 표시부(500) 및 영상 출력부를 포함한다. 상기 카메라 렌즈(200, 300)와 카메라 센서(210, 310)는 각각 하나의 카메라를 형성할 수 있으며, 적어도 2개의 카메라 렌즈(200, 300)와 적어도 2개의 카메라 센서(210, 310)는 다중 카메라로 형성될 수 있다. 또한, 상기 카메라 장치는 적어도 1개의 외부정보 입력부(20)와 영상 저장부(30)를 더 포함하여 형성될 수 있다.
상기 카메라 장치는, 도 2를 참조하면, 수납되는 영상의 50%를 반사하고 50%를 투과할 수 있도록 적어도 1개의 필터 또는 수 msec이내의 현저히 짧은 시간 간격을 두고 동일한 영상을 촬영할 수 있도록 프리즘 또는 반투과 미러를 포함하는 광학 필터(100)를 사용할 수도 있으며 또는 적어도 2개의 같거나 상이한 제 1 및 제 2 카메라 렌즈(200, 300)와 적어도 2개의 같거나 상이한 제 1 및 제 2 카메라 센서(210, 310)를 사용할 수 있다.
이하에서 영상 정보는 외부 정보(extrinsic parameters: 카메라의 설치 높이, 렌즈의 설치각도)뿐만 아니라 내부 정보(intrinsic parameters: 렌즈의 화각, 렌즈의 초점거리, 센서가 수납한 영상의 해상도등)을 이용하여 생성되는 정보를 의미한다.
상기 광학 필터(100)는 동일한 영상을 수납하여 서로 다른 광축으로 설치된 카메라에 동일한 영상을 투과 및 반사할 수 있는 프리즘 또는 반투과 미러를 포함하여 형성된다.
상기 적어도 2개의 카메라 렌즈(200, 300)는 광학 필터를 투과하는 영상을 수납하는 적어도 1개의 제 1 카메라 렌즈(200)와 광학 필터를 반사하는 영상을 수납하는 적어도 1개의 제 2 카메라 센서(300)로 구성될 수 있다.
또한, 상기 적어도 2개의 카메라 센서(210, 310)는 광학 필터를 투과하는 영상을 수납하는 적어도 1개의 제 1 카메라 센서(210)와 광학 필터를 반사하는 영상을 수납하는 적어도 1개의 제 2 카메라 센서(310)로 구성될 수 있다.
상기 영상 처리부(400)는 제 1 및 제 2 카메라 센서(210, 310)에서 수납된 동일한 사물의 이종의 영상을 스테레오 기법에 의해, 적어도 하나 이상의 영상 화소(픽셀)마다의 깊이 정보(depth information)을 계산하여 전체 영상의 심도 정보(depth map)을 생성할 수 있다.
또한, 상기 영상 처리부(400)는 제 1 및 제 2 카메라 센서(210, 310)에서 수납된 적어도 하나의 영상을 이용하여, 심도 정보로부터 추출된 바닥면으로부터 현저히 돌출되어진 적어도 1개 이상 객체의 좌표를 계산할 수 있다.
또한, 상기 영상 처리부(400)는 입력된 적어도 하나 이상의 기법을 이용하여 영상 변환 처리를 병행할 수 있다. 여기서, 상기 영상 변환 처리이란, 영상의 이진화, 엣지 영상 생성, 영상 안정화, 사물 검출, 사물 분류와 같은 처리를 포함한다. 이때, 상기 영상 처리부(400)는 외부 정보 입력부(20)로부터 입력되는 정보를 영상 변환 처리의 기준 정보 또는 가공 정보로 사용할 수 있다. 또한, 상기 영상 처리부(400)는 생성되는 영상 정보를 영상 저장부(30)에 저장할 수 있다.
또한, 상기 영상 처리부(400)는 상기의 바닥면으로부터 현저히 돌출된 객체의 좌표를 기준으로 일정 영역을 설정하고 그 설정 영역에서 별도의 분류기(Classifier)를 동작시켜 사물의 종류를 예를 들어 차량 또는 미확인 객체로 적어도 2개 이상의 서로 다른 사물로 분류할 수 있다.
상기 영상 출력부(500)는 카메라 센서(210, 310)에서 수납된 영상 정보를 적어도 하나 이상 출력할 수 있다. 상기 영상 출력부(500)는 카메라 센서(210, 310)에서 수납된 영상 정보뿐만 아니라, 영상 처리부(400)에서 적어도 하나이상의 영상 변환을 이용한 형태의 영상 정보를 출력할 수 있다.
상기 정보 출력부(600)는 영상 처리부(400)에서 형성된 심도 정보를 이용하여 생성된 적어도 하나 이상의 생성 정보를 출력할 수 있다. 상기 정보 출력부(600)는 영상, 음성, 텍스트 및 진동 등 적어도 하나 이상의 사람이 인지할 수 있는 정보를 출력할 수 있다.
본 발명의 카메라 장치는 두 개의 카메라 센서 또는 영상 카메라를 초점 방향을 기준으로 수직으로 위치시킴으로써 훨씬 작은 거리 이격으로 동일한 성과를 낼 수 있는 장점이 있다. 여기에서 훨씬 작은 거리의 이격이란, 프리즘 또는 반투명 미러의 광학 필터(100)와 카메라 렌즈(200, 300))의 거리를 조절하는 방법, 카메라 렌즈(200, 300)의 화각 및 초점 거리(Focal Length)가 같거나 다른 렌즈를 사용하는 방법, 또는 카메라 센서(210, 310)에서 픽셀 크기 및 해상도가 같거나 상이한 카메라 센서를 사용함으로써 다양한 변화를 시도할 수 있다.
이에 비하여 기존의 스테레오 카메라는 거리 분해능을 키우기 위해서는 양안, 즉 두 개 카메라의 초점 방향 기준 수평 이격 거리가 비례적으로 커져야 한다.
본 발명의 카메라 장치는 다중 카메라(다중의 카메라 렌즈의 조합, 카메라 센서의 조합) 및 영상 처리 기법, 광학적인 반사/투과를 동시에 수행하는 반투명 미러 또는 일정 파장의 빛을 필터링하는 프리즘과 같은 광학 필터를 이용하여 영상의 심도 정보를 얻고 특정한 사물을 검출하여 인식하며 표시한다.
도 3은 본 발명의 카메라 장치에서 2대의 카메라에서 1대의 카메라를 광축으로부터 Δx이격한 상태에 따른 영상 변화를 나타내는 도면이다.
본 발명의 카메라 장치는, 도 3을 참조하면, 2개의 카메라에서 반사영상을 받는 카메라를 프리즘/필터를 이용한 동일한 광축에 위치시키는 대신 광축으로부터 Δx의 거리를 이격시키면 동일한 영상이 광축으로부터 kΔx 의 거리만큼 이동한 영상을 얻게 된다. 따라서, 상가 카메라 장치는 각각의 카메라에서 생성되는 두 가지의 영상을 스테레오그래픽 처리를 하여 심도 정보(depth map)을 구할 수 있다.
다음은 본 발명의 다른 실시예에 따른 카메라 장치에 대하여 설명한다.
도 4는 본 발명의 다른 실시예에 따른 카메라 장치의 블록도이다.
본 발명의 또 다른 실시예에 따른 카메라 장치는 도 2의 실시예에 따른 카메라 장치와 달리 특정 파장의 적외선 광원(50)과 적외선 광원(50)의 파장만을 투과시키는 밴드패스 필터(40)가 장착되어 형성된다. 상가 카메라 장치는 도 2의 카메라 장치에서의 2개의 카메라 렌즈(200, 300)가 생략되고, 1개의 카메라 센서에 밴드패스 필터(40)가 장착된다. 상기 카메라 장치는 도 2의 카메라 장치와 달리 적외선광원(50)과 밴드패스필터(40)만을 적용해도 동일한 결과를 얻을 수 있다.
다음은 도 2의 카메라 장치에 의하여 생성되는 영상 정보를 성명한다.
도 2에 따른 카메라 장치의 제 1 카메라 센서(210)로 수납되는 영상은 일반적인 색상정보를 포함하게 되며, 도 5와 같은 색상 정보를 보여주고, 그림자와 햇빛이 비치는 공간의 차별이 커진다. 도 2에 따른 카메라 장치의 제 2 카메라 센서(310)로 수납된 영상은 가시광선이 차단되어 도 6과 같은 컬러성분이 제거된 흑백 영상을 보여주어 상대적으로 그림자와 햇빛이 비치는 공간의 차별이 작아진다.
100: 광학 필터 200: 제 1 카메라 렌즈
210: 제 1 카메라 센서 300: 제 2 카메라 렌즈
310 제 2 카메라 센서 400: 영상 처리부
500: 영상 표시부 600: 영상 출력부

Claims (3)

  1. 동일한 영상을 수납하여 서로 다른 광축으로 설치된 카메라에 동일한 영상을 투과/반사할 수 있는 프리즘 또는 반투과 미러를 포함하는 광학 필터와,
    상기 광학 필터를 투과하는 영상을 수납하는 1 개의 제 1 카메라 렌즈 및 제 1 카메라 센서와,
    상기 제 1 카메라 렌즈 및 제 1 카메라 센서와 다른 광축으로 설치되며, 상기 광학 필터로부터 반사되는 영상을 수납하는 1개의 제 2 카메라 렌즈와 제 2 카메라 센서와,
    상기 제 1 카메라 센서와 제 2 카메라 센서로부터 상이한 영상을 동시에 수납하여 심도 정보를 생성하는 영상 처리부와,
    상기 영상 처리부가 수납하거나 가공한 정보중 적어도 하나 이상의 영상을 출력할 수 있는 영상 출력부 및
    상기 영상 처리부에서 가공한 정보를 사람이 인지할 수 있는 정보 형태인 음성, 텍스트 또는 진동으로 출력할 수 있는 정보 출력부를 포함하며,
    상기 영상 처리부는 상기 제 1 카메라 렌즈와 제 1 카메라 센서와 제 2 카메라 렌즈 및 및 제 2 카메라 센서로부터 상기 영상 처리부로 입력되는 영상을 이용한 심도 정보의 생성과 함께 외부 정보 입력부로부터 입력되는 정보를 영상 변환 처리의 기준정보 또는 가공정보로 사용하여 상기 영상의 이진화, 엣지 영상 생성, 영상 안정화, 사물 검출, 사물 분류의 상기 영상 변환 처리를 병행하는 것을 특징으로 하는 카메라 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 영상 처리부에서 생성되는 정보를 저장할 수 있는 정보 저장부를 더 포함하는 것을 특징으로 하는 카메라 장치.
KR1020150152036A 2015-10-30 2015-10-30 다중 카메라와 광학 필터를 이용한 사물 인식용 카메라 장치 Active KR102428362B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150152036A KR102428362B1 (ko) 2015-10-30 2015-10-30 다중 카메라와 광학 필터를 이용한 사물 인식용 카메라 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150152036A KR102428362B1 (ko) 2015-10-30 2015-10-30 다중 카메라와 광학 필터를 이용한 사물 인식용 카메라 장치

Publications (2)

Publication Number Publication Date
KR20170051696A KR20170051696A (ko) 2017-05-12
KR102428362B1 true KR102428362B1 (ko) 2022-08-04

Family

ID=58740617

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150152036A Active KR102428362B1 (ko) 2015-10-30 2015-10-30 다중 카메라와 광학 필터를 이용한 사물 인식용 카메라 장치

Country Status (1)

Country Link
KR (1) KR102428362B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100656640B1 (ko) * 2004-12-21 2006-12-11 엘지전자 주식회사 광 기록 재생 장치 및 방법
KR100736610B1 (ko) * 2005-07-04 2007-07-09 엘지전자 주식회사 카메라 렌즈 모듈
KR101737085B1 (ko) * 2010-11-05 2017-05-17 삼성전자주식회사 3차원 카메라

Also Published As

Publication number Publication date
KR20170051696A (ko) 2017-05-12

Similar Documents

Publication Publication Date Title
JP6782433B2 (ja) 画像認識装置
US20120134537A1 (en) System and method for extracting three-dimensional coordinates
JP2009529824A (ja) ３次元映像獲得用ｃｍｏｓステレオカメラ
US20150116463A1 (en) Method and multi-camera portable device for producing stereo images
EP1792282B1 (en) A method for automated 3d imaging
KR101444538B1 (ko) 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법
KR101545971B1 (ko) 복합 영상 센싱 시스템
US20100259598A1 (en) Apparatus for detecting three-dimensional distance
WO2012117617A1 (ja) 立体画像撮像装置
KR20210030230A (ko) 증강현실을 위한 데이터 수집 장치
US20170161921A1 (en) Wearable molecular imaging navigation system
JP2011141381A (ja) 立体画像表示装置及び立体画像表示方法
US20190132574A1 (en) Depth sensing system with differential imaging camera
KR102428362B1 (ko) 다중 카메라와 광학 필터를 이용한 사물 인식용 카메라 장치
EP2848995A1 (en) Multi-view image system with a single camera and a transreflective device
US11589028B2 (en) Non-same camera based image processing apparatus
KR102188164B1 (ko) 3차원 데이터를 이용한 도로 인식 방법
JP2024103534A (ja) 情報処理装置、情報処理方法およびプログラム
EP2866446A1 (en) Method and multi-camera portable device for producing stereo images
JP2006054503A (ja) 画像生成方法および装置
JP7446455B2 (ja) 位置情報取得システム、位置情報取得方法、および位置情報取得装置
KR101882271B1 (ko) 비정형 라인 길이측정시스템
US12511768B2 (en) Method and apparatus for depth image enhancement
JP7488906B2 (ja) ヘッドマウントディスプレイおよび位置情報取得方法
WO2020195307A1 (ja) 電子ミラーシステム、画像表示方法、及び移動体

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 4