KR20170027767A - 수평 평면을 이용해 장애물을 검출하는 장치 및 이러한 장치 구현 검출 방법 - Google Patents
수평 평면을 이용해 장애물을 검출하는 장치 및 이러한 장치 구현 검출 방법 Download PDFInfo
- Publication number
- KR20170027767A KR20170027767A KR1020177000001A KR20177000001A KR20170027767A KR 20170027767 A KR20170027767 A KR 20170027767A KR 1020177000001 A KR1020177000001 A KR 1020177000001A KR 20177000001 A KR20177000001 A KR 20177000001A KR 20170027767 A KR20170027767 A KR 20170027767A
- Authority
- KR
- South Korea
- Prior art keywords
- plane
- image
- obstacle
- emitter
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G01S17/936—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/04—Systems determining the presence of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
-
- G05D2201/0217—
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Manipulator (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
- Geophysics And Detection Of Objects (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
Abstract
본 발명은 기준 평면(12)에 평행하게 이동할 수 있는 이동체(11)에 구비되는 장애물 검출 장치(10)와 관련되며, 상기 장치는 다음을 포함한다:
기준 평면(12)에 평행인 제1 가상 평면(22)에서 뻗어 있는 제1 수평 전자기 빔(15)의 수평 이미터(14)인 제1 이미터,
제1 가상 평면(22)과 교차하도록 구성된 필드(36)를 커버하여 검출 표면(71)을 형성할 수 있는 제1 이미지 센서(5),
검출 표면(71) 상의 이미지의 존재를 검출함으로써, 장애물의 존재를 결정할 수 있는 이미지 분석 수단.
본 발명은 또한 이러한 장치를 이용하는 검출 방법과 관련된다.
Description
도 1은 2개의 빔에 의해 형성된 가상 평면을 도시한다.
도 2a는 기준 평면에 평행인 빔의 가상 평면을 보여주는 본 발명에 따르는 장치의 평면도이다.
도 2b는 기준 평면에 실질적으로 평행인 빔의 가상 평면을 보여주는 본 발명에 따르는 장치의 단면을 보여준다.
도 2c는 가상 평면의 각 위치가 기준 평면에 대해 조절될 수 있도록 하는 제어 루프를 도시한다.
도 3은 하나의 빔에 의해 형성되는 가상 평면 및 2개의 빔에 의해 형성되는 가상 평면을 도시한다.
도 4a, 4b, 4c는 본 발명에 따르는, 장애물과 가상 평면의 교차를 도시한다.
도 5는 빔에 의해 형성되는 가상 평면 및 이미지 캡처 장치에 의해 커버되는 필드를 도시한다.
도 6은 가상 평면을 형성할 수 있는 빔의 발산체를 도시한다.
도 7은 본 발명에 따르는 장애물 검출 장치를 이용하는 휴머노이드 로봇을 도시한다.
도 8은 본 발명에 따르는 장애물 검출 장치를 이용하는 휴머노이드 로봇에 대한 휠을 포함하는 베이스의 예시를 도시한다.
도 9는 빔 발산 및 이미지 캡처를 처리 및 동기화하는 기능을 수행하는 프로세서를 개략적으로 도시한다.
도 10은 본 발명에 따르는 장애물 검출 방법에서의 단계들을 개략적으로 도시한다.
도 11a 및 11b는 2개의 장애물 검출 구성을 도시한다.
도 12는 수평선, 사선 및 셔블 가상 평면을 보여주는 본 발명에 따르는 장치의 측면도를 개략적으로 도시된다.
Claims (14)
- 기준 평면(12)에 평행인 축 X를 따르는 제1 방향으로 선호 이동 방향을 갖는 이동체(11)에 장착되는 장애물 검출 장치(10)로서, 상기 장치는:
기준 평면(12)에 평행인 제1 가상 평면(22)으로 뻗어 있는 제1 수평 전자기 빔(15)의 수평 이미터(14)인 제1 이미터,
제1 가상 평면(22)과 교차하도록 구성된 필드(36)를 커버하여 검출 표면(71)을 형성할 수 있는 제1 이미지 센서(5),
검출 표면(71) 상의 이미지의 존재를 검출함으로써, 장애물의 존재를 결정할 수 있는 이미지 분석 수단
을 포함하며,
제1 가상 평면(22)은 축 X를 중심으로 각 섹터(angular sector)를 형성하며, 장애물 검출 장치(10)는:
제1 방향의 제2 가상 평면(23)으로 뻗어 있으며, 상기 축 X에 수직이며 기준 평면(12)에 실질적으로 평행인 축 Y를 중심으로 각 섹터를 형성하는 제2 수평 빔(17)의 수평 이미터(16)인 제2 이미터,
제2 가상 평면(23)과 장애물의 교차부의 이미지를 생성할 수 있는 제2 이미지 센서(6),
제1 방향과 반대인 제2 방향의 제3 가상 평면(24)으로 뻗어 있으며, 기준 평면(12)에 평행하게 축 Y를 중심으로 각 섹터를 형성하는 제3 수평 빔(20)의 수평 이미터(19)인 제3 이미터,
제3 가상 평면(24)과 장애물의 교차부의 이미지를 생성할 수 있는 제3 이미지 센서(7)
를 더 포함하는, 장애물 검출 장치. - 제1항에 있어서, 이동체(11)는:
축 X를 따르며 기준 평면(12)을 분할하는 제1 방향의 제1 사선 가상 평면(28)으로 뻗어 있는 제1 사선 빔(oblique beam)(30)의 사선 이미터(oblique emitter)(34)인 제1 이미터, 및
축 X를 따르고 기준 평면(12)을 분할하는 제1 방향의 제2 사선 가상 평면(29)으로 뻗어 있는 제2 사선 빔(31)의 사선 이미터(35)인 제2 이미터
를 더 포함하며,
제1 이미지 센서(5)는 제1 사선 가상 평면 및 제2 사선 가상 평면(28, 29)과 기준 평면(12)의 교차부 주변의 이미지를 생성할 수 있는, 장애물 검출 장치. - 제1항 또는 제2항에 있어서, 제1 수평 빔(15)에 의해 형성되는 각 섹터(22)는, 제2 수평 빔과 제3 수평 빔(17, 20)에 의해 형성되는 각 섹터(23, 24)로부터 지정 각도만큼 이격되는, 장애물 검출 장치.
- 제3항에 있어서, 각 섹터는 120°인, 장애물 검출 장치.
- 제1항 내지 제4항 중 어느 한 항에 있어서, 가상 수평 평면(22)이 기준 평면(12)과 교차하지 않도록 가상 수평 평면(22)을 위치설정하기 위한 위치설정 수단을 더 포함하는, 장애물 검출 장치.
- 제5항에 있어서, 상기 위치설정 수단은 기준 평면(12)에 대한 가상 수평 평면(22)의 각 위치(angular position)(73)를 결정하고, 가상 수평 평면(22)을 형성하는 수평 이미터(14)인 이미터로 새 각 위치(74)를 전송하기 위한 제어 루프를 포함하는, 장애물 검출 장치.
- 제5항에 있어서, 위치설정 수단은 가상 수평 평면(22)과 기준 평면(12) 간에 양의 각(positive angle)(72)을 형성하도록 가상 수평 평면(22)을 배향하도록 빔(15)의 이미터(14)를 배향하는, 장애물 검출 장치.
- 제1항 내지 제7항 중 어느 한 항에 있어서, 이동체(11)는 축 X를 따르는 제1 방향으로 주 이동 방향을 가지며,
축 X에 수직인 직선을 따르는 기준 평면(12)과 교차하도록 구성된 가상 평면(26)에 뻗어 있는 셔블 빔(shovel beam)(27)의 셔블 이미터(32)인 이미터,
이미지 분석 수단
을 더 포함하며,
제1 이미지 센서(5)는 직선의 이미지를 생성할 수 있고, 이미지 분석 수단은 직선의 변형을 검출함으로써 장애물의 존재 여부를 결정할 수 있는, 장애물 검출 장치. - 제1항 내지 제8항 중 어느 한 항에 있어서, 이동체(11)의 이동 방향에 따라 이미터(14, 16, 19, 32, 34, 35) 및 센서(5)를 선택적으로 비활성화하도록 구성된 제어 수단(8)을 포함하는, 장애물 검출 장치.
- 제1항 내지 제9항 중 어느 한 항에 있어서, 이미터(14, 16, 19, 32, 34, 35)에 의한 빔(15, 17, 20, 27, 30, 31)의 발산을 시퀀싱하고 센서(5, 6, 7)에 의한 이미지의 캡처와 빔(15, 17, 20, 27, 30, 31)의 발산을 동기화하도록 구성된 처리 회로(9)를 더 포함하는, 장애물 검출 장치.
- 제1항 내지 제10항 중 어느 한 항에 있어서, 빔(15, 17, 20, 27, 30, 31)은 레이저 빔인, 장애물 검출 장치.
- 제1항 내지 제11항 중 어느 한 항에 따르는 장애물 검출 장치를 포함하는 이동체(11).
- 제1항 내지 제11항 중 어느 한 항에 따르는 장애물 검출 장치(10)를 이용하는 장애물 검출 방법으로서, 상기 방법은
장애물과 교차할 수 있는 가상 평면(22, 23, 24, 26, 28, 29)을 형성할 수 있는 빔(15, 17, 20, 27, 30, 31)을 발산하는 단계,
가상 평면(22, 23, 24, 26, 28, 29)과 장애물의 교차부의 이미지를 캡처하고 생성하는 단계, 및
장애물을 이미지 분석하고 결정하는 단계
를 포함하는, 장애물 검출 방법. - 제13항에 있어서,
셔블 빔(shovel beam)(27)에 의해 형성된 가상 평면(26)과 기준 평면(12)의 교차부의 제1 이미지를 메모리 저장하는 단계,
셔블 빔(27)에 의해 형성된 가상 평면(26)과 장애물의 교차부의 제2 이미지를 메모리 저장하는 단계,
제1 이미지와 제2 이미지를 비교하여 장애물의 위치를 결정하는 단계
를 더 포함하는, 장애물 검출 방법.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1455099A FR3022037B1 (fr) | 2014-06-05 | 2014-06-05 | Dispositif de detection a plan horizontal d'obstacles et procede de detection mettant en oeuvre un tel dispositif |
FR1455099 | 2014-06-05 | ||
PCT/EP2015/062214 WO2015185532A1 (fr) | 2014-06-05 | 2015-06-02 | Dispositif de detection a plan horizontal d'obstacles et procede de detection mettant en oeuvre un tel dispositif |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20170027767A true KR20170027767A (ko) | 2017-03-10 |
Family
ID=51485656
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020177000001A Ceased KR20170027767A (ko) | 2014-06-05 | 2015-06-02 | 수평 평면을 이용해 장애물을 검출하는 장치 및 이러한 장치 구현 검출 방법 |
Country Status (13)
Country | Link |
---|---|
US (1) | US20170082751A1 (ko) |
EP (1) | EP3152592A1 (ko) |
JP (1) | JP2017518579A (ko) |
KR (1) | KR20170027767A (ko) |
CN (1) | CN106687821A (ko) |
AU (1) | AU2015270607B2 (ko) |
BR (1) | BR112016028247A2 (ko) |
CA (1) | CA2953268A1 (ko) |
FR (1) | FR3022037B1 (ko) |
MX (1) | MX359304B (ko) |
RU (1) | RU2650098C1 (ko) |
SG (1) | SG11201609557VA (ko) |
WO (1) | WO2015185532A1 (ko) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109791412B (zh) | 2016-08-26 | 2022-07-12 | 克朗设备公司 | 物料搬运车辆障碍物扫描工具 |
CA3224047A1 (en) | 2016-08-26 | 2018-03-01 | Crown Equipment Corporation | Materials handling vehicle path validation and dynamic path modification |
CA3225628A1 (en) | 2016-08-26 | 2018-03-01 | Crown Equipment Corporation | Multi-field scanning tools in materials handling vehicles |
CN111615471A (zh) | 2018-01-18 | 2020-09-01 | 索尤若驱动有限及两合公司 | 具有至少一个模块的移动设备和用于运行移动设备的方法 |
CN111596651B (zh) * | 2019-02-19 | 2022-08-09 | 科沃斯机器人股份有限公司 | 环境区域划分与定点清扫方法、设备及存储介质 |
CN109991983B (zh) * | 2019-04-10 | 2020-12-01 | 拉扎斯网络科技(上海)有限公司 | 机器人导航方法、装置、系统、电子设备及存储介质 |
CN112198527B (zh) * | 2020-09-30 | 2022-12-27 | 上海炬佑智能科技有限公司 | 参考平面调整及障碍物检测方法、深度相机、导航设备 |
CN112198529B (zh) * | 2020-09-30 | 2022-12-27 | 上海炬佑智能科技有限公司 | 参考平面调整及障碍物检测方法、深度相机、导航设备 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59135511A (ja) * | 1983-01-24 | 1984-08-03 | Komatsu Ltd | 光学式障害物検出装置 |
US5040116A (en) * | 1988-09-06 | 1991-08-13 | Transitions Research Corporation | Visual navigation and obstacle avoidance structured light system |
US4954962A (en) * | 1988-09-06 | 1990-09-04 | Transitions Research Corporation | Visual navigation and obstacle avoidance structured light system |
JPH05257533A (ja) * | 1992-03-12 | 1993-10-08 | Tokimec Inc | 移動ロボットの床面掃引方法及び装置 |
US7209221B2 (en) * | 1994-05-23 | 2007-04-24 | Automotive Technologies International, Inc. | Method for obtaining and displaying information about objects in a vehicular blind spot |
US6173215B1 (en) * | 1997-12-19 | 2001-01-09 | Caterpillar Inc. | Method for determining a desired response to detection of an obstacle |
RU2143708C1 (ru) * | 1998-12-25 | 1999-12-27 | Коночкин Анатолий Иванович | Способ формирования радиолокационного изображения объекта и устройство формирования радиолокационного изображения |
US6496754B2 (en) * | 2000-11-17 | 2002-12-17 | Samsung Kwangju Electronics Co., Ltd. | Mobile robot and course adjusting method thereof |
FR2820216B1 (fr) * | 2001-01-26 | 2003-04-25 | Wany Sa | Procede et dispositif de detection d'obstacle et de mesure de distance par rayonnement infrarouge |
EP1504276B1 (en) * | 2002-05-03 | 2012-08-08 | Donnelly Corporation | Object detection system for vehicle |
US20040066500A1 (en) * | 2002-10-02 | 2004-04-08 | Gokturk Salih Burak | Occupancy detection and measurement system and method |
JP4995458B2 (ja) * | 2005-12-12 | 2012-08-08 | 本田技研工業株式会社 | 脚式移動ロボット |
JP2008039745A (ja) * | 2006-08-10 | 2008-02-21 | Nissan Motor Co Ltd | キャリブレーション方法およびキャリブレーション装置 |
KR101461185B1 (ko) * | 2007-11-09 | 2014-11-14 | 삼성전자 주식회사 | 스트럭쳐드 라이트를 이용한 3차원 맵 생성 장치 및 방법 |
DE102008014912B4 (de) * | 2008-03-19 | 2023-01-19 | Vorwerk & Co. Interholding Gmbh | Selbsttätig verfahrbares Bodenstaub-Aufsammelgerät |
JP2010076527A (ja) * | 2008-09-25 | 2010-04-08 | Sanyo Electric Co Ltd | 操縦支援装置 |
JP5247494B2 (ja) * | 2009-01-22 | 2013-07-24 | パナソニック株式会社 | 自律移動装置 |
EP2596399A1 (en) * | 2010-07-22 | 2013-05-29 | Renishaw Plc. | Laser scanning apparatus and method of use |
JP2012098047A (ja) * | 2010-10-29 | 2012-05-24 | Toshiba Transport Eng Inc | 車輪形状計測装置、車輪形状計測方法、車輪形状計測プログラム |
KR20130090438A (ko) * | 2012-02-04 | 2013-08-14 | 엘지전자 주식회사 | 로봇 청소기 |
-
2014
- 2014-06-05 FR FR1455099A patent/FR3022037B1/fr not_active Expired - Fee Related
-
2015
- 2015-06-02 AU AU2015270607A patent/AU2015270607B2/en not_active Ceased
- 2015-06-02 EP EP15726152.0A patent/EP3152592A1/fr not_active Withdrawn
- 2015-06-02 BR BR112016028247A patent/BR112016028247A2/pt not_active Application Discontinuation
- 2015-06-02 CA CA2953268A patent/CA2953268A1/en not_active Abandoned
- 2015-06-02 CN CN201580030059.8A patent/CN106687821A/zh active Pending
- 2015-06-02 KR KR1020177000001A patent/KR20170027767A/ko not_active Ceased
- 2015-06-02 US US15/311,089 patent/US20170082751A1/en not_active Abandoned
- 2015-06-02 MX MX2016015829A patent/MX359304B/es active IP Right Grant
- 2015-06-02 JP JP2016571011A patent/JP2017518579A/ja active Pending
- 2015-06-02 WO PCT/EP2015/062214 patent/WO2015185532A1/fr active Application Filing
- 2015-06-02 SG SG11201609557VA patent/SG11201609557VA/en unknown
- 2015-06-02 RU RU2016151213A patent/RU2650098C1/ru not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
MX359304B (es) | 2018-09-24 |
SG11201609557VA (en) | 2016-12-29 |
EP3152592A1 (fr) | 2017-04-12 |
MX2016015829A (es) | 2017-06-28 |
CN106687821A (zh) | 2017-05-17 |
AU2015270607B2 (en) | 2018-01-04 |
BR112016028247A2 (pt) | 2017-08-22 |
AU2015270607A1 (en) | 2016-12-01 |
WO2015185532A1 (fr) | 2015-12-10 |
RU2650098C1 (ru) | 2018-04-06 |
JP2017518579A (ja) | 2017-07-06 |
FR3022037B1 (fr) | 2017-12-01 |
US20170082751A1 (en) | 2017-03-23 |
FR3022037A1 (fr) | 2015-12-11 |
CA2953268A1 (en) | 2015-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101951573B1 (ko) | 평면들을 교차하여 장애물을 검출하는 장치 및 이러한 장치를 사용하는 검출 방법 | |
KR20170027767A (ko) | 수평 평면을 이용해 장애물을 검출하는 장치 및 이러한 장치 구현 검출 방법 | |
US10894324B2 (en) | Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method | |
US9134339B2 (en) | Directed registration of three-dimensional scan measurements using a sensor unit | |
US9007601B2 (en) | Automatic measurement of dimensional data with a laser tracker | |
US9415511B2 (en) | Apparatus and method for picking up article randomly piled using robot | |
US9163940B2 (en) | Position/orientation measurement apparatus, measurement processing method thereof, and non-transitory computer-readable storage medium | |
US9239580B2 (en) | Autonomous mobile robot, self position estimation method, environmental map generation method, environmental map generation apparatus, and data structure for environmental map | |
KR100901311B1 (ko) | 자율이동 플랫폼 | |
US20220130147A1 (en) | Method and device for monitoring the environment of a robot | |
JPWO2016113836A1 (ja) | マニプレータ制御方法、システム、およびマニプレータ | |
JP3925129B2 (ja) | 3次元画像撮像装置および方法 | |
JP7543244B2 (ja) | 位置検出装置及び位置検出方法 | |
HK1234828A1 (en) | Device for detecting an obstacle by means of intersecting planes and detection method using such a device | |
JP2018044769A (ja) | 自己位置推定装置、移動体及び自己位置推定方法 | |
CN115164882A (zh) | 一种激光畸变去除方法、装置、系统及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
PA0105 | International application |
Patent event date: 20170102 Patent event code: PA01051R01D Comment text: International Patent Application |
|
PA0201 | Request for examination | ||
PG1501 | Laying open of application | ||
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20180402 Patent event code: PE09021S01D |
|
E601 | Decision to refuse application | ||
PE0601 | Decision on rejection of patent |
Patent event date: 20180702 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20180402 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |