KR102294534B1 - 블록공정 관리용 증강현실 장치 - Google Patents
블록공정 관리용 증강현실 장치 Download PDFInfo
- Publication number
- KR102294534B1 KR102294534B1 KR1020190154245A KR20190154245A KR102294534B1 KR 102294534 B1 KR102294534 B1 KR 102294534B1 KR 1020190154245 A KR1020190154245 A KR 1020190154245A KR 20190154245 A KR20190154245 A KR 20190154245A KR 102294534 B1 KR102294534 B1 KR 102294534B1
- Authority
- KR
- South Korea
- Prior art keywords
- block
- augmented reality
- information
- unit
- block process
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 173
- 230000008569 process Effects 0.000 title claims abstract description 169
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 91
- 238000004891 communication Methods 0.000 claims abstract description 37
- 238000004519 manufacturing process Methods 0.000 claims description 27
- 239000011521 glass Substances 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 4
- -1 The display unit Substances 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 22
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000007726 management method Methods 0.000 description 50
- 239000000463 material Substances 0.000 description 16
- 238000010586 diagram Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 8
- 238000007689 inspection Methods 0.000 description 7
- 229910000831 Steel Inorganic materials 0.000 description 4
- 239000010959 steel Substances 0.000 description 4
- 238000003466 welding Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 238000012384 transportation and delivery Methods 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004886 process control Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Computer Graphics (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명의 목적은, 블록공정에 의해 제작되는 블록이 블록 설계도에 따라 정확하게 제작되고 있는지의 여부에 대한 정보를 증강현실을 이용하여 제공할 수 있는, 블록공정 관리용 증강현실 장치를 제공하는 것이다.
본 특허는 「과학기술정보통신부 정보통신진흥기금」을 지원받아 제작하고 출원을 한 것입니다.
본 특허는 「과학기술정보통신부 정보통신진흥기금」을 지원받아 제작하고 출원을 한 것입니다.
Description
본 발명은 증강현실 장치에 관한 것이다.
선박 건조 공정은, 가공을 거쳐 절단되고, 곡면으로 휘어진 강판과 각종 부재를 이어 붙여, 입체적인 대형 블록을 만드는 과정이라 할 수 있다. 즉, 선박 건조 공정은 블록을 제작하는 블록공정 및 제작된 블록을 조립하여 선박을 완성하는 블록조립공정 등을 포함한다.
즉, 선박 한척을 건조하기 위해서는, 우선, 선박이 300개 내외로 잘게 구분되어, 각 부분에 대응되는 40t 정도의 블록이 만들어지며, 마지막으로, 도크 안에서 블록들이 탑재 및 조립된다.
여기서, 블록공정은 크게 4가지로 구분될 수 있다. 즉, 블록공정은 배의 외판을 제작하기 위해서 철판을 가져오는 배재작업, 용접하기 전 도면대로 가용접하는 취부 작업, 각 부재들을 서로 접합하는 용접작업, 및 용접 작업 후에 선주가 완성된 블록의 상태를 검사하는 검사 작업으로 구분될 수 있다.
블록은 일반적으로 1차 조립을 거친 중조립 블록과 그 중조립 블록을 뒤집어서(Turn Over) 조립 작업을 한번 더 거친 대조립 블록으로 구분될 수 있다.
블록을 제작하기 위한 블록공정에서 특히 주의하여야할 점은, 설계도면대로 블록이 제작되어야 한다는 것이며, 특히, 후 공정을 위하여 블록의 품질은 매우 중요한 요소이다.
즉, 여러 개의 블록들이 도크에서 합쳐져서 한 척의 선박이 완성되기 때문에, 블록은 선박 건조의 기초가 된다. 따라서, 블록공정에서는 블록들 간의 오차가 발생되지 않도록 철저히 관리하는 것이 가장 중요한 요소이다.
그러나, 종래에는 이러한 블록공정을 체계적으로 관리할 수 있는 시스템이 제공되지 못하고 있다.
특히, 종래에는 블록공정에 의해 제작되는 블록이 블록 설계도에 따라 정확하게 제작되고 있는지의 여부를 간편하게 비교할 수 있는 방법이 제공되지 못하고 있다.
상술한 문제점을 해결하기 위해 제안된 본 발명의 목적은, 블록공정에 의해 제작되는 블록이 블록 설계도에 따라 정확하게 제작되고 있는지의 여부에 대한 정보를 증강현실을 이용하여 제공할 수 있는, 블록공정 관리용 증강현실 장치를 제공하는 것이다.
상술한 기술적 과제를 달성하기 위한 본 발명에 따른 블록공정 관리용 증강현실 장치는, 선박의 블록을 제작하는 블록공정과 관련하여 생성된 블록공정정보를 제공하는 서비스 서버와 통신을 수행하는 통신부; 서비스 서버로부터 전송된, 블록공정정보를 이용하여 증강현실을 출력하는 디스플레이부; 사용자로부터 정보들을 입력받기 위한 입력부; 증강현실을 출력하기 위한 정보들을 저장하는 저장부; 및 통신부, 디스플레이부, 입력부, 저장부의 기능을 제어하고, 서비스 서버에서 전송된 블록공정정보를 가공하여 증강현실정보를 생성하는 제어부를 포함하고, 통신부는 5G를 통해 서비스 서버로부터 블록공정정보를 수신하고, 통신부, 입력부 및 저장부는 컨트롤러에 일체로 구비되며, 디스플레이부는 안경형태로 형성되되, 디스플레이부는 증강현실이 표현되는 안경알; 컨트롤러와 유선통신을 수행하여 통신부로부터 증강현실정보를 제공받아 증강현실을 안경알로 출력하는 증강현실 출력기; 안경알과 증강현실 출력기를 지지하는 프레임; 및 작업자의 안전모를 감싸서 프레임을 안전모에 고정시키는 고정부를 포함하며, 디스플레이부는 실제로 제작되고 있는 블록이 투영되고 있는 안경알에 블록공정정보에 대응되는 증강현실을 출력하고. 증강현실은 블록의 제작을 위해 생성된 3차원 블록 설계도이고, 블록의 제작 공정과 관련된 공정률, 공정률에 따른 진척도를 나타내는 수치 또는 그래프이고, 공정률에 따라 요구되는 작업량을 단계별로 시각화할 수 있다.
본 발명은 중소형 및 대형 조선사의 맞춤형 공정 관리 시스템에 적용될 수 있다. 즉, 본 발명은 조선 맞춤 모듈형 스마트 팩토리 환경을 제공하고 있으며, 맞춤형 니즈에 대한 빠른 대응이 가능하다.
본 발명에 의하면, 대부분 큰 덩어리로 제작되는 블록에 대한 관리 및 블록공정에 이용되는 공정 재료에 대한 관리 등이 쉽고 효율적으로 수행될 수 있다. 이에 따라, 원거리 및 근거리의 제약없이 실시간으로 블록공정이 관리될 수 있다.
본 발명에 의하면, 공정관리 작업자의 입장에서, 직관적인 공정 검수 및 관리가 가능하기 때문에, 현재의 공정 진행률 및 지연률 등의 정량적인 직관 검수가 가능하다.
특히, 본 발명에 의하면, 블록공정에 의해 제작되는 블록이 블록 설계도에 따라 정확하게 제작되고 있는지의 여부가 증강현실을 이용하여 제공될 수 있으며, 따라서, 작업자 및 관리자는 쉽고 간편하게, 블록이 정확하게 제작되고 있는지의 여부를 검사 및 판단할 수 있다.
도 1은 본 발명에 따른 블록공정 관리용 증강현실 장치의 예시도.
도 2는 본 발명에 따른 블록공정 관리용 증강현실 장치의 구성을 나타낸 예시도.
도 3은 본 발명에 따른 블록공정 관리용 증강현실 장치의 외부 구성을 나타낸 예시도.
도 4는 본 발명에 따른 블록공정 관리용 증강현실 장치를 이용하여 작업현장을 모니터링하는 방법을 나타낸 예시도.
도 5는 본 발명에 따른 블록공정 관리용 증강현실 장치를 이용하여 블록공정의 공정률을 나타낸 예시도.
도 2는 본 발명에 따른 블록공정 관리용 증강현실 장치의 구성을 나타낸 예시도.
도 3은 본 발명에 따른 블록공정 관리용 증강현실 장치의 외부 구성을 나타낸 예시도.
도 4는 본 발명에 따른 블록공정 관리용 증강현실 장치를 이용하여 작업현장을 모니터링하는 방법을 나타낸 예시도.
도 5는 본 발명에 따른 블록공정 관리용 증강현실 장치를 이용하여 블록공정의 공정률을 나타낸 예시도.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 대해 상세히 설명한다.
도 1은 본 발명에 따른 블록공정 관리용 증강현실 장치의 예시도이고, 도 2는 본 발명에 따른 블록공정 관리용 증강현실 장치의 구성을 나타낸 예시도이며, 도 3은 본 발명에 따른 블록공정 관리용 증강현실 장치의 외부 구성을 나타낸 예시도이다.
일반적으로 선박의 건조시에, 설계 개정도 등록, 작업지시 리뷰/확정, 자재 신청, 작업지시 및 실적 등록, 작업확인, 선행/후행의 인수인계 및 검사단계를 정립하여 각 단계별 공정을 가시화하기 위해, 생산 진행 상황을 파악하는데 용이한 제조 공정 관리 시스템이 제공되고 있다. 그러나, 각 블록공정을 체계적으로 관리하고, 각 블록공정에서 발생된 정보들을 체계적으로 공유하도록 하는 시스템은 제공되지 못하고 있는 실정이다.
또한, 선박 또는 해양 플랜트 산업는 수많은 생산 공정이 존재하고, 각 공정 마다 세부 공정관리을 관리하기 위한 시스템이 제공되고 있으나, 작업자 및 관리자들은 현실적으로 각 단계별 공정 관리에 어려움을 겪고 있다.
따라서, 종래에는, 상기에서 언급한 각 작업 단위를 요청하는 단말기 및 통신에 기반하여, ERP 시스템과 연동되는 형태로 MES(Manufacturing Execution System)를 구축해서 생산성 관리를 하는 노력이 진행되고 있다.
그러나, 각 공정 및 시스템 별로, 자동화된 생산라인과 생산방식 및 구조가 상이하기 때문에, 작업자 및 관리자는 MES의 활용에 어려움을 겪고 있다.
또한, 생산공정 정보의 기준이 되는 생산 계획은 호선별 키이벤트 일자를 결정을 결정하는 선표 계획에서부터 주간 단위의 일정을 결정하는 실행계획까지 세분화 되어 있다.
이 경우, 작업자 또는 관리자는 중일정 계획 또는 실행 계획 대비 실적율(KPI)에 따라 공정을 관리하고 있다. 그러나, 야드에서 관리되는 선박 또는 해양플랜트는 대규모의 복합구조물로 구성되어 있으며, 부분 자동화로 구성되어 있기 때문에, 타 산업에 비해서 공정 관리의 개선이 필요한 실정이다.
특히, 검수관리자에 의한 선박 검사에 따라 생산공정 진도율이 결정되는 것이 현실이다. 그러나, 중소형 선박인 경우, 51K 석유화학제품운반선 기준으로 선체 420종, 의장 50종, 도장 320종, 비파괴 780종 등과 같이, 검사종류만 1,500개 이상이다. 따라서, 다양한 정보들을 입력해야 하는 작업자 및 관리자의 부담이 가중되고 있으며, 이에 따라, 정보 단절이 발생되고 있다.
이를 해결하기 위한 본 발명은, ERP 시스템과 연동된 계획 데이터를 기반으로, 실시간으로 생산 계획 대비 진행율 또는 진척도를 제공하고 있으며, 연결되어야 하는 다음 블록 및 공정 등에 대한 정보들을 제공할 수 있다. 따라서, 본 발명은 작업자 및 관리자의 업무의 능률을 향상 시킬 수 있으며, 본 발명에 의하면, 떨어져 있는 타부서간의 소통력 역시 한층 더 향상될 수 있다.
특히, 본 발명은 블록공정에 의해 제작되는 블록이 블록 설계도에 따라 정확하게 제작되고 있는지의 여부에 대한 정보를 증강현실을 이용하여 제공함으로써, 작업자 및 관리자가 쉽고 간편하게, 블록이 정확하게 제작되고 있는지의 여부를 검사 및 판단하도록 할 수 있다.
이를 위해, 본 발명에 따른 블록공정 관리용 증강현실 장치가 제공되는 통신 시스템은, 도 1에 도시된 바와 같이, 블록공정을 관리하는 관리자에 의해 이용되는 관리자 단말기(10), 상기 관리자 단말기(10)를 통해 입력된 정보들을 관리하는 서비스 서버(20) 및 선박을 구성하는 블록이 제작되는 현장에서 근무하는 작업자에 의해 이용되는 블록공정 관리용 증강현실(AR: Augmented Reality) 장치(이하, 간단히 AR장치라 함)(40)를 포함한다.
본 발명에 따른 블록공정 관리용 증강현실 장치가 제공되는 통신 시스템은 5G 통신을 이용할 수 있다.
4G(LTE)의 활용 영역이 스마트폰(B2C)에 국한된 반면, 5G는 다양한 산업분야(B2B), 첨단 단말/디바이스에 전면 적용될 수 있다. 따라서, 5G는 근로 환경이 열악하거나 작업 환경상 신체의 자유로움이 떨어지는 작업자 및 산업 영역에 신개념의 첨단 단말기 및 디바이스를 제공할 수 있는 환경 및 기반을 제공할 수 있다.
또한, 조선업의 특성 상, 철강재료가 많이 사용되기 때문에, 4G 환경에서는, 선박 건조 현장에서의 통신 전파간섭이 높아 많은 AP(Access Point)가 구축해야 하며, 이마저도 내부공간에서는 단절되는 현상이 발생된다.
2019년 상용화된 5G는 아주 빠르게(초고속) 실시간(초저지연)으로 대용량 데이터와 모든 사물을 연결(초연결)시키는 4차 산업혁명의 핵심 인프라이다. 5G는 전/후방 산업에 광범위한 파급효과를 유발하며, 침체되어 있는 조선업의 경기를 활성화 시키고 새로운 도약을 이끄는 원동력이 될 수 있다.
특히, 5G는 초고속/초저지연/초연결 특성과 AI/클라우드의 결합 등 산업현장에서 발생되는 데이터들의 활용 및 생산성 제고를 통해 산업구조의 혁신을 지원할 수 있다.
즉, 5G는 주파수 특성에 따라 직진성이 강하고 투과율이 높다. 특히, 1.8GHz과 800MHz대역은 투과손실이 0.8~3dB정도 차이가 나고, 실효잡음 여부에 있어서도 고주파수 대역이 유리하다.
선박의 특성상 유전율이 높은 철판이 주를 이루고 있기 때문에, 전파 흡수가 강하게 발생한다. 따라서, 기존의 4G(LTE)통신은 많은 손실이 발생하여 통신에 어려움이 있다. 그러나, 본 발명은 통신기반으로 5G를 이용하므로써, 상기한 바와 같은 문제들을 해결할 수 있다.
상기 서비스 서버(20)는, 상기 관리자 단말기(10) 및 상기 AR 장치(40)와 통신을 수행하기 위한 통신기, 각종 정보를 입력받기 위한 입력기, 각종 정보를 출력하기 위한 출력기, 각종 정보를 저장하기 위한 저장기 및 상기 통신기와 상기 입력기와 상기 출력기와 상기 저장기의 기능을 제어하기 위한 제어기를 포함한다.
상기 관리자 단말기(10)는 개인용 컴퓨터(PC), 테블릿PC 및 스마트폰 등과 같은 단말기가 될 수 있다. 관리자는 블록공정을 관리하는 사람을 의미한다. 관리자는 상기 관리자 단말기(10)를 통해 블록공정과 관련된 각종 정보들을 입력할 수 있으며, 상기 관리자 단말기(10)로 입력된 정보들은 상기 서비스 서버(20)로 전송되어 저장될 수 있다. 상기 서비스 서버(20)는 상기 정보들을 이용하여 블록공정에 이용될 다양한 정보(이하, 간단히 블록공정정보라 함)들을 생성할 수 있다. 관리자는 상기 관리자 단말기(10)를 이용하여 상기 서비스 서버(20)로부터 전송되는 상기 블록공정정보들을 모니터링할 수 있다.
상기 AR 장치(40)는 테블릿PC 및 스마트폰 등과 같은 무선 단말기가 될 수 있으며, 특히, 도 3에 도시된 바와 같이, 안경 형태로 제공될 수도 있다. 이하에서는, 도 3에 도시된 바와 같이 안경 형태를 갖는 상기 AR 장치(40)가 본 발명의 일예로서 설명된다. 그러나, 상기 AR 장치(40)는 상기에서 설명된 바와 같이, 상기 테블릿PC 및 상기 스마트폰이 될 수도 있다. 작업자는 블록 제작 현장에서 작업을 하는 사람을 의미한다. 작업자는 상기 AR 장치(40)를 이용하여 상기 서비스 서버(20)로 블록공정과 관련된 각종 정보들을 업로드할 수 있고, 상기 AR 장치(40)를 이용하여 상기 서비스 서버(20)로부터 상기 AR 장치(40)로 제공되는 블록공정정보들을 모니터링할 수 있으며, 상기 서비스 서버(20)로부터 제공되는 증강현실을 상기 AR 장치(40)를 통해 제공받을 수도 있다.
상기 AR 장치(40)는 도 2 및 도 3에 도시된 바와 같이, 선박의 블록을 제작하는 블록공정과 관련하여 생성된 블록공정정보를 제공하는 상기 서비스 서버(20)와 통신을 수행하는 통신부(41), 상기 서비스 서버(20)로부터 전송된 상기 블록공정정보를 이용하여 증강현실을 출력하는 디스플레이부(43), 각종 정보들을 입력받기 위한 입력부(44), 상기 증강현실을 출력하기 위한 각종 정보들을 저장하는 저장부(45) 및 상기 통신부, 상기 디스플레이부, 상기 입력부, 상기 저장부의 기능을 제어하는 제어부(42)를 포함한다.
첫째, 상기 통신부(41)는 무선통신, 예를 들어, 5G를 통해 상기 서비스 서버(20)로부터 상기 블록공정정보를 수신할 수 있다.
둘째, 상기 통신부(41), 상기 입력부(44) 및 상기 저장부(45)는 도 3에 도시된 바와 같이, 컨트롤러(46)에 일체로 구비될 수 있다. 즉, 상기 컨트롤러(46)는 사용자로부터 각종 제어신호들을 입력받을 수 있고, 상기 서비스 서버(20)와 통신을 수행하여 각종 정보를 송수신할 수 있으며, 각종 정보들을 저장할 수 있다.
셋째, 상기 제어부(42)는 상기 구성들을 제어하는 기능을 수행한다. 상기 제어부(42)는 Android OS 5.1을 이용하여 구성될 수 있다.
넷째, 상기 디스플레이부(43)는 도 3에 도시된 바와 같이, 증강현실이 표현되는 안경알(43a), 증강현실을 상기 안경알로 출력하는 증강현실 출력기(43b), 상기 안경알(43a)과 상기 증강현실 출력기(43b)를 지지하는 프레임(43c) 및 상기 프레임을 작업자의 안전모에 고정시키는 고정부(43d)를 포함한다.
상기 디스플레이부(43)는 증강현실의 출력을 위해 이용되는 증강현실정보를 상기 컨트롤러(46)로부터 제공받아 증강현실을 출력한다.
특히, 상기 디스플레이부(43)에서 상기 증강현실을 출력하는 상기 증강현실 출력기(43b)는 도 3에 도시된 바와 같이, 상기 컨트롤러(46)와 유선통신을 수행하여, 상기 컨트롤러(46), 특히, 상기 통신부(41)로부터 상기 증강현실정보를 수신할 수 있다.
상기 증강현실정보는 상기 블록공정정보를 가공하여 생성되며, 증강현실의 출력에 이용된다. 상기 증강현실정보는 상기 서비스 서버(20)에서 상기 블록공정정보를 이용하여 생성된 후 상기 AR 장치(40)로 전송될 수도 있으며, 상기 AR 장치(40),특히, 상기 제어부(42)가 상기 서비스 서버(20)에서 전송된 상기 블록공정정보를 이용하여 상기 증강현실정보를 생성할 수도 있다.
상기 디스플레이부(43)는 예를 들어, 블루투스와 무선통신을 통해 상기 컨트롤러(46)로부터 상기 증강현실정보를 수신할 수도 있다. 이 경우, 상기 디스플레이부(43)는 상기 통신부(41)와 통신을 수행하는 디스플레이 통신기를 더 포함할 수 있다. 상기 증강현실 출력기(43b)는 상기 통신부(41)로부터 전송된 전기신호인 상기 증강현실정보를 상기 안경알(43a)에 영상으로 출력하는 기능을 수행한다. 이를 위해, 상기 증강현실 출력기(43b)는 영상이 출력되는 디스플레이, 예를 들어, 유기발광 표시장치(OLED)를 포함할 수 있다. 예를 들어, 상기 증강현실 출력기(43b)는 HD화질(1280*720)을 갖고 약 23도의 화각을 갖는 실리콘 OLED 와이드 광학패널로 구성될 수 있다. 특히, 투명한 유기발광 표시장치(OLED)가 상기 안경알(43a)에 구비될 수도 있다.
상기 프레임(43c)은 상기 증강현실 출력기(43b) 및 상기 안경알(43a)을 지지하는 기능을 수행한다.
상기 고정부(43d)는 상기 프레임(43c)을 작업자의 안전모(50)에 고정시키는 능을 수행한다.
예를 들어, 상기 고정부(43d)는 도 3에 도시된 바와 같이, 상기 안전모(50)를 감싸는 형태로 형성될 수 있으며, 특히, 플라스틱과 같은 탄성을 가진 물질로 형성되어 상기 안전모에 밀착될 수 있다.
또한, 상기 고정부(43d)는 상기 안전모의 모서리에 고정될 수 있는 후크를 포함할 수도 있으며, 이외에도, 상기 안전모에서 탈부착될 수 있는 다양한 종류의 체결부를 포함할 수 있다.
즉, 상기 고정부(43d)는 상기 안전모에 탈부착될 수 있는 다양한 형태로 형성될 수 있다.
부연하여 설명하면, 상기 고정부(43d)는 상기 안전모(50)의 일반구조에 탈부착이 가능한 형태로 제공되며, 특히, 작업자가 시야를 확보 할 수 있도록 다양한 형태로 구성될 수 있다.
작업자는 상기 디스플레이부(43)를 안전모(50)에 장착시킨 후, 안경알(43a)을 통해 작업현장을 볼 수 있다. 이 경우, 작업자가 상기 컨트롤러(46)를 통해 상기 작업현장에 대응되는 증강현실을 요청하면, 상기 제어부(42)는 상기 서비스 서버(20)로부터 상기 작업현장에 대응되는 증강현실정보를 수신하여, 상기 디스플레이부(43)로 전송한다.
상기 디스플레이부(43)는 상기 증강현실정보에 대응되는 증강현실을 상기 안경알(43a)에 출력한다.
따라서, 사용자는 상기 작업현장 및 상기 작업현장에 대응되는 증강현실을 함께 눈으로 확인할 수 있다. 여기서, 상기 작업현장은 제작중에 있는 블록이 될 수 있으며, 상기 증강현실은 상기 블록에 대응되는 3차원 블록 설계도가 될 수 있다.
이하에서는, 도 1 내지 도 4를 참조하여, 본 발명에 따른 증강현실 장치가 이용되는 방법이 상세히 설명된다.
도 4는 본 발명에 따른 블록공정 관리용 증강현실 장치를 이용하여 작업현장을 모니터링하는 방법을 나타낸 예시도이며, 도 5는 본 발명에 따른 블록공정 관리용 증강현실 장치를 이용하여 블록공정의 공정률을 나타낸 예시도이다.
본 발명에 따른 블록공정 관리용 증강현실 장치가 적용되는 블록공정 관리 시스템은 작업 공정 관리(이하, 간단히 블록공정정보 모니터링이라 함) 기능 및 작업 공정 정보 공유(이하, 간단히 블록공정정보 공유라 함) 기능을 제공한다.
우선, 본 발명이 적용되는 블록공정 관리 시스템을 이용하고자 하는 관리자 또는 작업자는 상기 관리자 단말기(10) 또는 상기 AR 장치(40)를 이용하여 블록공정과 관련된 각종 정보들을 입력한다. 특히, 작업자는 상기 컨트롤러(46)를 이용하여 각종 정보들을 입력할 수 있으며, 상기 AR 장치(40)가 테블릿PC 또는 스마트폰인 경우에는 상기 테블릿PC 또는 상기 스마트폰의 입력부를 통해 각종 정보들을 입력할 수 있다. 이하의 설명에서, 관리자 및 작업자를 통칭할 필요가 있는 경우에는 사용자가 이용될 수 있으며, 이 경우, 관리자 단말기(10) 및 AR 장치(40)는 통칭하여 사용자 단말기라 한다.
예를 들어, 관리자는 상기 관리자 단말기(10)를 통해, 상기 서비스 서버(20)로 블록의 설계도(이하, 간단히 블록 설계도라 함)를 업로드할 수 있다. 상기 블록 설계도는 상기 관리자에 의해 생성된 것일 수도 있으며, 별도의 설계 업체로부터 제공된 것일 수도 있다. 후자의 경우, 상기 블록 설계도는 상기 업체에 의해 관리되는 서버 또는 단말기로부터 상기 서비스 서버(20)로 직접 전송될 수도 있다. 상기 블록 설계도는 3차원으로 생성될 수 있다. 즉, 상기 블록 설계도는 3차원 블록 설계도일 수 있다.
관리자는 상기 관리자 단말기(10)를 통해 작업의 진행상황, 예를 들어, 작업일지 등을 입력할 수 있으며, 필요한 자재에 대한 정보 및 사용된 자재에 대한 정보들을 입력할 수 있다.
작업자는 상기 AR 장치(40)를 통해 현재의 작업 종류, 작업 일지, 사용된 자재 및 필요한 자재에 대한 정보를 입력할 수 있다.
다음, 본 발명이 적용되는 블록공정 관리 시스템에서, 작업자(또는 관리자)는 상기 서비스 서버(20)로부터 전송되는 블록공정정보를 상기 AR 장치(40)(또는 관리자 단말기(10))를 통해 모니터링할 수 있다.
즉, 상기 서비스 서버(20)는 작업자 및 관리자가 입력한 정보들을 가공하여 상기 블록공정정보를 생성할 수 있으며, 작업자(또는 관리자)의 요구가 있는 경우, 상기 AR 장치(40)(또는 관리자 단말기(10))로 상기 블록공정정보를 제공할 수 있다.
상기 블록공정정보를 통해, 공정률 확인 및 검증 기능이 제공될 수 있으며, 작업 공정 피드백 기능이 제공될 수도 있다.
상기 블록공정정보를 모니터링함으로써, 작업자(또는 관리자)는 블록공정에서 수행되는 다수의 작업 공정들을 확인하고 검증할 수 있으며, 작업 중 발생하는 공정에 대한 피드백을 제공받을 수 있다.
부연하여 설명하면, 상기 블록공정정보를 모니터링함으로써, 작업자(또는 관리자)는 선박 건조 시 블록공정에서 생성되는 다양한 정보들 및 각 공정의 공정률을 제공받을 수 있으며, 작업 중 발생하는 업무 피드백을 제공받을 수 있다.
상기 블록공정정보 모니터링 과정을 통해, 작업자(또는 관리자)는 자신이 작업하는 블록공정에서 생성된 다양한 블록공정정보들을 모니터링할 수 있다.
예를 들어, 작업자(또는 관리자)는 상기 블록공정정보 모니터링 과정을 통해 블록공정의 공정률을 확인할 수 있으며, 블록공정 관리 화면을 통해, 블록공정의 관리에 필요한 각정 정보들을 확인할 수 있다.
다음, 본 발명이 적용되는 블록공정 관리 시스템에서, 상기 서비스 서버(20)는 다양한 블록공정들에서 생성된 블록공정정보들을 상기 AR 장치(40)(또는 상기 관리자 단말기(10))로 제공할 수 있으며, 이에 따라, 작업자(또는 관리자)는 자신이 작업하는 블록공정 뿐만 아니라, 또 다른 블록공정에서 생성된 각종 블록공정정보들을 공유받을 수 있다.
이를 위해, 상기 서비스 서버(20)는 각 블록의 공정 진행 현황, 작업 단계별 진행 현황 및 자재 출고 현황을 상기 AR 장치(40)(또는 상기 관리자 단말기(10))로 제공할 수 있다.
즉, 상기 서비스 서버(20)는 작업에 대한 무결성 확보를 위해, 작업자들이 공정 진행 현황을 공유하도록 할 수 있다. 따라서, 각 작업자(또는 관리자)는 단계별 진척도 확인을 통해 작업에 대한 스케줄을 확인할 수 있으며, 작업에 필요한 현황 파악을 위한 자재 출고 내역을 확인할 수도 있다.
부연하여 설명하면, 상기 서비스 서버(20)는 상기 블록공정정보 공유 과정을 통해, 작업자들이 전체 일정 대비 블록공정의 진행 현황을 실시간으로 공유하도록 할 수 있고, 작업 단계별 진척률 현황을 실시간으로 공유하도록 할 수 있으며, 자재 출고 현황을 파악하도록 할 수 있다.
예를 들어, 작업자(또는 관리자)는 상기 블록공정정보 공유 과정을 통해 제공되는, 자재출고현황 관리화면을 통해 자재출고현황을 관리할 수도 있다.
본 발명이 적용되는 블록공정 관리 시스템(이하, 간단히 블록공정 관리 시스템이라 함)의 기능을 다시 한번 간단히 정리하면 다음과 같다.
첫째, 상기 블록공정 관리 시스템은, 선박 블록 제조공정 시스템 설계 기능을 제공할 수 있다. 즉, 상기 블록공정 관리 시스템은 블록 제조 공정에 필요한 소조립 및 블록 의장, 배관 외 의장 등의 작업을 확인하고 관리할 수 있는 시스템을 제공할 수 있다.
둘째, 상기 블록공정 관리 시스템은 선체 블록 공정 정보를 제공할 수 있다. 즉, 상기 블록공정 관리 시스템은 선체에서 분할된 블록에 따라, 초기 공정 및 일정 계획용 물량정보를 산출하고, 블록을 제작하기 위한 분할부터 탑재 순서 및 각 항목에 대한 값을 관리 할 수 있는 시스템을 제공할 수 있다.
셋째, 상기 블록공정 관리 시스템은 작업공정 피드백 기능을 제공할 수 있다. 즉, 상기 블록공정 관리 시스템은, 블록 제조 공정 중에 발생하는 업무 및 특이사항에 대해 선행 및 후행 작업자 간의 업무협업을 지원할 수 있으며, 예상되는 주요 피드백 내용을 작업자 또는 관리자가 선택하거나 직접 입력히도록 할 수 있다.
넷째, 상기 블록공정 관리 시스템은 블록 제조 공정 진행 현황을 제공할 수 있다. 즉, 상기 블록공정 관리 시스템은 선체 설계에서 분해되어있는 각 블록의 작업 현황을, 작업자 및 관리자가 파악하고 공유하도록 할 수 있으며, 작업자 및 관리자가 전체 일정대비 진행률을 파악하도록 할 수 있다.
다섯째, 상기 블록공정 관리 시스템은 작업 단계별 진척률을 제공할 수 있다. 즉, 상기 블록공정 관리 시스템은 블록을 제작하기 위한 초기 공정부터 중간 일정 및 최종 조립단계로 이어지는 단계에 따라 현재까지 진척된 내용을 작업자 및 관리자에게 보여줄 수 있다.
여섯째, 상기 블록공정 관리 시스템은 자재 출고 현황을 제공할 수 있다. 즉, 상기 블록공정 관리 시스템은 블록에 배정되어 있는 자재에 대한 입출고 현황을 파악하여 제공할 수 있다. 따라서, 상기 블록공정 관리 시스템은 작업을 진행함에 따라 발생하는 자재 관리의 효율을 높일 수 있으며, 작업에 대한 재고 파악 기능을 제공할 수 있다.
마지막으로, 본 발명에 따른 상기 블록공정 관리용 증강현실 장치, 즉, 상기 AR 장치(40)는 상기에서 설명된 상기 입력 과정, 상기 모니터링 과정 및 상기 공유 과정을, 증강현실을 통해 제공할 수 있다.
즉, 작업자는 상기 AR 장치(40)의 상기 안경알(43a)을 통해 출력되는 화면을 보면서 각종 정보들을 입력할 수 있고, 상기 안경알(43a)을 통해 출력되는 증강현실을 이용하여 상기 블록공정정보를 모니터링할 수 있으며, 상기 안경알(43a)을 통해 출력되는 증강현실을 이용하여 상기 블록공정정보들을 공유할 수 있다.
예를 들어, 작업자는 도 4에 도시된 바와 같이, 상기 안경알(43a)을 통해 실제로 제작되고 있는 블록(60)을 확인할 수 있으며, 또한, 증강현실로 표현되는 3차원 블록 설계도(또는 3차원 블록)(70)를 확인할 수 있다. 즉, 상기 디스플레이부(43)는 실제로 제작되고 있는 블록(60)이 투영되고 있는 상기 안경알(43a)에 상기 블록공정정보와 관련된 증강현실을 출력할 수 있다.
또한, 작업자는 도 5에 도시된 바와 같이, 실제로 제작되고 있는 블록을 보면서, 증강현실로 표현되는 공정률을 확인할 수 있다.
즉, 작업자는 실제로 제작되고 있는 블록(60)과 함께 증강현실로 표현되는 도 4에 도시된 바와 같은 3차원 블록 설계도(또는 3차원 블록)(70) 또는 도 5에 도시된 바와 같은 공정률 그래프를 확인함으로써, 작업의 진행상황을 쉽고 간편하게 확인할 수 있다.
상기한 바와 같은 본 발명의 특징을 다시 간단히 정리하면 다음과 같다.
첫째, 선박의 특성상 유전율이 높은 철판이 주를 이루고 있기 때문에, 선박의 블록을 건조하는 작업현장에서는 전파 흡수가 강하게 발생한다. 따라서, 4G(LTE) 통신이 이용되면, 많은 손실이 발생하여 통신이 어려울 수 있다. 따라서, 본 발명은 대체 통신기반으로 5G를 이용할 수 있다.
둘째, 가상으로 주변의 배경 또는 객체 등의 이미지를 보여주는 가상현실(VR) 기술 대신, 본 발명은 실제의 현실을 기반으로한 AR 기술을 이용하고 있다.
셋째, 본 발명은 블록공정에서 발생되는 다양한 블록공정정보들을, AR 컨텐츠를 통해 시각적으로 작업자에게 제공할 수 있다.
즉, 본 발명은 블록 제작을 위해 생성된 3차원 블록 설계도를 증강현실로 제공할 수 있으며, 각종 블록공정정보를 증강현실로 제공할 수 있다.
또한, 본 발명은 실제로 제작되고 있는 블록과 함께, 상기 블록에 대응되는 3차원 블록 설계도를 증강현실을 이용하여 제공함으로써, 작업자는 상기 블록의 진행상황을 쉽게 파악할 수 있으며, 증강현실을 통해 제공되는 그래프 등을 통해 블록의 공정률을 신속하게 파악할 수 있다.
즉, 본 발명은 작업자 및 관리자가 판단하는 공정률에 대한 그래프 또는 수치를 증강현실을 통해 시각화하여 제공할 수 있고, 이에 따라, 작업자 또는 관리자는 현장에서 작업중인 블록의 실물과 증강현실을 비교할 수 있으며, 따라서, 작업자 또는 관리자는 직관적으로 작업공정을 손쉽게 파악할 수 있다.
부연하여 설명하면, 본 발명은 블록의 제작 공정과 관련된 공정률 수치에 따른 진척도, 즉, 진행 중인 블록공정에 대한 설계 기반의 작업 진척률을 증강현실로 제공할 수 있으며, 공정에 대한 순차적인 작업순서에 따라 계획된 작업 정도를 예측하여 증강현실로 표현할 수도 있다.
즉, 상기 증강현실은 3차원 블록 설계도가 될 수 있으며, 또는 블록의 제작 공정과 관련된 공정률을 나타낸 수치 또는 그래프일 수도 있다.
넷째, 본 발명은 블록의 실물과 모델링된 AR 컨텐츠를 비교하기 위한 조정 기능을 제공할 수 있으며, 공정률에 따라 요구되는 작업량을 단계별로 AR을 이용해 시각화할 수 있다.
다섯째, 본 발명은 5G를 통한 스마트 야드를 구축함으로써, 최적의 의사결정을 위한 실시간 야드 데이터 분석/지원 기술을 현실화할 수 있다. 이에 따라, 야드 내 스마트 공정관리 기술이 도입될 수 있다. 특히, 본 발명에 의하면, 5G를 통해 해소된 무선 음영 지역의 작업현장 상세정보가 현장에서 처리되어 제공될 수 있다.
여섯째, 본 발명은 블록공정의 관리를 위한 관리 기능 및 공유 기능을 제공할 수 있다. 따라서, 작업 공정 시 발생하는 작업자 및 관리자 사이의 간격이 줄어들 수 있으며, 이에 따라, 관리의 효율성이 증가될 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 관리자 단말기 20: AR 장치
40: 서비스 서버
40: 서비스 서버
Claims (4)
- 선박의 블록을 제작하는 블록공정과 관련하여 생성된 블록공정정보를 제공하는 서비스 서버와 통신을 수행하는 통신부;
상기 서비스 서버로부터 전송된, 상기 블록공정정보를 이용하여 증강현실을 출력하는 디스플레이부;
사용자로부터 정보들을 입력받기 위한 입력부;
상기 증강현실을 출력하기 위한 정보들을 저장하는 저장부; 및
상기 통신부, 상기 디스플레이부, 상기 입력부, 상기 저장부의 기능을 제어하고, 상기 서비스 서버에서 전송된 상기 블록공정정보를 가공하여 증강현실정보를 생성하는 제어부;
를 포함하고,
상기 통신부는,
5G를 통해 상기 서비스 서버로부터 상기 블록공정정보를 수신하고,
상기 통신부, 상기 입력부 및 상기 저장부는 컨트롤러에 일체로 구비되며,
상기 디스플레이부는 안경형태로 형성되되,
상기 디스플레이부는,
상기 증강현실이 표현되는 안경알;
상기 컨트롤러와 유선통신을 수행하여 상기 통신부로부터 상기 증강현실정보를 제공받아 상기 증강현실을 상기 안경알로 출력하는 증강현실 출력기;
상기 안경알과 상기 증강현실 출력기를 지지하는 프레임; 및
작업자의 안전모를 감싸서 상기 프레임을 상기 안전모에 고정시키는 고정부;
를 포함하며,
상기 디스플레이부는,
실제로 제작되고 있는 블록이 투영되고 있는 상기 안경알에 상기 블록공정정보에 대응되는 증강현실을 출력하고,
상기 증강현실은,
상기 블록의 제작을 위해 생성된 3차원 블록 설계도이고, 상기 블록의 제작 공정과 관련된 공정률, 상기 공정률에 따른 진척도를 나타내는 수치 또는 그래프이고, 상기 공정률에 따라 요구되는 작업량을 단계별로 시각화하는 블록공정 관리용 증강현실 장치.
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190154245A KR102294534B1 (ko) | 2019-11-27 | 2019-11-27 | 블록공정 관리용 증강현실 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190154245A KR102294534B1 (ko) | 2019-11-27 | 2019-11-27 | 블록공정 관리용 증강현실 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210065471A KR20210065471A (ko) | 2021-06-04 |
| KR102294534B1 true KR102294534B1 (ko) | 2021-08-30 |
Family
ID=76391660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190154245A KR102294534B1 (ko) | 2019-11-27 | 2019-11-27 | 블록공정 관리용 증강현실 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102294534B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102617296B1 (ko) * | 2022-11-23 | 2023-12-22 | 한화오션 주식회사 | 디지털플랫폼을 활용한 함정 통합 솔루션 시스템 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150063703A (ko) * | 2013-12-02 | 2015-06-10 | 에스티엑스조선해양 주식회사 | 증강현실 기반 선박의 블록 검사 방법 |
| KR20190076770A (ko) * | 2017-12-22 | 2019-07-02 | 주식회사 이엠아이티 | 증강현실 기반 조립 가이드 시스템 |
-
2019
- 2019-11-27 KR KR1020190154245A patent/KR102294534B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210065471A (ko) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhai et al. | An Internet of Things-enabled BIM platform for modular integrated construction: A case study in Hong Kong | |
| Min | Developing a smart port architecture and essential elements in the era of Industry 4.0 | |
| CN110109426B (zh) | 一种订单导向型以工艺路线为驱动的通用mes系统 | |
| CN109559379B (zh) | 一种基于装配式建筑平台的全景看房方法及装置 | |
| JP6914329B2 (ja) | 手作業場ユニット、リモートデータ処理装置、手作業場動作システム、手作業場動作方法、及び、手作業場提供方法 | |
| US20230004149A1 (en) | Digital twin modeling and optimization of production processes | |
| CN112150125B (zh) | 工业信息系统和工业信息系统构建方法 | |
| Li et al. | Developing a conceptual framework of smart work packaging for constraints management in prefabrication housing production | |
| CN106530405A (zh) | 基于虚拟现实技术的汽车生产线实时漫游系统 | |
| CN110989525B (zh) | 一种基于fpga的产品智能装配生产线监控系统及方法 | |
| KR102292528B1 (ko) | 블록공정 관리 시스템 | |
| CN113610389B (zh) | 基于bim和rfid的预制构件生产质量管理系统 | |
| JP2014178794A (ja) | 搬入経路計画システム | |
| CN110717685A (zh) | 建筑物料管理系统及方法 | |
| KR102294534B1 (ko) | 블록공정 관리용 증강현실 장치 | |
| Griffin et al. | Using advanced manufacturing technology for smarter construction | |
| CN116348372A (zh) | 基于统一数据库的船舶的建造模拟方法、程序及系统、以及船舶的品质数据库的构建方法 | |
| JP2024530748A (ja) | 無人化スマート製造システム | |
| CN112508489A (zh) | 一种面向复杂装备制造的顶层规划设计方法 | |
| Dehghanimohammadabadi et al. | Simulation-optimization of digital twin | |
| Ramesh et al. | Digital thread enabled manufacturing automation towards mass personalization | |
| Gilchrist et al. | Smart factories | |
| Vasey et al. | Potentials of cyber-physical systems in architecture and construction | |
| Rudolph et al. | Maintenance in process industries with digital twins and mixed reality: Potentials, scenarios and requirements | |
| Cil et al. | Challenges and trends in shipbuilding industry: digitization of SEDEF shipyard in Turkey |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |